ESP32-S3 · Whisper · LLM · n8n
任务
在工业企业中，巡检人员按照路线检查设备并记录问题。手工编写班次报告大约需要 30 分钟。关键问题只有在报告整理并提交后，才会进入维修服务部门。
解决方案
系统由两部分组成：负责录音的可穿戴设备，以及将录音转换为报告的企业服务器。
巡检人员走到设备旁，按下按钮并说：“3 号泵，轴承振动。”无需书写，双手可以保持空闲。
设备针对车间环境设计：
- 通过一个实体按钮开始录音，无需查看屏幕；
- 录音保存在存储卡上，不依赖网络连接：设备最多可保存 64 条录音，较长的录音会自动分段；
- 通过 NTP 同步的实时时钟为每条记录提供准确的时间戳；
- 触摸屏提供带日期、时间和时长的录音存档，任何录音都可以播放；
- Wi-Fi 可用时，录音每小时自动发送到服务器，也可以通过按钮手动发送。文件以流式方式传输，不会全部加载到设备内存，已发送的录音会被标记，避免重复传输。
服务器在企业内部环境中接收并处理录音：
- Whisper 将语音转换为文字；
- 语言模型将问题拆分为设备、故障特征和严重程度等字段。“3 号泵，轴承振动”会变成一条记录：设备为“3 号泵”，问题为“轴承振动”，严重程度为高；
- n8n 汇总班次报告，并将关键问题立即以维修工单的形式发送到维修系统。
我的角色
我提出了这个产品并完成了系统原型。在设备端，我选择了 ESP32-S3 硬件平台，并编写了录音、存储、存档、时钟和服务器同步功能的固件。在服务器端，我实现了录音接收，并设计了从语音转写到维修工单的处理流程。
结果
一个可运行的设备原型，以及针对 20 名巡检人员路线的预估效果：
- 班次报告耗时从约 30 分钟降至 约 5 分钟
- 20 名巡检人员每月释放 约 165 小时
- 从记录问题到生成维修工单 不超过 1 小时