ESP32-S3 · Whisper · LLM · n8n
Задача
На промышленном предприятии обходчики проверяют агрегаты по маршруту и фиксируют замечания. Отчёт по смене пишется вручную и занимает около 30 минут. Критичные замечания попадают в службу ТОиР только после того, как отчёт составлен и передан.
Решение
Система состоит из двух частей: носимого устройства, которое записывает голос, и сервера предприятия, который превращает записи в отчёт.
Обходчик подходит к агрегату, нажимает кнопку и говорит: «Насос 3, вибрация на подшипнике». Писать ничего не нужно, руки остаются свободными.
Устройство рассчитано на работу в цеху:
- запись запускается одной физической кнопкой, без взгляда на экран;
- записи хранятся на карте памяти и не зависят от связи: на устройстве помещается до 64 записей, длинная запись автоматически делится на части;
- часы реального времени с синхронизацией по NTP дают каждому замечанию точную отметку времени;
- на сенсорном экране есть архив записей с датой, временем и длительностью, любую запись можно прослушать;
- при появлении Wi-Fi записи уходят на сервер автоматически раз в час или вручную по кнопке. Файл передаётся потоком, без загрузки в память устройства, а отправленные записи помечаются, чтобы не дублироваться.
Сервер принимает записи и обрабатывает их внутри контура предприятия:
- Whisper расшифровывает речь;
- языковая модель раскладывает замечание по полям: узел, признак неисправности, серьёзность. Из фразы «Насос 3, вибрация на подшипнике» получается запись с узлом «Насос 3», признаком «вибрация подшипника» и высокой серьёзностью;
- n8n собирает отчёт по смене, а критичные замечания сразу отправляет заявкой в ТОиР.
Моя роль
Я придумал продукт и собрал прототип системы. На стороне устройства подобрал аппаратную платформу на ESP32-S3 и написал прошивку: запись, хранение, архив, часы и синхронизацию с сервером. На стороне сервера сделал приём записей и спроектировал обработку замечаний от расшифровки до заявки в ТОиР.
Результат
Работающий прототип устройства и расчётный эффект для маршрута с 20 обходчиками:
- ~5 минут на отчёт по смене вместо ~30
- ~165 часов в месяц высвобождается на 20 обходчиков
- ≤ 1 часа от замечания до заявки в ТОиР