ИИ-суфлёр для медконференций: 95% точность распознавания
Web
Команда
1
ML-инженер
Техстек
Fastapi
WebRTC
WebSocket
SocketIO
PyTorch
ONNXRuntime
Docker
Web
О клиенте
Лидер в области лабораторной диагностики, агрегирующий результаты анализов с ведущих медлабораторий и поставляющий цифровые сервисы на медицинские конференции.
Компания предоставляет организаторам мероприятий платформу для повышения качества контента, включая инструменты для поддержки докладчиков и слушателей в обработке сложной медицинской информации.
Бизнес-задачи
Дать докладчикам инструмент‑суфлер на отдельном экране с транскрипцией их речи в реальном времени.
Обеспечить синхронный перевод выступления в текст, включая большое количество медицинских терминов и латыни.
Сделать возможность для слушателей получать текст доклада и перевод на личные устройства по ссылке.
Реализовать решение с минимальными требованиями к инфраструктуре заказчика.
Вызов
Основным вызовом стали ограничения инфраструктуры: изначально с командой клиента обсуждалась архитектура с развёртыванием собственных моделей распознавания речи и перевода на стороне клиента, однако выяснилось, что у заказчика нет подходящих вычислительных мощностей и бюджета под их поддержку.
Дополнительно усложняли задачу: доменная область (медицина с большим количеством узкоспециализированной терминологии и латыни), жёсткие сроки до первой конференции и отсутствие полноценного пайплайна офлайн‑оценк и качества распознавания.
Как мы это сделали
Сформулировали требования к сервису
На сформулировали требования к сервису: синхронный суфлёр и переводчик для конференций, поддержка сложной медицинской терминологии, работа с живым аудиопотоком с микрофона спикера.
Спроектировали архитектуру
Вместо on-premise развёртывания моделей спроектировали архитектуру, в которой аудиопоток с микрофона поступает на бэкенд клиента, а затем отправляется в внешний сервис OpenAI для транскрипции и перевода.
Реализовали пайплайн обработки аудио
Реализовали пайплайн обработки аудио: приём голоса в браузере, передача на бэкенд, нормализация параметров (например, частоты дискретизации), подготовка в требуемый формат и отправка в OpenAI, последующая доставка текста на клиенты.
Настроили рассылку результатов транскрипции
Настроили рассылку результатов транскрипции: текст отображается на отдельном экране в аудитории для докладчика и может в реальном времени приходить слушателям по ссылке на их мобильные устройства.
Провели внутренние тесты
Провели внутренние тесты на записях реальных медицинских конференций, устранили критические ошибки и вывели сервис на пилотное мероприятие.
Что получил заказчик
Рабочий прототип сервиса синхронного суфлёра и переводчика для медконференций, запущенный в пилотную эксплуатацию за ограниченное время до события.
Решение, не требующее развёртывания и поддержки собственных ML‑моделей: вся тяжёлая часть транскрипции и перевода вынесена в OpenAI, что снижает требования к серверной инфраструктуре.
Базу для дальнейшего развития сервиса: сформированные задачи по качеству распознавания терминов, нагрузочному тестированию, комнатам подключения и требованиям к сети.
Что получил пользователь
Экран‑суфлер, на котором в настоящем времени отображается транскрипция выступления и перевод, что снижает нагрузку на докладчика и помогает держать структуру сложного медицинского доклада.
Возможность читать текст доклада и перевод на собственном смартфоне или экране через простую ссылку, не дожидаясь публикации материалов конференции.
Более комфортный пользовательский опыт для участников, которым сложно воспринимать устную речь с обилием специализированных терминов.
Мы не просто сделали суфлер
Мы не просто реализовали стандартный стриминговый транскрибатор, а помогли клиенту быстро проверить гипотезу о том, что медконференции нуждаются в отдельном цифровом «слое» для поддержки докладчиков и слушателей.
Вместо тяжёлой собственной ML‑инфраструктуры получился лёгкий, но расширяемый сервис, который соединяет живой голос спикера, внешнюю модель расп ознавания и удобные интерфейсы для разных ролей, и может стать основой для новых продуктов в медицине и образовании.
Смотрите наши другие кейсы
Платформа памяти о героях ВОВ
Маркетинговый проект по созданию платформы памяти о героях Великой Отечественной войны
ML-сервис для аудита наружной рекламы с адаптацией под новые рекламные макеты
Разработали ML-микросервис для аудита наружной рекламы, который автоматически анализирует изображения и быстро адаптируется под новые рекламные макеты.