ML-сервис для аудита наружной рекламы с адаптацией под новые рекламные макеты

MLкомпьютерное зрение

Web

Команда

ML-инженер

Техстек

React.js

Node.js

Java

PostgreSQL

Leaflet

Sequelize

Koa

Taxios

CASL

MinIO

AG Grid

Docker

Web

О клиенте

NDA

IT-компания, основной клиент которой - один из крупнейших телеком-операторов России (под NDA), лидер рынка по широкополосному доступу и проводной связи с массовым покрытием по всей стране, который активно развивает цифровую инфраструктуру и фокусом на высоконагруженные сервисы обработки данных.

Мы подключились как субподрядчик для усиления команды подрядчика, обеспечив ML-экспертизу в разработке решения для аудита наружной рекламы.

Клиенту требовался инструмент для аудита наружной рекламы, который позволял бы обрабатывать большие объёмы фотографий рекламных конструкций и автоматически определять нужные признаки по изображениям.

NDA

Автоматический анализ изображений рекламных конструкций без ручной проверки

Декоративный элемент в виде соты, белого цвета

Бизнес-задачи

Снизить объём ручной обработки больших массивов фотографий наружной рекламы.
Автоматизировать аудит рекламных размещений на основе изображений.
Сделать решение, которое можно быстро адаптировать под новый рекламный макет без долгой ручной подготовки отдельного ML-проекта.
Упаковать результат в поставляемый микросервис, пригодный для встраивания в контур заказчика.

Вызов

Главным вызовом было требование к обобщающей способности решения. Генеральная совокупность по сути включала почти любое рекламное объявление: система должна была корректно отрабатывать не только на уже известных примерах, но и на новых макетах, которые ещё не были придуманы на этапе разработки.

Из-за этого нельзя было опираться только на один заранее зафиксированный датасет и одну статически обученную модель. Нужно было сделать такой подход, при котором решение могло быстро подстраиваться под новое входное изображение и автоматически собирать основу для последующего обучения модели под конкретную задачу распознавания.

AutoML-пайплайн для обучения и предсказани�я по новым рекламным объявлениям

Поставляемый Docker-микросервис для встраивания в контур заказчика

Декоративный элемент в виде соты, оранжевого цвета

Как мы это сделали

Сбор и уточнение требований
Собрали и уточнили ТЗ напрямую с клиентом и конечным заказчиком из телеком-сектора: проанализировали сценарии обработки больших массивов фотографий рекламных конструкций, требования к обобщению на новые креативы, спроектировали сквозной процесс от загрузки изображения до предсказания с адаптацией AutoML.
Архитектура и инфраструктура
Спроектировали архитектуру AutoML-pipeline под динамические данные: Docker-микросервис на FastAPI с двумя ручками (настройка/обучение, предсказание), PyTorch для моделей компьютерного зрения, автоматическая генерация датасета с аугментациями для новых макетов.
AutoML и функционал пайплайна
Разработали пайплайн для адаптации под новые объявления: пользователь загружает изображение через API, система формирует данные для обучения, запускает подготовку модели и выдает артефакт для предсказаний; обработка признаков на изображениях без статического датасета.
Команда и реализация
Сформировали команду из 2 ML-инженеров: реализовали end-to-end сервис, упаковали в поставляемый Docker-контейнер, обеспечили воспроизводимость процесса обучения для постоянной адаптации под меняющиеся рекламные макеты.
Результат и передача
Передали заказчику готовый ML-микросервис с AlphaStar API: сервис заменяет ручной аудит, масштабируется на новые форматы наружной рекламы; детали метрик и внедрения под NDA.

Что получил пользователь

Возможность загрузить новое изображение рекламного объявления и инициировать подготовку модели под конкретный сценарий аудита.
Единый API-сценарий: сначала настроить и обучить модель, затем использовать её для предсказаний.
Более удобную работу с новыми типами объявлений без необходимости каждый раз запускать отдельную разработку с нуля.
Повторяемый процесс подготовки и применения модели вместо разрозненных экспериментов с изображениями.

Что получил клиент

Сервис для обработки больших массивов фотографий наружной рекламы без опоры только на ручную проверку.
Архитектуру, способную адаптироваться под новые рекламные макеты, которые не были заранее заложены в исходный датасет.
Docker-микросервис, который можно поставлять и встраивать в существующий контур как отдельный сервис.
Базу для дальнейшего масштабирования решения на новые форматы наружной рекламы и новые сценарии аудита.

Computer vision для масштабируемого аудита наружной рекламы в телекоме

Мы не просто разработали сервис

Мы выстроили сервисный AutoML-контур для аудита наружной рекламы, который позволяет не останавливаться на одном обучении, а адаптировать решение под новые рекламные объявления по мере их появления.