aify.studioайфи.студио
@aify_techTG-каналПочта
Computer Visionвизуальный анализКонфиденциальный проект

Сегментация повреждений автомобилей

Система помогает страховым, сервисам, классифайдам и компаниям с автопарком быстрее обрабатывать фото автомобилей: находит повреждения, строит точные пиксельные маски, оценивает серьёзность дефекта и формирует проверяемый акт осмотра для оператора, CRM или системы урегулирования страховых случаев.

Описать похожую задачу
mIoU / Dice
качество масок
авто / эксперт
маршрут проверки
CRM / API
акт осмотра

Проблема

Первичный осмотр автомобиля часто зависит от ручной проверки фотографий: эксперт ищет повреждения, описывает их словами, сравнивает несколько ракурсов и решает, достаточно ли данных для дальнейшей обработки. На потоке заявок это создаёт очередь, разный уровень детализации и слабую проверяемость: по итоговому тексту не всегда понятно, какая область фото повлияла на решение.

Решение

Мы строим контур визуального осмотра: система проверяет качество фото, находит кузовные элементы и зоны возможных повреждений, уточняет их пиксельными масками, рассчитывает тип и серьёзность дефекта, а затем маршрутизирует результат. Понятные случаи можно передавать дальше автоматически, спорные — отправлять эксперту вместе с маской, уверенностью модели, причиной проверки и историей решения.

Бизнес-ценность

Это не CV-демо, а проверяемый контур осмотра

Главная ценность не в красивой цветной маске. Система должна показать, какая зона повлияла на решение, где модель уверена, где нужен эксперт и какой акт можно передать дальше в рабочий процесс.

Разобрать вашу воронку

Эксперт

видит причину

Проверяет не абстрактное описание, а конкретную маску, confidence, severity и маршрут обработки.

Операционный поток

меньше очереди

Простые случаи можно пропускать автоматически, а спорные отправлять человеку вместе с причиной проверки.

Страховая / сервис

акт вместо картинки

На выходе есть структурированный объект: фото, зона, тип повреждения, маска, серьёзность и статус.

IT-интеграция

CRM / API / PDF

Результат можно сохранить в карточке клиента, передать в страховую систему, кабинет сервиса или API.

Что меняется в процессе автоосмотра

Было: ручное описание фото

эксперт вручную смотрит фото и описывает повреждение текстом

не всегда понятно, какая область снимка повлияла на решение

простые и спорные случаи попадают в одну очередь проверки

результат трудно автоматически передать в CRM, страховую систему или API

Стало: проверяемый акт осмотра

система строит пиксельную маску и показывает точную область дефекта

каждый вывод сопровождается confidence, severity и причиной маршрута

уверенные случаи идут дальше автоматически, спорные попадают эксперту

акт осмотра содержит фото, маску, тип дефекта, статус и данные для интеграции

Пилот на ваших данных

Как проверяем сценарий

Берём 100-300 обезличенных фото автомобилей с разными ракурсами, освещением и типами повреждений. На пилоте заранее фиксируем критерии качества: точность масок, пропуски дефектов, долю спорных случаев и формат отчёта, который реально нужен экспертам.

Что подаём на вход

100-300 фото

фото авто, типы повреждений, примеры экспертной разметки и правила ручной проверки

Что измеряем

IoU / Dice

качество масок, precision/recall по дефектам, устойчивость к ракурсам и освещению

Что получает команда

акт осмотра

изображение с масками, оценку серьёзности, уверенность модели, причину проверки и данные для CRM/API

Результат пилота: маски повреждений, оценка серьёзности, уверенность модели, статус проверки и отчёт для интеграцииПроверить CV-осмотр на ваших фото

В автоосмотре важен не красивый прямоугольник вокруг дефекта, а проверяемая маска: эксперт должен видеть, какая зона повлияла на вывод и почему система отправила случай на проверку.

AIFY Studio · подход к damage CV

Computer Vision / автоосмотр

AI-осмотр авто: маска, уверенность и маршрут проверки

Система показывает не просто найденное повреждение, а проверяемый процесс: качество фото, точная пиксельная маска, причина маршрутизации и акт, который можно передать в CRM, страховую систему или сервис.

1

Модель выделяет повреждённые зоны

Сегментация строит маски по царапинам, вмятинам, сколам и спорным зонам, чтобы эксперт видел точную область на кузове, а не общий прямоугольник.

2

Фото попадают в контур осмотра

Система принимает снимки из мобильного приложения, личного кабинета, CRM или batch-загрузки и проверяет, достаточно ли качества для анализа.

3

Решаем, что делать с заявкой

Алгоритм учитывает тип дефекта, площадь, расположение и уверенность модели, а затем выбирает маршрут: автоматически, эксперту или переснять.

4

Формируем акт осмотра

На выходе остаётся структурированный результат: фото с масками, тип повреждения, severity, статус проверки и экспорт в CRM, API или PDF.

Проверить сценарий осмотра на ваших фото
1. Модель выделяет повреждённые зоны
2. Фото попадают в контур осмотра
3. Решаем, что делать с заявкой
4. Формируем акт осмотра

Техническая часть

Как пиксельная маска превращается в решение по осмотру

В такой задаче модель не должна просто сказать «на фото есть повреждение». Рабочий контур должен проверить качество снимка, выделить область дефекта, оценить серьёзность и оставить понятный след решения для эксперта, страховой системы или сервиса.

Первый слой — контроль входных фотографий. До запуска CV-модели система проверяет, что машина видна нужным ракурсом, кадр не слишком тёмный или размытый, а повреждение не попало в край снимка. Это снижает количество ложных выводов: иногда правильное решение не «распознать дефект», а запросить новое фото.

q(x)=(qblur, qexposure, qangle, qcoverage)q(x)=\left(q_{blur},\ q_{exposure},\ q_{angle},\ q_{coverage}\right)
Качество фото оценивается до сегментации: резкость, экспозиция, ракурс и покрытие автомобиля.

Для бизнеса этот слой важен не меньше самой нейросети. Он защищает процесс от плохих входных данных и заранее объясняет клиенту или оператору, почему заявка не ушла дальше автоматически.

После проверки качества система ищет детали автомобиля и кандидаты повреждений. Детектор даёт области интереса, но прямоугольника недостаточно: он плохо объясняет форму царапины, площадь скола или границу вмятины. Поэтому следующий слой уточняет результат пиксельной маской.

IoU⁡(M,M^)=∣M∩M^∣∣M∪M^∣\operatorname{IoU}(M,\hat M)=\frac{|M\cap\hat M|}{|M\cup\hat M|}
IoU сравнивает экспертную маску M и маску модели, чтобы оценить качество сегментации.

Маска делает результат проверяемым. Эксперт видит не абстрактный прямоугольник, а конкретную зону, которую можно принять, поправить или отклонить.

Дальше маска превращается в признаки для решения. Система учитывает площадь повреждения относительно детали, тип дефекта, расположение и уверенность модели. Одинаковая по пикселям царапина может иметь разный вес: на двери, бампере или рядом с критичной зоной она влияет на процесс по-разному.

S=wa∣M^∣∣P∣+wtT+wlL+wc(1−p)S=w_a\frac{|\hat M|}{|P|}+w_tT+w_lL+w_c(1-p)
Оценка серьёзности учитывает площадь маски относительно детали, тип дефекта, расположение и неопределённость модели.

Так появляется численная оценка серьёзности, которую можно настроить под страховой продукт, сервисный регламент или правила классифайда.

Финальное решение — это маршрутизация, а не «вердикт ИИ». Уверенные и простые случаи можно обработать автоматически. Спорные случаи уходят эксперту вместе с маской, уверенностью модели и причиной проверки. Плохие кадры не должны попадать в отчёт: система просит переснять фото.

route(x)={auto,p≥τa∧S<γreview,p≥τr∧S≥γreshoot,q(x)<θroute(x)=\begin{cases}auto,& p\ge\tau_a\land S<\gamma\\review,& p\ge\tau_r\land S\ge\gamma\\reshoot,& q(x)<\theta\end{cases}
Пороговые правила разделяют автоматическую обработку, проверку экспертом и запрос нового фото.

Такой контур снижает риск автоматизации. Он ускоряет поток, но не прячет неопределённость там, где нужна ручная ответственность.

На выходе формируется не картинка с цветной заливкой, а структурированный акт осмотра. В нём хранятся исходное фото, маска, тип повреждения, зона автомобиля, оценка серьёзности, уверенность модели, статус и история действий. Такой объект можно показать эксперту, сохранить в карточке клиента или отправить в CRM, страховую систему, сервисный кабинет или API.

r=(x, M^, t, z, S, p, route)r=(x,\ \hat M,\ t,\ z,\ S,\ p,\ route)
Отчёт хранит все данные, нужные для проверки человеком и интеграции с внутренними системами.

Это и есть прикладная ценность компьютерного зрения: модель становится частью бизнес-процесса, а не отдельной демонстрацией распознавания.

Кейс становится управляемым контуром осмотра: фото проходит контроль качества, повреждения выделяются масками, спорные случаи попадают эксперту, а результат уходит дальше как проверяемый акт, а не как непонятный ответ модели.

Архитектура решения

1

Фото и качество

загрузка снимков, проверка ракурса, резкости, засветки и полноты набора

2

Детектор зон

кузовные элементы, стекло, колесо и кандидаты повреждений

3

Пиксельные маски

уточнение повреждения по пикселям вместо прямоугольников

4

Оценка дефекта

тип повреждения, площадь, серьёзность, уверенность модели и причина

5

Маршрут проверки

автоматически, эксперту или запросить новое фото

6

Интеграция

акт осмотра для CRM, страховой системы, кабинета сервиса или API

Результаты

На пилоте измеряем качество масок через IoU/Dice отдельно по типам повреждений и ракурсам
Считаем precision/recall для обнаружения дефектов, чтобы понимать цену пропуска и ложного срабатывания
Разделяем поток на автоматическую обработку и проверку экспертом по порогу уверенности, не скрывая спорные случаи
Формируем проверяемый акт: фото, маска, тип повреждения, оценка серьёзности, уверенность модели и причина маршрутизации
Результат можно передать в CRM, страховую систему, кабинет сервиса или внутренний API

Стек технологий

PyTorchYOLOSegment AnythingOpenCVFastAPI
Время реализации
3 недели разработки
Команда
2 CV-инженера, 1 backend разработчик

Хотите похожее решение?

Опишите процесс, данные и желаемый результат — вернёмся с вариантами решения и оценкой пилота.

Описать задачу

Cookie и аналитика

Метрика — только с согласия. Технические cookie нужны для сайта.

Подробнее: cookie и ПДн. Выбор можно изменить в футере.