На первом шаге карточку рассматриваем как единый объект, а не как набор независимых полей. Изображения показывают внешний вид товара, название и описание дают смысловые признаки, атрибуты фиксируют структурированные свойства, а выбранная продавцом категория становится отдельным входным сигналом. Ошибка продавца при этом не выбрасывается: противоречие между фото, текстом и категорией помогает заранее найти рискованные карточки.
Такой формат входа важен для бизнеса. Система видит не только «что написал продавец», но и то, насколько описание согласуется с фотографией и правилами каталога.
Дальше разные типы данных переводятся в общее пространство признаков. Визуальная модель извлекает признаки из фотографий: тип предмета, форму, цвет, материал и возможные визуальные ограничения. Текстовая модель разбирает название и описание, находит назначение товара, бренд, размерность и синонимы. Атрибутная ветка нормализует табличные поля: размер, пол, материал, сезонность, комплектность.
Именно объединение модальностей делает решение устойчивым. Если в названии написано «кроссовки», но на фотографии виден ботинок или товарный набор, модель получает конфликтный сигнал и может повысить риск ручной проверки.
После этого карточка сопоставляется с деревом каталога. Модель считает распределение вероятностей по допустимым категориям и выбирает наиболее вероятную ветку. Для интерфейса модератора лучше возвращать не только top-1, но и top-3: оператор не ищет категорию с нуля, а выбирает из короткого списка с объяснимыми альтернативами.
На уровне продукта это превращает классификацию из «магического ответа модели» в проверяемый инструмент: у каждой карточки есть основная категория, запасные варианты и численная уверенность.
Главная бизнес-логика находится не в нейросети, а в маршрутизации. Карточка проходит автоматически только тогда, когда уверенность достаточно высокая, а риск ошибки ниже допустимого порога. Риск можно считать из нескольких факторов: конфликт фото и текста, близость альтернативных категорий, отсутствие обязательных атрибутов, запрещённые признаки и расхождение с правилами конкретного раздела.
Пороги не должны быть одинаковыми для всех категорий. В простых разделах можно поднимать долю автоматической обработки, а в дорогих или юридически чувствительных категориях — снижать риск и чаще отправлять карточки оператору.
Качество такого решения нельзя оценивать одной метрикой accuracy. В пилоте нужно отдельно смотреть top-1 и top-3 попадание в категорию, полноту обязательных атрибутов, долю карточек, которые прошли без оператора, и цену ошибки на тех карточках, где модель была слишком уверена.
Обучение удобно строить как multi-task: модель одновременно оптимизирует категорию, атрибуты и решение модерации. Тогда она не только выбирает раздел каталога, но и помогает заполнить карточку, найти риск и дать оператору понятную причину проверки.
На выходе получается не «чёрный ящик», а управляемая очередь решений: понятная категория, обязательные атрибуты, уровень уверенности, альтернативы и причина, почему конкретная карточка прошла автоматически или ушла оператору.