Что такое «под ключ» и что в это обычно не входит
Формулировка звучит одинаково у всех, наполнение отличается сильно.
Под ключ означает, что подрядчик доводит сценарий до работы в вашем процессе: разбирается в задаче, готовит модель или связку моделей, подключает её к вашим системам, обучает сотрудников и передаёт то, что можно эксплуатировать. Проверять это стоит одним вопросом: что именно будет работать в бою в день приёмки и кто будет этим пользоваться. Если ответ описывает демонстрационный стенд, а не рабочее место конкретного сотрудника, слово «под ключ» здесь означает другое.
Регулярно за периметр выносят три вещи, и об этом лучше договориться на берегу. Первая — подготовка и разметка данных: их почти всегда делает заказчик, потому что только он знает, где правильный ответ. Вторая — доработки в смежных системах: если для интеграции нужно расширить API вашей CRM, это работа вашего подрядчика по CRM. Третья — эксплуатация после сдачи: дежурство, мониторинг качества, дообучение на новых данных.
- работающее место конкретного сотрудника, а не демо на подготовленных примерах
- разметка данных почти всегда остаётся на заказчике
- эксплуатация после сдачи считается отдельно и заранее
Как выбрать первую задачу
Пригодная для первой пробной версии задача выглядит скучно. Это повторяющаяся операция, которую сейчас делает человек, по которой накоплен архив, и у которой есть проверяемый правильный ответ. Классификация входящих обращений, извлечение полей из накладной, поиск ответа в регламенте, черновик коммерческого предложения по шаблону. Чем больше в задаче исключений, договорённостей «по телефону» и решений на усмотрение опытного сотрудника, тем хуже она подходит для старта.
Второй фильтр — объём. Если операция выполняется пять раз в месяц, автоматизация не окупится никогда, каким бы удачным ни был пробная версия. Считайте частоту и время: сколько раз в неделю происходит операция, сколько минут занимает, сколько людей вовлечено. Задача, которая съедает у трёх сотрудников по полтора часа в день, — кандидат. Задача, которая случается раз в квартал, — нет.
Третий фильтр — цена ошибки. Для первой пробной версии лучше брать процесс, где ошибка модели заметна и обратима: черновик, который человек проверяет перед отправкой. Сценарии, где ошибка уходит клиенту или в бухгалтерскую отчётность без промежуточной проверки, оставьте на второй заход, когда будет понятно реальное качество.
- повторяется десятки раз в неделю, а не пять раз в месяц
- есть архив за прошлые периоды и понятно, где правильный ответ
- ошибка на первом этапе видна человеку и обратима
Как читать предложение на разработку ИИ
В предложении должно быть написано, на каких данных подрядчик собирается проверять результат и какую цифру считает успехом. Формулировки «повысим эффективность» и «внедрим современные модели» не проверяются на приёмке, поэтому и спорить на ней будет не о чем. Нормальная формулировка выглядит так: на отложенной выборке из 300 накладных за июль модель извлекает восемь обязательных полей, доля документов, где все восемь полей верны, не ниже согласованного порога, остальные уходят оператору с подсветкой проблемного поля.
Отдельно смотрите, кто описан как участник процесса со стороны заказчика. Хорошее предложение называет роли: кто даёт доступ к системам, кто размечает спорные случаи, кто принимает результат, кто будет пользоваться решением каждый день. Если в предложении участников со стороны заказчика нет вообще, значит, подрядчик либо не планировал ваши данные, либо предполагает, что вы найдёте этих людей сами и внезапно.
Полезный вопрос на переговорах — попросить описать, как проект может провалиться. Команда, которая делала такие проекты, ответит быстро и конкретно: не хватит размеченных примеров редких случаев, окажется, что половина сканов сделана телефоном под углом, у интеграции не окажется тестового контура. Ответ «рисков нет, технология зрелая» говорит о том, что дальше демонстраций дело не доходило.
Хотите проверить это на своих данных? Разберём задачу бесплатно и скажем, стоит ли браться.
Данные: самый недооценённый пункт
Почти каждая застрявшая пробная версия застревает на данных. Типичная последовательность: договорились за две недели, на третьей выяснилось, что выгрузка из системы делается вручную, ещё через неделю — что в архиве нет примеров редких случаев, а те, что есть, размечены двумя сотрудниками по разным правилам. Модель тут ни при чём, и менять её бесполезно.
До старта работ полезно ответить на несколько вопросов самому себе. В каком виде данные выгружаются и кто это делает. За какой период есть архив и покрывает ли он сезонность. Кто в компании считается арбитром, когда два сотрудника разметили один и тот же случай по-разному. Сколько примеров есть на редкие случаи — обычно именно они определяют, будет ли решение полезным, потому что типовые случаи распознаются легко.
Если данных мало, это не приговор, но это меняет формат работ. Иногда правильный первый этап — не пробная версия, а две недели на сбор и разметку, с отдельной сметой и понятным результатом: размеченный набор, который останется у вас независимо от того, чем закончится проект.
- кто и как выгружает данные из боевой системы
- покрывает ли архив сезонность и редкие случаи
- кто арбитр при расхождении разметки
Критерии приёмки, которые действительно закрывают проект
Критерий приёмки — это заранее согласованное предложение вида: на таком-то наборе данных, который заказчик не показывал подрядчику, такая-то метрика не хуже такого-то значения. Три части здесь обязательны, и чаще всего теряется первая. Если проверять на тех же примерах, на которых настраивали, приёмка покажет замечательный результат и ничего не скажет о работе в бою.
Вторая частая ошибка — одна общая цифра точности. Она скрывает то, что важно для процесса. Для документов имеет значение, ошиблась ли модель в сумме или в названии контрагента. Для обращений — путает ли она соседние категории или отправляет срочное в общую очередь. Разложите метрику по типам ошибок и договоритесь о пороге отдельно там, где ошибка дороже.
Третья часть, о которой забывают, — что считается успехом с точки зрения людей. Модель может показывать отличные цифры, а сотрудники — не пользоваться результатом, потому что проверять черновик дольше, чем сделать заново. Добавьте в приёмку простой замер: сколько времени занимает операция с решением и без него, на одинаковом наборе задач, с участием тех же людей.
Интеграции и жизнь после пробной версии
Спросите, как решение будет выглядеть на рабочем месте. Отдельный интерфейс, куда надо ходить дополнительно, приживается плохо: сотрудник уже работает в CRM или 1С, и лишнее окно означает лишний шаг. Обычно правильный ответ — результат приезжает туда, где человек и так находится: поле в карточке, черновик в задаче, комментарий в документе.
Дальше — эксплуатация. У пробной версии есть срок, у процесса срока нет. До подписания стоит понимать, кто отвечает, если решение перестало отвечать в понедельник утром, как быстро, где смотреть логи, как передать модели новые примеры, когда бизнес поменял правила, и сколько это стоит в месяц. Стоимость поддержки, названная после сдачи проекта, — обычный источник конфликта.
Отдельно проговорите права на результат: кому принадлежит размеченный набор данных, дообученная модель и код интеграции. Формулировку лучше закрепить в договоре до начала работ, а не выяснять её, когда захочется сменить подрядчика.
- результат приходит в систему, где сотрудник уже работает
- поддержка, дежурство и дообучение оценены до подписания
- права на данные, модель и код зафиксированы в договоре
Когда внедрять не нужно
Есть несколько ситуаций, где честный ответ — отложить. Процесс не описан и у каждого сотрудника свой: сначала описание, потом автоматизация, иначе модель выучит противоречия. Архива нет и собирать его неоткуда: пробная версия превратится в сбор данных, лучше так его и назвать. Задача решается правилами: если критерий формулируется как «если сумма больше миллиона — на согласование», это условие в коде, а не машинное обучение, и оно будет работать точнее и дешевле.
Отдельный случай — когда автоматизировать хотят процесс, который скоро изменится. Если через квартал компания переезжает на другую ERP или меняет регламент, интеграцию придётся переделывать вместе с ним. Иногда разумнее подождать переезда и заложить ИИ-сценарий сразу в новую систему.
Следующий шаг
Перед разговором с любым подрядчиком соберите одну страницу: какой процесс, сколько раз в неделю он происходит, кто его делает, какие данные накоплены и за какой период, в какие системы должен попасть результат, и по какой цифре вы поймёте, что получилось. Этой страницы достаточно, чтобы получить сопоставимые предложения от нескольких команд и увидеть, кто задаёт уточняющие вопросы, а кто сразу называет цену.
Что сделать дальше
- Критерий приёмки формулируется до старта работ и в цифрах: на каком наборе данных, какая метрика, какой порог.
- Данные готовит заказчик, и это самый недооценённый пункт сметы — закладывайте на него отдельное время своих сотрудников.
- Спрашивайте, что происходит после пробной версии: кто дежурит, кто дообучает, где живут логи и сколько это стоит в месяц.
Вывод
Внедрение под ключ разваливается не на моделях, а на трёх местах: непонятная граница работ, неготовые данные и приёмка, записанная словами вместо цифр. Если эти три пункта закрыты до старта, дальше проект становится обычной инженерной задачей.
Вопросы по теме
Сколько длится пробная версия внедрения ИИ?
Обычно 2-4 недели на один сценарий, если данные уже собраны. Если архив нужно выгружать и размечать, сбор данных стоит выделить в отдельный этап со своим сроком и результатом.
Что должно быть в предложении, кроме цены?
Набор данных для проверки, метрика и порог приёмки, роли со стороны заказчика, список интеграций, условия поддержки после сдачи и права на данные, модель и код.
Чем пробная версия отличается от демонстрации?
Демонстрация показывает работу на подготовленных примерах. Пробная версия проверяет сценарий на данных, которых подрядчик не видел, и заканчивается заранее согласованной цифрой.
Кто готовит данные для обучения?
Разметку почти всегда делает заказчик: только он знает правильный ответ и правила спорных случаев. Подрядчик задаёт формат, инструкции и проверяет согласованность разметки.