AI-агенты без хаоса: где нужен human-in-the-loop

Чат отвечает. Агент проходит маршрут: понимает задачу, выбирает инструмент, читает данные, готовит действие, ждёт подтверждения и записывает результат. Ошибка здесь уже может задеть CRM, деньги, документы или письмо клиенту. Веселее, но дороже.

Поэтому первая версия агента должна быть операционным помощником, а не автономным сотрудником. Пусть ускоряет подготовку решения. Критичные кнопки оставляем человеку.

Контроль нужен не везде. Чтение базы знаний, классификация обращения и черновик письма обычно можно автоматизировать. Отправка клиенту, изменение сделки, деньги, удаление записи и юридическое заключение требуют явного approval.

Хороший пилот фиксирует эти границы в матрице действий: что агент делает сам, что предлагает, что только объясняет и где обязан остановиться. Да, это скучная таблица. Зато потом никто не ищет, кто сломал процесс.

Руководителю процесса важно видеть, почему агент предложил действие, какие источники использовал и где оператор его поправил. Это превращает пилот в обучаемую систему, а не в чёрный ящик с приятным интерфейсом.

В минимальный audit log включите входной запрос, выбранные инструменты, найденные источники, итоговый ответ, confidence или причину отказа и решение человека. Потом это будет ваша карта улучшений.

Перед разработкой агента полезно выписать не функции, а действия процесса. Например: прочитать карточку клиента, найти похожие обращения, подготовить ответ, создать задачу, изменить статус сделки, отправить письмо, приложить документ. Для каждого действия нужно указать риск, владельца, источник данных и режим выполнения.

Так появляется простая матрица: агент может читать, может готовить черновик, может предложить действие, но не может выполнять его без подтверждения. Эта матрица важнее красивого промпта. Она защищает от ситуации, когда агент случайно получает слишком широкий доступ и начинает делать то, что никто не согласовывал.

Агентные ошибки часто выглядят не как плохой текст, а как неправильный вызов инструмента. Модель выбрала не ту функцию, передала неполные аргументы, не проверила результат, повторила вызов или не поняла, что инструмент вернул ошибку. Поэтому тестировать нужно не только финальный ответ, но и весь trace.

В пилоте стоит хранить цепочку: намерение пользователя, выбранный инструмент, аргументы, ответ инструмента, промежуточное рассуждение в безопасной форме, итоговое действие и решение оператора. Тогда команда видит, что исправлять: описание инструмента, валидацию аргументов, права доступа, fallback или сам маршрут.

Контроль человека часто делают слишком грубо: агент всё равно готовит ответ, а оператор просто перечитывает весь результат с нуля. Это не экономит время. Нормальный human-in-the-loop показывает оператору, что изменилось, какие источники использованы, где низкая уверенность и какое действие предлагается.

Хороший интерфейс контроля должен сокращать проверку. Оператор видит: «найдены такие документы», «предлагаемый ответ», «риск: нет подтверждения по цене», «нужно выбрать один из вариантов». Если человек каждый раз заново расследует ситуацию, значит агент не встроен в процесс, а просто добавил ещё один экран.

Для агента недостаточно метрики «ответ понравился». Нужны показатели маршрута: сколько шагов он выполнил правильно, где запросил подтверждение, сколько раз вызвал инструмент, сколько ошибок инструментов обработал, сколько действий оператор принял без правки и сколько отклонил.

Ещё одна важная метрика - containment без риска. Это доля задач, которые агент довёл до безопасного результата в разрешённом режиме. Например, подготовил карточку лида и черновик follow-up, но не отправил письмо сам. Такая автоматизация уже может экономить время, даже если критичные действия остаются за человеком.

Практичный путь: сначала агент читает данные и делает резюме, затем готовит черновики, затем создаёт задачи в безопасном режиме, затем получает ограниченный доступ к действиям с approval. На каждом этапе нужны тесты, логи и понятный rollback.

Если процесс критичный, полезно запускать агента в shadow mode: он предлагает действие, но сотрудник работает как обычно. Через неделю можно сравнить, где агент совпал с человеком, где ошибся и какие правила нужны перед реальным запуском.