Проверка качества ИИ и мониторинг (evals)
После первой версии главный вопрос — можно ли запускать на всех и не испортится ли качество через неделю. Собираем набор контрольных примеров, считаем качество ответов, настраиваем проверку после каждого изменения и следим за ошибками, скоростью и расходами в работе.
- С чего начинаем
- перед запуском на всех
- Срок
- 2-4 недели
- Что входит
- набор примеров
Когда это нужно
Кому чаще всего полезно: компании после первой версии ИИ, IT-отделы, службы поддержки, продуктовые команды.
- в тестах работает, а как в реальности — неизвестно
- настройки и модели меняются без проверки
- никто не считает ошибки, выдуманные ответы, скорость и расходы
- хочется безопасно расширить работу бота или агента
Что вы получите
Набор контрольных примеров, автоматическая проверка, отчёт о качестве и правила выпуска изменений.
- качество ИИ — это цифры, а не впечатление
- изменения модели и настроек проходят проверку
- видно, где растут расходы, задержки и отказы
- перед каждым обновлением понятно, можно ли его выпускать
Контрольные примеры
набор контрольных примеров и критерии оценкиАвтоматическая проверка
автоматическая проверка и отчёт о качествеРазбор ответов
журнал ответов и действий для разбора ошибокПравила выпуска
правила: что проверить перед выпуском изменений
Как мы работаем
Сначала разбираемся в задаче, потом делаем пробную версию на ваших примерах. О полной разработке решаете, когда увидите результат.
Собираем примеры
Реальные вопросы, сложные случаи и что считать хорошим ответом.
Выбираем оценки
Точность, полнота, ссылка на источник, безопасность ответа.
Настраиваем проверку
Автоматический прогон и отчёт после каждого изменения.
Следим в работе
Качество, скорость, расходы и ошибки после запуска.
Что понадобится и как это устроено
Что понадобится от вас
журналы работы, реальные вопросы, что считать хорошим ответом, эталонные ответы
Как избегаем ошибок
- проверка перед каждым выпуском
- каверзные вопросы
- ручная разметка важных случаев
- отслеживание изменений в данных
С чем работает
- OpenAI Evals
- LangSmith
- OpenTelemetry
- хранилище журналов
- выпуск обновлений
- отчёты
Вопросы по услуге
Проверка качества нужна только большим системам?
Нет. Даже небольшому боту полезно иметь контрольные вопросы и проверку перед изменениями.
Можно ли оценивать качество без ручной разметки?
Частично. Но важные случаи лучше иметь с эталонным ответом и ручной проверкой, особенно если ошибка дорого обходится бизнесу.
Что отслеживать после запуска?
Качество ответов, ссылки на источники, отказы, скорость, расходы, ошибки программ, передачи человеку и новые типы вопросов.
Обсудим вашу задачу?
Пришлите несколько примеров документов, обращений или видео — подскажем, с чего начать. Если ИИ здесь не нужен, скажем прямо.