AI-агент можно проверить по тестовому сценарию — но этого недостаточно: реальные пользователи формулируют запросы иначе, используют неожиданные сочетания условий и вызывают инструменты в последовательности, которую трудно полностью предусмотреть заранее.
В targetai эти два типа контроля объединены в один цикл. Ночной симулятор регулярно перепроверяет версии агента на закреплённых сценариях, а автосудья разбирает уже завершённые диалоги с реальными пользователями. В результате команда получает два независимых сигнала о качестве: что сломалось в ожидаемом сценарии и что пошло не так в реальной работе.
Коротко: симулятор отвечает на вопрос «по-прежнему ли агент выполняет то, что мы от него требуем?», а автосудья — «как он фактически отработал с клиентами?».
1. Контроль начинается с конкретной версии агента
Версии позволяют отделять изменение агента от изменения реального трафика. Сохранение создаёт новую версию или обновляет черновик, но само по себе не переключает на неё пользователей. Публикация выполняется из истории изменений. Для нового агента первая версия публикуется автоматически, а следующее сохранение опубликованной версии создаёт черновик.
Если нужно проверить изменение на реальном трафике, к опубликованной версии можно добавить вторую версию в A/B-тест — в интерфейсе она получает 50% трафика. Это отдельный механизм от ночного симулятора: A/B-тест показывает поведение двух версий на реальных пользователях, а симулятор регулярно прогоняет закреплённые тестовые сценарии.
2. Ночной симулятор: регулярная проверка на закреплённых сценариях
Ночной симулятор берёт рабочие версии AI-агентов и прогоняет их через заранее закреплённые тестовые сценарии без участия человека. Задача механизма — регулярно замечать регрессии в инструкции или логике агента, не превращая проверку в ручной ритуал после каждого изменения.
В рабочем окружении проход запускается ежедневно в 00:00 UTC. За один проход отправляется не более двух версий, а суточный бюджет при доступном Redis составляет до 500 версий. Приоритет получают версии с большим реальным трафиком, но распределение устроено так, чтобы менее активные версии не выпадали из контроля.
Важно: ночной симулятор по умолчанию выключен. Его нужно включить для конкретного окружения. Версия также должна быть связана с требованиями и тестовыми сценариями — иначе симулятору нечего проверять.
Фоновые ночные симуляции не тарифицируются пользователю.
Инструкцию правили в пятницу. Когда вы узнаете, что агент стал отвечать хуже? Посмотреть targetos 3. Автосудья: проверка реальных диалогов
Симулятор видит только то, что заранее описано в сценариях. Поэтому второй контур контроля работает уже на реальных диалогах.
Автосудья выбирает завершённые диалоги, которые ещё не получили автоматическую оценку, и анализирует стенограмму, вызовы инструментов и до трёх примеров симуляций той же задачи. Эти примеры служат ориентиром того, как должен выглядеть корректный результат.
На выходе команда получает не абстрактный «скор», а понятный результат «приемлемо / неприемлемо» и замечания, связанные с конкретными репликами агента.
За один проход автосудья разбирает примерно 20% доступной очереди каждого агента, но не меньше одного диалога. Для отбора используется окно последних 7 дней. Чтобы фоновая оценка не создавала резких пиков нагрузки, одновременно выполняется не более 5 обращений к модели-судье, а суммарно за проход рассматривается не более 5000 кандидатов.
В отличие от ночного симулятора, автосудья включена по умолчанию.
«Тестовый сценарий проверяет то, что мы уже придумали. Реальный диалог проверяет то, что мы не придумали. Поэтому два контура не дублируют друг друга: симулятор ловит регрессию в известном поведении, автосудья показывает, где сценарий вообще не был предусмотрен. Команда получает не общий процент качества, а конкретные реплики, к которым есть вопросы».
4. Результаты можно вынести в аналитику
Автоматическая оценка полезна не только как отметка внутри конкретного диалога. В аналитике её можно превратить в отдельный график — например, группировать результаты по rating и смотреть динамику долей «приемлемо / неприемлемо» во времени.
После сохранения такой график появляется в общем разделе аналитики и может использоваться как регулярная точка контроля качества.
Оценка стоит у каждого диалога. Что из этого вы показываете бизнесу раз в неделю? Смотреть аналитику 5. Как два механизма дополняют друг друга
Полный цикл выглядит так:
- Команда формулирует требования к агенту и закрепляет тестовые сценарии.
- Изменения сохраняются в новой версии; публикация и переключение трафика управляются отдельно.
- Ночной симулятор регулярно перепроверяет версии по известным сценариям.
- Агент продолжает работать с реальными пользователями.
- Автосудья разбирает часть завершённых диалогов и находит отклонения, которые тестовые сценарии могли не предусмотреть.
- Команда использует оба сигнала для следующей итерации агента — и при необходимости проверяет новую версию через A/B-тест.
Сочетание двух контуров важно: симулятор ловит регрессию в ожидаемом поведении, автосудья — проблемы в реальном использовании.
Голосовой агент на первой линии банка. Как там удерживают качество на потоке? Смотреть кейс 6. Ключевые параметры по умолчанию
| Механизм | Что проверяет | Режим / ограничение |
|---|---|---|
| Ночной симулятор | Версии по тестовым сценариям | 00:00 UTC ежедневно |
| Ночной симулятор | За проход | ≤ 2 версии |
| Ночной симулятор | Суточный бюджет | до 500 версий (Redis) |
| Автосудья | Доля очереди | ~20%; минимум 1 диалог |
| Автосудья | Окно | 7 дней |
| Автосудья | Параллельно | ≤ 5 обращений |
| Автосудья | За проход | ≤ 5000 кандидатов |
Что получает команда
Для команды это постоянный фоновый контур качества вместо ручных прогонов: быстрее видны регрессии, ошибки на реальных диалогах и системное ухудшение конкретной версии. Проверки идут порциями и ограничены по нагрузке, поэтому не требуют прогонять весь массив сразу.
Перед стартом: закрепите сценарии за версиями, включите симулятор и выведите оценки автосудьи в аналитику.
Разберём контроль качества
на ваших сценариях
Покажем, как закрепить требования и тестовые сценарии за версиями агента, включить ночной симулятор в вашем окружении и вывести оценки автосудьи в отдельный дашборд. Разбор идёт на ваших диалогах, а не на демо-данных.
