Галлюцинации ИИ в коммуникациях с клиентами

Слот обложки: uc-ta-hero

1. Что такое галлюцинации ИИ

Галлюцинацией (или «конфабуляцией») называют уверенный, правдоподобный на вид ответ, который не соответствует реальности, противоречит контексту запроса или содержит внутренние ошибки.

Языковая модель не отличает «факт» от «вымысла» в привычном смысле. Она подбирает такое продолжение текста, которое выглядит статистически вероятным - похожим на то, что она видела при обучении. Если неверное утверждение звучит логично и вписывается в вопрос, модель выберет его как подходящий ответ. Никакого механизма проверки истинности нет.

В клиентском сервисе это особенно опасно: пользователь видит уверенный ответ и действует на его основе. В медицине и праве уже были случаи, когда ИИ-модели приводили несуществующие факты и ссылки. По данным Systems Analysis, это заканчивалось штрафами и исками. Известный пример - чат-бот Air Canada, сообщивший клиенту о несуществующей политике скидок: суд встал на сторону клиента.

Такие ошибки возникают не только из-за модели. Неправильный подбор источников, устаревшая база знаний или отсутствие валидации делают галлюцинации системным, а не разовым риском.

Большие языковые модели снижают число очевидных ошибок, но не устраняют галлюцинации по природе. Даже самая мощная LLM без правильной архитектуры, актуальной базы знаний и методики испытаний будет галлюцинировать в боевых сценариях. Выбор модели - одна из переменных. Архитектура процесса - важнее.

2. Какие бывают галлюцинации

Для клиентского сервиса особенно характерны пять типов:

• Фактические. Модель приводит ложные цены, сроки, адреса, условия льгот. Пример: чат-бот придумывает ссылку на несуществующий закон или сообщает, что скидка действует дольше, чем на самом деле.
• Процедурные. Алгоритм неверно ветвится в сценарии, пропускает нужное уточнение или отправляет клиента не туда. Усугубляется высоким значением параметра temperature - он управляет «творческой вольностью» модели: чем выше, тем сильнее волатильность ответов. При строгой бизнес-логике temperature должна быть низкой.
• Регламентные и юридические. Модель придумывает правила возврата, квот или скидок, которых нет в нормативных документах.
• Контекстные. Модель путает возраст, статус или категорию клиента и выдаёт неверные условия.
• Генеративные. ИИ добавляет детали, которых нет в брифе или базе знаний. Не может сказать «я не знаю» - и дополняет ответ правдоподобными домыслами. По данным «Управление производством», такие ошибки встречаются примерно в каждом пятом ответе.

Таблица 1. Виды галлюцинаций и российские примеры

Примеры из таблицы - по данным «Известий» о галлюцинациях при взаимодействии ИИ-агентов.

3. Где они чаще всего возникают

В клиентском сервисе галлюцинации проявляются в нескольких типичных сценариях:

• Билеты и бронирование. ИИ может придумать тарифы, неверно рассчитать сервисный сбор, указать неправильную дату или наличие мест.
• Возвраты и обмены. Модель придумывает несуществующие правила возврата - именно так произошло с Air Canada.
• Льготы, квоты, скидки. ИИ неправильно классифицирует клиента и выдаёт не ту льготу. В социальной сфере это особенно чувствительно.
• Сервисный сбор и условия покупки. Алгоритм путает условия оплаты, добавляет выдуманные комиссии или неправильно применяет промокоды.
• Режим работы и правила обслуживания. Модель неверно сообщает часы работы кассы.
• Перевод на оператора. Неправильное ветвление: вместо нужного специалиста клиент попадает в общий колл-центр.

Реальные кейсы

В России эксперты называют часть таких сбоев «галлюцинациями взаимодействия»: ошибка возникает не в одной модели, а на стыке нескольких систем. По данным «Известий», чат-бот строит диалог, другая система бронирует, третья передаёт контекст - и любая неточность превращает простой запрос в проблему.

• Покупка билетов в кино. Помощник перепутал дату или оформил бронь без завершения оплаты. Клиент узнаёт о сбое уже перед началом сеанса.
• Поиск аренды. На этапе обмена данными теряются ключевые параметры: бюджет меняется, район подменяется соседним, краткосрочная аренда превращается в долгосрочную.
• Туризм и финансы. Рассинхронизация между системами оставляет клиента без брони; в финансовой сфере - списание без зачисления.
• Голосовые заказы. Неверное распознавание адреса или товара - заказ уходит не туда, иногда с утечкой персональных данных.

Большинство причин - не в самой модели, а в архитектуре: отсутствие стандартизированных интерфейсов, API и механизмов валидации. Без их решения ошибок будет больше, и каждая будет обходиться дороже.

4. Чем это опасно для бизнеса

Галлюцинации - управляемый риск. При правильной архитектуре и методологии он поддаётся контролю. Но без контроля становится системной проблемой с конкретными финансовыми и репутационными последствиями.

• Финансовые потери. Неверная инструкция приводит к неправильным действиям клиента: покупка по несуществующей льготе, пропуск сроков возврата. Компании возмещают убытки вручную.
• Рост нагрузки. Исправление ошибочных ответов увеличивает объём работы операторов. При потоке в тысячи обращений в день даже 5% ошибок - это уже сотни ручных разборов.
• Судебные и регуляторные риски. Бот обещает услугу, которой компания не оказывает, или неверно трактует договор - это уже предмет исков. Российские регуляторы штрафуют за нарушение прав потребителей на суммы до 1–3% оборота; в ЕС - до 7%.
• Падение доверия. Исследование SINTEF показывает, что галлюцинации подрывают доверие пользователей к технологии в целом. По данным GL-media, клиенты менее терпимы к ошибкам машины, чем к ошибкам человека: ошибочный ответ воспринимается как неуважение.

Таблица 2. Экономические последствия

5. Почему галлюцинации возникают

• Вероятностная природа генерации. Модель подбирает «вероятное» продолжение текста, а не «правильное». У неё нет механизма различать факт от вымысла - только статистика обучающих данных. Подробно об этом - в материале Systems Analysis о причинах галлюцинаций LLM.
• Knowledge cutoff - предел знаний. Каждая модель обучена на данных, собранных до определённой даты. Всё, что произошло позже, в её базовых знаниях отсутствует. Но модель не отказывается отвечать: она опирается на старые данные и общую логику, и ответ звучит уверенно - хотя фактически может быть устаревшим.
• Температура генерации (temperature). Параметр, управляющий степенью «творческой вольности» модели. При значении выше 0,5 ответы становятся более разнообразными и менее предсказуемыми. В сервисных сценариях, где нужна строгая бизнес-логика, высокая temperature повышает риск галлюцинации.
• Слабая архитектура процесса. Без жёстких доменных ограничений и актуальной базы знаний ответы выходят некорректными. Harvard Misinformation Review отмечает, что недостаточная фильтрация и пробелы в данных неизбежно приводят к галлюцинациям.
• Недостаточное тестирование. Компании тестируют корректность отдельных ответов, но не поведенческую логику агента. По данным «Управление производством», галлюцинации возникают примерно в 20% ответов - но без стресс-тестов большинство из них остаются незамеченными до продакшена.

Слот иллюстрации риска: uc-ta-risk

6. Что обычно делают, чтобы снизить риски

• Промпт-инжиниринг. Длинные инструкции пытаются «прижать» модель к регламенту. Но даже хорошо написанный промпт не защищает от неверных фактов, которых нет в базе знаний.
• RAG (retrieval-augmented generation). Перед генерацией подтягиваются документы из базы знаний. Снижает ошибки, но система всё равно может интерпретировать данные неверно. Вертикальный RAG - специализированный вариант под конкретную отрасль - даёт более точные результаты за счёт узкой выборки источников.
• Fine-tuning (дообучение). Модель дообучается на данных компании - регламентах, сценариях, диалогах. Снижает частоту галлюцинаций в устойчивых сценариях, но требует качественной разметки и регулярного обновления.
• Логи и аудит. Компании сохраняют ответы и анализируют инциденты. Без системного тестирования ловит лишь отдельные ошибки.
• Перевод на оператора. При сложных вопросах модель передаёт клиента специалисту. Снижает риски, но увеличивает нагрузку.

Эти меры важны, но их недостаточно. Российские исследователи отмечают: без системного контроля поведения агента и свежей базы знаний даже хороший результат на тесте не гарантирует успеха в продакшене.

Получается замкнутый круг. Компании внедряют AI-агентов в продакшен, но не имеют методического инструмента для проверки поведения. Тестирование сводится либо к выборочному прослушиванию диалогов, либо к точечной проверке ответов. Поведенческая логика - как агент ветвится, что уточняет, как ведёт себя при недостатке данных - остаётся слепой зоной. Именно эту слепую зону закрывает targetai.

7. Как targetai решает проблему галлюцинаций

ИИ-агенты для клиентского сервиса создаются на платформе targetai - targetos. Методика испытаний, которую мы применяем, разработана на основе зарубежных бенчмарков и собственного опыта внедрения проектов в клиентском сервисе.

Вместо того чтобы проверять правильность отдельных ответов, targetai оценивает поведение агента в полном сценарии. Для каждого кейса фиксируются:

• Тематика и задание. Контекст: например, возврат билетов по болезни или оформление льготы.
• Исходные данные. Что знает клиент о себе и что известно агенту.
• Ожидаемый результат. Правила, акты, регламенты, на которые должен ссылаться агент.
• Отклонения и фактический результат. Анализ ошибок: где модель пропустила уточнение, придумала льготу или выбрала неправильную ветку.
• Заключение и рекомендации. Команда targetai предлагает изменить сценарий, базу знаний или архитектуру процесса.

Программа и методика испытаний (ПМИ) AI-агента - ключевой рабочий документ targetai. ПМИ - это не маркетинговая брошюра, а инженерный документ: каталог из 30+ типовых тест-сценариев, классификация семи типов галлюцинаций, шаблон протокола испытаний, критерии оценки поведения агента и чек-лист готовности к промышленной эксплуатации. По нему можно тестировать своего агента самостоятельно, использовать как рамку для подрядчика или как инструмент приёмки.

8. Симуляции: как выглядит проверка на практике

Основной инструмент проверки агента - симуляции. Это воспроизведение реальных диалоговых сценариев в контролируемых условиях: агент проходит полный путь от приветствия до закрытия кейса, каждый шаг оценивается по заданным критериям.

За один раз мы проводим не менее 30 симуляций. Агент работает с реальными или специально составленными кейсами: возвраты, льготы, бронирование, нестандартные запросы. Каждый диалог получает статус: «зелёный» - агент справился корректно, или «красный» - ошибка, отклонение, галлюцинация.

Целевой порог готовности: 95%+ зелёных симуляций. Не более 5% сценариев допускают ошибки. До достижения этого порога агент не выходит в продакшен - он возвращается на доработку: правится сценарий, обновляется база знаний, корректируется архитектура.

Симуляции повторяются до тех пор, пока агент не пройдёт порог стабильно. Это не разовая проверка, а управляемый цикл улучшения.

Такой подход позволяет:

• Ловить ошибки, которые не видны при точечной проверке - неправильные переводы на оператора, пропущенные уточнения, галлюцинации при редких кейсах.
• Разделить автоматизируемые и рискованные зоны: где доверять агенту, а где нужен оператор - особенно в юридически значимых решениях.
• Использовать актуальные данные, которые модель не видела при обучении - это устраняет ложную уверенность по результатам тестов на обучающей выборке. Об этой проблеме подробно пишет SelSup в обзоре российских методов проверки ИИ-систем.
• Зафиксировать каждую ошибку и использовать её для доработки сценария - затем провести повторную симуляцию.

9. Примеры сценариев из ПМИ

targetai тестирует полный спектр клиентских кейсов:

• Льготы и квоты. Верно ли модель определяет категорию клиента и озвучивает актуальные условия, не добавляя несуществующих правил.
• Возвраты и отмены. Корректный расчёт сроков возврата или обмена, ссылка на действующий регламент.
• Детские билеты и сопровождение. Агент запрашивает возраст и применяет правильные условия сопровождения.
• Сервисные сборы и цены. Модель не добавляет лишний сбор, правильно применяет тарифы и промокоды.
• Бронирование и перевод на оператора. Как агент реагирует на невозможность бронирования и корректно передаёт клиента.
• Запрет на выдуманные данные. Любые детали, которых нет в брифе или базе знаний, должны отсекаться.

Полный каталог тест-сценариев и шаблон протокола входят в ПМИ - её можно запросить у targetai.

Слот иллюстрации симуляций: uc-ta-test

10. Вывод: контролируемый запуск вместо «посмотрим, как пойдёт»

Генеративный ИИ в клиентском сервисе - не экзотика. Компании его уже внедряют. Вопрос не в том, использовать или нет, а в том, с каким уровнем контроля выходить в продакшен.

Галлюцинации - не баг конкретной модели. Это следствие природы технологии. По данным «Управление производством», они возникают примерно в каждом пятом ответе. Каждый из них компания обнаруживает либо по жалобе клиента, либо по запросу регулятора, либо по иску.

Управляемый запуск выглядит иначе: агент проходит ПМИ, набирает 95%+ зелёных симуляций, получает протокол с классификацией ошибок и рекомендациями по доработке. Только после этого - в продакшен. И дальше - регулярный цикл: обновление базы знаний, новые симуляции, контроль отклонений.

Это не гарантия нулевых ошибок. Это понятный уровень риска, который компания осознаёт и контролирует - в отличие от ситуации, когда агент запущен «на ощупь».

targetai строит именно такой процесс: платформа targetos, методика испытаний, ПМИ, симуляции и цикл улучшения. Для компаний, которые хотят автоматизировать клиентский сервис без скрытых операционных и правовых рисков.