Галлюцинации ИИ
Галлюцинация ИИ — это ответ языковой модели, который звучит уверенно и правдоподобно, но не соответствует фактам: выдуманная цена, несуществующая услуга, неверный адрес, ссылка на закон, которого нет. Для бизнеса это главный риск при запуске ИИ-консультанта: клиент верит ответу от имени компании.
Попробовать бесплатноПочему нейросеть «выдумывает»
Большая языковая модель (LLM) не ищет ответ в базе данных — она продолжает текст наиболее вероятными словами. Если в её «памяти» или в переданных ей материалах нет нужного факта, модель всё равно сгенерирует связный ответ, потому что так устроена. Ей не свойственно говорить «не знаю», если этому специально не научить.
Чаще всего галлюцинации появляются, когда вопрос выходит за пределы переданных материалов (спросили о доставке, а в базе только прайс), когда вопрос составной («сколько стоит и можно ли в субботу?»), когда в материалах противоречия (старый и новый прайс) и когда модели разрешено отвечать «из общих знаний».
Примеры в поддержке клиентов
• Клиент спрашивает «есть ли рассрочка?» — в базе ни слова про оплату, а ИИ отвечает «да, на 6 месяцев без переплат».
• «Вы работаете 31 декабря?» — модель берёт обычный график и отвечает «да, с 10 до 20», хотя салон закрыт.
• «Сколько стоит доставка в Казань?» — ИИ называет сумму, которой нет ни в одном документе компании.
Во всех трёх случаях ответ звучит естественно — поэтому галлюцинации опаснее, чем явные ошибки.
Как снизить галлюцинации
1) Отвечать только по базе знаний (подход RAG): модель получает фрагменты ваших материалов и инструкцию опираться только на них. 2) Не отвечать, если подходящих материалов не нашлось, — вместо ответа передавать диалог человеку. 3) Порог уверенности: если модель сама оценивает ответ как неуверенный, он не отправляется. 4) Запретить темы, где ошибка дорога: деньги, скидки, персональные данные, юридические вопросы. 5) Проверять ответы и исправлять базу — каждая ошибка показывает, какого материала не хватает.
Полностью исключить галлюцинации нельзя — можно сделать их редкими и сделать так, чтобы сомнительные ответы не уходили клиенту.
Как это устроено в Моночате
ИИ-сотрудник Моночата ищет подходящие статьи базы знаний и одобренные ответы из «Памяти ИИ» (поиск по смыслу плюс по словам). Если ничего достаточно похожего не нашлось, ИИ не отвечает клиенту, а передаёт диалог оператору. Модель возвращает оценку уверенности: ответы ниже порога тоже не отправляются, как и ответы-отказы вроде «нет информации».
Вопросы об оплате, скидках, индивидуальных условиях и персональных данных по инструкции уходят человеку. Если оператор недавно писал в диалоге, ИИ молчит, а число ответов ИИ в одном диалоге ограничено. Для осторожного старта есть режим подсказок: ИИ только пишет черновик, отправляет оператор. Подробнее — /ii/sotrudnik и /glossary/rag.
Полезные ссылки
Ещё по теме
Смотрите также
Частые вопросы
Что такое галлюцинации ИИ простыми словами?
Это когда нейросеть уверенно отвечает неправду: придумывает факты, цифры, ссылки. Она не врёт намеренно — просто генерирует правдоподобный текст там, где не знает ответа.
Можно ли полностью избавиться от галлюцинаций?
Нет, но их можно сильно сократить: отвечать только по базе знаний, не отвечать при отсутствии материалов, отсекать неуверенные ответы и передавать сложное человеку.
Как проверить, что ИИ-консультант не выдумывает?
Задать ему вопросы, ответов на которые нет в базе знаний (рассрочка, доставка в другой город, работа в праздники). Правильное поведение — передать вопрос оператору, а не придумать ответ.
Все каналы клиентов — в одном окне
Сайт, личная страница-чат, email, Telegram, ВКонтакте и MAX. Бесплатно, без лимита операторов.
Начать бесплатно