Контекстное окно

Что входит в окно

У модели нет памяти между запросами: каждый раз ей заново передают всё нужное. В чат-боте поддержки это обычно: системные инструкции (роль, тон, запреты), найденные материалы базы знаний, последние сообщения диалога, новый вопрос клиента — и место под ответ. Если сумма превышает окно, что-то приходится отрезать — как правило, самые старые сообщения.

Какого размера бывают окна

Размер окна указывают в документации каждой модели. У современных моделей это от десятков тысяч до миллиона и более токенов — сотни страниц текста. Но большое окно не означает, что в него стоит класть всё подряд: чем длиннее контекст, тем дороже и медленнее ответ, а важная деталь в середине огромного текста учитывается хуже, чем в коротком подборе.

Почему «засунуть весь сайт в промпт» — плохая идея

• Цена: каждый ответ оплачивается за все входные токены, даже если клиент спросил только адрес.

• Точность: противоречия между старыми и новыми страницами сбивают модель.

• Скорость: ответ на длинный контекст приходит дольше — в чате это заметно.

Поэтому в поддержке используют подход RAG: по вопросу клиента сначала находят 3–5 подходящих фрагментов базы знаний, и в окно попадают только они.

Как в Моночате

ИИ-сотрудник Моночата для каждого ответа собирает компактный контекст: ваши инструкции для ИИ (до 2 000 символов), найденные по смыслу фрагменты базы знаний (до ~8 000 символов), похожие одобренные ответы из «Памяти ИИ» и последние 14 сообщений диалога. Поэтому база знаний может быть большой — в окно попадает только относящееся к вопросу. Если подходящих материалов нет, ИИ передаёт диалог оператору, а не отвечает «из общих знаний». Подробнее — /ii/sotrudnik.

Полезные ссылки

• Токен в нейросети
• RAG
• Промпт для ИИ
• LLM

Ещё по теме

Смотрите также

• Бесплатные инструменты
• ИИ-сотрудник
• MAX для бизнеса
• Омниканал
• Скрипты ответов клиентам