Температура нейросети

Как это работает

На каждом шаге модель оценивает вероятности всех возможных следующих токенов. Температура «сжимает» или «растягивает» это распределение. При значениях около 0 почти всегда побеждает самый вероятный вариант. При высоких значениях шансы уравниваются, и модель может выбрать неожиданное слово. В документации OpenAI диапазон — от 0 до 2: значения вроде 0,8 делают вывод более случайным, около 0,2 — более сфокусированным и детерминированным. У других провайдеров шкала может отличаться, смотрите их документацию.

Пример: один вопрос — разные температуры

Вопрос клиента: «Вы работаете в воскресенье?» При низкой температуре модель с базой знаний ответит почти одинаково каждый раз: «Да, в воскресенье с 10:00 до 18:00». При высокой может добавить лишнее: «Конечно! Воскресенье — отличный день, чтобы порадовать себя, ждём вас с 10 до 18, а ещё у нас…» — живее, но длиннее, а иногда с фантазиями, которых нет в базе.

Какую температуру выбрать

• Ответы клиентам, справка, извлечение фактов из документа: низкая (0–0,3). Важны точность и повторяемость.

• Черновики писем, переформулирование текста: средняя (0,5–0,7).

• Идеи, слоганы, мозговой штурм: высокая (0,8 и выше).

Температура не лечит отсутствие знаний: при нуле модель так же уверенно «выдумает» ответ, если нужного факта нет в контексте. От галлюцинаций защищают база знаний и правило «нет материала — передай человеку».

Как в Моночате

Температуру настраивать не нужно: ответы ИИ-сотрудника клиентам генерируются с низкой температурой (около 0,3), а служебный разбор переписок для «Памяти ИИ» — с ещё более низкой (0,1). На стиль ответа вы влияете через «Инструкции для ИИ» — например, «отвечай коротко, на «вы», без восклицательных знаков». Подробнее — /glossary/prompt-dlya-ii и /ii/sotrudnik.

Полезные ссылки

• Галлюцинации ИИ
• LLM
• Промпт для ИИ
• ИИ-сотрудник Моночата

Ещё по теме

Смотрите также

• Бесплатные инструменты
• ИИ-сотрудник
• MAX для бизнеса
• Омниканал
• Скрипты ответов клиентам