Токен в нейросети

Как текст превращается в токены

Перед обработкой текст режет на части токенизатор — у каждой модели свой. Частые слова обычно становятся одним токеном, редкие и длинные — делятся на несколько. Например, фразу «Здравствуйте! Сколько стоит стрижка?» токенизатор o200k_base (его используют современные модели OpenAI) делит на 9 токенов: «Здравствуйте», «!», « С», «колько», « стоит», « ст», «риж», «ка», «?». Английская фраза такой же длины «Hello! How much is a haircut?» — 8 токенов.

Справка OpenAI даёт ориентир для английского: 1 токен ≈ 4 символа ≈ ¾ слова, 100 токенов ≈ 75 слов — и отдельно предупреждает, что в других языках соотношение другое. Мы прогнали через тот же токенизатор около 1 500 слов русского делового текста из нашего блога: вышло примерно 1,7 токена на слово и 3,9 символа на токен. Это оценка, а не константа: у другой модели счёт будет другим.

Почему токены важны бизнесу

• Цена. API языковых моделей обычно тарифицируют за миллион токенов, причём входные (ваш вопрос, инструкции, база знаний) и выходные (ответ) стоят по-разному.

• Длина ответа. У запроса задают предел выходных токенов — ответ длиннее просто обрежется. Для чата с клиентом это скорее плюс: короткие ответы читают.

• Контекст. Всё, что модель учитывает за раз — инструкции, материалы компании, история переписки, — должно поместиться в контекстное окно, которое тоже меряют в токенах.

• Скорость. Чем больше токенов на входе и выходе, тем дольше модель отвечает.

Как сэкономить токены в ИИ-консультанте

Не передавать модели весь сайт целиком, а находить и подставлять только подходящие фрагменты базы знаний (так работает RAG). Писать базу короткими фактами, без маркетинговых абзацев. Ограничивать историю переписки последними сообщениями. Просить модель отвечать кратко — это и дешевле, и удобнее клиенту.

Как в Моночате

Считать токены не нужно: лимит ИИ на тарифах Моночата задан в ответах, а не в токенах. На бесплатном «Старте» — 100 ответов ИИ в месяц, на «Бизнесе» — 3 000, «Про» — 15 000, «Команде» — 50 000; ответом считается каждый автоответ клиенту и каждый черновик для оператора, при нехватке есть пакет +5 000 ответов (актуально — /pricing). Под капотом ИИ получает инструкции, найденные фрагменты вашей базы знаний и последние 14 сообщений диалога, а длина ответа ограничена, чтобы ответы в чате оставались короткими.

Полезные ссылки

• Контекстное окно
• LLM: что это
• RAG простыми словами
• Тарифы и лимиты ИИ

Ещё по теме

Смотрите также

• Бесплатные инструменты
• ИИ-сотрудник
• MAX для бизнеса
• Омниканал
• Скрипты ответов клиентам