Эмбеддинги
Эмбеддинг (embedding, «вложение») — это представление текста в виде списка чисел, вектора. Специальная модель переводит фразу в сотни чисел так, чтобы тексты с близким смыслом получили близкие векторы. «Сколько стоит доставка?» и «Почём привезёте?» почти не совпадают по словам, но их эмбеддинги окажутся рядом.
Попробовать бесплатноКак это работает
Модель эмбеддингов обучена на огромном количестве текстов и «раскладывает» смысл по осям: условно одна часть чисел отвечает за тему, другая — за тон, третья — за предмет разговора. Человеку отдельные числа ничего не говорят, важна только близость векторов друг к другу. Её обычно меряют косинусным сходством: чем ближе к 1, тем ближе смысл.
Размерность — сколько чисел в векторе — бывает от нескольких сотен до нескольких тысяч. Больше чисел — тоньше различия, но больше места в базе и медленнее сравнение. Эмбеддинги разных моделей несовместимы: если сменили модель, все тексты пересчитывают заново.
Где используют эмбеддинги
• Поиск по смыслу (семантический поиск): найти в базе знаний статью, которая отвечает на вопрос клиента, даже если слова другие.
• RAG: найденные по эмбеддингам фрагменты подставляют языковой модели, чтобы она отвечала по фактам компании.
• Группировка обращений: собрать вместе все вопросы про возврат, чтобы понять, чего не хватает в базе знаний.
• Поиск дублей: найти одинаковые по смыслу вопросы-ответы и не хранить их дважды.
• Рекомендации: «похожие товары» или «похожие статьи».
Эмбеддинги и обычный поиск по словам
Эмбеддинги хорошо понимают перефразирования и разговорную речь, но могут промахнуться на точных кодах: артикул, номер заказа, редкое название. Поэтому в рабочих системах их часто сочетают с поиском по словам — это называют гибридным поиском. Подробнее о самом поиске — /glossary/semanticheskiy-poisk.
Как в Моночате
Когда вы добавляете статью в базу знаний или одобряете ответ в «Памяти ИИ», Моночат считает для неё эмбеддинг (вектор из 512 чисел) и пересчитывает при изменении текста. Когда клиент пишет вопрос, система ищет похожие материалы гибридно: оценка по смыслу весит примерно 70–75%, совпадение слов — 25–30%. Если достаточно похожего материала не нашлось, ИИ не отвечает наугад, а передаёт диалог оператору. Ничего настраивать не нужно — это работает автоматически: /vozmozhnosti/baza-znaniy.
Полезные ссылки
Ещё по теме
Смотрите также
Частые вопросы
Что такое эмбеддинги простыми словами?
Это «числовой отпечаток» смысла текста. Похожие по смыслу фразы получают похожие наборы чисел, поэтому компьютер может искать и сравнивать тексты по смыслу, а не по словам.
Чем эмбеддинги отличаются от семантического поиска?
Эмбеддинг — способ представить текст числами. Семантический поиск — одно из применений: сравнить эмбеддинг вопроса с эмбеддингами документов и выбрать ближайшие.
Нужно ли бизнесу разбираться в эмбеддингах?
Для запуска ИИ-консультанта — нет, важнее качество базы знаний. Но полезно знать, что короткие статьи на одну тему находятся точнее, чем один огромный документ обо всём.
Все каналы клиентов — в одном окне
Сайт, личная страница-чат, email, Telegram, ВКонтакте и MAX. Бесплатно, без лимита операторов.
Начать бесплатно