Что такое эмбеддинги текста и как измерить их близость

Разбираем эмбеддинги на примере поиска по справочнику. Показываем косинусную близость на Python, выбор метрики, проверку качества и замену модели без смешивания векторов.

11 мин чтенияai · эмбеддинги · поиск · python

Коротко

Эмбеддинг (embedding) — это массив чисел, которым модель представляет текст. Поисковик сравнивает такие массивы, чтобы найти инструкцию «возврат товара», когда пользователь вводит «сдать куртку обратно».

  • Для поиска полезна близость по смыслу задачи. Похожие слова и похожая тема сами по себе ничего не гарантируют.
  • Косинусная близость сравнивает направления векторов. Нормализуйте векторы один раз, чтобы при поиске считать обычное скалярное произведение.
  • Версионируйте модель и правила подготовки текста вместе с индексом. Два массива из 768 чисел могут принадлежать разным пространствам.
  • Перед выбором индекса сравните качество точного поиска с обычным текстовым поиском на одних и тех же вопросах.

Что именно ищем

У интернет-магазина три раздела справочника. В первом описан возврат одежды, во втором — обмен размера, в третьем — выдача заказа. Покупатель пишет «как сдать куртку обратно». В правильном разделе используются слова «одежда» и «возврат», поэтому буквального совпадения с ключевыми словами вопроса нет. Загрузите три раздела, посчитайте их векторы и проверьте, какой окажется ближайшим к вектору вопроса.

Координаты вектора текста неудобно интерпретировать по отдельности. В реальной модели вы не найдёте универсальную ось «возвраты». Значение имеет относительное расположение записей. Если модель ставит рядом возврат покупки и возврат денежного перевода, она уловила общее слово, но поисковая подсказка для клиента получилась неверной. Проверяйте расположение на вопросах магазина, включая похожие формулировки с разными правильными ответами.

ШагКто → комуДанные
ПодготовкаЗагрузчик → модель эмбеддинговЗаголовок и текст трёх разделов
ИндексацияМодель → поисковый сервисВекторы, идентификаторы и версия кодировщика
ЗапросПриложение → модель эмбеддингов«Как сдать куртку обратно»
СравнениеПоисковый сервис → приложениеКандидаты с баллами близости
ПоказПриложение → покупательЗаголовок и ссылка на нужный раздел

Для RAG тот же поиск отдаёт фрагменты на вход генератору. Для обычного справочника достаточно показать страницу и подходящую выдержку. Качество поиска нужно проверять в обоих вариантах. Генератор не компенсирует выдачу из трёх статей о доставке, когда нужная статья про возврат в неё не попала.

Почему документы кодируют заранее

Двухбашенный кодировщик (bi-encoder) строит отдельный вектор для каждой стороны. Один проход по справочнику готовит индекс, а при запросе кодируется только вопрос. В работе о Sentence-BERT Reimers и Gurevych используют отдельные представления предложений, которые затем сравнивают косинусом. Практический результат для сервиса — возможность обновить одну запись при правке раздела, без пересчёта всех сравнений с будущими вопросами.

Парный кодировщик (cross-encoder) читает вопрос и фрагмент вместе. Он может точнее учесть, спрашивал клиент о возврате или получении, поскольку видит оба текста при оценке. Такой балл вычисляется заново для каждой пары. Прогонять всю базу через парную модель на каждом вопросе дорого. Используйте её как вторую стадию, например для 20 кандидатов, если независимая проверка показывает, что она двигает правильную инструкцию вверх.

Отдельное кодирование не означает, что вопрос и документы всегда проходят одинаковую подготовку. Некоторые модели специально различают режимы запроса и документа. Запишите выбранный режим в конфигурации, возьмите способ подготовки из документации конкретной модели и применяйте его одинаково при построении и обновлении индекса. Если один загрузчик добавляет заголовок, а другой индексирует тело без него, результат меняется даже при прежней модели.

Три способа измерить близость

Скалярное произведение складывает произведения соответствующих координат. Если умножить один вектор на десять, произведение вырастет в десять раз. Косинусная близость делит результат на длины обоих векторов. При положительном масштабировании направление остаётся прежним, поэтому значение косинуса сохраняется. Евклидово расстояние измеряет, как далеко друг от друга концы векторов.

Для наглядности возьмём вопрос (3, 4, 0), документ о возврате (6, 8, 0) и документ об обмене (4, 3, 0). У вопроса длина 5, у первого документа 10, у второго 5. Скалярное произведение с возвратом равно 50, после деления на длины получаем 1. Для обмена получаем 24 / 25, то есть 0,96. По сырому евклидову расстоянию обмен оказался бы ближе, потому что его вектор почти такой же длины, как у вопроса. Это три разные операции до нормализации.

МетрикаЧто сортироватьЧто нужно проверить
Косинусная близостьБольшие значения первымиУ векторов ненулевая длина
Скалярное произведениеБольшие значения первымиНужен ли вклад длины
Евклидово расстояниеМалые значения первымиСопоставим ли масштаб координат

Нормализация (normalization) делит вектор на длину, превращая его в единичный. После нормализации скалярное произведение равно косинусу. Квадрат расстояния между единичными векторами равен двум минус удвоенное скалярное произведение. Поэтому порядок по возрастанию расстояния совпадает с порядком по убыванию косинуса. Нулевой вектор отклоните при загрузке и проверьте причину, иначе проблема во входных данных станет незаметным провалом поиска.

Точный поиск на Python

Здесь векторы заданы вручную. Они показывают механику вычисления, а качество настоящей модели проверяют по текстовым вопросам. Нормализация документов выполняется один раз при подготовке строк, для нового вопроса нормализуется только его вектор.

from math import isclose, sqrt def normalize(vector): length = sqrt(sum(value * value for value in vector)) if length == 0: raise ValueError("Нулевой вектор") return tuple(value / length for value in vector) def nearest(query, rows, k): direction = normalize(query) scored = [] for name, vector in rows: if len(direction) != len(vector): raise ValueError("Размерности не совпадают") score = sum(a * b for a, b in zip(direction, vector)) scored.append((name, score)) return sorted(scored, key=lambda row: (-row[1], row[0]))[:k] documents = [ ("Возврат одежды", (6, 8, 0)), ("Обмен размера", (4, 3, 0)), ("Получение заказа", (0, 1, 0)), ] rows = [(name, normalize(vector)) for name, vector in documents] result = nearest((3, 4, 0), rows, 3) assert result[0][0] == "Возврат одежды" assert isclose(result[1][1], 0.96) for name, score in result: print(f"{name} — {score:.2f}")

Вывод программы.

Возврат одежды — 1.00 Обмен размера — 0.96 Получение заказа — 0.80

Из балла 0,96 нельзя вывести вероятность правильного ответа. В примере схема из трёх направлений намеренно делает все разделы похожими. В реальном индексе распределение баллов зависит от модели, содержимого справочника и стиля вопросов. Если установить порог 0,8 по одному удачному запросу, запросы вне справочника тоже начнут проходить. Подберите порог на наборе с правильными, ошибочными и пустыми ответами. Для страницы поиска можно показать несколько ссылок. Для автоматического ответа лучше отдельно проверять, что найденный раздел подтверждает нужное действие.

Сколько хранить и считать

Пусть в справочнике 30 000 фрагментов и на каждый приходится 768 координат. В описании индексов Faiss для точного Flat-индекса указано четыре байта на координату. Значит, только векторы займут примерно 92 МБ. Для миллиона фрагментов понадобится около 3,07 ГБ. Метаданные, текст и резервные копии требуют дополнительного места. Размерность в обоих расчётах выбрана для оценки, у конкретной модели она своя.

Перебор считает одно сравнение на каждый вектор. При 30 000 строк это около 23 млн пар координат за запрос. Код выше ещё сортирует весь массив. Для маленького k подойдёт куча, которая хранит только лучшие k элементов, но подсчёт всех баллов всё равно остаётся. Начинайте с точного поиска, особенно если фильтр по языку и разделу оставляет мало строк. Установите требование по задержке и замерьте его на конкурентных запросах. Переходите на приближённый векторный индекс, если перебор не укладывается в бюджет, и измеряйте потерю соседей отдельно от качества модели.

Как проверить качество на справочнике

Соберите небольшую таблицу из наблюдаемых запросов. В строке будут вопрос, ожидаемый раздел и признак доступности ответа. Начните с трёх групп. «Как сдать куртку обратно» проверяет перефразировку. «Что означает ошибка R-14» проверяет точный код. «Можно ли оформить ипотеку» проверяет поведение вне корпуса. Сохраните исходные тексты. Переписывая вопросы в терминах документа, вы искусственно улучшите текстовый поиск и утратите сигнал о пользовательском языке.

ВопросЭталонЧто заметить
Как сдать куртку обратноВозврат одеждыСовпадение смысла без одинакового глагола
Как взять куртку на размер большеОбмен размераНаправление действия важнее общей темы
Ошибка R-14Статья с кодом R-14Балл не должен вытеснить буквальное совпадение
Можно ли оформить ипотекуПодходящего раздела нетНужен режим поиска без надёжного результата

Используйте одну и ту же разметку для точного векторного перебора и инвертированного индекса. Посчитайте, в скольких случаях нужный раздел был первым и в скольких вошёл хотя бы в первые три. Выведите метрики отдельно по каждой группе. Если первую позицию исправили у двух перефразировок и потеряли четыре точных кода, общая близость текста не оправдывает замену. Оставьте точные поля для кодов, а по остальным запросам сравните объединённую выдачу.

Если индекс ищет по абзацам, а разметка задана по страницам, заранее решите, что считать попаданием. Для пользователя, который хочет открыть инструкцию, достаточно одной ссылки на страницу. Для системы, которая отвечает по фрагменту, нужен конкретный пункт об исключении. Так меняется измерение даже при совпадении документа. В тесте можно проверять оба уровня, чтобы не принять правильный заголовок за найденное правило.

Проверяйте и соседние вопросы, которые должны давать разные ответы. Возьмите «вернуть куртку» и «обменять куртку на размер больше». Если для обоих наверху стоит «Возврат одежды», откройте фактические входы кодировщика. Если в обоих заголовках только «Одежда», добавьте название действия к тексту фрагмента и пересчитайте индекс. Если операция есть в обоих текстах, но результаты по-прежнему одинаковы, проверьте второй этап, который читает вопрос и фрагмент вместе.

Как обновлять модель

Заведите идентификатор поколения. В него входят модель, правила обработки текста, размерность и метрика. При переключении сначала постройте второй индекс, затем запросы из проверочного набора пропустите через новую пару «кодировщик и индекс». Если новая модель даёт 768 чисел, совпадение длины со старой даёт лишь возможность выполнить умножение. Пространство всё равно изменилось.

Если при сборке нового поколения добавили заголовки, проверьте две независимые гипотезы. Первую оцените на новой модели со старой подготовкой текста. Вторую — с новыми заголовками на сопоставимом снимке. Иначе при падении качества вы не поймёте, какой параметр вернуть. При откате переключайте модель и индекс одной настройкой. Кэш векторов привяжите к поколению и версии текста, чтобы после правки фрагмента загрузчик не взял старый массив.

Типичные ошибки

  1. Выдача сортируется по неверному направлению. Вместо возврата первым становится самый дальний раздел. Сохраните два вектора с известным порядком и проверьте реальные операторы сортировки движка.
  2. Смешались кодировщики. Векторы всё ещё одинаковой длины, но результаты после выпуска резко меняются. Логируйте поколение запроса и индекса рядом и отклоняйте несовпадение.
  3. Один порог перенесли в другой корпус. Справочник выдаёт ответы вне своей области. Посмотрите график баллов отдельно для известных и отсутствующих ответов, затем настройте политику под новый набор.
  4. Обрезали оговорку в конце статьи. Модель видит заголовок «Возврат одежды», но полезный пункт исчезает до кодирования. Сохраните подготовленный текст и откройте фрагмент, реально отправленный на вход.
  5. Точные коды потерялись среди близких записей. Запрос R-14 находит R-41 с похожим описанием. Проверьте такие пары и дайте точному полю кода приоритет.

Когда хватит другого поиска

Если человеку известен идентификатор заказа или код ошибки, начните с точного совпадения и фильтра по области доступа. Если справочник состоит из десятка страниц с понятными названиями, сравните навигацию, текстовый поиск и эмбеддинги на нескольких реальных запросах. Эмбеддинги оправданы, когда люди формулируют один вопрос разными словами и результаты этой группы действительно улучшаются. Для короткого корпуса вы при этом можете оставить точный перебор и не усложнять хранение.

Что спрашивают на собеседовании

  1. Что такое эмбеддинг? Это вектор, который модель строит из текста. Для поиска одежды я проверю, что «сдать куртку обратно» оказывается близко к инструкции по возврату.
  2. Зачем нужна нормализация? Она приводит вектор к единичной длине, после чего скалярное произведение равно косинусной близости. Я нормализую документы в фоне, а тело вопроса — при запросе.
  3. Можно ли смешать две модели одной размерности? Я проверяю совместимость пространства, а при обычной смене модели перестраиваю индекс. Совпадение 768 координат говорит о форме массива, а расположение точек надо измерить заново.
  4. Когда добавлять приближённый индекс? Я сначала измерю точный поиск при рабочей нагрузке. При переходе на приближённый вариант сравню его задержку и состав первых результатов с точным эталоном.
  5. Как понять, что модель в поиске стала лучше? Я зафиксирую вопросы и эталоны, затем сравню позиции нужных разделов и поведение при отсутствии ответа. Коды ошибок и разговорные перефразировки проверю отдельными группами.

Потренироваться в спокойной обстановке

Все задачи