Гибридный поиск: BM25, векторы, RRF и повторное ранжирование
Разбираем гибридный поиск по техподдержке: что находят BM25 и вектора, как объединить выдачи через RRF, когда нужен reranker и как проверить результат на Python.
Коротко
Гибридный поиск объединяет кандидатов текстового и векторного поиска. BM25 помогает сохранить буквальный код ошибки, а векторы подбирают документы, где проблему описали другими словами. Сначала соберите выдачи, объедините их по позициям и только потом прогоняйте короткий список через более дорогую модель, которая сравнивает запрос с каждым документом.
- Если ищете точный артикул или тикет, начните с отдельного поля и точного совпадения.
- Для смешанного запроса «E-42 после замены батареи» нужен и код, и условие возникновения.
- RRF позволяет объединять позиции без сложения несопоставимых баллов BM25 и косинуса.
- Измеряйте полноту набора кандидатов отдельно от порядка первых результатов. Повторное ранжирование видит только то, что уже найдено.
Какая инструкция должна оказаться первой
У производителя датчиков есть справочник для техподдержки. Оператор вводит «E-42 после замены батареи». В актуальном разделе B описана повторная привязка после установки новой батареи. Раздел A объясняет общую индикацию E-42 и отправляет к перечню причин. Раздел D относится к обновлению прошивки. Раздел C посвящён батарее, но другого устройства. В нашей вымышленной коллекции правильный ответ — открыть B, а общую статью A оставить запасным источником.
| Кандидат | Что совпало | Почему нужен или мешает |
|---|---|---|
| A | Код E-42 в заголовке | Даёт справку, но не отвечает про замену батареи |
| B | Тот же код и контекст новой батареи | Содержит конкретное действие |
| C | Семантика питания и батареи | Относится к другой модели датчика |
| D | Код E-42 в другой ветке процедуры | Описывает сбой после обновления прошивки |
При наличии поля модели устройства используйте его до выдачи кандидатов. В примере оператор ещё не назвал модель, поэтому C сохраняется как слабый кандидат, но интерфейс должен ясно показать применимость документа. Если этот факт меняет выбор между двумя решениями, спросите модель датчика. Гибридный поиск помогает собрать варианты и оставляет приложению ответственность за условия.
Что находит каждый путь
BM25 — способ оценить совпадение запроса с текстом по словам. Частота термина учитывается с насыщением, редкие слова обычно дают больший вклад, длина документа влияет на итог. В настройках сходства Elasticsearch эти свойства регулируются через параметры BM25. Если E-42 встречается в десяти инструкциях из десяти тысяч, индекс быстро находит эти документы через список вхождений. Метод полезен также для имён методов и буквальных обозначений.
Сначала проверьте, как анализатор разбирает код. E-42 и E-24 легко становятся похожими запросами, если разбить их по дефису и искать фрагменты отдельно. Храните точное значение в отдельном поле, когда код вводится как идентификатор. Для запросов с описанием оставьте заголовок и текст в анализируемых полях. Это применение инвертированного индекса. В тестах сохраните пары похожих кодов, чтобы случайная нормализация не превращала один в другой.
Векторный путь строит эмбеддинги заголовка и фрагмента. «Заменили элемент питания» оказывается близко к «установили новую батарею», даже если слова отличаются. Но близость не подтверждает точный код и модель устройства. Документ C о батарее соседствует с B по смыслу. Не рассчитывайте, что вектор автоматически поймёт, какой серийный номер обслуживает инструкция. Если задача поиска требует точного поля, сохраните его отдельным ограничением.
| Шаг | Кто → кому | Данные |
|---|---|---|
| 1. Ввод | Приложение → два поисковика | Текст E-42 и описание замены |
| 2. Получение | Индексы → объединение | Текстовый список A, D, B и векторный B, A, C |
| 3. Слияние | Объединение → повторное ранжирование | Уникальные ID и сведения об исходных позициях |
| 4. Проверка | Reranker → приложение | B выше A, кандидаты размечены по применимости |
| 5. Показ | Приложение → оператор | Релевантная инструкция и причина уточнить модель при необходимости |
Как объединять выдачи
Если пришли баллы BM25 18,4 и 7,2, а векторный поиск вернул 0,83 и 0,79, сумма почти всегда даст преимущество текстовому пути из-за масштаба. Выберите правила слияния и проверяйте их на одном наборе вопросов. Взвешивание нормализованных баллов подходит, если вы умеете калибровать каждый путь и наблюдать изменения распределений. Для первого опыта удобно объединение по позициям.
RRF (reciprocal rank fusion) — сложение вкладов обратной позиции. Документ с рангом r даёт вклад 1 / (k + r). Если он есть в двух списках, вклады складываются. Если его нет в одном списке, из этого списка вклад нулевой. Такой способ описан в документации Elasticsearch о RRF. Константа k сглаживает разницу между первой и следующими позициями, поэтому выбирайте её с учётом глубины выдачи. Число 2 ниже взято для арифметики примера, а не для настройки рабочего индекса.
При двух списках по 50 вы обрабатываете максимум 100 записей до удаления дублей. Сложение по словарю стоит линейно от числа кандидатов, затем в простом варианте сортируются уникальные ID. Основное время обычно нужно измерять на запросах к индексам и парной модели, потому что слияние работает с короткими списками. Если B стоит в текстовой выдаче 51-м и векторный путь тоже его пропустил, слияние его не восстановит. Глубина каждого списка — отдельный параметр до сортировки объединения.
Что делает reranker
Повторное ранжирование (reranking) читает полный вопрос и каждый фрагмент-кандидат, чтобы уточнить порядок. Парная модель, или cross-encoder, обрабатывает тексты совместно. Она получает и код E-42, и указание «после замены», поэтому способна поднять B выше общей страницы A. Она дороже сравнения готовых векторов, так как повторяет обработку для каждой пары. Сначала проверьте короткий список из нескольких кандидатов, затем увеличьте его только если эталонные документы регулярно остаются за границей.
На вход давайте заголовок, применимость и выдержку, где находится ответ. Если модель видит первые два абзаца с оглавлением, а процедура повторной привязки ниже, перестановка плохо объясняет реальную пригодность. Измерьте, сколько текста уходит в пару и какие поля отрезаются. Добавьте сравнение с простым правилом «совпали код, тип устройства и условие». Если правило стабильно решает этот класс запросов, используйте его как понятный исходный вариант.
Слияние и порядок на Python
Ниже два списка уже получены из поисковиков. Сначала считаем RRF, затем игрушечная функция сортирует по совпадению кода и признаку замены. Она показывает, где находится этап reranking. В рабочем поиске сюда подставьте оценку модели либо правило из каталога.
def rrf(rankings, offset): scores = {} for listing in rankings: for rank, doc_id in enumerate(dict.fromkeys(listing), start=1): scores[doc_id] = scores.get(doc_id, 0) + 1 / (offset + rank) return sorted(scores, key=lambda key: (-scores[key], key)), scores documents = { "A": "E-42 общие причины", "B": "E-42 после замены батареи: повторная привязка", "C": "Замена батареи у другой модели", "D": "E-42 после обновления прошивки", } combined, scores = rrf([["A", "D", "B"], ["B", "A", "C"]], offset=2) print("RRF:", ", ".join(f"{key}={scores[key]:.3f}" for key in combined)) def fit(key): text = documents[key].lower() return ("e-42" in text and "замены батареи" in text, "e-42" in text) reranked = sorted(combined, key=fit, reverse=True) print("Повторный порядок:", ", ".join(reranked)) assert combined == ["A", "B", "D", "C"] assert reranked[0] == "B"
Вывод программы.
RRF: A=0.583, B=0.533, D=0.250, C=0.200 Повторный порядок: B, A, D, C
A выигрывает слияние, потому что занимает первое и второе места. B выигрывает второй проход, потому что непосредственно отвечает на вопрос. При утрате B во входных списках второй проход оставил бы A. В интерфейсе недостаточно сообщить, что модель поставила A первой. Покажите совпавший раздел и, если условия различаются, трактуйте результат как кандидата для оператора, а не как подтверждённый ответ.
Как проверять поиск под нагрузкой
Запишите три типа вопросов. Первый содержит только E-42, второй говорит «после замены батареи не связывается» без кода, третий содержит оба признака. Для каждого задайте один или несколько подтверждённых источников. Посчитайте Recall@k, долю эталонных документов среди первых k, для исходных выдач и после слияния. Затем сравните позицию первого полезного результата до и после reranking. Если слияние подняло полноту, а повторный проход ухудшил первый результат, смотрите на вход пары и её оценку.
Проверьте и случаи без ответа. По похожему коду поиск всё равно найдёт ближайший документ. Если инструкция относится к старой модели датчика, не выдавайте её как действующую. Используйте метаданные, ограничивайте доступ до генерации и тестируйте пары несовпадающих моделей. Для RAG отдельно проверяйте, что выбранная документация попала в контекст, потому что её ещё можно потерять при обрезке.
Выдавайте запросы к индексам параллельно, если они независимы. Замеряйте задержку каждого, слияния и второго прохода отдельно. Например, в учебном бюджетировании оставьте 90 мс на сбор кандидатов и 50 мс на повторное ранжирование. Это договорённость для вашего сервиса, а измерение покажет, реалистична ли она. Если один путь тормозит, решите, какие запросы безопасно обслужить оставшимся. Для буквального кода текстовый путь может быть достаточен. Для запроса без кодов предупредите о неполной выдаче или верните меньше результатов.
Проверьте, одинаково ли применён фильтр доступа в двух индексах. Если документ обновился только в одном, один и тот же ID способен ссылаться на разные редакции. Сливайте по ключу документа и редакции либо учитывайте публикацию поколения целиком. В отчёте поиска сохраняйте позиции каждого пути, чтобы проследить, откуда взялась лишняя карточка и почему она получила высокий балл в объединении.
Как решить, нужен ли второй путь
Сравните четыре режима на одном снимке. Текстовый поиск, векторный поиск, их объединение и объединение с повторной сортировкой. Если на вопросе с E-42 текстовый путь попадает в B сам, гибрид требуется только для другой группы. Если первый же вариант полезен на всех группах, оставьте меньше зависимостей. Если значительная часть людей вводит «новая батарейка, не отвечает», сравнение с векторным поиском показывает, что именно добавляет смысловая стадия.
Задайте минимальный набор для расследования. Полезны тайм-аут каждого пути, число возвращённых кандидатов и измерение того, на какой позиции был B. Если оператор жалуется «результаты хуже вечером», снимите задержку веток в это время. Возможно, текстовая ветка отвечает всегда, а векторная проседает под нагрузкой и выдача скатывается к общим статьям. Улучшение модели в этом случае не поможет, пока ветка отсутствует в реальном запросе.
Когда объединять по странице, а когда по пункту
Текстовый путь бывает настроен на страницы справочника, а векторный — на абзацы. Если объединять их ID напрямую, десять абзацев одной страницы могут занять весь итог. Выберите единицу продукта. Для списка ссылок объединяйте по странице и храните лучший отрывок каждого пути. Для ответа с точной ссылкой объединяйте по пунктам и ограничивайте число соседних кусков одной страницы. Проверьте запрос E-42, где общий раздел и точное действие лежат на соседних якорях.
При выборе уровня учитывайте оценку. Если эталон называет страницу, а выдача нашла на ней заголовок без нужной процедуры, попадание страницы формально верно. Для ответа сотруднику эта выдача неполна. Храните ожидаемую страницу и требуемый абзац отдельно. При сравнении сохраните и результат по карточкам, и наличие текста процедуры внутри выбранных фрагментов. Тогда замена чанков не исказит сравнение двух поисковиков.
Типичные ошибки
- Складываете сырые баллы. Большой масштаб BM25 подавляет векторный путь. Сравните вклад каждого пути или начните с рангового слияния.
- Два индекса возвращают разные версии. У одного ID слились архив и действующий документ. Запишите редакции кандидатов и повторите тест в момент публикации.
- Слишком рано обрезаете выдачу. B был ниже лимита и никогда не попал в reranker. Снимите полный список до обрезки и посчитайте полноту до и после.
- Поисковый код дробится анализатором. E-42 смешивается с E-24. Посмотрите токены поля, добавьте точное поле и отдельную проверку похожих кодов.
- Один путь тайно недоступен. После таймаута интерфейс выглядит так же, хотя смысловая выдача исчезла. Логируйте срабатывание запасного сценария и долю запросов с обоими путями.
Что спрашивают на собеседовании
- Зачем гибрид, если есть BM25? BM25 хорошо держит точный код, а векторная ветка помогает при перефразировках. Я сравню обе ветки на вопросах с кодом и без него.
- Что делает RRF? Он даёт вклад за позицию в каждом входном списке и суммирует их по ID. Документ A из примера выигрывает слияние, потому что находится высоко в обоих списках.
- Чем слияние отличается от reranking? Слияние создаёт один набор кандидатов, а повторная сортировка уточняет их порядок по вопросу и тексту. Если B отсутствует среди кандидатов, второй этап не найдёт его.
- Как найти слабое место? Я проверю попадание эталонного источника в каждый список, в объединение и в итоговую выдачу. Это отделит потерю при поиске от ошибки сортировки.
- Когда оставить обычный поиск? Если запросы почти всегда содержат идентификатор и точное поле стабильно находит нужную запись, усложнение не оправдано. Для разговора свободными словами я проверю, помогает ли векторная ветка.