Что такое RAG и как он отвечает по документам: пример на Python

Разбираем RAG на сквозном примере возврата заказа. Как подготовить индекс, найти действующие правила, собрать ответ с источниками и отладить ошибки на чистом Python.

14 мин чтенияai · rag · поиск · python

Коротко

RAG (retrieval-augmented generation) — это способ ответить на вопрос с помощью внешних документов. Приложение находит нужные фрагменты, передаёт их языковой модели, а модель собирает из них ответ. Например, сотрудник магазина спрашивает про возврат куртки с вышивкой, и в ответе получает действующее правило со ссылкой на исключение для этой покупки.

  • Берите RAG, когда ответы разбросаны по документам, материалы меняются и человеку нужна короткая формулировка со ссылкой на источник.
  • Фильтруйте редакции, регион и права до формирования контекста. В примере ниже обычный срок — 14 дней, архивный срок — 7, а для куртки действует исключение.
  • Измеряйте поиск и ответ по отдельности. Если поиск пропустил исключение, смена модели генерации его не вернёт.
  • Для статуса заказа вызывайте API заказов. Для короткого справочника с известной страницей начните с этой страницы целиком.

Зачем нужен RAG

Если внутренние документы не входили в обучение модели и вы не передали их в запросе, модель их не знает. То же относится к данным, появившимся после даты, которой заканчивается её обучающий набор. Модель уверенно объяснит, как обычно устроен возврат товара, но у неё нет основания назвать срок из инструкции вашего магазина или учесть исключение, которое отдел поддержки добавил вчера.

При каждом изменении политики дообучать модель дорого. Нужно заново подготовить примеры, запустить обучение и проверить, что новые ответы не противоречат остальным правилам. Даже успешное дообучение само по себе не даёт ссылки на абзац, который подтверждает ответ. Чтобы сотрудник мог разобраться в спорном случае, ему нужны конкретный документ, редакция и раздел.

RAG решает задачу на стороне приложения. Когда магазин публикует новую политику, вы обновляете поисковый индекс. При следующем вопросе приложение подбирает действующий фрагмент, передаёт его модели вместе с идентификатором и строит ссылку на оригинал. Так сотрудник получает и короткий ответ, и способ проверить его. Если новый документ ещё не попал в индекс или поиск не нашёл исключение, приложению нужно прямо сообщить, что подтверждения пока нет.

Какой ответ должна дать система

Сотрудник магазина из российского подразделения задаёт вопрос «Какой срок возврата куртки с вышивкой по заказу из ПВЗ без дефекта?» ПВЗ — пункт выдачи заказов. Политика магазина в примере вымышлена. Чтобы ответить, нужно найти правила для России, выбрать действующую редакцию и проверить исключение для этой покупки. Ответ «14 дней» точно передаёт общее правило, но сотрудник с таким ответом примет возврат, который политика исключает.

ФрагментЧто в нём записаноЧто делать
RU-17-AВ прежней редакции на возврат покупки из ПВЗ давали 7 днейИсключить по дате
RU-18-AДействующий общий срок — 14 дней с полученияВзять для контекста
RU-18-BИзделия с вышивкой по заказу покупателя возврату без дефекта не подлежатВзять как основание ответа
RU-18-CЧасы работы ПВЗ указаны в карточке пунктаОтбросить после ранжирования
KZ-09-AУ правил для Казахстана общий срок в примере составляет 10 днейИсключить по региону

Ожидаемый результат звучит так. «Куртку без дефекта, которую вышили по вашему заказу, вернуть по этой политике нельзя. Общий срок в 14 дней к ней не применяется». Для первой фразы нужен RU-18-B. Если ответ упоминает сам срок, нужен ещё RU-18-A. Ссылка на политику без указания раздела вынуждает сотрудника заново искать исключение.

В оригинальной работе о RAG Lewis и соавторы сочетают генератор с внешней памятью, из которой извлекаются документы. В прикладном сервисе разделите эту схему на два компонента. Поисковик, или retriever, возвращает кандидатов с идентификаторами. Генератор, или generator, получает фрагменты и формулирует ответ. Такое разделение позволяет воспроизвести, что именно видела модель, когда ответила про 14 дней.

Кто что передаёт

ШагКто → комуЧто передаёт в примере
1. ИндексацияЗагрузчик → индексФрагменты правил с редакцией, сроком действия, регионом и правами
2. Приём вопросаПриложение → поисковикТекст о куртке, регион RU, дату запроса и роль сотрудника
3. ОтборПоисковик → сборщик контекстаRU-18-A и RU-18-B, их текст и идентификаторы
4. ГенерацияСборщик → модельВопрос, оба фрагмента и требование ссылаться на их идентификаторы
5. ПроверкаПриложение → сотрудникОтвет и проверенные ссылки на два раздела

Первый шаг выполняется в фоне. Остальные идут при каждом вопросе. Храните в журнале запроса поколение индекса, идентификаторы кандидатов и идентификаторы фрагментов, которые дошли до модели. При провале различайте «поиск нашёл RU-18-B, сборщик выкинул его из контекста» и «RU-18-B вообще не вернулся из индекса». Эти случаи чинятся в разных местах.

Как подготовить документы к поиску

Чанкинг (chunking) — разбиение документа на фрагменты. Начните с раздела с заголовком, который понятно читать отдельно. У политики возврата общий срок и исключения живут в двух разделах, поэтому оба можно найти независимо. Сохраните у фрагментов общий ключ документа и редакции. Добавьте к общему правилу ссылку на раздел исключений, чтобы при находке RU-18-A приложение могло извлечь и RU-18-B.

Проверьте результат извлечения текста до загрузки индекса. Если у исходной таблицы столбцы «тип изделия», «условие» и «решение», храните значения вместе с названиями столбцов. Строку «вышивка | без дефекта | возврату не подлежит» легко исказить, если PDF-парсер прочитает сначала весь первый столбец и только потом весь третий. Для такой таблицы заведите проверку на одну известную строку и снимок выходного текста. Ошибку увидите при индексации, до тестового вопроса.

Ограничивайте размер фрагмента по данным. Если раздел исключений содержит 25 пунктов и интересующий пункт оказался за лимитом входа, разделите его по пунктам и повторите заголовок в каждом фрагменте. Если условие занимает две строки, держите строки вместе. Разрез ровно через каждые 500 токенов здесь портит смысл на границе. Сравните на размеченных вопросах поиск по коротким пунктам и поиск по целым разделам, прежде чем выбирать размер для корпуса.

Для фрагмента сохраните идентификаторы документа, редакции и раздела, регион, права чтения, начало и конец действия. Храните адрес на конкретную редакцию источника. Новая публикация должна переключать правила согласованно. Если общий срок уже из редакции 18, а исключения ещё из редакции 17, ответ складывает две разные политики. Соберите новое поколение индекса, проверьте, что обе записи присутствуют, и переключите чтение на него целиком. Проверку прав делайте на текущем состоянии доступа, даже если само поколение подготовили час назад.

Как поиск выбирает фрагменты

Сначала ограничьте область. Приложение берёт регион из рабочего контекста, дату из запроса, а роль из авторизации. Если сотрудник с доступом к двум регионам не указал страну в вопросе, попросите её уточнить. Отфильтруйте архивный срок и чужой регион до ранжирования. Если проверить доступ только на этапе вывода ссылок, модель уже успеет прочитать и пересказать чужие сведения.

Для первого варианта возьмите лексический поиск (lexical search) — отбор по словам. Инвертированный индекс позволяет начать с документов, где встречается «ПВЗ» или редкий артикул. Когда сотрудник пишет «индивидуальная надпись» вместо «вышивка по заказу», измерьте качество семантического поиска. Он сравнивает эмбеддинги, то есть числовые представления текстов. Сравните обе выдачи на одних вопросах. Если текстовый путь лучше удерживает аббревиатуры, а векторный находит перефразировки, объедините кандидатов обоих путей.

Reranking — повторная сортировка найденных фрагментов с более точной оценкой. Например, из 20 кандидатов отберите 4 для генерации. При выборе полезно посмотреть, покрывают ли они разные части вопроса. Четыре копии общего правила займут место исключения. Удалите повторы и сохраните связь разделов. Если поиск возвращает RU-18-C выше RU-18-B, сравните тексты. Аббревиатура ПВЗ объясняет совпадение, но вопрос о сроке и персонализации объясняет, почему справка о часах работы бесполезна.

Сквозной пример на Python

Код хранит пять фрагментов в памяти. Последний день действия редакции 17 — 31 мая. С 1 июня поиск отбирает редакцию 18. Поисковик печатает баллы до обрезки списка. Генератор здесь заменён локальной заглушкой для одного вопроса, чтобы вы могли выполнить весь путь без ключа и увидеть, что происходит при потере исключения.

import re QUESTION = "Какой срок возврата куртки с вышивкой по заказу из ПВЗ без дефекта?" STOP = {"какой", "с", "по", "из", "без", "в", "на", "не"} # Идентификатор, регион, начало, конец, роль читателя, текст. CHUNKS = [ ("RU-17-A", "RU", "2025-01-01", "2025-06-01", "support", "Срок возврата покупки из ПВЗ — 7 дней с получения."), ("RU-18-A", "RU", "2025-06-01", None, "support", "Срок возврата покупки из ПВЗ — 14 дней с получения."), ("RU-18-B", "RU", "2025-06-01", None, "support", "Изделия с вышивкой по заказу покупателя возврату без дефекта не подлежат."), ("RU-18-C", "RU", "2025-06-01", None, "support", "Справка ПВЗ: часы работы смотрите в карточке пункта."), ("KZ-09-A", "KZ", "2025-06-01", None, "support", "Срок возврата покупки из ПВЗ — 10 дней с получения."), ] def tokens(text): return set(re.findall(r"[а-яёa-z0-9]+", text.lower())) - STOP def rank(question, region, date, role): query = tokens(question) hits = [] for chunk_id, country, starts, ends, reader, text in CHUNKS: if country != region or reader != role: continue if date < starts or (ends is not None and date >= ends): continue score = len(query & tokens(text)) if score: hits.append((chunk_id, score, text)) return sorted(hits, key=lambda hit: (-hit[1], hit[0])) def answer_from_context(context): # Заглушка для этого сценария. Другие вопросы требуют отдельного решения. if "RU-18-B" not in context: return "В контексте нет правила для куртки с вышивкой.", [] answer = "Куртку без дефекта, вышитую по заказу, вернуть нельзя." sources = ["RU-18-B"] if "RU-18-A" in context: answer += " Общий срок в 14 дней к ней не применяется." sources.append("RU-18-A") return answer, sources hits = rank(QUESTION, "RU", "2025-06-01", "support") print("Кандидаты:", ", ".join(f"{key}={score}" for key, score, _ in hits)) context = {key: text for key, _, text in hits[:2]} for key, text in context.items(): print(f"[{key}] {text}") answer, sources = answer_from_context(context) assert set(sources) <= context.keys() assert sources == ["RU-18-B", "RU-18-A"] assert [key for key, _, _ in rank(QUESTION, "RU", "2025-05-31", "support")] == ["RU-17-A"] assert [key for key, _, _ in rank(QUESTION, "KZ", "2025-06-01", "support")] == ["KZ-09-A"] assert not rank(QUESTION, "RU", "2025-06-01", "guest") print("Ответ:", answer) print("Источники:", ", ".join(sources)) print("Если взять только первый фрагмент:", answer_from_context( {key: text for key, _, text in hits[:1]} )[0])

Вывод программы.

Кандидаты: RU-18-A=3, RU-18-B=3, RU-18-C=1 [RU-18-A] Срок возврата покупки из ПВЗ — 14 дней с получения. [RU-18-B] Изделия с вышивкой по заказу покупателя возврату без дефекта не подлежат. Ответ: Куртку без дефекта, вышитую по заказу, вернуть нельзя. Общий срок в 14 дней к ней не применяется. Источники: RU-18-B, RU-18-A Если взять только первый фрагмент: В контексте нет правила для куртки с вышивкой.

Первое место при равном балле досталось RU-18-A по идентификатору. При сокращении выдачи до одного результата исключение исчезает. В рабочей версии передавайте модели тексты и их идентификаторы, а в ответ просите вернуть список опорных фрагментов. Ссылку собирает приложение по реестру источников. Проверка принадлежности идентификатора контексту ловит выдуманный ID. Затем сверяйте утверждения с источником. RU-18-A действительно упоминает 14 дней, но только как общий срок.

Сколько стоит поиск и что замерять

Возьмём условный справочник из 20 000 фрагментов и векторы размерности 768. В документации Faiss для точного индекса Flat указано 4 байта на координату. Значит, только массив векторов занимает около 61 МБ. Точный поиск по всему массиву сравнивает 15,36 млн пар координат на запрос. При миллионе фрагментов тот же расчёт даёт около 3,07 ГБ и 768 млн пар. Текст, метаданные, копии индекса и накладные расходы в цифры не входят.

Эти оценки задают порядок, а границу для перехода на приближённый поиск измеряют под нагрузкой. Если после фильтра остаётся 2 000 фрагментов, расчёт сокращается примерно до 1,54 млн пар координат. Проверьте, применяет ли ваш движок фильтр до сравнения. Сравните точный путь и векторный индекс при одинаковых правах и на запросах из разных регионов. Замеряйте задержку верхнего хвоста, например p95, и долю случаев, где поиск сохранил исключение из точной выдачи.

Для контекста задайте отдельный бюджет. Если вы выделили 2 000 токенов на источники, а четыре кандидата занимают по 650, один или несколько фрагментов не поместятся. Пишите в журнал, кого исключили при сборке. При ограниченном бюджете возьмите полный короткий пункт RU-18-B и небольшой отрывок общего правила вместо первой большой страницы целиком. Сравните также задержку поиска, время до первого токена и полное время ответа. Среднее по всем запросам скроет очередь длинных вопросов в часы пик.

Для поиска размечайте свидетельства заранее. Recall@k, или полнота среди первых k результатов, — доля эталонных фрагментов в этой выдаче. Если в эталоне RU-18-A и RU-18-B, результат из одного RU-18-A даёт Recall@1, равный 0,5. На вопрос только о применимости исключения отдельно отметьте, нашёлся ли обязательный RU-18-B. Для ответа измеряйте правильность решения, поддержку каждого утверждения и корректный отказ при отсутствии ответа в базе. Хороший поиск и ошибочная формулировка дают разные оценки.

Типичные ошибки

  1. В выдаче осталась архивная редакция. Сотрудник получает 7 дней вместо действующего правила. Запустите один и тот же вопрос за день до смены редакции и в день смены. В трассировке проверьте дату действия и идентификатор версии обоих фрагментов.
  2. При разбиении потерялось условие исключения. Модель пишет, что любые изделия с вышивкой вернуть нельзя, хотя правило касается изделия, вышитого по заказу, без дефекта. Откройте RU-18-B из индекса и сравните его с текстом оригинала. Тестовый набор должен включать обычную вышитую куртку и изделие с дефектом.
  3. Первый кандидат занял весь контекст. В поисковой выдаче RU-18-B стоит вторым, но сборщик оставляет только общее правило. Сохраните отдельно первые кандидаты и итоговый контекст. Если фрагмент исчез на сборке, поменяйте бюджет или порядок отбора.
  4. Ссылка верна, утверждение ошибочно. Модель даёт 14 дней для куртки и ссылается на оба раздела. Подставьте эти же фрагменты вручную и проверьте каждое утверждение по тексту. Если ошибка повторяется, исправляйте генерацию или показывайте извлечённое исключение рядом с ответом.
  5. Кэш смешал области доступа. Запрос из другого региона получил российский ответ с чужим источником. Повторите одинаковый вопрос от двух сотрудников с разными правами. Учитывайте регион, область доступа и поколение индекса в ключе кэша. При чтении источника снова проверяйте право пользователя. Подходы к обновлению ключей разобраны в статье о стратегиях кэширования.

Когда RAG лишний

Если сотрудник спрашивает, когда выдали заказ, берите точную дату из системы заказов. Если ему нужен последний день возврата для обычной куртки, получите дату выдачи и примените проверяемое правило расчёта. Модель удобно использовать для объяснения правила и исключений, а вычисление даты оставьте приложению. В интерфейсе разделите факт о заказе и выдержку из документа, чтобы сотрудник мог сверить оба.

Если у команды один небольшой справочник, передайте модели нужный раздел целиком или покажите его напрямую. Сохранение 25 отдельных карточек по одному и тому же правилу добавит задачи по обновлению индекса и проверке ссылок. RAG становится оправданным, когда по вопросу сотрудника надо выбрать среди многих документов и собрать объяснение из нескольких разделов. Начните с поиска и показа фрагментов. Добавьте генерацию, если сотрудникам действительно приходится вручную сводить общий срок и исключения.

Что спрашивают на собеседовании

  1. Что такое RAG и какие у него стадии? Сначала я индексирую документы с метаданными, затем ищу подходящие фрагменты по вопросу и подаю их модели. Для возврата куртки я передам общий срок и исключение, а в ответе покажу ссылки на оба раздела.
  2. Зачем разделять качество поиска и генерации? Если модель не видела RU-18-B, смена формулировки запроса к модели не добавит в контекст исключение. Я подставлю правильный фрагмент вручную и сравню ответы, чтобы определить, где система теряет условие.
  3. Что делать, если общая политика находится, а исключение нет? Я проверю, сохранился ли нужный пункт после извлечения и разбиения, а затем посмотрю на ранжирование. Если общий раздел стабильно находится первым, подтяну связанные исключения той же редакции и измерю, сколько эталонных ответов это восстанавливает.
  4. Как обновить правила без противоречивых ответов? Я подготовлю редакцию 18 отдельным поколением, проверю присутствие обоих разделов и переключу чтение целиком. Тест на дату смены должен показать, что архивные 7 дней исчезли из выдачи одновременно с появлением новых правил.
  5. Что возвращать, когда источников не хватает? Я запрошу конкретное уточнение, если неизвестна страна или состояние товара. Если условия покупки известны, а в контексте только RU-18-A, попрошу проверить документ с исключениями и оставлю решение о возврате открытым.

Потренироваться в спокойной обстановке

Все задачи