Системный дизайн RAG: поиск по документации с версиями и правами

Проектируем RAG для внутренней документации. Разбираем обновление индекса, фильтры доступа, путь запроса, ссылки, отказоустойчивость и проверку версий на Python.

11 мин чтенияai · rag · системный дизайн · поиск

Коротко

Для поиска по внутренней документации нужен отдельный путь публикации и отдельный путь ответа. В фоне разберите документы и подготовьте согласованное поколение индекса. При вопросе найдите только разрешённые фрагменты из выбранного поколения, передайте их модели и подтвердите ссылки. Если у вас есть точные источники, но генерация недоступна, покажите эти источники без готовой формулировки.

  • Версия документа отвечает за его содержание. Поколение индекса связывает документы, метаданные и способ поиска.
  • Права на источники проверяйте до передачи модели и при выдаче ссылок.
  • На выпуске нового индекса контролируйте свежесть, полноту и возможность отката.
  • Оценивайте поиск и ответы по отдельности. Для доказательства нужен конкретный пункт, а не наличие ссылки на соседнюю страницу.

С чего начать на собеседовании

Команда ведёт документацию по процедурам доставки. Сотрудник спрашивает: «Кто меняет адрес, если посылку уже передали курьеру?» В действующей инструкции D-18 есть два пункта. Первый описывает изменение до передачи. Второй направляет к перевозчику после передачи. В D-17 было другое правило. Раздел безопасности для администраторов также упоминает смену адресов, но обычному сотруднику он закрыт.

Уточните требования. Нужен ответ со ссылкой на конкретный раздел или список документов? Как быстро должна появляться новая редакция? Какие группы доступа есть в справочнике? Что важнее при отказе, показать выдержку или сообщить, что подтверждения нет? Для нашей системы выбираем короткий ответ со ссылкой, актуальную редакцию в пределах заданного времени и обязательное разграничение прав. Текущую карточку заказа читаем отдельным запросом, когда нужен его статус.

Базовый разбор RAG показывает, зачем извлекать документы перед генерацией. На системном интервью добавьте хранение, очередь изменений, наблюдение и откат. Упрощённая первая версия может показывать ссылки из обычного текстового поиска. Так команда проверит полезность выдачи до включения генератора, а позже сохранит этот путь на случай его отказа.

Сколько данных ждём

Представим 50 000 документов со средним числом восемь фрагментов. В индексе будет около 400 000 записей. Для 768 координат и четырёх байт на координату это примерно 1,23 ГБ сырых векторов. Такое хранение соответствует оценке Flat-индекса в документации Faiss. Метаданные, текст, граф приближённого поиска, реплики и запас места для двух поколений считайте отдельно. Если одновременно хранить две полные копии, только массивы в этом примере займут примерно 2,46 ГБ.

Допустим, публикации идут десятками в минуту, а на пике приходит 50 вопросов в секунду. Вам нужны отдельные бюджеты на поиск и общий ответ. Измерьте точный поиск на отфильтрованных записях и сравните с индексом под рабочей нагрузкой. Когда доля доступных документов очень мала, этот фильтр меняет стоимость. В разборе векторных баз есть пример, почему постфильтрация способна оставить пользователя без результата. Выберите способ исполнения на реальном распределении групп доступа.

Путь публикации

ШагКто → комуДанные
1. СобытиеСправочник → очередьДокумент, версия, вид изменения и права
2. ЗагрузкаРаботник → хранилищеТекст редакции D-18 и метаданные
3. ИндексацияПарсер и кодировщик → индексыПункты с общим ключом редакции и векторами
4. ПроверкаИнструменты выпуска → реестрРезультаты контрольных запросов и состояние поколения
5. ПереключениеРеестр → сервис ответовАтомарно выбранное поколение для чтения

Отдельный работник нужен, чтобы объём документа не определял задержку у автора при сохранении. Отправляйте событие с идентификатором и версией. Повтор доставки той же версии должен вернуть тот же результат. Позднее событие D-17 не вправе перезаписать D-18. Удаление храните как версию изменения, чтобы поздний повтор не воскресил документ. Тот же принцип пригодится, если две копии документа разделены между текстовым и векторным индексами.

Индексируйте документы единицами, которые можно проверить. Для D-18 это заголовок, оба пункта, версия и точные ссылки на места. Связь общего условия и исключения сохраняйте. Подробнее способы разбиения описаны в статье о чанкинге. Перед публикацией убедитесь, что индекс содержит оба пункта: загрузка одного раздела при сбое второй операции создаст правдоподобную, но неполную выдачу.

Для крупных изменений соберите новое поколение рядом со старым и догоните события изменений. Переключите параметр активного поколения после контрольных запросов. Каждый ответ читает одно поколение и держит его до окончания поиска. В процессе отката старая документация не должна вновь открыть закрытый раздел. Состояние прав и удалений проверяйте в актуальном источнике независимо от выбранной копии индекса.

Путь вопроса

ШагКто → комуДанные
1. ВопросИнтерфейс → APIТекст, сессия и область справочника
2. ОграничениеAPI → сервис доступаТекущие группы и правила показа
3. ПоискAPI → поисковикиВопрос, поколение, фильтры и лимиты
4. СборкаПоисковики → сборщик → модельПодходящие действующие пункты
5. ПодтверждениеМодель → API → интерфейсОтвет, проверенные идентификаторы и ссылки

Получив запрос, зафиксируйте выбранное поколение. При текстовом и векторном поиске примените одинаковую область. Вы можете объединить кандидатов, убрать повторы и уточнить порядок, как в гибридном поиске. Если поиск нашёл схожий закрытый раздел, он не должен оказаться среди доступных модели источников. Повторно проверяйте ID по актуальным правам перед передачей. Инструменты из режима консультации не получают доступ записи.

Модели передавайте текст и идентификаторы. Ссылку строит сервис по подтверждённому указателю на раздел. Если ответа нет, продукт показывает «Подтверждённого правила не найдено» и предлагает открыть список доступных документов. Если поиск вернул D-18, но генерация недоступна, интерфейс может показать оба пункта. Если права проверить нельзя, остановите путь с закрытыми документами. Выдача последней кэшированной копии без проверки способна нарушить главное требование.

Что происходит при смене поколения

В примере на Python есть два снимка индекса. Каждый результат совместим только с выбранным снимком. Актуальные права передаются отдельно, поэтому откат индекса не возвращает чтение закрытого документа. Код демонстрирует выбор материалов, а не полноценное ранжирование. Считаем, что поисковик уже вернул между прочим эти позиции.

indexes = { "g17": [ ("D-17/A", "support", "До передачи меняет магазин"), ], "g18": [ ("D-18/A", "support", "До передачи меняет магазин"), ("D-18/B", "support", "После передачи обратитесь к перевозчику"), ("SEC-2/C", "admin", "Внутренняя процедура"), ], } def context(generation, groups, active_sources): return [ (key, text) for key, group, text in indexes[generation] if group in groups and key in active_sources ] allowed = {"D-18/A", "D-18/B", "SEC-2/C"} result = context("g18", {"support"}, allowed) print("Опубликовано:", ", ".join(key for key, _ in result)) print("Пункт после передачи:", result[1][1]) revoked = allowed - {"D-18/B"} print("После отзыва доступа:", ", ".join(key for key, _ in context("g18", {"support"}, revoked))) print("После отката без актуального старого источника:", context("g17", {"support"}, allowed)) assert all(not key.startswith("SEC") for key, _ in result)

Вывод программы.

Опубликовано: D-18/A, D-18/B Пункт после передачи: После передачи обратитесь к перевозчику После отзыва доступа: D-18/A После отката без актуального старого источника: []

Последняя строка показывает важную границу. Старый снимок существует, но источник D-17 не входит в разрешённый актуальный набор и потому не появился. Для рабочего отката нужен процесс, который сохраняет актуальность удалений, прав и правил. Если старый формат индекса не поддерживает новую публикацию, он годится для некоторых документов, но не для выдачи отменённой инструкции. В интерфейсе из одного пункта D-18/A нельзя сделать вывод о действии после передачи. Верните его как частичную справку или сообщите, что нужный пункт недоступен.

Как проверять свежесть, качество и время

Разделите время распространения публикации и задержку запроса. Сохраните момент публикации D-18 и момент первого подтверждённого чтения из нового поколения. Разница — свежесть индекса для этой редакции. В запросе измеряйте авторизацию, получение кандидатов, сортировку, генерацию и проверку. Если сервера генерации быстрее, а поиск все ещё ждёт отклонённую реплику индекса, пользователи не получат улучшение.

Заведите эталон для вопроса о курьере. Нужен D-18/B, а D-18/A нужен только для объяснения границы. Замерьте, нашёлся ли нужный пункт до сборки и был ли он передан модели. Проверьте, утверждает ли итог ровно то, что есть в тексте, и активна ли ссылка. Отдельно запустите оценку по запросам без ответа и по закрытым документам. Поиск, который находит все популярные разделы, но пропускает новый редкий пункт, требует оценки свежих публикаций отдельным срезом.

Как организовать запасные пути

При таймауте векторного поиска обычная выдача по словам ещё способна сохранить точный номер D-18. В запросе «передано человеку, который везёт» она может провалиться, потому что формулировка отличается. Для каждого пути определите, что можно показать уверенно. Пустой результат из запасной ветки пометьте как ограничение поиска, если первая ветка не завершилась. В журнале нужен признак того, какие индексы действительно участвовали.

При отказе генерации покажите ссылки на прошедшие проверки пункты и ограничьте объём выдержек. При недоступном сервисе доступа не выдавайте закрытый текст из кэша. Подготовьте три приёмочных теста: в первом ломается поисковик, во втором генератор, в третьем проверка доступа. На каждом оставьте ровно ту функцию, которой можно доверять. Это помогает избежать запасного сценария, который ускоряет ответ ценой доступа или точности.

Как расследовать одну плохую ссылку

Возьмите запрос и проверьте ID активного поколения и набор выбранных кандидатов. Если D-18/B есть среди кандидатов, но исчез после обрезки, вам не нужно менять индекс. Если D-18/B не найден, сравните импорт, метаданные и фильтры двух последних поколений. Если модель получила его и сослалась на D-18/A, проверьте инструкцию генерации и сборку ссылок. Храните версию запроса и место фрагмента, чтобы воспроизвести последовательность на обезличенной копии.

Как восстановить публикацию после сбоя

Представьте, что загружены 399 000 из ожидаемых 400 000 фрагментов и работник остановился. Не определяйте готовность поколения только по общему числу строк. Некоторые документы содержат больше фрагментов после обновления чанкинга, а потеря всех пунктов D-18 легко спрячется в отличии на несколько единиц. Сравните набор обязательных документов, контрольные суммы разобранных материалов и позицию в потоке событий. Для каждой ошибки загрузки сохраните документ и стадию, чтобы не прогонять весь корпус с нуля.

Проверьте повтор выдачи событий. Если работник прочитал D-18, записал вектор и успел упасть до подтверждения события, следующий обработчик должен продолжить или заменить ту же запись по ключу документа и редакции. Для смены схемы индекса создавайте отдельное поколение, чтобы старые и новые эмбеддинги не смешивались. После остановки и возобновления сравните результаты двух одинаковых контрольных вопросов. Если ответ изменился, полезно увидеть, какой источник был повторён или пропущен.

Поставьте предел на обработку очереди в фоновом режиме. Если 10 000 страниц изменились из-за правки общего шаблона, выделите отдельный поток для массовой пересборки. Срочный отзыв доступа проверяется свежим источником в пути ответа независимо от очереди. Если новый публичный пункт ещё не проиндексирован, измерьте задержку публикации и предупредите владельца справочника. Поддержка должна уметь отличить запаздывающий индекс от отсутствия документа. В операционном журнале для D-18 пригодятся события получения, успешного извлечения, публикации и первого обнаружения поиском.

Для зависшего документа заведите попытку повторной индексации с сохранённой версией. Если её уже заменила новая редакция, обработчик должен пропустить старую работу.

Типичные ошибки

  1. Публикуете половину редакции. Общий пункт новый, исключение старое. Повторите запрос во время загрузки и проверьте, что до переключения читается прежний согласованный снимок.
  2. Отзываете право после генерации. Ссылку скрыли, а текст содержит сведения. Проверьте состав контекста по запросу пользователя без доступа.
  3. Смотрите только среднюю точность. Новый пункт о курьере плохо ищется, популярные вопросы скрывают дефект. Измерьте отдельно редакции, опубликованные недавно.
  4. Откат возвращает удалённое. Архив снова доступен. Сымитируйте смену поколения после удаления и проверьте актуальную проверку источника.
  5. Забываете запасной путь. Поиск нашёл пункт, а генератор не ответил, и сотрудник видит пустой экран. Отключите модель в тесте и проверьте отображение выдержки.

Что спрашивают на собеседовании

  1. Почему индексация отдельно от поиска? Я готовлю и проверяю поколения в фоне, чтобы публикация большого документа не тормозила ответ. Запрос закрепляет согласованное поколение до завершения.
  2. Как проверить право на источник? Я применю область при поиске и перепроверю документ перед генерацией и открытием ссылки. Даже при откате права берутся из текущего состояния.
  3. Что делать при смене политики? Я соберу новый снимок и проверю оба пункта, затем переключу чтение целиком. Задержку от публикации до новой выдачи измерю отдельно.
  4. Как понять, что проблема в генерации? Я посмотрю, получил ли генератор D-18/B. Если получил и всё равно сослался на общий пункт, проверю утверждение и сборку ссылки.
  5. Что показать при сбое модели? Если действующие источники найдены и доступны, покажу короткие выдержки. Если основание не получено, сообщу об этом и не добавлю готовое решение.

Потренироваться в спокойной обстановке

Все задачи