Чанкинг текста для RAG: как делить документы и проверять границы

Стратегии чанкинга для RAG на одной инструкции. Сравниваем окна, разделы и поиск с подтягиванием родителя, измеряем полноту выдачи и проверяем пример на Python.

11 мин чтенияai · rag · чанкинг · поиск

Коротко

Чанкинг (chunking) — разбиение документа на фрагменты, которые поисковик сможет найти и передать модели. Для структурированного справочника начните с разделов и сохраняйте заголовок рядом с текстом. Если условие и исключение оказались в разных фрагментах, связывайте их и подтягивайте ровно тот контекст, которого не хватает для ответа.

  • Размер фрагмента определяет, что сможет найти поиск и сколько лишнего получит модель.
  • Окна с перекрытием подходят для однообразного текста. Для инструкций, таблиц и кода важнее сохранить исходную структуру.
  • Для длинного раздела ищите по коротким пунктам и открывайте соседний пункт или родительский раздел по идентификатору.
  • Проверяйте границы по реальным вопросам. Гладкий ответ на одном примере не покажет, что индекс потерял часть условий.

Одна инструкция и один неприятный разрез

У внутреннего справочника магазина есть инструкция доставки. В разделе «Смена адреса» написано «Адрес меняют до передачи перевозчику». Следующая строка уточняет, что после передачи для курьерской доставки нужно связаться с перевозчиком. Ниже начинается другая тема, «Срок хранения». Сотрудник спрашивает, можно ли изменить адрес заказа, который уже передали курьеру.

Нужные факты живут рядом. Первый даёт границу обычной процедуры, второй говорит, куда направить сотрудника после границы. Если поисковик найдёт только «Адрес меняют до передачи», система скажет, что изменить адрес в обычном порядке нельзя, но пропустит полезное действие. Если подать только «После передачи свяжитесь с перевозчиком», модель потеряет предмет инструкции и способ доставки. Успешный фрагмент содержит заголовок, ограничение и следующую строку, либо даёт устойчивую ссылку между ними.

В статье о RAG общий срок возврата и исключение ищутся отдельно. Здесь разбираем то, что возникает раньше поиска. В работе Lewis и соавторов внешний корпус используется для извлечения материала. Для прикладного поиска решите, что именно возвращает индекс: страницу целиком, один раздел или мелкий пункт. От этого зависит и разметка качества.

ШагКто → комуДанные в примере
РазборЗагрузчик → парсерИнструкция, её редакция и заголовки
РазбиениеПарсер → чанкерРаздел «Смена адреса» и две связанные строки
ИндексацияЧанкер → поисковикТекст, заголовок, координаты в документе и ID родителя
ПоискПоисковик → сборщикНайденный пункт после передачи перевозчику
ДополнениеСборщик → модельКороткий пункт и условие из той же редакции
ПоказПриложение → сотрудникОтвет и ссылка на раздел инструкции

Какие границы выбирать

Окна фиксированного размера

Нарежьте текст на участки по числу токенов, то есть единиц входа модели. Так проще удержать ограничение размера и воспроизвести разбиение. Если сегменты имеют длину 200, а шаг 160, соседние сегменты разделяют 40 токенов. Это помогает, когда ключевая фраза пересекает границу. При длинном документе на каждые 160 новых токенов вы отправляете примерно 200 токенов в индекс. Отношение 200 к 160 равно 1,25. В этой оценке нет заголовков и накладных расходов хранилища.

Перекрытие повторяет данные, но оно не знает их смысла. Если условие и нужное исключение разделяют два абзаца, 40 токенов не спасут. Если фраза попала сразу в три окна, все три могут занять первые места выдачи. Измерьте число уникальных разделов в первых результатах. Когда один абзац вытесняет соседние, перед генерацией объедините повторяющиеся диапазоны или оставьте лучший фрагмент каждого раздела. Для текстов без структуры этого достаточно чаще, чем для таблиц и пошаговых процедур.

Разделы и абзацы

Markdown и HTML дают структуру. Соберите иерархию заголовков и разрезайте на нижнем уровне, где текст можно читать отдельно. Например, добавьте к пункту «После передачи» полный путь «Доставка → Смена адреса → После передачи». Если индекс хранит только последние два слова, запрос про адрес не получит важный термин. Проверьте распознанное дерево на нескольких страницах. Ошибка уровня заголовка способна приклеить весь «Срок хранения» к разделу про адрес.

Длинный раздел делите дальше по абзацам и пунктам. Сохраняйте короткий заголовок в каждом фрагменте, но считайте его в лимите. Для многих похожих страниц заголовок «Как изменить адрес» может повторяться. Добавьте категорию доставки, когда она меняет смысл правила. Служебное меню и повторяющиеся подписи удалите до индексации, иначе они становятся ложными признаками близости.

Поиск по пункту, чтение раздела

Схема «ребёнок и родитель» (parent-child retrieval) индексирует короткие фрагменты, а после поиска подтягивает связанный текст. Например, поисковик нашёл «После передачи свяжитесь с перевозчиком», а сборщик открыл две строки раздела «Смена адреса». Этот путь даёт поиску точную единицу и модели достаточное объяснение. У него есть предел: не стоит подгружать 40 страниц при совпадении одного короткого пункта.

Определите максимальный размер родителя и порядок расширения. Начните с вещественного критерия: если кандидат находится в пункте исключений, добавьте связанное общее правило. Перепроверьте редакцию, права и регион родителя. У двух подразделений могут совпадать названия и номер пункта, поэтому ключом служит пара «документ и редакция» плюс ID раздела. После отмены правила обновите и ребёнка, и связь. Индекс с новой копией короткой строки и архивным родителем выдаст убедительный, но неверный ответ.

Сравнение на Python

Ниже разбиваем учебную инструкцию на окна по шесть слов с перекрытием два, затем сопоставляем результат с фрагментами по разделам. Это демонстрация границ. В приложении считайте токены тем кодировщиком, для которого ограничен размер. Стандартная библиотека позволяет работать и по ширине строки, но механизмы textwrap измеряют ширину символами и не заменяют токенизацию модели.

def windows(text, size, overlap): if not 0 <= overlap < size: raise ValueError("Шаг должен быть положительным") words = text.split() start = 0 while start < len(words): end = min(start + size, len(words)) yield " ".join(words[start:end]) if end == len(words): break start += size - overlap title = "Смена адреса" rule = "Адрес меняют до передачи перевозчику" exception = "После передачи свяжитесь с перевозчиком" other = "Срок хранения семь дней" text = " ".join((title, rule, exception, other)) print("Окна:") for i, chunk in enumerate(windows(text, 6, 2), start=1): print(f"{i}. {chunk}") parent = {"id": "SHIP-4/address", "title": title, "parts": [rule, exception]} child = {"parent": parent["id"], "text": exception} print("Кандидат:", child["text"]) print("Контекст:", parent["title"], "—", " / ".join(parent["parts"])) assert child["parent"] == parent["id"]

Вывод программы.

Окна: 1. Смена адреса Адрес меняют до передачи 2. до передачи перевозчику После передачи свяжитесь 3. передачи свяжитесь с перевозчиком Срок хранения 4. Срок хранения семь дней Кандидат: После передачи свяжитесь с перевозчиком Контекст: Смена адреса — Адрес меняют до передачи перевозчику / После передачи свяжитесь с перевозчиком

Ни одно окно не содержит обе строки полностью. Третье одновременно показывает часть исключения и заголовок соседней темы. При поиске по курьеру совпадения с «перевозчику» и «перевозчиком» распределятся по разным окнам. Вариант с родителем даёт цельное правило сразу, но доверяет правильности структуры. Для другого корпуса окно вполне способно выиграть. Прогоните оба подхода на одинаковом списке вопросов, прежде чем менять индекс.

Как обрабатывать сложный источник

У PDF проверьте порядок колонок, переносы слов и повторяющиеся колонтитулы. Если фраза «после передачи» попала в первую колонку, а «свяжитесь с перевозчиком» во вторую, чтение построчно склеит её с «сроком хранения». Сравните известную страницу с извлечённым текстом. Запишите номер страницы и координаты фрагмента, чтобы ошибка обнаруживалась до оценки модели. Для сканов отдельно проверяйте ошибки распознавания цифр и сокращений, например № 42 и № 12.

У таблицы переносите заголовки столбцов к каждой записи или индексируйте небольшую группу строк. Ряд «курьер | после передачи | обратиться к перевозчику» читаем только если ясно, что это способ доставки, статус и действие. Для кода сохраняйте подпись примера и границы блока. Если важное условие находится в первой строке комментария, а вызов в конце, оставьте их в одном фрагменте либо свяжите с исходным блоком. У якоря ссылки должны быть документ, редакция и место. Тогда сотрудник откроет именно проверяемый текст.

Как сравнить два разбиения

Соберите эталоны на уровне свидетельств, например «нужна строка с действием после передачи» и «нужны обе строки, чтобы объяснить границу». Зафиксируйте исходные страницы. После изменения границ новый идентификатор фрагмента не обязан совпадать со старым, поэтому разметку привязывайте к устойчивому местоположению или к смысловым кускам оригинала. Смотрите на попадание в первые результаты и на наличие всех оснований в фактическом контексте, который получила модель.

Разделите вопросы на групповые случаи. «Кто меняет адрес после передачи» проверяет исключение. «Можно ли менять до передачи» проверяет общее правило. «Сколько хранится заказ» проверяет, что соседний раздел не утонул в более крупном куске. Добавьте вопросы без ответа и один неправильно разобранный PDF. Для каждого прогона сравнивайте размер корпуса, долю повторов, задержку и полноту. Если результат падал до подачи модели, не приписывайте это её ответу.

В оценочном режиме сохраните очередь из первых 20 кандидатов и итоговые 4. Если правильное свидетельство было двадцатым, улучшайте сбор кандидатов или повторное ранжирование. Если было вторым и исчезло при обрезке, меняйте сборку. За основу точной текстовой выдачи подойдёт инвертированный индекс, а для перефразировок проверьте эмбеддинги. Чанкер сравнивайте при одинаковом способе поиска, иначе вы не узнаете, какой компонент дал изменение.

Как обновить справочник

Для нового разбиения постройте индекс на зафиксированной копии и прокрутите изменения публикаций до одного момента. Затем сравните старую и новую выдачу на эталонах. Не полагайтесь на позиции фрагментов в массиве: после добавления абзаца весь хвост сдвинется. Ссылки на источники крепите к редакции документа, а поисковые идентификаторы генерируйте по новому поколению. Если новая версия решила проблему с адресом, но испортила поиск срока хранения, откат переключит весь путь чтения обратно.

Для корпуса из 100 000 сегментов ошибка в одном популярном справочнике затронет больше людей, чем редкая ошибка в архиве. Поэтому сделайте приёмочные примеры для страниц с высоким трафиком и важных отказов. Добавьте счётчик фрагментов, у которых после публикации нет родителя, а также сравните число разделов до и после загрузки. Он ловит сбой импорта до того, как сотня вопросов вернёт пустой результат.

Проверьте и поведение при удалении. Пусть автор убрал отдельную инструкцию перевозчика и перенёс её в общий раздел. Запустите тот же вопрос после переключения индекса. Ссылка должна вести на новое место, а извлечённый текст не должен содержать снятое правило. Отдельно откройте старую ссылку из уже сохранённого ответа и убедитесь, что сотрудник видит отметку об архиве либо понятное сообщение о недоступности. Стабильный поисковый результат и доступность исторической ссылки нужно проверять отдельно.

Типичные ошибки

  1. Режете ровно по длине и теряете смысл. В выдаче есть фраза «после передачи», но отсутствует действие. Откройте следующий диапазон исходника и проверьте, где прошла граница.
  2. Слишком большое перекрытие забивает выдачу. Четыре результата повторяют общий пункт. Измерьте число уникальных исходных диапазонов в верхней выдаче.
  3. Отрываете таблицу от её заголовков. Ответ путает статус и действие. Возьмите одну строку с известной трактовкой и проверьте текст, который увидела модель.
  4. Подтягиваете не ту редакцию родителя. Короткий пункт и пояснение расходятся. Запишите ключи поколений обеих записей и повторите тест на дате смены инструкции.
  5. Проверяете только финальный ответ. Проблема осталась даже после смены промпта. Сопоставьте эталон с поиском, приложенным контекстом и утверждениями отдельно.

Когда можно обойтись одним разделом

Если интерфейс открывает конкретную страницу и модель получает короткий раздел полностью, индекс по мелким кускам не нужен. Отдайте готовый текст с заголовком и проверьте ответ на двух пограничных случаях. Для справочника со многими страницами и разными ролями чанкинг даёт управляемый поиск. Начинайте с границ документа, а фиксированные окна оставьте для частей, в которых у вас нет надёжной структуры. Сравните оба варианта на одном снимке, особенно если парсер видит заголовки не на всех страницах.

Что спрашивают на собеседовании

  1. Что такое чанкинг? Я разбиваю документ на единицы, которые можно найти и передать модели. У инструкции о доставке сохраняю заголовок и связь общего действия с исключением.
  2. Зачем перекрытие? Оно оставляет часть текста по обе стороны разреза и помогает найти фразу на границе. Я проверю, сколько одинаковых диапазонов оно добавляет в первые результаты.
  3. Когда нужен родительский раздел? Если короткий пункт годится для поиска, но не объясняет условия, я добавлю соседний абзац той же редакции. У раздела про смену адреса это общее правило и действие после передачи.
  4. Как подобрать размер фрагмента? Я запущу несколько вариантов на одних вопросах и сравню полноту, повторы и объём контекста. Число токенов выберу после того, как проверю сохранение нужных свидетельств.
  5. Как найти источник ошибки? Сначала открою извлечённый текст и проверю границы нужного места. Затем сверю, вернул ли его индекс и попало ли оно в финальный контекст.

Потренироваться в спокойной обстановке

Все задачи