RAG или fine-tuning: как выбрать поиск, дообучение или оба

Когда брать RAG, а когда дообучение модели. На примере обработки обращения разбираем свежесть правил, поведение модели, стоимость изменений и сравнение четырёх вариантов.

11 мин чтенияai · rag · дообучение · оценка качества

Коротко

Берите RAG, если модели регулярно нужны новые факты и ссылки на конкретные документы. Берите дообучение (fine-tuning), если при одинаковом входе нужно устойчиво изменить поведение модели и обычная инструкция с примерами уже не даёт нужного результата. Если нужны и свежие факты, и особое поведение, сначала проверьте компоненты по отдельности, затем соедините их.

  • Для короткого правила с известной страницей начните с передачи страницы целиком.
  • Для валидного JSON сначала примените схему и проверку результата в коде.
  • Меняйте корпус, промпт и модель по одному. Иначе вы не узнаете, почему ответ улучшился.
  • Посчитайте не только стоимость запуска, но и время до выпуска новой политики, разметку и повторную проверку.

Одно обращение, две независимые ошибки

Клиент пишет «Верните деньги за наушники, одно ухо перестало работать». Сервису нужно сделать две вещи. Первая — предложить маршрут заявки, например defect, и вернуть его в согласованном поле. Вторая — объяснить сотруднику, по какому правилу действовать сейчас, и приложить ссылку на раздел. Правила магазина вымышлены. В январе действовал документ W-11, в феврале опубликован W-12. Для разговора о дефекте нужна текущая версия, а не запомнившаяся формулировка предыдущего месяца.

Если модель видит W-12, но упорно назначает маршрут return вместо defect, проблема в понимании задачи или правила маршрутизации. Добавление ещё пяти документов в запрос не исправляет этот сбой автоматически. Если модель ставит defect, но ссылается на W-11, сначала исправляйте выбор источника. Дообучать модель при каждой публикации долго, и сам факт изменения параметров не доказывает, что она пересказывает конкретный абзац W-12.

В работе о RAG Lewis и соавторы описывают сочетание модели с внешней памятью, из которой извлекаются документы. На практике приложение может дать модели один действующий фрагмент с версией. Дообучение меняет параметры или отдельные обучаемые компоненты. Например, в работе о LoRA основные параметры замораживаются, а при обучении используются добавленные низкоранговые компоненты. Это сокращает число обучаемых параметров в сравнении с полным дообучением, но всё равно требует примеров и проверки поведения.

С чего начать в этом проекте

ПроблемаПервый вариантЧем мерить
Приложение не знает действующее правилоНайти W-12 или загрузить по известному ключуДоля ответов на правильную редакцию
Неверное значение маршрута при правильных источникахУточнить инструкцию и добавить примерыОшибки по реальным формулировкам
Некорректная форма результатаСхема поля и проверка допустимых значенийДоля валидных объектов
Стабильная ошибка классификации после настройкиИспытать дообучение или отдельный классификаторОшибки на удержанной выборке
Оба сбоя заметныИсточник плюс проверенное поведениеДоля запросов, где верны оба результата

Начните с промпта (prompt), то есть инструкции и данных, которые вы передаёте модели для конкретного обращения. Дайте правила выбора между defect и return, два примера и формат ответа. Если правило можно сформулировать как обычную проверку и данные уже структурированы, пишите её в коде. Например, подтверждённый тип обращения defect из формы не нужно угадывать повторно. Модель полезна там, где человек пишет свободно, а критерии нельзя взять из готового поля.

Оцените набор документов. Если для этой формы всегда используется один известный актуальный W-12, загрузите его по ключу и передайте целиком. Поисковая часть нужна, когда пользователь задаёт произвольный вопрос и соответствующий раздел надо отобрать из десятков. Разница между таким путём и обычным чтением документа важна для бюджета. Архитектуру извлечения и объяснения отдельно разбирает статья о пайплайне RAG.

Что происходит в запросе и на выпуске

ШагКто → комуЧто передаёт
1. ПубликацияВладелец политики → индексW-12 с датой, областью и ссылкой
2. ОбращениеПриложение → поискТекст про наушники, организация и дата
3. ВыборПоиск → сборщикДействующий пункт о дефекте
4. РазборСборщик → модельПункт, текст клиента и инструкция о маршруте
5. ВалидацияМодель → приложениеПредложение defect, выдержка и ID источника
6. ПоказПриложение → сотрудникПроверенные поля и открываемая ссылка

Дообучение идёт отдельно от этой цепочки. Команда сохраняет разметку старых обращений и примеры правильного результата. Данные готовятся, модель обучается, новая версия проходит сравнение с исходной и только затем попадает в четвёртый шаг. Если W-13 публикуется завтра, он должен обновиться в справочнике и поиске независимо от выпуска модели. Порядок публикаций раздельный, потому что цель каждого изменения своя.

Когда обучаем поведение, примеры должны отражать реальные различия. «Одно ухо перестало работать» и «одно ухо натирает, хочу другой размер» выглядят близко, но ведут в разные процессы. Если разметчик отдаёт оба в defect, модель будет воспроизводить это решение. Сначала проверьте согласие разметчиков на спорных примерах. Сохраните отдельную группу для случаев, где нужно уточнение. Принудительная раскладка любого текста на два взаимоисключающих класса скроет неопределённость в интерфейсе.

Проверка четырёх вариантов на Python

Ниже вымышленные результаты четырёх конфигураций на трёх обращениях. Первый элемент результата — маршрут, второй — источник. Код считает правильность каждого признака отдельно и долю запросов, где верны оба. Он проверяет метод сравнения и не обучает модель.

gold = [ ("defect", "W-12"), ("return", "R-9"), ("clarify", None), ] predictions = { "Промпт": [("return", "W-11"), ("return", "R-9"), ("return", None)], "RAG": [("return", "W-12"), ("return", "R-9"), ("clarify", None)], "Дообучение": [("defect", "W-11"), ("return", "R-9"), ("clarify", None)], "Вместе": [("defect", "W-12"), ("return", "R-9"), ("clarify", None)], } for name, guesses in predictions.items(): assert len(guesses) == len(gold) routes = sources = both = 0 for (route, source), (expected_route, expected_source) in zip(guesses, gold): route_ok = route == expected_route source_ok = source == expected_source routes += route_ok sources += source_ok both += route_ok and source_ok print(f"{name}: маршрут {routes}/3, источник {sources}/3, оба {both}/3")

Вывод программы.

Промпт: маршрут 1/3, источник 2/3, оба 1/3 RAG: маршрут 2/3, источник 3/3, оба 2/3 Дообучение: маршрут 3/3, источник 2/3, оба 2/3 Вместе: маршрут 3/3, источник 3/3, оба 3/3

Варианты с самостоятельным RAG и самостоятельным дообучением имеют одинаковый итог 2 из 3. Их ошибки различаются. У первого неверный маршрут, у второго архивное основание. Если отклонение по правилу оплачивает оператор, а ошибочный маршрут исправляется одним кликом, выбранный порядок работ будет зависеть от этих последствий. В живом эксперименте добавьте проверку, что цитата действительно поддерживает объяснение. Совпавший ID сам по себе подтверждает только, что выбран правильный документ.

Разделите выборки по времени и похожим обращениям. Если одну переписку порезать на десять строк и распределить их между обучением и тестом, модель увидит почти одинаковые входы. Отложите целые диалоги. Для правил приготовьте два снимка, до выпуска W-12 и после. Прогон на послефевральских данных покажет, сохраняет ли модель поведение при смене источника. Прогон на обычных запросах покажет, не потеряла ли она ранее корректный маршрут.

Как оценить стоимость

У RAG есть фоновая загрузка документов и вычисление индекса, а в запросе — поиск, сборка и дополнительные токены. У дообучения есть подготовка данных, обучение и проверка выпуска, а в запросе по-прежнему остаются входные и выходные токены. Количество добавленных примеров и фактическая цена зависят от модели и провайдера. Запишите выбранные единицы и измерьте их, прежде чем делать вывод.

Для иллюстрации представьте 100 000 обращений в месяц и дополнительные 800 токенов источников на каждое. Это 80 млн входных токенов за месяц. В число не входят инструкции, ответы и повторные запросы. Если в ходе измерения вы сократите контекст с 800 до 500, разница составит 30 млн токенов при том же трафике. Проверьте сразу, не исчезли ли исключения, ради которых поиск запускали. Такой расчёт сравнивает размеры, а денежную оценку даёт ваш реальный тариф.

При дообучении смету начинайте с труда на проверку примеров. Если два специалиста расходятся на формулировках про гарантию, новый обучающий запуск под закрепившийся спор не решает задачу. Договоритесь о правилах, сохраните примеры с объяснением и оцените время проверки одного выпуска. Если документ меняется еженедельно, отдельный индекс даёт владельцу правил путь обновления без очередного обучающего цикла. Если правила маршрута меняются редко, у дообучения есть шанс окупиться при большом числе однотипных запросов.

Как поставить пилот

Начните с ручной подстановки правильного документа. Для жалобы на наушники дайте базовой модели W-12 и проверьте, какой маршрут она выберет. Это контроль для поиска. Если с эталонным источником результат уже верен, оптимизируйте попадание W-12, а не модель. Если маршрут всё равно неверный, уточните инструкцию и сравните ещё раз на соседних случаях, где дефекта нет. Так вы не обучите модель отправлять в гарантию любого, кто упомянул слово «работает».

Для кандидата после дообучения сохраните ту же границу эксперимента. Подайте обеим моделям одинаковые документы, проверьте отдельно маршрут и ссылки, затем поменяйте редакцию источника. Если новая модель лучше классифицирует, но продолжает называть прежнюю версию, не расширяйте пилот. Сначала убедитесь, что она использует конкретный переданный фрагмент, например отвечает другой формулировкой после замены W-12 на тестовый W-13. Уберите из примеров обучения даты и номера, которые годятся только для одного выпуска, если цель обучения касается маршрута.

Проверьте запасной путь. Если индекс недоступен, ещё можно показать сотруднику черновик категории и сообщить, что правило пока не подтверждено. При отказе новой модели используйте базовую проверенную конфигурацию с тем же действующим источником. Эти два режима проверяйте отдельными тестами. Объединённый переключатель «всё выключить» ухудшит обе функции при проблеме только в одной. До выхода на весь трафик сохраните число ручных исправлений по каждому типу сбоя.

Как сделать решение обратимым

Храните версии модели, промпта и корпуса отдельно. История заявки должна показать, что ответ строился по W-12 и какой конфигурацией. При жалобе на неверный маршрут сравните A и B с одинаковым контекстом. При жалобе на архивный текст сравните выданные фрагменты двух поколений при одинаковой модели. Такой журнал позволяет вернуть один параметр, не откатывая исправления другого компонента.

Кэш результата зависит от модели, версии инструкций, источника и прав. Если вчера заявка соответствовала W-11, сегодня повторное обращение должно проверяться по W-12. Пометьте кэш поколением документов и проверьте отзыв доступа источника перед показом. За принципами обновления кэша можно обратиться к разбору стратегий кэширования. Для действий приложения проверяйте права и параметры отдельно, как в статье о tool calling. Правильный маршрут пока только черновик, если запись в систему ещё не прошла.

Типичные ошибки

  1. Дообучаете ради актуальных фактов. После публикации W-12 ответ продолжает ссылаться на W-11. Сравните источники до и после публикации и заведите отдельное обновление корпуса.
  2. Насыпаете документы при ошибке классификации. Выдача уже содержит действующее правило, а маршрут неверный. Подставьте эталонный документ вручную и проверьте поведение.
  3. Измеряете только сводный балл. Два варианта оба дают 2 из 3, но отключают разные функции. Разнесите точность маршрута и качество ссылки.
  4. Учите и тестируете на частях одного диалога. Результат выглядит высоким, пока не пришли новые формулировки. Сверьте идентификаторы исходных диалогов в выборках.
  5. Выкатываете три изменения сразу. Неясно, почему стали пропадать исключения. Заморозьте две части системы и меняйте третью с контрольной группой.

Когда убрать оба компонента

Если приложение получает уже выбранный тип обращения и номер действующего правила, заполните маршрут напрямую и покажите отрывок. Для одного короткого раздела можно передать его модели целиком, если сотруднику действительно нужно объяснение свободным текстом. Для большой базы используйте RAG после того, как поиск по документам показал пользу. Добавляйте дообучение, когда оно исправляет измеримый класс ошибок при тех же данных и сохраняет другие свойства приложения.

Что спрашивают на собеседовании

В ответах опирайтесь на два результата пилота: маршрут обращения и действующий источник.

  1. Когда выбрать RAG? Я беру его, если ответы зависят от документов, которые меняются, и нужна ссылка на основание. Для обращения о дефекте получу W-12 из действующего справочника.
  2. Когда выбрать fine-tuning? Я проверю поведение модели на одной и той же информации и одинаковых заданиях. Если инструкция с примерами систематически путает дефект и обычный возврат, сравню дообучение с отдельным классификатором.
  3. Как сравнить два решения? Я зафиксирую вопросы и источники, посчитаю маршрут и подтверждение ответа отдельно. Потом посмотрю задержку и стоимость устойчивого выпуска.
  4. Нужно ли переобучать модель после изменения инструкции магазина? Если инструкция лежит в источнике RAG, обновлю корпус и проверю его поколение. Модель обновлю отдельно, только если изменилось нужное поведение.
  5. Можно ли использовать оба подхода? Да, если поиск даёт действующее правило, а дообученная модель лучше выполняет задачу при этом входе. Сначала проверю вклад каждого на одинаковой выборке.

Потренироваться в спокойной обстановке

Все задачи