Context engineering: что положить в контекст модели и что убрать
Собираем контекст LLM для помощника поддержки: инструкции, состояние, источники, история и инструменты. Считаем бюджет, проверяем свежесть и запускаем пример на Python.
Коротко
Context engineering — проектирование того, что модель получает на каждом шаге. Дайте ей задачу, нужные подтверждённые факты, подходящие источники и доступные действия. Старые сообщения и лишние документы убирайте по измеряемому правилу, чтобы они не вытесняли нужные сведения.
- Текущий номер заказа и последнее подтверждённое состояние положите рядом с вопросом.
- Историю разговора, данные инструментов и правила доступа храните отдельно от модельного запроса.
- Бюджет входа нужен по частям. Если обязательные данные не помещаются, сократите задачу, уточните её или верните неполный исход.
- При ошибке проверяйте фактический контекст, а не только шаблон системного промпта.
Один чат, два заказа и устаревшее правило
Сотрудник поддержки долго переписывается с помощником. В начале разговора обсуждали заказ 41, который уже передали перевозчику. Затем сотрудник открыл карточку заказа 42 и спросил «Как поменять адрес здесь?» Заказ 42 пока собирают. Для него действует документ POL-18. Ранее в разговоре использовался POL-17, но он архивный. Если отправить модели всю переписку и ещё пару похожих разделов, она способна ответить про 41 или взять не ту редакцию.
Требуемый ответ короткий. «Для заказа 42 можно запросить смену адреса до передачи перевозчику. Основание — POL-18». Результат должен опираться на текущее состояние заказа и действующий раздел. Архивный текст остаётся в истории для просмотра, но его не нужно включать в рабочий контекст как актуальный. Идентификатор 42 доверенная часть продукта получает из открытой карточки, поэтому соотносить «здесь» со старой репликой не требуется.
В инженерном разборе Anthropic контекст рассматривается как набор информации, которую модель использует для следующего действия. Формулировка промпта — часть работы. Ещё нужно получить свежие сведения, выбрать инструменты, убрать повтор и уложиться в бюджет. Для этого полезно хранить несколько представлений истории: журнал для пользователя, состояние для программы и отобранный вход для модели.
Что входит в рабочий запрос
| Блок | Откуда берётся | Что оставить в нашем примере |
|---|---|---|
| Инструкция | Версия продукта | Объяснять правила, показывать подтверждённые ссылки |
| Вопрос | Последняя реплика | «Как поменять адрес здесь?» |
| Состояние | Карточка и ответ сервиса | Заказ 42, статус «собирают», время чтения |
| Источники | Справочник с фильтрами | POL-18, один нужный раздел |
| История | Сообщения или краткая запись | Только важное уточнение сотрудника, если было |
| Инструменты | Каталог хоста | Чтения, которые реально нужны в этой задаче |
Передайте состояние как поля, а не как пересказ длинного диалога. Для пары order_id=42 и status=packing важны источник, время чтения и доступ конкретного сотрудника. У старого состояния может быть тот же формат, но другой заказ. Сравните идентификатор и свежесть до построения запроса. Если пользователь сменил карточку, сохранившуюся привязку к 41 замените в доверенном состоянии, а не дополнительным предупреждением в каждом промпте.
Статичный блок инструкции опишите в коротких действиях. Например, «Ответьте о порядке смены адреса. Ссылки строятся по идентификаторам доступных документов. Если данных не хватает, укажите, каких». Действующие правила доставки храните в справочнике. Редактировать инструкцию каждый раз при смене перевозчика дороже и сложнее проверять. При этом система по-прежнему применяет права и подтверждения в коде. Входной текст не раздаёт полномочия.
Как собрать контекст для следующего шага
| Шаг | Кто → кому | Данные и проверка |
|---|---|---|
| 1. Запуск | Интерфейс → сервер | Вопрос и подтверждённая карточка 42 |
| 2. Чтение | Сервер → сервис заказов | Разрешённый номер и актуальный статус |
| 3. Поиск | Сервер → справочник | Регион, статус, права и тип вопроса |
| 4. Сборка | Сборщик → модель | Инструкция, вопрос, состояние и POL-18 |
| 5. Ответ | Модель → сервер → сотрудник | Текст и ID основания, проверенный сервером |
В RAG поиск возвращает кандидатов. Они ещё конкурируют за место с инструкцией, вопросом и историей. Удалите архивные документы до сортировки. Объедините повторы, которые относятся к одному пункту и версии. Добавьте соседний пункт только если он нужен для объяснения или исключения. Если POL-18 хранится рядом с большой таблицей сроков хранения, брать всю страницу из-за одного совпадения необязательно.
Когда агент делает следующий шаг, ситуация меняется. После вызова чтения заказа в контекст добавляется компактный результат, а длинная транспортная трасса остаётся в журнале. Модели нужно знать, что заказ в сборке, и может понадобиться ID факта. Пакет из десяти полей оплаты для этого лишний. В разборе цикла агента результат инструмента меняет следующее действие. Поэтому заменяйте устаревшее наблюдение актуальным и сохраняйте основание, когда из-за этого меняется рекомендация.
Бюджет и приоритеты
Распределите фактические токены по назначению. Например, для учебного сервиса выделим 3 000 токенов входа: 300 на инструкции, 250 на вопрос и состояние, 1 500 на источники, 400 на историю и 550 на служебные поля и описания функций. Резерв на выход считают отдельно, когда лимит модели охватывает весь запрос. Цифры задают выбранную конфигурацию. Их нужно измерить на реальных запросах, потому что длинные идентификаторы, русский текст и JSON кодируются по-разному.
Сначала резервируйте обязательные блоки. Если вопрос, доверенная карточка и единственное необходимое исключение не помещаются, обрезать последний элемент нельзя. Сократите избыточную инструкцию или отберите проверенный отрывок. Если это не помогает, ответьте, что источника не хватает, или отложите задачу для уточнения. После обязательных добавляйте краткую историю и необязательные примеры. Порядок можно менять, но сохраняйте причину каждого пропуска в диагностике.
У вас также есть цена задержки. Передача трёх больших документов увеличивает вход и может задержать подготовку запроса. Ещё дольше может оказаться добывать дополнительные источники. Сравните варианты: один основной пункт с точным фактом, пункт и короткое исключение, вся страница. Если первые два справляются одинаково, выберите меньший. Выход с объяснением дороги до перевозчика важнее лишнего текста про упаковку. Общую стабильную инструкцию можно оставить в начале ради кэширования префикса, если это согласуется с политикой провайдера.
Сборщик контекста на Python
Код использует условные размеры блоков, которые дала стадия измерения. Это единицы только нашего примера. Он резервирует обязательное, исключает архив и заполняет остаток дополнительными блоками. Важен контроль случая, когда ресурса не хватило на то, без чего ответ небезопасно формировать.
def build(blocks, limit): required = [block for block in blocks if block[2] and block[3]] if any(required_flag and not current for _, _, required_flag, current in blocks): raise ValueError("Обязательный источник устарел") used = sum(cost for _, cost, _, _ in required) if used > limit: raise ValueError("Обязательные блоки не помещаются") kept = [key for key, _, _, _ in required] skipped = [] for key, cost, required_flag, current in blocks: if required_flag: continue if not current or used + cost > limit: skipped.append(key) continue kept.append(key) used += cost return kept, skipped, used blocks = [ ("инструкция", 20, True, True), ("вопрос", 10, True, True), ("заказ-42", 15, True, True), ("POL-18", 30, True, True), ("POL-17", 20, False, False), ("длинная история", 60, False, True), ("уточнение региона", 10, False, True), ] kept, skipped, used = build(blocks, 90) print("В контексте:", ", ".join(kept)) print("Пропущены:", ", ".join(skipped)) print("Бюджет:", used, "из 90") try: build(blocks, 70) except ValueError as error: print("При бюджете 70:", error) assert "POL-18" in kept and "POL-17" in skipped
Вывод программы.
В контексте: инструкция, вопрос, заказ-42, POL-18, уточнение региона Пропущены: POL-17, длинная история Бюджет: 85 из 90 При бюджете 70: Обязательные блоки не помещаются
В нашем сценарии регион остаётся необязательным текстом, потому что право и область уже проверены при получении POL-18. Если применимость правила зависит от региона, а доверенного значения нет, переведите его в обязательное и запросите уточнение. Код хранит только список ID. В настоящем запросе добавляются содержимое, версии и число токенов. Проверьте итоговый запрос после рендера шаблона. Служебные поля и оформление увеличивают размер, поэтому сумма блоков и реальное число токенов могут отличаться.
Как сокращать историю без потери смысла
Отделите текущие факты от решений. Состояние «заказ 42» берёте из карточки. Предпочтение «нужен короткий ответ для оператора» остаётся из разговора, пока сотрудник не попросит подробности. Историю про 41 не нужно втаскивать в задачу про 42, но она останется доступна при возвращении к старой карточке. Размечайте сохранённые фрагменты по владельцу, задаче и времени. Это позволяет убрать старую ветку без удаления всего разговора.
Выжимка (summary) экономит объём, но после неё часть деталей исчезает. Сохраняйте исходные ссылки и проверенные идентификаторы отдельно. Если краткая запись утверждает, что POL-17 действующий, сравните её с источником и датой. При важном конфликте добавьте точный актуальный факт, а выжимку обновите после получения подтверждения. Контекст с двумя противоположными утверждениями перекладывает выбор на модель, хотя приложение знает, какая редакция актуальна.
Как проверить переход на длинный разговор
Соберите пару тестов с одинаковым последним вопросом. В первом чат новый и открыта карточка 42. Во втором до неё обсуждали 41, старая инструкция есть в пяти репликах, затем карточку переключили. Оба ответа должны сослаться на 42 и POL-18. В третьем варианте измените реальный статус 42. Тогда ответ должен измениться. Если он совпадает с прошлым, проверьте, когда состояние было прочитано и не подменяет ли его краткая история.
При сравнении версий сохраняйте состав фактического контекста. Метка «нашли POL-18» недостаточна, если сборщик его исключил. Логируйте блоки, поколения, размеры и причины пропуска. Учебную копию содержимого храните только для воспроизведения без закрытых данных. Когда ответ ухудшился после уменьшения бюджета, проверьте, какое свидетельство ушло. Если оба источника остались, посмотрите на порядок, форму и противоречия внутри итогового входа.
Как добавлять инструменты по мере необходимости
В коротком сценарии достаточно чтения карточки и поиска политики. Если открыли новый шаг для заказа у перевозчика, покажите модели чтение условий доставки после того, как в состоянии появился подтверждённый перевозчик. Тогда в запросе на заказ 42 не будет схемы этой функции и аргументов, которые сотрудник ещё не указал. Отбор полезен и без экономии токенов. Меньше похожих функций соревнуются за один и тот же запрос.
Проверьте переход между режимами. Если пользователь сначала просил только объяснить правила, а затем явно открыл форму смены адреса, интерфейс управляет новым разрешённым сценарием. Сборщик приносит необходимые поля и инструкцию о проверке. Результаты предыдущей консультации можно использовать как справку, но номер, состояние и право надо проверить снова. У сотрудника могли отозвать права, а заказ могли отправить. Сценарий должен остановиться на изменении факта, даже если прежний текст выглядит применимым.
Для диагностики логируйте версию списка инструментов рядом с составом контекста. При ошибке на втором шаге выясните, что модель увидела в каждом вызове. Проверка только первого запроса пропустит случай, когда расширенный каталог добавили на повторе, а старое наблюдение о заказе ещё не заменили.
Типичные ошибки
- Передаёте всю историю. Модель отвечает о заказе 41. Сравните контекст свежего и длинного чата при одинаковой карточке 42.
- Привязываете права к тексту. Выдержка пытается изменить назначение операции. Проверьте, что список действий и права определяет хост.
- Отрезаете обязательное исключение. Итог выходит уверенным и неверным. Сохраните причины пропуска блоков и проверьте резерв до сборки.
- Храните устаревший факт в выжимке. Модель называет архивный POL-17. Проверьте время и версию источника отдельно от текста заметки.
- Измеряете только число токенов. Вход сократился, зато ответ потерял ссылку. Сравните правильность, основания, задержку и размер вместе.
Когда не нужен сложный сборщик
Если инструмент отвечает на один вопрос по известному документу и статусу, передайте оба напрямую. Дальше измерьте, какие запросы выигрывают от поиска или истории. Сборка по приоритетам окупается, когда в диалоге меняются объекты, появляются независимые инструменты и нужно ужимать вход. Если вся задача укладывается в два поля без модели, покажите их из приложения. Это самый простой способ сохранить точное состояние заказа.
Что спрашивают на собеседовании
- Что такое context engineering? Я определяю, какие данные приходят модели для конкретного шага. Для смены адреса оставлю вопрос, состояние 42 и правило POL-18.
- Что выбросить из длинного чата? Я уберу разговор про другой заказ и устаревшие источники, если они не нужны задаче. Подтверждённые факты сохраню отдельно от выжимки.
- Как подобрать бюджет? Я измерю объём готового запроса и выделю место для обязательных данных и ответа. Если важный пункт не помещается, сокращу необязательные блоки или изменю сценарий.
- Что логировать при ошибке? Я запишу ID и версии фактически включённых блоков и причины исключения. Так видно, потерялся ли POL-18 в поиске или после него.
- Когда не нужна история? Если карточка и правило однозначно определяют ответ, я возьму актуальные значения из приложения. История потребуется только для уточнения, которое изменяет текущую задачу.