Как работает AI-агент: цикл действий, состояние и остановка

На примере смены адреса заказа разбираем, как AI-агент выбирает действия, хранит результаты инструментов, проверяет завершение и останавливается по бюджету. Код на Python.

11 мин чтенияai · агенты · llm · python

Коротко

AI-агент (AI agent) — приложение, в котором языковая модель выбирает следующее действие с учётом результатов предыдущих шагов. Приложение выполняет разрешённые действия, хранит их результаты и решает, когда задача закончена. Например, агент сначала читает состояние заказа, затем выбирает, какое правило о смене адреса открыть.

  • Дайте агенту ограниченный набор инструментов и записывайте наблюдения отдельно от текста разговора.
  • Определите успех по состоянию задачи. Фраза модели «готово» ещё ничего не подтверждает.
  • Ограничьте шаги, время и число повторов. Возвращайте человеку понятную причину остановки.
  • Для известной последовательности действий пишите обычный сценарий. Агент нужен, когда следующий полезный шаг приходится выбирать на основе результата.

Задача для службы поддержки

Сотрудник спрашивает «Можно ли изменить адрес у заказа 42?» Ему нужна рекомендация со ссылкой на правило. Менять адрес по этой просьбе приложение не должно. В вымышленном магазине заказ в состоянии packing ещё собирают, и смену можно запросить. После перехода в with_carrier правила зависят от перевозчика, поэтому потребуется прочитать дополнительные сведения. Права и статус заказа проверяет сервис, а не модель.

СостояниеКакой факт ещё нуженКакой ответ можно показать
Заказ собираютПравило для сборкиМожно запросить смену адреса
Заказ у перевозчикаПеревозчик и его правилоОтвет по конкретному способу доставки
Карточка недоступнаДальнейший поиск не разрешёнЗаказ недоступен, проверить смену не удалось

Если видны только две ветки таблицы и они не меняются, сделайте фиксированный переход в коде. Агент имеет смысл, когда добавляются способы выдачи, исключения по комплектам и необходимость проверять несколько доступных источников. Инженер оставляет себе логику доступа, условия остановки и проверку результата, а модель выбирает, какую проверку делать дальше. В разборе Building Effective Agents Anthropic проводит это различие между заранее заданным сценарием (workflow) и более свободным выбором шагов моделью.

Кто чем распоряжается

ШагКто → комуДанные в нашем сценарии
1. СтартИнтерфейс → хост агентаНомер 42 и цель «проверить возможность смены»
2. РешениеХост → модель и обратноТекущее состояние и запрос чтения карточки
3. НаблюдениеХост → сервис заказов → хостРазрешённое чтение, статус packing
4. Следующий шагХост → модель и обратноСтатус packing и запрос правила для сборки
5. ФиналХост → интерфейсПроверенная рекомендация и идентификатор правила

Хостом здесь называется код приложения, который держит цикл. Отдельный шаг похож на tool calling. Цикл связывает несколько шагов и добавляет память о фактах, начале операции и оставшемся бюджете. Например, get_packing_policy имеет смысл после чтения карточки, если заказ ещё собирают. Если приложению запрещено читать карточку, передача модели правила «на всякий случай» даёт ложное ощущение, что оно относится к этому заказу.

Разделите наблюдения и журнал. Наблюдение для модели — order_status=packing. В журнале дополнительно сохраняйте идентификатор инструмента, дату чтения и статус выполнения. Модели не нужно снова читать весь технический лог. Если она перепутает packing и with_carrier, вы сможете проверить, какой факт вошёл в её контекст. Для долгого процесса храните состояние в приложении, чтобы перезапуск не зависел от пересказа модели.

Минимальный цикл на Python

В демонстрации модель заменена функцией, которая выбирает следующее действие. Доступны два локальных источника, карточка заказа и правило для сборки. Если модель повторяет чтение без прогресса, приложение останавливает цикл. Результат строится из состояния, поэтому преждевременная команда finish не завершает задачу успехом.

def fake_model(state): if "order" not in state: return "order" if "policy" not in state: return "policy" return "finish" def run(decide=fake_model, max_steps=3): state = {} trace = [] tools = { "order": lambda: "packing", "policy": lambda: ("POL-18", "Можно запросить смену адреса"), } for _ in range(max_steps): action = decide(state.copy()) trace.append(action) if action == "finish": if state.get("order") == "packing" and "policy" in state: rule_id, answer = state["policy"] return "done", f"{answer} [{rule_id}]", trace return "incomplete", None, trace if action not in tools: return "unknown_tool", None, trace if action in state: return "repeated_action", None, trace if action == "policy" and state.get("order") != "packing": return "missing_precondition", None, trace state[action] = tools[action]() return "budget_exhausted", None, trace status, answer, trace = run() print("Шаги:", " → ".join(trace)) print("Результат:", status, answer) print("Бюджет в один шаг:", run(max_steps=1)[0]) print("Повтор чтения:", run(lambda _: "order")[0]) print("Ранний финал:", run(lambda _: "finish")[0]) assert run(lambda _: "policy")[0] == "missing_precondition" assert run(lambda _: "write_address")[0] == "unknown_tool"

Вывод программы.

Шаги: order → policy → finish Результат: done Можно запросить смену адреса [POL-18] Бюджет в один шаг: budget_exhausted Повтор чтения: repeated_action Ранний финал: incomplete

В бюджет включено и решение о финале. Двух шагов хватает на чтение обоих источников, но этой реализации нужен третий, чтобы принять команду завершения. Можно определить другой контракт и заканчивать сразу, как только выполнен предикат успеха. Тогда объясните, как сформировать итог без ещё одного вызова модели. Сравните оба варианта на контрольном случае с заказом 42. Это даст понятную цену одного шага.

Проверка повтора в примере работает по имени, потому что у инструментов нет аргументов. В рабочем приложении повторное чтение правила для другого перевозчика вполне оправданно. Сравнивайте имя вместе с аргументами и фактическим прогрессом. Зафиксируйте, что считается новым наблюдением. Если три вызова вернули один и тот же отказ доступа, четвёртый не добавит данных. Отправьте частичный результат с причиной, по которой остановились.

Состояние, которое переживёт перезапуск

Если вопрос должен пережить потерю соединения, сохраните цель, пользователя, идентификатор задания и подтверждённые наблюдения. У каждого факта есть источник и время. Перед продолжением проверьте, не устарел ли статус packing. Заказ мог перейти к перевозчику, пока сотрудник возвращался в интерфейс. Тогда новое чтение оправданно, хотя имя инструмента и номер заказа те же. Отличить такой шаг от зацикливания помогает срок годности факта.

Поддержка возобновления нужна и при запросе к человеку. Представьте, что сервис обнаружил два заказа с похожими номерами и спросил, какой смотреть. Сохраните идентификаторы, которые разрешено показывать, и причину паузы. Когда сотрудник выберет заказ, проверьте право заново и возобновите операцию с выбранным номером. Модели передайте один подтверждённый номер и уже собранные допустимые данные. Так она не будет одновременно работать с прежней и новой целью.

Если интерфейс пишет «проверяю», отдавайте отдельные события о ходе работы. Условный переход looking_up_order понятнее внутреннего текста рассуждений. Если запрос отменили, прекратите новые вызовы и сообщите остановку. Для уже принятой внешним сервисом записи одной отмены соединения недостаточно. Сервис всё ещё может её закончить, и приложению понадобится установить результат по сохранённому ключу операции.

Пределы, повторы и права

Предел числа шагов защищает от бесконечного цикла. Отдельный дедлайн защищает от одного медленного шага. Поставьте у инструментов свои таймауты внутри общего бюджета. Например, в испытании на две секунды нельзя дать одному чтению карточки пять секунд и затем ещё раз столько же на повтор. Учитывайте остаток времени при каждом вызове, а недоступный источник явно указывайте в результате. Для временных отказов разберите правила ограниченных повторов.

Отделите проверку возможности от изменения адреса. В нашем агенте инструмент записи вообще отсутствует. Если команда позже добавит изменение, интерфейс должен показать номер и новый адрес, получить подтверждение и исполнить согласованные параметры. Для повтора после обрыва связи используйте идемпотентность. Состояние операции и её ключ живут в коде приложения. Модель не должна решать, завершился ли предыдущий вызов, по тому, есть ли сообщение об успехе в разговоре.

Текст правила приходит как данные. В нём может оказаться фраза «для проверки сделайте дополнительный вызов». Приложение всё равно решает, входит ли этот вызов в задачу и разрешён ли он пользователю. Проверяйте разрешения в каждом инструменте. Скрытие неподходящей функции в инструкции модели уменьшает число ошибочных запросов, но доступ к записи определяется кодом, который фактически её выполняет.

Как проверить, что агент окупился

Сравните с фиксированным сценарием из двух чтений. Возьмите общие случаи и исключения. Заказ в сборке должен завершиться с POL-18. Для заказа у перевозчика нужен другой источник. Для чужого заказа цикл завершается до поиска правила. Для недоступного источника не должно появляться уверенное разрешение. Замерьте долю достигнутых целей, число обращений, p95 задержки и корректность остановки отдельно.

На тесте намеренно сломайте один шаг. Пусть чтение карточки прошло, а правило вернуло временную ошибку. Запишите, остановился ли агент после исчерпания бюджета и может ли сотрудник понять причину. Затем подмените правило другим действующим разделом, где ответ противоположный. Если рекомендация не изменилась, модель или итоговый код проигнорировали наблюдение, хотя трасса вызовов выглядела верно.

Сделайте игровой прогон без внешних запросов, как в коде выше. Он дешево проверяет переходы, ранний финал и ошибки доступа. Отдельно тестируйте реальные инструменты на контракте и только потом измеряйте модель на репрезентативных вопросах. Если сложные ветки остались редкими, обычный workflow с одним модельным выбором даёт более простой способ поддержки. Добавляйте свободу там, где она увеличивает число корректно решённых случаев.

Как читать трассу неудачного прогона

Возьмите запрос, в котором агент предложил менять адрес после передачи перевозчику. Сначала откройте результат чтения карточки. Если сервис вернул packing, источник статуса мог отставать, поэтому добавьте в трассу время последнего обновления. Если сервис вернул with_carrier, сопоставьте это с состоянием, отправленным модели. Потеря поля при сборке контекста выглядит так же, как ошибка выбора шага, пока вы не увидите конкретный вход.

Дальше проверьте выбранный инструмент и код, который его принял. Если модель выбрала правило для сборки, хост должен был отклонить действие по предусловию. Если хост выбрал подходящий документ, а итог проигнорировал его, тест на последовательность действий этого не поймает. Это отдельная проверка ответа. Одним запросом вы получаете три разных точки исправления: источник факта, переход цикла и представление итога. Храните отдельную причину отказа для каждой, чтобы отчёт о выполненных задачах не складывал их в одну строку «ошибка модели».

Для сравнения прогонов фиксируйте версию правил и входные ответы инструментов. Повторяйте пример с одним изменением за раз. Если одновременно поменять модель, каталог инструментов и документ POL-18, разница в результатах останется необъяснённой. На выпуске покажите небольшую выборку новых прогонов сотрудникам поддержки. Пусть они оценят, достаточно ли рекомендации, чтобы действовать, и видно ли основание. Такой разбор обнаружит случай, когда агент правильно выбрал инструмент, но оставил человека без понятной следующей операции.

Типичные ошибки

  1. Доверяете сообщению «готово». Агент утверждает, что ответ известен, хотя правило отсутствует. Принудительно верните finish первым шагом и проверьте отказ.
  2. Считаете только шаги. Один инструмент ждёт дольше, чем пользователь готов ждать. Искусственно задержите его и проверьте общий дедлайн и отмену.
  3. Путаете повтор с новой проверкой. Новая карточка отклоняется лишь потому, что инструмент уже использовался. Сравните имя, аргументы, возраст данных и продвижение по задаче.
  4. Возобновляете работу с устаревшим состоянием. Курьер уже забрал заказ, а агент применяет правило для сборки. В тесте поменяйте статус между сохранением и продолжением.
  5. Даёте инструмент записи агенту, который только консультирует. Подсказка о смене адреса превращается в действие. Проверьте, что в таком сценарии функция записи вообще недоступна.

Когда достаточно сценария

Если сервис всегда возвращает два известных состояния и по каждому есть один раздел, зафиксируйте переходы наподобие packing → POL-18. Это проще тестировать и поддерживать. Когда решение требует выбрать из разных документов и сверить несколько наблюдений, проверьте, помогает ли агент справиться с такими ветками под тем же бюджетом. Нужный сигнал — больше обоснованных рекомендаций при приемлемой задержке и понятных причинах отказа.

При равном качестве оставьте сценарий с меньшим числом внешних вызовов. Его проще воспроизвести по одному журналу.

Что спрашивают на собеседовании

  1. Что отличает агента от одного вызова функции? Цикл учитывает наблюдение и выбирает следующий шаг. После чтения статуса packing агент решает открыть правило сборки, а затем завершить задачу по проверенному состоянию.
  2. Как ограничить цикл? Я поставлю лимит шагов, общий дедлайн и предел повторов. Если один и тот же отказ пришёл несколько раз, приложение возвращает частичный итог и прекращает новые вызовы.
  3. Что сохранять для продолжения после сбоя? Я сохраню цель, доступные наблюдения, их источники и операции, по которым ещё выясняется результат. При возобновлении перепроверю текущий статус заказа.
  4. Как подтвердить успех? Я сверю, что заказ прочитан с нужными правами, а правило применимо к его состоянию. Без POL-18 одно сообщение модели об успехе не проходит проверку.
  5. Когда выбрать обычный workflow? Если одну и ту же последовательность можно записать двумя проверяемыми переходами, я оставлю их в коде. Модель добавлю для тех развилок, где её выбор измеримо улучшает решение.

Потренироваться в спокойной обстановке

Все задачи