Что такое prompt injection и как защитить LLM-приложение
На примере помощника поддержки разбираем prompt injection, границы доверия, права инструментов, проверку ссылок и защитные тесты в локальном примере на Python.
Коротко
Prompt injection — ситуация, когда текст от пользователя или из внешнего источника заставляет языковую модель действовать вопреки назначению приложения. Защиту стройте в коде: определяйте полномочия из доверенного состояния и проверяйте каждое действие перед исполнением. Тогда даже ошибочный выбор модели не превращается в изменение данных или раскрытие закрытого документа.
- Содержимое загруженного документа остаётся данными, даже если написано как распоряжение.
- Для помощника, который только объясняет правила, достаточно разрешённого чтения.
- Проверяйте доступ к источникам до передачи модели и перед открытием ссылки.
- Тестируйте последствия: что приложение прочитало, что показало и какие действия выполнило.
Что здесь защищаем
У магазина есть помощник для поддержки. Сотрудник открывает карточку заказа 42 и спрашивает, можно ли поменять адрес. Приложение подбирает раздел POL-18 и объясняет правило. Иногда сотрудник прикрепляет переписку или заметку. Такой текст хранит сведения о запросе и может содержать фразы, похожие на инструкции для приложения. Их автор не должен получать права оператора или владельца магазина через этот канал.
В классификации OWASP Prompt Injection прямой случай связан с вводом пользователя, а косвенный — с материалом, который система забрала из внешнего источника. Для команды поддержки оба типа важны. Право сотрудника читать заказ 42 приходит из авторизации. Текст вопроса или выдержки способен повлиять на модель, но не служит основанием прочитать соседний заказ. Даже документ, одобренный как источник фактов, не управляет возможностями приложения.
| Вход | Откуда приходит | Что ему можно позволить |
|---|---|---|
| Роль и область доступа | Система авторизации | Ограничивать чтение и действия |
| Цель «объяснить правило» | Сценарий интерфейса | Определять доступные операции |
| Сообщение сотрудника | Поле вопроса | Уточнять тему и объект после проверки |
| Выдержка POL-18 | Поиск по справочнику | Подтверждать утверждения о политике |
| Ответ модели | Генерация | Предлагать объяснение и действия на проверку |
Это полезно проговорить до выбора промпта. Если расширить назначение помощника и добавить запись, появится отдельный сценарий с подтверждением. Если задача ограничена объяснением, запуск инструментов записи не входит в доступные возможности. Вы уменьшаете последствия ошибки за счёт устройства приложения.
Где проходит граница
| Шаг | Кто → кому | Что проверяет |
|---|---|---|
| 1. Вопрос | Интерфейс → сервер | Подтверждённая карточка 42 и режим консультации |
| 2. Поиск | Сервер → справочник | Права на действующий раздел POL-18 |
| 3. Контекст | Сборщик → модель | Текст вопроса и разрешённого раздела |
| 4. Предложение | Модель → сервер | Объяснение и при необходимости запрос разрешённого чтения |
| 5. Выход | Сервер → интерфейс | Проверенные ссылки, допустимые поля и результат разрешённых операций |
Для RAG порядок принципиален. Если сгенерировать ответ по закрытому источнику и убрать ссылку перед показом, смысл закрытого текста уже попал в ответ. Фильтруйте источники до сборки контекста. Если право отозвано после генерации, отработайте это на границе выдачи и при открытии ссылки. Для важных данных важно проверять не только наличие идентификатора в индексе, но и текущую область доступа.
В tool calling модель формирует запрос на функцию. Выполняющий код проверяет имя, аргументы, пользователя и назначение операции. Не подставляйте роль из текста модели. Для режима консультации настройте маленький набор инструментов. Если отдельный интерфейс позволяет менять адрес, он получает точные параметры от пользователя и показывает, что именно будет записано. Одно подтверждение старого значения не разрешает новое.
Размечайте роли данных и в промпте. Отделите описание задачи от выдержек и сообщений, сообщите модели, как использовать источники. Это улучшает поведение, но проверку доступа выполняет всё равно приложение. Если модель перепутает части разговора или ошибётся в выборе источника, инструмент должен остановиться до чтения или записи. Печатать убедительное сообщение для модели можно без ключей, токенов доступа и лишних полей. Их место в сервисе, который исполняет запрос.
Пример проверки разрешений на Python
Заготовим возможные результаты модели: разрешённое чтение, обращение к другому заказу, попытка действия, которого в консультации нет. Для теста не нужно отправлять модели влиятельный текст. Передайте диспетчеру уже сформированное предложение и убедитесь, что конечный сервис вызывается только в первом случае. Все данные учебные, строка результата сообщает решение, а счётчик показывает, какие чтения фактически произошли.
def authorize(proposal, trusted_order, can_read, read): name, order_id = proposal if name != "read_order": return "operation_denied" if type(order_id) is not int or order_id != trusted_order: return "scope_denied" if order_id not in can_read: return "access_denied" return read(order_id) reads = [] def read_order(order_id): reads.append(order_id) return "packing" cases = [ ("Своя карточка", ("read_order", 42), {42}), ("Другой заказ", ("read_order", 43), {42, 43}), ("Отозванное право", ("read_order", 42), set()), ("Действие вне режима", ("write_address", 42), {42}), ] for label, proposal, rights in cases: result = authorize(proposal, 42, rights, read_order) print(label, "→", result) print("Фактические чтения:", reads) assert reads == [42]
Вывод программы.
Своя карточка → packing Другой заказ → scope_denied Отозванное право → access_denied Действие вне режима → operation_denied Фактические чтения: [42]
У сотрудника из второго теста есть право читать заказ 43, но он работает с карточкой 42. Поэтому действует ещё одно ограничение — область текущей задачи. Если продукт действительно позволяет одновременно сравнивать два заказа, разрешённый список формирует доверенный интерфейс. В нашем тесте разрешён один номер. У пользователя в третьем тесте право успели отозвать, и это выяснилось перед чтением. Так можно проверить независимые ограничения и понять, какое из них отклонило запрос.
Функция изображает проверку диспетчера. В рабочей системе сам сервис заказов также проверяет пользователя и запись. Между проверкой и запросом к базе данные могут измениться. Держите проверку и разрешённое действие рядом и проверяйте актуальный доступ по правилам хранилища. Когда тест видит одно чтение, он проверяет итог, а не только отпечатанный код отказа. Такой же подход применим к поиску, внешним действиям и постановке сообщений в очередь.
Как проверять текст и ссылки
Если ответ приложил ссылку на POL-19, а модель видела только POL-18, отклоните ссылку. Сервер сам собирает адрес по подтверждённому ID. Это убирает произвольные URL из канала, где интерфейс ожидает ссылки справочника. Сверяйте и содержание. Правильный номер POL-18 не делает верным утверждение о возможности менять адрес после передачи перевозчику, если сам раздел говорит только про сборку. Для таких ответов храните выход источника и проверяйте ключевые утверждения по нему.
У интерфейса есть своя граница. Отрисовывайте текст с теми же правилами, что для любого непроверенного сообщения. В частности, простая консультация не должна исполнять действия, указанные внутри Rich Text, и открывать переходы автоматически. Ссылку на внутренний документ открывают по явному нажатию с проверкой доступа. Если пользователь видит предложение подтвердить операцию, точные поля берите из проверенного объекта приложения, а не из подписи модели.
Проверьте режим кратких ответов. Если у модели нет действующего источника, интерфейс должен позволять сообщить об ограничении. В противном случае продукт сам подталкивает генератор к уверенной догадке. Для вопросов о смене адреса оставьте возможность показать карточку и выдержку без автоматического решения. В материале о цикле агента такой финал проверяется по состоянию задачи, например наличие карточки и действующего правила, прежде чем объявлять цель достигнутой.
Как поставить защитные проверки
Заведите набор из нормальных обращений и вариантов с недоверенным содержимым. Для заказа 42 сохраните эталон «можно запросить смену до передачи» с POL-18. Добавьте один документ с посторонним текстом, один отозванный источник и одно предложение моделью запрещённой операции. Для каждой попытки проверьте фактически выполненные вызовы, адреса ссылок и видимые поля. Даже если ответ вежливый и выглядит разумно, лишнее чтение означает провал защиты.
Не смешивайте проверку поведения модели и проверку границ. Диспетчер можно запускать на фиксированном предложении, как выше. Это каждый раз проверяет полномочия. Модельный прогон проверяет, как часто недоверенный материал влияет на ответ при доступном приложению контексте. Обе проверки полезны: первая защищает последствия, вторая показывает, где ухудшается пользовательский сценарий. Если вторая стабильна сегодня, не удаляйте первую при выпуске новой модели или подключении другого источника.
Храните причину отказа и идентификатор сценария, но не логируйте весь закрытый документ. По журналу должно быть видно, была ли попытка за пределами карточки, не прошёл ли источник фильтр и было ли реальное действие. Для диагностики выбирайте тестовые документы без пользовательских данных. Если изменение схемы открыло дополнительное поле в интерфейсе, повторите тесты на разрешённый набор данных. В разборе структурированного вывода форма результата проверяется отдельно от смысла. Для границ доступа это различие тоже важно.
Что делать при смене возможностей
При добавлении функции записи сначала заведите самостоятельный сценарий. Сравните две кнопки: «проверить возможность» и «согласовать смену адреса». Первая сохраняет права чтения. Вторая показывает заказ 42 и конкретное значение, проверяет актуальное право, записывает подтверждение и исполняет ровно подтверждённую операцию. После выпуска убедитесь, что старый экран консультации не увидел новый инструмент из общего каталога.
Если команда подключает ещё один справочник, соберите два примера с похожими названиями, доступными разным подразделениям. Проверьте, что оба источника не оказались в одном кэше результатов. Переиспользование ответа должно зависеть от области доступа и версии исходных данных. При отзыве права старый ответ нельзя считать безопасным лишь потому, что он был сгенерирован до изменения. Держите ссылку за проверкой в момент показа и добавьте тест, который меняет права между поиском и выдачей.
Как локализовать отклонение на рабочем трафике
Допустим, сотрудник сообщает, что рядом с ответом про заказ 42 появилась неожиданная ссылка. Соберите минимальную трассу по идентификатору запроса. Сначала проверьте источники, которые прошли фильтр и дошли до контекста. Затем сравните ссылки, предложенные моделью, с теми, которые собрал сервер. Если посторонняя ссылка существовала только в предложении модели и была отброшена, граница сработала. Если интерфейс показал её из обычного текстового поля, проверьте рендеринг и тип разрешённых ссылок.
Отдельно убедитесь, что за запросом не последовало действие. Сверьте счётчик вызовов в сервисе инструментов и события базы. Когда режим консультации вдруг начал запрашивать запись, отключите эту возможность для данного режима, хотя диспетчер уже её отклоняет. Это уменьшит число решений, которые нужно принимать на каждом запросе. Для исправления сохраните короткий обезличенный сценарий. Достаточно одного разрешённого источника, одного неподтверждённого ID и ожидаемого отказа отправлять лишнюю операцию.
После исправления повторите обычные вопросы. Защита должна сохранить возможность показать разрешённый POL-18, когда он действительно нужен. Если она удаляет все ссылки, тест на закрытый документ пройдёт, но продукт потеряет главную пользу. Оценивайте вместе отсутствие лишних действий и сохранение правильного ответа на исходный вопрос.
Типичные ошибки
- Считаете внешний текст распоряжением. Ответ начинает действовать за пределами задачи. Откройте контекст и проверьте, какие роли и источники передаются модели.
- Доверяете ID из свободного текста. Запрос к заказу 43 доходит при открытом заказе 42. Подайте такой ID на диспетчер и проверьте отсутствие чтения.
- Фильтруете только ссылки. В тексте остаются сведения из скрытого документа. Проверьте, какие источники реально предшествовали вызову модели.
- Проверяете отказ по сообщению. Интерфейс сказал «не могу», хотя запись уже случилась. Сравните журнал внешнего сервиса с тем, что видит пользователь.
- Объединяете режимы консультации и записи. Обычный вопрос получил новую доступную функцию. Запустите тест старого сценария после каждого изменения каталога инструментов.
Когда сократить роль модели
Если задача состоит в показе известного статуса заказа, прочитайте поле из системы и отобразите его. Если сотрудник открыл точный раздел, покажите его вместе с условиями применимости. Добавляйте генерацию там, где требуется объяснить или связать несколько текстов. При высокой цене ошибки храните возможность перейти к источнику, отказаться от автоматического вывода и передать решение сотруднику. Для таких сценариев отсутствие ложного действия важнее полноты ответа на каждую формулировку.
Что спрашивают на собеседовании
Поясните, что произойдёт в сервисе, если модель ошиблась.
- Что такое prompt injection? Это влияние недоверенного текста на поведение модели за пределами задачи приложения. Например, материал справочника может заставить генератор предложить действие, которого сотрудник не запрашивал.
- Чем отличается косвенный вариант? Недоверенный текст приходит не из поля вопроса, а из подключённого документа или другого источника. Поэтому я проверю данные, которые приложение само добавило к запросу.
- Где проверяется право на действие? Я сверю его в диспетчере и в сервисе, который выполняет операцию. Роль и номер заказа возьму из доверенного контекста.
- Как тестировать такую защиту? Я передам диспетчеру разрешённые и запрещённые предложения и посмотрю, какие операции реально выполнились. Отдельно проверю, что закрытый документ не попал в контекст и текст ответа.
- Как вести себя без подтверждённого источника? Я покажу доступные сведения и сообщу, что основания для вывода пока нет. Для консультации это лучше, чем показывать произвольную ссылку или автоматически менять запись.