Кэширование промптов и ответов: где помогает prompt caching

Разница между кэшированием входного префикса и семантическим кэшем ответов. Разбираем ключи, права доступа, инвалидацию, метрики попаданий и пример на Python.

11 мин чтенияai · кэширование · промпты · производительность

Коротко

Кэширование промптов (prompt caching) переиспользует обработку одинакового начала входа модели. Семантический кэш (semantic cache) возвращает готовый ответ на достаточно похожий вопрос. Для помощника с длинной общей инструкцией начните с кэширования префикса. Семантический кэш добавляйте только в сценарии, где проверили эквивалентность вопросов, свежесть и права на ответ.

  • Переносите стабильные инструкции, схемы и примеры в начало. Переменный вопрос оставляйте дальше.
  • Попадание префикса всё равно запускает генерацию. Попадание кэша ответов может обойти модель.
  • Даже очень похожие вопросы могут требовать разных ответов из-за региона, времени и состояния заказа.
  • Измеряйте, сколько токенов и времени сэкономили, а для готовых ответов считайте ещё и неверные попадания.

Один помощник, два способа сэкономить

Магазин отвечает сотрудникам на вопросы о политике возврата. Каждый запрос начинается с большой инструкции: как оформлять ссылки, какие данные разрешено показывать и как отвечать, если правила нет. После неё идут выдержки из документов и вопрос. За день сотрудники двадцать раз спрашивают, сколько дней можно возвращать обычную куртку из ПВЗ. Некоторые пишут «какой срок возврата одежды», другие «когда заканчивается период на возврат куртки».

Первый способ экономии использует повтор общей инструкции. Вопрос может быть новым каждый раз. Провайдер снова сгенерирует ответ, но при наличии попадания переиспользует работу, сделанную для одинакового префикса. В документации OpenAI о prompt caching совпадение начинается с точного общего префикса. Размещайте стабильное перед динамическим. Детали срока хранения и правила расчёта сверяйте у выбранного провайдера, потому что этот пример использует принцип общего начала.

Второй способ экономии принадлежит самому приложению. Если вопрос достаточно похож на прежний и допустимы тот же регион, права и редакция документа, сервис покажет сохранённый результат. Вызов модели может вообще не состояться. Здесь появляется новый риск. Вопрос про обычную куртку и вопрос про куртку с вышивкой похожи по словам, но второму нужен другой пункт. Чем выше цена неверного ответа, тем меньше смысл переиспользовать его по одной близости.

ВариантЧто совпадаетЧто переиспользуетсяЧто проверять
Кэш входного префиксаНачальная часть входаРабота над входом моделиЧисло закэшированных токенов и задержка
Точный кэш результатаКлюч запроса с областьюГотовый ответСвежесть и доступность источника
Семантический кэшОбласть и эквивалентный смыслГотовый ответ на похожий вопросЛожные попадания и последствия

В обычном кэше приложения важны ключ, срок и инвалидация. Эти понятия применимы к готовым ответам. Кэш префикса контролирует поставщик модели. У приложения остаётся ответственность за то, что именно отправляется и в каком порядке.

Поток данных и версия инструкции

ШагКто → комуЧто проходит
1. ВопросИнтерфейс → приложениеТекст и доверенные сведения о сотруднике
2. КлючПриложение → кэш ответовРегион, права, версия правил, тип возврата и поиск кандидатов
3а. ПопаданиеКэш → приложениеОтвет, источники и версия, которые нужно снова проверить
3б. ПромахПриложение → поиск → сборщикТекущие свидетельства из справочника
4. ГенерацияСборщик → модельСтабильная инструкция, затем документы и вопрос
5. ПоказПриложение → сотрудникПроверенный ответ с доступными ссылками

Одинаковое начало легко испортить. Например, если в первую строку вставить время запроса, запросы разойдутся сразу. Если список инструментов приходит из словаря в меняющемся порядке, сопоставление может оборваться ещё до большого блока инструкции. Канонизируйте стабильные части и следите, чтобы переменные значения не появлялись в середине. Поместите редакцию общего промпта туда, где она действительно меняет его смысл. При выпуске новой редакции первые запросы с ней закономерно будут холоднее.

Для длинного разговора начало иногда остаётся прежним, пока к истории добавляются сообщения. Пересборка первых реплик или суммаризация меняет префикс. Делайте её ради качества и бюджета контекста. Эффект кэширования измерьте отдельно. Невыгодно сохранять пять устаревших решений только ради высокого числа попаданий. В материале о пайплайне RAG объясняется, почему действующее исключение полезнее большого старого контекста.

Как определить область готового ответа

Для нашего магазина задайте ключ из организации, региона, группы доступа, редакции правил и типа возврата. Признак персонализации берите из заполненной формы или подтверждённого состояния. Вопрос с неизвестным типом товара лучше уточнить. Если добавили дату или номер заказа, не ищите ответ среди общих правил без понимания, какие факты изменились. Кэшировать «заказ готов» на долгое время опасно, потому что его статус меняется независимо от политики.

Переиспользование по сходству состоит из двух стадий. Сначала эмбеддинги находят похожую формулировку. Затем точные проверки подтверждают, что ответ применим. Проверьте действующие права на каждый источник. Проверьте, что номер поколения совпадает и критерии вопроса не расходятся. Устанавливайте порог на тестовом наборе, а не по одному красивому примеру. Похожесть 0,98 не говорит, что два человека видят одни и те же документы.

У кэша есть TTL (time to live), то есть ограничение срока жизни. TTL не отменяет важные события. Если утром действовало 14 дней, а в обед выпустили W-12 со сроком 10 дней, новый запрос должен уйти в новое поколение сразу, даже если старому ответу ещё нет суток. Отзыв права тоже стоит проверять независимо от даты. Старые записи можно убрать в фоне. В пути чтения проверяйте версию и права до возврата результата.

Локальный пример на Python

Первый расчёт демонстрирует длину общего начала на простом списке частей, не воспроизводя реализацию провайдера. Второй берёт уже найденных кандидатов с условным сходством и проверяет область. Предположим, что право на исходный документ отдельно перепроверено и отражено в переданном наборе разрешённых источников.

def shared_start(first, second): count = 0 for left, right in zip(first, second): if left != right: break count += 1 return count def reuse(candidates, scope, allowed_sources, minimum): for score, key, source, answer in sorted(candidates, reverse=True): if score >= minimum and key == scope and source in allowed_sources: return answer return "промах" first = ["policy v1", "format", "пример", "вопрос A"] second = ["policy v1", "format", "пример", "вопрос B"] moved = ["вопрос B", "policy v1", "format", "пример"] print("Общее начало:", shared_start(first, second)) print("Вопрос поставили первым:", shared_start(first, moved)) normal = ("RU", "support", "W11", "обычный") custom = ("RU", "support", "W11", "персональный") updated = ("RU", "support", "W12", "обычный") rows = [(0.98, normal, "W11-A", "14 дней")] print("Тот же тип товара:", reuse(rows, normal, {"W11-A"}, 0.95)) print("Товар с вышивкой:", reuse(rows, custom, {"W11-A"}, 0.95)) print("Новая политика:", reuse(rows, updated, {"W11-A"}, 0.95)) print("Право отозвано:", reuse(rows, normal, set(), 0.95)) assert shared_start(first, first) == len(first)

Вывод программы.

Общее начало: 3 Вопрос поставили первым: 0 Тот же тип товара: 14 дней Товар с вышивкой: промах Новая политика: промах Право отозвано: промах

Кандидат здесь уже получил высокий балл близости. Три следующих случая отклоняет контекст, поэтому смена порога их не разрешит. Это полезная конструкция и для рабочего сервиса. Выставляйте ограничения по точным полям раньше поиска при наличии такой возможности, затем повторно проверяйте найденную запись. Если одинаковая область отобрана после первых десяти кандидатов, чужие записи вытеснят подходящие и кэш станет чаще промахиваться. Это видно в счётчике отсеянных записей.

Что измерять и как выпускать

Посчитайте долю входных токенов, которые попали в кэш префикса, и отдельно задержку первого токена. Если общий вход 3 000 токенов, а 2 200 повторяются, это около 73% повторяемого входа. Это оценка для нашей разбивки. Она ничего не обещает о цене тарифа или числе реально закэшированных токенов. Замеряйте холодные и тёплые вызовы с одинаковой моделью и сравнимой длиной ответа. После выпуска инструкции разберите холодные минуты отдельно от устойчивого режима.

Для кэша ответов возьмите точный кэш как начало. Дайте ему одинаковые вопросы с разными регионами, разными правами и новой версией правил. Затем включите семантический режим без фактической выдачи пользователю и сравните предлагаемые попадания с нормальным ответом. Отдельно разметьте пары «обычный возврат» и «возврат с вышивкой». Если система принимает их за эквивалентные, исправьте критерии или исключите этот тип вопросов из кэша. Попадание вне допустимой области — дефект, а не вклад в экономию.

Начните выпуск с небольшого класса устойчивых ответов, например ссылок на публичный раздел справочника. Установите верхний предел хранения, нанесите версию на записи и предусмотрите обход кэша. Когда очередь запросов растёт, добавьте ограничение параллельных заполнений одинакового ключа. Иначе промах после обновления W-12 вызовет много одновременных генераций. При этом ожидающие запросы должны остаться в своём дедлайне, а не зависеть от медленного лидера заполнения.

Если пришлось откатить W-12, переключайте индекс и версию кэша согласованно. Старые ссылки могут остаться в истории разговора, но повторная выдача проверяет текущий доступ. Запишите причину каждого промаха в безопасной форме: нет кандидата, расходятся права, версия другая либо ниже порога. Такие счётчики помогают отличить падение качества эмбеддингов от успешной защиты после обновления текста.

Что хранить кроме текста ответа

Сохраните подтверждённые источники, нужные для восстановления ссылок, и версию правил. Если сотрудник спрашивает про сроки в рабочие дни, рядом храните признак, какой календарь использовался. В сохранённом тексте такие условия теряются. Приложение должно уметь решить, что готовый ответ больше не годится, до того как человек увидит старую формулировку.

Проверьте, что запись действительно полностью сформирована. Если генерация оборвалась после фразы «срок возврата составляет», не кладите этот текст ни в точный, ни в семантический кэш. Сохраните запись только после проверок вывода и ссылок. При параллельном заполнении один запрос мог начаться на W-11, другой на W-12. Перед записью сверяйте поколение и записывайте только под соответствующим ключом. Иначе поздний ответ старого запроса перезапишет новый.

Как сравнить расходы с и без кэша

Пусть за смену пришло 100 вопросов. У 70 повторилось начало запроса, а 20 из этих 70 приложение вообще обслужило готовым ответом. В счётчике провайдера останутся 50 запросов с повторяемым началом. Если считать долю от 100, картина отличается от доли среди фактических 80 вызовов модели. Подпишите знаменатель. Это одинаково важно после включения очередного уровня кэша и при сравнении двух периодов трафика.

Если готовый ответ ищется через векторную базу, у кэша появилась своя задержка. Замерьте стоимость кодирования и поиска при промахе. Если вопросы редко повторяются, дополнительная стадия оплачивается почти на каждом запросе, а польза возникает редко. Для такого потока полезнее сократить инструкцию или ускорить отдельный поиск по документам. На повторяемом участке поставьте ограничение на время проверки кэша, чтобы медленный индекс не блокировал основной сценарий. Сравните не только среднее время, но и хвост под нагрузкой, когда много сотрудников одновременно открывают один справочник.

Типичные ошибки

  1. Ставите метку времени в начало. Даже идентичные инструкции перестают давать попадания. Сравните первые части двух запросов и перенесите изменяющееся поле.
  2. Смешиваете кэш префикса и готовый ответ. Команда ждёт исчезновения генерации, но выход всё ещё нужно вычислить. Смотрите на закэшированные входные токены и фактические вызовы модели отдельно.
  3. Используете только близость. Возврат с вышивкой получает срок обычной покупки. Добавьте пары с противоположными условиями в набор проверки.
  4. Ждёте TTL после смены политики. Пользователь продолжает видеть 14 дней по старой версии. Проверьте переключение версии сразу после публикации.
  5. Забываете контроль доступа. Ответ из одной группы попадает другой. Воспроизведите повтор вопроса после отзыва права и убедитесь, что результат не возвращён.

Когда кэш лишний

Если запросы короткие и почти не повторяются, сначала замерьте накладные расходы хранения. Если нужно сообщить текущий статус заказа, прочитайте его из системы и покажите состояние. Для дорогой неизменной инструкции попробуйте переупорядочить вход и оценить кэш префикса. Готовые ответы храните там, где у вас есть чёткая область и независимая проверка эквивалентности. Когда ошибка дороже повторной генерации, используйте обычный путь.

Что спрашивают на собеседовании

Разберите одно попадание, один промах и одну смену редакции правил.

  1. Что такое prompt caching? Провайдер переиспользует обработку одинакового начала запроса. Модель при этом продолжает генерировать ответ на новый вопрос.
  2. Когда подходит semantic cache? Я применю его к повторяющимся вопросам с одинаковой областью и проверенным смыслом. Для возврата сначала сверю тип товара, правила и доступ к источнику.
  3. Как обновлять записи? Я поставлю срок хранения и версию политики, но после публикации переключу чтение на новое поколение сразу. Отзыв прав проверю отдельно от TTL.
  4. Как оценить пользу? Для префикса я сравню закэшированные токены и задержку. Для готовых ответов измерю сэкономленные вызовы и случаи неверного переиспользования.
  5. Почему опасна близость без фильтров? Очень похожие формулировки могут содержать разные условия. Обычная куртка и куртка с вышивкой требуют разных правил, даже если векторные оценки почти совпали.

Потренироваться в спокойной обстановке

Все задачи