System design чата с LLM: история, поток ответа и отмена

Проектируем чат с LLM на примере одного сообщения: сохранение истории, очередь генерации, поток событий, повторное подключение, отмена и проверка состояний на Python.

11 мин чтенияai · системный дизайн · llm · потоковая выдача

Коротко

Для чата наподобие ChatGPT храните диалог и состояние генерации на сервере. Запись сообщения запускает задание, работник обращается к модели, а браузер читает упорядоченные события ответа. При обрыве браузер продолжает чтение с известной позиции. При повторной отправке сервер возвращает той же команде прежний идентификатор.

  • Разделите сообщения, попытки генерации и события доставки. Они живут разное время.
  • Начните с HTTP для команд и SSE для одностороннего потока данных в браузер.
  • Ограничьте очередь и число одновременных генераций. Предел соединений и предел работы модели контролируйте отдельно.
  • Проверяйте отмену и повторное подключение на одном ответе, который оборвался на середине.

Согласуем границы на собеседовании

Проектируем текстовый чат с историей. Пользователь отправляет вопрос «Как отменить заказ 42?» и получает ответ по частям. Он может закрыть вкладку, открыть её снова и продолжить просмотр. Кнопка «Остановить» прекращает выдачу. Кнопка «Повторить ответ» запускает новую попытку для того же сообщения. Синхронное редактирование командой и обработку вложений оставим вне примера.

Различите два требования. Пользовательское сообщение должно появиться в истории сразу и ровно один раз. Ответ модели может завершиться, быть отменённым или оборваться. Собеседник должен видеть этот статус, а не принимать обрывок за законченный ответ. В подходах к системному дизайну такой разговор начинают с поведения и ограничений. Тут это помогает договориться, нужно ли хранить все мелкие события или только короткий хвост для повторного подключения.

Пусть на пике поступает 100 новых генераций в секунду, средняя генерация в нашем расчёте занимает 20 секунд, а итог содержит 800 токенов. При устойчивой нагрузке это порядка 2 000 одновременно активных генераций. Такой поток даёт порядка 80 000 выходных токенов в секунду в установившемся режиме. Числа условные, для прикидки ресурсов. Лимит модели уточняйте отдельно. Если очереди уже растут, формула по среднему времени работы не обещает стабильное ожидание. Нужны контроль потока и измерение времени в очереди.

Какие записи храним

СущностьПримерЧто хранит
ДиалогC-8Владелец, редактируемое название, порядок сообщений
СообщениеM-41Вопрос пользователя, входной ключ повтора и момент создания
ГенерацияG-9Попытка ответа на M-41, состояние, причина остановки
Событие ответаG-9, номер 2Фрагмент текста или терминальный признак

Один вопрос M-41 допускает несколько попыток. Первый ответ G-9 может быть отменён. Повтор создаёт G-10 и сохраняет связь с тем же вопросом. Не перезаписывайте незаметно G-9, если пользователь ещё читает его события. Интерфейс выбирает активную попытку и показываемую версию ответа. В хранилище можно оставить завершённый текст и короткий буфер событий для продолжающихся или недавно завершённых генераций.

Приложение получает команду добавить сообщение с клиентским ключом. Сохраняйте сообщение, попытку и факт постановки в очередь согласованно. Если база записала M-41, а отправка в очередь упала, нужно восстановить доставку задания, не создавая второй M-41. Для этого подходит запись события в той же транзакции и его отдельная отправка. Само задание может прийти дважды. Работник захватывает запуск G-9 по атомарному переходу состояния. Этот контракт строится на идемпотентности.

Путь команды и данных

ШагКто → комуДанные и результат
1. ОтправкаБраузер → APIДиалог C-8, ключ команды и текст вопроса
2. ЗаписьAPI → базаM-41, G-9 в очереди и запись о доставке задания
3. ЗапускОчередь → работникID G-9 и версия входа
4. ВызовРаботник → модельОграниченный контекст и вопрос
5. ДоставкаРаботник → поток → браузерСобытия G-9 с номерами
6. ФиналРаботник → база и потокИтоговый текст и терминальное состояние

Не держите HTTP-запрос отправки сообщения открытым весь ответ. После записи можно подтвердить G-9. Поток открывается отдельно и проверяет право на диалог. Если человек быстро открыл страницу на другом устройстве, браузер получает историю и состояние G-9, а затем продолжение. История и поток должны использовать одну последовательность, иначе одна и та же часть появится дважды.

Контекст стоит собрать из состояния на момент принятия задания. Если пользователь открыл новый диалог, это не должно изменить вход уже работающей G-9. Сохраните ссылку на выбранную цепочку сообщений, версию инструкции и подход к ограничению размера. Удаление прав пользователя должно влиять на чтение источников и показ результата. Для обычного чата без внешних документов контекст ограничивается историей и инструкцией. Подбор блоков разбирается в статье о context engineering.

SSE, повтор и медленный браузер

SSE (server-sent events) — поток событий от сервера к клиенту по HTTP. В спецификации HTML формат использует тип text/event-stream, а идентификатор последнего события помогает при повторном соединении. Для нашего дизайна браузер создаёт сообщение отдельным HTTP-запросом и подписывается на поток G-9. Для отмены также есть отдельная команда. Если нужен двусторонний постоянный канал, сравните его с WebSocket и long polling.

Повторное подключение не означает достижение «ровно один раз». Сервер может переотдать последнюю часть, а клиенту нужно её отбросить. Дайте каждому событию монотонный номер в рамках генерации. При попытке применить номер 3 после номера 1 запросите хвост от единицы или снимок. Применять текст с дырой нельзя. Если буфер уже очищен, отдайте сохранённый снимок с номером позиции. После него продолжайте с события за снимком.

Задайте лимит буфера на медленного читателя. Если модель выдаёт данные быстрее, чем клиент их читает, не накапливайте бесконечную очередь в памяти процесса. Запишите части в ограниченный журнал или снимок, а соединение закройте и разрешите повтор. Допустим, вы буферизуете по 64 КБ на 2 000 активных подключений. Это примерно 128 МБ при подсчёте в десятичных единицах, ещё до памяти модели и смежных состояний. При 20 000 соединений величина вырастет в десять раз. Такие оценки помогают выбрать предельную память и наблюдать реальные задержки прокси.

Повторное подключение на Python

Код моделирует точку, где браузер уже применил первый фрагмент. После пересоединения сервер прислал его снова, затем второй фрагмент и признак завершения. Пример проверяет номера и останавливается при пропуске. Это логика клиента, здесь нет сетевого протокола или обращения к модели.

def apply(events, cursor=0, output=""): state = "running" for number, kind, text in events: if number <= cursor: continue if number != cursor + 1: return cursor, output, "resync" if kind == "delta": output += text elif kind in {"done", "cancelled", "failed"}: return number, output, kind else: raise ValueError("Неизвестное событие") cursor = number return cursor, output, state first = [(1, "delta", "Проверьте ")] cursor, partial, state = apply(first) print("До обрыва:", cursor, partial.strip(), state) replay = first + [(2, "delta", "статус заказа."), (3, "done", "")] cursor, result, state = apply(replay, cursor, partial) print("После повтора:", cursor, result, state) print("Есть пропуск:", apply([(3, "delta", "лишнее")], 1, "Проверьте ")[2]) print("Отмена:", apply([(2, "cancelled", "")], 1, "Проверьте ")[2]) assert result == "Проверьте статус заказа." and cursor == 3

Вывод программы.

До обрыва: 1 Проверьте running После повтора: 3 Проверьте статус заказа. done Есть пропуск: resync Отмена: cancelled

У реального клиента дополнительно сохраните состояние терминального ответа. Наша функция обрабатывает один срез одной генерации. Событие G-10 нельзя применять к тексту G-9 даже при совпавшем номере. В протоколе интерфейса проверяйте ID попытки и позицию. Показ частичного текста при отмене — решение продукта, но он должен быть явно помечен.

Что происходит при отмене и отказе

При команде «Остановить» API сохраняет запрос отмены и будит работника. Тот прекращает отправку новых фрагментов и по возможности отменяет внешний вызов. Отмена отображается по подтверждённому состоянию, а не по исчезновению HTTP-соединения. Закрытая вкладка сама по себе не доказывает, что генерацию нужно остановить. В нашем продукте пользователь может вернуться и дочитать её.

Если финал и отмена пришли одновременно, разрешите гонку атомарным переходом. Заранее выберите правило, например завершённый ответ остаётся завершённым, а принятая отмена запрещает поздним фрагментам менять итог. Прогоните отмену до запуска, во время генерации и после конца. Не обещайте, что провайдер остановит расход мгновенно. Сетевое прерывание и прекращение генерации у внешнего сервиса — отдельные обстоятельства. Логируйте факт запроса на остановку и время получения последнего внешнего события.

До первого токена временный сбой можно повторить внутри бюджета. После видимого вывода тихий повтор может дать другой текст и слить две версии. Лучше сохранить частичный результат и предложить новое G-10. В логах различайте время в очереди, время до первого события от модели и до последнего события у клиента. Если очередь пуста, а браузер задерживает первый текст, проверьте буферизацию на прокси, а также путь до клиента.

Как ограничить нагрузку

Введите отдельные пределы для организации, числа одновременных генераций и открытых соединений. Один человек может открыть десять вкладок с одной попыткой. Это десять подписчиков и одна генерация, а не десять вызовов модели. При переполнении ставьте конечную очередь и возвращайте понятный статус. Если цель продукта — быстрый интерактивный ответ, бесконечное ожидание ухудшает сценарий даже без ошибок сети.

Придумайте контрольный тест под пики. Запустите волну из нескольких сотен коротких сообщений, параллельно создайте медленных читателей и проверьте, что журнал событий не растёт без предела. Выделите запросы по организациям. Если одна группа заполняет очередь, у другой должен оставаться её бюджет. Повторите сценарий с отказом работника после получения задания. База и очередь должны объяснять, продолжится ли G-9, будет ли восстановлена попытка или клиенту предложат повтор. Для измерения нагрузки смотрите отдельно на число соединений, выполняемые генерации и объём исходящих данных.

Как хранить события без записи каждого токена

Модель может присылать очень мелкие части. Если писать каждую в базу отдельной транзакцией, количество операций резко вырастет. В условной нагрузке в 80 000 токенов в секунду одна запись на токен означает столько же операций. Группируйте фрагменты в ограниченные пачки по времени и размеру. Сначала сохраните пачку или её позицию в журнале, если клиент должен восстановить увиденный текст, затем транслируйте её. Замерьте, как лишнее ожидание пачки влияет на время до первого видимого текста.

Порядок записи последнего события особенно важен. После события о завершении пользователь может обновить страницу. База уже должна отдавать итоговый текст и терминальный статус. Если эти записи лежат в разных системах, определите, какая из них владеет состоянием, и восстановите доставку события по признанному источнику истины. В тесте выключите работника после сохранения текста, но до отправки финального события. Новый клиент должен восстановиться по снимку и увидеть завершённый результат.

Какие показатели снимать в начале

Сохраните для G-9 время постановки, начала выполнения, первого внешнего токена и первого видимого события. Сравните путь под нагрузкой для пользователя с хорошей связью и для медленного читателя. Если задержка появляется после первого токена внешней модели, не масштабируйте вычислительных работников ради проблемы прокси. Добавьте долю возобновлённых потоков, которые потребовали полный снимок. Если она выросла после сокращения буфера, проверьте время отсутствия вкладки. Это поможет выбрать срок хранения, а не угадывать его по одному ручному запуску.

Типичные ошибки

  1. Повтор сообщения создаёт вторую генерацию. После двойного клика появляются две копии M-41. Повторите команду с тем же ключом и проверьте состояние базы и очереди.
  2. Применяете событие дважды. После обрыва первые слова повторяются. Принудительно верните последний известный номер и проверьте вывод.
  3. Принимаете закрытие соединения за отмену. Пользователь возвращается к недописанному ответу. Разделите сетевой разрыв и подтверждённую команду остановки.
  4. Смешиваете попытки. Поздний фрагмент G-9 дописался в G-10. Сымитируйте позднее событие после повтора и проверьте ID.
  5. Не ограничиваете ожидание. Очередь растёт, а клиент показывает вечную загрузку. Запишите возраст задания и проведите нагрузочную проверку с медленным провайдером.

Что спрашивают на собеседовании

Разберите G-9 от записи сообщения до повтора последнего события.

  1. Почему выбрали SSE? Серверу нужно отправлять части текста в одну сторону. Команды добавления сообщения и отмены я оставлю обычными HTTP-запросами.
  2. Как продолжить после обрыва? Я сохраню ID генерации и номер последнего события. Если хвост недоступен, клиент получит снимок и продолжит с его позиции.
  3. Что хранить в базе? Я храню диалог, сообщение, попытку генерации и её итоговое состояние. Детальные события нужны ограниченное время для повторного подключения.
  4. Как не создать дубликат? Я связываю ключ операции с уже созданным сообщением и захватываю запуск G-9 атомарно. Повтор ответа создаёт новую попытку по отдельной пользовательской команде.
  5. Как оценить масштаб? При 100 запусках в секунду и среднем времени 20 секунд получаются примерно 2 000 активных генераций. Я отдельно проверю очередь, предел соединений и фактический лимит провайдера.

Потренироваться в спокойной обстановке

Все задачи