Собеседование LLM-инженера: как разобрать систему и её сбои
Разбор собеседования LLM-инженера на примере помощника поддержки. Что отвечать про RAG, оценку качества, инструменты, таймауты и выпуск изменений. Пример на Python.
Коротко
На собеседовании LLM-инженера по продуктовой разработке готовьтесь объяснять, как вы спроектируете систему с моделью, проверите её ответы и разберёте сбой. Репетируйте задачи, где можно назвать источник данных, критерий успеха и способ локализовать ошибку. Архитектуру модели и обучение готовьте глубже, если они входят в описание роли.
- Начинайте с того, какой результат должен получить человек, и покажите самый простой вариант решения.
- При обсуждении поиска разделите наличие источника, его место в выдаче и использование в ответе.
- Получение схемы JSON, разрешение действия и проверка его результата — отдельные задачи.
- В рассказе о своём проекте назовите конкретный случай, изменение и способ измерения.
Задание, которое стоит прорепетировать
Интервьюер предлагает спроектировать помощника для службы поддержки магазина. Сотрудник спрашивает, можно ли принять возврат куртки с вышивкой. Внутри базы есть общий срок и пункт для изделий по индивидуальному заказу. Помощник должен сослаться на действующую редакцию, учитывать права сотрудника и отказываться от ответа при отсутствии основания. Начните с вопросов: какая страна у магазина, кто обновляет правила, что делать, если сотрудник не уточнил тип вышивки, и что считать худшей ошибкой.
Один исходный вариант — поиск по статьям с выдержками и ссылками. Сотрудник сам выбирает пункт, а у команды появляется база для оценки. RAG добавляет краткий ответ из найденных материалов, когда нужно свести общее правило и исключение. Стоимость ошибки важнее красоты ответа. Если система путает коммерческий возврат и обращение по дефекту, сначала ограничьте задачу и уточняйте у сотрудника недостающий факт.
| Требование | Что предложить на интервью | Как проверить |
|---|---|---|
| Действующая редакция | Фильтр по дате и региону | Сравнить один вопрос до и после смены правил |
| Ссылка на основание | Сохранять ID конкретного фрагмента | Сверить утверждение с текстом раздела |
| Нет ответа | Сообщить об отсутствии подтверждения | Добавить вопросы из другой области |
| Закрытые документы | Проверять доступ до передачи модели | Повторить запрос от двух ролей |
| Статус конкретного заказа | Чтение из системы заказов | Сверить состояние с API в момент вызова |
Покажите шаги чтения. Справочник отправляет документы в индекс. Поисковик получает вопрос с регионом и правами. Генератор видит несколько фрагментов и возвращает краткий текст с ID источников. Приложение проверяет ссылки и показывает ответ. Для статуса заказа путь другой: инструмент читает запись из системы учёта, а модель объясняет полученные поля. Хорошая схема помогает показать границы ответственности, как в разборе подходов к системному дизайну.
Уточнение про векторную базу
Интервьюер спрашивает, ставить ли HNSW. Попросите оценить число фрагментов, долю видимых одному сотруднику записей и допустимую задержку. Допустим, в базе 100 000 фрагментов, но фильтр региона и прав оставляет 2 000. Сначала измерьте обычное сравнение на допустимой выборке. Если индекс нужен, объясните, что приблизительный поиск будет сравниваться с точным эталоном при тех же фильтрах. Отдельно сравните по смысловым перефразировкам с текстовым поиском, чтобы проверить ценность самой модели эмбеддингов.
Пусть высокий Recall@5 достигнут, но ответы всё ещё называют 14 дней для персонализированной куртки. Проверьте, вошёл ли пункт исключения именно в контекст генерации. Если поисковик его нашёл, а сборщик обрезал из-за лимита, добавьте наблюдение на этапе сборки. Если правильный пункт был в контексте, сравните ответ на тех же документах с ответом при ручной подстановке двух коротких цитат. Так вы отделите длинный или шумный контекст от ошибки применения найденного правила.
Посчитать метрику на собеседовании
Возьмите два вопроса с ответом и два без ответа. Для одного вопроса нужны два фрагмента, для второго один. Исходный поиск отдаёт только общий срок вместо срока и исключения. На один вопрос вне справочника он по ошибке возвращает первую знакомую статью. Подсчёт ниже показывает среднюю полноту поиска и долю пустых результатов на вопросах без ответа.
cases = [ ({"general", "custom"}, ["general", "hours"]), ({"damaged"}, ["damaged"]), (set(), []), (set(), ["general"]), ] def evaluate(rows): recalls = [] outside = [] for expected, found in rows: if expected: recalls.append(len(expected.intersection(found)) / len(expected)) else: outside.append(not found) return sum(recalls) / len(recalls), sum(outside) / len(outside) recall, empty_rate = evaluate(cases) print(f"Средний Recall: {recall:.2f}") print(f"Пустая выдача вне справочника: {empty_rate:.2f}") assert (recall, empty_rate) == (0.75, 0.5)
Вывод программы.
Средний Recall: 0.75 Пустая выдача вне справочника: 0.50
Теперь измените результат по первой строке на general, custom. Средняя полнота станет единицей, но это ещё не гарантирует, что генератор правильно применит исключение. Для генерации нужен отдельный эталон решения и перечень фактов, которые подтверждает ссылка. Сравнивая новую конфигурацию со старой, сохраните и срезы по типам запросов. Иначе улучшение на общих вопросах скроет ухудшение на исключениях и закрытых источниках.
Уточнение про инструменты и JSON
Помощник должен предложить создать заявку. Попросите модель подготовить поля черновика и проверьте JSON по схеме. Значение urgent допустимо синтаксически, но срочность должна соответствовать правилам магазина. Если нужны права на запись, проверьте их у сервиса заявок. После подтверждения сохраните точные поля и ключ операции. При таймауте попытайтесь узнать результат по тому же ключу, чтобы пользователь не получил две заявки.
Вопрос про агентную схему удобно решить тем же примером. Если для запроса нужен один документ, достаточно известного пути. Если выбор следующего источника зависит от статуса заказа и страны, полезна модельная развилка с явными правами и дедлайном. В инженерном разборе Building Effective Agents различаются фиксированные рабочие сценарии и агенты с выбором шагов на основе наблюдений. На интервью назовите тест, который поможет выбрать между ними. Например, на наборе исключений оба пути должны давать обоснованные ответы, а лишние вызовы посчитайте.
Как говорить про выпуск и инцидент
Допустим, новый индекс улучшил результат офлайн, но после запуска сотрудники начали получать архивные сроки. Приостановите расширение rollout, то есть постепенного выпуска, и сравните поколения индекса в трассах неудачных запросов. Убедитесь, что версия кодировщика, индекс и правила фильтрации переключаются согласованно. Если десятая часть трафика использовала новую схему, сравните её со старой на одном наборе вопросов. Покажите, где потерялась дата действия, и добавьте проверку на смену редакции перед повторным выпуском.
Если интервьюер просит рассказать о своём опыте, подготовьте один обезличенный сбой. Назовите первоначальный симптом, ваш вклад, проверенную гипотезу и что изменилось после исправления. Если измерить влияние на весь трафик не удалось, скажите, что именно проверили. «На 30 контрольных вопросах ни разу не вернулась старая редакция» полезнее расплывчатого «система стала надёжной». Для тренировки обратной связи пригодится разбор оценки кандидатов интервьюерами.
Уточнение про задержку
Интервьюер меняет условие. Сотрудник должен увидеть начало ответа за две секунды, а генератор иногда тратит больше времени. Сначала разложите время на получение прав, поиск, сборку контекста и генерацию. Если права и поиск занимают почти весь бюджет, переключение на потоковую выдачу не поможет начать ответ быстрее. Если поиск уже закончен, интерфейс может показать найденные источники, пока генератор формулирует текст. Подпишите их как результаты поиска до проверки ответа.
При ограничении времени объясните поведение в хвосте задержки. Если за две секунды есть действующее правило, но генератор не ответил, покажите сотруднику фрагмент и ссылку. Если поиск не закончен, сообщите, что подтверждение пока недоступно. Укажите, какой счётчик покажет рост таких отказов, и добавьте тест на принудительную задержку запроса. На интервью полезно проговорить и бюджет качества. Уменьшение числа кандидатов с десяти до одного сократит объём контекста, но потеряет исключение для куртки. Предложите замерить сокращение задержки отдельно от роста ошибок на таких случаях.
План подготовки на три занятия
- Спроектируйте помощника за 35 минут. Первые пять уйдут на требования. Затем нарисуйте загрузку справочника и путь вопроса, определите отказы и назовите две метрики.
- Разберите два сбоя за 25 минут. Один связан с потерянным исключением, другой с таймаутом создания заявки. Для каждого фиксируйте вход, факт из журнала и условие, которое отличает две гипотезы.
- Отрепетируйте историю проекта за 15 минут. Объясните, что сделали вы, какое ограничение изменило архитектуру и какой тест подтвердил решение. Попросите собеседника поменять одно условие и повторите аргументацию.
Не начинайте подготовку с изучения ещё одного фреймворка, если пока трудно объяснить три вида ошибки поиска. Рамка эксперимента, схема потока данных и понимание таймаута перенесутся на другой стек. Когда в вакансии выделена конкретная библиотека, после этого перечитайте документацию и проверьте именно те свойства, на которые вы собираетесь ссылаться. Если библиотека обещает фильтрацию индекса, проверьте, на каком этапе она её выполняет и что возвращает при пустом результате.
Что спрашивают на собеседовании
- Когда брать RAG, а когда API? Для правила из текста я найду действующий раздел и покажу ссылку. Для текущего состояния заказа вызову систему учёта, потому что именно она хранит это состояние.
- Почему высокий Recall@k не гарантирует верный ответ? Он измеряет присутствие эталонных фрагментов в поиске. Генератор всё равно способен проигнорировать найденное исключение, поэтому я проверю поддержку каждого вывода.
- Что делать, если модель вернула валидный JSON с сомнительной срочностью? Схема подтвердила форму объекта. Я сверю решение с правилами магазина и отправлю спорный случай на ручную проверку.
- Как выпускаете обновление индекса? Я зафиксирую старое поколение, проверю новое на контрольных вопросах и постепенно переключу чтение. Откат вернёт совместимую пару кодировщика и индекса.
- Как объяснить, что проект принёс пользу? Я назову измерение до изменения и после него при одинаковых условиях. Если были только локальные тесты, опишу их охват и предположения, которые ещё требуют проверки.