Разделение потока задач между дешёвой и сильной моделью
Приём, при котором простые запросы уходят дешёвой модели, а сложные — дорогой. Решение принимает отдельный слой логики, а не человек.
Почему это важно: именно роутинг, а не выбор «самой лучшей модели», даёт качество флагмана по цене бюджетника. Это главный практический вывод нашего отчёта о китайском стеке.
Как это устроено внутри. Перед моделью ставится слой, который классифицирует запрос и решает, куда его отправить: короткий и типовой — дешёвой модели, длинный и редкий — сильной. Решение принимается по признакам запроса, а не по желанию пользователя.
Что мерить, чтобы понять выгоду. Долю запросов, ушедших к дешёвой модели, качество ответов на этой доле и стоимость одного запроса до и после. Если доля дешёвых запросов не измеряется, разговор об экономии — обещание, а не расчёт.
Ещё пишут: роутинг запросов, model routing.