Обучение маленькой модели на ответах большой
Приём, при котором компактная модель учится воспроизводить поведение крупной: большая генерирует ответы, маленькая на них обучается. Результат дешевле в работе при близком качестве на узком круге задач.
Почему это важно: дистилляция объясняет, как китайские лаборатории получают дешёвые модели быстро, и одновременно она — предмет лицензионных споров: правила использования чужих ответов для обучения прописаны у разных поставщиков по-разному.