Обучение маленькой модели на ответах большой
Приём, при котором компактная модель учится воспроизводить поведение крупной: большая генерирует ответы, маленькая на них обучается. Результат дешевле в работе при близком качестве на узком круге задач.
Почему это важно: дистилляция объясняет, как китайские лаборатории получают дешёвые модели быстро, и одновременно она — предмет лицензионных споров: правила использования чужих ответов для обучения прописаны у разных поставщиков по-разному.
Открытый спор. Anthropic и OpenAI заявляют, что DeepSeek обучалась, выкачивая ответы их моделей через тысячи аккаунтов; китайская сторона называет обвинение беспочвенным. Спор не разрешён ни в суде, ни технически — и это одна из двух трещин, которые честный разбор обязан показывать вместе с успехом.
Почему доказать трудно. Готовая модель не хранит происхождение обучающих данных, а совпадение поведения объясняется и дистилляцией, и общими источниками в открытой сети. Отсюда правило: обвинение в дистилляции — заявление стороны, а не установленный факт, и подавать его иначе нельзя.
Ещё пишут: дистилляция модели, distillation.