Китайские исследователи из MIT доказали, что визуальный подход к абстрактному мышлению не уступает гигантским языковым моделям — и делает это с моделью в четыре раза меньше по размеру.
💡 Почему важно: Китайские исследователи из MIT доказали, что визуальный подход к абстрактному мышлению не уступает гигантским языковым моделям — и делает это с моделью в четыре раза меньше по размеру. Это открывает путь к более компактным и эффективным ИИ-системам, где у китайских лабораторий уже накоплена сильная экспертиза. 📰 Что произошло: Команда Хэ Кайминя (He Kaiming) из MIT представила NAT-ARC — систему, решающую тест ARC (Abstraction and Reasoning Corpus, набор задач на абстрактное мышление для ИИ) без использования больших языковых моделей. ARC придумал создатель Keras Франсуа Шолле в 2019 году: даёшь ИИ несколько примеров цветных сеток с входом и выходом, он должен угадать правило и применить к новой сетке. Ключевой приём NAT-ARC — взять веса энкодера (модуля, извлекающего признаки из изображений), предобученного методом MAE (Masked Autoencoder, самообучение через восстановление замаскированных частей изображения) на ImageNet — датасете из ~1,3 млн фотографий кошек, собак, цветов и прочей природы. Оказалось, что умение «вычленять объект из фона», выученное на котиках, переносится на абстрактные цветные сетки: модель сама фокусируется на значимых паттернах. Лучшая одиночная модель NAT-ARC объёмом 0,6 млрд параметров набрала 63,4% на ARC-1 по метрике pass@2; ансамбль из нескольких моделей суммарным объёмом ~2 млрд параметров — 70,2%. Для сравнения: специализированная система The ARChitects достигла 71,6%, но использует языковую модель на 8 млрд параметров. Важный побочный вывод: без предобучения увеличение модели ухудшало результат из-за переобучения на малых данных — предобучение на ImageNet это исправило и дало нормальный scaling (рост качества с ростом размера модели). 🏢 Справка: MAE (Masked Autoencoder) — метод самообучения визуальных моделей, предложенный самим Хэ Кайминем в 2022 году; в NAT-ARC его публичные веса использованы напрямую, без дополнительного обучения.
Первоисточник: www.qbitai.com. Мы пересказали новость и проверили числа и имена; за фактами следует идти в первоисточник.
Лента отвечает на вопрос «что случилось». Как это устроено — в разборах и отчётах; значения терминов — в глоссарии.