Пока мир спорит о GPT-6, Alibaba уже год как решает главную проблему цикличных нейросетей

5 сентября 2026 · Лента новостей

💡 Почему важно: OpenAI в GPT-6 Astra применила технологию «циклической глубины» (recurrent depth) — один блок нейросети прокручивается несколько раз вместо наращивания новых слоёв. Это потенциально меняет гонку ИИ: модели могут становиться мощнее без бесконечного роста в размерах. Alibaba уже 11 месяцев назад опубликовала две научные работы, прямо атакующие главный изъян этого подхода — пустые повторные вычисления. 📰 Что произошло: У циклических Transformer-моделей (класс нейросетей, где одни и те же слои используются повторно) есть застарелая проблема: после первого прохода последующие циклы почти ничего не меняют — «вхолостую» тратят вычисления. Команда Alibaba и партнёрских университетов нашла три признака этого «простоя»: каждый следующий цикл всё меньше меняет внутреннее состояние модели, соседние циклы выдают почти одинаковый результат, а пространство представлений сжимается до нескольких однотипных направлений. Первая работа — MeSH — добавляет «буфер памяти» (Memory Buffer) с динамическими маршрутизаторами чтения и записи, чтобы каждый цикл получал разный набор информации и нарабатывал специализацию. В эксперименте на модели уровня Pythia-1.4B параметров стало на 33% меньше, а точность на контрольных задачах выросла с 49,50% до 50,56%. Вторая работа — SpiralFormer — меняет масштаб обработки текста в каждом цикле: ранние циклы видят сжатую картину (1/8 от полной длины), поздние — полную, как переход от карты города к конкретной улице. Это снизило объём вычислений с 14,08 до 13,13 триллионов операций, а точность выросла с 51,93% до 54,37%. MeSH принята на конференцию ICLR 2026, SpiralFormer — на EMNLP 2026. 🏢 Справка: Алибаба — крупнейшая технологическая компания Китая, активно публикующая фундаментальные AI-исследования в партнёрстве с ведущими университетами страны.

Лента отвечает на вопрос «что случилось». Как это устроено — в разборах и отчётах; значения терминов — в глоссарии.