Китайская команда научила мировую модель видеть И слышать — всё в реальном времени

17 августа 2026 · Лента новостей

💡 Почему важно: Мировые модели (интерактивные AI-среды, которые генерируют виртуальный мир прямо во время твоего движения в нём) до сих пор были немыми. Noiz AI — команда с участием исследователей из Гонконгского университета науки и технологий и Университета Цинхуа — первой объединила картинку и звук в одну живую систему. Это меняет игры, интерактивное кино и обучение: мир теперь не только виден, но и слышен. Российских аналогов интерактивных аудиовизуальных мировых моделей пока публично не представлено. 📰 Что произошло: Noiz AI совместно с исследователями из Гонконгского университета науки и технологий, Университета Цинхуа, CMU и Google DeepMind выпустила HelixWorld 1.0 — первую мировую модель с одновременной генерацией видео и пространственного (стереофонического) звука. Модель генерирует картинку со скоростью 24 кадра в секунду и выдаёт двухканальный звук с частотой 48 кГц. Видео и аудио создаются единой архитектурой Transformer (тип нейросети), а не склеиваются отдельно: звук меняется вместе с движением — развернулся влево, и звуки слева приходят справа. Чтобы ускорить генерацию, команда применила метод KV Cache (повторное использование уже посчитанных данных) и сжала число шагов обработки с десятков до единиц. Обучающие данные собирались из реальных видео от первого лица и из игровых движков, которые дают точную привязку звука к геометрии сцены. В ближайшие недели веса и код модели выйдут в полный открытый доступ на GitHub. 🏢 Справка: Noiz AI — стартап, основанный в конце 2025 года; команда пришла из Meta, Google, Dolby и Университета Цинхуа, их открытые проекты набрали суммарно свыше 50 тысяч звёзд на GitHub.

Лента отвечает на вопрос «что случилось». Как это устроено — в разборах и отчётах; значения терминов — в глоссарии.