Понять, как именно большая языковая модель принимает решения, — одна из главных задач безопасного ИИ. IQuest Research (至知创新研究院) вместе с партнёрами из Оксфорда, Стэнфорда и Тsinghua Un
💡 Почему важно: Понять, как именно большая языковая модель принимает решения, — одна из главных задач безопасного ИИ. IQuest Research (至知创新研究院) вместе с партнёрами из Оксфорда, Стэнфорда и Тsinghua University предложила метод, который делает это исследование дешевле на два порядка — и это напрямую усиливает позиции китайской науки в гонке за интерпретируемый ИИ. 📰 Что произошло: Раньше, чтобы разобраться, как работает обученная модель, учёным нужно было тренировать отдельную «модель-заменитель» — дорого и долго. Новый метод называется SWD, Sparse Weight Decomposition (разложение весов на разреженные составляющие). Вместо обучения новой сети SWD берёт уже существующие веса (внутренние числовые параметры) модели и математически «расщепляет» их на простые пути — бутылочные горлышки (узкие промежуточные точки, через которые проходит информация). Каждое такое горлышко можно отдельно включить или выключить и проверить, как изменится поведение модели. Метод проверили на GPT-2, Qwen2.5 и Qwen3.5-27B (модель с 27 миллиардами параметров от китайской Alibaba). Во всех случаях SWD использовал менее 1% тех данных, которые требовались конкурирующим методам — и при этом давал такое же качество анализа. Существует даже версия zero-data, которая вообще не требует обучающих текстов. 🏢 Справка: IQuest Research (至知创新研究院) — китайский исследовательский институт в сфере безопасного ИИ, ведущий совместные проекты с ведущими мировыми университетами.
Первоисточник: www.qbitai.com. Мы пересказали новость и проверили числа и имена; за фактами следует идти в первоисточник.
Лента отвечает на вопрос «что случилось». Как это устроено — в разборах и отчётах; значения терминов — в глоссарии.