Купон на скидку: 2026
Группа исследователей под руководством Суббарао Камбхампати из Университета штата Аризона опубликовала работу, в которой подвергается сомнению распространённое предположение о том, что промежуточные цепочки рассуждений больших языковых моделей отражают их реальный процесс мышления. На фоне активного развития больших рассуждающих моделей (Large Reasoning Models, LRM) авторы утверждают, что модели вроде OpenAI o1 и DeepSeek R1 создают лишь убедительную иллюзию когнитивного процесса, генерируя длинные последовательности токенов — Chain of Thought (CoT).
С точки зрения архитектуры трансформеров, такие цепочки не являются механизмом логического вывода. Они представляют собой результат статистического прогнозирования очередного токена на основе предыдущего контекста. Исследователи обращают внимание на феномен «Aha-момента» — фраз вроде «Ага, теперь я понял», — который не сопровождается качественным изменением внутренних вычислений нейросети. По мнению учёных, подобные конструкции — лишь культурная имитация человеческого стиля мышления, усвоенная моделью при обучении на массивах текстов.
В техническом плане работа рассматривает модели через призму обучения с подкреплением на основе проверяемых вознаграждений (Reinforcement Learning with Verifiable Rewards, RLVR). При таком подходе система оптимизируется исключительно ради правильного конечного ответа, а промежуточные токены не имеют самостоятельной семантической нагрузки и не проходят отдельную проверку. Исследователи предлагают считать их формой адаптивного расширения контекста — механизмом, преобразующим исходную задачу в последовательность токенов, где статистическая вероятность верного ответа повышается.
Для проверки гипотезы использовались задачи с формальной верификацией, включая навигацию в лабиринтах и поиск кратчайших путей алгоритмами семейства A*. Результаты показали, что модели сохраняли высокую точность не только при корректных рассуждениях, но и когда цепочки объяснений полностью заменялись на ошибочные или переставленные. Падение производительности наблюдалось лишь при случайном смешивании различных шаблонов рассуждений. Этот эффект авторы назвали U-образной зависимостью: система ориентируется не на внутреннюю логику объяснений, а на статистическую структуру текста, используя его как дополнительный шаблон для генерации ответа.
Дополнительным аргументом стали эксперименты с так называемыми no-maze-экземплярами — искусственно упрощёнными лабиринтами, где между стартом и целью нет препятствий. Несмотря на тривиальность задачи, модели часто генерировали многостраничные цепочки. Это, по мнению авторов, опровергает гипотезу о том, что длина рассуждений отражает объём вычислительных усилий: скорее, она является артефактом обучающей выборки, в которой сложные задачи статистически коррелировали с длинными объяснениями.
Учёные критикуют и концепцию интерпретируемости современных LLM через анализ промежуточных токенов, предупреждая об опасном эффекте ложного доверия. Пользователь может воспринять правдоподобный текст как доказательство корректности работы системы, что несёт особые риски в медицине, инженерии и праве, где человек физически не способен оперативно проверить десятки страниц автоматических рассуждений. Индустрия, по их мнению, оказалась в ловушке «театра рассуждений», расходуя ресурсы на создание всё более человекоподобных объяснений вместо разработки архитектур с формально проверяемым логическим выводом. В качестве альтернативы предлагаются подходы класса LLM-Modulo, где языковые модели выступают генераторами гипотез, а проверка корректности возлагается на внешние математически строгие алгоритмы и системы верификации.
Главный вывод работы: современные цепочки рассуждений не следует рассматривать как окно во внутренний мир искусственного интеллекта. Авторы призывают отказаться от антропоморфизации промежуточных токенов и перейти к парадигме оценки ИИ, где качество системы определяется не убедительностью «внутреннего монолога», а способностью выдавать результаты, корректность которых может быть независимо подтверждена.