Учёные предупреждают: «размышления» ИИ — это не настоящее мышление

Цепочки размышлений представляют собой уникальный вычислительный механизм расширения контекста, а не аналог человеческого мышления

На фоне стремительного прогресса больших размышляющих моделей (Large Reasoning Models, LRM) команда исследователей под руководством Суббарао Камбхампати из Университета штата Аризона выпустила работу, в которой подвергается сомнению одна из самых распространённых идей в современной индустрии искусственного интеллекта: предположение о том, что промежуточные цепочки размышлений нейросетей отражают их реальный мыслительный процесс.

Авторы отмечают, что современные модели, такие как OpenAI o1 и DeepSeek R1, создают правдоподобную иллюзию когнитивного процесса, генерируя длинные последовательности промежуточных токенов — Цепочек размышлений (CoT). Однако с точки зрения архитектуры трансформеров эти последовательности не представляют собой классический механизм логического вывода. Они являются результатом статистического прогнозирования следующего токена на основе предыдущего контекста.

Особое внимание исследователи уделяют феномену так называемого «момента озарения» (Aha-moment), который часто проявляется в ответах размышляющих моделей в виде фраз типа «Ага, теперь я понял». Авторы подчеркивают, что на уровне внутреннего состояния нейросети в этот момент не происходит никакого значительного изменения вычислений. Такие конструкции представляют собой лишь культурную имитацию человеческого стиля мышления, усвоенной моделью в процессе обучения на обширных текстовых массивах.

С технической точки зрения работа анализирует современные модели через призму обучения с подкреплением на основе проверяемых вознаграждений (Reinforcement Learning with Verifiable Rewards, RLVR). В данном подходе система оптимизируется исключительно на получение правильного конечного ответа. Промежуточные токены не имеют своей семантической функции и не проходят отдельной проверки на корректность. Авторы предлагают воспринимать их как форму адаптивного расширения контекста — своеобразный механизм, позволяющий модели преобразовать исходную задачу в такую последовательность токенов, в которой вероятность получения правильного ответа статистически возрастает.

Для проверки этой гипотезы исследователи использовали задачи, допускающие формальную верификацию, включая навигацию в лабиринтах и поиск кратчайших путей с применением алгоритмов семейства A*. Результаты оказались неожиданными: модели демонстрировали высокую точность не только при наличии корректных размышлений, но и тогда, когда цепочки объяснений полностью заменялись на неверные или переставленные. Производительность значительно снижалась лишь при случайном смешивании различных шаблонов размышлений.

Авторы называют этот эффект «U-образной зависимостью». Он свидетельствует о том, что модель ориентируется не на внутреннюю логику собственных объяснений, а на статистическую структуру текста. Иными словами, система не «читает» свои размышления так, как это делает человек, а использует их как дополнительный шаблон для генерации ответа.

Ещё одним аргументом стали эксперименты с так называемыми no-maze instances — искусственно упрощёнными лабиринтами, в которых между стартом и целью отсутствуют препятствия. Несмотря на простоту задачи, модели часто генерировали многостраничные цепочки размышлений. По мнению авторов, это опровергает распространённую гипотезу о том, что длина размышлений отражает объём вычислительных усилий. Скорее, речь идет об артефакте обучающей выборки, в которой сложные задачи статистически коррелировали с длинными объяснениями.

Исследователи также критикуют концепцию интерпретируемости современных LLM через анализ промежуточных токенов. Они предупреждают, что убедительные объяснения создают опасный эффект ложного доверия (false trust): пользователи начинают воспринимать правдоподобный текст как доказательство корректности работы системы. Особенно опасным это может стать в медицине, инженерии и праве, где человек физически не способен в реальном времени проверить десятки страниц автоматически сгенерированных размышлений.

По мнению авторов, индустрия искусственного интеллекта оказалась в своего рода ловушке «театра размышлений», когда ресурсы тратятся на создание всё более человекоподобных объяснений вместо разработки архитектур с формально проверяемым логическим выводом. В качестве альтернативы они предлагают подходы класса LLM-Modulo, в которых языковые модели используются лишь как генераторы гипотез, а проверка корректности осуществляется внешними математически строгими алгоритмами и системами верификации.

Основной вывод работы заключается в том, что современные цепочки размышлений не следует рассматривать как окно во внутренний мир искусственного интеллекта. Авторы предлагают отказаться от антропоморфизации промежуточных токенов и перейти к новой парадигме оценки ИИ, в которой качество системы определяется не убедительностью её «внутреннего монолога», а способностью выдавать результаты, корректность которых может быть независимо подтверждена.