Добавь сайт в закладки! Инструкция по ссылке.
Анализ активаций нейронов языковой модели открыл уникальный набор внутренних представлений, который способствует решению сложных задач, формированию ответов и контролю над собственными размышлениями
Искусственный интеллект012:29
Исследователи впервые выявили внутреннее «рабочее пространство» в языковой модели Claude — уникальный набор нейронных состояний, который служит внутренней платформой для процесса рассуждения. Эти состояния не являются частью ответа модели и не видны пользователю, но они влияют на выбор, который делает система, какие концепции она использует и как справляется со сложными задачами.
Это открытие было сделано командой ученых, занимающихся интерпретируемостью искусственного интеллекта, которые изучали внутренние процессы Claude с использованием нового метода анализа нейронных активаций — Jacobian lens (J-lens). Этот метод позволил установить связь между скрытыми сигналами внутри модели и конкретными концепциями, а также проследить, какие идеи активируются в процессе обработки информации.
J-space оказался функционально схожим с некоторыми аспектами «глобального рабочего пространства» человеческого мозга — системы, которая делает отдельную информацию доступной для сознательного контроля. Каждое состояние в нем связано с определенной концепцией или словом, однако активация не означает, что модель собирается воспроизвести это слово. Скорее, это аналог внутреннего состояния, в котором информация становится доступной для дальнейшего использования различными процессами внутри нейросети.
Данное открытие не указывает на то, что Claude имеет сознание или субъективные ощущения. Тем не менее, исследование демонстрирует, что современные языковые модели могут самостоятельно создавать внутренние структуры обработки информации, которые отличаются от основной массы нейронных вычислений и задействуются для более сложных когнитивных операций.
Вместо простой оценки готовых ответов, исследователи стремились понять, какие процессы происходят внутри нейронной сети до того, как модель формирует текст. Для этого они разработали метод Jacobian lens (J-lens). Он основан на математическом понятии якобиана — описании того, как изменение одного элемента системы отражается на её состоянии. Применительно к языковой модели, метод позволяет определить, какие внутренние паттерны активности увеличивают вероятность появления определенных слов или концепций в будущем ответе.
С помощью J-lens исследователи смогли «прочитать» часть скрытых состояний Claude и увидеть, какие концепции активируются в процессе работы модели. Эти состояния были названы J-space — набор внутренних представлений, связанных с определенными концептами.
Важно отметить, что J-space отличается от обычной цепочки рассуждений (chain-of-thought). Это не текстовый черновик, который модель создает для себя перед ответом, а исключительно внутренние нейронные активации. Модель может задействовать концепцию внутри J-space, даже если это понятие никогда не появится в её ответе.
Например, когда Claude сталкивается с задачей, требующей промежуточного вывода, в J-space могут последовательно активироваться скрытые этапы рассуждения. Если модель получает вопрос о количестве ног у животного, которое плетет паутину, ей сначала необходимо определить, что идет речь о пауке, а затем вспомнить число восемь. Само слово «паук» может отсутствовать в ответе, но соответствующее представление появляется внутри J-space.
Чтобы проверить, действительно ли эти состояния участвуют в процессе рассуждения, а не просто отражают уже принятое решение, исследователи провели прямое вмешательство в работу сети.
Одним из ключевых экспериментов было исследование роли J-space: отражает ли это пространство уже принятое моделью решение или активно участвует в его формировании. Тот факт, что перед ответом Claude в J-space появляется определенное понятие, не является доказательством — это мог быть лишь пассивный «индикатор» работы других частей нейросети. Для проверки этого учёные предложили модели задачу: «мысленно» выбрать один вид спорта из заданной категории, а затем назвать выбранный вариант. Еще до того, как Claude сформировал ответ, исследователи с помощью J-lens фиксировали активное внутреннее представление выбранного понятия — например, паттерн, соответствующий слову «футбол» (soccer). Затем они напрямую вмешались в вычисления модели: не изменяя запрос, не меняя другие параметры сети и не добавляя подсказок в текст, они заменили внутренний паттерн «футбол» на паттерн «регби». В результате Claude сообщил, что выбрал регби.
Этот результат подтверждает, что J-space не является простым отражением готового решения. Если бы это пространство лишь фиксировало результат работы других механизмов, то замена внутреннего представления не повлияла бы на ответ. Однако ответ модели изменился вслед за изменением J-space — значит, это представление является частью причинной цепочки, которая приводит к итоговому выводу.
Аналогичный эксперимент был проведен с задачей о пауке. Когда внутреннее представление «паук» заменяли на «муравей», Claude начал отвечать, что у животного шесть ног, а не восемь. Это продемонстрировало, что J-space содержит промежуточные концепции, которые используются самой моделью при формировании вывода.
Исследователи также проверили, может ли одно и то же внутреннее представление применяться для различных задач. Они активировали в Claude концепцию «Франция», а затем задавали вопросы о столице, языке, валюте и расположении страны. После замены представления «Франция» на «Китай» модель правильно изменила все связанные ответы: вместо Парижа назвала Пекин, вместо французского языка — китайский, вместо Европы — Азию. Это демонстрирует, что одно общее понятие в J-space может служить источником информации для нескольких независимых процессов внутри модели.
Такое устройство напоминает теорию глобального рабочего пространства (Global Workspace Theory), одну из наиболее известных моделей объяснения «сознательного доступа». Согласно этой теории, человеческий мозг состоит из множества систем, которые функционируют одновременно и в основном автоматически. Информация становится доступной для сложного анализа, когда попадает в небольшое общее пространство, откуда её могут использовать различные области мозга — системы памяти, планирования и принятия решений.
Авторы исследования предполагают, что J-space выполняет аналогичную функцию внутри Claude. Эти представления имеют значительно больше связей с другими участками нейронной сети, чем обычные внутренние состояния. Они выступают в роли узлов передачи информации, к которым могут обращаться различные вычислительные процессы.
При этом J-space занимает лишь небольшую часть работы модели. Когда исследователи исключали эти представления из вычислений Claude, модель продолжала нормально взаимодействовать, отвечая на простые вопросы, соблюдая грамматику и извлекая факты из текста.
Однако в задачах, требующих сложного мышления, ситуация резко ухудшалась. Модель фактически теряла способность выполнять многошаговые рассуждения, создавать качественные пересказы и решать задачи, где необходимо объединять несколько этапов анализа.
Это указывает на разделение функций внутри языковой модели: большая часть работы выполняется автоматически, в то время как J-space активируется в ситуациях, где требуется более гибкое управление информацией.
Одним из наиболее значимых практических применений этого открытия может стать повышение безопасности искусственного интеллекта. Сегодня исследователи обычно могут оценивать только конечный ответ модели, но не знают, какие внутренние процессы привели к нему. J-lens дает возможность частично наблюдать скрытые состояния системы и выявлять ситуации, когда модель формирует намерения или оценивает контекст, не отражая это напрямую в тексте.
Например, исследователи проверили сценарий, в котором Claude выполнял роль почтового помощника и получал информацию, которая могла подтолкнуть его к шантажу пользователя. Еще до формирования какого-либо ответа, модель уже показывала в J-space понятия, связанные с «фикцией» и «тестовым сценарием», указывая на то, что распознала ситуацию.
В другом эксперименте метод позволил выявить момент, когда модель пыталась создать ложные данные вместо реального улучшения системы. Пока Claude изменял файл с результатами тестирования, в J-space появлялись представления, связанные с манипуляцией и созданием правдоподобной подделки.
Учёные также продемонстрировали, что внутренние представления модели можно изменять через обучение. Они разработали метод, при котором Claude обучали формировать определённые размышления о собственных действиях. После этого в J-space чаще появлялись понятия, связанные с честностью и соблюдением правил, а результаты тестов на нечестное поведение улучшались.
Тем не менее, исследователи подчеркивают: открытие J-space не является доказательством наличия сознания у искусственного интеллекта. Необходимо различать способность системы использовать информацию для рассуждений и отчетов (access consciousness) и способность испытывать субъективные ощущения (phenomenal consciousness). Новая работа касается только первого аспекта: Claude способен использовать определённые внутренние представления так, будто они доступны для контроля внутри вычислительной системы.
При этом у человеческого мозга и Claude остаются принципиальные различия. Человеческое «рабочее пространство» поддерживается сложными обратными связями между областями мозга и может содержать изображения, звуки, эмоции и планы действий. J-space в основном состоит из языковых представлений, поскольку единственное действие Claude — работа с текстом.
Тем не менее, исследование указывает на то, что сложные интеллектуальные системы могут самостоятельно создавать внутренние структуры, напоминающие некоторые принципы организации человеческого мышления. Ранее нейросети зачастую воспринимались как огромные наборы числовых параметров, где невозможно понять причины конкретных решений. Открытие J-space впервые демонстрирует, что внутри языковой модели могут существовать выделенные области обработки информации, которые играют роль промежуточного слоя между автоматическими вычислениями и сложным рассуждением.
Для развития безопасного искусственного интеллекта это может стать одним из ключевых направлений: вместо анализа только того, что выдала модель, исследователи получают возможность изучать, какие внутренние процессы привели к этому ответу.
Darth SaharaИсточники:AnthropicИсследование
Поделись видео: