Дослідники Anthropic знайшли в Claude внутрішній «робочий простір» для міркувань

Anthropic опублікувала дослідження, у якому описала внутрішній механізм роботи мовної моделі Claude під назвою J-Space. 

Дослідники порівнюють його з концепцією глобального робочого простору в когнітивній науці, але наголошують, що результати не доводять наявність у моделі свідомості.

Дослідники описали внутрішній «робочий простір» Claude

J-Space — це підмножина внутрішніх представлень моделі, у якій з'являються поняття, що Claude може використати під час міркувань або пояснити у відповіді користувачу.

Для аналізу дослідники застосували новий інструмент Jacobian Lens (J-Lens), який дає змогу спостерігати за внутрішніми представленнями моделі без зміни її роботи. Саме від назви цього інструмента походить термін J-Space.

J-Space бере участь у багатокрокових міркуваннях, внутрішніх обчисленнях і формуванні відповідей, хоча не використовується для більшості повсякденних операцій моделі.

Порівняння J-Space із людською свідомістю

Дослідники порівнюють J-Space з теорією глобального робочого простору — однією з провідних концепцій когнітивної науки, яка пояснює, як окремі процеси мозку об'єднуються в усвідомлене мислення.

«Наші експерименти не показують, що Claude може мати переживання або відчувати щось так, як це роблять люди. Ба більше, наразі незрозуміло, чи може будь-який науковий експеримент підтвердити або спростувати це», — зазначають автори дослідження.

Дослідження поведінки ШІ-моделей

J-Space може стати новим інструментом для вивчення внутрішньої роботи великих мовних моделей.

За допомогою цього механізму дослідники змогли спостерігати, як Claude знаходить помилки в програмному коді, виконує проміжні кроки під час розв'язання математичних задач або розпізнає спроби прихованого впливу на модель.

Це може допомогти краще розуміти процеси міркування моделей і вдосконалювати їхню безпеку та керованість.