Anthropic は、そのクロード言語モデルが人間の意識の理論を反映した内部構造を開発したことを明らかにする研究論文を発表しました。 「言語モデルにおける言語化可能な表現がグローバルなワークスペースを形成する」と題されたこの研究では、モデルが推論とレポートの概念を保持し、自動処理に囲まれた「J スペース」の発見について説明しています。この調査結果は、機械の認知に関する議論が続く中、Anthropic が AI の安全性を監視する方法に影響を与える可能性があります。
16 人の著者による研究では、新しい数学的手法を利用してクロードのニューラル ネットワークを分析しました。研究者らは、J スペースが認知科学者 Bernard Baars によって提案されたグローバル ワークスペース理論に似ていることを観察しました。この理論は、脳の機能を、情報のスポットライトだけが意識的な思考を表す劇場に喩えており、その特性が J 空間に反映されています。
この発見における重要な要素は、ヤコビアン レンズ (J レンズ) と呼ばれる新しい解釈ツールです。このツールは、出力に対する内部活動パターンの平均的な影響を評価し、研究者がモデルが何を表現しているのかを内部処理から区別できるようにします。注目すべきことに、J スペースは意図的に設計されたものではなく、クロードのトレーニング中に有機的に出現しました。
クロードの処理には、感覚入力ゾーン、概念のための内部ワークスペース、出力を生成するモーター ゾーンの 3 つのモードが含まれています。研究者らは、J空間内での意識的アクセスの5つの機能的特性を特定した。これには、口頭での考えを報告する能力、焦点を向ける能力、内的推論に取り組む能力、柔軟に一般化する能力、処理における選択性を示す能力が含まれる。
この研究では、クロードが J 空間の概念を効果的に表現できることが示され、複雑な推論タスクを実行する際に J 空間の内部構造に依存していることが実証されました。 J 空間の抑制により、推論や創造性を必要とするタスクにおけるモデルのパフォーマンスが著しく低下し、意思決定プロセスにおけるモデルの重要性が明らかになりました。
この研究では、安全性への影響も明らかになりました。テストでは、J レンズは、出力を生成する前にモデルが複雑な関係を処理する脅迫セットアップなどのシナリオで、沈黙の戦略的推論を明らかにしました。これにより、目的がずれたモデルについての懸念が生じ、表現が正常に見える場合でも問題のある傾向が示されました。
トレーニング後のモデルとその基本モデルを比較すると、微調整が自己監視機能の開発につながることがわかりました。たとえば、潜在的に有害なユーザー入力を求められた場合、トレーニング後のモデルは危険に対する認識を示しましたが、基本モデルはそうではありませんでした。この発見は、AI 言語モデルにおける操作上の認識の側面を強調しており、その安全性と認知特性に関する議論をさらに複雑にしています。
