今週、AGI への対応に取り組む OpenAI チームの上級顧問である Miles Brundage 氏が同社を退社し、大きな話題になりました。 AI コミュニティ内での懸念の高まりを強調する動きとして、ブランデージ氏は明確な警告を発しました。「いいえ、OpenAI やその他の主要な AI ラボですら、汎用人工知能 (AGI) のリスクに対して十分な準備ができているわけではありません。」
これは一連の注目を集めた撤退の最新作であり、AGI が社会に影響を与える可能性のない場所はあるのかという深刻な疑問が生じています。おそらく、最も先進的な研究機関でさえ、AGI が社会に与える潜在的な影響を管理する準備ができていないのでしょう。
このメッセージを同僚に送信し、ブログ投稿で私の決定と次のステップについて詳しく説明しました (次のツイートを参照)。 pic.twitter.com/NwVHQJf8hM
— マイルズ・ブランデージ (@Miles_Brundage) 2024 年 10 月 23 日
OpenAIが主要な研究者を失い、AIの安全性への懸念が高まる
ブランデージ氏の退職は、OpenAIの一連の退職者の中で最新のものであり、彼らは最近、彼らと会社および経営陣との間にさまざまな程度の距離を置いている。退職者には最高技術責任者(CTO)のミラ・ムラティ氏、最高研究責任者が含まれる ボブ・マクグルー、そして研究 VP バレット・ゾフ、企業が優先順位を明確にしたという具体的な証拠以上に重要です。彼がブランデージを去った理由の一つは、OpenAI で働いていたときに経験したいくつかの制約を受けずに AI 政策の研究をしたいと考えたためであり、OpenAI では自分の公開性をいかに制限したいかという OpenAI の欲求によってますます妨げられていると感じていた。これに続いて、OpenAI の AGI 準備チームは解散し、同社が長期的な安全性への取り組みに取り組んでいるかどうかを人々が心配するようになりました。
一方、AGIの開発は、社会が責任を持って対応できる準備ができているよりも速いスピードで加速している、とブランデージ氏は別れの声明で述べた。同氏は「OpenAIも他のフロンティアラボもAGIへの準備ができておらず、世界も準備ができていない」と書き、OpenAIの経営陣は同氏の評価に同意するかもしれないが、同社の商業化への移行は安全性を重視した同社の使命を危うくする可能性があると付け加えた。 OpenAI は、非営利研究から営利モデルに移行し、商用製品の提供という名目で長期的な検討を犠牲にするなど、その研究を収益化するというプレッシャーにさらされていると伝えられていますが、データが示す限りでは、
ブランデージ氏の警告は単独のものではない。これは、ヤン・ライケ氏や共同創設者のイリヤ・サツケヴァー氏などの主要な研究者が退職した直後の出来事でもあり、AI開発と安全性の間の溝がさらに大きくなっている。ライケ氏は今年初め、コンピューティング能力の不足など、重要な研究に十分なリソースを集めるのに苦労したため、安全チームを解散した。これらの内部摩擦と外部懸念は、AI 研究所の願望と、AGI の潜在的に有害な社会的影響に関して世界のグローバルガバナンス機構が対処する準備ができていることとの間に大きなギャップがあることを示しています。
もちろん、OpenAIの元研究者スチル・バラジ氏は、同社がいかに安全よりも利益を優先したかや、OpenAIが著作権侵害で告発する複数の訴訟の噂について声を上げた。バラジ氏の辞任とブランデージ氏は、AIの商業的可能性がそのリスクを軽減するための潜在的な努力を上回っていると信じている研究者の間で不安が高まっていることを浮き彫りにした。
OpenAI LP について最初に聞いたとき、OAI の非営利ステータスが私を惹きつけたものの 1 つだったため、心配しました。しかし、それ以来、私は次の 2 つの理由からこのアイデアを思いつきました。 1. 詳細を調べていくと、組織がミッション中心であり続けるために多くの手順が講じられていることに気づきました。
— マイルズ・ブランデージ (@Miles_Brundage) 2019年3月11日
OpenAI が安全チームから重要人物を失い続ける中、広範な AI コミュニティは差し迫った疑問に直面しています。なぜ私たちは、AGI 競争がもたらす潜在的な影響に気付かずに、これほど急速に AGI を目指して競争しているのでしょうか?ブランデージの撤退とその能力に対する厳しい警告は、AGI のリスクが戦争に負ける可能性だけではないことを思い出させます。それでも、私たちが社会の制御能力よりも先を行っているということは、なおさらです。 AI の安全性と同様に、AGI の開発は、独立した道を追求することを選択した代替の主要な研究者の声に依存しており、AGI の成長に対してあまり積極的ではなく説明責任のある手順を主張することさえあるかもしれません。
世界は、これらのフロンティア研究所が革新的でありながら、AGI が社会に対抗するのではなく社会のために機能することを保証する責任を担えるかどうかに注目しています。 OpenAIなどに注目が集まっている。
画像クレジット: フルカン・デミルカヤ/表意文字
Source: トップ研究者が AI の準備状況に警鐘を鳴らす中、OpenAI は不確実性に直面している