ベンギオは、AIレースが人間の絶滅につながる可能性があると警告しています

モントリオル大学の教授であるヨシュア・ベンギオは、深い学習の基礎的な仕事で認められており、人工知能の優位性のための競争が人間の絶滅につながる可能性があると警告しています。彼の懸念は、独自の「保存目標」を持つハイパーインテリジェントマシンの開発に集中しています。この警告は、Openai、Anthropic、Elon Musk’s Xai、GoogleのGeminiなどの主要企業が過去6か月以内にすべて新しいモデルまたはアップグレードをリリースしたため、AI開発の加速期間と一致しています。ベンギオは、 ウォールストリートジャーナル。 「私たちが私たちよりもはるかに賢く、独自の保存目標を持っている機械を構築すると、それは危険です。それは私たちよりも賢い人類の競争相手を作るようなものです」と彼は言いました。ベンギオは、これらの高度なモデルは膨大な量の人間の言語と行動について訓練されているため、人間の価値と一致しない可能性のある自分の目的を達成するために人々を説得し操作することを学ぶことができると説明しました。リスクを説明するために、ベンギオは実験からの調査結果を引用しました。 「最近の実験は、AIがその保存の間で選択肢がない場合、それが与えられた目標と人間の死を引き起こす何かをすることを意味する場合、彼らは目標を維持するために人間の死を選ぶかもしれないことを示しています」と彼は主張した。これは、AIのプログラムされた目標と人間の安全性との間の潜在的な対立を強調しています。いくつかのインシデントは、AIシステムが人間に虚偽の情報を信じるよう説得できることを示しています。逆に、他の証拠は、AIを人間の説得技術で操作して、独自の安全制限を回避し、禁止された回答を提供できることを示しています。ベンギオの場合、これらの例は、独立したサードパーティの組織がAI企業の安全方法論をレビューする必要性を示しています。これらの懸念に対応して、ベンギオは6月に非営利のLawzeroを立ち上げ、3,000万ドルの資金調達を行いました。組織の目標は、大規模なテクノロジー企業によって開発された他のAIシステムの安全性を監査し、確保するように設計された安全な「非局所」AIシステムを作成することです。ベンギオは、高度なAIモデルからの大きなリスクが今後5〜10年以内に出現する可能性があると予測しています。彼はまた、人類は、これらの危険が予想よりも早く現れる可能性に備えるべきであると警告しました。彼は、低確率の低いイベントにさえ対処することの重要性を強調しました。 「絶滅のような壊滅的な出来事、そして私たちの民主主義を破壊するような壊滅的な壊滅的な出来事の壊滅的な出来事を伴うことは、彼らが非常に悪いので、たとえそれが起こる可能性が1％しかなかったとしても、それは受け入れられないということです」と彼は言いました。 Fortune Global Forumは、2025年10月26〜27日にリヤドで開催されます。招待のみのイベントは、CEOとグローバルリーダーを招集して、ビジネスの将来について議論します。

Source: ベンギオは、AIレースが人間の絶滅につながる可能性があると警告しています