- OpenAI と Microsoft は、OpenAI Superalignment プロジェクトで協力します。 OpenAI は、超インテリジェント AI システムに関連するリスクが人間の能力を超えることを防ぐための 4 年間のプロジェクトであるスーパーアライメント プログラムを開始しました。
- このプログラムは、AI システムが人間の価値観や目的と確実に一致し、AI 黙示録の潜在的な危険を軽減することを目的としています。
- OpenAI は AI 規制を積極的に提唱し、業界リーダーと協力してスーパーインテリジェンスによってもたらされる前例のないリスクを積極的に管理しています。
OpenAI は、将来の進歩によって引き起こされる可能性のある人類滅亡の可能性を防ぐために、世界に革命をもたらしている最先端の生成 AI テクノロジーを昨年リリースしました。
このビジネスは、感覚を感じさせる ChatGPT チャットボットや GPT-4 のような洗練された機械語モデルの背後にあります。 同社はマイクロソフトと提携して、AIを後者の製品に統合した。
幹部らは、AIのさらなる発展が「超知能」につながる可能性があると予測している。これは汎用人工知能（AGI）のスキルを超えるスキル、つまり人間が実行できるあらゆる知的作業を実行する方法を学習するAIの能力を表すために使用されるフレーズである。
OpenAI Superalignment プログラムは、不正なスーパーインテリジェンスの防止を目的としています
OpenAI は、新しい OpenAI スーパーアライメント プログラムを発表しました。 この 4 年間のプロジェクトでは、人間よりもはるかに賢い AI システムが人間の目的に確実に従うようにし、いくつかの映画や本で描かれている AI 黙示録のシナリオを防ぐための新しいチームが創設されます。
既存の AI 調整手法はすべて、人間が AI を監督できるかどうかに依存しているため、専門家は、スーパーバイザーよりもはるかに賢い AI システムを扱う場合、人間が AI を確実に監督することはできないと考えているため、潜在的な AI を操作したり制御したりする方法は存在しないと今日の投稿では主張しています。超インテリジェント AI を活用し、AI の不正行為を防ぎます。
この大規模な推進の発表は、人々が不正なテクノロジーを抑制するのを支援するための企業の調整研究について説明した2022年の投稿の後に行われた。 この投稿のテーマである AGI は、現在では超知能に取って代わられています。
オープン AI スーパーアライメントの推進は、ほぼ人間レベルの能力を備えた自動アライメント研究者を生み出すことを目的としています。その後、企業はその後の取り組みを拡大し、大量の計算を使用してスーパーインテリジェンスを繰り返し調整できるようになります。
同社は、「最初の自動アライメント研究者を調整するには、1) スケーラブルなトレーニング方法を開発し、2) 結果のモデルを検証し、3) アライメント パイプライン全体をストレス テストする必要がある」と述べ、これらの懸念について次のように詳しく説明しました。
- AI システムを使用して他の AI システムの監視を支援し、人間には判断が難しいアクティビティに関するトレーニング信号を提供できます。 さらに、私たちは、監視できないジョブに対してモデルが監視をどのように拡張するかを理解し、何らかの影響を与えたいと考えています。
- 私たちは、問題のある動作 (堅牢性) と問題のある内部構造 (自動解釈可能性) の検索を自動化し、システムが整合していることを検証します。
- 最後に重要なことですが、調整されていないモデルを意図的にトレーニングし、メソッドが考えられる最悪の調整不良を正確に特定することを検証することで、パイプライン全体をテストできます。
同社は、今後4年間でコンピューティングリソースの20％を割り当てることに加えて、スーパーインテリジェンスの連携の問題に対処するために、エリートの機械学習研究者とエンジニアのチームを編成すると発表した。 さらに、この取り組みのためにマネージャー、科学者、研究エンジニアなどの追加要員を雇用しています。
OpenAI が業界リーダーとともに AI 規制を提唱
同社は本日、非常に野心的な目標であり成功の保証はないにもかかわらず、問題が解決されることを期待していると述べた。 「問題が解決されたと主張するには、機械学習と安全性のコミュニティをデータと推論によって説得する必要があります。
私たちが自分たちの答えにあまり自信を持っていないとしても、私たちの結果が私たちとコミュニティの計画に役立つことを願っています。 私たちは初期の試験で有望性を証明した幅広い理論を持っており、現在のモデルを利用してこれらの問題の多くを経験的に調査することができます。
現在この大規模な推進について議論されている Hacker News のようなサイトで最も人気のある発言は次のようなものだ。コピー。 危険をさらに大きく見せ、開発中の技術が本当に最先端であることを示唆するために、わざわざ誇張した言葉を意図的に使用しているように見えます。」 
OpenAI スーパーアラインメント イニシアチブ: (画像クレジット) 予想外なことに、最近 AI に関する実存的脅威の警告が急増した主な原因である企業である OpenAI は、他の著名な業界リーダーやグループとともに、これらのリスクについて一般の人々に警告し、AI 規制を主張しています。 。
OpenAI幹部のサム・アルトマン氏、グレッグ・ブロックマン氏、イリヤ・サツケヴァー氏は今年初めにこう宣言した。 「私たちにはもっと豊かな未来があるかもしれませんが、そこに到達するためにはリスクを管理しなければなりません。 存立危機の可能性があるときに、単に対応することはできません。
この性質を持つテクノロジーの歴史的な例は原子力エネルギーですが、合成生物学は別の例です。 現在の AI テクノロジーによってもたらされる脅威を軽減する必要もありますが、スーパーインテリジェンスについては特に考慮と協力が必要です。
出発前に、Humata AI に関する記事をお読みください。
注目の画像クレジット: オープンナイ
