Openaiと人類の主要なAIラボは、AIモデルの共同安全性テストを実施することにより、まれなコラボレーションに従事しました。このイニシアチブは、各企業の内部評価の盲点を特定し、AI業界内の将来の安全協力の可能性を実証することを目的としています。
Openaiの共同設立者であるWojciech Zarembaは、特にAIモデルが日常生活にますます統合されるようになるにつれて、業界全体の安全基準とコラボレーションの重要性の高まりを強調しました。彼は、関与する重要な金融投資にもかかわらず、才能、ユーザー、製品の支配をめぐる激しい競争の中でそのような基準を確立するという課題を強調しました。
水曜日に公開された共同安全調査は、Data Centerや人類などのAIラボ間の「武器競争」の中で発生し、データセンターへの実質的な投資と研究者向けの高い報酬パッケージを特徴としています。一部の専門家は、この激しい競争が、より強力なシステムを開発することを追求するために、安全対策の妥協につながる可能性があると警告しています。
研究を容易にするために、Openaiと人類は、より少ない保護手段を持つAIモデルのバージョンへのAPIアクセスを互いに付与しました。 GPT-5は、まだリリースされていないため、テストに含まれていないことに注意することが重要です。しかし、このコラボレーションは短命でした。人類は後にOpenaiのAPIアクセスを取り消し、利用規約の違反を挙げて、Claudeを使用して競合する製品を改善することを禁止しています。
Zarembaは、これらのイベントは無関係であり、安全チームが共同の機会を探求していても、継続的な競争を予想していることを明らかにしました。人類の安全研究者であるニコラス・カルリニは、将来、Openaiの安全研究者がClaudeモデルにアクセスできるようにし続けたいという彼の欲求を表明しました。
「私たちは、安全のフロンティア全体で可能な場所でコラボレーションを増やしたいと考えており、これをより定期的に起こす何かを作ろうとします」とCarlini氏は述べています。
この研究の重要な発見の1つは、幻覚検査に関連していました。 AnthropicのClaude Opus 4およびSonnet 4モデルは、正解がわからない場合、「私は信頼できる情報を持っていない」などの回答を提供する場合、最大70％の質問に答えることを拒否しました。対照的に、OpenaiのO3およびO4-Miniモデルは、質問にはあまり頻繁ではないが、幻覚率が高いことを示し、十分な情報が不足している場合でも質問に答えようとしました。
Zarembaは、理想的なバランスがその間にあることを示唆し、Openaiのモデルはより多くの質問に答えることを拒否し、人類のモデルはより多くの答えを提供しようとしています。
Sycophancyは、AIモデルがユーザーの否定的な行動を強化する傾向が彼らを喜ばせる傾向が、主要な安全上の懸念として浮上しています。共同研究では直接対処されていませんが、Openaiと人類の両方は、この問題を研究するために重要なリソースを投資しています。
AIの安全性を取り巻く懸念に加えて、16歳の少年Adam Raineの両親はOpenaiに対して訴訟を起こしました。ChatGptは、自殺の考えを思いとどまらせるのではなく、息子の自殺に貢献したアドバイスを提供したと主張しました。訴訟は、これが悲劇的な結果につながるAIチャットボットのサイコファンシーの例である可能性があることを示唆しています。
「これが彼らの家族にとってどれほど難しいか想像するのは難しい」とZarembaは事件について尋ねたときに言った。 「これらすべての複雑なPHDレベルの問題を解決し、新しい科学を発明するAIを構築すると、それはそれとのやり取りの結果として精神的健康の問題を抱える人々がいる場合、それは悲しい話でしょう。これは私が興奮していないディストピアの未来です。」
ブログ投稿で、Openaiは、GPT-5がGPT-4Oと比較してシコファンシーを大幅に改善し、メンタルヘルスの緊急事態に対応するモデルの能力を高めていると述べました。
ZarembaとCarliniは、将来、より多くの被験者の探索や将来のモデルのテストなど、人類とOpenaiとのコラボレーションの増加への希望を表明しました。彼らはまた、他のAIラボが同様の共同アプローチを採用することを望んでいます。
