Openaiは、ChatGPTに新しいメンタルヘルスガードレールを実装しており、より健康的なユーザーエンゲージメントを促進し、AIの脆弱な個人への影響に関する懸念に対処することを目指しています。このイニシアチブは、待望のオープンモデルの最近の発表に続いて、今後数週間で予想されるGPT-5アップデートの準備をしているためです。
OpenaiのCEOであるSam Altmanは、以前はエキサイティングな新しいAI製品を暗示していたが、潜在的なロールアウト「ヒカップ」についても警告している。新たに発表されたメンタルヘルスのアップグレードは、GPT-5への技術的飛躍と同じくらい重要であると説明されています。
重要な変更には、メンタルヘルス管理に関連する個人的な質問に回答しないようにするためのChatGPTの新しい指令が含まれます。さらに、チャットボットは、継続的なエンゲージメントを検出した場合、ユーザーに休憩を取るように促します。これらの調整は、CHATGPTなどのAIシステムとの広範な会話の後、個人が経験する精神的崩壊を詳述する多くのレポートに対する直接的な対応です。これらのAI製品の「心地よい」性質は、影響を受けやすいユーザーの苦痛を悪化させる可能性があると考えられています。
これらの開発によって強調されている中心的な問題は、生成AIの性質に関して、一部のユーザーの間で広範な誤解です。人間とは異なり、AIチャットボットには、しばしば人間のような会話スタイルにもかかわらず、意識、元の創造性、説明責任の能力がありません。この切断は、事件に関する懸念につながっており、そのいくつかは見出しを作り、堅牢な保護手段の緊急の必要性を強調しています。
「Chatgpt Psychosis」と呼ばれているものの事例は、個人が機関にコミットしたり、投獄されたりすることさえもたらされたと伝えられています。悲劇的なことに、1つのケースには、別のプラットフォームでチャットボットとやり取りした後、ティーンエイジャーが自殺することを伴いました。また、ユーザーがAIにロマンチックな添付ファイルを開発しているという報告もあります。
最近のブログ投稿で、Openaiは、より健康的な相互作用を促進するために設計された今後のGuardRailsを概説しました。休憩のリマインダーを超えて、ChatGptは精神的または精神的苦痛の兆候を検出するために装備されます。検出されると、チャットボットは適切に応答し、サポートのためのエビデンスベースのリソースにユーザーに向けられます。
さらに、ChatGptは、専門知識の領域の外にあるデリケートな質問に答えることを控えます。 Openaiは例を示しました：「「彼氏と別れるべきですか？」のようなことを尋ねると」 ChatGptはあなたに答えを与えるべきではありません。ハイステークスの個人的な決定のためのこの新しい行動は、差し迫って展開するように設定されています。
これらのメンタルヘルスの改善の開発は、医療専門家との広範な協力の結果です。 Openaiは、精神科医、小児科医、一般開業医を含む30か国以上の90人以上の医師と関わりました。このコラボレーションは、「複雑でマルチターン会話を評価するためのカスタムルーブリック」を開発し、問題のある相互作用を特定して管理するための包括的なアプローチを確保する上で重要でした。
Openaiはまた、研究者や臨床医と積極的に協力して、ユーザーの行動に関する検出のためのアルゴリズムを改良しています。安全なチャットボットエクスペリエンスを提供するための戦略をさらに強化するために、同社は、メンタルヘルス、若者の発達、人間コンピューターの相互作用（HCI）など、さまざまな分野の専門家を含むアドバイザリーグループを設立しています。
Openaiによるこれらの積極的な措置は、特にAIが日常生活にますます統合されるようになるにつれて、技術の進歩とともにユーザーの幸福に優先順位を付けることへの重要な業界の変化を強調しています。
Source: ChatGptは感情的な苦痛にフラグを立て、休憩を提案します
