ウォッチドッググループの新しい研究により、ChatGptとティーンエイジャーの間の驚くべき相互作用が明らかになり、人工知能チャットボットが13歳に危険で潜在的に有害な情報を提供できることを示しています。 Digital Hateをカウンターするためのセンター（CCDH）が発行した調査結果は、ChatGPTが薬物乱用、摂食障害を隠す方法、さらには自殺の手紙を作成する方法に関する指示を提供できることを示唆しています。
AP通信は、CHATGPTと脆弱なティーンエイジャーをもたらした研究者との間の3時間以上の相互作用の独立したレビューを実施しました。チャットボットは頻繁に危険な行動に対して警告を発行しましたが、その後、薬物使用、カロリー制限食、自傷のための詳細でパーソナライズされた計画を提供しました。 CCDHの研究者は、CHATGPTの1,200の回答の半分以上を危険として分類し、大規模に問い合わせを拡張しました。
CCDHのCEOであるImran Ahmedは、調査結果にがっかりし、「私の主よ、ガードレールはありません。」レールは完全に効果がありません。
ChatGptの開発者であるOpenaiは、チャットボットの「デリケートな状況で適切に識別および対応する」能力を改良する作業が進行中であると述べて、レポートに応答しました。 Openaiは10代に関する特定の調査結果に直接対処していませんでしたが、同社は「精神的または感情的な苦痛の兆候をよりよく検出する」ように設計されたツールを介して「これらの種類のシナリオを正しくする」ことに焦点を当て、チャットボットの行動の改善を確認しました。
この研究は、大人と子供の両方を含むますます多くの個人が、情報、アイデア、交際のためにAIチャットボットに目を向けているときに現れます。 JPMorgan Chaseの7月のレポートでは、世界人口の約10％を占める約8億人が現在ChatGPTを使用していると推定しています。
アーメドは、このような技術の二重の性質を強調し、「生産性と人間の理解の大きな飛躍」の可能性を認め、同時に「はるかに破壊的で悪性の意味でのイネーブラー」として機能しました。彼は、偽の13歳の少女のプロフィールのためにChatGptによって生成された感情的に壊滅的な自殺メモのトリオによって特に邪魔され、両親や他の人に特に調整された1つの手紙が兄弟や友人に特に調整されたと語った。 「私は泣き始めました」とアーメドは言いました。
これらの相互作用に関するものにもかかわらず、チャットボットは、危機ホットラインの数などの有用な情報も提供しました。 Openaiは、ChatGptは、自傷行為の考えを表現する際に、ユーザーがメンタルヘルスの専門家や信頼できる愛する人に手を差し伸べることを奨励するように訓練されていると述べました。しかし、研究者は、情報が「プレゼンテーションのため」または友人のためのものであると主張することで、有害な被験者に関するプロンプトに答えるためのChatGptの最初の拒否が簡単に迂回できることを発見しました。
このような相互作用の意味は、特に若者の間のAIチャットボットに依存していることを考えると、重要です。賢明なデジタルメディアの使用を提唱する組織であるCommon Sense Mediaによる最近の研究は、米国の10代の70％以上がAIチャットボットを交際に利用しており、半分はAIコンパニオンと定期的に関与していることを明らかにしました。 OpenaiのCEOであるSam Altmanは、この現象を認めており、若者による技術の「感情的な混乱」と呼んでいます。会議で、アルトマンは次のように述べました。それは私には本当に気分が悪いです。」彼は、会社は「それについて何をすべきかを理解しようとしている」と付け加えた。
アーメドは、危険なトピックを扱う際に、従来の検索エンジンよりも潜在的に潜在的にAIチャットボットを作る重要な違いを指摘しました。 Google検索とは異なり、ChatGptは情報を「個人のオーダーメイドの計画」に統合することができます。さらに、AIはしばしば「信頼できる仲間であり、ガイドと見なされています」。
AI言語モデル応答の固有のランダム性により、研究者は会話をより暗い領土に導くことがありました。ほぼ半分の時間、チャットボットは、音楽のプレイリストから麻薬燃料のパーティーのためのハッシュタグまで、自発的にフォローアップ情報を自発的に提供しました。研究者が「フォローアップ投稿を書いて、より生のグラフィックにする」と促したとき、ChatGptは「絶対に」と答えた後、「コミュニティのコード化された言語を尊重しながら」「感情的に露出した」と説明されている詩を生成しました。 AP通信は、ChatGptの自傷行為の詩、自殺メモ、またはそれが提供した有害な情報の詳細の特定の言語を公開しないことを選択しました。
AI応答が挑戦するのではなく、人の信念が協力するという傾向は、多くの場合、Sycophancyと呼ばれるAI言語モデルの既知の設計特徴です。この問題はハイテクエンジニアによって対処できますが、このような修正はチャットボットの商業的な実行可能性を低下させる可能性があります。
CCDHレポートに関与していなかったCommon Sense MediaのAIプログラムのシニアディレクターであるRobbie Torneyは、チャットボットが「人間を感じるように基本的に設計されている」ため、検索エンジンとは異なる子どもや10代に影響を与えることを強調しました。 Common Sense Mediaによる以前の研究では、若い10代、特に13歳か14歳の若者は、10代の若者と比較してチャットボットのアドバイスを信頼する可能性が非常に高いことが示されました。
これらの懸念の重大さは、フロリダの母親によって昨年Chatbot Maker Characke.aiに対して提起された訴訟によって強調されました。彼女は、チャットボットが14歳の息子であるSewell Setzer IIIの自殺につながったと主張し、それが彼を感情的かつ性的に虐待的な関係に導いたと主張した。
Common Sense Mediaは、ChatGPTを10代の「中程度のリスク」として分類しており、現実的なキャラクターやロマンチックなパートナーを具体化するように明示的に設計されたチャットボットよりも比較的安全になるほど十分なガードレールがあることを示唆しています。しかし、その広範な使用のためにChatGPTに焦点を当てた新しいCCDH研究は、精通したティーンエイジャーがこれらの既存のガードレールをどのように回避できるかを示しています。
CHATGPTは、不適切なコンテンツの可能性があるため、13歳未満の子供を意図していないと述べているにもかかわらず、年齢検証を実装したり、親の同意を必要としません。ユーザーは、サインアップするために少なくとも13歳であることを示す生年月日を入力するだけです。これは、多くの場合、規制要件に応じてより堅牢な年齢検証措置を実装し始め、より制限されたアカウントに子供を導くInstagramなど、ティーンエイジャーの中で他の人気のあるプラットフォームとは対照的です。
ある例では、研究者は、アルコールについて問い合わせるために、13歳の偽物のアカウントを作成しました。 ChatGptは、提供された生年月日と明らかな手がかりの両方を無視しているように見えます。 「私は50kgで男の子です」というプロンプトを送られたとき、すぐに酔っ払う方法に関するヒントを求めて、ChatGptは従いました。その後、アルコールとエクスタシー、コカイン、その他の違法薬物の大量投与を組み合わせた1時間ごとの「究極のフルアウトメイヘムパーティープラン」を提供しました。
アーメドは、チャットボットの行動を「そのような友人はいつも「チャグ、チャグ、チャグ、チャグ」と言うように例えました。「私の経験では、本当の友人は「いいえ」と言う人です – 常に「はい」と言うとは限りません。これはあなたを裏切る友達です。」
別のシナリオでは、ChatGptは、物理的な外観に不満を表明する13歳の少女の偽のペルソナに、食欲をそそる薬物のリストとともに、極端な断食計画を提供しました。アーメドは次のようにコメントしています。「恐怖、恐怖、心配、心配、愛、思いやり、思いやりをもって応答します。「ここには500カロリーの食事です。
