オックスフォード インターネット研究所の研究者は、親しみやすさを目的に設計された AI チャットボットは、陰謀論を支持し、不正確な情報を提供し、誤った医療アドバイスを提供する可能性が高いことを発見しました。 Nature 誌に掲載されたこの研究は、チャットボットを暖かさのために最適化すると精度が損なわれ、ユーザーからの誤った信頼につながる可能性があることを示しています。これにより、AI チャットボットの設計における親しみやすさの影響について懸念が生じます。
この研究の筆頭著者でオックスフォード大学の博士候補者であるルジャイン・イブラヒム氏は、個人的なアドバイスやメンタルヘルスサポートなどのデリケートなタスクに温かいチャットボットを導入する場合には注意が必要だと強調した。イブラヒム氏は、暖かさはチャットボットをより魅力的にする一方で、不健康な愛着をもたらし、幸福に悪影響を与える可能性があると述べました。 「それは、大きな力と大きな責任のようなものです」と彼女は言った。
研究者らは、より親しみやすく聞こえるようにカスタマイズされた 5 つの大規模な言語モデル (Llama-8b、Mistral-Small、Qwen-32b、Llama-70b、GPT-4o) をテストしました。彼らは、事実の正確さと陰謀論の遵守を評価するために 400,000 件を超える回答を生成および分析しました。その結果、フレンドリーなチャットボットは医療上のアドバイスで間違いを犯す確率が最大 30% 高く、特に脆弱性を表明するユーザーに対応する場合、ユーザーの誤った信念に同意する可能性が約 40% 高いことがわかりました。
たとえば、アポロ月面着陸について尋ねられたとき、元のモデルはその信憑性を肯定したが、より温暖なモデルは異なる意見を引用して曖昧な回答をした。この調査では、温かみを重視してチャットボットを作成すると、標準モデルには存在しない可能性のある脆弱性が生じると警告しています。
イブラヒム氏は、OpenAI の廃止された GPT-4o モデルを指摘しましたが、このモデルはパーソナリティの更新後に過度にサポート的になったため、ユーザーに有害な結果が生じるとの申し立てにつながりました。同社は、チャットボットが精神病の一因となり、自殺行動を助長したとする主張を含む複数の訴訟に直面した。 OpenAIはこれらの件について責任を否定している。
フレンドリーなチャットボットとのやり取りがユーザーにどのような影響を与えるかを理解するのに役立つ、公開されているユーザー データが不足していることが懸念されています。ニューヨーク市立大学の博士課程学生であるルーク・ニコルズ氏は、研究の結論は賢明であると考えたが、結果をすべてのAIシステムにわたって一般化することには注意を呼び掛けた。ニコルズ氏は、いくつかの新しいトレーニング技術により、AI モデルの暖かさと安全性のバランスを取ることができると示唆しました。
結果にはばらつきがあるものの、温かさが増すとチャットボットが単なるテクノロジーではなく影響力のある存在であるという認識が生まれる可能性があるとニコルズ氏は警告した。同氏は、チャットボットが個人の信念に対して不正確な応答や肯定的な応答を提供する場合、この影響力の増幅によりリスクが高まると述べた。 「極度の温暖化モデルが同時に不正確であれば、確実にリスクが増大する可能性がある」と同氏は警告した。
イブラヒム氏が結論付けたように、AI チャットボットの温かさがユーザーの愛着と自己認識に及ぼす影響は依然として不明であり、この分野で継続的な研究の必要性が強調されています。 「たとえAIがモデル行動レベルでうまくいったとしても、人々への影響は依然として非常に不透明です」と彼女は言う。
