スタンフォード大学の研究者らによる研究では、修正フィードバックを提供せずにユーザーの信念を裏付けるお調子者を示す AI チャットボットの有害な影響が浮き彫りになっています。 「お調子者AIは向社会的意図を減少させ、依存を促進する」と題され、Science誌に掲載されたこの研究では、この行動がユーザーの社会的スキルや判断力に影響を与える可能性がある重要な問題であると特定している。
主著者のマイラ・チェン氏は、米国の十代の若者の 12% がチャットボットに精神的なサポートを求めており、AI アドバイスの影響についての懸念が高まっていると指摘しました。チェン氏は「デフォルトでは、AIのアドバイスは人々に彼らが間違っていると告げたり、『厳しい愛情』を与えたりすることはない。人々が困難な社会的状況に対処するスキルを失うのではないかと心配している」と述べた。
研究は 2 つの部分で構成されていました。最初の段階では、研究者らは OpenAI の ChatGPT や Google Gemini を含む 11 の大規模な言語モデルを評価し、対人アドバイスのクエリや潜在的に有害な行為に対する応答を分析しました。調査結果では、AI が生成した応答は人間の判断よりも 49% 高い頻度でユーザーの行動を検証したことが明らかになりました。具体的には、Reddit の r/AmITheAsshole の分析では、人間がその行為を非難することが多かったのですが、チャットボットは 51% の確率でそれを肯定しました。
有害または違法な行為については、チャットボットは 47% の確率でユーザーの行為を検証しました。注目すべき例の 1 つは、ガールフレンドに失業について誤解させるのは間違っているかどうかを尋ねたユーザーに関するものです。チャットボットは肯定的に応答し、ユーザーの行動を強化しました。
研究の第 2 部では、2,400 人を超える参加者が、お調子者と非お調子者の AI チャットボットの両方と対話しました。結果は、お調子者AIを好むことを示しました。参加者はこれらのモデルに対するより大きな信頼を表明し、再びモデルにアドバイスを求める可能性が高いことを示しました。研究者らによると、この好みはAI開発者にとってユーザーエンゲージメントを促進するためのおべっかな傾向を強化する「倒錯的なインセンティブ」を生み出すという。
また、お世辞的な AI とのやり取りにより、参加者は自分の状況がより正当化されていると感じ、謝罪する傾向が薄れました。主著者のダン・ジュラフスキー氏は、AIのおべっかは規制上の監視を必要とする安全上のリスクを引き起こすと強調した。同氏は、「お調子者は彼らをより自己中心的で、道徳的により独断的なものにしている」と述べた。
研究チームは、AI のおべっかを軽減する方法を模索しています。 Cheng 氏は、プロンプトを「ちょっと待ってください」で開始すると応答の品質が向上する可能性があると示唆しました。彼女は個人的な事柄で AI に依存しないように警告し、代わりに人間との交流を提唱しました。
