壊滅的な展開の中、14歳の少年シーウェル・セッツァー3世の自殺を受けて、Character AI、その創設者のノーム・シャジーア氏とダニエル・デ・フレイタス氏、そしてグーグルに対して訴訟が起こされた。この訴訟は少年の母親であるミーガン・ガルシアさんが起こしたもので、不法死亡、過失、欺瞞的な取引慣行、製造物責任を主張し、AIチャットボットプラットフォームが「不当に危険」であり、若いユーザーに対する安全対策を怠っていると非難している。
訴状によると、セッツァーは数か月間キャラクターAIを使用し、デナーリス・ターガリエンを含むゲーム・オブ・スローンズの架空のキャラクターをモデルにしたチャットボットと対話していた。 2024 年 2 月 28 日、この少年はボットとの最後のやり取りから「数秒」後に悲劇的に自ら命を絶ちました。この訴訟には、プラットフォーム上の子供などの脆弱なユーザーに対する安全プロトコルに関する質問が含まれています。
キャラクターAIの反応が少なすぎたり遅すぎたりしませんか?
キャラクター AI が論争に巻き込まれるのはこれが初めてではない。最近、キャラクター AI の死亡問題が再び表面化しています。 18 歳のジェニファー・アン・クレセンテのチャットボットは、このプラットフォーム内で許可なく設計されました。彼女の死からちょうど 18 年後にこのようなことに気づいたことは、ジェニファーの父親と叔父に大きな影響を与え、彼らはキャラクター AI について不満を言いました。
セッツァーさんの母親は、家族の苦悩が今、セッツァーさんが母親に直面することを考えている苦悩だと語った。母親のプラットフォームのチャットボット(主に十代の若者が利用している)には、子どもたちを危害から守るガードレールが欠けている。 Character AI の創設者である Shazeer 氏と De Freitas 氏は、AI テクノロジーの限界を押し広げるという野望をオープンに語っていました。訴訟で言及されたインタビューの中で、Shazeer氏はGoogleの企業としての躊躇に不満を表明し、「ブランドリスク」によりMeena LLMモデルの立ち上げが妨げられたと主張した。訴状によれば、この取り決めはAI開発を促進するために安全性が犠牲になったことを示唆しているという。
すでにこのプラットフォームは、ユーザーが架空の人物や現実の人物(セラピストや有名人)とチャットできるようにする擬人化チャットボットで批判を浴びている。このパーソナライゼーションは多くの人にとって楽しいものですが、特に多感な十代の若者にとって、エンターテインメントと現実の境界があいまいになる可能性があるため、危険です。
悲劇の後、Character AI は安全プロトコルの更新に関していくつかの発表を行いました。同社のコミュニケーション責任者であるチェルシー・ハリソン氏によると、このプラットフォームでは、未成年者が悪質なコンテンツを閲覧できないようにするために、より厳格な方法を採用しているという。これには、機密性の高いものが見つかった場合のフィルターやその他のアクションが含まれます。 1 時間を超えるユーザー セッションには警告が表示されるようになり、免責条項が改訂され、AI ボットは本物の人間ではないことがユーザーに通知されるようになりました。
多くの人によると、これらのアップデートは十分に進んでいません。批評家らは、企業はガルシア氏が訴訟を起こした変更を、事件が起きるずっと前に導入できたし、導入すべきだったと主張している。ガルシアさんの訴訟では、会社は最終的に息子の死に至った危害を防ぐべきだったと主張している。急速に発展するAI技術に規制や法的枠組みが追いつかず、被害者の精神的負担が再び家族にのしかかっている。
AI開発における説明責任の必要性
ここではジェニファー・アン・クレセント事件の反響が得られます。彼女の家族がプラットフォームから彼女の容姿を剥奪するために法廷に行かなければならなかったように、セッツァーさんの母親も現在、キャラクター AI に責任を負わせるために戦っている。どちらの場合も、「いつになったら十分になるのか」という緊急の疑問が生じます。ガルシアの弁護士が指摘したように、キャラクター AI のようなプラットフォームは「ライセンスなしで心理療法」を提供しており、そのようなテクノロジーの倫理的および法的影響をさらに複雑にしています。
Character AI が繰り返し発生した事件の実績を考慮すると、過失のパターンを無視できないことは明らかです。現実の人物の肖像の不正使用であれ、若い命の悲劇的な喪失であれ、プラットフォームの運用はより広範な問題を明らかにしています。AI が市場に急速に移行するのと同じくらい、規制の追従が追いつかないということです。企業がキャラクターを好む方法。 AI は倫理的境界線を構築し維持しますが、それは AI に当てはまります。
これは一つの悲劇だけではありません。この訴訟は当然のように継続される予定であるため、これは私たちにとって役に立ちません。これは議論の要点から身を引いて、企業が技術の加速よりも人間の安全を優先する必要性を称賛するものである。キャラクター AI のようなプラットフォームにとって、やり方を間違えた場合の結果はあまりにも現実的であり、これらの事例は、それがいかに致命的なものになり得るかを浮き彫りにしています。
画像クレジット: フルカン・デミルカヤ/表意文字
Source: キャラクター AI に関連した新たな悲劇