人気のライブストリーミングプラットフォームであるTwitchは最近、チャットルームでの有害な言葉遣いを減らすために設計されたAI搭載機能を導入しました。X（旧Twitter）のTwitchサポートチームによって発表されたこの新しい実験は、オンラインでのやりとりをよりポジティブなものにすることを目指していますが、それがどれだけ成功するかはまだわかりません。
このプラットフォームは、機械学習を活用した警告を導入し、ユーザーが不快または無礼と見なされる可能性のあるメッセージを送信する前によく考えるよう促しています。このためのモデレーターボットは存在していましたが、不十分だったため、Twitch は現在、統合システムの導入を検討しています。
AIがTwitchチャットで罵倒行為に挑むも、ボットは依然として自由に動き回る
この新機能の基本的な考え方は、送信しようとしているユーザーに一時停止の瞬間を提供することです。 潜在的に有害なメッセージAIが不快と思われる言葉を検出すると、「これを送信してもよろしいですか?このプロンプトは、送信ボタンを押す前にユーザーに言葉を再考する機会を与えることで、有害なコミュニケーションを防ぐことを目的としています。
しかし本当の問題は ここでは人々が悪口を言うということではなく、 ボットアカウント 放送局のスパム行為をしている チャットや獲得 不公平なオーディエンス。言い換えれば、ボットアカウントはすでにこの警告を無視し、その言葉を再び受け入れ、アカウントは すでに禁止されている根本的な問題を解決するのではなく、問題によって生じた状況に対して対策を講じるのは少し興味深いです。
皆さん、私たちがメッセージの例を使用したのは、当然のことですが、実際にひどい言葉をツイートしてほしくなかったからです。
意地悪はやめなさい。
— Twitch サポート (@TwitchSupport) 2024年8月12日
コンセプトはシンプルだが、それがどれだけ効果的かはまだ分からない。Twitch の目標は、多くのオンライン コミュニティでよく見られる問題である嫌がらせを減らすことだ。しかし、次のような疑問が浮かぶ。失礼なことをしたいユーザーは警告を無視してメッセージを送り続けるだろうか。あるいは、ボット アカウントに対して警告がどれだけ効果があるだろうか。Twitch の実験は、この AI 主導のアプローチが実際にネガティブな行動を抑制できるのか、それともユーザーがあまり考えずに通り抜ける単なるフィルターなのかを判断するのに役立つだろう。
AIモデレーションの課題と将来
この実験の最も興味深い点の一つは AIが言語を解釈する方法AI システム、特に機械学習に基づくシステムは、パターンとデータに基づいて意思決定を行います。この実験が成功するかどうかは、無害なコメントを誤って検閲することなく、攻撃的な言葉を正確に検出してフラグを立てる AI の能力にかかっています。このバランスは非常に重要です。過度に敏感なモデレーションは会話の自由な流れを妨げる可能性があり、一方、緩すぎるアプローチは排除しようとしている行為そのものを抑制できない可能性があります。
あるいはAIは違法なものを検知できるのだろうか？ いくつかの賭けサイトたとえば、卑猥な言葉や不適切なメッセージなしで、
Twitch のサポート チームは、今後数週間でこの機能に関する最新情報がさらに共有されると示唆しています。実験が進むにつれて、Twitch とそのユーザーの両方が、この AI 主導の取り組みがより快適な環境を育むことができるかどうかを注意深く見守ることになります。これがチャット ルームのクリーン化に向けた一歩なのか、一時的な措置なのかはまだわかりません。それまでの間、ボット アカウントをクリーンアップしてほしいと思います。
この実験は、Twitch で共有されるものはすべて、プライベート メッセージも含めて記録され、監視されていることを思い起こさせるものです。したがって、良い言葉だけでなく悪い言葉も調べることになります。このデータを使用して、この人工知能が開発されるのでしょうか? あるいは、ユーザーから許可を得るのでしょうか?
注目の画像クレジット: RDNE Stock プロジェクト / Pexels
Source: Twitch、罵倒行為にAIで対抗
