Robloxは、オンラインチャットでの潜在的な子どもの搾取の初期兆候を検出するために設計された人工知能システムであるSentinelを発表しました。これは、プラットフォームの安全プロトコルに関する精査と法的課題の増加の中にある動きです。 2025年8月8日に発表されたSentinelは、オープンソースで自由に利用できるようになり、他のプラットフォームが独自のモデレートフレームワークに統合できるようになりました。
同社は、1億1,1100万人以上のアクティブユーザーを誇っていると報告しており、Sentinelはすでに何百もの潜在的な児童搾取事件が法執行機関にフラグを立てるのを支援していると報告しています。 Robloxの最高安全責任者であるMatt Kaufmanは、主に孤立した単語やフレーズに焦点を当てた以前のフィルタリングシステムの制限を強調しました。彼は、子どもの危険やグルーミングなどの問題が、長期にわたる相互作用のパターンを通してしばしば現れると説明しました。 「しかし、子供の危険やグルーミングに関連することについて考えているとき、あなたが見ている行動の種類は非常に長い間マニフェストです」とカウフマンは述べました。
Sentinelは、単なる孤立した用語ではなく、会話内でこれらの進化するパターンを特定するように設計されています。このシステムは、プラットフォーム上で毎日交換される約60億のチャットメッセージの1分間のスナップショットを処理し、より広いコンテキスト内でそれらを評価します。これを容易にするために、エンジニアは2つの異なるインデックスを開発しました。1つは無害なチャットの例と、子どもの安全ガイドラインに違反したメッセージを含むメッセージを含むものです。 Robloxの信頼と安全のためのエンジニアリング担当副社長であるNaren Koneruは、AIモデルの精度を高めるために、両方のインデックスが新しい資料で継続的に更新されていると指摘しました。 「そのインデックスは、より悪いアクターを検出するにつれて良くなります。そのインデックスを継続的に更新するだけです」とKoneru氏は言います。
Koneruはさらに、Sentinelがユーザーの継続的な活動を監視して、彼らの行動が安全な相互作用または危険な行為に向かっているかどうかを識別することを詳述しました。 「1つのメッセージを送信するだけなので、1つのメッセージでは発生しませんが、日中の相互作用がこれら2つの1つにつながっているために発生します」と彼女は説明しました。 AIが綿密な試験のためにユーザーにフラグを立てた場合、人間のモデレーターは、個人のチャット履歴全体、友人リスト、ゲームが再生されたゲーム全体を徹底的にレビューします。保証された場合、Robloxはこれらの症例を法執行機関と行方不明および搾取した子供のための国立センターにエスカレートします。
センチネルの導入は、Robloxが重大な法的課題に直面しているためです。先月アイオワ州で提起された訴訟は、13歳の少女がRobloxを介して大人の捕食者から連絡を受け、その後誘ductされ、いくつかの州で人身売買されたと主張しています。この訴訟は、会社のプラットフォームデザインが「小児性愛者の簡単な獲物」を作成したと主張しています。
Robloxは、チャットでの個人情報、画像、ビデオの共有を禁止する厳格なポリシーを維持しています。さらに、明示的な親の許可が与えられない限り、13歳未満のユーザーの直接的なメッセージは制限されます。同社の監視機能は、チャットがエンドツーエンドの暗号化されていないという事実によって支援されており、安全違反の会話の監視が可能になります。システムが完全に保護できないことを認めながら、Robloxは、SentinelのようなAIの進歩が有害な行動の早期発見の可能性を大幅に改善すると主張しています。
