Radware Demos Shadow Leak Openai Deep Researchへの攻撃

セキュリティ研究者は、AIエージェントが電子メールの受信トレイから機密データを盗み、エージェントAIシステムの新たなリスクを強調する新しいサイバー攻撃を実証しました。 「Shadow Leak」と呼ばれる概念実証で、Radwareの専門家は、ChatGptに組み込まれたOpenaiの深い研究ツールを利用して、ユーザーの認識なしにGmailから情報をひそかに抽出しました。 Openaiがその後パッチを適用した脆弱性は、ユーザーに代わって自律的に動作するAIアシスタントの潜在的な危険性を強調しています。 Deep ResearchのようなAIエージェントは、Webサーフィンやリンクのクリックなどのタスクを実行するために、電子メール、カレンダー、ドキュメントなどの個人および専門的なデータにアクセスすることにより、生産性を向上させるように設計されています。今年初めに発売されたDeep Researchを使用すると、ユーザーは複雑な研究​​活動を委任できます。ただし、Radwareの実験により、これらの機能を迅速な噴射によりハイジャックする方法が明らかになりました。これは、メールなどの無害なコンテンツに悪意のある指示が組み込まれる技術です。攻撃は、研究者が深い研究アクセスを許可されたGmail Inboxに特別に作成された電子メールを送信することから始まりました。電子メール内に隠されている – 白い背景の上の目に見えない白いテキストとしてポテンシャル的には、ユーザーがAIツールを呼び出すまで休眠状態を維持していました。アクティブ化されると、Deep Researchがプロンプトに遭遇し、HR関連の電子メールと個人情報を検索し、攻撃者が制御するエンドポイントにデータを除外するように指示しました。プロセス全体がOpenAIのクラウドインフラストラクチャで発生し、エンドポイント検出などの従来のサイバーセキュリティ測定値をバイパスしました。これは、データが送信前にAIの安全な環境を離れることはないためです。 Radwareチームによると、「失敗した試みのジェットコースター、イライラする障害、そして最後にブレークスルー」を含む、エクスプロイトの開発は挑戦的でした。ローカルAIインスタンスを操作する典型的な迅速な注入とは異なり、シャドウリークはエージェントのリモート実行を活用し、特にステルスにします。研究者たちは、AIが日常的なタスクの間にシームレスに不正行為を実行したため、ユーザーは完全に気付いていないことを強調しました。 Radwareの調査結果はGmailを超えて拡張され、Outlook、GitHub、Google Drive、Dropboxなどの接続アプリケーションが同様の脅威に直面する可能性があることを警告しています。 「これらの追加コネクタに同じ手法を適用して、契約、会議ノート、顧客記録などの非常に敏感なビジネスデータを除去することができます」と同社は述べています。アカデミックピアレビューのリギング、詐欺の実行、さらにはスマートホームデバイスの制御などのシナリオでは、迅速な注入はすでに悪意を持って使用されており、指示が人間には影響を受けないため、しばしば検出を回避しています。 Openaiは、6月にRadwareによってフラグが付けられた特定の欠陥に対処し、このような許可されていないデータの流出を防ぐための修正を実装しました。それにもかかわらず、この事件は、エージェントAIのより広範な採用のための警告物語として機能します。これらのツールが増殖するにつれて、組織とユーザーは、AIの相互作用の監視やデータアクセススコープの制限など、堅牢な保護手段に優先順位を付ける必要があります。サイバーセキュリティの専門家は警戒を推奨していますが、迅速な注射は既知のエクスプロイトなしでは先制するのは困難ですが、AIワークフローでのロギングの強化と異常検出は将来のリスクを軽減する可能性があることに注意してください。このデモンストレーションは、AIセキュリティの精査の高まりの中で到着します。エージェントシステムが効率の向上を約束しているため、シャドウリークのような事件は、ますますAI依存の世界で機密情報を保護するために、革新が強化された防御とバランスが取れなければならないことを利害関係者に思い出させます。

Source: Radware Demos Shadow Leak Openai Deep Researchへの攻撃