Googleは、Gmailアカウントを損なうことができる新しいAI駆動型攻撃に関するGmail警告を確認しました。この攻撃は、電子メール、メッセージ、ウェブサイト、添付ファイル、カレンダーの招待状に隠された迅速なインジェクションテクニックを活用します。この脆弱性は、Eito Miyamuraによって強調されました。彼はXでChatGPTを操作して、メールアドレスのみを使用して被害者のプライベートメールデータをリークする方法を示しました。 Miyamuraによると、「ChatGptのようなAIエージェントは、あなたのコマンドではなく、あなたのコマンドに従っています」とデータの剥離の可能性を強調しています。 Googleは以前、6月にこのタイプの脅威について警告し、AIシステムの操作を目的とした「脅威の新しい波」として特徴づけていました。これらの脅威には、電子メール、ドキュメント、またはカレンダーに埋め込まれた悪意のある指示が含まれます。これは、AIにユーザーデータを抽出したり、不正なアクションを実行したりするように強いられます。実証された攻撃は概念の証明であり、被害者からの受け入れを必要としない悪意のあるカレンダーの招待状で開始します。 ChatGptがカレンダーをレビューしてユーザーに1日の準備をするように指示されると、AIアシスタントは「攻撃者にハイジャックされ、攻撃者のコマンドに基づいて行動し、プライベートメールを検索し、攻撃者のメールにデータを送信する」と報告しています。このリスクを緩和するために、GoogleはユーザーにGoogleカレンダーで「既知の送信者」設定を有効にすることをアドバイスします。この尺度は、悪意のあるイベントやスパムイベントがカレンダーグリッドに自動的に表示されるのを防ぐのに役立ちます。 Googleは、「これは、ユーザーがカレンダーグリッドに登場する悪意のあるイベントやスパムイベントを防ぐのに役立つ特に効果的なアプローチであることがわかりました。特定のカレンダーの招待は、ユーザーが悪いアクターと事前のやり取りをしたり、デフォルト設定を変更したりしない限り、自動的に着陸しませんでした。」 Googleは、このような攻撃に対してAIモデルを確保することの重要性も強調しています。同社は、「敵対的なデータを使用したモデルトレーニングは、ジェミニ2.5モデルでの間接的な迅速な注入攻撃に対する防御を大幅に強化した」と主張していますが、この特定の攻撃にはジェミニは関与していません。さらに、Googleは迅速な噴射攻撃を検出するためのフィルターを実装しています。彼らは「電子メールやファイルなどのさまざまな形式内の悪意のあるプロンプトと命令を検出できる独自の機械学習モデルを展開しています。」これらのモデルは、電子メール内の悪意のある指示を特定し、無視し、ユーザーに安全な応答を生成することを目的としています。 Googleは、Gmailの組み込みディフェンスがすでにスパム、フィッシングの試み、マルウェアの99.9％以上をブロックしていることを強調しています。同社は、「悪意のある手順を含む。コンテンツ分類器が悪意のある指示を検出して無視し、ユーザーに安全な応答を生成するのに役立つ」というメールの例を引用しています。宮村は、AIの知性にもかかわらず、それは操作とフィッシングに対して脆弱であり、データリークにつながる可能性があると警告しています。彼は、「AIは非常に賢いかもしれないが、あなたのデータを漏らすために信じられないほど馬鹿げた方法でだまされて飼育される可能性がある」と警告する。 Googleは、この脅威は「Googleに固有のものではない」と主張しており、迅速な注入攻撃に対する堅牢な保護を開発することの業界全体の重要性を強調しています。
Source: Gmailは、迅速な注入を介してAI攻撃について警告しています
