AIM Security Ltd.は本日、Microsoft Corp.の365 Copilot Generative AIツールをターゲットにした「Echoleak」と呼ばれる最初の既知のゼロクリック人工知能の脆弱性の詳細を明らかにしました。脆弱性により、攻撃者はユーザーの相互作用なしに敏感な内部データを除去することができたかもしれません。
脆弱性は1月に発見され、速やかにMicrosoftに報告されました。 AIM Securityは、Microsoftの修正の実装に続いて、詳細を今のみ開示しています。
Echoleakは、AIM Securityによって「LLMスコープ違反」として説明されています。これは、大規模な言語モデルを操作して、意図した運用コンテキストを超えて情報をリークできるシナリオを指します。この特定の例では、脆弱性には、Microsoftのクロスプロンプトインジェクション攻撃防御をバイパスするために設計された特定のMarkdown構文を含む悪意のある電子メールの作成が含まれていました。
悪意のあるマークダウンは、参照スタイルの画像とリンク形式を使用しました。この手法により、ペイロードはCopilotの消毒フィルターを回避することができ、AIアシスタントが電子メールを取得して処理したときにそのままのままになりました。
エクスプロイトは、Copilotのコンテンツセキュリティポリシーの下でホワイトリストに登録されているSharePointやチームなどのMicrosoft自身の信頼できるドメインを活用しました。これらのドメインは、Copilotによってレンダリングされたときにアウトバウンドリクエストを自動的にトリガーする外部リンクまたは画像を埋め込むために使用できます。攻撃者は、これらの参照を作成して、Copilotのコンテキストから取得された機密データを含め、コンテンツを制御したサーバーにリダイレクトすることができます。
AIMの研究者によって特定されたEcholeakの重要な側面は、そのゼロクリックの性質です。攻撃は、ユーザーの相互作用なしに完全に背景に発生します。電子メールのCopilotの自動処理は、エクスプロイトチェーンを開始して完了するのに十分でした。
AIM Securityは、ユーザーまたはシステム管理者に目に見える通知なしに、内部メモ、戦略的文書、または個人識別子などのデータを密かにリークできることを示す概念実証をリリースしました。
Microsoftはこの問題を認めたが、野生で脆弱性が悪用されているという証拠は見つからなかったと述べた。
野生の搾取の欠如はプラスですが、AIサービスにおけるゼロクリックの脆弱性の存在は、将来のリスクを強調しています。サイバーセキュリティの専門家は、そのような方法の出現に完全に驚かされませんでした。
Wallarm Inc.のセキュリティストラテジストであるTim Erlin氏は次のようにコメントしています。「このようなことが起こるとは思わなかった場合、注意を払っていません。特定のテクニックは予測できなかったかもしれませんが、研究者が何らかの意味のある斬新なAI攻撃の表面のための何らかの斬新なエクスプロイトを見つけられないという考えは、馬鹿げています。
Socradar Cyber Threat Intelligence Inc.のCISOであるEnsar Sekerは、この開示には「NATO、政府、防衛、ヘルスケア、およびエンタープライズAIアシスタントを使用している人に深刻な意味がある」と警告しました。
Sekerはまた、この問題は潜在的にCopilotを超えていることを強調しました。 「特に際立っているのは、これがコピロットに限定されないということです」と彼は言いました。 「AIM Labsが警告するように、内部データと一緒に信頼できない入力を処理するRAGベースのエージェントは、スコープ違反に対して脆弱です。これは、AIアシスタントスペース全体のより広いアーキテクチャの欠陥を示しています。
