Cloudflareは、検索エンジン向けにWebサイトのインデックスを作成し、AIエージェントとして機能する混合用途のWebクローラーをブロックする計画を発表した。この変更は、顧客がAIチャットボットのためにサイトをスクレイピングすることを許可しないことをオプトアウトできるという同社の以前のポリシーからの逸脱を示すものである。 Cloudflareは現在、デフォルトでより防御的なスタンスを採用しています。
CEOのマシュー・プリンス氏は、「インターネット上のトラフィックの大部分が人間以外のものである現在、持続可能なエコシステムが出現できるよう、私たちはさらに前進し、より迅速に行動する必要がある」と述べた。新しいポリシーは、可視性と商業機会を維持しながら、Web サイト所有者が AI 企業によるコンテンツの使用方法をより詳細に制御できるようにすることを目的としています。
2026 年 9 月 15 日以降、新しい Web サイトを立ち上げる新規顧客と既存の Cloudflare サブスクライバーは、デフォルトで検索は許可されますが、広告をホストするページに対する AI トレーニングとエージェントの使用はブロックされます。サイト所有者が AI の使用を制御できない混合用途のクローラーも、広告でサポートされているページでブロックされます。無料アカウントのユーザーは、期限までにオプトアウトしない限り、これらの新しいデフォルトに移行します。
Cloudflareは、Pay Per Crawl機能を強化しており、現在はPay Per Useと呼ばれています。この変更により、サイト所有者は、単にクロールだけでなく、AI チャットボットの応答でコンテンツがどのように使用されるかに基づいて収益を得ることができるようになります。現在、同社はCeramic.AIおよびYou.comと提携しており、追加のAI企業との提携に向けた取り組みを示唆している。
このポリシーは間接的にGoogleもターゲットにしているようだ。 Cloudflareの発表は、検索インデックス作成とAIトレーニングを統合しているため、「最大手の検索エンジンは大手AI企業の約2倍の情報にアクセスできる」ことを示している。 Googlebot はインデックス作成とトレーニングの両方を担当しますが、パブリッシャーには従来の検索アプリケーションと AI アプリケーションの間でコンテンツの使用を分離するオプションがありません。
Cloudflareの目的は、混合用途のクローラーが検索機能とAIトレーニング機能をより明確に区別できるようにすることです。この新たな措置は、グーグルや同様の慣行を行っている他の企業にアプローチの見直しを促す戦略と位置付けられている。
