III-A8 CDN側制御（Cloudflare等）を理解する

robots.txtで方針を書いても、それを守るかどうかは相手のクローラー次第——という弱点があります。この弱点を技術的に補うのがCDN側の制御です。Cloudflareを例に、自社ですぐ検討できる選択肢を具体的に押さえていきましょう。

robots.txtだけでは足りない理由

robots.txtは紳士協定であり法的強制力はありません(III-A1参照)。善良なクローラーは従いますが、宣言と実際の挙動が食い違う事例も報告されています。実際、2026年1月付のデータを扱った報告では、英国サイトの72%でAIクローラーによるrobots.txt違反が観測されたとされています(出典: 365iほか報道, 2026年1月)。多くの中小規模サイトが利用しているCloudflare等のCDN(コンテンツ配信を高速化・保護する中継インフラ)は、この「宣言頼み」を補う、実際のアクセスを技術的に検知・制御できるレイヤーです。

Cloudflareが提供する3つの機能

Cloudflareを例にすると、CDN側の制御は大きく3つに整理できます。1つ目はAI Audit、ダッシュボード上でどのAIボットが・どの頻度で・どのページにアクセスしているかを可視化する機能です。2つ目はAI Crawl Control、2025年7月の「Content Independence Day」発表でAI学習ボットのワンクリック・デフォルトブロック機能とPay per crawl(従量課金)のベータ版が導入され、同年8月に一般提供されました。3つ目はPay per crawl、ボットごとに「Allow(許可)・Charge(課金)・Block(拒否)」を選べる仕組みで、未払いアクセスにはHTTP 402(Payment Required)、支払い合意があればHTTP 200が返ります。認証はWeb Bot Auth(Ed25519鍵ペアとHTTPメッセージ署名を使う仕組み)で行われ、最低価格は1回の取得成功あたり0.01ドルからです(出典: Cloudflare公式ブログ, 2025年7月)。

2026年7月の方針転換——成果連動課金へ

Cloudflareは2026年7月1日、大きな方針転換を発表しました。1つは、学習・検索・エージェント取得を単一のUser-Agentで行う「混在型」クローラーについて、広告掲載ページ上でデフォルトブロックする方針で、2026年9月15日から適用されます。もう1つは、Pay per crawlからPay per useへの進化です。従来の「クロールされた回数に応じた課金」から、AIが実際に回答の中でその内容を使った時点で支払いが発生する成果連動型へ移行する設計になっています(出典: Cloudflare公式発表, 2026年7月)。

コスト事故に注意——重い処理を伴うURL

CDN側の制御を検討する際に見落とされがちなのが、画像変換やAPIなど重い処理を伴うURLをAIクローラーが無制限に叩けてしまうリスクです。国内メディアでは、Meta系AIクローラーが画像変換用のURLへ大量アクセスし、CDNの従量課金が急増した事故が報告されています(出典: ai-native.jp, 2026年)。個別事例の詳細な金額は精査が必要ですが、「重いエンドポイントほどレート制限をかけておく」という教訓自体は押さえておく価値があります。CDNのカスタムルールなら、次のような条件式でAIボットだけを狙って絞り込めます。

http.user_agent contains "GPTBot" and starts_with(http.request.uri.path, "/api/image-transform")

robots.txtとCDN制御の役割分担

両者は競合するものではなく、robots.txtで意思表示をしつつ、CDNで実際の挙動を監視・制御するという二段構えが実務上の基本です。

実践ステップ

1. 1
   自社が利用しているCDN・WAFにAIボット管理機能があるか確認する
2. 2
   Cloudflare等のAI Audit(可視化機能)を有効化し、直近のアクセス実態を確認する
3. 3
   学習用・検索索引用・エージェント型ごとにAllow/Charge/Blockの使い分けを検討する
4. 4
   画像変換やAPIなど重い処理を伴うURLにレート制限をかける
5. 5
   Pay per crawl・Pay per useの導入が自社のビジネスモデルに合うか検討する
6. 6
   2026年9月15日からの混在型クローラーのデフォルトブロック方針が自社に影響するか確認する

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。