III-A9 クロールログの確認方法

AI企業が「うちのボットはrobots.txtを守ります」と公式に説明していても、それを鵜呑みにするのは危険です。実際に自社サイトへどのAIクローラーが来ているか、サーバーログから確認する具体的な手順をここで身につけていきましょう。

なぜ「宣言」より「ログ」なのか

III-A2で見たOpenAIの公開IP JSON、III-A4で見たPerplexityのなりすまし疑惑——ここまでのレッスンでも「宣言だけでは安心できない」という話は何度か触れてきました。このレッスンでは、それを1社ずつの個別対応で終わらせず、自社サイト全体を対象にした定点観測の手順として体系化します。背景にあるのは、TollBitの2025年Q4データで、AIボットのリクエストの13%超がブロック設定を回避しており、回避率が高いのは主に学習系ボットだったという報告です(出典: TollBit, 2025年Q4)。「このボットは宣言通りだから大丈夫」と個別に安心するのではなく、全ボットを対象に定期的にログを確認する運用に切り替えていきましょう。

ログの取得場所

確認場所は大きく2つです。1つ目は自社サーバーのアクセスログ(Apache・nginx等が出力するaccess.log)、2つ目はCDNのダッシュボード(Cloudflareを使っている場合はAI Audit機能)です。CDN経由のサイトはダッシュボードのほうが集計が早く、自社サーバーを直接見られる場合はアクセスログを直接確認する方法が細かい挙動まで追えます。

何を確認するか

確認すべきポイントは3つあります。1つ目はUser-Agent文字列の一致、GPTBot・ClaudeBot・PerplexityBot・CCBot・Bytespiderなど、これまでのレッスンで整理してきたトークンと照合します。2つ目はアクセス頻度と対象ページ、どのページに集中してアクセスが来ているかを見ます。3つ目は404エラー率です。Vercelの調査によれば、ChatGPT系クローラーのリクエストの34.82%、Claude系クローラーの34.16%が404エラーに費やされていた一方、Googlebotは8.22%にとどまったと報告されています(出典: Vercelブログ「The Rise of the AI Crawler」, 2026年)。404率が高いということは、古いリンクや削除済みページを繰り返し叩かれている可能性があるというサインです。

なりすましを見抜く——複数の手がかりを組み合わせる

User-Agent文字列は誰でも自由に名乗れるため、本物かどうかの検証も必要です。OpenAIの公開IP JSON照合(III-A2参照)や、逆引きDNS(IPアドレスから逆にドメイン名を調べる手法、III-A4参照)は、いずれも「1つの手がかりだけで判断しない」という考え方に基づく対策です。実務では、User-Agent文字列の一致・アクセス元IPの照合・アクセスパターン(頻度や対象ページの偏り)の3つを組み合わせ、どれか1つでも不自然であれば疑ってかかる運用が現実的です。想定外に高頻度なアクセスがあるボットほど、この3点セットでの確認を優先しましょう。

実務でのコマンド例

自社サーバーのアクセスログであれば、次のようなコマンドでボット別の出現回数を簡易集計できます。

grep -E "GPTBot|ClaudeBot|PerplexityBot|CCBot|Bytespider" access.log \
  | awk '{print $1}' \
  | sort | uniq -c | sort -rn

これで「どのIPから、どのボットを名乗るアクセスが何回来ているか」の粗い傾向がつかめます。404率を見たい場合は、ステータスコード列を条件に加えて集計すると比較の材料になります。

実践ステップ

1. 1
   自社サーバーのアクセスログ、またはCDN(Cloudflare等)のAI Audit機能を開く
2. 2
   これまでのレッスンで整理したUser-Agentトークンで絞り込み、ボットごとの出現回数を集計する
3. 3
   ボットごとの404エラー率を確認し、高い場合はリンク切れやサイトマップの整備を検討する
4. 4
   アクセス元IPをOpenAI公開JSON等と照合し、なりすましでないか確認する
5. 5
   想定外に高頻度なアクセスがあるボットを洗い出し、III-A7・III-A8で整理した方針と照らし合わせる
6. 6
   定点観測として、月次や四半期で同じ確認を繰り返す運用にする

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。