III-A6 その他のクローラー（CCBot・Bytespider等）を押さえる

GPTBot、ClaudeBot、PerplexityBot、Google-Extended——ここまでのレッスンで主要どころは押さえました。ですが、実際にサーバーへアクセスしてくるAIクローラーはこの4社だけではありません。Common CrawlのCCBotやByteDanceのBytespiderなど、見落とされがちな「その他」を洗い出し、抜け漏れのない制御判断につなげていきましょう。

なぜ「その他」を無視できないのか

robots.txtはUser-Agentの完全一致で動くルールなので、書き漏れたクローラーはそのまま素通りしてしまいます(III-A1参照)。有名どころ4社分だけ設定して満足してしまうと、実際にはそれ以外のクローラーが無制限にアクセスし続けている、という状態になりかねません。「主要4社を書けば終わり」ではなく「来ているボットを全部洗い出す」意識が、テクニカルAIOでは欠かせません。

CCBot——非営利団体が運営する「学習の川上」

CCBotは、Common Crawlという非営利団体が運営するクローラーです。Common Crawlは自社でAIモデルを作るわけではなく、収集したWebデータを研究者や企業に無料で公開しており、多くのAI企業が学習データの下流でこのデータセットを再利用している点が特徴です。つまりCCBotを直接ブロックしても、すでに配布済みのデータセット経由での利用までは止められません。とはいえ将来分の収集を止める意味はあるため、学習データとして使われたくない場合は拒否設定の対象に含めておくべきクローラーです。

Bytespider——高頻度アクセスで知られるByteDance系

BytespiderはTikTokを運営する中国企業ByteDanceのクローラーです。高頻度でアグレッシブなクロール挙動で知られており、実務では拒否設定に含める判断をするサイトが多いクローラーの一つです。サーバー負荷の観点からも、まず自社のログにどの程度の頻度で出現しているかを確認しておく価値があります(確認方法はIII-A9参照)。

AppleとMetaの「学習系・エージェント系」ペア

AppleはApplebot-Extendedという、標準のApplebotとは別のクローラーを運用しています。標準Applebotはこれまで通りSiri・Spotlight・Safariの提案機能を支えますが、Applebot-ExtendedはApple Intelligence等の生成AI学習利用だけを担うため、これをブロックしても検索表示には影響しません(出典: Apple公式サポート, 2026年6月)。MetaもMeta-ExternalAgent(学習用)とMeta-ExternalFetcher(ユーザー代行・エージェント型)を分離運用しており、他社と同じ3類型の考え方がここでも当てはまります。

全部を覚えなくていい——ai.robots.txtという拠り所

AIクローラーは今後も増え続けるため、すべてを暗記する必要はありません。III-A1でも触れた、コミュニティが運営するai.robots.txt(GitHub: ai-robots-txt/ai.robots.txt)は、実はrobots.txt形式だけでなく、nginx・Apache(.htaccess)・Caddyfile・HAProxyなど複数のサーバー形式でも最新のクローラー一覧を公開しています。自社サーバーの形式に合わせてそのまま使える点も実務では便利です。たとえば、今回取り上げた4つのクローラーをまとめて拒否する場合、robots.txtは次のように書けます。

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

Meta-ExternalFetcherのようなユーザー代行型は、ユーザーが対話中に個別ページの参照を指示した際に動くボットのため、学習用と同じ扱いにするかどうかは自社の方針次第です(判断軸はIII-A7で扱います)。

実践ステップ

1. 1
   現在のrobots.txtにCCBot・Bytespider・Applebot-Extended・Meta-ExternalAgent・Meta-ExternalFetcherの記載があるか確認する
2. 2
   GitHubのai-robots-txtリポジトリを開き、最新のクローラー一覧を確認する
3. 3
   自社サーバーの形式(nginx・Apache・その他)に合ったフォーマットを選ぶ
4. 4
   自社の方針(III-A7で判断)に沿って、必要なUser-Agent行をrobots.txtに追記する
5. 5
   半年に1度、ai.robots.txtの一覧を再取得し差分がないか確認するサイクルを組み込む

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。