III-A1 AIクローラー全種類図鑑

AI検索の時代になっても、Webサイトに情報を届ける入口は結局「クローラー」です。ただし今クロールしてくるのはGooglebot一つではなく、OpenAI・Anthropic・Perplexity・Google・Meta・Appleなど各社が個別に運用する十数種類のボットに分かれています。名前も役割もバラバラなこの十数種類を、まずは1枚の図鑑にまとめて頭に入れてしまいましょう。

「AIクローラー」は目的で3つに分かれている

AIクローラーとは、生成AI企業やCommon Crawlのような連合組織が運用する自動巡回プログラムで、①モデルの学習データ収集、②AI検索エンジンの検索・索引用データ収集、③ユーザーが対話中に指定したURLをその場で取りに行くユーザー代行（エージェント）取得、のいずれかに使われます。同じ会社でもこの3つは別々のボットとして運用されており、robots.txtでも独立して制御できます。「学習は拒否するが検索には載りたい」という組み合わせが2026年の標準的な実務パターンです（出典: 各社公式ドキュメント, 2026年）。この3分類が、以降のIII-A2〜A5を読み解く土台になります。

主要クローラー図鑑

OpenAI・Anthropic・Perplexity・Googleの4社は次のIII-A2からIII-A5で個別に深掘りします。CCBotやBytespiderなど「その他」の細かい挙動はIII-A6で扱うので、ここでは名前と所属だけ押さえれば十分です。なお、この一覧は完全網羅ではなく、コミュニティ運営のai.robots.txtというGitHubプロジェクトが継続的に最新版を公開しています（出典: GitHub「ai-robots-txt/ai.robots.txt」, 2026年）。実務では自社で一から調べるより、この一覧を定期的に取り込むほうが効率的です。

図鑑は毎月表情を変える

このシェアは固定ではありません。Cloudflare Radarの分析によれば、2026年6月にClaudeBotは前月比+66%で20.0%まで急増し、Meta-ExternalAgentやGPTBotを抜いて2位に浮上した一方、Googlebotのシェアは24.9%まで低下し過去最低を記録しました（出典: Cloudflare Radar, 2026年6月）。「今どれが1位か」を暗記するより、勢力図は月単位で乱高下するほど流動的だという構造そのものを理解しておくほうが実務では役立ちます。

robots.txtの基本文法だけ先におさらい

robots.txt（サイトのルート直下に置くテキストファイルで、User-agentごとにアクセス可否を指定する仕組み）の基本の型は、次のような形です。

User-agent: (クローラー名)
Disallow: /

「AIを全部拒否」という一括ルールは存在せず、ボット名を一つずつ列挙する必要がある点だけ、今のうちに覚えておいてください。許可・拒否の判断基準はIII-A7で、CDN側の制御はIII-A8で扱います。

実践ステップ

1. 1
   自社サイトのサーバーログまたはCDNダッシュボードを開き、直近アクセスの中にAI系のクローラーが含まれていないか探してみる
2. 2
   見つかったボット名を、上の図鑑表で「学習」「検索・索引」「ユーザー代行」のどれかに仕分けてみる
3. 3
   表に無い未知のボット名が出てきたら、ai.robots.txt（GitHub）で最新情報を確認する
4. 4
   現在のrobots.txtファイルを開き、AIクローラー向けの記述が1行でもあるか確認する
5. 5
   この図鑑をブックマークし、III-A2以降で1社ずつ深掘りする準備をしておく

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。