II-A3 クロール・インデックス・引用の流れを追う

II-A2でAI検索の大まかなアーキテクチャを確認したところで、今回はその中の「情報を集める」部分にズームインし、クロールから引用までの一連の流れをもう一段細かく追いかけます。1本のページが公開されてからAIの回答に顔を出すまでには、実はいくつもの関門が隠れています。ここを段階ごとに、自分の言葉で説明できる状態を今回のゴールに置きます。

AIにもクローラーがいる

従来の検索エンジンと同じように、AI検索サービスの多くも自社専用のクローラー（bot）を使ってWebを巡回しています。たとえば次のように、robots.txtでクローラーごとにアクセスの可否を指定できます。

User-agent: GPTBot
Disallow: /members/

User-agent: *
Allow: /

どのクローラーにどこまで見せるかは、サイト側が意図して決められるという点が、まず押さえておきたいポイントです。どんな名前のAIクローラーがあり、エンジンごとにどう違うのかはII-A8で一覧を整理するので、ここでは「AI各社が専用のクローラーを持っている」という事実だけ押さえておいてください。判断基準の詳しい考え方は編III-Aで扱います。

クロールされた内容が「意味」として読み取られる

クロールしただけでは、AIはまだページの内容を検索に使える形にできていません。ページのテキストは細かい単位（チャンク）に分割され、それぞれが「意味の近さ」を数値で表すエンベディングというベクトルに変換されます。この処理があるおかげで、AIはキーワードの完全一致だけでなく、言い換えや類義語も含めて「意味」で検索できるようになります（出典: Microsoft Tech Community, 2026年7月確認）。この変換処理の技術的な中身は編II-Bで詳しく扱うので、ここでは「クロールされた文章は、細かく区切られたうえで意味のベクトルに変換されている」という大枠だけ理解しておけば十分です。

質問のたびに「候補」が選ばれ、絞り込まれる

ユーザーが質問すると、その質問文もベクトルに変換され、意味が近いチャンクが検索エンジン内部からまず幅広く集められます。その後、より精密なモデルでもう一段候補を採点し直すリランキングという工程を経て、本当に関連性が高いものへと絞り込まれます（出典: Medium, 2026年7月確認）。「広く速く集める」段階と「精密に絞り込む」段階の2段構えになっている、とイメージしておくとよいでしょう。

選ばれた候補が「引用」として回答に組み込まれる

絞り込まれた候補の内容をもとに、LLMが回答文を生成し、根拠となった情報源を引用として添えます。ここで大事なのは、クロールされ、インデックスされたページがすべて引用されるわけではないという点です。関連性や構造の分かりやすさ、信頼できる情報源かどうかといったシグナルによって、実際に引用されるかどうかがふるいにかけられます。逆にいえば、そもそもクロールすらされていないページは、この先どれだけ内容が良くても引用の土俵に上がることさえできません。どんな内容が引用されやすいのかという具体的な条件は、編IV-Aでじっくり扱います。

実践ステップ

1. 1
   自社サイトのrobots.txtファイルを開き、AIクローラー向けの記載があるかどうかを確認する
2. 2
   記載がない場合は「特に何も指定していない=基本的には許可されている」状態だと理解する
3. 3
   自社の主要記事を1本選び、見出し（H2・H3）が1つのテーマごとに整理されているかを確認する
4. 4
   ChatGPT検索で自社の主要キーワードを検索し、引用されるページとされないページを見比べる
5. 5
   「クロール→意味への変換→候補の絞り込み→引用」という4段階のうち、自社サイトがどこで弱そうかを1つメモする

このレッスンはテキストとスライドで学べます。スライドは上のビューアからご覧ください。