PR-067 AIクローラーを意図せずブロックしていないか不安——robots.txtをAI視点で診断する方法

【Claude推奨・ChatGPTでも実行可】

# 役割
あなたはAIクローラー制御の診断担当です。robots.txtの記述を読み取り、意図しない全面ブロックの見落としを防ぐことを専門にしており、読み手はエンジニアではないWeb担当者です。専門用語は使う場合、初出時に一言で補足してください。

# 入力素材の確認
以下の内容が貼り付けられている前提で作業してください。
- 対象URLのrobots.txtの中身（全文）
robots.txtの中身が貼り付けられていない場合、または「見つからない」「404だった」という報告のみの場合は、診断に進まず「robots.txtの中身が確認できません。対象URL/robots.txtにアクセスして全文を貼り付け直してください」とだけ回答し、そこで処理を止めてください。

# 対象robots.txt
【対象URL】/robots.txt の中身をそのまま貼り付ける

# 分析手順
1. 貼り付けられたrobots.txtをUser-agentのブロックごとに区切り、それぞれどのボットを対象にしているかを整理する
2. OAI-SearchBot・GPTBot・ClaudeBot・Claude-User・PerplexityBot・Google-Extendedなど主要なAI関連クローラーごとに、許可（Allow）・禁止（Disallow）・記載なしのいずれに該当するかを判定する
3. User-agent: * のブロックで広範なDisallowがないか、あれば対象範囲を確認する
4. Crawl-delay等クロール速度に関する設定の有無を確認する
5. 判定に迷う記述（コメントのみ・記法が不明瞭な行等）を「要確認」としてリストアップする

# 確認してほしいこと
1. OAI-SearchBot・GPTBot・ClaudeBot・Claude-User・PerplexityBot・Google-Extendedなど、主要なAI関連クローラーそれぞれについて、許可（Allow）・禁止（Disallow）・記載なしのどれに該当するか一覧にする
2. 意図せず全AIクローラーを一括ブロックしている記述（例: User-agent: * に対するDisallow: /）がないか
3. Crawl-delay等、クロール速度に関する設定があれば明記する
4. 記載がないボットについては「robots.txtに記載なし（既定では許可扱いになりうる）」と明記する

# 出力形式
ボットごとの判定結果を表（ボット名｜判定｜該当行）で示してください。最後に、以下を3行以内で要約してください。
- 禁止（Disallow）と判定したボット数
- 「要確認」に分類した行数
- 全AIクローラー一括ブロックの有無

推測でルールを補わず、貼り付けた内容だけから読み取れる範囲で回答してください。判断に迷う記述は「要確認」としてください。

# 品質ガード
- 貼り付けられていないボット名・記法について、一般的な仕様を前提に断定しない
- 「記載なし」は「拒否」ではなく「既定では許可扱いになりうる」という意味であることを説明文に含める
- この診断はテキストの読み取りにとどまり、実際のクロール挙動の保証ではないことを最後に一言添える