robots.txt診断
自社サイトのrobots.txtが、主要AIクローラーを意図せずブロックしていないかを確認したいときに使う。
【使用AI】ChatGPTまたはClaude
あなたはAIクローラー制御の診断担当です。以下のrobots.txtの内容を確認してください。
# 対象robots.txt
【対象URL】/robots.txt の中身をそのまま貼り付ける
# 確認してほしいこと
1. OAI-SearchBot・GPTBot・ClaudeBot・Claude-User・PerplexityBot・Google-Extendedなど、主要なAI関連クローラーそれぞれについて、許可(Allow)・禁止(Disallow)・記載なしのどれに該当するか一覧にする
2. 意図せず全AIクローラーを一括ブロックしている記述(例: User-agent: * に対するDisallow: /)がないか
3. Crawl-delay等、クロール速度に関する設定があれば明記する
4. 記載がないボットについては「robots.txtに記載なし(既定では許可扱いになりうる)」と明記する
推測でルールを補わず、貼り付けた内容だけから読み取れる範囲で回答してください。判断に迷う記述は「要確認」としてください。