AI クローラー向け robots.txt：ほとんどのファイルを壊す 1 つのルール

AI クローラー向け robots.txt は、各クローラーを名指しして何を取得してよいかを書く、ただのテキストファイルです。壊れるのは構文ではありません。クローラーが自分の名前を見つけると、User-agent: * のルールを読まなくなることです。GPTBot の 1 行を足した瞬間、他の全員向けに書いたルールがそのクローラーには効かなくなることがあります。

まずこれを読む

この章は、AI クローラーがすでにサーバーに到達できている前提です。確認していないなら、ファイルを触る前に確認してください。Allow だらけのファイルは、拒否がサイトの 1 つ上の層で起きているときには何の証明にもなりません。2 分で終わる確認方法はAI がサイトを読めるか確認するにあります。

AI クローラー向け robots.txt にできること、できないこと

できるのは意図の宣言です。クローラーが読むかどうかを選ぶファイルで、それ自体は何も強制しません。行儀のよい AI クローラーは従います。実際にバイトが返るかを決めるのは CDN、ファイアウォール、オリジンサーバーで、どれもこのファイルを読みません。

robots.txt は許可を決める。何を配信するかは決めない。

ほとんどのファイルを壊すルール

クローラーが従うルール群は正確に 1 つ、自分を最も具体的に名指ししたグループだけです。そのグループが書かなかった項目について、全体向けのルールに戻ることはありません。Google の仕様ははっきり書いています：「Only one group is valid for a particular crawler」、そして「User agent specific groups and global groups (*) are not combined.」

つまり、このファイルは見た目どおりには動きません。

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

人として読むと、GPTBot は 3 つのディレクトリから締め出されています。GPTBot として読むと、存在するのは /drafts/ の 1 行だけです。2 つ目のグループを打った瞬間、admin と cart は再び開きました。警告は出ず、ファイルは有効なままです。

直し方は、共有ルールを名指しグループの中に毎回繰り返すことです。繰り返しは間違って見えて、正しい。

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

書く前にクローラーを 3 つの階層に分ける

判断はクローラー単位ではなく、仕事単位です。3 つの仕事、3 つの答え。検索クローラーは今週人が見る回答を支えるので、止めるとその回答から外れます。学習クローラーは後から出荷されるモデルを支えます。ユーザーが起動するフェッチャーは、誰かが今質問したから動きます。

トークンと用途は各運営者の一次情報から取っています：OpenAI、Perplexity、Anthropic、Google、Apple、Meta、Common Crawl。コピーする前に必ず確認してください。このリストは動きます。

そのまま使える AI クローラー向け robots.txt

「検索は許可、学習は判断」の形です。2 つの非公開パスを自分のものに置き換え、学習されたくない場合だけ学習グループを残してください。

# 検索・回答クローラー — 非公開パス以外は許可
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# モデル学習 — 拒否。許可するならこのグループを削除
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# その他すべて
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

User-agent 行を積み重ねると 1 つのルール群を共有するので、上の各ブロックは 6 個ではなく 1 個のグループです。非公開パスを 2 回書いているのは意図的で、前の節が求めた繰り返しです。

このファイルの 2 行はクローラーではない

Google-Extended と Applebot-Extended はサーバーにリクエストを送りません。制御トークンで、別のクローラーがすでに集めた内容をどう使えるかを変えます。観測するトラフィックも、設定が効いたことを確認できるライブテストもありません。

どちらも順位リスクとして読まれがちですが、両運営者は文書で否定しています。Google：Google-Extended は「does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search」。Apple：Applebot-Extended は「does not crawl webpages」、そして「webpages that disallow Applebot-Extended can still be included in search results」。

robots.txt が止められないもの

ユーザーが何かを尋ねたから動くフェッチャーは別カテゴリで、少なくとも 1 社はファイルを無視すると明言しています。Perplexity の Perplexity-User の説明：「Since a user requested the fetch, this fetcher generally ignores robots.txt rules.」

正直に言えば、表の一番下の階層はこのファイルでは制御できません。オンデマンドで取得されてはいけないページなら、robots.txt は間違った道具で、認証が正しい道具です。これらのフェッチャーが実際にどれくらい来るかの測定はなく、自分のログから取っていない数字は信じません。

間違えやすい 3 パターン

どれも静かです。ファイルは有効なまま、ツールはエラーを出さず、被害は後から「来ないトラフィック」として現れます。

1. GPTBot を止めて ChatGPT が消えると思う。 GPTBot は学習クローラーです。今日 ChatGPT があなたを引用できるかを決めるのは OAI-SearchBot です。前者を止めて後者を開けておくのは一貫した選択ですが、混同はそうではありません。
2. 名指しグループを足して共有ルールを失う。 第 3 節の失敗です。編集のたびに、名指しクローラーごとにファイルを読み直し、そのクローラーだけが何を見えるか確認してください。
3. 間違ったホストで編集する。 ルールはそれを配信するホスト、プロトコル、ポートにだけ適用されます。https://example.com/robots.txt は https://www.example.com を支配しません。両方のホスト名が応答するなら、両方にファイルが必要です。

よくある質問

Google-Extended を止めると Google の順位が下がりますか？

いいえ。Google は直接そう書いています：「does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search」。支配するのは Gemini モデルの学習だけです。

Disallow は学習済みの内容を消しますか？

いいえ。これらの指示はすべて前方を見ます。将来の取得を支配し、行を書く前に集めたデータには及びません。

どのくらいの頻度で見直しますか？

新しいクローラーが出たとき — Meta-WebIndexer はかなり新しく、公開されている例の多くはそれより前です — と、プラットフォーム移行の後です。新しいホストは独自の既定ファイルを持ってきます。

次のステップ

ファイルは意図を語るようになりました。サーバーが同意しているかは別の話で、よくある不一致は、robots.txt が迎えているクローラーを CDN が拒否していることです。それが次の章で、完璧なファイルを持つサイトが依然として見えない最大の理由です。

ファイルを編集するのは安い半分です。変更を書いて公開し、インデックスへ push するところで多くのサイトが止まります。