AIがサイトを読めるか確認する（コマンド一つで）

AIがサイトを読めるか確認する最短の方法は、各AIクローラーになりすまして扉を叩き、ステータスコードを読むことです。200 はそのクローラーがページに到達したという意味です。403、確認ページへのリダイレクト、タイムアウトは、サイトの手前にある何かが拒否したという意味で、robots.txt を見ても分かりません。確認はおよそ2分で終わり、アカウントも拡張機能も不要です。

「AIはサイトを読めるか」が本当に意味すること

意味するのは一つのことだけです。AIクローラーがあなたのURLへHTTPリクエストを送ったとき、インフラがページを返すかどうか。robots.txt で許可したかではありません。クローラーがコンテンツを欲しがるかでもありません。バイト列が返ってきたかどうかです。

これがマニュアルの最初の一歩なのは、以降のすべてがこれを通過した前提に立つからです。取得できないページは、インデックスにも、順位にも、引用にもつながりません。

緑の robots.txt が何も証明しない理由

robots.txt はあなたの意図を表すだけです。クローラーが従うことを選ぶテキストファイルで、それ自体は何もブロックしません。リクエストが通るかどうかは三つの層が決めます。robots.txt が許すもの、CDN や WAF がエッジで行うこと、そしてオリジンサーバーが返すものです。ノーと言うのはたいていエッジの層で、それは robots.txt には現れません。

robots.txt はあなたの希望、CDN が実際に起きることです。

マネージドホストや CDN には、初期状態で有効なボットルールが同梱され、確認なしに更新されます。完璧な Allow 行を書いても、インターネット上のすべてのAIクローラーに 403 を返すことがあります。

AIがサイトを読めるか確認する、コマンド一つで

SITE をあなたのURLに変えて、これをターミナルに貼り付けてください。クローラーごとに1リクエスト、ステータスコードだけ、curl 以外は何も要りません。

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

実際の出力です。2026年8月14日、稼働中のサイト sizemarker.com に対して実行しました。十二行、十二個の 200、四秒。

テストする価値のあるAIクローラー

すべてが同じ仕事をするわけではなく、その違いがブロックのコストを決めます。検索クローラーは今ユーザーが見る回答を支えます。学習クローラーは来年出るモデルを支えます。前者をブロックすれば見えなくなり、後者をブロックするのはビジネスの判断で、可視性の問題ではありません。

文字列と用途の出典：OpenAI、Perplexity、Anthropic、Google、Meta。

まったくテストできない二つの名前

Google-Extended と Applebot-Extended はリクエストを一切送りません。クローラーではなく、robots.txt の制御トークンです。Google の文書は Google-Extended に独立した HTTP ユーザーエージェント文字列はないと述べ、Apple の文書は Applebot-Extended がページを巡回せず、収集済みコンテンツの使われ方だけを規定すると述べています。つまり「Google-Extended：許可」と報告するツールは、回線で起きたことではなく、あなたの robots.txt を報告しています。観測すべきリクエストが存在しません。

それぞれの応答が意味すること

まずコードを読み、次に本文を読みます。この六つで、普通のサイトがクローラーに返すほぼすべてを覆えます。そして嘘をつけるのは一つ、200 だけです。

この確認があなたを欺く三つの点

確認が速いのは浅いからです。きれいな結果を信じる前に、三つの限界を知っておく価値があります。

1. 使うのはあなたのIPアドレスで、クローラーのものではない。IP範囲やASNで遮断するルール（多くのボット管理製品の実際の仕組み）は、このテストには見えません。それを決めるのはサーバーログです。
2. テストするのは一つのURLだけ。エッジルールはパス単位のことがよくあります。ホーム、深い記事、フォームの奥のページに対してループを回し、比べてください。
3. 200 でも空のページのことがある。コンテンツがクライアント側で描画されるなら、クローラーは殻だけを受け取るかもしれません。-o page.html を足し、記事にあると分かっている一文を探してください。HTML に無ければ、クローラーも見ていません。

最後の点は仮定の話ではありません。稼働中の五つのサイトで、85回のリクエストはすべて 200 を返しました。それでも読める本文は961〜13,393文字に分布していました。同じステータスコードで、十四倍の差です。

よくある質問

GPTBot への 403 は、ChatGPT が引用しないという意味ですか

それだけでは決まりません。GPTBot は学習クローラーです。今日 ChatGPT が表示できるかを決めるのは OAI-SearchBot と ChatGPT-User です。結論を出す前にその二つを確認してください。

学習クローラーは許可すべきですか

技術ではなくビジネスの判断で、この章はあえて答えません。大事なのは、既定値に決められるのではなく、自分で意図して決めることです。

この確認はどの頻度でやり直すべきですか

CDN、ホスト、プラン階層を変えたあとです。既定値が再適用されるのはそのときです。それ以外は四半期に一度。

すべてが 200 を返したなら、AIがサイトを読めることを確認できました。次の問いは、どの検索であと少しのところにいるかです。403 や 503 があれば先にそれを直してください。ブロックはエッジにあり、続きは マニュアル にあります。robots.txt の一行ではありません。

問題を見つけるのは簡単な半分です。ページを変え、公開し、インデックス登録のために更新を送るところで多くのサイトが止まります。このマニュアルが存在する理由はそこにあります。