Verificar se a IA consegue ler seu site (em um comando)

A forma mais rápida de verificar se a IA consegue ler seu site é bater na porta fingindo ser cada rastreador de IA e ler o código de status. Um 200 significa que aquele rastreador chegou à sua página. Um 403, um redirecionamento para uma página de verificação ou um tempo esgotado significam que algo na frente do seu site o barrou, e nada no seu robots.txt vai te contar isso. A verificação leva cerca de dois minutos e não precisa de conta nem extensão.

O que «a IA consegue ler meu site» realmente significa

Significa uma coisa só: quando um rastreador de IA envia uma solicitação HTTP para a sua URL, a sua infraestrutura devolve a página? Não é se você autorizou no robots.txt. Não é se o rastreador quer o seu conteúdo. É se os bytes voltaram.

É o primeiro passo do manual, porque todos os seguintes pressupõem que ele passou: uma página que não pode ser baixada não pode ser indexada, posicionada nem citada.

Por que um robots.txt verde não prova nada

O robots.txt expressa a sua intenção. É um arquivo de texto que os rastreadores escolhem obedecer; sozinho, não bloqueia nada. Três camadas decidem se uma solicitação passa: o que o robots.txt permite, o que o seu CDN ou WAF faz na borda e o que o seu servidor de origem devolve. A borda costuma ser a camada que diz não, e ela não aparece no robots.txt.

robots.txt é o que você quer. O seu CDN é o que acontece.

Hospedagens gerenciadas e CDNs trazem regras anti-rastreador ligadas por padrão e atualizadas sem avisar. Você pode escrever uma linha Allow perfeita e ainda assim devolver 403 a todos os rastreadores de IA da internet.

Verificar se a IA consegue ler seu site com um único comando

Troque SITE pela sua própria URL e cole isto num terminal. Uma solicitação por rastreador, só o código de status, nada além de curl.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

Saída real, executada em 14 de agosto de 2026 contra um site em produção, sizemarker.com: doze linhas, doze 200, quatro segundos.

Quais rastreadores de IA vale a pena testar

Eles não fazem todos o mesmo trabalho, e essa diferença define quanto um bloqueio custa. Rastreadores de busca alimentam as respostas que os usuários veem hoje. Rastreadores de treinamento alimentam os modelos do ano que vem. Bloquear os primeiros torna você invisível; bloquear os segundos é uma decisão de negócio, não um problema de visibilidade.

Fontes das cadeias e dos usos: OpenAI, Perplexity, Anthropic, Google, Meta.

Dois nomes que você não consegue testar de jeito nenhum

Google-Extended e Applebot-Extended nunca enviam uma solicitação. São tokens de controle do robots.txt, não rastreadores. A documentação do Google diz que o Google-Extended não tem uma cadeia de user agent HTTP própria; a da Apple diz que o Applebot-Extended não rastreia páginas e só regula como o conteúdo já coletado pode ser usado. Então um verificador que reporta «Google-Extended: permitido» está reportando o seu robots.txt, não o que aconteceu na rede. Não há solicitação para observar.

O que cada resposta significa

Leia o código primeiro, depois o corpo. Esses seis cobrem quase tudo o que um rastreador recebe de um site comum, e só um deles, o 200, ainda pode mentir para você.

Três formas de essa verificação te enganar

A verificação é rápida porque é superficial. Três limites vale a pena conhecer antes de confiar numa rodada limpa.

1. Ela usa o seu endereço IP, não o do rastreador. Regras que bloqueiam por faixa de IP ou ASN — como funcionam vários produtos anti-rastreador — ficam invisíveis a este teste. Os logs do servidor esclarecem isso.
2. Ela testa uma única URL. Regras de borda costumam valer por caminho. Rode o laço contra a página inicial, um artigo profundo e uma página atrás de um formulário, e compare.
3. Um 200 ainda pode ser uma página vazia. Se o seu conteúdo é renderizado no cliente, o rastreador pode receber um casco. Adicione -o page.html e procure uma frase que você sabe que está no artigo; se faltar no HTML, o rastreador também não a viu.

O último ponto não é hipotético. Em cinco sites em produção, todas as 85 solicitações voltaram 200, e o texto legível ainda ia de 961 a 13.393 caracteres. Mesmo código de status, diferença de catorze vezes.

Perguntas frequentes

Um 403 para o GPTBot significa que o ChatGPT não vai me citar?

Não por si só. O GPTBot é o rastreador de treinamento. O que decide se o ChatGPT pode te mostrar hoje são OAI-SearchBot e ChatGPT-User. Verifique esses dois antes de concluir qualquer coisa.

Devo permitir os rastreadores de treinamento?

É uma decisão de negócio, não técnica, e este capítulo não a responde de propósito. O que importa é que você a tome conscientemente, em vez de descobrir que um padrão a tomou por você.

Com que frequência devo repetir esta verificação?

Depois de qualquer mudança no seu CDN, hospedagem ou plano: é aí que os padrões são reaplicados. Fora isso, uma vez por trimestre.

Se tudo voltou 200, você acabou de verificar que a IA consegue ler seu site, e a próxima pergunta é quais buscas você está perto de ganhar. Se algo voltou 403 ou 503, resolva isso primeiro: o bloqueio está na borda, e a continuação está no manual, não numa linha do robots.txt.

Encontrar o problema é a metade fácil. Mudar a página, publicá-la e empurrar a atualização para indexação é onde quase todo site trava, e é a razão de existir deste manual.