robots.txt para crawlers de IA: a regra que quebra a maioria dos arquivos

Um robots.txt para crawlers de IA é um arquivo de texto simples que nomeia cada crawler e diz o que ele pode buscar. O arquivo não quebra pela sintaxe. Quebra por isto: um crawler que encontra o próprio nome para de ler suas regras User-agent: *. Adicione uma linha para GPTBot e todas as regras escritas para os outros podem deixar de valer para ele.

Leia isto antes

Este capítulo pressupõe que os crawlers de IA já chegam ao seu servidor. Se isso não estiver confirmado, verifique antes de editar qualquer coisa: um arquivo cheio de linhas Allow não prova nada quando a recusa acontece uma camada acima do seu site. A versão de dois minutos está em verificar se a IA consegue ler seu site.

O que um robots.txt para crawlers de IA pode e não pode fazer

Ele declara uma intenção. É um arquivo que os crawlers escolhem ler e obedecer, e não aplica nada sozinho. Crawlers de IA bem comportados o respeitam. Seu CDN, seu firewall e seu servidor de origem é que decidem se os bytes voltam, e nenhum deles lê este arquivo.

robots.txt decide o que você permite. Ele nunca decide o que você entrega.

A regra que quebra a maioria dos arquivos

Um crawler obedece exatamente a um grupo de regras: o que o nomeia com mais precisão. Ele não volta às suas regras gerais para o que esse grupo específico deixou de fora. A especificação do Google é direta: «Only one group is valid for a particular crawler», e «User agent specific groups and global groups (*) are not combined.»

O que significa que este arquivo não faz o que parece:

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

Lido por uma pessoa, o GPTBot fica fora de três pastas. Lido pelo GPTBot, existe apenas uma linha: /drafts/. Seus caminhos de admin e carrinho voltaram ao menu no momento em que você digitou o segundo grupo. Nada avisa, e o arquivo continua válido.

A correção é repetir cada regra compartilhada dentro de cada grupo nomeado. A repetição parece errada e é correta.

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

Separe os crawlers em três níveis antes de escrever

A decisão não é por crawler, é por trabalho. Três trabalhos, três respostas. Os crawlers de busca alimentam as respostas que as pessoas veem nesta semana: bloqueá-los tira você dessas respostas. Os de treinamento alimentam modelos lançados depois. Os fetchers acionados por um usuário rodam porque alguém fez uma pergunta agora.

Os tokens e seus usos vêm dos próprios operadores: OpenAI, Perplexity, Anthropic, Google, Apple, Meta e Common Crawl. Confira antes de copiar qualquer coisa: esta lista muda.

Um robots.txt para crawlers de IA para copiar

Esta é a forma «permitir busca, decidir treinamento». Troque os dois caminhos privados pelos seus e apague o grupo de treinamento se preferir ser treinado.

# Crawlers de busca e resposta — permitidos, menos caminhos privados
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# Treinamento de modelos — recusado. Apague este grupo para permitir.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Todos os outros
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Linhas User-agent empilhadas compartilham um único conjunto de regras, então cada bloco acima é um grupo, não seis. Note que os caminhos privados aparecem duas vezes de propósito: é a repetição que a seção anterior exige.

Duas linhas desse arquivo não são crawlers

Google-Extended e Applebot-Extended nunca enviam uma requisição ao seu servidor. São tokens de controle: mudam como um conteúdo já coletado por outro crawler pode ser usado. Não há tráfego para observar nem teste ao vivo que confirme que o ajuste funcionou.

Os dois são lidos com frequência como risco de posicionamento, e os dois operadores dizem o contrário por escrito. Google: Google-Extended «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Apple: Applebot-Extended «does not crawl webpages», e «webpages that disallow Applebot-Extended can still be included in search results».

O que robots.txt não vai parar

Os fetchers que rodam porque um usuário pediu algo são outra categoria, e pelo menos um operador diz claramente que ignora seu arquivo. A documentação da Perplexity sobre Perplexity-User: «Since a user requested the fetch, this fetcher generally ignores robots.txt rules.»

A posição honesta é que o nível de baixo da tabela não está sob seu controle por este arquivo. Se uma página não deve ser buscada sob demanda, robots.txt é a ferramenta errada: autenticação é a certa. Não medimos a frequência com que esses fetchers chegam, e não confiaríamos em um número que não viesse dos nossos próprios registros.

Três formas de errar

As três são silenciosas. O arquivo continua válido, nenhuma ferramenta reporta erro, e o dano só aparece depois como tráfego que nunca chega.

1. Bloquear GPTBot esperando que o ChatGPT desapareça. O GPTBot é o crawler de treinamento. O que decide se o ChatGPT pode citar você hoje é o OAI-SearchBot. Bloquear o primeiro e deixar o segundo aberto é uma escolha coerente; confundi-los não é.
2. Adicionar um grupo nomeado e perder as regras compartilhadas. A falha da terceira seção. Depois de cada edição, releia o arquivo uma vez por crawler nomeado e pergunte o que aquele crawler vê sozinho.
3. Editar o arquivo no host errado. As regras só valem para o host, protocolo e porta que servem o arquivo, então https://example.com/robots.txt não governa nada em https://www.example.com. Se os dois nomes respondem, os dois precisam de um arquivo.

Perguntas frequentes

Bloquear o Google-Extended prejudica meu ranking no Google?

Não, e o Google diz isso diretamente: «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Ele governa apenas o treinamento dos modelos Gemini.

Um Disallow remove conteúdo já usado para treinamento?

Não. Todas essas diretivas olham para a frente. Governam buscas futuras, não dados coletados antes de você escrever a linha.

Com que frequência devo revisar o arquivo?

Quando surge um crawler novo — o Meta-WebIndexer é recente o bastante para que a maioria dos exemplos publicados seja anterior a ele — e depois de qualquer migração de plataforma, porque um host novo traz seu próprio arquivo padrão.

Próximo passo

Seu arquivo agora diz o que você quer dizer. Se o seu servidor concorda é outra pergunta, e a discordância comum é um CDN recusando crawlers que o seu robots.txt recebe. Esse é o próximo capítulo, e é a razão mais frequente pela qual um site com um arquivo perfeito continua invisível.

Editar um arquivo é a metade barata. Fazer uma mudança ser escrita, publicada e empurrada para indexação é onde a maioria dos sites trava.