robots.txt para rastreadores de IA: la regla que rompe la mayoría de los archivos

Un robots.txt para rastreadores de IA es un archivo de texto plano que nombra a cada rastreador y dice qué puede recoger. No lo rompe la sintaxis. Lo rompe esto: un rastreador que encuentra su propio nombre en tu archivo deja de leer tus reglas User-agent: *. Añade una línea para GPTBot y todas las reglas escritas para los demás pueden dejar de aplicarse a él.

Lee esto primero

Este capítulo da por hecho que los rastreadores de IA ya llegan a tu servidor. Si no lo has confirmado, hazlo antes de tocar nada: un archivo lleno de líneas Allow no prueba nada cuando el rechazo ocurre una capa por encima de tu sitio. La versión de dos minutos está en comprobar si la IA puede leer tu sitio.

Qué puede y qué no puede hacer un robots.txt para rastreadores de IA

Declara una intención. Es un archivo que los rastreadores eligen leer y obedecer, y no aplica nada por sí mismo. Los rastreadores de IA bien comportados lo respetan. Tu CDN, tu firewall y tu servidor de origen son los que deciden de verdad si vuelven los bytes, y ninguno de ellos lee este archivo.

robots.txt decide lo que permites. Nunca decide lo que sirves.

La regla que rompe la mayoría de los archivos

Un rastreador obedece exactamente un grupo de reglas: el que lo nombra con más precisión. No vuelve a tus reglas generales para lo que ese grupo específico omite. La especificación de Google es tajante: «Only one group is valid for a particular crawler», y «User agent specific groups and global groups (*) are not combined.»

Lo que significa que este archivo no hace lo que parece:

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

Leído por una persona, GPTBot queda fuera de tres carpetas. Leído por GPTBot, solo existe una línea: /drafts/. Tus rutas de administración y carrito volvieron al menú en el momento en que escribiste ese segundo grupo. Nada te avisa, y el archivo sigue siendo válido.

El arreglo es repetir cada regla compartida dentro de cada grupo nombrado. La repetición parece un error y es correcta.

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

Ordena los rastreadores en tres niveles antes de escribir una línea

La decisión no es por rastreador, sino por trabajo. Tres trabajos, tres respuestas. Los rastreadores de búsqueda alimentan las respuestas que la gente ve esta semana: bloquearlos te quita de esas respuestas. Los de entrenamiento alimentan modelos que se lanzan después. Los fetchers que dispara un usuario corren porque alguien hizo una pregunta ahora mismo.

Los tokens y sus usos vienen de los propios operadores: OpenAI, Perplexity, Anthropic, Google, Apple, Meta y Common Crawl. Compruébalos antes de copiar nada: esta lista se mueve.

Un robots.txt para rastreadores de IA que puedes copiar

Esta es la forma «permitir búsqueda, decidir entrenamiento». Sustituye las dos rutas privadas por las tuyas y borra el grupo de entrenamiento si prefieres que te entrenen.

# Rastreadores de búsqueda y respuestas — permitidos, salvo rutas privadas
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# Entrenamiento de modelos — rechazado. Borra este grupo para permitirlo.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Todos los demás
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Las líneas User-agent apiladas comparten un solo juego de reglas, así que cada bloque de arriba es un grupo, no seis. Fíjate en que las rutas privadas están escritas dos veces a propósito: es la repetición que exige la sección anterior.

Dos líneas de ese archivo no son rastreadores

Google-Extended y Applebot-Extended nunca envían una petición a tu servidor. Son tokens de control: cambian cómo puede usarse un contenido que otro rastreador ya recogió. No hay tráfico que observar ni prueba en vivo que confirme que tu ajuste surtió efecto.

Los dos se leen a menudo como riesgos de posicionamiento, y los dos operadores dicen lo contrario por escrito. Google: Google-Extended «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Apple: Applebot-Extended «does not crawl webpages», y «webpages that disallow Applebot-Extended can still be included in search results».

Lo que robots.txt no detendrá

Los fetchers que corren porque un usuario pidió algo son otra categoría, y al menos un operador dice claramente que ignora tu archivo. La documentación de Perplexity sobre Perplexity-User: «Since a user requested the fetch, this fetcher generally ignores robots.txt rules.»

La posición honesta es que el nivel de abajo de la tabla no está bajo tu control mediante este archivo. Si una página no debe recogerse a demanda, robots.txt es la herramienta equivocada: la autenticación es la correcta. No tenemos mediciones de la frecuencia real de estos fetchers, y no nos fiaríamos de un número que no hubiéramos sacado de nuestros propios registros.

Tres formas de equivocarse

Las tres son silenciosas. El archivo sigue válido, ninguna herramienta reporta un error, y el daño solo aparece después como tráfico que nunca llega.

1. Bloquear GPTBot esperando que ChatGPT desaparezca. GPTBot es el rastreador de entrenamiento. Lo que decide si ChatGPT puede citarte hoy es OAI-SearchBot. Bloquear el primero y dejar abierto el segundo es una decisión coherente; confundirlos no lo es.
2. Añadir un grupo nombrado y perder las reglas compartidas. El fallo de la tercera sección. Después de cada edición, relee el archivo una vez por rastreador nombrado y pregunta qué ve ese rastreador solo.
3. Editar el archivo en el host equivocado. Las reglas solo se aplican al host, protocolo y puerto que las sirven, así que https://example.com/robots.txt no gobierna nada en https://www.example.com. Si los dos nombres responden, los dos necesitan un archivo.

Preguntas frecuentes

¿Bloquear Google-Extended perjudica mi ranking en Google?

No, y Google lo dice directamente: «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Solo gobierna el entrenamiento de los modelos Gemini.

¿Un Disallow retira contenido ya usado para entrenamiento?

No. Todas estas directivas miran hacia delante. Gobiernan recogidas futuras, no datos recogidos antes de que escribieras la línea.

¿Cada cuánto reviso el archivo?

Cuando aparece un rastreador nuevo —Meta-WebIndexer es bastante reciente, y la mayoría de ejemplos publicados son anteriores— y después de cualquier migración de plataforma, porque un host nuevo trae su propio archivo por defecto.

Siguiente paso

Tu archivo ya dice lo que quieres decir. Si tu servidor está de acuerdo es otra pregunta, y el desacuerdo habitual es un CDN que rechaza rastreadores que tu robots.txt recibe. Ese es el capítulo siguiente, y es la razón más frecuente por la que un sitio con un archivo perfecto sigue invisible.

Editar un archivo es la mitad barata. Conseguir que un cambio se escriba, se publique y se empuje para indexación es donde la mayoría de los sitios se atasca.