Comprobar si la IA puede leer tu sitio (en un comando)

La forma más rápida de comprobar si la IA puede leer tu sitio es llamar a la puerta haciéndote pasar por cada rastreador de IA y leer el código de estado. Un 200 significa que ese rastreador llegó a tu página. Un 403, una redirección a una página de verificación o un tiempo de espera agotado significan que algo delante de tu sitio lo rechazó, y nada en tu robots.txt te lo dirá. La comprobación tarda unos dos minutos y no necesita cuenta ni extensión.

Qué significa de verdad «la IA puede leer mi sitio»

Significa una cosa concreta: cuando un rastreador de IA envía una petición HTTP a tu URL, ¿tu infraestructura le devuelve la página? No si lo autorizaste en robots.txt. No si el rastreador quiere tu contenido. Si los bytes volvieron.

Es el primer paso del manual, porque todos los siguientes dan por hecho que se superó: una página que no se puede recuperar no se puede indexar, ni posicionar, ni citar.

Por qué un robots.txt en verde no demuestra nada

robots.txt expresa tu intención. Es un archivo de texto que los rastreadores eligen obedecer; por sí solo no bloquea nada. Tres capas deciden si una petición prospera: lo que robots.txt permite, lo que hace tu CDN o WAF en el borde y lo que devuelve tu servidor de origen. El borde suele ser la capa que dice no, y no aparece en robots.txt.

robots.txt es lo que quieres. Tu CDN es lo que pasa.

Los alojamientos gestionados y las CDN traen reglas anti-rastreador activadas por defecto y actualizadas sin avisarte. Puedes escribir una línea Allow perfecta y aun así devolver 403 a todos los rastreadores de IA de internet.

Comprobar si la IA puede leer tu sitio con un solo comando

Cambia SITE por tu propia URL y pega esto en una terminal. Una petición por rastreador, solo el código de estado, nada más que curl.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

Salida real, ejecutada el 14 de agosto de 2026 contra un sitio en producción, sizemarker.com: doce líneas, doce 200, cuatro segundos.

Qué rastreadores de IA merece la pena probar

No todos hacen el mismo trabajo, y esa diferencia decide cuánto te cuesta un bloqueo. Los rastreadores de búsqueda alimentan las respuestas que los usuarios ven hoy. Los de entrenamiento alimentan los modelos del año que viene. Bloquear a los primeros te vuelve invisible; bloquear a los segundos es una decisión de negocio, no un problema de visibilidad.

Fuentes de las cadenas y los usos: OpenAI, Perplexity, Anthropic, Google, Meta.

Dos nombres que no puedes probar en absoluto

Google-Extended y Applebot-Extended nunca envían una petición. Son tokens de control de robots.txt, no rastreadores. La documentación de Google dice que Google-Extended no tiene una cadena de user agent HTTP propia; la de Apple dice que Applebot-Extended no rastrea páginas y solo regula cómo puede usarse el contenido ya recogido. Así que un comprobador que informe «Google-Extended: permitido» está informando de tu robots.txt, no de lo que pasó en la red. No hay petición que observar.

Qué significa cada respuesta

Lee primero el código y luego el cuerpo. Estos seis cubren casi todo lo que un rastreador recibe de un sitio normal, y solo uno, el 200, todavía puede mentirte.

Tres formas en que esta comprobación te engaña

La comprobación es rápida porque es superficial. Tres límites conviene conocerlos antes de fiarte de un resultado limpio.

1. Usa tu dirección IP, no la del rastreador. Las reglas que bloquean por rango de IP o ASN — como funcionan varios productos anti-rastreador — quedan invisibles a esta prueba. Los registros del servidor lo aclaran.
2. Prueba una sola URL. Las reglas de borde suelen aplicarse por ruta. Lanza el bucle contra tu portada, un artículo profundo y una página tras un formulario, y compara.
3. Un 200 puede seguir siendo una página vacía. Si tu contenido se renderiza en el cliente, el rastreador puede recibir un cascarón. Añade -o page.html y busca una frase que sepas que está en el artículo; si falta del HTML, el rastreador tampoco la vio.

Esto último no es hipotético. En cinco sitios en producción, las 85 peticiones devolvieron 200, y el texto legible seguía yendo de 961 a 13.393 caracteres. Mismo código de estado, una diferencia de catorce veces.

Preguntas frecuentes

¿Un 403 para GPTBot significa que ChatGPT no me citará?

No por sí solo. GPTBot es el rastreador de entrenamiento. Lo que decide si ChatGPT puede mostrarte hoy son OAI-SearchBot y ChatGPT-User. Comprueba esos dos antes de concluir nada.

¿Debería permitir los rastreadores de entrenamiento?

Es una decisión de negocio, no técnica, y este capítulo no la responde a propósito. Lo importante es que la tomes a conciencia, en lugar de descubrir que un valor por defecto la tomó por ti.

¿Cada cuánto debería repetir esta comprobación?

Tras cualquier cambio en tu CDN, alojamiento o plan: ahí es cuando se reaplican los valores por defecto. Por lo demás, una vez al trimestre.

Si todo devolvió 200, acabas de comprobar que la IA puede leer tu sitio, y la siguiente pregunta es qué búsquedas estás cerca de ganar. Si algo devolvió 403 o 503, arregla eso primero: el bloqueo está en el borde, y la continuación está en el manual, no en una línea de robots.txt.

Encontrar el problema es la mitad fácil. Cambiar la página, publicarla y empujar la actualización para la indexación es donde se atascan casi todos los sitios, y es la razón de ser de este manual.