Cuando el CDN bloquea rastreadores de IA y tu robots.txt no hace nada

Cuando tu navegador carga una página pero un rastreador de IA recibe un 403, casi seguro que el CDN bloquea al rastreador de IA y no es un fallo de tu servidor. El borde responde antes de que tu servidor vea la petición, y una cabecera basta para identificar al proveedor. Localiza primero el borde y luego ve a los controles de bots de ese proveedor: editar tus propios archivos no levanta un bloqueo aplicado por tu hosting.

Lee esto primero

Este capítulo empieza donde termina comprobar si la IA puede leer tu sitio. Si esa comprobación devuelve 200 para todos los rastreadores, aquí no hay nada que corregir. Vuelve cuando algo devuelva 403 o 503: ese es el síntoma que diagnostica este capítulo.

Por qué un CDN bloquea lo que tu robots.txt permite

Tu CDN responde antes de que tu servidor reciba la petición. Ejecuta sus propias reglas de bots, publicadas por el proveedor, actualizadas según su calendario, y no consulta robots.txt para decidir. Los dos pueden contradecirse de forma permanente: tu archivo dice que entren, el borde dice que no, y ambos funcionan como fueron diseñados.

Nadie te pide permiso para cambiar un valor por defecto en tu nombre. Revísalo después de cada cambio de plan.

Encontrar el CDN que bloquea rastreadores IA con un comando

No necesitas saberlo. Las cabeceras de respuesta lo dicen, porque cada borde importante firma su propia petición. Un curl, y comparas los nombres de cabecera con la tabla.

curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
  https://example.com/ | grep -iE 'server|cf-ray|x-vercel|x-nf-request|x-served-by|x-amz-cf-id|x-cache'

Qué mostró la prueba en once sitios

El 15 de agosto de 2026 envié esa petición exacta, con el agente OAI-SearchBot, a once sitios conocidos. Todos respondieron 200. Ningún sitio de gran marca rechazó a un rastreador de búsqueda IA en el borde ese día, lo cual conviene saber antes de suponer que el bloqueo es tuyo.

El resultado más útil fue quién estaba detrás de Cloudflare. shopify.com y webflow.com respondían con cf-ray. Si tienes una tienda o un sitio en cualquiera de esas plataformas, las reglas de bots que te afectan son las de Cloudflare, aunque tú no gestiones esa cuenta.

Una salvedad, la misma que limita todas las comprobaciones de este manual: estas peticiones salían de mi dirección, no de la del rastreador. Las reglas que filtran por rango de IP siguen siendo invisibles a esta prueba.

Dónde guarda cada plataforma sus controles de rastreadores IA

Busca la función por su nombre, no por una ruta de menú. Los proveedores mueven los menús constantemente, y una ruta obsoleta te manda a buscar algo que ya se llama de otra forma.

Vercel documenta sus dos conjuntos de reglas como desactivados hasta que los enciendes. Un sitio en Vercel que rechaza rastreadores IA suele estar siendo rechazado en otro lugar. Fuentes: Cloudflare, Vercel, Shopify.

Cuando se apilan dos bordes, solo responde el exterior

Muchos sitios colocan una plataforma delante de otra; Cloudflare delante de Vercel es la pareja habitual. El servicio exterior responde, así que sus cabeceras son las que ves y sus reglas las que actúan. Puede que los ajustes de bots de la plataforma interior nunca lleguen a consultarse.

Vercel lo dice en su documentación: «Bot Protection doesn't work when a reverse proxy (e.g. Cloudflare, Azure, or other CDNs) is placed in front of your Vercel deployment.» Si tus cabeceras muestran cf-ray, empieza por Cloudflare aunque te consideres un sitio de Vercel.

Tres formas de equivocarse

Cada una cuesta una tarde en un lugar donde la respuesta no estaba.

1. Editar robots.txt para arreglar un 403. Un 403 significa que la petición fue rechazada. robots.txt es un archivo que el solicitante lee después de recibir una respuesta, así que no puede deshacer un rechazo. Corrige el borde y luego usa robots.txt para decir lo que de verdad quieres.
2. Probar con un navegador y concluir que todo está bien. Las reglas de bots se basan en el agente, y tu navegador es justo el cliente que no va a reproducir el problema. Vuelve a probar siempre con el agente del rastreador.
3. Arreglar la plataforma interior mientras la exterior rechaza. Revisa las cabeceras antes de cambiar un ajuste, o estarás girando mandos en un servicio que nunca vio la petición.

Preguntas frecuentes

Mi hosting dice que no bloquea rastreadores IA. ¿Por qué recibo un 403?

Las reglas WAF gestionadas, los límites de frecuencia y las páginas de desafío producen rechazos sin etiquetarse como bloqueo de IA. Un 503 con una página intermedia es un desafío, y los rastreadores no resuelven desafíos: trátalo como un bloqueo.

¿Se puede distinguir un bloqueo del CDN de uno del servidor?

Normalmente sí. Un rechazo del borde llega rápido, trae las cabeceras del CDN y ninguna de tu aplicación. Si la respuesta incluye las cabeceras de tu framework o una página renderizada por tu aplicación, la petición te llegó.

¿Por qué este capítulo no da pasos con capturas del panel?

Porque publicaríamos rutas de menú que no podemos volver a verificar con cada actualización de los proveedores, y una ruta equivocada es peor que ninguna. Los nombres de las funciones cambian mucho más despacio que los menús.

Siguiente paso

Cuando todos los rastreadores reciban un 200, el problema deja de ser que te alcancen y pasa a ser que merezca la pena rastrearte. Eso significa elegir las búsquedas que estás cerca de ganar, y ahí el manual pasa de la fontanería al contenido.

Diagnosticar el bloqueo es la parte rápida. Hacer el cambio, publicarlo y empujar la actualización para la indexación es donde se atasca la mayoría de los sitios.