Cuando el CDN bloquea rastreadores de IA aunque tu robots.txt los deje pasar

Si el navegador abre la página pero un rastreador de IA recibe un 403, lo más probable es que el CDN esté bloqueando al rastreador de IA y no que falle tu servidor. El borde contesta antes de que tu servidor reciba la solicitud, y una sola cabecera alcanza para saber qué proveedor es. Primero identificas el borde; después vas a los controles de bots de ese proveedor. Tocar tus archivos no quita un bloqueo que aplicó el hosting.

Lee esto primero

Este capítulo sigue a verificar si la IA puede leer tu sitio. Si esa revisión dio 200 en todos los rastreadores, aquí no hay nada que arreglar. Vuelve cuando veas 403 o 503: ese es el síntoma que se diagnostica abajo.

Por qué el CDN bloquea lo que tu robots.txt permite

El CDN contesta antes de que el servidor vea la solicitud. Aplica sus propias reglas de bots, publicadas por el proveedor y actualizadas según su calendario, y no consulta robots.txt para decidir. Por eso los dos pueden contradecirse para siempre: tu archivo dice «entren», el borde dice «no», y ambos hacen lo que fueron diseñados para hacer.

Nadie te pide permiso para cambiar un valor por defecto en tu nombre. Revísalo cada vez que cambie tu plan.

Encontrar el CDN que bloquea rastreadores de IA con un comando

No hace falta adivinar. Las cabeceras de respuesta lo dicen, porque cada borde grande firma su propia solicitud. Un curl y una comparación con la tabla alcanzan.

curl -sI -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)" \
  https://example.com/ | grep -iE 'server|cf-ray|x-vercel|x-nf-request|x-served-by|x-amz-cf-id|x-cache'

Qué mostró la prueba en once sitios

El 15 de agosto de 2026 mandé esa solicitud exacta, con el agente OAI-SearchBot, a once sitios conocidos. Todos contestaron 200. Ese día ningún sitio de marca grande rechazó a un rastreador de búsqueda con IA en el borde, un dato útil antes de asumir que el problema es tuyo.

Lo más interesante fue quién estaba detrás de Cloudflare. shopify.com y webflow.com respondían con cf-ray. Si tienes una tienda o un sitio en cualquiera de esas plataformas, las reglas que te afectan son las de Cloudflare, aunque no administres esa cuenta.

Una salvedad, igual a la de todas las revisiones de este manual: las solicitudes salían de mi dirección, no de la del rastreador. Las reglas que filtran por rango de IP no aparecen en esta prueba.

Dónde quedan los controles de rastreadores de IA en cada plataforma

Busca la función por nombre, no por la ruta del menú. Los proveedores mueven los menús todo el tiempo y una ruta vieja te manda a buscar algo que ya cambió de nombre.

Vercel documenta sus dos conjuntos como apagados hasta que los enciendas. Por eso un sitio en Vercel que rechaza rastreadores de IA suele estar siendo rechazado en otro lado. Fuentes: Cloudflare, Vercel, Shopify.

Con dos bordes apilados, contesta solo el de afuera

Muchos sitios ponen una plataforma delante de otra; Cloudflare delante de Vercel es la combinación más común. El servicio de afuera contesta, así que sus cabeceras son las que ves y sus reglas las que actúan. Los ajustes de bots de la plataforma interna pueden no consultarse nunca.

Vercel lo dice en su documentación: «Bot Protection doesn't work when a reverse proxy (e.g. Cloudflare, Azure, or other CDNs) is placed in front of your Vercel deployment.» Si tus cabeceras muestran cf-ray, empieza por Cloudflare aunque te consideres un sitio de Vercel.

Tres maneras de perder una tarde

Las tres te llevan a un lugar donde la respuesta no estaba.

1. Editar robots.txt para arreglar un 403. Un 403 significa que la solicitud fue rechazada. robots.txt se lee después de recibir una respuesta, así que no puede deshacer el rechazo. Arregla el borde y luego usa robots.txt para expresar lo que quieres.
2. Probar con el navegador y concluir que estás bien. Las reglas de bots dependen del agente, y tu navegador es justo el cliente que no va a reproducir la falla. Vuelve a probar con el agente del rastreador.
3. Arreglar la plataforma interna mientras la de afuera rechaza. Mira las cabeceras antes de cambiar un ajuste, o vas a mover perillas en un servicio que nunca recibió la solicitud.

Preguntas frecuentes

Mi hosting dice que no bloquea rastreadores de IA. ¿Por qué recibo un 403?

Las reglas WAF administradas, los límites de frecuencia y las páginas de desafío generan rechazos sin llamarse «bloqueo de IA». Un 503 con una página intermedia es un desafío, y los rastreadores no resuelven desafíos: trátalo como bloqueo.

¿Puedo distinguir un bloqueo del CDN de uno del servidor?

Casi siempre. Un rechazo del borde llega rápido, trae cabeceras del CDN y ninguna de tu aplicación. Si ves las cabeceras de tu framework o una página que renderizó tu app, la solicitud sí te llegó.

¿Por qué no hay pasos con capturas del panel?

Porque publicaríamos rutas de menú que no podemos revisar en cada actualización de los proveedores, y una ruta equivocada es peor que ninguna. Los nombres de las funciones cambian mucho más despacio que los menús.

Siguiente paso

Cuando todos los rastreadores reciban 200, el problema deja de ser que te alcancen y pasa a ser que valga la pena rastrearte. Eso quiere decir elegir las búsquedas que estás cerca de ganar; ahí el manual pasa de la plomería al contenido.

Diagnosticar el bloqueo es lo rápido. Hacer el cambio, publicarlo y empujar la actualización para la indexación es donde se traba la mayoría de los sitios.