Vérifier si l’IA peut lire votre site (en une commande)

Le moyen le plus rapide de vérifier si l’IA peut lire votre site est de frapper à la porte en vous faisant passer pour chaque robot d’IA et de lire le code de statut. Un 200 signifie que ce robot a atteint votre page. Un 403, une redirection vers une page de vérification ou un délai d’attente signifient que quelque chose devant votre site l’a refusé — et rien dans votre robots.txt ne vous le dira. La vérification prend environ deux minutes et ne demande ni compte ni extension.

Ce que « l’IA peut-elle lire mon site » veut dire

Cela veut dire une chose précise : quand un robot d’IA envoie une requête HTTP vers votre URL, votre infrastructure renvoie-t-elle la page ? Pas « l’avez-vous autorisé dans robots.txt ». Pas « le robot veut-il votre contenu ». Est-ce que les octets sont revenus.

C’est la première étape du manuel, parce que toutes les suivantes supposent qu’elle est passée : une page qu’on ne peut pas récupérer ne peut être ni indexée, ni classée, ni citée.

Pourquoi un robots.txt bien vert ne prouve rien

robots.txt exprime votre intention. C’est un fichier texte que les robots choisissent d’obéir ; il ne bloque rien par lui-même. Trois couches décident si une requête aboutit : ce que robots.txt autorise, ce que fait votre CDN ou WAF en bordure, et ce que renvoie votre serveur d’origine. La bordure est presque toujours la couche qui dit non, et elle n’apparaît pas dans robots.txt.

robots.txt, c’est ce que vous voulez. Votre CDN, c’est ce qui se passe.

Les hébergeurs gérés et les CDN livrent des règles anti-robots activées par défaut et mises à jour sans vous demander. Vous pouvez écrire une ligne Allow parfaite et renvoyer quand même un 403 à tous les robots d’IA du web.

Vérifier si l’IA peut lire votre site en une commande

Remplacez SITE par votre propre URL et collez ceci dans un terminal. Une requête par robot, le code de statut seulement, rien d’autre que curl.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

Sortie réelle, exécutée le 14 août 2026 contre un site en production, sizemarker.com : douze lignes, douze 200, quatre secondes.

Quels robots d’IA valent la peine d’être testés

Ils ne font pas tous le même travail, et cette différence décide de ce que vous coûte un blocage. Les robots de recherche alimentent les réponses que les utilisateurs voient aujourd’hui. Les robots d’entraînement alimentent les modèles de l’année prochaine. Bloquer les premiers vous rend invisible ; bloquer les seconds est une décision d’entreprise, pas un problème de visibilité.

Sources des chaînes et des usages : OpenAI, Perplexity, Anthropic, Google, Meta.

Deux noms que vous ne pouvez pas tester du tout

Google-Extended et Applebot-Extended n’envoient jamais de requête. Ce sont des jetons de contrôle robots.txt, pas des robots. La documentation de Google dit que Google-Extended n’a pas de chaîne user-agent HTTP séparée ; celle d’Apple dit qu’Applebot-Extended ne parcourt pas les pages et ne régit que l’usage de contenu déjà collecté. Un outil qui affiche « Google-Extended : autorisé » vous rapporte donc votre robots.txt, pas ce qui s’est passé sur le réseau. Il n’y a aucune requête à observer.

Ce que signifie chaque réponse

Lisez d’abord le code, puis le corps. Ces six-là couvrent presque tout ce qu’un robot reçoit d’un site ordinaire, et un seul, le 200, peut encore vous mentir.

Trois façons dont cette vérification vous trompe

La vérification est rapide parce qu’elle est superficielle. Trois limites valent la peine d’être connues avant de faire confiance à un passage propre.

1. Elle utilise votre adresse IP, pas celle du robot. Les règles qui bloquent par plage IP ou ASN — le fonctionnement réel de plusieurs produits anti-robots — restent invisibles à ce test. Les journaux serveur, eux, tranchent.
2. Elle teste une seule URL. Les règles de bordure sont souvent limitées à un chemin. Lancez la boucle sur votre page d’accueil, un article profond et une page derrière un formulaire, puis comparez.
3. Un 200 peut encore être une page vide. Si votre contenu s’affiche côté client, le robot peut recevoir une coquille. Ajoutez -o page.html et cherchez une phrase que vous savez présente ; si elle manque au HTML, le robot ne l’a pas vue non plus.

Ce dernier point n’est pas hypothétique. Sur cinq sites en production, les 85 requêtes ont toutes renvoyé 200 — et le texte lisible allait tout de même de 961 à 13 393 caractères. Même code de statut, écart quatorze fois.

Questions fréquentes

Un 403 pour GPTBot signifie-t-il que ChatGPT ne me citera pas ?

Pas en soi. GPTBot est le robot d’entraînement. Ce qui décide si ChatGPT peut vous faire remonter aujourd’hui, ce sont OAI-SearchBot et ChatGPT-User. Vérifiez ces deux-là avant de conclure quoi que ce soit.

Faut-il autoriser les robots d’entraînement ?

Décision d’entreprise, pas technique — ce chapitre ne tranche volontairement pas. L’important est de la prendre exprès, au lieu de découvrir qu’un réglage par défaut l’a prise pour vous.

À quelle fréquence relancer cette vérification ?

Après toute modification de votre CDN, hébergeur ou niveau d’offre — c’est là que les défauts sont réappliqués. Sinon, une fois par trimestre.

Si tout renvoie 200, vous venez de vérifier que l’IA peut lire votre site, et la question suivante est quelles recherches vous êtes près de gagner. Si quelque chose renvoie 403 ou 503, corrigez-le d’abord : le blocage est en bordure, et la suite est dans le manuel, pas dans une ligne de robots.txt.

Trouver le problème est la moitié facile. Modifier la page, la publier et pousser la mise à jour pour l’indexation est là où la plupart des sites calent — toute la raison d’être de ce manuel.