Verificare se l’IA può leggere il tuo sito (in un comando)

Il modo più rapido per verificare se l’IA può leggere il tuo sito è bussare alla porta fingendoti ogni crawler dell’IA e leggere il codice di stato. Un 200 significa che quel crawler ha raggiunto la tua pagina. Un 403, un reindirizzamento a una pagina di verifica o un timeout significano che qualcosa davanti al tuo sito lo ha respinto, e nulla nel tuo robots.txt te lo dirà. La verifica richiede circa due minuti e non serve né account né estensione.

Cosa significa davvero «l’IA può leggere il mio sito»

Significa una cosa sola: quando un crawler dell’IA invia una richiesta HTTP al tuo URL, la tua infrastruttura restituisce la pagina? Non se l’hai autorizzato in robots.txt. Non se il crawler vuole il tuo contenuto. Se i byte sono tornati.

È il primo passo del manuale, perché tutti i successivi danno per scontato che sia superato: una pagina che non si riesce a scaricare non può essere indicizzata, posizionata né citata.

Perché un robots.txt verde non prova nulla

Il robots.txt esprime la tua intenzione. È un file di testo che i crawler scelgono di obbedire; da solo non blocca niente. Tre livelli decidono se una richiesta passa: cosa permette il robots.txt, cosa fa il tuo CDN o WAF al bordo e cosa restituisce il tuo server di origine. Il bordo è quasi sempre il livello che dice no, e non compare nel robots.txt.

robots.txt è ciò che vuoi. Il tuo CDN è ciò che accade.

Gli hosting gestiti e i CDN includono regole anti-crawler attive di default e aggiornate senza avvisarti. Puoi scrivere una riga Allow perfetta e restituire comunque 403 a tutti i crawler dell’IA di internet.

Verificare se l’IA può leggere il tuo sito con un solo comando

Sostituisci SITE con il tuo URL e incolla questo in un terminale. Una richiesta per crawler, solo il codice di stato, nient’altro che curl.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

Output reale, eseguito il 14 agosto 2026 contro un sito in produzione, sizemarker.com: dodici righe, dodici 200, quattro secondi.

Quali crawler dell’IA vale la pena testare

Non fanno tutti lo stesso lavoro, e questa differenza decide quanto ti costa un blocco. I crawler di ricerca alimentano le risposte che gli utenti vedono oggi. Quelli di addestramento alimentano i modelli dell’anno prossimo. Bloccare i primi ti rende invisibile; bloccare i secondi è una decisione di business, non un problema di visibilità.

Fonti delle stringhe e degli usi: OpenAI, Perplexity, Anthropic, Google, Meta.

Due nomi che non puoi testare affatto

Google-Extended e Applebot-Extended non inviano mai una richiesta. Sono token di controllo del robots.txt, non crawler. La documentazione di Google dice che Google-Extended non ha una stringa user agent HTTP separata; quella di Apple dice che Applebot-Extended non esegue la scansione delle pagine e regola solo come può essere usato il contenuto già raccolto. Quindi un verificatore che riporta «Google-Extended: consentito» sta riportando il tuo robots.txt, non ciò che è successo sulla rete. Non c’è alcuna richiesta da osservare.

Cosa significa ogni risposta

Leggi prima il codice, poi il corpo. Questi sei coprono quasi tutto ciò che un crawler riceve da un sito normale, e solo uno, il 200, può ancora mentirti.

Tre modi in cui questa verifica ti inganna

La verifica è rapida perché è superficiale. Tre limiti vale la pena conoscerli prima di fidarti di un esito pulito.

1. Usa il tuo indirizzo IP, non quello del crawler. Le regole che bloccano per intervallo IP o ASN — come funzionano diversi prodotti anti-crawler — restano invisibili a questo test. I log del server lo chiariscono.
2. Prova un solo URL. Le regole di bordo spesso valgono per percorso. Lancia il ciclo contro la home, un articolo profondo e una pagina dietro un modulo, poi confronta.
3. Un 200 può restare una pagina vuota. Se il tuo contenuto è renderizzato lato client, il crawler può ricevere un guscio. Aggiungi -o page.html e cerca una frase che sai essere nell’articolo; se manca dall’HTML, il crawler non l’ha vista neanche lui.

Quest’ultimo punto non è ipotetico. Su cinque siti in produzione, tutte le 85 richieste hanno restituito 200, e il testo leggibile andava comunque da 961 a 13.393 caratteri. Stesso codice di stato, differenza di quattordici volte.

Domande frequenti

Un 403 per GPTBot significa che ChatGPT non mi citerà?

Non da solo. GPTBot è il crawler di addestramento. A decidere se ChatGPT può mostrarti oggi sono OAI-SearchBot e ChatGPT-User. Controlla quei due prima di concludere qualcosa.

Dovrei consentire i crawler di addestramento?

È una decisione di business, non tecnica, e questo capitolo non la risponde di proposito. L’importante è prenderla di proposito, invece di scoprire che un valore predefinito l’ha presa per te.

Ogni quanto dovrei ripetere questa verifica?

Dopo ogni modifica a CDN, hosting o piano: è lì che i valori predefiniti vengono riapplicati. Altrimenti una volta a trimestre.

Se tutto ha restituito 200, hai appena verificato che l’IA può leggere il tuo sito, e la domanda successiva è quali ricerche sei vicino a vincere. Se qualcosa ha restituito 403 o 503, sistema prima quello: il blocco è al bordo, e la continuazione è nel manuale, non in una riga del robots.txt.

Trovare il problema è la metà facile. Modificare la pagina, pubblicarla e spingere l’aggiornamento per l’indicizzazione è dove quasi tutti i siti si bloccano, ed è la ragione d’essere di questo manuale.