robots.txt per crawler IA: la regola che rompe la maggior parte dei file

Un robots.txt per crawler IA è un semplice file di testo che nomina ogni crawler e indica cosa può recuperare. La sintassi non rompe il file. Lo rompe questo: un crawler che trova il proprio nome smette di leggere le tue regole User-agent: *. Aggiungi una riga per GPTBot e tutte le regole scritte per gli altri possono smettere di valere per lui.

Leggi prima questo

Questo capitolo presume che i crawler IA raggiungano già il tuo server. Se non l'hai confermato, fallo prima di modificare qualsiasi cosa: un file pieno di righe Allow non prova nulla quando il rifiuto avviene un livello sopra il tuo sito. La versione da due minuti è in verificare se l'IA può leggere il tuo sito.

Cosa può e cosa non può fare un robots.txt per crawler IA

Dichiara un'intenzione. È un file che i crawler scelgono di leggere e rispettare, e non impone nulla da solo. I crawler IA ben educati lo rispettano. Il tuo CDN, il firewall e il server di origine decidono davvero se i byte tornano, e nessuno di loro legge questo file.

robots.txt decide cosa permetti. Non decide mai cosa servi.

La regola che rompe la maggior parte dei file

Un crawler obbedisce esattamente a un gruppo di regole: quello che lo nomina con più precisione. Non torna alle regole generali per ciò che quel gruppo specifico omette. La specifica di Google è netta: «Only one group is valid for a particular crawler», e «User agent specific groups and global groups (*) are not combined.»

Il che significa che questo file non fa quello che sembra:

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

Letto da una persona, GPTBot resta fuori da tre cartelle. Letto da GPTBot, esiste una sola riga: /drafts/. I percorsi admin e carrello sono tornati disponibili nel momento in cui hai scritto il secondo gruppo. Niente ti avvisa, e il file resta valido.

La correzione è ripetere ogni regola condivisa dentro ogni gruppo nominato. La ripetizione sembra sbagliata ed è corretta.

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

Dividi i crawler in tre livelli prima di scrivere

La decisione non è per crawler, è per lavoro. Tre lavori, tre risposte. I crawler di ricerca alimentano le risposte che le persone vedono questa settimana: bloccarli ti toglie da quelle risposte. Quelli di addestramento alimentano modelli rilasciati dopo. I fetcher attivati da un utente girano perché qualcuno ha fatto una domanda adesso.

I token e i loro usi vengono dagli operatori stessi: OpenAI, Perplexity, Anthropic, Google, Apple, Meta e Common Crawl. Controllali prima di copiare qualsiasi cosa: questa lista si muove.

Un robots.txt per crawler IA da copiare

Questa è la forma «consenti la ricerca, decidi l'addestramento». Sostituisci i due percorsi privati con i tuoi ed elimina il gruppo di addestramento se preferisci essere addestrato.

# Crawler di ricerca e risposta — consentiti, tranne i percorsi privati
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# Addestramento modelli — rifiutato. Elimina il gruppo per consentirlo.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Tutti gli altri
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Le righe User-agent impilate condividono un solo insieme di regole, quindi ogni blocco sopra è un gruppo, non sei. I percorsi privati sono scritti due volte di proposito: è la ripetizione richiesta dalla sezione precedente.

Due righe di quel file non sono crawler

Google-Extended e Applebot-Extended non inviano mai una richiesta al tuo server. Sono token di controllo: cambiano come può essere usato un contenuto già raccolto da un altro crawler. Non c'è traffico da osservare né un test dal vivo che confermi che l'impostazione abbia effetto.

Entrambi vengono letti spesso come rischio di posizionamento, e entrambi gli operatori dicono il contrario per iscritto. Google: Google-Extended «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Apple: Applebot-Extended «does not crawl webpages», e «webpages that disallow Applebot-Extended can still be included in search results».

Cosa robots.txt non fermerà

I fetcher che girano perché un utente ha chiesto qualcosa sono un'altra categoria, e almeno un operatore dice chiaramente che ignora il tuo file. La documentazione di Perplexity su Perplexity-User: «Since a user requested the fetch, this fetcher generally ignores robots.txt rules.»

La posizione onesta è che il livello in fondo alla tabella non è sotto il tuo controllo tramite questo file. Se una pagina non deve essere recuperata su richiesta, robots.txt è lo strumento sbagliato: l'autenticazione è quello giusto. Non abbiamo misure su quanto spesso arrivino davvero questi fetcher, e non ci fideremmo di un numero che non venisse dai nostri log.

Tre modi di sbagliare

Tutti e tre sono silenziosi. Il file resta valido, nessuno strumento segnala un errore, e il danno compare solo dopo come traffico che non arriva.

1. Bloccare GPTBot sperando che ChatGPT sparisca. GPTBot è il crawler di addestramento. Ciò che decide se ChatGPT può citarti oggi è OAI-SearchBot. Bloccare il primo e lasciare aperto il secondo è una scelta coerente; confonderli non lo è.
2. Aggiungere un gruppo nominato e perdere le regole condivise. Il guasto della terza sezione. Dopo ogni modifica, rileggi il file una volta per ogni crawler nominato e chiedi cosa vede quel crawler da solo.
3. Modificare il file sull'host sbagliato. Le regole valgono solo per host, protocollo e porta che le servono, quindi https://example.com/robots.txt non governa nulla su https://www.example.com. Se rispondono entrambi gli hostname, servono entrambi i file.

Domande frequenti

Bloccare Google-Extended danneggia il mio ranking su Google?

No, e Google lo dice direttamente: «does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search». Governa solo l'addestramento dei modelli Gemini.

Un Disallow rimuove contenuti già usati per l'addestramento?

No. Tutte queste direttive guardano avanti. Governano i recuperi futuri, non i dati raccolti prima che scrivessi la riga.

Ogni quanto rivedere il file?

Quando compare un nuovo crawler — Meta-WebIndexer è abbastanza recente che la maggior parte degli esempi pubblicati è precedente — e dopo ogni migrazione di piattaforma, perché un nuovo host porta il proprio file predefinito.

Prossimo passo

Il tuo file ora dice quello che vuoi dire. Se il tuo server è d'accordo è un'altra domanda, e il disaccordo tipico è un CDN che rifiuta crawler che il tuo robots.txt accoglie. È il capitolo successivo, ed è la ragione più frequente per cui un sito con un file perfetto resta invisibile.

Modificare un file è la metà economica. Far scrivere, pubblicare e spingere una modifica per l'indicizzazione è dove la maggior parte dei siti si blocca.