robots.txt für KI-Crawler: die Regel, die die meisten Dateien bricht

Eine robots.txt für KI-Crawler ist eine reine Textdatei, die jeden Crawler benennt und festlegt, was er abrufen darf. Die Syntax bricht die Datei nicht. Das hier bricht sie: Ein Crawler, der seinen eigenen Namen findet, hört auf, deine User-agent: *-Regeln zu lesen. Eine Zeile für GPTBot hinzufügen, und jede Regel für alle anderen kann für ihn still aufhören zu gelten.

Lies das zuerst

Dieses Kapitel setzt voraus, dass KI-Crawler deinen Server bereits erreichen. Wenn du das nicht bestätigt hast, prüfe es, bevor du irgendetwas änderst: Eine Datei voller Allow-Zeilen beweist nichts, wenn die Ablehnung eine Ebene über deiner Website passiert. Die Zwei-Minuten-Version steht in prüfen, ob die KI deine Website lesen kann.

Was eine robots.txt für KI-Crawler kann und was nicht

Sie erklärt eine Absicht. Es ist eine Datei, die Crawler freiwillig lesen und befolgen, und sie erzwingt von sich aus nichts. Gut erzogene KI-Crawler halten sich daran. Dein CDN, deine Firewall und dein Origin-Server entscheiden tatsächlich, ob Bytes zurückkommen, und keiner von ihnen liest diese Datei.

robots.txt entscheidet, was du erlaubst. Sie entscheidet nie, was du auslieferst.

Die Regel, die die meisten Dateien bricht

Ein Crawler befolgt genau eine Regelgruppe – die, die ihn am genauesten benennt – und fällt für das, was diese Gruppe auslässt, nicht auf deine allgemeinen Regeln zurück. Googles Spezifikation ist deutlich: „Only one group is valid for a particular crawler“ und „User agent specific groups and global groups (*) are not combined.“

Das heißt, diese Datei tut nicht, was sie zu tun scheint:

User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
Disallow: /drafts/

Von einem Menschen gelesen, bleibt GPTBot aus drei Verzeichnissen draußen. Von GPTBot gelesen, existiert nur eine Zeile: /drafts/. Deine Admin- und Warenkorb-Pfade standen in dem Moment wieder offen, als du die zweite Gruppe tipptest. Nichts warnt dich, und die Datei bleibt gültig.

Die Korrektur besteht darin, jede geteilte Regel in jeder benannten Gruppe zu wiederholen. Die Wiederholung sieht falsch aus und ist richtig.

User-agent: GPTBot
Disallow: /admin/
Disallow: /cart/
Disallow: /drafts/

Sortiere die Crawler in drei Stufen, bevor du schreibst

Die Entscheidung fällt nicht pro Crawler, sondern pro Aufgabe. Drei Aufgaben, drei Antworten. Such-Crawler speisen die Antworten, die Menschen diese Woche sehen; blockierst du sie, fliegst du aus diesen Antworten. Trainings-Crawler speisen Modelle, die später ausgeliefert werden. Nutzerausgelöste Fetcher laufen, weil jemand gerade eine Frage gestellt hat.

Die Tokens und ihre Zwecke stammen von den Betreibern selbst: OpenAI, Perplexity, Anthropic, Google, Apple, Meta und Common Crawl. Prüfe sie, bevor du etwas kopierst: Diese Liste bewegt sich.

Eine robots.txt für KI-Crawler zum Kopieren

Das ist die Form „Suche erlauben, Training entscheiden“. Ersetze die zwei privaten Pfade durch deine, und lösche die Trainingsgruppe, wenn du lieber trainiert werden möchtest.

# Such- und Antwort-Crawler — erlaubt, außer privaten Pfaden
User-agent: Googlebot
User-agent: bingbot
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Meta-WebIndexer
Disallow: /admin/
Disallow: /cart/

# Modelltraining — abgelehnt. Gruppe löschen, um es zu erlauben.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

# Alle anderen
User-agent: *
Disallow: /admin/
Disallow: /cart/

Sitemap: https://example.com/sitemap.xml

Gestapelte User-agent-Zeilen teilen einen Regelsatz, also ist jeder Block oben eine Gruppe, nicht sechs. Die privaten Pfade stehen absichtlich zweimal da: Das ist die Wiederholung, die der vorige Abschnitt verlangt.

Zwei Zeilen in dieser Datei sind keine Crawler

Google-Extended und Applebot-Extended senden nie eine Anfrage an deinen Server. Sie sind Steuertokens: Sie ändern, wie ein bereits von einem anderen Crawler gesammelter Inhalt verwendet werden darf. Es gibt keinen Traffic zu beobachten und keinen Live-Test, der bestätigt, dass deine Einstellung greift.

Beide werden oft als Ranking-Risiko gelesen, und beide Betreiber sagen schriftlich das Gegenteil. Google: Google-Extended „does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search“. Apple: Applebot-Extended „does not crawl webpages“ und „webpages that disallow Applebot-Extended can still be included in search results“.

Was robots.txt nicht stoppt

Fetcher, die laufen, weil ein Nutzer etwas angefragt hat, sind eine andere Kategorie, und mindestens ein Betreiber sagt klar, dass er deine Datei ignoriert. Perplexitys Dokumentation zu Perplexity-User: „Since a user requested the fetch, this fetcher generally ignores robots.txt rules.“

Die ehrliche Position ist, dass die unterste Stufe der Tabelle nicht über diese Datei unter deiner Kontrolle steht. Wenn eine Seite nicht auf Anfrage abgerufen werden darf, ist robots.txt das falsche Werkzeug – Authentifizierung ist das richtige. Wir haben keine Messung, wie oft diese Fetcher tatsächlich ankommen, und würden keiner Zahl trauen, die nicht aus unseren eigenen Logs stammt.

Drei Wege, es falsch zu machen

Alle drei sind still. Die Datei bleibt gültig, kein Tool meldet einen Fehler, und der Schaden zeigt sich erst später als Traffic, der nie ankommt.

1. GPTBot blockieren und hoffen, dass ChatGPT verschwindet. GPTBot ist der Trainings-Crawler. Was entscheidet, ob ChatGPT dich heute zitieren kann, ist OAI-SearchBot. Den ersten blockieren und den zweiten offen lassen ist eine stimmige Wahl; sie zu verwechseln nicht.
2. Eine benannte Gruppe hinzufügen und die geteilten Regeln verlieren. Der Fehler aus dem dritten Abschnitt. Lies die Datei nach jeder Änderung einmal pro benanntem Crawler und frage, was dieser Crawler allein sieht.
3. Die Datei auf dem falschen Host bearbeiten. Regeln gelten nur für Host, Protokoll und Port, die sie ausliefern, also regelt https://example.com/robots.txt nichts auf https://www.example.com. Wenn beide Hostnamen antworten, brauchen beide eine Datei.

Häufige Fragen

Schadet das Blockieren von Google-Extended meinem Google-Ranking?

Nein, und Google sagt es direkt: „does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search“. Es regelt nur das Training der Gemini-Modelle.

Entfernt ein Disallow bereits verwendete Trainingsinhalte?

Nein. Alle diese Direktiven schauen nach vorn. Sie regeln künftige Abrufe, nicht Daten, die vor deiner Zeile gesammelt wurden.

Wie oft sollte ich die Datei überprüfen?

Wenn ein neuer Crawler auftaucht – Meta-WebIndexer ist neu genug, dass die meisten veröffentlichten Beispiele älter sind – und nach jeder Plattformmigration, weil ein neuer Host seine eigene Standarddatei mitbringt.

Nächster Schritt

Deine Datei sagt jetzt, was du meinst. Ob dein Server zustimmt, ist eine andere Frage, und der übliche Widerspruch ist ein CDN, das Crawler ablehnt, die deine robots.txt empfängt. Das ist das nächste Kapitel, und es ist der häufigste Grund, warum eine Website mit perfekter Datei unsichtbar bleibt.

Eine Datei zu bearbeiten ist die billige Hälfte. Eine Änderung schreiben, veröffentlichen und zur Indexierung pushen ist der Punkt, an dem die meisten Websites hängen bleiben.