Prüfen, ob die KI deine Website lesen kann (in einer Zeile)

Der schnellste Weg zu prüfen, ob die KI deine Website lesen kann, ist, bei jedem KI-Crawler als dieser anzuklopfen und den Statuscode zu lesen. Ein 200 heißt, dass dieser Crawler deine Seite erreicht hat. Ein 403, eine Weiterleitung auf eine Verifizierungsseite oder ein Timeout heißen, dass etwas vor deiner Seite ihn abgewiesen hat — und nichts in deiner robots.txt verrät dir das. Der ganze Test dauert etwa zwei Minuten und braucht kein Konto und kein Plugin.

Was „kann KI meine Website lesen“ wirklich heißt

Es heißt eine einzige, enge Sache: Wenn ein KI-Crawler eine HTTP-Anfrage an deine URL schickt, gibt deine Infrastruktur die Seite dann zurück? Nicht, ob du es in robots.txt erlaubt hast. Nicht, ob der Crawler deinen Inhalt will. Sondern ob die Bytes zurückkamen.

Das ist Schritt eins des Handbuchs, weil jeder spätere Schritt voraussetzt, dass er bestanden ist: Eine Seite, die nicht abrufbar ist, kann weder indexiert noch gerankt noch zitiert werden.

Warum eine grüne robots.txt nichts beweist

robots.txt beschreibt deine Absicht. Sie ist eine Textdatei, die Crawler freiwillig befolgen; sie blockiert nichts. Drei Schichten entscheiden, ob eine Anfrage durchkommt: was robots.txt erlaubt, was dein CDN oder WAF am Rand tut, und was dein Ursprungsserver zurückgibt. Die Randschicht sagt fast immer nein, und sie steht nicht in der robots.txt.

robots.txt ist, was du willst. Dein CDN ist, was passiert.

Managed Hosts und CDNs liefern Bot-Regeln mit, die standardmäßig aktiv sind und ohne Rückfrage aktualisiert werden. Du kannst eine perfekte Allow-Zeile schreiben und trotzdem jedem KI-Crawler im Netz ein 403 zurückgeben.

Prüfen, ob die KI deine Website lesen kann, in einer Kommandozeile

Ersetze SITE durch deine eigene URL und füge das in ein Terminal ein. Eine Anfrage pro Crawler, nur der Statuscode, nichts außer curl nötig.

SITE="https://example.com/"

while IFS='|' read -r name ua; do
  [ -z "$name" ] && continue
  code=$(curl -s -o /dev/null -m 20 -w "%{http_code}" -A "$ua" "$SITE")
  printf '%-20s %s\n' "$name" "$code"
done <<'BOTS'
OAI-SearchBot|Mozilla/5.0 (compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot)
ChatGPT-User|Mozilla/5.0 (compatible; ChatGPT-User/1.0; +https://openai.com/bot)
GPTBot|Mozilla/5.0 (compatible; GPTBot/1.4; +https://openai.com/gptbot)
PerplexityBot|Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User|Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
Claude-SearchBot|Mozilla/5.0 (compatible; Claude-SearchBot/1.0)
Claude-User|Mozilla/5.0 (compatible; Claude-User/1.0)
ClaudeBot|Mozilla/5.0 (compatible; ClaudeBot/1.0)
Googlebot|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
bingbot|Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
meta-externalagent|meta-externalagent/1.1
CCBot|CCBot/2.0 (https://commoncrawl.org/faq/)
BOTS

Echte Ausgabe, ausgeführt am 14. August 2026 gegen eine live betriebene Website, sizemarker.com: zwölf Zeilen, zwölf 200, vier Sekunden.

Welche KI-Crawler einen Test wert sind

Sie tun nicht alle dasselbe, und dieser Unterschied entscheidet, was dich eine Sperre kostet. Such-Crawler füttern die Antworten, die Nutzer heute sehen. Trainings-Crawler füttern die Modelle von nächstes Jahr. Die erste Gruppe zu sperren macht dich unsichtbar; die zweite zu sperren ist eine Geschäftsentscheidung, kein Sichtbarkeitsproblem.

Quellen für die Strings und Zwecke: OpenAI, Perplexity, Anthropic, Google, Meta.

Zwei Namen, die du gar nicht testen kannst

Google-Extended und Applebot-Extended schicken nie eine Anfrage. Sie sind robots.txt-Steuertoken, keine Crawler. Google schreibt, Google-Extended habe keinen eigenen HTTP-User-Agent; Apple schreibt, Applebot-Extended crawle keine Seiten und regele nur, wie bereits gesammelte Inhalte verwendet werden dürfen. Ein Checker, der „Google-Extended: erlaubt“ meldet, meldet also deine robots.txt, nicht das, was auf der Leitung passiert ist. Es gibt keine Anfrage zu beobachten.

Was jede Antwort bedeutet

Lies zuerst den Code, dann den Body. Diese sechs decken fast alles ab, was ein Crawler von einer normalen Seite zurückbekommt — und nur einer, das 200, kann dich noch anlügen.

Drei Wege, auf denen dieser Test täuscht

Der Test ist schnell, weil er oberflächlich ist. Drei Grenzen lohnt es zu kennen, bevor du einem sauberen Durchlauf vertraust.

1. Er nutzt deine IP-Adresse, nicht die des Crawlers. Regeln, die per IP-Bereich oder ASN sperren — so arbeiten mehrere Bot-Management-Produkte — bleiben für diesen Test unsichtbar. Server-Logs klären das.
2. Er testet eine URL. Randregeln gelten oft pro Pfad. Lass die Schleife gegen Startseite, einen tiefen Artikel und eine Seite hinter einem Formular laufen und vergleiche.
3. Ein 200 kann trotzdem eine leere Seite sein. Rendert dein Inhalt clientseitig, bekommt der Crawler womöglich nur eine Hülle. Ergänze -o page.html und such einen Satz, von dem du weißt, dass er im Artikel steht; fehlt er im HTML, hat der Crawler ihn auch nicht gesehen.

Der letzte Punkt ist nicht hypothetisch. Über fünf live betriebene Websites kehrten alle 85 Anfragen 200 zurück — und der lesbare Fließtext reichte trotzdem von 961 bis 13.393 Zeichen. Gleicher Statuscode, vierzehnfache Spanne.

Häufige Fragen

Bedeutet ein 403 für GPTBot, dass ChatGPT mich nicht zitiert?

Nicht von allein. GPTBot ist der Trainings-Crawler. Ob ChatGPT dich heute zeigen kann, entscheiden OAI-SearchBot und ChatGPT-User. Prüfe diese beiden, bevor du etwas schließt.

Soll ich die Trainings-Crawler erlauben?

Eine Geschäftsentscheidung, keine technische — dieses Kapitel beantwortet sie bewusst nicht. Wichtig ist, dass du sie absichtlich triffst, statt zu entdecken, dass eine Voreinstellung sie für dich getroffen hat.

Wie oft sollte ich das erneut laufen lassen?

Nach jeder Änderung an CDN, Hosting oder Tarif — dann werden Voreinstellungen neu angewendet. Sonst einmal im Quartal.

Kam überall 200 zurück, hast du gerade geprüft, dass die KI deine Website lesen kann, und die nächste Frage ist, welche Suchen du fast gewinnst. Kam etwas als 403 oder 503 zurück, behebe das zuerst: die Sperre sitzt am Rand, und die Fortsetzung steht im Handbuch, nicht in einer Zeile der robots.txt.

Das Problem zu finden ist die leichte Hälfte. Die Seite ändern, veröffentlichen und das Update zur Indexierung anstoßen ist der Punkt, an dem die meisten Websites hängen bleiben — der ganze Grund für dieses Handbuch.