Welche KI-Crawler dürfen Ihre Website lesen? Die relevanten Bots und was eine Sperre kostet

Es gibt gut ein Dutzend KI-Crawler, die Sie kennen sollten, und sie zerfallen in drei Gruppen: Bots, die Trainingsdaten sammeln, Bots, die einen Suchindex aufbauen, den der Assistent im Moment der Antwort abfragt, und Bots, die genau eine Seite abrufen, weil ein Nutzer gerade etwas gefragt hat. Einen Trainings-Crawler zu sperren ist eine vertretbare redaktionelle Entscheidung, die an Ihrer heutigen Sichtbarkeit nichts ändert. Einen Such- oder Abruf-Crawler zu sperren nimmt Sie aus Antworten heraus, die Ihre Kunden heute Nachmittag lesen, und das ist fast nie das, was die Person beabsichtigt hat, die die robots.txt bearbeitet hat.

Der häufigere Fehler ist noch leiser: Die robots.txt erlaubt den Bot, und das CDN sperrt ihn trotzdem.

Den Zugriff sauber zu bekommen ist ein Tag Arbeit und eine Voraussetzung, kein Ziel. Sobald die Crawler durch sind, entscheidet sich das Zitiertwerden daran, ob es zu jeder Ihrer Kauffragen überhaupt eine vollständige, belegte Antwort auf Ihrer Seite gibt. Diese Hälfte fangen die meisten Unternehmen nie an, und genau sie führt scaile als eine betreute Pipeline: ein benannter AI Search Strategist, Recherche aus Ihrer eigenen Wissensbasis, jeder Fakt geprüft, Freigabe durch Ihr Team vor der Publikation, live in 14 Tagen.

Welche KI-Crawler fragen Ihre Seiten tatsächlich ab?

Jede Zeile unten stammt aus der veröffentlichten Dokumentation des jeweiligen Betreibers, außer dort, wo die Tabelle festhält, dass es eine solche Dokumentation nicht gibt. Wo die Dokumentation unklar oder umstritten ist, steht das in der Tabelle, statt dass wir raten.

Crawler	Betreiber	Training oder Live-Antwort	Beachtet robots.txt	Was eine Sperre kostet
GPTBot	OpenAI	Training	Ja	Heute nichts. Ihre Inhalte fließen nicht in künftiges Training der Basismodelle.
OAI-SearchBot	OpenAI	Live-Antwort	Ja	Keine Anzeige in den Suchantworten von ChatGPT, ein Erscheinen als reiner Navigationslink bleibt möglich.
ChatGPT-User	OpenAI	Live, nutzerausgelöst	“robots.txt rules may not apply”	Über die robots.txt wenig. Nicht relevant für die Anzeige in der Suche.
ClaudeBot	Anthropic	Training	Ja	Ihr künftiges Material bleibt aus Claudes Trainingsdaten heraus.
Claude-SearchBot	Anthropic	Live-Antwort	Ja	Ihre Inhalte werden für die Claude-Suche nicht indexiert, die Sichtbarkeit in Antworten sinkt.
Claude-User	Anthropic	Live, nutzerausgelöst	Ja (erklärte Richtlinie von Anthropic)	Claude kann Ihre Seite nicht abrufen, wenn ein Nutzer nach Ihnen fragt.
PerplexityBot	Perplexity	Live-Antwort, ausdrücklich kein Training	Ja	Sie tauchen in Perplexity-Ergebnissen weder auf noch werden Sie verlinkt.
Perplexity-User	Perplexity	Live, nutzerausgelöst	“generally ignores robots.txt”, und umstritten	Über die robots.txt wenig. Siehe den Streitfall weiter unten.
Google-Extended	Google	Training und Gemini-Grounding	Nur Steuerungs-Token, kein eigener Crawler	Gemini Apps können Antworten nicht auf Ihren Inhalten aufsetzen. Keine Wirkung auf die Google-Suche.
CCBot	Common Crawl	Trainingskorpus	Ja	Sie verlassen das offene Crawl-Archiv, aus dem viele Modellbauer schöpfen.
Bytespider	ByteDance	Training	Umstritten, keine vergleichbare öffentliche Dokumentation	In westlichen Märkten wenig: Cloudflare maß einen Rückgang des Crawl-Anteils von 22,8 auf 2,9 Prozent zwischen Mai 2024 und Mai 2025.
Amazonbot	Amazon	Produktverbesserung und KI-Training	Ja	Ausgeschlossen von Amazons Produktverbesserung und von jedem Amazon-Modelltraining, in das der Crawl einfließen kann.
Applebot-Extended	Apple	Nur Training	Nur Steuerungs-Token, kein eigener Crawler	Apples Basismodelle werden nicht auf Ihnen trainiert. Spotlight, Siri und die Safari-Suche bleiben unberührt.
meta-externalagent	Meta	Training und Indexierung	Ja	Ausgeschlossen vom Training der Basismodelle von Meta.

Zwei dieser Zeilen verdienen einen eigenen Satz. Applebot-Extended ist kein Crawler, und Apples Dokumentation ist ausdrücklich: Selbst wenn Sie ihn verbieten, “your content will remain discoverable through Spotlight, Siri, and Safari”. Und Meta betreibt mit Meta-WebIndexer einen eigenen Bot für die Suchqualität von Meta AI, und genau der zählt, wenn Sie dort zitiert und nicht bloß trainiert werden wollen.

Die Tabelle ist eine Auswahl, kein Verzeichnis. Dieselben Betreiber führen weitere Tokens, die für sich genommen selten eine Entscheidung ändern: Applebot selbst, der das Crawling erledigt, das der Token Applebot-Extended reguliert, dazu Amzn-SearchBot, Amzn-User, meta-externalfetcher und OAI-AdsBot. Alle sind in den Quellen am Fuß dieser Seite dokumentiert.

Was ist der Unterschied zwischen Trainings-Crawler und Zitations-Crawler?

Ein Trainings-Crawler legt eine Kopie Ihrer Seite in einem Datensatz ab. Was er sammelt, beeinflusst eine Modellgeneration, die Monate später ausgeliefert wird, und nichts, was Sie heute veröffentlichen, erreicht über diesen Weg schneller eine Antwort.

Ein Zitations-Crawler speist einen Live-Index. Stellt jemand ChatGPT eine Frage, die eine Suche auslöst, holt das System Passagen aus diesem Index und verlinkt die Quelle. Dieser Weg bemisst sich in Tagen, nicht in Modellgenerationen, und dort entsteht kommerzielle Sichtbarkeit.

OpenAI formuliert die Trennung so klar wie kaum jemand sonst: “a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training”. Dieser Satz ist die ganze Entscheidung. Kein Trainingsmaterial sein zu wollen und trotzdem zitierbar zu bleiben, ist eine schlüssige Haltung, die viele Verlage bewusst einnehmen. Beides zu sperren, weil in einer Vorlage User-agent: * stand, ist keine Haltung, sondern ein Versehen.

Die dritte Gruppe, der nutzerausgelöste Abruf, wird am häufigsten missverstanden. OpenAI schreibt, weil die Aktionen von ChatGPT-User “are initiated by a user, robots.txt rules may not apply”, und Perplexity sagt zu Perplexity-User, “since a user requested the fetch, this fetcher generally ignores robots.txt rules”. Meta sagt dasselbe über meta-externalfetcher, Amazon über Amzn-User. Wenn Ihr Ziel war, Assistenten das Lesen Ihrer Seiten grundsätzlich zu untersagen, war die robots.txt nie das passende Instrument. Anthropic ist hier der Ausreißer und deshalb erwähnenswert: Alle eigenen Bots, Claude-User eingeschlossen, beachten laut Anthropic die robots.txt.

Ignoriert Perplexity-User die robots.txt wirklich?

Die ehrliche Antwort lautet: Die Berichterstattung ist umstritten, und Sie sollten keiner Seite ungeprüft folgen.

Perplexitys Dokumentation sagt, was sie sagt: Perplexity-User ignoriert die robots.txt in der Regel, weil ein Nutzer den Abruf angefordert hat. Im August 2025 veröffentlichte Cloudflare einen deutlich härteren Vorwurf. Perplexity habe nicht deklarierte User-Agents genutzt, die sich als Chrome ausgaben, und IP-Adressen über verschiedene ASNs rotiert, um an Inhalte auf brandneuen Testdomains zu gelangen, deren robots.txt alles verbot. Cloudflare entfernte Perplexity aus seinem Programm für verifizierte Bots. Perplexity wies den Befund öffentlich zurück, nannte den Bericht einen Publicity-Stunt, warf Cloudflare vor, nutzergetriebene Anfragen mit automatisiertem Crawling zu vermengen, und bestritt zudem, dass der verdeckte Crawler überhaupt der eigene sei: Den beobachteten Verkehr schrieb Perplexity BrowserBase zu, einem Drittanbieter für automatisierte Browser.

Wir haben keines der beiden Experimente nachgestellt und fällen deshalb kein Urteil. Sicher handeln lässt sich mit diesem Satz: Die robots.txt ist eine Bitte, keine Kontrolle. Wenn eine Seite wirklich nicht abgerufen werden darf, braucht es eine Authentifizierung oder eine serverseitige Regel, und das war schon immer so.

Warum erlaubt die robots.txt den Crawler, und er bekommt trotzdem einen 403?

Das ist der Befund, der in echten Audits am häufigsten auftaucht, und kein robots.txt-Checker zeigt ihn Ihnen. Die Datei erlaubt den Bot. Das CDN, die WAF oder das Bot-Management vor dem Origin tut es nicht, denn diese Crawler kommen ohne Cookies, ohne JavaScript-Ausführung und aus Rechenzentrums-Adressbereichen, also mit genau der Signatur, gegen die eine generische Bot-Regel geschrieben wurde.

Sie müssen uns das nicht glauben. Perplexitys eigene Dokumentation enthält eine Schritt-für-Schritt-Anleitung, wie man seine Bots in der Cloudflare WAF und der AWS WAF erlaubt, und zwar über User-Agent-Abgleich in Kombination mit den veröffentlichten IP-Bereichen. Einen solchen Abschnitt schreibt ein Anbieter, weil Kunden immer wieder darüber stolpern, und nicht, weil sich jemand einen theoretischen Fall ausgedacht hat.

Anthropic ergänzt eine Warnung in die Gegenrichtung, die es zu beherzigen lohnt: Bots per IP-Adresse zu sperren “may not work correctly or persistently guarantee an opt-out, as doing so impedes our ability to read your robots.txt file”. Ein Bot, der die robots.txt nicht abrufen kann, kann sie auch nicht befolgen.

Wie prüfe ich, ob KI-Crawler auf meine Website zugreifen dürfen?

Drei Prüfungen, in dieser Reihenfolge, und nur die erste führen die meisten Werkzeuge durch.

Lesen Sie die robots.txt so, wie der Bot sie liest. Gruppenreihenfolge und der Umgang mit Wildcards entscheiden mit, und ein Disallow: / unter User-agent: * gilt für jeden Crawler, den Sie nicht ausdrücklich benannt haben. Der kostenlose Sitemap Visualiser liest Ihre robots.txt und jede Sitemap dahinter und zeichnet, welche Bereiche erreichbar sind. Das geht schneller, als Vorrangregeln im Kopf durchzuspielen.

Prüfen Sie die Serverlogs auf echte Zugriffe. Die Konfiguration sagt Ihnen, was passieren soll, das Log sagt Ihnen, was passiert ist. Filtern Sie auf die Tokens aus der Tabelle oben und schauen Sie auf die Statuscodes, nicht nur darauf, ob die Anfrage überhaupt da war. Eine Serie von 403ern von OAI-SearchBot ist bereits die ganze Diagnose. Taucht ein Bot in neunzig Tagen gar nicht auf, ist auch das ein Befund.

Stellen Sie sicher, dass die Anfragen echt sind. User-Agent-Angaben lassen sich trivial fälschen, also prüfen Sie, bevor Sie freischalten. OpenAI, Anthropic, Perplexity, Apple und Google veröffentlichen ihre IP-Bereiche als JSON, Amazon stellt sie als Seite statt als Feed bereit. Google und Apple unterstützen zusätzlich Reverse DNS. Die Kombination aus passendem User-Agent und verifizierter IP ist genau das, was Perplexity für WAF-Regeln selbst empfiehlt.

Für die Crawler, die Sie hereinlassen wollen, halten Sie die robots.txt-Einträge knapp und ausdrücklich:

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Ob Sie zusätzlich GPTBot, ClaudeBot, CCBot und Google-Extended erlauben, ist eine davon getrennte, redaktionelle Frage zu Trainingsdaten. Beantworten Sie sie getrennt.

Bringt llms.txt für KI-Crawler etwas?

Nein, und die Datenlage ist inzwischen eindeutig. Ahrefs hat 2026 insgesamt 137.210 Domains ausgewertet und festgestellt, dass 97 Prozent der veröffentlichten llms.txt-Dateien null Anfragen erhielten. Beim kleinen Rest übertraf kein einzelner KI-Bot die SEO-Audit-Werkzeuge, die mit 21,7 Prozent die größte einzelne Quelle der Anfragen stellten. Alle KI-Bots zusammen kamen auf 19,5 Prozent, und die Abruf-Bots, die tatsächlich Antworten speisen, auf 1,1 Prozent. Kein großer Anbieter dokumentiert, dass er die Datei liest, weder OpenAI noch Anthropic noch Perplexity, und Google hat ausdrücklich erklärt, dass die Suche sie nicht verwendet.

Eine solche Datei zu veröffentlichen kostet nichts und beweist nichts. Die Datei, die den Crawler-Zugriff tatsächlich regelt, ist die robots.txt, und darüber, ob Sie zitiert werden, entscheidet, ob auf einer für Crawler erreichbaren Seite eine vollständige, belegte Antwort auf die Frage steht.

Was tun, wenn der Zugriff sauber ist?

Crawler-Zugriff ist ein Fundament, keine Strategie. Es kostet einen Nachmittag, dieser Nachmittag lohnt sich, und danach ist die Sache erledigt. Cloudflares Netzwerkdaten aus 2025 zeigen, dass unter den Top-10.000-Domains mit robots.txt nur rund 14 Prozent überhaupt eine Direktive führten, die KI-Bots namentlich nennt. Das heißt nicht, dass der Rest offen wäre, denn ein pauschales Disallow: / und eine WAF-Regel sind für diese Zählung gleichermaßen unsichtbar. Es heißt aber, dass bewusstes Aussperren von KI-Bots seltener vorkommt, als die Debatte vermuten lässt.

Was danach kommt, ist schwerer und langsamer: die Fragen, die Ihre Kunden vor der Entscheidung stellen, jede davon vollständig beantwortet, mit Quellen, auf Ihrer eigenen Domain. Genau das ist die Arbeit, die scaile übernimmt. Die Engine erschließt die Fragen am kommerziellen Ende Ihres Funnels, recherchiert aus Ihrer Wissensbasis und aktuellen Quellen, prüft jede Aussage und legt jeden Artikel Ihrem Team zur Freigabe vor. Veröffentlichte Beiträge werden anschließend gemessen und verbessert, statt zu altern.

Beginnen Sie damit, mit dem Sitemap Visualiser zu sehen, was die Crawler derzeit erreichen, und prüfen Sie dann mit dem AI Visibility Check, ob Sie überhaupt genannt werden. Lautet die Antwort Nein und der Zugriff ist sauber, liegt es an einer der anderen drei Ursachen, aus denen ChatGPT ein Unternehmen nicht nennt.

Häufig gestellte Fragen

Quellen

• OpenAI: Overview of OpenAI Crawlers. GPTBot, OAI-SearchBot, ChatGPT-User und OAI-AdsBot: Zweck, User-Agent-Strings, robots.txt-Verhalten und die Aussage, dass ein Such-Opt-out die Website aus den Suchantworten von ChatGPT nimmt.
• Anthropic: Does Anthropic crawl data from the web?, aktualisiert April 2026. ClaudeBot, Claude-User und Claude-SearchBot, die Aussage, dass alle drei die robots.txt beachten, und die Warnung vor Sperren auf IP-Ebene.
• Perplexity: Perplexity Crawlers. PerplexityBot und Perplexity-User, die Formulierung “generally ignores robots.txt” sowie die Anleitungen zum Freischalten in Cloudflare und AWS WAF.
• Cloudflare: Perplexity is using stealth, undeclared crawlers, August 2025. Der umstrittene Vorwurf zu nicht deklarierten User-Agents und rotierten IP-Bereichen, den Perplexity öffentlich zurückgewiesen hat.
• Google Search Central: Google common crawlers. Google-Extended als Steuerungs-Token ohne eigenen User-Agent, zuständig für Gemini-Training und Grounding, ohne Wirkung auf die Suche.
• Google Search Central: AI features and your website. Indexierung und Snippet-Fähigkeit als Voraussetzung für AI Overviews und AI Mode, und dass keine besonderen Dateien nötig sind.
• Common Crawl: CCBot. Betreiber, User-Agent-Token und Anleitung zum Sperren per robots.txt.
• Amazon: Amazonbot. Amazonbot, Amzn-SearchBot und Amzn-User, die Formulierung, dass der Crawl für das Training von Amazon-KI-Modellen verwendet werden kann, und der Hinweis, dass Amzn-User nicht allen robots.txt-Direktiven folgt.
• Apple: About Applebot. Applebot-Extended als Trainings-Opt-out, das die Auffindbarkeit über Spotlight, Siri und Safari unberührt lässt.
• Meta: Web crawlers. meta-externalagent, Meta-WebIndexer und meta-externalfetcher, einschließlich des Hinweises, dass der Fetcher die robots.txt umgehen kann.
• Cloudflare: From Googlebot to GPTBot, who’s crawling your site in 2025, Juli 2025. Crawl-Anteile je Bot, darunter der Rückgang von Bytespider von 22,8 auf 2,9 Prozent zwischen Mai 2024 und Mai 2025, sowie der Befund, dass nur rund 14 Prozent der Top-10.000-Domains mit robots.txt eine Direktive führen, die KI-Bots namentlich nennt.
• Ahrefs: llms.txt study, 137.210 Domains, Juni 2026. 97 Prozent der llms.txt-Dateien erhielten null Anfragen, dazu die Aufschlüsselung der Anfragen, die die restlichen 3 Prozent erhielten.