top of page
AS Design-Werkstatt Logo in Weiß.png

KI-Crawler: Welche Bots Deine Website lesen und wie Du sie richtig steuerst

  • Autorenbild: Andre Schreiber
    Andre Schreiber
  • 17. Aug.
  • 5 Min. Lesezeit

Es gibt einen Fehler, der jede Arbeit an Deiner KI-Sichtbarkeit wirkungslos macht, und er steht in einer Textdatei mit fünf Zeilen. Wenn Deine robots.txt die KI-Crawler blockiert, kannst Du die besten Antworten der Welt schreiben. Gelesen werden sie nicht.


Das passiert häufiger aus Versehen als aus Absicht. Viele Hoster und Content-Management-Systeme haben in den letzten zwei Jahren Standardregeln ergänzt, die KI-Bots aussperren. Andere Websites blockieren einen Crawler und lassen dessen Zwilling durch, ohne dass es jemand bemerkt.


Hier stehen die relevanten KI-Crawler, die Anweisungen zum Kopieren und der häufigste Fehler beim Aufbau der Datei.


Kurz & knapp für alle, die's eilig haben: Welche KI-Crawler muss ich zulassen?

Das Wichtigste zur robots.txt und zu den KI-Bots:

  • KI-Crawler sind Bots, die Websites für KI-Systeme auslesen. Die wichtigsten heißen GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot.

  • Gesteuert werden sie über die robots.txt, dieselbe Datei wie klassische Suchmaschinen-Bots. Für KI-Suche solltest Du GPTBot, OAI-SearchBot, ClaudeBot und PerplexityBot zulassen.

  • Wichtiger Unterschied zu Google: KI-Crawler führen kein JavaScript aus. Inhalte, die erst im Browser nachgeladen werden, sehen sie nicht.

  • Der häufigste Fehler: mehrere User-agent-Zeilen direkt hintereinander schreiben. Die folgende Disallow-Regel gilt dann für alle genannten Bots, nicht nur für den letzten.

  • llms.txt brauchst Du nicht. Für eine Wirkung fehlt bislang der Nachweis.

Ein Fehler in dieser einen Datei macht jede weitere Optimierung wirkungslos.


Was ist ein KI-Crawler?


Ein KI-Crawler ist ein automatisiertes Programm, das Websites ausliest, damit ein KI-System die Inhalte verwenden kann. Er funktioniert technisch wie ein Suchmaschinen-Bot, verfolgt aber ein anderes Ziel.


Drei Aufgaben lassen sich unterscheiden, und das ist der Punkt, an dem viele Entscheidungen falsch fallen:


Suche. Bots wie OAI-SearchBot und PerplexityBot holen Inhalte, um aktuelle Nutzerfragen zu beantworten. Sperrst Du sie, verschwindest Du aus den Antworten.


Training. Bots wie CCBot sammeln Daten für das Training künftiger Modelle. Hier kannst Du guten Gewissens sperren, wenn Du nicht möchtest, dass Deine Inhalte in Trainingsdaten landen. Auf Deine Sichtbarkeit heute hat das wenig Einfluss.


Abruf auf Nutzerwunsch. Bots wie ChatGPT-User rufen eine einzelne Seite ab, weil ein Nutzer gerade ihren Link eingegeben hat.


Wer pauschal alles sperrt, was nach KI klingt, kappt sich also die Sichtbarkeit, ohne das Trainingsproblem zu lösen.


Welche KI-Crawler gibt es und was machen sie?


  • GPTBot (OpenAI) — ChatGPT-Websuche. Zulassen.

  • OAI-SearchBot (OpenAI) — OpenAI-Suchfunktionen. Zulassen.

  • ChatGPT-User (OpenAI) — Abruf auf Nutzerwunsch. Zulassen.

  • ClaudeBot (Anthropic) — Claude-Webfunktionen. Zulassen.

  • PerplexityBot (Perplexity) — Perplexity-Suche. Zulassen.

  • Google-Extended (Google) — Gemini-Training. Nach eigenem Wunsch.

  • CCBot (Common Crawl) — Trainingsdaten. Nach eigenem Wunsch.

  • anthropic-ai (Anthropic) — Training. Nach eigenem Wunsch.

  • Bytespider (ByteDance) — TikTok-KI. Nach eigenem Wunsch.


Google-Extended verdient eine eigene Bemerkung: Diese Regel steuert nicht, ob Du in Google AI Overviews erscheinst. Das entscheidet der normale Googlebot. Google-Extended betrifft die Verwendung Deiner Inhalte für das Modelltraining. Wer Google-Extended sperrt, verliert also keine Sichtbarkeit in der Google-Suche.


Wie stelle ich die robots.txt für KI-Crawler richtig ein?


Du legst eine Datei namens robots.txt im Wurzelverzeichnis Deiner Domain ab und schreibst pro Bot einen eigenen Block. Diese Fassung lässt die Such-Crawler durch und sperrt die reinen Trainings-Crawler:


User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Sitemap: https://www.deine-domain.de/sitemap.xml

Zwei Hinweise zur Umsetzung. Bei Wix und ähnlichen Systemen bearbeitest Du die Datei über die Editor-Einstellungen, nicht per FTP. Und prüfe nach jeder Änderung, was tatsächlich ausgeliefert wird, indem Du deine-domain.de/robots.txt im Browser aufrufst.


Was ist der häufigste Fehler in der robots.txt?


Der häufigste Fehler ist eine fehlende Leerzeile zwischen zwei Blöcken. Mehrere User-agent-Zeilen direkt hintereinander gelten als ein gemeinsamer Block, und jede folgende Regel trifft alle genannten Bots.


Dieses Beispiel sperrt beide Bots vollständig, obwohl viele annehmen, es gehe nur um den letzten:


User-agent: GPTBot
User-agent: CCBot
Disallow: /

Wer nur CCBot sperren will, braucht eine Leerzeile und zwei getrennte Blöcke. Das klingt nach einer Kleinigkeit und ist der Grund, warum Websites monatelang aus ChatGPT verschwinden, ohne dass jemand die Ursache findet.


Zwei weitere Fehler sehen wir regelmäßig:


  • Groß- und Kleinschreibung bei Pfaden. Die Bot-Namen werden meist unabhängig von der Schreibweise erkannt, Pfadangaben dagegen nicht. Disallow: /Blog/ sperrt nicht /blog/.

  • Sperren aus Vorlagen. Prüf Deine Datei, auch wenn Du nie etwas daran geändert hast. Hoster und Systeme ergänzen Standardregeln bei Updates.


Warum sehen KI-Crawler manche Inhalte nicht, obwohl sie Zugriff haben?


Weil KI-Crawler kein JavaScript ausführen. Sie lesen das rohe HTML, das der Server ausliefert, und warten nicht darauf, dass ein Skript im Browser Inhalte nachlädt.


Der Selbsttest dauert zehn Sekunden: Rechtsklick auf Deine Seite, dann Seitenquelltext anzeigen wählen. Nicht die Entwicklertools, die zeigen den bereits verarbeiteten Zustand. Wenn im Quelltext Deine Leistungen, Dein Standort und Deine Kernaussagen als Text stehen, ist alles gut. Wenn Du dort nur ein Gerüst und Skript-Verweise findest, sieht ein KI-Crawler eine leere Seite.


Betroffen sind vor allem Single-Page-Anwendungen und Seiten, die Inhalte per Ajax nachladen. Baukastensysteme liefern in der Regel serverseitig aus, aber einzelne eingebettete Elemente wie Rechner, Buchungsmodule oder Bewertungswidgets bleiben unsichtbar. Was in einem solchen Element steht, gehört zusätzlich als normaler Text auf die Seite.


Brauche ich eine llms.txt?


Nein. Für eine Wirkung auf Zitierungen in den großen KI-Suchsystemen fehlt bislang der Nachweis.


Die Idee hinter llms.txt ist eine Datei im Wurzelverzeichnis, die KI-Systemen die Struktur einer Website erklärt. Vertreter von Google haben sich dazu skeptisch geäußert, und eine SE-Ranking-Untersuchung über 300.000 Domains fand keinen Zitiervorteil für Seiten mit dieser Datei.


Wenn Du sie trotzdem anlegen willst: Sie kostet zehn Minuten und schadet nicht. Sie ersetzt aber keine inhaltliche Arbeit, und sie sollte in keinem Angebot als Hauptleistung stehen.


Was stattdessen messbar wirkt, steht in unserem Beitrag zur KI-Sichtbarkeit: Zahlen, Zitate und Quellenangaben im Text brachten in einer Studie von Princeton, Georgia Tech und IIT Delhi (KDD 2024) 30 bis 40 Prozent mehr Sichtbarkeit in KI-Antworten.


Wie prüfe ich, ob meine Website für KI-Systeme erreichbar ist?


In drei Schritten, alle kostenlos.


  1. deine-domain.de/robots.txt im Browser aufrufen und nach den Bot-Namen aus der Liste oben suchen.

  2. Quelltext prüfen wie oben beschrieben. Stehen die wichtigsten Inhalte im rohen HTML?

  3. Testen, ob die Seite ohne Cookie-Zustimmung lesbar ist. Ein Banner, das Inhalte bis zur Zustimmung ausblendet, blendet sie auch für Crawler aus.


Schneller geht es mit unserem Potenzial-Check. Er prüft die robots.txt auf KI-Crawler-Sperren, sucht nach strukturierten Daten und erkennt, ob eine Frage-Antwort-Struktur vorhanden ist. URL eingeben, Ergebnis ansehen, keine Registrierung.


Was machen wir für Dich?


Wir prüfen die technische Erreichbarkeit, korrigieren die robots.txt, holen versteckte Inhalte aus JavaScript-Elementen heraus und bauen die Texte so um, dass KI-Systeme sie zitieren können. Was dazugehört, steht auf unserer Seite zur KI-Optimierung. Den klassischen Teil findest Du unter SEO.


Ein Beispiel aus der Praxis: Bei einem Shopify-Shop mit über 4.000 Artikeln fehlten Alt-Texte, Titelbilder, FAQ-Strukturen und Schema, dazu waren interne Verlinkungen fehlerhaft. Die durchschnittliche Google-Position lag bei 21, in KI-Antworten kam der Shop nicht vor. Nach wenigen Wochen Umbau haben wir mit 100 Kundenanfragen gegengetestet: In 86 Prozent der Fälle wird der Shop jetzt als Erstes genannt und als Quelle zitiert. Einzelne Seiten stehen in den Google-Top-5.


Melde Dich per Telefon, WhatsApp oder E-Mail. Videocalls bieten wir nicht an.



Zuletzt aktualisiert: 17.08.2026



bottom of page