Stell dir vor, jemand fragt ChatGPT: „Welcher Friseur in Eutin macht auch samstags auf?“ — und dein Salon kommt nicht vor. Obwohl du seit Jahren eine Website hast. Obwohl du die ganze Saison durchgearbeitet hast. Du würdest annehmen, dass dein Eintrag bei Google nicht stimmt. Oder dass ChatGPT eben nicht alles weiß. Es kann aber auch sein, dass dein Webhoster die KI gar nicht erst auf deine Seite lässt.
Das klingt verrückt, ist aber Realität. Und mir ist es selbst passiert.
Was da im Hintergrund läuft
Wenn jemand bei ChatGPT, Google Gemini oder Claude eine Frage stellt, schicken diese Systeme im Hintergrund kleine Programme los, sogenannte Bots. Die lesen Webseiten und sammeln, was darauf steht. So entsteht das Wissen, aus dem die KI später Antworten formt. Jeder dieser Bots meldet sich beim Aufruf einer Seite mit seinem Namen — GPTBot von OpenAI, ClaudeBot von Anthropic, PerplexityBot von Perplexity und so weiter.
Manche Webhoster — also die Firmen, auf deren Servern deine Website läuft — haben in den letzten ein, zwei Jahren angefangen, diese KI-Bots automatisch zu blockieren. Aus Hoster-Sicht ist das verständlich: Die Bots erzeugen Last, kosten Bandbreite, und die meisten Kunden wissen gar nicht, was ein GPTBot ist. Also: pauschal aussperren, fertig.
Das Problem dabei: Du wirst nicht gefragt. Und du erfährst es nicht.
Was das für deinen Betrieb bedeutet
Solange dein Hoster ClaudeBot und GPTBot blockiert, kann keine KI deine Website lesen. Das heißt:
- ChatGPT kann dich auf direkte Frage hin nicht empfehlen
- Claude findet deine Leistungen nicht
- Google AI Overviews zitiert deine Inhalte nicht
- Perplexity übergeht dich
Du existierst für die KI-Welt nur über das, was andere über dich schreiben — Bewertungs-Portale, dein Google-Profil, Erwähnungen in lokalen Medien, dein Eintrag bei der IHK. Das ist nicht nichts, aber es ist eben nicht dein eigener Auftritt.
Mir ist das selbst aufgefallen, als ich meine Sichtbarkeit für KI-Suchen durchgemessen habe. Auf meiner eigenen Seite war alles sauber: gepflegtes Profil, technisch in Ordnung, gute Inhalte. Trotzdem wurde sie von einem der großen Bots mit einem Fehler abgewiesen. Hoster-Antwort auf Nachfrage: Ja, die sperren bestimmte KI-Bots automatisch. Wenn ich das nicht will, soll ich Bescheid sagen. Hatte ich vorher nirgends gelesen.
So prüfst du es selbst
Es gibt drei Wege, das herauszufinden — von einfach nach genauer.
Weg 1: Google Search Console
Wenn du Google Search Console für deine Website nutzt, schau dort unter „Einstellungen“ auf „Crawling-Statistiken“. Dort siehst du allerdings nur Googles eigene Bots, nicht die KI-Crawler. Das hilft also nur teilweise — aber es verrät dir wenigstens, ob deine Seite überhaupt erreichbar ist.
Weg 2: Deine Besucher-Statistik
Wenn du Matomo, Plausible oder ein ähnliches Statistik-Tool benutzt, kannst du dort nach Besuchern mit ungewöhnlichen Namen suchen. „GPTBot“, „ClaudeBot“, „PerplexityBot“ oder „Google-Extended“ sollten regelmäßig auftauchen. Wenn du diese Namen über Wochen gar nicht siehst, ist das ein Warnsignal. Bei Google Analytics ist das schwieriger, weil Google viele Bot-Zugriffe automatisch herausfiltert.
Weg 3: Direkte Anfrage testen
Das ist der genaueste Weg, aber technisch. Ein kleines Programm namens curl kann von einem Computer aus eine Website anfragen und sich dabei als beliebiger Bot ausgeben. Wenn deine Seite einem normalen Browser antwortet, einem KI-Bot aber nicht, ist klar: irgendwo wird gefiltert.
Für deinen Webmaster oder die Person, die deine Seite betreut, hier die zwei (DOS-/CMD-) Befehle zum Vergleich:
curl -I -A "ClaudeBot" https://deine-domain.de/
curl -I -A "Mozilla/5.0" https://deine-domain.de/
Wenn der erste Befehl mit „403 Forbidden“ antwortet und der zweite mit „200 OK“, weißt du Bescheid. Das ist die typische Signatur einer Hoster-seitigen Sperre.
Welche KI-Bots überhaupt relevant sind
Nicht jeder Bot ist gleich wichtig. Diese hier solltest du auf dem Schirm haben:
| Bot | Gehört zu | Wofür |
|---|---|---|
| GPTBot | OpenAI | Trainiert ChatGPT |
| ChatGPT-User | OpenAI | Holt aktiv Inhalte, wenn jemand in ChatGPT nach dir fragt |
| ClaudeBot | Anthropic | Trainiert und durchsucht für Claude |
| Claude-Web | Anthropic | Holt aktiv Inhalte für Claude-Antworten |
| PerplexityBot | Perplexity | Liefert Antworten in Perplexity |
| Google-Extended | Speist Googles KI-Funktionen, getrennt von der normalen Suche | |
| Applebot-Extended | Apple | Apple Intelligence |
| meta-externalagent | Meta | Meta AI / Llama |
Andere Bots — etwa von SEO-Tools oder von Diensten, die nur deine Inhalte abgreifen wollen, ohne dir Sichtbarkeit zu bringen — kannst du gerne gesperrt lassen. Es geht nicht darum, alles offen zu machen, sondern die richtigen offen zu haben.
Was zu tun ist, wenn dein Hoster sperrt
Drei Schritte:
- Nachfragen. Eine kurze Mail an den Support deines Hosters: „Werden auf meinem Paket KI-Bots wie GPTBot oder ClaudeBot serverseitig blockiert?“ Manche Hoster antworten mit einer offiziellen Liste. Andere müssen erst nachschauen.
- Freigabe anfordern. Wenn ja: explizit darum bitten, die wichtigen Bots für deine Domain zu entsperren. Üblicherweise nennt man die Liste und fragt nach einer Bestätigung, wenn die Sperre weg ist.
- Nachprüfen. Nach 24 Stunden den curl-Test wiederholen oder den Webmaster wiederholen lassen. Erst wenn die Antworten kommen, ist die Tür wirklich offen.
Manche Hoster gehen den Weg mit, ohne zu murren. Andere argumentieren mit Server-Last und schlagen Alternativen vor. Das ist Verhandlungssache.
Wo dieser Hebel nicht reicht
Ein freigeschalteter Bot ist nur die erste Voraussetzung. Wenn deine Website inhaltlich dünn ist, dein Google-Profil schläft und keiner über dich spricht, hilft auch der schnellste Bot nichts. KI-Sichtbarkeit ist die Summe aus: technisch erreichbar, inhaltlich auffindbar, mehrfach erwähnt. Bot-Freigabe löst nur den ersten Punkt.
Außerdem: Nicht jeder Hoster sperrt. Wenn du bei einem großen, etablierten Anbieter bist, kann es sein, dass alles offen ist und du dir keine Sorgen machen musst. Der Test bringt Klarheit.
Aufwand für dich
Den curl-Test selbst erledigt man in zehn Minuten — wenn man weiß, wie. Die Mail an den Hoster und die Wartezeit auf die Antwort sind nochmal ein bis zwei Tage. Wer einen Webmaster oder eine technische Person hat, kann die Schritte einfach weiterleiten. Wer keinen hat, kommt mit den Anleitungen oben zumindest bis zum Punkt „Verdacht bestätigt oder nicht“.
Wenn dir das zu technisch ist
Wenn du beim Wort „curl“ schon gedacht hast, das willst du nicht selbst anfassen — kein Problem. Ich prüfe das für lokale Betriebe in Schleswig-Holstein gern unverbindlich mit. Eine kurze Nachricht reicht, ich melde mich zurück, ob deine Seite für die KI-Welt sichtbar ist oder ob da was hakt. Wenn nicht, weißt du Bescheid und kannst entscheiden, was du als Nächstes tust.
Zum Autor
Thorsten Lutz ist Berater für lokale Online-Sichtbarkeit in Schleswig-Holstein. Er kümmert sich um Google-Unternehmensprofile, Bewertungen und Brancheneinträge für kleine und mittlere Betriebe — und prüft auf Wunsch auch, ob die eigene Website von ChatGPT, Claude und Co. überhaupt gelesen werden kann. Mit 29 Jahren Außendienst-Erfahrung kennt er lokale Betriebe von innen und übersetzt zwischen Technik und Praxis.