Crawling ist der Vorgang, bei dem ein Programm – der Crawler oder Bot – Seiten abruft und deren Links verfolgt. Googles Crawler heißt Googlebot. Inzwischen sind auch KI-Crawler unterwegs, etwa GPTBot von OpenAI oder ClaudeBot.
Wie ein Crawler arbeitet
Er startet bei bekannten Adressen, lädt die Seite, speichert den Inhalt und folgt den Links darauf. So entsteht nach und nach eine Karte Ihrer Website. Was nirgends verlinkt ist und in keiner Sitemap steht, findet er nicht.
Was Crawler ausbremst
- Lange Ladezeiten – pro Website steht nur ein begrenztes Zeitbudget zur Verfügung.
- Inhalte, die erst nach einem Klick oder durch Scrollen nachgeladen werden.
- Wichtige Texte, die nur in Bildern stehen.
- Endlose Filter- und Sortier-Adressen in Shops.
- Serverfehler und Weiterleitungsketten.
Steuerung
In der robots.txt legen Sie fest, welche Bereiche ein Bot nicht abrufen soll – etwa interne Suchergebnisse. Achtung: Das verhindert das Abrufen, nicht zwingend die Aufnahme in den Index. Wer eine Seite sicher heraushalten will, braucht einen noindex-Hinweis.
KI-Crawler zulassen oder sperren
Wer in ChatGPT, Perplexity oder Google-KI-Antworten erscheinen möchte, muss diesen Bots das Lesen erlauben. Viele Websites sperren sie versehentlich über Plugins oder Sicherheitsdienste aus und wundern sich, warum KI-Systeme das Unternehmen nicht kennen.
Verwandte Begriffe: Indexierung, robots.txt, llms.txt.