Die robots.txt liegt unter ihre-domain.de/robots.txt und ist die erste Datei, die ein Crawler abruft. Sie enthält Anweisungen, welche Verzeichnisse abgerufen werden dürfen und welche nicht.
Was sie kann – und was nicht
Sie steuert das Abrufen. Sie verhindert nicht zuverlässig, dass eine Adresse im Index landet: Ist die Seite von außen verlinkt, kann Google sie ohne Inhalt trotzdem listen. Wer etwas sicher aus der Suche halten will, nutzt einen noindex-Hinweis im Seitenkopf – und muss die Seite dafür crawlen lassen.
Typischer Inhalt
- Freigabe für alle Bots.
- Sperre für technische Bereiche wie interne Suche, Warenkorb oder Admin-Pfade.
- Ein Verweis auf die XML-Sitemap.
Der teure Klassiker
Beim Entwickeln wird die gesamte Website gesperrt, damit die Baustelle nicht in Google landet. Nach dem Start vergisst jemand, die Sperre zu entfernen. Die Seite ist live, sieht gut aus – und ist für Google unsichtbar. Das passiert häufiger, als man denkt, und fällt oft erst nach Monaten auf.
So prüfen Sie es in zehn Sekunden
Rufen Sie ihre-domain.de/robots.txt auf. Steht dort eine Zeile, die alles für alle sperrt, ist das Ihr dringendstes Problem. Die Google Search Console zeigt außerdem, ob Seiten wegen dieser Datei blockiert sind.
Verwandte Begriffe: Crawling, Indexierung, XML-Sitemap.