Was ist eine robots.txt?
Die Datei robots.txt ist eine einfache Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Seiten oder Verzeichnisse sie crawlen dürfen – oder eben nicht.
Ein Vergleich aus dem Alltag: Stellen Sie sich einen Bereich im Supermarkt vor, der mit „Kein Zutritt für Kunden“ beschildert ist. So funktioniert die robots.txt – sie zeigt Crawlern, wo sie rein dürfen und wo nicht.
Beispiel:
makefileKopierenBearbeitenUser-agent: *
Disallow: /intern/
Dieser Code blockiert alle Crawler („*“) vom Verzeichnis /intern/.
Warum ist die robots.txt wichtig?
Mit der robots.txt steuern Sie, welche Inhalte Suchmaschinen sehen – und welche nicht. Das hilft:
- doppelte Inhalte zu vermeiden
- irrelevante Seiten vom Index fernzuhalten
- Crawler-Ressourcen gezielt zu lenken
Achtung: Die robots.txt verhindert nicht, dass Inhalte im Index erscheinen – sie verhindert nur, dass sie gecrawlt werden. Für echten Ausschluss muss zusätzlich ein noindex-Meta-Tag verwendet werden.
Häufige Anwendungsfälle
- Ausschluss sensibler Bereiche, z. B.
/wp-admin/bei WordPress - Vermeidung von Crawling-Schleifen bei Kalendern oder Filterseiten
- Schutz von Testumgebungen oder Duplicate Content
Für SEO ist es entscheidend, dass die robots.txt korrekt und nicht zu restriktiv eingestellt ist. Sonst riskiert man, dass wichtige Seiten nicht gefunden werden.
Wie prüft man die robots.txt?
Die Datei ist meist direkt erreichbar unter:
https://ihre-domain.de/robots.txt
Tools wie Google Search Console oder Screaming Frog zeigen, ob Seiten versehentlich blockiert sind. Für WordPress-Nutzer ist die Pflege auch über Plugins möglich – etwa Yoast SEO oder Rank Math.
Der Klicklounge-Tipp
Eine falsch konfigurierte robots.txt kann Ihre Google-Sichtbarkeit massiv einschränken. Lassen Sie Ihre Einstellungen prüfen – als Teil des technischen SEO-Checks: SEO-Website-Check starten.