SEO-Check starten
  1. oen.de
  2. Alle Tools
  3. robots.txt-Tester

robots.txt-Tester

Teste eine URL gegen die live robots.txt oder deinen eigenen Entwurf. Wir zeigen dir die Regel, die greift, und prüfen alle wichtigen Bots auf einmal.

Kostenlos Ohne Anmeldung Kein Tracking.
Eigene robots.txt testen (optional)Leer lassen, um die live robots.txt der Domain zu verwenden.

Wie wird getestet?

  • Nach dem offiziellen Standard RFC 9309 und Googles Implementierung: spezifischste User-Agent-Gruppe, längste passende Regel, bei Gleichstand gewinnt Allow.
  • Unterstützt die Wildcards * und $ sowie Prozent-Kodierung.
  • Erkennt Syntaxfehler, unbekannte Direktiven, relative Sitemap-URLs und von Google ignorierte Angaben wie crawl-delay oder noindex.

Häufige Fragen

Verhindert robots.txt die Indexierung?
Nein. robots.txt steuert nur das Crawling. Gesperrte URLs können trotzdem im Index landen, wenn sie verlinkt sind. Zum Ausschließen brauchst du noindex, und dafür darf die Seite gerade nicht gesperrt sein.
Was passiert, wenn die robots.txt fehlt?
Bei 404 darf alles gecrawlt werden. Bei 5xx-Fehlern geht Google von einer Komplettsperre aus.

Passende Tools