- oen.de
- Alle Tools
- robots.txt-Tester
robots.txt-Tester
Teste eine URL gegen die live robots.txt oder deinen eigenen Entwurf. Wir zeigen dir die Regel, die greift, und prüfen alle wichtigen Bots auf einmal.
Kostenlos
Ohne Anmeldung
Kein Tracking.
Wie wird getestet?
- Nach dem offiziellen Standard RFC 9309 und Googles Implementierung: spezifischste User-Agent-Gruppe, längste passende Regel, bei Gleichstand gewinnt Allow.
- Unterstützt die Wildcards
*und$sowie Prozent-Kodierung. - Erkennt Syntaxfehler, unbekannte Direktiven, relative Sitemap-URLs und von Google ignorierte Angaben wie crawl-delay oder noindex.
Häufige Fragen
Verhindert robots.txt die Indexierung?
Nein. robots.txt steuert nur das Crawling. Gesperrte URLs können trotzdem im Index landen, wenn sie verlinkt sind. Zum Ausschließen brauchst du noindex, und dafür darf die Seite gerade nicht gesperrt sein.
Was passiert, wenn die robots.txt fehlt?
Bei 404 darf alles gecrawlt werden. Bei 5xx-Fehlern geht Google von einer Komplettsperre aus.
Passende Tools
robots.txt-Generator
robots.txt zusammenklicken: Verzeichnisse, KI-Bots, SEO-Crawler und Sitemap.
Zum ToolKI-Check
Wird deine Website von ChatGPT, Claude, Perplexity & Co. gefunden und zitiert?
Zum ToolSitemap-Validator
Findet und validiert XML-Sitemaps inkl. Index, Limits, lastmod und Status der URLs.
Zum Tool