robots.txt
robots.txt erstellen und Regeln prüfen.
robots.txt ist nur eine Empfehlung für wohlwollende Crawler und kein Sicherheitsmechanismus — vertrauliche Pfade werden dadurch nicht geschützt, sondern eher offengelegt. Verarbeitung erfolgt vollständig lokal.
Über dieses Tool
Das robots.txt-Tool erstellt und prueft die Steuerdatei fuer Crawler. Ueber User-agent, Allow und Disallow legst du fest, welche Bereiche Suchmaschinen-Bots besuchen duerfen, und kannst eine Sitemap verweisen.
Admins und SEOs steuern damit das Crawling, schliessen interne Bereiche aus dem Index aus und entlasten den Server vor unnoetigen Bot-Zugriffen.
Hinweis: robots.txt ist nur eine Bitte an gutartige Crawler und kein Zugriffsschutz. Aggressive Bots ignorieren sie, und eine per Disallow gesperrte URL kann trotzdem im Index landen. Schuetze sensible Bereiche immer mit echter Authentifizierung, etwa per Basic-Auth-Header. Verwechsle Crawl- nicht mit Index-Steuerung ueber das noindex-Meta-Tag.
Häufige Fragen
Ist „robots.txt" kostenlos?
Ja, alle Tools auf oen.de sind kostenlos und ohne Anmeldung nutzbar.
Werden meine Daten gesendet?
Nein. Dieses Tool arbeitet vollständig lokal in deinem Browser – es werden keine Eingaben an den Server gesendet.
Brauche ich ein Konto?
Nein. Ein optionales, kostenloses Konto bietet zusätzlich Favoriten und einen persönlichen Verlauf.