- oen.de
- Alle Tools
- robots.txt-Generator
robots.txt-Generator
Lege fest, was Suchmaschinen, KI-Crawler und SEO-Bots crawlen dürfen. Die robots.txt entsteht live und lässt sich direkt herunterladen.
Kostenlos
Ohne Anmeldung
Kein Tracking.
robots.txt
Fertig? Prüfe einzelne URLs gegen deinen Entwurf im robots.txt-Tester
Was kann der Generator?
- Eigene Regeln: Disallow und Allow pro Zeile, Platzhalter * und $ sind erlaubt.
- KI-Bots: alle erlauben, nur Training sperren oder alle KI-Crawler sperren, mit aktueller Bot-Liste.
- SEO-Crawler wie AhrefsBot oder SemrushBot optional aussperren.
- Sitemap-Verweis am Ende der Datei.
Häufige Fragen
Schützt robots.txt vor Indexierung?
Nein. Sie steuert nur das Crawlen. Gesperrte Seiten können trotzdem im Index landen, wenn sie verlinkt sind. Dafür ist noindex da.
Sollte ich KI-Bots sperren?
Trainings-Bots zu sperren schadet der Sichtbarkeit nicht. Such-Bots wie OAI-SearchBot oder PerplexityBot zu sperren bedeutet dagegen, in KI-Antworten nicht mehr zitiert zu werden.
Wo liegt die Datei?
Immer im Hauptverzeichnis: https://www.example.com/robots.txt. Unterverzeichnisse werden nicht gelesen.
Passende Tools
robots.txt-Tester
Prüft, ob eine URL für Googlebot, GPTBot & Co. gecrawlt werden darf, mit der exakten Regel.
Zum Toolllms.txt-Generator
Erzeugt eine llms.txt aus Sitemap und Seiten-Titeln, bereit zum Hochladen.
Zum ToolKI-Check
Wird deine Website von ChatGPT, Claude, Perplexity & Co. gefunden und zitiert?
Zum Tool