SEO-Check starten
  1. oen.de
  2. Alle Tools
  3. robots.txt-Generator

robots.txt-Generator

Lege fest, was Suchmaschinen, KI-Crawler und SEO-Bots crawlen dürfen. Die robots.txt entsteht live und lässt sich direkt herunterladen.

Kostenlos Ohne Anmeldung Kein Tracking.
Standard für alle Crawler
Ein Pfad pro Zeile. * und $ sind als Platzhalter erlaubt.
Ein Pfad pro Zeile. * und $ sind als Platzhalter erlaubt.
KI-Crawler
Trainings-Bots sammeln Daten für Sprachmodelle. Such-Bots holen Seiten live für Antworten mit Quellenangabe. Wer Such-Bots sperrt, wird in ChatGPT, Perplexity & Co. nicht zitiert.

robots.txt

Fertig? Prüfe einzelne URLs gegen deinen Entwurf im robots.txt-Tester

Was kann der Generator?

  • Eigene Regeln: Disallow und Allow pro Zeile, Platzhalter * und $ sind erlaubt.
  • KI-Bots: alle erlauben, nur Training sperren oder alle KI-Crawler sperren, mit aktueller Bot-Liste.
  • SEO-Crawler wie AhrefsBot oder SemrushBot optional aussperren.
  • Sitemap-Verweis am Ende der Datei.

Häufige Fragen

Schützt robots.txt vor Indexierung?
Nein. Sie steuert nur das Crawlen. Gesperrte Seiten können trotzdem im Index landen, wenn sie verlinkt sind. Dafür ist noindex da.
Sollte ich KI-Bots sperren?
Trainings-Bots zu sperren schadet der Sichtbarkeit nicht. Such-Bots wie OAI-SearchBot oder PerplexityBot zu sperren bedeutet dagegen, in KI-Antworten nicht mehr zitiert zu werden.
Wo liegt die Datei?
Immer im Hauptverzeichnis: https://www.example.com/robots.txt. Unterverzeichnisse werden nicht gelesen.

Passende Tools