Robots.txt-Generator
Erstellen Sie eine robots.txt mit User-Agents, erlaubten oder gesperrten Pfaden und Sitemap. Prüfen Sie die Regeln vor dem Kopieren oder Herunterladen.
Eine User-agent-Gruppe mit Allow-/Disallow-Pfaden pro Zeile und optionaler Sitemap ausfüllen. Vor dem Ersetzen einer vorhandenen Datei prüfen.
Ergebnis
Ihr Ergebnis erscheint hier.
Wir zählen die meistgenutzten Werkzeuge, ohne Eingabewerte oder Dateiinhalte in die Statistik aufzunehmen. Datenschutz
Anleitung
Eine User-agent-Gruppe mit Allow-/Disallow-Pfaden pro Zeile und optionaler Sitemap ausfüllen. Vor dem Ersetzen einer vorhandenen Datei prüfen.
Methode und Grenzen
robots.txt steuert Crawling, schützt keine Daten und garantiert keine Deindexierung. Im Domainstamm ablegen und Regeln prüfen.