Générateur de robots.txt
Créez un fichier robots.txt avec les agents utilisateurs, chemins autorisés ou bloqués et sitemap. Relisez les règles avant de copier ou télécharger.
Remplissez un groupe User-agent avec chemins Allow/Disallow et Sitemap facultative. Téléchargez et vérifiez avant de remplacer un fichier existant.
Résultat
Le résultat apparaîtra ici.
Nous comptons les outils les plus utilisés, sans inclure les valeurs saisies ni le contenu des fichiers dans les statistiques. Confidentialité
Comment l’utiliser
Remplissez un groupe User-agent avec chemins Allow/Disallow et Sitemap facultative. Téléchargez et vérifiez avant de remplacer un fichier existant.
Méthode et limites
robots.txt contrôle l’exploration, pas l’accès ni la désindexation. Placez-le à la racine du domaine et vérifiez les règles.