Generatore robots.txt
Crea un file robots.txt con user-agent, percorsi consentiti o bloccati e sitemap. Controlla le regole prima di copiarlo o scaricarlo.
Compila un gruppo User-agent con percorsi Allow/Disallow, uno per riga, e una Sitemap facoltativa. Scarica il file e controlla il risultato prima di sostituire quello esistente.
Risultato
Il risultato apparirà qui.
Contiamo quali strumenti sono più usati, senza includere nelle statistiche i valori inseriti o il contenuto dei file. Privacy
Come usarlo
Compila un gruppo User-agent con percorsi Allow/Disallow, uno per riga, e una Sitemap facoltativa. Scarica il file e controlla il risultato prima di sostituire quello esistente.
Metodo e limiti
robots.txt gestisce la scansione: non protegge dati e non garantisce deindicizzazione. Installa il file nella radice del dominio e verifica le regole.