robots.txt oluşturucu
User-agent, Allow, Disallow ve site haritası adresiyle robots.txt hazırlayın. Yayımlamadan önce izin verilen ve engellenen yolları inceleyin.
Robot ve yolları girin. Gerekli sayfa ve kaynakların engellenmediğini kontrol edin. robots.txt kimlik doğrulama veya veri güvenliği sağlamaz. URL'nin arama sonuçlarından kaldırılmasını garanti etmez.
Sonuç
Sonuç burada görünür.
Girilen değer veya dosya içeriğini istatistiğe katmadan hangi araçların kullanıldığını sayarız. Gizlilik
Kullanım ve hesaplama yöntemi
Robot ve yolları girin. Gerekli sayfa ve kaynakların engellenmediğini kontrol edin.
Sınırlar ve kontrol edilecekler
robots.txt kimlik doğrulama veya veri güvenliği sağlamaz. URL'nin arama sonuçlarından kaldırılmasını garanti etmez.