robots.txt作成
User-agent、許可・禁止パス、サイトマップURLからrobots.txtを作成。クローラーに伝えるルールを確認してコピーできます。
対象のクローラーとパスを入力し、作成されたルールが必要なページやアセットを妨げないか確認してください。 robots.txtは認証や機密保護の仕組みではなく、URLの検索結果からの削除も保証しません。
結果
ここに結果を表示します。
入力値やファイル内容を統計に含めず、どのツールが使われたかを集計します。 プライバシー
使い方と計算方法
対象のクローラーとパスを入力し、作成されたルールが必要なページやアセットを妨げないか確認してください。
制限と確認事項
robots.txtは認証や機密保護の仕組みではなく、URLの検索結果からの削除も保証しません。