Robots Txt Generator
Robots Txt Generator — ブラウザで動作します。入力は保存されません。
robots.txt の生成
サイトルートに置く robots.txt テキストを作ります。サーバーへのアップロードは自分で行ってください。
使い方
- User-agentを入れます。初期値のアスタリスクはすべてのクローラーです。
- Allow パスとDisallow パスを1行に1つずつ書きます。
- 任意でSitemap URLを入れ、必要なら追加ブロック: User-agent: AdsBot-Google → Disallow: /をオンにします。
- 生成を押して下の robots.txt テキストを確認しコピーします。
- サイトルートへ自分で上げてください。このツールはアップロードしません。リセットで欄を空にします。
ポイント
robots.txt 生成はクローラーへパスのヒントを出すテキストを組み立てます。セキュリティ障壁ではなく、非公開データは認証で守ってください。Disallow だけあり Allow が空だと、塞いだパス以外のクロールを許すと読まれることが多いです。生成ファイルはルートに置くと効きます。
AdsBot 追加ブロックは広告ボットが全パスを見ないようにする例です。検索露出が必要ならむやみに全体を塞がないでください。Sitemap 行はクローラーが一覧を見つけやすくします。テキストを作るだけでサーバーには上げません。
例
User-agent アスタリスク、Disallow に /admin/ と /private/、Sitemap にサイトマップ URL を入れて生成すると、3つの規則があるファイルになります。AdsBot オプションをオンにすると2つ目のブロックが付きます。コピーした内容をホスティングの公開ルートファイルとして保存してください。Disallow だけあり Allow が空なら、塞いだパス以外はクロールを許すと読まれます。管理画面パスを塞いでも認証がなければ直接 URL アクセスはできるので、セキュリティと混同しないでください。生成テキストをサイトルートに上げたあと Search Console で取得を確認してください。同じ入力を何度も試すときは先にリセットします。共用PCでは終わったら欄を空にしてください。タブを閉じれば貼った値も消え、サーバーへ削除依頼は不要です。ボタン名は画面上のツールと同じです。結果が空なら必須欄と隠れたエラーを先に見てください。この文は使い方の案内であり、入力が外部に残るという意味ではありません。
関連: サイトマップ生成 · メタタグ生成 · hreflang 生成
よくある質問
robots.txt 生成はサーバーに上げてくれますか？
いいえ。テキストだけ作ります。ルートへの配置は自分で行ってください。
robots.txt はセキュリティ機能ですか？
いいえ。クローラーへのヒントだけです。管理画面はログインで守ってください。
AdsBot 追加ブロックとは何ですか？
AdsBot-Google に Disallow / を付ける任意ブロックです。広告ボットのクロールを減らす例です。
Allow と Disallow を同時に使えますか？
使えます。1行にパスを1つずつ書きます。より具体的なパスが優先されることが多いです。
Sitemap URL は必須ですか？
任意です。あると見つけやすいです。XML サイトマップは別ファイルです。
生成内容は検索エンジンにすぐ送信されますか？
送信されません。ファイルを置いたあと Search Console で確認してください。
最終確認日: 2026-09-04