robots.txt ジェネレーター

機能の説明

ユーザーエージェントごとの allow/disallow ルール、crawl-delay、サイトマップエントリを備えた、規格準拠の robots.txt を構築します。1 つのグループに複数のユーザーエージェントを積み上げられ（規格が定義するコンパクトな User-agent: ブロック）、ボットごとに別グループを追加でき、ファイルがコントロールの横でライブに描画されます。100% クライアント側で動作します。

使い方

1. プリセット - Allow all、Block /admin/、Block AI crawlers（GPTBot、OAI-SearchBot、ClaudeBot、CCBot、Google-Extended、Bytespider、PerplexityBot を 1 つの積み上げグループに）- から始めます。
2. 既存の robots.txt を貼り付け - インポートパネルを展開し、現在のファイルを貼り付けると、Parse & load がエディターに取り込みます（コメントは除去され、ルールはエージェントごとにマージされます）。
3. グループごとに: User-agents（カンマ区切り）、Disallow / Allow パス（1 行に 1 つ）、そして必要に応じて Crawl-delay を設定します。
4. Sitemap URLs を追加します（1 行に 1 つ）。
5. robots.txt をコピーまたはダウンロードして、サイトのルートに置きます。

例

すべてのボットに対して /admin/ と /private を disallow し、サイトマップをリンク →

User-agent: *
Disallow: /admin/
Disallow: /private

Sitemap: https://example.com/sitemap.xml

AI クローラーをブロックする 1 つの積み上げグループ →

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /

補足事項

• ライブ検証 - ツールは、重複するユーザーエージェント（クローラーはこれらをマージします）、先頭の / を欠くパス、絶対でないサイトマップ URL をフラグし、さらに Google は Crawl-delay を一度もサポートしていない（Bing と Yandex は尊重する）ことを注記します。
• 共有可能: 設定全体がページ URL にエンコードされます。アドレスをコピーすれば、正確なセットアップをそのまま手渡せます。
• プライベート: 生成はローカルで行われます。
• 空の disallow リストは、そのグループに Disallow:（すべて許可）を出力します。
• 関連ツール: Slugify、JSON-LD Structured Data。