robots.txt 生成器

功能说明

构建符合规范的 robots.txt：支持按 user-agent 的 Allow/Disallow 规则、crawl-delay 和 sitemap 条目。可以把多个 user-agent 堆叠进一个组（规范定义的紧凑 User-agent: 块），为每个机器人添加独立分组，并实时查看文件在控件旁渲染。100% 客户端。

使用方法

1. 预设 —— 从 Allow all、Block /admin/ 或 Block AI crawlers 开始（后者把 GPTBot、OAI-SearchBot、ClaudeBot、CCBot、Google-Extended、Bytespider、PerplexityBot 堆叠为一组）。
2. 粘贴已有的 robots.txt —— 展开导入面板，粘贴你当前的文件，Parse & load 会把它载入编辑器（注释被剥离，规则按 agent 合并）。
3. 每个分组内：设置 User-agents（逗号分隔）、Disallow / Allow 路径（每行一条），以及可选的 Crawl-delay。
4. 添加 Sitemap URL（每行一条）。
5. 复制或下载 robots.txt，放到你的站点根目录。

示例

对所有机器人 Disallow /admin/ 和 /private，并链接一个 sitemap →

User-agent: *
Disallow: /admin/
Disallow: /private

Sitemap: https://example.com/sitemap.xml

一个堆叠分组屏蔽 AI 爬虫 →

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /

补充说明

• 实时校验 —— 工具会标记重复的 user-agent（爬虫会将它们合并）、缺少前导 / 的路径、非绝对地址的 sitemap URL，并提示 Google 从未支持 Crawl-delay（Bing 和 Yandex 遵守它）。
• 可分享： 你的全部配置都编码在页面 URL 中；复制地址即可把精确配置交给他人。
• 私密： 生成在本地完成。
• 空的 disallow 列表会为该分组输出 Disallow:（全部允许）。
• 相关工具： Slugify、JSON-LD Structured Data。