Gerador de robots.txt

O que faz

Monta um robots.txt em conformidade com o padrão, com regras allow/disallow por user-agent, crawl-delay e entradas de sitemap. Empilhe vários user-agents num único grupo (o bloco User-agent: compacto que a especificação define), adicione grupos separados por bot e veja o arquivo renderizar ao vivo ao lado dos controles. 100% no cliente.

Como usar

1. Presets - comece com Allow all, Block /admin/ ou Block AI crawlers (GPTBot, OAI-SearchBot, ClaudeBot, CCBot, Google-Extended, Bytespider, PerplexityBot num único grupo empilhado).
2. Cole um robots.txt existente - expanda o painel de importação, cole o seu arquivo atual, e Parse & load o traz para o editor (comentários são removidos, as regras são mescladas por agente).
3. Por grupo: defina os User-agents (separados por vírgula), os caminhos Disallow / Allow (um por linha) e, opcionalmente, um Crawl-delay.
4. Adicione URLs de Sitemap (uma por linha).
5. Copy ou Download o robots.txt e coloque-o na raiz do seu site.

Exemplos

Disallow /admin/ e /private para todos os bots, com link para um sitemap →

User-agent: *
Disallow: /admin/
Disallow: /private

Sitemap: https://example.com/sitemap.xml

Um grupo empilhado bloqueando os AI crawlers →

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /

Bom saber

• Validação ao vivo - a ferramenta sinaliza user-agents duplicados (crawlers os mesclam), caminhos sem a / inicial, URLs de sitemap não absolutas, e observa que o Google nunca suportou Crawl-delay (Bing e Yandex honram).
• Compartilhável - toda a sua configuração é codificada na URL da página; copie o endereço para entregar a alguém a configuração exata.
• Privado: a geração é local.
• Uma lista disallow vazia emite Disallow: (permite tudo) para esse grupo.
• Ferramentas relacionadas: Slugify, JSON-LD Structured Data.