Predefinições:
O que faz
Monta um robots.txt em conformidade com o padrão, com regras allow/disallow por user-agent, crawl-delay e entradas de sitemap. Empilhe vários user-agents num único grupo (o bloco User-agent: compacto que a especificação define), adicione grupos separados por bot e veja o arquivo renderizar ao vivo ao lado dos controles. 100% no cliente.
Como usar
- Presets - comece com Allow all, Block /admin/ ou Block AI crawlers (GPTBot, OAI-SearchBot, ClaudeBot, CCBot, Google-Extended, Bytespider, PerplexityBot num único grupo empilhado).
- Cole um robots.txt existente - expanda o painel de importação, cole o seu arquivo atual, e Parse & load o traz para o editor (comentários são removidos, as regras são mescladas por agente).
- Por grupo: defina os User-agents (separados por vírgula), os caminhos Disallow / Allow (um por linha) e, opcionalmente, um Crawl-delay.
- Adicione URLs de Sitemap (uma por linha).
- Copy ou Download o
robots.txte coloque-o na raiz do seu site.
Exemplos
Disallow /admin/ e /private para todos os bots, com link para um sitemap →
User-agent: *
Disallow: /admin/
Disallow: /private
Sitemap: https://example.com/sitemap.xml
Um grupo empilhado bloqueando os AI crawlers →
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /
Bom saber
- Validação ao vivo - a ferramenta sinaliza user-agents duplicados (crawlers os mesclam), caminhos sem a
/inicial, URLs de sitemap não absolutas, e observa que o Google nunca suportouCrawl-delay(Bing e Yandex honram). - Compartilhável - toda a sua configuração é codificada na URL da página; copie o endereço para entregar a alguém a configuração exata.
- Privado: a geração é local.
- Uma lista disallow vazia emite
Disallow:(permite tudo) para esse grupo. - Ferramentas relacionadas: Slugify, JSON-LD Structured Data.