Generador de robots.txt

Qué hace

Construye un robots.txt conforme a la norma, con reglas allow/disallow por user-agent, crawl-delay y entradas de sitemap. Apila varios user-agents en un grupo (el bloque compacto User-agent: que define la especificación), añade grupos separados por bot, y mira el archivo renderizarse en vivo junto a los controles. 100% en el cliente.

Cómo usarlo

1. Preajustes - parte de Allow all, Block /admin/ o Block AI crawlers (GPTBot, OAI-SearchBot, ClaudeBot, CCBot, Google-Extended, Bytespider, PerplexityBot en un grupo apilado).
2. Pega un robots.txt existente - despliega el panel de importación, pega tu archivo actual, y Analizar y cargar lo trae al editor (los comentarios se eliminan, las reglas se fusionan por agente).
3. Por grupo: fija los User-agents (separados por comas), las rutas Disallow / Allow (una por línea) y, opcionalmente, un Crawl-delay.
4. Añade URLs de sitemap (una por línea).
5. Copia o Descarga robots.txt y déjalo en la raíz de tu sitio.

Ejemplos

Disallow /admin/ y /private para todos los bots, enlaza un sitemap →

User-agent: *
Disallow: /admin/
Disallow: /private

Sitemap: https://example.com/sitemap.xml

Un grupo apilado bloqueando los crawlers de IA →

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /

Buen saber

• Validación en vivo - la herramienta marca user-agents duplicados (los crawlers los fusionan), rutas sin la / inicial, URLs de sitemap no absolutas, y avisa de que Google nunca ha soportado Crawl-delay (Bing y Yandex sí lo respetan).
• Compartible - toda tu configuración va codificada en la URL de la página; copia la dirección para entregar a alguien la configuración exacta.
• Privado: la generación es local.
• Una lista de disallow vacía emite Disallow: (permitir todo) para ese grupo.
• Herramientas relacionadas: Slugify, JSON-LD Structured Data.