Préréglages:
Ce que ça fait
Construit un robots.txt conforme à la norme, avec des règles allow/disallow par user-agent, le crawl-delay et des entrées sitemap. Empilez plusieurs user-agents dans un seul groupe (le bloc User-agent: compact que définit la spécification), ajoutez des groupes séparés par robot, et regardez le fichier se construire en direct à côté des réglages. 100 % côté client.
Comment l’utiliser
- Préréglages — partez de Tout autoriser, Bloquer /admin/ ou Bloquer les crawlers IA (GPTBot, OAI-SearchBot, ClaudeBot, CCBot, Google-Extended, Bytespider, PerplexityBot dans un seul groupe empilé).
- Collez un robots.txt existant — dépliez le panneau d’import, collez votre fichier courant, et Analyser & charger le ramène dans l’éditeur (les commentaires sont retirés, les règles fusionnent par agent).
- Par groupe : réglez les User-agents (séparés par des virgules), les chemins Disallow / Allow (un par ligne), et au besoin un Crawl-delay.
- Ajoutez des URLs de sitemap (une par ligne).
- Copiez ou Téléchargez le
robots.txtet déposez-le à la racine de votre site.
Exemples
Interdire /admin/ et /private à tous les robots, lier un sitemap →
User-agent: *
Disallow: /admin/
Disallow: /private
Sitemap: https://example.com/sitemap.xmlUn seul groupe empilé bloquant les crawlers IA →
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /Bon à savoir
- Validation en direct — l’outil signale les user-agents en double (les crawlers les fusionnent), les chemins sans
/initial, les URLs de sitemap non absolues, et rappelle que Google n’a jamais pris en chargeCrawl-delay(Bing et Yandex l’honorent). - Partageable — toute votre configuration est encodée dans l’URL de la page ; copiez l’adresse pour transmettre le réglage exact.
- Privé : la génération est locale.
- Une liste disallow vide émet
Disallow:(tout autoriser) pour ce groupe. - Outils liés : Slugify, JSON-LD Structured Data.