robots.txt-Generator

Was es tut

Baut eine standardkonforme robots.txt mit Allow-/Disallow-Regeln je User-agent, Crawl-delay und Sitemap-Einträgen. Staple mehrere User-agents in eine Gruppe (der kompakte User-agent:-Block, den die Spezifikation definiert), lege separate Gruppen pro Bot an und beobachte, wie die Datei live neben den Steuerelementen entsteht. 100 % clientseitig.

So verwendest du es

1. Presets - starte mit Allow all, Block /admin/ oder Block AI crawlers (GPTBot, OAI-SearchBot, ClaudeBot, CCBot, Google-Extended, Bytespider, PerplexityBot in einer gestapelten Gruppe).
2. Bestehende robots.txt einfügen - klappe das Import-Panel aus, füge deine aktuelle Datei ein, und Parse & load bringt sie in den Editor (Kommentare werden entfernt, Regeln werden pro Agent zusammengeführt).
3. Pro Gruppe: Setze die User-agents (kommagetrennt), die Disallow-/Allow-Pfade (einen pro Zeile) und optional ein Crawl-delay.
4. Füge Sitemap-URLs hinzu (eine pro Zeile).
5. Copy oder Download die robots.txt und lege sie ins Wurzelverzeichnis deiner Site.

Beispiele

Disallow /admin/ und /private für alle Bots, eine Sitemap verlinken →

User-agent: *
Disallow: /admin/
Disallow: /private

Sitemap: https://example.com/sitemap.xml

Eine gestapelte Gruppe, die die KI-Crawler blockiert →

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
Disallow: /

Gut zu wissen

• Live-Validierung - das Tool markiert doppelte User-agents (Crawler führen sie zusammen), Pfade ohne führenden / und nicht-absolute Sitemap-URLs - und weist darauf hin, dass Google Crawl-delay nie unterstützt hat (Bing und Yandex honorieren es).
• Teilbar: Deine gesamte Konfiguration steckt in der Seiten-URL; kopiere die Adresse, um jemandem das exakte Setup zu übergeben.
• Privat: Die Erzeugung läuft lokal.
• Eine leere Disallow-Liste gibt für diese Gruppe Disallow: aus (alles erlauben).
• Verwandte Tools: Slugify, JSON-LD Structured Data.