Robots.txt Generator
Generate a robots.txt file with full control over AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more. Configure traditional search bots and custom rules. Download ready to deploy.
Traditionelle Crawler
*GooglebotBingbotYandexBotBaiduspiderKI-CrawlerGEO & KI-Suche
Jeden KI-Crawler blockieren oder zulassen. Blockieren verhindert KI-Training und Zitate aus Ihren Inhalten.
OpenAI / ChatGPT
Anthropic
Perplexity AI
Common Crawl
ByteDance / TikTok
Google (Gemini training)
Benutzerdefinierte Regeln
Sitemap-URL
User-agent: *Allow: / User-agent: GPTBotAllow: / User-agent: ClaudeBotAllow: / User-agent: PerplexityBotAllow: / User-agent: CCBotAllow: / User-agent: BytespiderAllow: / User-agent: Google-ExtendedAllow: /
Laden Sie robots.txt in Ihr Domain-Stammverzeichnis hoch, damit es unter /robots.txt erreichbar ist.
So verwenden Sie den Robots.txt Generator
Eine robots.txt-Datei ist eines der grundlegendsten technischen SEO-Assets. An der Domain-Root platziert, kommuniziert sie Crawling-Präferenzen an jeden Bot, der Ihre Website besucht — von Googlebot bis zu den neuesten AI-Crawlern, die große Sprachmodelle mit Ihren Inhalten trainieren.
In 2024 und 2025 hat sich die Landschaft der Web-Crawler dramatisch erweitert. Über traditionelle Suchbots hinaus betreiben AI-Unternehmen jetzt ihre eigenen Crawler, um Trainingsdaten zu sammeln und Echtzeit-AI-Suchantworten zu liefern. Diese Bots zu verstehen und zu kontrollieren ist zu einem kritischen Teil moderner SEO-Strategie geworden.
Schritt-für-Schritt-Anleitung
Schritt 1 — Traditionelle Crawler konfigurieren: Aktivieren Sie spezifische Suchmaschinen-Bots (Googlebot, Bingbot, Yandex, Baidu) und legen Sie Allow, Disallow oder eine benutzerdefinierte Pfadbeschränkung für jeden fest.
Schritt 2 — AI-Crawler-Richtlinien festlegen: Verwenden Sie die Toggle-Karten im AI-Crawler-Bereich, um jedem AI-Bot individuell zu erlauben oder ihn zu blockieren. Grün bedeutet, der Bot kann auf Ihre Website zugreifen; rot bedeutet, er ist blockiert.
Schritt 3 — Benutzerdefinierte Regeln hinzufügen: Für fortgeschrittene Anwendungsfälle fügen Sie benutzerdefinierte User-agent + Allow/Disallow + Pfad-Kombinationen hinzu. Nützlich zum Blockieren bestimmter Verzeichnisse oder zum Erlauben nur bestimmter Bots auf bestimmten Seiten.
Schritt 4 — Sitemap hinzufügen und herunterladen: Geben Sie Ihre Sitemap-URL ein, damit Crawler Ihren Content finden. Klicken Sie auf Herunterladen, um robots.txt zum Hochladen in Ihr Domain-Root zu erhalten.
Häufig gestellte Fragen
Was ist eine robots.txt-Datei?
Eine robots.txt-Datei ist eine reine Textdatei im Root-Verzeichnis Ihrer Website (z. B. example.com/robots.txt). Sie folgt dem Robots Exclusion Protocol und teilt Web-Crawlern — einschließlich Suchmaschinen und AI-Bots — mit, auf welche Seiten oder Bereiche Ihrer Website sie zugreifen dürfen und welche nicht. Obwohl es gesetzlich nicht vorgeschrieben ist, halten sich alle seriösen Crawler daran.
Was ist GPTBot und sollte ich ihn blockieren?
GPTBot ist OpenAIs Web-Crawler, der zum Sammeln von Trainingsdaten für ChatGPT und andere OpenAI-Modelle verwendet wird. Wenn Sie GPTBot blockieren, werden Ihre Inhalte nicht für zukünftige OpenAI-Modelltrainings verwendet. Das bedeutet jedoch auch, dass ChatGPT möglicherweise weniger gut über Ihre Website informiert ist. Wenn Sie Zitierungen von ChatGPT möchten, sollten Sie GPTBot erlauben. Wenn Datenschutz oder Inhaltsschutz Priorität haben, blockieren Sie ihn.
Was ist ClaudeBot und was crawlt er?
ClaudeBot ist Anthropics Web-Crawler. Er wird zur Verbesserung von Claude AI-Modellen eingesetzt. Das Blockieren von ClaudeBot verhindert, dass Anthropic Ihre Inhalte für das Training indexiert. Wie GPTBot kann das Erlauben von ClaudeBot die Wahrscheinlichkeit erhöhen, dass Claude Ihre Website korrekt darstellt, wenn Nutzer nach Themen fragen, die Sie behandeln.
Beeinflusst das Blockieren von AI-Crawlern Google-Rankings?
Nein. Googlebot (der Google-Such-Rankings antreibt) ist ein separater Crawler von Google-Extended (der für Gemini-AI-Training verwendet wird). Das Blockieren von Google-Extended in robots.txt wirkt sich nicht auf Ihre Google-Such-Rankings aus. Sie können Google-Extended sicher blockieren, wenn Sie nicht möchten, dass Ihre Inhalte für Gemini-Training verwendet werden, ohne Ihre SEO zu beeinträchtigen.
Was ist der Unterschied zwischen GPTBot, CCBot und PerplexityBot?
GPTBot (OpenAI) crawlt das Web für ChatGPT-Trainingsdaten und Echtzeit-Browsing. CCBot (Common Crawl) wird von vielen AI-Unternehmen — darunter OpenAI und Hugging Face — als gemeinsam genutzter Trainingsdatensatz verwendet. PerplexityBot ist Perplexity AIs Crawler, der sowohl für das Training als auch für die Echtzeit-Antwortgenerierung verwendet wird. Das Blockieren von CCBot kann die Exposition gegenüber vielen AI-Systemen auf einmal reduzieren, da er Daten an mehrere Unternehmen liefert.
Ähnliche Tools
Möchten Sie ein vollständiges AI-Such-Audit?
Unsere GEO-Spezialisten auditieren Ihre Website auf AI-Crawler-Zugänglichkeit, robots.txt-Konfiguration und allgemeine Sichtbarkeit in ChatGPT, Perplexity und Google AI Overviews.
Get a Free SEO Audit