Robots.txt Regel-Tester
Fügen Sie Ihre robots.txt ein und testen Sie, ob eine URL für Googlebot, GPTBot, ClaudeBot, Bingbot oder einen benutzerdefinierten User-Agent erlaubt oder gesperrt ist.
So verwenden Sie den Robots.txt Regel-Tester
Fügen Sie Ihren robots.txt-Inhalt in das große Textfeld ein. Klicken Sie auf Beispiel laden, um eine Demodatei auszuprobieren. Geben Sie den URL-Pfad ein, den Sie testen möchten (z.B. /admin/ oder https://example.com/blog/post-1), wählen Sie einen User-Agent aus dem Dropdown oder geben Sie einen benutzerdefinierten ein, und klicken Sie dann auf Regel testen.
Häufig gestellte Fragen
Wie funktioniert ein robots.txt Regel-Tester?
Ein robots.txt Regel-Tester analysiert Ihren robots.txt-Inhalt und simuliert, wie ein Crawler eine bestimmte URL anhand der deklarierten Regeln bewertet. Er prüft User-agent-Blöcke in der Reihenfolge ihrer Spezifität — der Block eines bestimmten Bots hat Vorrang vor dem Platzhalter (*)-Block. Innerhalb eines Blocks gewinnt die längste (spezifischste) übereinstimmende Regel.
Was ist die korrekte Prioritätsreihenfolge für robots.txt-Regeln?
Zuerst sucht der Tester nach einem User-agent-Block, der dem Bot-Namen genau entspricht (ohne Beachtung der Groß-/Kleinschreibung). Wenn dort eine passende Regel gefunden wird, gilt diese und der Platzhalter (*)-Block wird für diesen Bot ignoriert. Wenn kein spezifischer Block vorhanden ist, gelten die Platzhalter (*)-Regeln.
Warum ignoriert Googlebot meine Disallow-Regel?
Der häufigste Grund ist eine spezifischere Allow-Regel, die die Disallow-Regel überschreibt. Zum Beispiel bedeutet 'Allow: /blog/' mit 'Disallow: /', dass /blog/ erlaubt ist, obwohl alles andere blockiert ist. Überprüfen Sie auch, ob Sie keinen separaten 'User-agent: Googlebot'-Block mit eigenen Regeln definiert haben.
Sollte ich AI-Bots wie GPTBot und ClaudeBot blockieren?
Das Blockieren von AI-Training-Bots (GPTBot für OpenAI, ClaudeBot für Anthropic) verhindert, dass Ihre Inhalte in AI-Modell-Trainingsdatensätzen verwendet werden. Es beeinflusst Ihre Google-Such-Rankings nicht. Um sie zu blockieren, fügen Sie hinzu: 'User-agent: GPTBot' gefolgt von 'Disallow: /' und wiederholen Sie dies für ClaudeBot.
Was ist der Unterschied zwischen Googlebot und Google-Extended?
Googlebot ist Googles Haupt-Suchcrawler — er indiziert Ihre Seiten für die Google-Suche. Google-Extended ist ein separater User-Agent, der von Google verwendet wird, um seine KI-Produkte zu trainieren (Gemini, Vertex AI). Sie können Google-Extended blockieren, um sich von KI-Training abzumelden, ohne Ihre Suchrankings zu beeinflussen.
Ähnliche Tools
Benötigen Sie ein vollständiges technisches SEO-Audit?
Unsere SEO-Experten überprüfen Ihre robots.txt, Sitemap, Crawl-Budget und technische Konfiguration, um einen vollständigen Aktionsplan für Ihre Website zu erstellen.
Kostenloses SEO-Audit anfordern