Robots.txt Kural Test Aracı
Robots.txt dosyanızı yapıştırın ve herhangi bir URL'nin Googlebot, GPTBot, ClaudeBot, Bingbot veya özel bir kullanıcı aracısı için izinli mi yoksa engellenmiş mi olduğunu test edin.
Robots.txt Kural Test Aracı Nasıl Kullanılır?
Robots.txt içeriğinizi büyük metin alanına yapıştırın. Örnek dosyayı denemek için Örnek Yükle'ye tıklayın. Test etmek istediğiniz URL yolunu girin (örn. /admin/ veya https://example.com/blog/post-1), açılır menüden bir kullanıcı aracısı seçin veya özel bir tane girin, ardından Kural Test Et'e tıklayın.
Sık Sorulan Sorular
Robots.txt kural test aracı nasıl çalışır?
Robots.txt kural test aracı, robots.txt içeriğinizi ayrıştırır ve bir tarayıcının belirli bir URL'yi bildirilen kurallara göre nasıl değerlendirdiğini simüle eder. User-agent bloklarını özgüllük sırasına göre kontrol eder — belirli bir botun bloğu, joker (*) bloğuna göre öncelik taşır. Bir blok içinde, en uzun (en spesifik) eşleşen kural kazanır.
Robots.txt kuralları için doğru öncelik sırası nedir?
Önce test aracı, bot adıyla tam olarak eşleşen bir User-agent bloğu arar (büyük/küçük harf duyarsız). Orada bir eşleşen kural bulunursa, bu kural uygulanır ve joker (*) bloğu o bot için göz ardı edilir. Belirli bir blok yoksa, joker (*) kuralları uygulanır. Herhangi bir blok içinde, en uzun (en spesifik) eşleşen yol kazanır.
Googlebot neden Disallow kuralımı görmezden geliyor?
En yaygın neden, Disallow'u geçersiz kılan daha spesifik bir Allow kuralının varlığıdır. Örneğin, 'Allow: /blog/' ve 'Disallow: /' birlikte kullanılmışsa, diğer her şey engellenmiş olsa bile /blog/ izinlidir. Ayrıca ayrı bir 'User-agent: Googlebot' bloğu tanımlamadığınızı kontrol edin — bu blok Googlebot için joker bloğuna göre tam önceliğe sahiptir.
GPTBot ve ClaudeBot gibi AI botlarını engellemeli miyim?
AI eğitim botlarını engellemek (OpenAI için GPTBot, Anthropic için ClaudeBot), içeriğinizin AI model eğitim veri kümelerinde kullanılmasını önler. Google arama sıralamalarınızı etkilemez. Engellemek için: 'User-agent: GPTBot' ve ardından 'Disallow: /' ekleyin; ClaudeBot için de aynısını yapın.
Googlebot ile Google-Extended arasındaki fark nedir?
Googlebot, Google'ın ana arama tarayıcısıdır — sayfalarınızı Google Arama için indeksler. Google-Extended, Google'ın AI ürünlerini (Gemini, Vertex AI) eğitmek için kullandığı ayrı bir kullanıcı aracısıdır. Arama sıralamalarınızı etkilemeden AI eğitiminden çıkmak için Google-Extended'i engelleyebilirsiniz.
İlgili Araçlar
Kapsamlı Teknik Bir SEO Denetimi mi İstiyorsunuz?
SEO uzmanlarımız robots.txt, sitemap, tarama bütçesi ve teknik yapılandırmanızı inceleyerek siteniz için eksiksiz bir eylem planı oluşturur.
Ücretsiz SEO Denetimi Alın