AI Taranabilirlik Kontrol Aracı
Paste your robots.txt content to instantly see which AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more — can access your site. Understand the impact and get recommendations.
widget.aiCrawlability.pasteTip
AI Taranabilirliğinizi Nasıl Kontrol Edersiniz
ChatGPT, Perplexity, Google Gemini ve Claude gibi yapay zeka destekli arama motorları milyonlarca kullanıcı için birincil keşif kanalları haline geldikçe, bu sistemlerin içeriğinize erişip erişemediği gerçek iş sonuçları doğuruyor. Yanlış yapılandırılmış bir robots.txt, sitenize gelen tüm AI trafiğini sessizce engelliyor olabilir.
Bu araç, robots.txt dosyanızı istemci tarafında ayrıştırır (hiçbir şey sunucuya gönderilmez) ve tüm önemli AI tarayıcıları için erişim kurallarını değerlendirir. Her botun tam olarak izin verilip verilmediğini, engellenip engellenmediğini veya kısmen kısıtlanıp kısıtlanmadığını ve her birinin trafik ve atıf etkisini açıklar.
robots.txt İçeriğinizi Nasıl Alırsınız
Tarayıcınızda siteniz.com/robots.txt adresine gidin. Bu dosya her zaman kök etki alanında herkese açıktır. Sayfadaki tüm metni seçin ve robots.txt içeriğinin tamamını kopyalayın. Kopyalanan içeriği yukarıdaki metin alanına yapıştırın ve sonuçları anında görmek için 'AI Taranabilirliğini Analiz Et' düğmesine tıklayın.
Tüm AI Tarayıcı User-Agent Dizeleri
Aşağıdaki tablo, tüm önemli AI tarayıcılarını, resmi user-agent dizelerini (robots.txt'te göründükleri haliyle) ve her birini engellemenin trafik etkisini listeler. robots.txt dosyanızı manuel olarak düzenlerken bunu referans olarak kullanın.
AI Botlar için robots.txt Kurallarını Anlamak
Robots.txt kuralları özgüllük sırasına göre değerlendirilir. Bota özgü bir kural (örn. User-agent: GPTBot), joker karakter kuralını (User-agent: *) geçersiz kılar. Bu, tüm arama motorlarına varsayılan olarak izin verirken belirli AI tarayıcılarını seçici biçimde engelleyebileceğiniz anlamına gelir.
Sık Sorulan Sorular
Sitemin AI tarayıcılarını engelleyip engellemediğini nasıl kontrol ederim?
robots.txt dosyanızı açın (siteniz.com/robots.txt), içeriği kopyalayın ve bu araca yapıştırın. Araç, robots.txt dosyanızı ayrıştırarak her AI tarayıcısının erişimini değerlendirir — GPTBot, ClaudeBot, PerplexityBot, CCBot, Bytespider, Google-Extended ve Gemini-Web — ve her birinin izin verilip verilmediğini, engellenip engellenmediğini ya da kısmen kısıtlanıp kısıtlanmadığını gösterir.
GPTBot ile ChatGPT-User arasındaki fark nedir?
GPTBot, OpenAI'nin eğitim verisi toplama ve web dizini oluşturma amacıyla kullandığı tarama botudur. ChatGPT-User ise bir ChatGPT kullanıcısı gerçek zamanlı tarama özelliğini etkinleştirdiğinde kullanılan user-agent'tır. OpenAI'nin sitenize erişimini kontrol etmek istiyorsanız robots.txt yapılandırmanızda her ikisini de göz önünde bulundurmanız gerekir.
AI tarayıcılarını engellemek SEO'umu olumsuz etkiler mi?
AI tarayıcılarını engellemek, geleneksel Google Arama sıralamalarını doğrudan etkilemez. Googlebot (arama sıralamaları için kullanılan) ile Google-Extended (Gemini eğitimi için kullanılan) tamamen ayrıdır. Ancak tüm AI tarayıcıları engellemek, giderek daha fazla yönlendirme trafiği oluşturan Perplexity, ChatGPT Tarama ve Google AI Overviews gibi yapay zeka destekli arama ürünlerindeki görünürlüğünüzü azaltır.
Tüm tarayıcıları Disallow: / ile yanlışlıkla engellesem ne olur?
"User-agent: *" ile "Disallow: /" içeren joker kural, Googlebot dahil TÜM tarayıcıların sitenizi dizine eklemesini engeller. Bu durum, sitenizin birkaç hafta içinde Google arama sonuçlarından kaybolmasına neden olur. Bu araç bunu kritik bir sorun olarak işaretler. robots.txt dosyanızı yayınlamadan önce her zaman tüm tarayıcılara karşı kontrol edin.
Hangi AI tarayıcısı en fazla trafiği gönderiyor?
2025 itibarıyla, PerplexityBot AI kaynaklarından en ölçülebilir yönlendirme trafiğini üretiyor; onu ChatGPT (GPTBot/ChatGPT-User) izliyor. Google AI Overviews ayrı bir bot kullanmıyor — standart Googlebot'u kullanıyor. PerplexityBot ve GPTBot'a izin vermek, kullanıcıların tıkladığı yapay zeka tarafından oluşturulan yanıtlarda görünme şansınızı en üst düzeye çıkarır.
İlgili Araçlar
Siteniz için Kapsamlı Bir GEO Denetimi İster misiniz?
Uzmanlarımız robots.txt, llms.txt, schema markup ve genel AI arama görünürlüğünüzü denetler — ChatGPT, Perplexity ve Gemini'deki varlığınızı en üst düzeye çıkarmak için bir strateji oluşturur.
Get a Free SEO Audit