Robots.txt Oluşturucu
Generate a robots.txt file with full control over AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more. Configure traditional search bots and custom rules. Download ready to deploy.
Geleneksel Tarayıcılar
*GooglebotBingbotYandexBotBaiduspiderAI TarayıcılarGEO & AI Arama
Her AI tarayıcısını engellemek veya izin vermek için değiştirin. Engelleme, içeriğinizin AI eğitimine ve atıflarına dahil edilmesini önler.
OpenAI / ChatGPT
Anthropic
Perplexity AI
Common Crawl
ByteDance / TikTok
Google (Gemini training)
Özel Kurallar
Sitemap URL
User-agent: *Allow: / User-agent: GPTBotAllow: / User-agent: ClaudeBotAllow: / User-agent: PerplexityBotAllow: / User-agent: CCBotAllow: / User-agent: BytespiderAllow: / User-agent: Google-ExtendedAllow: /
robots.txt'yi alan adı kökünüze yükleyin; /robots.txt adresinden erişilebilir olmalıdır.
Robots.txt Oluşturucu Nasıl Kullanılır?
Robots.txt dosyası, en temel teknik SEO varlıklarından biridir. Alan adı kökünüze yerleştirilen bu dosya, sitenizi ziyaret eden her bota tarama tercihlerini iletir — Googlebot'tan başlayarak içeriğinizi eğitim verisi olarak kullanan en yeni AI tarayıcılarına kadar.
2024 ve 2025'te web tarayıcılarının manzarası önemli ölçüde genişledi. Geleneksel arama botlarının ötesinde, AI şirketleri artık eğitim verisi toplamak ve gerçek zamanlı AI arama yanıtlarını güçlendirmek için kendi tarayıcılarını işletiyor. Bu botları anlamak ve kontrol etmek, modern SEO stratejisinin kritik bir parçası haline geldi.
Adım Adım Kılavuz
Adım 1 — Geleneksel tarayıcıları yapılandırın: Belirli arama motoru botlarını (Googlebot, Bingbot, Yandex, Baidu) etkinleştirin ve her biri için Allow, Disallow veya özel yol kısıtlaması belirleyin.
Adım 2 — AI tarayıcı politikalarını belirleyin: Her AI botuna ayrı ayrı izin vermek veya engellemek için AI Tarayıcılar bölümündeki geçiş kartlarını kullanın. Yeşil, botun sitenize erişebileceği anlamına gelir; kırmızı ise engellendiği anlamına gelir.
Adım 3 — Özel kurallar ekleyin: Gelişmiş kullanım senaryoları için özel User-agent + Allow/Disallow + yol kombinasyonları ekleyin. Belirli dizinleri engellemek veya yalnızca belirli botların belirli sayfalara erişmesine izin vermek için kullanışlıdır.
Adım 4 — Sitemap ekleyin ve indirin: Tarayıcıların içeriğinizi bulabilmesi için sitemap URL'nizi girin. robots.txt'yi alan adı köküne yüklemek için hazır almak amacıyla İndir'e tıklayın.
Sık Sorulan Sorular
Robots.txt dosyası nedir?
Robots.txt dosyası, web sitenizin kökünde (örn. example.com/robots.txt) bulunan düz metin bir dosyadır. Robots Dışlama Protokolü'nü izler ve arama motorları ile AI botları dahil web tarayıcılarına sitenizin hangi sayfalarına veya bölümlerine erişip erişemeyeceklerini bildirir. Yasal bir zorunluluk olmasa da tüm saygın tarayıcılar bu dosyaya uyar.
GPTBot nedir ve onu engellemeli miyim?
GPTBot, ChatGPT ve diğer OpenAI modelleri için eğitim verisi toplamak amacıyla kullanılan OpenAI'ın web tarayıcısıdır. GPTBot'u engellerseniz içeriğiniz gelecekteki OpenAI model eğitimlerinde kullanılmaz. Ancak bu, ChatGPT'nin siteniz hakkında daha az bilgili olabileceği anlamına da gelir. ChatGPT'den atıflar almak istiyorsanız GPTBot'a izin vermelisiniz. Gizlilik veya içerik koruma önceliğinizse engelleyin.
ClaudeBot nedir ve neyi tarar?
ClaudeBot, Anthropic'in web tarayıcısıdır. Claude AI modellerini geliştirmek için kullanılır. ClaudeBot'u engellemek, Anthropic'in içeriğinizi eğitim için indekslemesini önler. GPTBot gibi, ClaudeBot'a izin vermek de kullanıcılar ele aldığınız konular hakkında soru sorduğunda Claude'un sitenizi doğru bir şekilde temsil etme olasılığını artırabilir.
AI tarayıcılarını engellemek Google sıralamalarını etkiler mi?
Hayır. Googlebot (Google Arama sıralamalarını destekler), Google-Extended'den (Gemini AI eğitimi için kullanılır) ayrı bir tarayıcıdır. robots.txt'de Google-Extended'i engellemek Google Arama sıralamalarınızı etkilemez. İçeriğinizin Gemini eğitimi için kullanılmasını istemiyorsanız SEO'nuzu etkilemeden Google-Extended'i güvenle engelleyebilirsiniz.
GPTBot, CCBot ve PerplexityBot arasındaki fark nedir?
GPTBot (OpenAI), ChatGPT eğitim verisi ve gerçek zamanlı tarama için web'i tarar. CCBot (Common Crawl), OpenAI ve Hugging Face dahil pek çok AI şirketi tarafından paylaşılan bir eğitim veri seti olarak kullanılır. PerplexityBot, Perplexity AI'ın hem eğitim hem de gerçek zamanlı yanıt üretimi için kullandığı tarayıcısıdır. CCBot'u engellemek, birden fazla şirkete veri sağladığından aynı anda birçok AI sisteminde maruziyeti azaltabilir.
İlgili Araçlar
Kapsamlı Bir AI Arama Denetimi mi İstiyorsunuz?
GEO uzmanlarımız sitenizin AI tarayıcı erişilebilirliğini, robots.txt yapılandırmasını ve ChatGPT, Perplexity ile Google AI Overviews'taki genel görünürlüğünü denetler.
Get a Free SEO Audit