Generatore robots.txt
Generate a robots.txt file with full control over AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more. Configure traditional search bots and custom rules. Download ready to deploy.
Crawler Tradizionali
*GooglebotBingbotYandexBotBaiduspiderCrawler AIGEO & Ricerca AI
Attiva/disattiva per bloccare o consentire ogni crawler AI. Bloccare impedisce l'addestramento AI e le citazioni del tuo contenuto.
OpenAI / ChatGPT
Anthropic
Perplexity AI
Common Crawl
ByteDance / TikTok
Google (Gemini training)
Regole Personalizzate
URL Sitemap
User-agent: *Allow: / User-agent: GPTBotAllow: / User-agent: ClaudeBotAllow: / User-agent: PerplexityBotAllow: / User-agent: CCBotAllow: / User-agent: BytespiderAllow: / User-agent: Google-ExtendedAllow: /
Carica robots.txt nella radice del tuo dominio in modo che sia accessibile a /robots.txt.
Come usare il generatore robots.txt
Un file robots.txt è uno degli asset SEO tecnici più fondamentali. Posizionato nella root del tuo dominio, comunica le preferenze di crawling a ogni bot che visita il tuo sito — da Googlebot ai più recenti crawler AI che addestrano grandi modelli linguistici sui tuoi contenuti.
Nel 2024 e 2025, il panorama dei web crawler si è espanso notevolmente. Oltre ai tradizionali bot di ricerca, le aziende AI ora gestiscono i propri crawler per raccogliere dati di addestramento e alimentare le risposte di ricerca AI in tempo reale. Comprendere e controllare questi bot è diventato una parte fondamentale della strategia SEO moderna.
Guida passo dopo passo
Passo 1 — Configura i crawler tradizionali: Abilita bot specifici dei motori di ricerca (Googlebot, Bingbot, Yandex, Baidu) e imposta Allow, Disallow o una restrizione di percorso personalizzata per ciascuno.
Passo 2 — Imposta le politiche per i crawler AI: Usa le schede toggle nella sezione Crawler AI per consentire o bloccare ogni bot AI individualmente. Il verde significa che il bot può accedere al tuo sito; il rosso significa che è bloccato.
Passo 3 — Aggiungi regole personalizzate: Per casi d'uso avanzati, aggiungi combinazioni personalizzate di User-agent + Allow/Disallow + percorso. Utile per bloccare directory specifiche o consentire solo determinati bot su determinate pagine.
Passo 4 — Aggiungi sitemap e scarica: Inserisci l'URL della tua sitemap in modo che i crawler possano trovare i tuoi contenuti. Clicca su Scarica per ottenere robots.txt pronto per il caricamento nella root del tuo dominio.
Domande frequenti
Cos'è un file robots.txt?
Un file robots.txt è un file di testo normale collocato nella root del tuo sito web (es. example.com/robots.txt). Segue il Robots Exclusion Protocol e indica ai web crawler — inclusi motori di ricerca e bot AI — a quali pagine o sezioni del tuo sito possono o non possono accedere. Sebbene non sia imposto per legge, tutti i crawler affidabili lo rispettano.
Cos'è GPTBot e dovrei bloccarlo?
GPTBot è il web crawler di OpenAI usato per raccogliere dati di addestramento per ChatGPT e altri modelli OpenAI. Se blocchi GPTBot, i tuoi contenuti non verranno usati nei futuri addestramenti dei modelli OpenAI. Tuttavia, significa anche che ChatGPT potrebbe essere meno informato sul tuo sito. Se vuoi citazioni da ChatGPT, dovresti consentire GPTBot. Se la privacy o la protezione dei contenuti è la tua priorità, bloccalo.
Cos'è ClaudeBot e cosa esplora?
ClaudeBot è il web crawler di Anthropic. Viene usato per migliorare i modelli Claude AI. Bloccare ClaudeBot impedisce ad Anthropic di indicizzare i tuoi contenuti per l'addestramento. Come GPTBot, consentire ClaudeBot può aumentare la probabilità che Claude rappresenti accuratamente il tuo sito quando gli utenti fanno domande sugli argomenti che tratti.
Bloccare i crawler AI influisce sui ranking di Google?
No. Googlebot (che alimenta i ranking di Google Search) è un crawler separato da Google-Extended (usato per l'addestramento di Gemini AI). Bloccare Google-Extended in robots.txt non influirà sui tuoi ranking di Google Search. Puoi bloccare Google-Extended in modo sicuro se non vuoi che i tuoi contenuti vengano usati per l'addestramento di Gemini senza impattare il tuo SEO.
Qual è la differenza tra GPTBot, CCBot e PerplexityBot?
GPTBot (OpenAI) esplora il web per i dati di addestramento di ChatGPT e la navigazione in tempo reale. CCBot (Common Crawl) è usato da molte aziende AI — tra cui OpenAI e Hugging Face — come dataset di addestramento condiviso. PerplexityBot è il crawler di Perplexity AI usato sia per l'addestramento che per la generazione di risposte in tempo reale. Bloccare CCBot può ridurre l'esposizione su molti sistemi AI contemporaneamente, poiché fornisce dati a più aziende.
Strumenti correlati
Vuoi un audit completo della ricerca AI?
I nostri specialisti GEO controlleranno l'accessibilità ai crawler AI del tuo sito, la configurazione robots.txt e la visibilità complessiva in ChatGPT, Perplexity e Google AI Overviews.
Get a Free SEO Audit