Verifica Crawlabilità AI
Paste your robots.txt content to instantly see which AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more — can access your site. Understand the impact and get recommendations.
widget.aiCrawlability.pasteTip
Come verificare la tua crawlabilità AI
Poiché i motori di ricerca basati sull'AI — ChatGPT, Perplexity, Google Gemini e Claude — diventano canali di scoperta principali per milioni di utenti, il fatto che questi sistemi possano accedere ai tuoi contenuti ha reali implicazioni commerciali. Un robots.txt mal configurato potrebbe bloccare silenziosamente tutto il traffico AI verso il tuo sito.
Questo strumento analizza il tuo robots.txt lato client (nulla viene inviato a un server) e valuta le regole di accesso per tutti i principali crawler AI. Identifica quali bot sono completamente consentiti, completamente bloccati o parzialmente limitati, e spiega l'impatto sul traffico e le citazioni per ciascuno.
Come ottenere il contenuto del tuo robots.txt
Naviga su tuosito.com/robots.txt nel tuo browser. Questo file è sempre accessibile pubblicamente al dominio radice. Seleziona tutto il testo sulla pagina e copia l'intero contenuto del robots.txt. Incolla il contenuto copiato nell'area di testo sopra e fai clic su 'Analizza crawlabilità AI' per vedere i risultati istantaneamente.
Tutte le stringhe user-agent dei crawler AI
La tabella seguente elenca tutti i principali crawler AI, le loro stringhe user-agent ufficiali (come appaiono nel robots.txt) e l'impatto sul traffico del blocco di ciascuno. Usala come riferimento quando modifichi manualmente il tuo robots.txt.
Comprendere le regole robots.txt per i bot AI
Le regole robots.txt vengono valutate in ordine di specificità. Una regola specifica per un bot (es. User-agent: GPTBot) sostituisce la regola wildcard (User-agent: *). Questo significa che puoi consentire tutti i motori di ricerca per impostazione predefinita bloccando selettivamente specifici crawler AI.
Domande frequenti
Come verifico se il mio sito sta bloccando i crawler AI?
Apri il tuo file robots.txt (tuosito.com/robots.txt), copia il contenuto e incollalo in questo strumento. Il verificatore analizza il tuo robots.txt e valuta l'accesso di ogni crawler AI — GPTBot, ClaudeBot, PerplexityBot, CCBot, Bytespider, Google-Extended e Gemini-Web — mostrando se ciascuno è consentito, bloccato o parzialmente limitato.
Qual è la differenza tra GPTBot e ChatGPT-User?
GPTBot è il bot di crawling di OpenAI per la raccolta di dati di addestramento e l'indicizzazione web. ChatGPT-User è lo user-agent utilizzato quando un utente ChatGPT attiva la funzione di navigazione in tempo reale. Entrambi dovrebbero essere considerati nella configurazione del tuo robots.txt se vuoi controllare l'accesso di OpenAI al tuo sito.
Bloccare i crawler AI danneggia il mio SEO?
Bloccare i crawler AI non influisce direttamente sui tradizionali ranking di Google Search. Googlebot (usato per i ranking di ricerca) è completamente separato da Google-Extended (usato per l'addestramento di Gemini). Tuttavia, bloccare tutti i crawler AI ridurrà la tua visibilità in prodotti di ricerca alimentati dall'AI come Perplexity, ChatGPT Browse e Google AI Overviews, che generano sempre più traffico referral.
Cosa succede se blocco accidentalmente tutti i crawler con Disallow: /?
Una regola wildcard 'User-agent: *' con 'Disallow: /' blocca TUTTI i crawler, incluso Googlebot, dall'indicizzare il tuo sito. Ciò causerebbe la scomparsa del tuo sito dai risultati di ricerca di Google entro poche settimane. Questo strumento segnala questo come un problema critico. Verifica sempre il tuo robots.txt contro tutti i crawler prima del deploy.
Quale crawler AI invia più traffico?
A partire dal 2025, PerplexityBot genera il maggior traffico referral misurabile da fonti AI, seguito da ChatGPT (GPTBot/ChatGPT-User). Google AI Overviews non usa un bot separato — usa il Googlebot standard. Consentire PerplexityBot e GPTBot ti dà le migliori possibilità di apparire nelle risposte generate dall'AI su cui gli utenti fanno clic.
Strumenti correlati
Vuoi un audit GEO completo per il tuo sito?
I nostri specialisti esamineranno il tuo robots.txt, llms.txt, schema markup e la visibilità complessiva nella ricerca AI — e costruiranno una strategia per massimizzare la tua presenza in ChatGPT, Perplexity e Gemini.
Get a Free SEO Audit