Analizzatore robots.txt
Recupera e analizza il file robots.txt di qualsiasi sito web. Controlla istantaneamente se i bot AI (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) sono consentiti o bloccati, visualizza tutte le regole di crawling e scopri le dichiarazioni sitemap.
Come usare l'analizzatore robots.txt
Inserisci qualsiasi dominio o URL e clicca Analizza. Lo strumento recupera il file robots.txt dal server e analizza tutte le direttive. I risultati includono lo stato di accesso dei bot AI (consentito, bloccato o parziale), tutti gli URL sitemap dichiarati, una tabella completa delle regole con i valori User-agent, Allow, Disallow e Crawl-delay, e il contenuto grezzo del robots.txt.
Errori comuni nel robots.txt che danneggiano il SEO
Bloccare CSS e JavaScript: Se Googlebot non riesce ad accedere ai tuoi file CSS/JS, non può renderizzare correttamente le tue pagine. Questo può far sì che Google fraintenda i tuoi contenuti o perda dati strutturati importanti.
Disallow durante lo sviluppo: I siti di staging spesso hanno 'Disallow: /' impostato correttamente, ma questa regola a volte viene distribuita in produzione. Controlla robots.txt dopo ogni distribuzione importante.
Dichiarazione Sitemap mancante: Aggiungere Sitemap: https://example.com/sitemap.xml a robots.txt assicura che tutti i principali crawler trovino la tua sitemap indipendentemente dal fatto che la abbiano nel loro indice.
Percorsi sensibili alle maiuscole: La corrispondenza User-agent non è sensibile alle maiuscole, ma la corrispondenza dei percorsi lo è. Disallow: /Admin non bloccherà /admin sui server sensibili alle maiuscole.
Domande frequenti
Cos'è un file robots.txt e perché è importante per il SEO?
Un file robots.txt è un file di testo normale nella root del tuo dominio (es. example.com/robots.txt) che indica ai web crawler quali pagine o sezioni possono o non possono accedere. Fa parte del Robots Exclusion Protocol. Per il SEO, robots.txt controlla quali pagine Googlebot esplora, aiuta a gestire il budget di crawling sui siti di grandi dimensioni e impedisce alle pagine duplicate o di scarso valore di consumare risorse di crawling. Un robots.txt mal configurato può accidentalmente bloccare intere sezioni del tuo sito dall'indicizzazione.
Qual è la differenza tra Disallow e noindex?
Disallow in robots.txt impedisce ai crawler di accedere a un URL, ma l'URL può ancora apparire nei risultati di ricerca se altre pagine vi rimandano (Google può indicizzare l'URL senza fare il crawling del contenuto). Il meta tag noindex o l'intestazione HTTP dice ai crawler che possono fare il crawling della pagina ma non devono includerla nei risultati di ricerca. Per impedire l'indicizzazione, usa noindex. Per risparmiare budget di crawling sulle pagine che sicuramente non vuoi che vengano esplorate (come le aree di amministrazione), usa Disallow. Non usare mai sia Disallow che noindex sulla stessa pagina — se Disallow è impostato, Google non può leggere la direttiva noindex.
Come blocco i bot AI come GPTBot e ClaudeBot?
Per bloccare i bot di addestramento AI, aggiungi regole User-agent specifiche al tuo robots.txt. Ad esempio: User-agent: GPTBot seguito da Disallow: / bloccherà tutto l'accesso OpenAI GPTBot. Per ClaudeBot (Anthropic), aggiungi User-agent: ClaudeBot con Disallow: /. Puoi anche usare User-agent: * con Disallow: / per bloccare tutti i bot, poi consentire selettivamente Googlebot. Nota che bloccare i bot AI non influisce sui tuoi ranking nei motori di ricerca a meno che tu non blocchi accidentalmente Googlebot o altri crawler importanti.
Il file robots.txt influisce sui Core Web Vitals o sulla velocità della pagina?
Il file robots.txt in sé non influisce sui Core Web Vitals. Tuttavia, bloccare l'accesso di Googlebot ai file CSS e JavaScript può impedire a Google di renderizzare correttamente le tue pagine, il che può far sì che Google interpreti erroneamente i tuoi contenuti e potenzialmente influenzi i ranking. Consenti sempre a Googlebot l'accesso a tutte le risorse necessarie per renderizzare le tue pagine, inclusi i file JS e CSS. Usa lo strumento Ispezione URL di Google Search Console per vedere come Google renderizza le tue pagine.
Strumenti correlati
Hai bisogno di un audit SEO tecnico completo?
I nostri esperti SEO esaminano il tuo robots.txt, sitemap, budget di crawling e configurazione tecnica per creare un piano d'azione completo per il tuo sito.
Get a Free SEO Audit