Tester di regole robots.txt
Incolla il tuo robots.txt e verifica se un URL è consentito o bloccato per Googlebot, GPTBot, ClaudeBot, Bingbot o qualsiasi user-agent personalizzato.
Come usare il tester di regole robots.txt
Incolla il contenuto del tuo robots.txt nella grande area di testo. Clicca su Carica esempio per provare un file demo. Inserisci il percorso URL che vuoi testare (es. /admin/ o https://example.com/blog/post-1), seleziona un user-agent dal menu a discesa o digita uno personalizzato, poi clicca su Testa regola.
Domande frequenti
Come funziona un tester di regole robots.txt?
Un tester di regole robots.txt analizza il contenuto del tuo robots.txt e simula come un crawler valuta un dato URL rispetto alle regole dichiarate. Controlla i blocchi User-agent in ordine di specificità — il blocco di un bot specifico ha la precedenza sul blocco jolly (*). All'interno di un blocco, la regola corrispondente più lunga (più specifica) vince.
Qual è il corretto ordine di precedenza per le regole robots.txt?
Prima il tester cerca un blocco User-agent che corrisponde esattamente al nome del bot (senza distinzione tra maiuscole e minuscole). Se viene trovata una regola corrispondente, si applica e il blocco jolly (*) viene ignorato per quel bot. Se non esiste un blocco specifico, si applicano le regole jolly (*). In qualsiasi blocco, il percorso corrispondente più lungo (più specifico) vince.
Perché Googlebot ignora la mia regola Disallow?
Il motivo più comune è una regola Allow più specifica che sovrascrive il Disallow. Ad esempio, 'Allow: /blog/' con 'Disallow: /' significa che /blog/ è consentito anche se tutto il resto è bloccato. Controlla anche di non aver definito un blocco 'User-agent: Googlebot' separato con le sue regole.
Dovrei bloccare i bot AI come GPTBot e ClaudeBot?
Bloccare i bot di addestramento AI (GPTBot per OpenAI, ClaudeBot per Anthropic) impedisce che i tuoi contenuti vengano utilizzati nei dataset di addestramento dei modelli AI. Non influisce sul tuo posizionamento nella ricerca Google. Per bloccarli, aggiungi: 'User-agent: GPTBot' seguito da 'Disallow: /' e ripeti per ClaudeBot.
Qual è la differenza tra Googlebot e Google-Extended?
Googlebot è il principale crawler di ricerca di Google — indicizza le tue pagine per Google Search. Google-Extended è un user-agent separato usato da Google per addestrare i suoi prodotti AI (Gemini, Vertex AI). Puoi bloccare Google-Extended per non partecipare all'addestramento AI senza influire sul tuo posizionamento nelle ricerche.
Strumenti correlati
Hai bisogno di un audit SEO tecnico completo?
I nostri esperti SEO esaminano il tuo robots.txt, sitemap, budget di crawling e configurazione tecnica per creare un piano d'azione completo per il tuo sito.
Ottieni un audit SEO gratuito