Testeur de règles robots.txt
Collez votre robots.txt et testez si une URL est autorisée ou bloquée pour Googlebot, GPTBot, ClaudeBot, Bingbot ou tout user-agent personnalisé.
Comment utiliser le testeur de règles robots.txt
Collez le contenu de votre robots.txt dans la grande zone de texte. Cliquez sur Charger un exemple pour essayer un fichier de démonstration. Saisissez le chemin URL que vous souhaitez tester (ex. /admin/ ou https://example.com/blog/post-1), sélectionnez un user-agent dans le menu déroulant ou saisissez-en un personnalisé, puis cliquez sur Tester la règle.
Questions fréquentes
Comment fonctionne un testeur de règles robots.txt ?
Un testeur de règles robots.txt analyse votre contenu robots.txt et simule comment un crawler évalue une URL donnée par rapport aux règles déclarées. Il vérifie les blocs User-agent dans l'ordre de spécificité — le bloc d'un bot spécifique a la priorité sur le bloc générique (*). Dans un bloc, la règle correspondante la plus longue (la plus spécifique) l'emporte.
Quel est l'ordre de priorité correct pour les règles robots.txt ?
D'abord, le testeur recherche un bloc User-agent qui correspond exactement au nom du bot (insensible à la casse). Si une règle correspondante est trouvée, elle s'applique et le bloc générique (*) est ignoré pour ce bot. Si aucun bloc spécifique n'existe, les règles génériques (*) s'appliquent. Dans tout bloc, le chemin correspondant le plus long (le plus spécifique) l'emporte.
Pourquoi Googlebot ignore-t-il ma règle Disallow ?
La raison la plus courante est une règle Allow plus spécifique qui annule le Disallow. Par exemple, 'Allow: /blog/' avec 'Disallow: /' signifie que /blog/ est autorisé même si tout le reste est bloqué. Vérifiez également que vous n'avez pas défini un bloc 'User-agent: Googlebot' séparé avec ses propres règles.
Dois-je bloquer les bots IA comme GPTBot et ClaudeBot ?
Bloquer les bots d'entraînement IA (GPTBot pour OpenAI, ClaudeBot pour Anthropic) empêche votre contenu d'être utilisé dans les ensembles de données d'entraînement des modèles IA. Cela n'affecte pas votre classement dans les moteurs de recherche Google. Pour les bloquer, ajoutez : 'User-agent: GPTBot' suivi de 'Disallow: /' et répétez pour ClaudeBot.
Quelle est la différence entre Googlebot et Google-Extended ?
Googlebot est le principal crawler de recherche de Google — il indexe vos pages pour la Recherche Google. Google-Extended est un user-agent séparé utilisé par Google pour entraîner ses produits IA (Gemini, Vertex AI). Vous pouvez bloquer Google-Extended pour ne pas participer à l'entraînement IA sans affecter votre classement dans les recherches.
Outils associés
Besoin d'un audit SEO technique complet ?
Nos experts SEO examinent votre robots.txt, sitemap, budget d'exploration et configuration technique pour établir un plan d'action complet pour votre site.
Obtenir un audit SEO gratuit