Analyseur robots.txt
Récupérez et analysez le fichier robots.txt de n'importe quel site web. Vérifiez instantanément si les bots IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) sont autorisés ou bloqués, consultez toutes les règles d'exploration et découvrez les déclarations de sitemap.
Comment utiliser l'analyseur robots.txt
Saisissez n'importe quel domaine ou URL et cliquez sur Analyser. L'outil récupère le fichier robots.txt depuis le serveur et analyse toutes les directives. Les résultats incluent le statut d'accès des bots IA (autorisé, bloqué ou partiel), toutes les URLs de sitemap déclarées, un tableau complet des règles avec les valeurs User-agent, Allow, Disallow et Crawl-delay, ainsi que le contenu brut du robots.txt.
Erreurs courantes dans robots.txt qui nuisent au SEO
Bloquer les CSS et JavaScript : Si Googlebot ne peut pas récupérer vos fichiers CSS/JS, il ne peut pas rendre vos pages correctement. Cela peut amener Google à mal comprendre votre contenu ou à manquer des données structurées importantes.
Utiliser Disallow pendant le développement : Les sites de staging ont souvent 'Disallow: /' correctement défini, mais cette règle est parfois déployée en production. Vérifiez robots.txt après chaque déploiement majeur.
Déclaration Sitemap manquante : L'ajout de Sitemap: https://example.com/sitemap.xml à robots.txt garantit que tous les robots majeurs trouvent votre sitemap, qu'ils l'aient ou non dans leur index.
Chemins sensibles à la casse : La correspondance User-agent est insensible à la casse, mais la correspondance de chemin est sensible à la casse. Disallow: /Admin ne bloquera pas /admin sur les serveurs sensibles à la casse.
Questions fréquentes
Qu'est-ce qu'un fichier robots.txt et pourquoi est-il important pour le SEO ?
Un fichier robots.txt est un fichier texte brut à la racine de votre domaine (p. ex. example.com/robots.txt) qui indique aux robots d'exploration web quelles pages ou sections ils peuvent ou ne peuvent pas accéder. Il fait partie du Protocole d'exclusion des robots. Pour le SEO, robots.txt contrôle quelles pages Googlebot explore, aide à gérer le budget d'exploration sur les grands sites et empêche les pages dupliquées ou à faible valeur de consommer des ressources d'exploration. Un robots.txt mal configuré peut accidentellement bloquer des sections entières de votre site de l'indexation.
Quelle est la différence entre Disallow et noindex ?
Disallow dans robots.txt empêche les robots d'accéder à une URL, mais l'URL peut toujours apparaître dans les résultats de recherche si d'autres pages y renvoient (Google peut indexer l'URL sans explorer le contenu). La balise meta noindex ou l'en-tête HTTP indique aux robots qu'ils peuvent explorer la page mais ne doivent pas l'inclure dans les résultats de recherche. Pour empêcher l'indexation, utilisez noindex. Pour économiser le budget d'exploration sur les pages que vous ne souhaitez définitivement pas explorer (comme les zones d'administration), utilisez Disallow. N'utilisez jamais Disallow et noindex sur la même page — si Disallow est défini, Google ne peut pas lire la directive noindex.
Comment bloquer les bots IA comme GPTBot et ClaudeBot ?
Pour bloquer les bots d'entraînement IA, ajoutez des règles User-agent spécifiques à votre robots.txt. Par exemple : User-agent: GPTBot suivi de Disallow: / bloquera tout accès OpenAI GPTBot. Pour ClaudeBot (Anthropic), ajoutez User-agent: ClaudeBot avec Disallow: /. Vous pouvez également utiliser User-agent: * avec Disallow: / pour bloquer tous les bots, puis autoriser Googlebot de manière sélective. Notez que bloquer les bots IA n'affecte pas votre classement dans les moteurs de recherche, sauf si vous bloquez accidentellement Googlebot ou d'autres robots importants.
Le fichier robots.txt affecte-t-il les Core Web Vitals ou la vitesse des pages ?
Le fichier robots.txt lui-même n'affecte pas les Core Web Vitals. Cependant, bloquer l'accès de Googlebot aux fichiers CSS et JavaScript peut empêcher Google de rendre vos pages correctement, ce qui peut amener Google à mal interpréter votre contenu et potentiellement affecter les classements. Autorisez toujours Googlebot à accéder à toutes les ressources nécessaires au rendu de vos pages, y compris les fichiers JS et CSS. Utilisez l'outil d'inspection d'URL de Google Search Console pour voir comment Google rend vos pages.
Outils associés
Besoin d'un audit SEO technique complet ?
Nos experts SEO examinent votre robots.txt, sitemap, budget d'exploration et configuration technique pour établir un plan d'action complet pour votre site.
Get a Free SEO Audit