Vérificateur de Crawlabilité AI
Paste your robots.txt content to instantly see which AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more — can access your site. Understand the impact and get recommendations.
widget.aiCrawlability.pasteTip
Comment vérifier votre crawlabilité AI
Alors que les moteurs de recherche alimentés par l'IA — ChatGPT, Perplexity, Google Gemini et Claude — deviennent des canaux de découverte principaux pour des millions d'utilisateurs, la capacité de ces systèmes à accéder à votre contenu a de réelles implications commerciales. Un robots.txt mal configuré pourrait silencieusement bloquer tout le trafic AI vers votre site.
Cet outil analyse votre robots.txt côté client (rien n'est envoyé à un serveur) et évalue les règles d'accès pour tous les crawlers AI majeurs. Il identifie quels bots sont entièrement autorisés, entièrement bloqués ou partiellement restreints, et explique l'impact sur le trafic et les citations pour chacun.
Comment obtenir le contenu de votre robots.txt
Naviguez vers votresite.com/robots.txt dans votre navigateur. Ce fichier est toujours accessible publiquement à la racine du domaine. Sélectionnez tout le texte de la page et copiez le contenu complet du robots.txt. Collez le contenu copié dans la zone de texte ci-dessus et cliquez sur 'Analyser la crawlabilité AI' pour voir les résultats instantanément.
Toutes les chaînes user-agent des crawlers AI
Le tableau suivant liste tous les principaux crawlers AI, leurs chaînes user-agent officielles (telles qu'elles apparaissent dans le robots.txt) et l'impact sur le trafic du blocage de chacun. Utilisez-le comme référence lors de l'édition manuelle de votre robots.txt.
Comprendre les règles robots.txt pour les bots AI
Les règles robots.txt sont évaluées par ordre de spécificité. Une règle spécifique à un bot (ex. User-agent: GPTBot) remplace la règle générique (User-agent: *). Cela signifie que vous pouvez autoriser tous les moteurs de recherche par défaut tout en bloquant sélectivement des crawlers AI spécifiques.
Questions fréquentes
Comment vérifier si mon site bloque les crawlers AI ?
Ouvrez votre fichier robots.txt (votresite.com/robots.txt), copiez le contenu et collez-le dans cet outil. Le vérificateur analyse votre robots.txt et évalue l'accès de chaque crawler AI — GPTBot, ClaudeBot, PerplexityBot, CCBot, Bytespider, Google-Extended et Gemini-Web — indiquant si chacun est autorisé, bloqué ou partiellement restreint.
Quelle est la différence entre GPTBot et ChatGPT-User ?
GPTBot est le bot de crawling d'OpenAI pour la collecte de données d'entraînement et l'indexation web. ChatGPT-User est le user-agent utilisé lorsqu'un utilisateur ChatGPT active la fonctionnalité de navigation en temps réel. Les deux doivent être pris en compte lors de la configuration de votre robots.txt si vous souhaitez contrôler l'accès d'OpenAI à votre site.
Bloquer les crawlers AI nuit-il à mon SEO ?
Bloquer les crawlers AI n'affecte pas directement les classements Google Search traditionnels. Googlebot (utilisé pour les classements de recherche) est entièrement distinct de Google-Extended (utilisé pour l'entraînement de Gemini). Cependant, bloquer tous les crawlers AI réduira votre visibilité dans les produits de recherche alimentés par l'IA comme Perplexity, ChatGPT Browse et Google AI Overviews, qui génèrent de plus en plus de trafic référent.
Que se passe-t-il si je bloque accidentellement tous les crawlers avec Disallow: / ?
Une règle générique 'User-agent: *' avec 'Disallow: /' bloque TOUS les crawlers, y compris Googlebot, d'indexer votre site. Cela ferait disparaître votre site des résultats de recherche Google en quelques semaines. Cet outil signalera cela comme un problème critique. Vérifiez toujours votre robots.txt contre tous les crawlers avant de le déployer.
Quel crawler AI envoie le plus de trafic ?
En 2025, PerplexityBot génère le plus de trafic référent mesurable provenant de sources AI, suivi par ChatGPT (GPTBot/ChatGPT-User). Les Google AI Overviews n'utilisent pas de bot séparé — ils utilisent le Googlebot standard. Autoriser PerplexityBot et GPTBot vous donne la meilleure chance d'apparaître dans les réponses générées par l'IA sur lesquelles les utilisateurs cliquent.
Outils associés
Vous souhaitez un audit GEO complet pour votre site ?
Nos spécialistes auditeront votre robots.txt, llms.txt, schema markup et visibilité globale dans la recherche AI — et construiront une stratégie pour maximiser votre présence dans ChatGPT, Perplexity et Gemini.
Get a Free SEO Audit