Probador de reglas robots.txt
Pega tu robots.txt y prueba si una URL está permitida o bloqueada para Googlebot, GPTBot, ClaudeBot, Bingbot o cualquier user-agent personalizado.
Cómo usar el probador de reglas robots.txt
Pega el contenido de tu robots.txt en el área de texto grande. Haz clic en Cargar ejemplo para probar un archivo de demostración. Introduce la ruta URL que quieres probar (ej. /admin/ o https://example.com/blog/post-1), selecciona un user-agent del menú desplegable o escribe uno personalizado, luego haz clic en Probar regla.
Preguntas frecuentes
¿Cómo funciona un probador de reglas robots.txt?
Un probador de reglas robots.txt analiza el contenido de tu robots.txt y simula cómo un crawler evalúa una URL dada frente a las reglas declaradas. Comprueba los bloques User-agent en orden de especificidad — el bloque de un bot específico tiene prioridad sobre el bloque comodín (*). Dentro de un bloque, la regla coincidente más larga (más específica) gana.
¿Cuál es el orden de precedencia correcto para las reglas robots.txt?
Primero, el probador busca un bloque User-agent que coincida exactamente con el nombre del bot (sin distinción de mayúsculas y minúsculas). Si se encuentra una regla coincidente, se aplica y el bloque comodín (*) se ignora para ese bot. Si no existe un bloque específico, se aplican las reglas comodín (*). Dentro de cualquier bloque, el camino coincidente más largo (más específico) gana.
¿Por qué Googlebot ignora mi regla Disallow?
La razón más común es una regla Allow más específica que anula el Disallow. Por ejemplo, 'Allow: /blog/' con 'Disallow: /' significa que /blog/ está permitido aunque todo lo demás esté bloqueado. También comprueba que no hayas definido un bloque 'User-agent: Googlebot' separado con sus propias reglas.
¿Debo bloquear los bots de IA como GPTBot y ClaudeBot?
Bloquear los bots de entrenamiento de IA (GPTBot para OpenAI, ClaudeBot para Anthropic) evita que tu contenido se use en conjuntos de datos de entrenamiento de modelos de IA. No afecta a tu posicionamiento en Google. Para bloquearlos, añade: 'User-agent: GPTBot' seguido de 'Disallow: /' y repite para ClaudeBot.
¿Cuál es la diferencia entre Googlebot y Google-Extended?
Googlebot es el principal crawler de búsqueda de Google — indexa tus páginas para Google Search. Google-Extended es un user-agent separado utilizado por Google para entrenar sus productos de IA (Gemini, Vertex AI). Puedes bloquear Google-Extended para no participar en el entrenamiento de IA sin afectar a tu posicionamiento en búsquedas.
Herramientas relacionadas
¿Necesitas una auditoría SEO técnica completa?
Nuestros expertos en SEO revisan tu robots.txt, sitemap, presupuesto de rastreo y configuración técnica para crear un plan de acción completo para tu sitio.
Obtener una auditoría SEO gratuita