Generador de robots.txt
Generate a robots.txt file with full control over AI crawlers — GPTBot, ClaudeBot, PerplexityBot, and more. Configure traditional search bots and custom rules. Download ready to deploy.
Crawlers Tradicionales
*GooglebotBingbotYandexBotBaiduspiderCrawlers IAGEO & Búsqueda IA
Activa/desactiva para bloquear o permitir cada crawler IA. Bloquear impide el entrenamiento IA y las citas de tu contenido.
OpenAI / ChatGPT
Anthropic
Perplexity AI
Common Crawl
ByteDance / TikTok
Google (Gemini training)
Reglas Personalizadas
URL del Sitemap
User-agent: *Allow: / User-agent: GPTBotAllow: / User-agent: ClaudeBotAllow: / User-agent: PerplexityBotAllow: / User-agent: CCBotAllow: / User-agent: BytespiderAllow: / User-agent: Google-ExtendedAllow: /
Sube robots.txt a la raíz de tu dominio para que sea accesible en /robots.txt.
Cómo usar el generador de robots.txt
Un archivo robots.txt es uno de los activos SEO técnicos más fundamentales. Colocado en la raíz de tu dominio, comunica las preferencias de rastreo a cada bot que visita tu sitio — desde Googlebot hasta los más nuevos crawlers de IA que entrenan grandes modelos de lenguaje con tu contenido.
En 2024 y 2025, el panorama de los rastreadores web se expandió drásticamente. Más allá de los bots de búsqueda tradicionales, las empresas de IA ahora operan sus propios crawlers para recopilar datos de entrenamiento y potenciar las respuestas de búsqueda de IA en tiempo real. Entender y controlar estos bots se ha convertido en una parte crítica de la estrategia SEO moderna.
Guía paso a paso
Paso 1 — Configurar rastreadores tradicionales: Habilita bots específicos de motores de búsqueda (Googlebot, Bingbot, Yandex, Baidu) y establece Allow, Disallow o una restricción de ruta personalizada para cada uno.
Paso 2 — Establecer políticas para crawlers de IA: Usa las tarjetas de alternancia en la sección Crawlers de IA para permitir o bloquear cada bot de IA individualmente. Verde significa que el bot puede acceder a tu sitio; rojo significa que está bloqueado.
Paso 3 — Añadir reglas personalizadas: Para casos de uso avanzados, añade combinaciones personalizadas de User-agent + Allow/Disallow + ruta. Útil para bloquear directorios específicos o permitir solo ciertos bots en ciertas páginas.
Paso 4 — Añadir sitemap y descargar: Introduce la URL de tu sitemap para que los rastreadores puedan encontrar tu contenido. Haz clic en Descargar para obtener robots.txt listo para subir a la raíz de tu dominio.
Preguntas frecuentes
¿Qué es un archivo robots.txt?
Un archivo robots.txt es un archivo de texto sin formato colocado en la raíz de tu sitio web (p. ej. example.com/robots.txt). Sigue el Protocolo de Exclusión de Robots e indica a los rastreadores web — incluyendo motores de búsqueda y bots de IA — a qué páginas o secciones de tu sitio tienen o no tienen permitido acceder. Aunque no está impuesto por ley, todos los rastreadores de buena reputación lo respetan.
¿Qué es GPTBot y debería bloquearlo?
GPTBot es el rastreador web de OpenAI utilizado para recopilar datos de entrenamiento para ChatGPT y otros modelos de OpenAI. Si bloqueas GPTBot, tu contenido no se utilizará en futuros entrenamientos de modelos de OpenAI. Sin embargo, también significa que ChatGPT puede estar menos informado sobre tu sitio. Si quieres citas de ChatGPT, deberías permitir GPTBot. Si la privacidad o la protección del contenido es tu prioridad, bloquéalo.
¿Qué es ClaudeBot y qué rastrea?
ClaudeBot es el rastreador web de Anthropic. Se utiliza para mejorar los modelos Claude AI. Bloquear ClaudeBot evita que Anthropic indexe tu contenido para el entrenamiento. Al igual que GPTBot, permitir ClaudeBot puede aumentar la probabilidad de que Claude represente con precisión tu sitio cuando los usuarios preguntan sobre temas que cubres.
¿Bloquear los rastreadores de IA afecta al posicionamiento en Google?
No. Googlebot (que impulsa los rankings de Google Search) es un rastreador separado de Google-Extended (utilizado para el entrenamiento de Gemini AI). Bloquear Google-Extended en robots.txt no afectará tus rankings de Google Search. Puedes bloquear Google-Extended de forma segura si no quieres que tu contenido se use para el entrenamiento de Gemini sin impactar tu SEO.
¿Cuál es la diferencia entre GPTBot, CCBot y PerplexityBot?
GPTBot (OpenAI) rastrea la web para obtener datos de entrenamiento de ChatGPT y navegación en tiempo real. CCBot (Common Crawl) es utilizado por muchas empresas de IA — incluidas OpenAI y Hugging Face — como conjunto de datos de entrenamiento compartido. PerplexityBot es el rastreador de Perplexity AI utilizado tanto para el entrenamiento como para la generación de respuestas en tiempo real. Bloquear CCBot puede reducir la exposición en muchos sistemas de IA a la vez, ya que proporciona datos a múltiples empresas.
Herramientas relacionadas
¿Quieres una auditoría completa de búsqueda de IA?
Nuestros especialistas en GEO auditarán la accesibilidad de tu sitio a los rastreadores de IA, la configuración de robots.txt y la visibilidad general en ChatGPT, Perplexity y Google AI Overviews.
Get a Free SEO Audit