Generador de Robots.txt

Qué es un archivo robots.txt

El archivo robots.txt es un fichero de texto plano que se coloca en la raíz de un sitio web para indicar a los rastreadores de motores de búsqueda qué partes del sitio pueden o no pueden visitar. Es el mecanismo estándar de exclusión de robots (Robots Exclusion Protocol) que usan Googlebot, Bingbot y prácticamente todos los crawlers legítimos. Cuando un bot llega a tu sitio, lo primero que hace es solicitar el archivo robots.txt para comprobar las instrucciones antes de rastrear cualquier otra URL.

Un robots.txt bien configurado es una herramienta esencial del SEO técnico: permite excluir del índice contenido duplicado, páginas de administración, pasarelas de pago y secciones en desarrollo, concentrando el presupuesto de rastreo de Google en las páginas que realmente quieres posicionar. Un robots.txt mal configurado, por el contrario, puede bloquear accidentalmente páginas importantes y hacer que desaparezcan de los resultados de búsqueda.

Cómo usar el generador de robots.txt

Rellena el campo User-agent con el robot al que quieres aplicar las reglas (usa * para todos los robots). Introduce la ruta Allow si quieres permitir explícitamente una URL dentro de un directorio bloqueado. En el campo Ruta Disallow, escribe una ruta por línea para indicar las secciones que no deben rastrearse. Añade la URL de tu sitemap XML para que los motores de búsqueda encuentren fácilmente todas tus páginas. El campo Crawl delay permite reducir la frecuencia de rastreo si tienes un servidor con recursos limitados. El archivo generado se actualiza en tiempo real y puedes copiarlo con un clic.

Sintaxis del archivo robots.txt

Cada bloque de reglas comienza con una directiva User-agent que especifica a qué robot aplican las reglas. El asterisco (*) es el comodín que representa a todos los robots. Después del User-agent vienen las directivas Allow y Disallow, que especifican las rutas permitidas y bloqueadas respectivamente. La directiva Sitemap se coloca habitualmente al final del archivo y puede repetirse si tienes varios sitemaps. El Crawl-delay indica el número de segundos que el robot debe esperar entre solicitudes consecutivas.

Las rutas en Disallow y Allow son sensibles a mayúsculas y minúsculas, y siempre empiezan por /. Una directiva Disallow vacía (sin valor) significa que el robot puede acceder a todo el sitio. Una directiva Disallow: / bloquea completamente el acceso al sitio para ese agente.

Casos de uso comunes

Bloquear áreas de administración: añade Disallow: /admin/ para evitar que los bots accedan al panel de control. Esto no es una medida de seguridad (los bots maliciosos ignoran robots.txt), pero sí impide que esas páginas aparezcan en los resultados de búsqueda.

Evitar contenido duplicado: en ecommerce, las URL con parámetros de filtro o de sesión pueden crear miles de páginas duplicadas. Bloquear directorios como /search/ o /filter/ evita que Google desperdicie presupuesto de rastreo en contenido sin valor semántico.

Excluir páginas en desarrollo: usa Disallow: /staging/ o Disallow: /test/ para impedir la indexación de versiones de prueba mientras están en construcción.

Proteger archivos privados: bloquea directorios como /private/ o /internal/ para evitar la indexación de documentos internos.

Errores comunes que debes evitar

El error más grave es bloquear accidentalmente recursos críticos para el renderizado: CSS, JavaScript o imágenes que Google necesita para entender el diseño de la página. Si Googlebot no puede renderizar correctamente una página porque sus recursos están bloqueados, puede interpretar el contenido de forma incompleta y perjudicar el posicionamiento.

Otro error frecuente es confundir robots.txt con control de acceso real. Los robots.txt solo afectan a bots que respetan el protocolo; un usuario malintencionado puede acceder igualmente a las URL bloqueadas. Para contenido verdaderamente privado, usa autenticación en el servidor.

También es importante no usar robots.txt para intentar ocultar páginas que ya están indexadas: Google puede mantener en el índice una URL bloqueada en robots.txt si encuentra enlaces externos que apuntan a ella. Para eliminar páginas del índice, usa la etiqueta meta noindex junto con el acceso permitido al rastreador.

Preguntas frecuentes (FAQ)

¿Qué pasa si no tengo archivo robots.txt?

Si tu sitio no tiene robots.txt, los motores de búsqueda rastrean todo el contenido accesible de forma predeterminada. Esto no es necesariamente un problema para sitios pequeños, pero en sitios con área de administración, páginas de prueba o contenido duplicado, la ausencia de robots.txt puede generar problemas de SEO técnico.

¿Robots.txt bloquea la indexación de una página?

No directamente. Bloquear una URL en robots.txt impide que el bot la rastree, pero Google puede seguir indexando la URL si encuentra enlaces externos hacia ella, aunque sin ver el contenido. Para asegurarte de que una página no aparezca en los resultados de búsqueda, usa la directiva noindex en el HTML de la página (y permite que el bot la rastree para poder leerla).

¿Cómo compruebo que mi robots.txt funciona correctamente?

Usa la herramienta de prueba de robots.txt disponible en Google Search Console (Configuración → Rastreador de robots). Permite verificar si una URL específica está bloqueada o permitida según las reglas actuales del archivo, e identifica errores de sintaxis.