Saber cómo usar archivo robots txt personalizado es una de esas habilidades que marcan la diferencia entre una web bien configurada y una que desperdicia recursos de rastreo en páginas que nunca deberían aparecer en Google. El archivo robots.txt le dice a los bots de los buscadores qué zonas de tu sitio pueden visitar y cuáles no, antes incluso de que intenten indexar nada. No es magia negra ni código complejo, pero un error de sintaxis en el lugar equivocado puede bloquear tu web entera de Google sin que te enteres hasta semanas después.
El robots.txt es un archivo de texto plano que vive en la raíz de tu dominio, en https://tudominio.com/robots.txt. Cuando un rastreador como Googlebot visita tu web, lo primero que hace es consultar ese archivo para saber qué zonas tiene permitido explorar. Si no existe, interpreta que puede rastrear todo.
Su función principal no es la indexación, sino el rastreo. Esta distinción es crítica y el top de Google la desdibuja con frecuencia: puedes bloquear una URL en robots.txt y que Google la siga indexando si tiene enlaces externos que apunten a ella. El archivo controla el acceso del bot, no la aparición en resultados.
El robots.txt sigue el Protocolo de Exclusión de Robots, un estándar propuesto en 1994 que los principales buscadores respetan de forma voluntaria. Google, Bing y el resto acatan sus directivas, pero un bot malicioso o un scraper no tiene por qué hacerlo. Para contenido sensible, el robots.txt no es suficiente: necesitas autenticación o restricciones a nivel servidor.
Imagina el robots.txt como el cartel de «zona restringida» de un edificio. Los visitantes educados lo respetan; quien quiere colarse lo ignora. Funciona para lo primero, no para lo segundo.
El formato del archivo tiene cuatro elementos principales. Memorizarlos evita el 90% de los errores que se ven en producción.
*) significa «todos los rastreadores».La lógica de lectura es secuencial: el bot aplica el primer bloque de User-agent que coincida con su nombre. Si hay un bloque para Googlebot y otro para *, Googlebot obedece solo el suyo.
Un robots.txt básico para permitir todo el rastreo y declarar el sitemap tiene este aspecto:
User-agent: *
Allow: /
Sitemap: https://tudominio.com/sitemap.xml
Si quieres bloquear la carpeta de administración de WordPress y los resultados de búsqueda interna, el archivo quedaría así:
User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Allow: /wp-admin/admin-ajax.php
Sitemap: https://tudominio.com/sitemap.xml
El Allow: /wp-admin/admin-ajax.php es una excepción necesaria: ese endpoint gestiona funciones dinámicas del front-end que Google necesita ver para renderizar correctamente la página. Sin esa línea, pueden aparecer problemas de renderizado en los informes de cobertura de Google Search Console.
El error más habitual de sintaxis es olvidar la barra final en las carpetas (Disallow: /wp-admin en lugar de Disallow: /wp-admin/). Sin la barra, algunos bots interpretan la regla de forma diferente según su implementación. Escríbela siempre.
Puedes añadir comentarios en el archivo usando el símbolo #. Todo lo que va después de ese símbolo en la misma línea se ignora. Es útil para documentar por qué bloqueaste algo:
# Bloqueamos resultados de búsqueda interna para evitar contenido duplicado
Disallow: /?s=
Las líneas en blanco separan bloques de User-agent. Si introduces una línea en blanco dentro de un bloque, el parser puede interpretar que ese bloque ha terminado y lo que sigue pertenece a otro grupo. Mantén cada bloque compacto, sin líneas vacías en su interior.
Hay tres formas de gestionar el archivo según tu plataforma. Elige la que corresponda a tu caso.
wp-config.php. Si no existe, créalo como archivo de texto con ese nombre exacto en minúsculas. Súbelo a la raíz.robots.txt.liquid. En Wix, el editor de robots.txt está en Configuración del sitio → SEO avanzado. Consulta la documentación oficial de tu plataforma porque la ubicación cambia con cada actualización.Después de cualquier cambio, abre Google Search Console, ve a Configuración → Rastreador de robots.txt (o usa la herramienta de inspección de URLs) y comprueba que el archivo se lee correctamente. GSC muestra el contenido que Googlebot ve, no el que tú ves en el navegador, lo que descarta problemas de caché o permisos de servidor.
La pregunta más habitual no es cómo escribir el archivo, sino qué meter dentro. La respuesta depende del tipo de web y de lo que quieras que Google indexe.
Bloquear mediante robots.txt tiene sentido cuando se trata de URLs que nunca deben rastrearse porque consumen crawl budget sin aportar valor. El crawl budget es la cantidad de páginas que Googlebot está dispuesto a rastrear en tu sitio dentro de un período de tiempo. En sitios grandes o con muchas URLs generadas dinámicamente, desperdiciarlo en páginas irrelevantes ralentiza la indexación de las páginas que sí importan.
Candidatos habituales para bloquear:
/?s= en WordPress, /search?q= en otros CMS)./wp-admin/, /admin/).?utm_source=, ?ref=).Bloquear recursos que Google necesita para renderizar tus páginas es uno de los errores más costosos que puedes cometer. Si bloqueas carpetas de CSS o JavaScript, Googlebot no puede ver tu web como la ve un usuario, lo que puede perjudicar cómo evalúa tu contenido.
/wp-content/ de forma global: ahí están imágenes, estilos y scripts que Googlebot necesita.Lo que vemos en proyectos es que el error de bloquear CSS o JS aparece en sites migrados, donde se copia el robots.txt del entorno de desarrollo (que bloqueaba todo) al de producción. Revisa siempre el archivo tras una migración.
Esta es la confusión más extendida y la que más daño hace. Ambas herramientas controlan la visibilidad en Google, pero actúan en momentos y capas distintas.
| Situación | Herramienta correcta | Por qué |
|---|---|---|
| Quieres que Google no indexe una página | Meta tag noindex | El bot necesita poder leer la página para ver la etiqueta |
| Quieres ahorrar crawl budget en URLs sin valor | Disallow en robots.txt | El bot ni siquiera visita la URL |
| Quieres desindexar una página ya indexada | Meta tag noindex | Si la bloqueas en robots.txt, Google no puede leer el noindex |
| Quieres bloquear el rastreo en un entorno de staging | Disallow en robots.txt + autenticación HTTP | Doble capa de protección; el robots.txt solo no es suficiente |
La regla práctica: si ya tienes una página indexada que quieres sacar de Google, no la bloquees en robots.txt. Añade un noindex, espera a que Googlebot la rastree de nuevo y procese la directiva, y solo entonces, si quieres, bloquea el rastreo. Hacerlo al revés deja la página en el índice indefinidamente porque Google ya no puede entrar a leer el noindex.
Configurar el archivo es solo la mitad del trabajo. El procedimiento de auditoría te confirma que lo que escribiste hace lo que esperas.
Google Search Console tiene una herramienta específica para esto. Ve a Configuración en el menú lateral y busca el apartado de rastreo. Allí puedes ver el robots.txt que Googlebot está leyendo actualmente y la fecha del último acceso. Si el contenido no coincide con lo que tienes en el servidor, hay un problema de caché o de permisos.
Para probar una URL concreta, usa la Herramienta de inspección de URLs: introduce la URL que quieres verificar y GSC te indica si está bloqueada por robots.txt o si hay algún otro problema de acceso. Este paso es obligatorio antes de publicar cualquier cambio en el archivo.
Screaming Frog SEO Spider permite rastrear tu web simulando el comportamiento de Googlebot y mostrarte qué URLs están bloqueadas por robots.txt. El procedimiento es el siguiente:
Allow específica o elimina el Disallow que la afecta.Haz este mismo proceso con la opción Ignore robots.txt activada para ver el universo completo de URLs de tu sitio, comparar con la lista de bloqueadas y detectar si hay páginas que deberían estar bloqueadas pero no lo están (duplicados, URLs de parámetros, etc.).
Imagina una tienda online de ropa con filtros de talla, color y precio. Cada combinación de filtros genera una URL única (/camisetas/?color=azul&talla=M), lo que puede producir miles de URLs sin contenido diferencial. Si el sitemap solo incluye las páginas de categoría limpias, pero el robots.txt no bloquea los parámetros, Googlebot gasta su presupuesto de rastreo en esas URLs de filtro en lugar de en las páginas de producto. La solución: añadir Disallow: /*?color=, Disallow: /*?talla= y Disallow: /*?precio=. Con Screaming Frog verificas antes del cambio cuántas URLs de ese tipo existen, y con GSC compruebas después que Googlebot ya no las solicita.
Los fallos del robots.txt no dan error 404 ni aviso en el panel. Silenciosos y destructivos, algunos tardan semanas en detectarse. Estos son los más habituales y su corrección inmediata.
Disallow que afecte a carpetas de estilos y scripts.canonical es la herramienta, no el bloqueo de rastreo. Bloquear duplicados en robots.txt impide que Google vea la relación entre original y copia.Sitemap: al final del archivo acelera que Googlebot lo encuentre, especialmente en sites nuevos.Si detectas alguno de estos errores, corrígelo, guarda el archivo y pide a Google que lo rastree de nuevo desde GSC en Configuración → Rastreador de robots.txt → Solicitar rastreo. El cambio no se propaga instantáneamente, pero la solicitud lo prioriza.
Sí, y de forma severa. Un Disallow: / mal colocado bloquea el rastreo de todo el sitio, lo que puede hacer desaparecer tus páginas del índice de Google. Bloquear carpetas de CSS o JavaScript impide que Googlebot renderice correctamente tu web. Antes de guardar cualquier cambio, valídalo en Google Search Console con la herramienta de inspección de robots.txt.
No hay un plazo fijo. Googlebot vuelve a leer el robots.txt con cierta periodicidad, pero puedes acelerar el proceso solicitando un rastreo explícito desde Google Search Console en Configuración → Rastreador de robots.txt. Para cambios críticos, como desbloquear páginas que necesitas indexar, esta solicitud manual es el paso más rápido disponible.
Sí, en cualquier momento. Edita el archivo, elimina o corrige la directiva errónea y guarda. Google procesará los cambios en el siguiente rastreo. Si solicitaste en GSC un rastreo de la URL afectada justo después del cambio, el proceso se acelera. No hay penalización permanente por errores en robots.txt: el daño se revierte cuando Googlebot vuelve a leer el archivo correctamente.
No de forma garantizada. El robots.txt bloquea el rastreo, no la indexación. Si una página tiene enlaces externos que apuntan a ella, Google puede indexarla sin haberla rastreado nunca, mostrándola en resultados sin título ni descripción. Para impedir la indexación, la herramienta correcta es la etiqueta meta noindex, que el bot necesita poder leer en el HTML de la página.
Depende de su estructura. Si tu web es sencilla y no genera URLs de parámetros, duplicados ni zonas privadas, el robots.txt predeterminado de WordPress o tu CMS es suficiente. Si tienes filtros, buscador interno o un panel de administración accesible, personalizar el archivo desde el principio ahorra problemas de rastreo. En sitios nuevos, lo más importante es que no bloquees nada que quieras posicionar.
Sí, con precaución. Si usas WordPress con Yoast SEO o Rank Math, puedes editar el robots.txt desde el panel sin tocar el servidor, y el plugin incluye validaciones básicas. El riesgo aparece cuando copias configuraciones de otras webs sin entender qué bloquea cada directiva. Lee cada línea antes de guardarla y valida el resultado en Google Search Console.
Es una práctica recomendada, aunque no obligatoria. Añadir la línea Sitemap: https://tudominio.com/sitemap.xml al final del archivo robots.txt ayuda a Googlebot y a otros rastreadores a encontrar el mapa del sitio de forma autónoma, sin depender de que lo hayas enviado manualmente en Search Console. Especialmente útil en sitios nuevos o tras una migración.