El protocolo de exclusión de robots, más conocido como robots.txt, es una convención para evitar que los rastreadores web accedan a todo o parte de un sitio web. Es un archivo de texto utilizado para el SEO, que contiene comandos para los robots de indexación de los motores de búsqueda que especifican las páginas que pueden o no pueden ser indexadas.
El objetivo principal del archivo robots.txt es, por tanto, gestionar el presupuesto de rastreo del robot prohibiéndole navegar por páginas de escaso valor añadido, pero que deben existir para el recorrido del usuario (carrito de la compra, etc.).
Para rastrear los sitios, los motores de búsqueda siguen los enlaces para ir de un sitio a otro, rastrean muchos miles de millones de enlaces y sitios web. Esto se llama “spidering”. Una vez que el robot del motor de búsqueda accede a un sitio web, busca un archivo robots.txt. Si encuentra uno, el robot leerá primero este archivo antes de seguir navegando por la página. Si el archivo robots.txt no contiene directivas que prohíban la actividad del agente de usuario o si el sitio no tiene un archivo robots.txt, rastreará otra información del sitio.
Thiebauld Weksteen, un experto en pruebas de penetración de Melbourne, aconseja a los administradores de sistemas que el archivo robots.txt puede dar detalles muy valiosos a los hackers, cuando se trata de ataques, porque el archivo robots.txt tiene la capacidad de indicar a los motores de búsqueda qué directorios pueden y no pueden ser rastreados en un servidor web.
Weksteen, experto en seguridad de Securus Global, explicó que los administradores de sistemas ofrecen pistas a los hackers relacionadas con el almacenamiento de activos e información sensible al incluir la ruta en el archivo robots.txt. El análisis de robots.txt podría ayudar al intruso a orientar el ataque, en lugar de intentar atacar a ciegas.
“En los casos más sencillos, (robots.txt) revelará las rutas restringidas y la tecnología utilizada por sus servidores, ” Desde el punto de vista de los defensores, persisten dos falacias comunes: que robots.txt actúa en cierto modo como un mecanismo de control de acceso [y que] el contenido sólo será leído por los motores de búsqueda y no por los humanos”.
En función de la adopción de determinadas tecnologías web, es necesario actualizarlo periódicamente. Como puede ver, la desautorización de la directiva da a un atacante un conocimiento precioso sobre lo que puede valer la pena mirar. Además, si eso es cierto para un sitio, vale la pena comprobarlo para otro. “
En este artículo te contaremos qué es el robot.txt en SEO, cómo es y cómo crearlo correctamente. Es el archivo que se encarga de bloquear la indexación de las páginas e incluso de todo un sitio. La estructura incorrecta del archivo es una situación común incluso entre los optimizadores SEO experimentados, por lo que nos detendremos en los errores más comunes al editar el robot.txt.
Para la indexación, un robot de búsqueda visita las URL de un sitio a otro, rastreando miles de millones de enlaces y recursos web. Tras abrir un sitio, el sistema busca un archivo robots.txt. Si el rastreador encuentra un documento, primero lo escanea y, tras recibir instrucciones de éste, continúa rastreando la página.
Cuando no hay directivas en el archivo, o no se crea en absoluto, el robot seguirá rastreando e indexando sin tener en cuenta los datos sobre cómo debe realizar estas acciones el sistema. Esto puede dar lugar a que el motor de búsqueda indexe contenidos no deseados.
Permite cerrar el acceso de los buscadores a los contenidos. Por ejemplo, si necesita ocultar un directorio y todas sus páginas del rastreo para todos los sistemas, el archivo robots.txt tendrá el siguiente aspecto
User-agent: *Nota:El signo de almohadilla (#) denota el comienzo de un comentario.3. Establezca reglas en su archivo Robots.txtUn archivo robots.txt se lee en grupos. Un grupo especificará quién es el agente de usuario y tendrá una regla o directiva para indicar a qué archivos o directorios puede o no puede acceder el agente de usuario: Los rastreadores web procesan los grupos de arriba a abajo. Como se ha mencionado antes, acceden a cualquier página o directorio que no esté explícitamente configurado como disallow. Por lo tanto, añada Disallow: / debajo de la información del agente de usuario en cada grupo para bloquear esos agentes de usuario específicos para que no rastreen su sitio web.# Ejemplo de cómo bloquear DuckDuckBot
Disallow: /https://page.yourdomain.com/robots.txtIf si desea bloquear un directorio, siga el mismo proceso añadiendo una barra diagonal y el nombre del directorio, pero termine con otra barra diagonal.# Ejemplo
Disallow: /images/Finalmente, si desea que todos los motores de búsqueda recojan información sobre todas las páginas de su sitio, puede crear una regla de permiso o de rechazo, pero asegúrese de añadir una barra diagonal cuando utilice la regla de permiso. A continuación se muestran ejemplos de ambas reglas.# Ejemplo de allow para permitir a todos los crawlers