Para resolver este problema, Martijn Koster, un ingeniero holandés que creó el primer motor de búsqueda del mundo (Aliweb), propuso una serie de normas que todo robot debería cumplir. Estas normas se propusieron por primera vez en febrero de 1994.
Los motores de búsqueda no suelen ver con buenos ojos que los webmasters bloqueen a sus robots para que no rastreen las carpetas que no son de imágenes, así que ten cuidado cuando uses este comando. A continuación, he enumerado algunas alternativas a Robots.txt para impedir que los motores de búsqueda indexen páginas específicas.
Nota: Si utilizas un plugin de WordPress como Yoast SEO, o All in One SEO; puedes hacer esto sin editar ningún código. Por ejemplo, en el plugin Yoast SEO puede añadir la etiqueta noindex en una base por post/página así:
Sin embargo, el uso de Robots.txt para evitar que este contenido sea indexado no es la solución. Una vez más, no hay garantía de que las arañas de los motores de búsqueda no encuentren este contenido a través de fuentes externas.
El archivo Robots.txt es un aliado útil para configurar la forma en que las arañas de los motores de búsqueda y otros bots interactúan con su sitio. Cuando se utiliza correctamente, puede tener un efecto positivo en su clasificación y hacer que su sitio sea más fácil de rastrear.
Efectivamente, las instrucciones no tienen el mismo modo de funcionamiento. El servicio prestado difiere de una directiva a otra. Sin embargo, el funcionamiento de las instrucciones puede resumirse en dos expresiones: autorización y denegación.
Consiste en permitir que todos los robots web exploren todos los compartimentos y todas las páginas web de su sitio. Si este es su deseo, la presencia del archivo robots.txt es por lo tanto innecesaria, ya que las instrucciones son sin misiones
Es posible que desee prohibir que todos los robots web exploren su sitio. Para ello, la instalación del archivo robots.txt es importante. Se trata aquí de integrar una única instrucción: bloquear el acceso de su sitio a todos los robots web.
Si ha creado e instalado su archivo manualmente, debe abrir su archivo robots.txt en la raíz de su sitio y realizar los distintos cambios que desee. Una vez que haya terminado, debe guardar los cambios y guardar su archivo.
Como es posible modificar este archivo, debe saber que también es posible excluir ciertas páginas de su base de datos robots.txt. Se trata de restar ciertas URLs autorizadas para acceder al motor de búsqueda de su sitio.
Puede haber muchas razones por las que quiera personalizar su archivo robots.txt, desde controlar el presupuesto de rastreo hasta bloquear secciones de un sitio web para que no sean rastreadas e indexadas. Exploremos ahora algunas razones para utilizar un archivo robots.txt.
Bloquear todos los rastreadores para que no accedan a su sitio no es algo que desee hacer en un sitio web activo, pero es una gran opción para un sitio web de desarrollo. Al bloquear los rastreadores ayudará a evitar que sus páginas se muestren en los motores de búsqueda, lo cual es bueno si sus páginas no están listas para ser vistas todavía.
Una de las formas más comunes y útiles de utilizar su archivo robots.txt es limitar el acceso de los robots de los motores de búsqueda a partes de su sitio web. Esto puede ayudar a maximizar su presupuesto de rastreo y evitar que las páginas no deseadas terminen en los resultados de búsqueda.
Es importante tener en cuenta que el hecho de que le haya dicho a un bot que no rastree una página, no significa que no vaya a ser indexada. Si no quiere que una página aparezca en los resultados de búsqueda, debe añadir una etiqueta meta noindex a la página.
Si usted es miembro de un equipo de marketing o un desarrollador de sitios web, querrá que su sitio se vea en los resultados de las búsquedas. Y para aparecer en los resultados de las búsquedas necesita que su sitio web y sus distintas páginas web sean rastreadas e indexadas por los robots de los motores de búsqueda.
El archivo Robots.txt es un simple archivo de texto que se coloca en el directorio raíz de su sitio. Este archivo utiliza un conjunto de instrucciones para indicar a los robots de los motores de búsqueda qué páginas de su sitio web pueden rastrear y cuáles no.
El archivo robots.txt también puede utilizarse para bloquear el acceso de determinados robots al sitio web. Por ejemplo, si un sitio web está en desarrollo, puede tener sentido bloquear el acceso de los robots hasta que esté listo para su lanzamiento.
El archivo robots.txt suele ser el primer lugar que visitan los rastreadores al acceder a un sitio web. Incluso si quiere que todos los robots tengan acceso a todas las páginas de su sitio web, es una buena práctica añadir un archivo robots.txt que lo permita.
Por ejemplo, puede querer que los motores de búsqueda accedan a todas las entradas de su blog para que aparezcan en los resultados de búsqueda. Sin embargo, es posible que no quiera que tengan acceso a sus páginas de etiquetas, ya que éstas pueden no ser buenas páginas de destino y, por lo tanto, no deberían incluirse en los resultados de búsqueda.