Los entornos que utilizan un dominio de conveniencia (por ejemplo, un subdominio de go-vip.net o go-vip.co), tienen una salida /robots.txt codificada que devuelve un resultado “Disallow for all user agents”. Esto es para evitar que los motores de búsqueda indexen el contenido alojado en sitios que no son de producción, o sitios de producción no lanzados. Para modificar la salida de /robots.txt un entorno (de producción o de no producción) debe tener un dominio mapeado personalizado.
El archivo /robots.txt se almacena en caché durante largos períodos de tiempo. Para forzar que la caché se borre después de cualquier cambio realizado en el archivo, vaya a Configuración > Lectura dentro de WP-Admin y cambie la configuración de la visibilidad del motor de búsqueda, guardando los cambios cada vez que se cambie la configuración.
Cada entrada Disallow: /[página] indica una página que los robots no deben visitar. No debe eliminar ninguna de las entradas Disallow: del archivo robots.txt predeterminado, aunque es posible que desee incluir páginas adicionales que desee que los robots ignoren. Si está probando su tienda y no quiere que ningún robot rastree ninguna página, puede querer que su archivo robots.txt tenga el siguiente aspecto
Mapa del sitio: http://{occs-host}/sitemap.xml}Nota: El mapa del sitio XML es un índice de las URL de las páginas de su tienda que está disponible para ser rastreado por los motores de búsqueda. Ayuda a los motores de búsqueda a rastrear su sitio de forma más inteligente. En los mapas del sitio generados sólo se incluyen las páginas, los productos y las colecciones que pueden ver los compradores anónimos (es decir, los visitantes de su tienda que no han iniciado sesión). Cada mapa del sitio.xml incluye una etiqueta <lastmod> que proporciona la fecha y la hora de la última publicación del artículo. Consulte Comprender los mapas del sitio XML para obtener más información.
La búsqueda interna se refiere a la opción de búsqueda en su propio sitio web cuando se generan páginas de resultados de búsqueda interna. Para evitar la creación de páginas de baja calidad, los resultados de la búsqueda interna se excluyen del rastreo en el archivo robots.txt y no se encuentran en las páginas de resultados del motor de búsqueda (SERP).
No es necesario editar su archivo Robots.txt. Lo normal es permitir la indexación de todas las páginas y desde todos los motores de búsqueda. Edite el archivo robots.txt sólo si tiene experiencia en la optimización de motores de búsqueda. Con ello podrá:
Nuestro equipo de soporte se compromete a ayudarle con su tienda eCom. Editar el archivo robots.txt de su tema podría causar problemas con su posicionamiento en los motores de búsqueda. Cuando esto ocurre, nuestro equipo de soporte puede no tener los conocimientos de SEO necesarios para resolver directamente el problema en su archivo robots.txt. En estos casos pueden recomendar:
AdamCommunity Manager, eCommerce and Websites, SquareInicie sesión y haga clic en Marcar como mejor respuesta si mi respuesta responde a su pregunta.¿Tiene una pregunta sobre su tienda online de Square? Por favor, utilice el tablero de discusión de Square Online Store.
Hola Adam,Tengo un problema con mi archivo robot.txt del sitio web https://www.erasmustrainingcourses.com Entre las muchas líneas (que quiero) también están las siguientes que no quiero (ya que esas páginas ya no existen) y que no puedo borrar, ¿puedes ayudar? Disallow: /ict-y-nuevas-tecnologías.htmlDisallow: /http://www.erasmustrainingcourses.com/teachers-and-adult-education-staff-support.htmlDisallow: /inclusión-y-diversidad.htmlDisallow: /métodos-de-enseñanza-innovadores1.htmlDisallow: /internacionalización-y-idiomas.htmlDisallow: /habilidades-soft.html
Sólo para aclarar, ¿se trata de páginas que tenías y que habías bloqueado de la indexación, pero luego borraste las páginas? En realidad, no hace ningún daño tenerlas en su archivo robots.txt, aunque podría crear nuevas páginas con los mismos nombres, dejar sin marcar la opción de bloquear la indexación para cada una de ellas, publicarlas y luego eliminarlas. Eso debería actualizar el archivo robots.txt para eliminar esas líneas.