A pesar de todo el contenido que se ha escrito sobre el funcionamiento de los motores de búsqueda en general, y sobre el proceso de rastreo en particular, parece que los profesionales del marketing y los webmasters siguen confundidos con la idea del crawl budget.
Este fenómeno crea confusión y normalmente conduce a lo que la gente de negocios llama el “síndrome del objeto brillante” que básicamente implica que sin una comprensión de los fundamentos los vendedores son menos capaces de discernir, por lo tanto siguen ciegamente los consejos de cualquiera
Este artículo le enseñará los fundamentos del rastreo y cómo utilizarlos para identificar si el “presupuesto de rastreo” es algo que debería importarle, y si es realmente algo importante para su negocio/sitio.
“El proceso de rastreo comienza con una lista de direcciones web, los rastreadores utilizan los enlaces de esos sitios para descubrir otras páginas. El software presta especial atención a los sitios nuevos, a los cambios en los existentes y a los enlaces muertos. Un programa informático determina qué sitios hay que rastrear, con qué frecuencia y cuántas páginas hay que recuperar de cada sitio.”
Cuando exploran un sitio web, visitan todos los enlaces que contiene y siguen las instrucciones incluidas en el archivo robots.txt. En este archivo, se encuentran las indicaciones para el motor de búsqueda sobre cómo debe “rastrear” el sitio web.
A través del archivo robots.txt, podemos sugerir al motor de búsqueda que ignore determinados recursos de nuestro sitio web. A través del mapa del sitio (es decir, la lista de las URL del sitio), en cambio, podemos ayudar al rastreador a navegar por nuestro sitio web, proporcionándole un mapa de sus recursos.
Estos algoritmos ayudan a los rastreadores a distinguir una página que se actualiza con frecuencia de otra que no cambia con el tiempo: el rastreador escanearía la primera con mayor regularidad. Un concepto clave, desde este punto de vista, es el crawl budget.
No estamos diciendo que los rastreadores no sean capaces de interpretar contenidos que no sean archivos de texto. Lo son, y cada vez lo hacen mejor. De todos modos, es mejor utilizar nombres de archivos y metadatos para ayudar a los motores de búsqueda a leer, indexar y clasificar el contenido en las SERP.
La indexación es un proceso de análisis y almacenamiento del contenido de las páginas web rastreadas en la base de datos (también llamada índice). Sólo las páginas indexadas pueden ser clasificadas y utilizadas en las consultas de búsqueda pertinentes.
2. Search Console le mostrará el estado de la página. Si no está indexada, puede solicitar la indexación. 3. Si está indexada, no tienes que hacer nada ni solicitarla de nuevo (si has hecho algún cambio mayor en la página).
4. Una vez que la prueba se haya realizado con éxito, aparecerá una notificación confirmando que su URL se ha añadido a una cola de rastreo prioritaria para su indexación. El proceso de indexación puede durar desde unos minutos hasta varios días.
La principal ventaja de los sitemaps es que facilitan el rastreo de su sitio web por parte de los motores de búsqueda. Puede enviar un gran número de URLs a la vez y, por lo tanto, acelerar el proceso de indexación general de su sitio web.
Nota: La forma más fácil de crear un mapa del sitio para su sitio web de WordPress es utilizar el plugin Yoast SEO que lo hará por usted automáticamente. Consulta esta guía para saber cómo encontrar la URL de tu mapa del sitio.
Su contenido debe ser expuesto primero a los motores de búsqueda para poder aparecer en los resultados de búsqueda. Es quizás el aspecto más crucial del SEO: si su sitio no puede ser encontrado, nunca aparecerá en las SERPs (Search Engine Results Page).
El contenido puede adoptar varias formas: puede ser una imagen, una página web, un vídeo, un PDF o cualquier otra cosa en la página principal de su sitio y en otras páginas. – Pero independientemente del formato, el contenido se descubre a través de los enlaces.
Una araña web rastreará (buscará) y clasificará cualquier página web de Internet que se le indique indexar. Por lo tanto, si no quiere que su página web sea vista por los motores de búsqueda, puede ordenar a una araña web que no la rastree. Esto se conoce como meta directivas (o “meta etiquetas”), que son instrucciones que usted puede ofrecer a los motores de búsqueda sobre cómo debe ser procesada su página web.
Analizar qué páginas web rastrea una araña web puede ayudarle a determinar si están rastreando sus páginas más importantes. Para examinar cuánto tiempo de rastreo se dedica a cada tipo de página, organice las páginas por tipo.