Mientras que los motores de búsqueda convencionales clasificaban los resultados contando las veces que aparecían los términos de búsqueda en la página, ellos teorizaron sobre un sistema mejor que analizaba las relaciones entre los sitios web[28]. Llamaron a este algoritmo PageRank; determinaba la relevancia de un sitio web por el número de páginas, y la importancia de aquellas páginas que enlazaban con el sitio original[29][30] Page le contó sus ideas a Hassan, que empezó a escribir el código para implementar las ideas de Page[24].
Otras críticas son el supuesto uso indebido y la manipulación de los resultados de las búsquedas, su uso de la propiedad intelectual de otros, la preocupación de que su recopilación de datos pueda violar la privacidad de las personas y el consumo de energía de sus servidores, así como la preocupación por cuestiones empresariales tradicionales como el monopolio, la restricción del comercio, las prácticas anticompetitivas y la infracción de patentes.
Nayak ha pasado por la implementación de la corrección ortográfica, y el buscador de sinónimos, y la búsqueda universal, que ofrece a los usuarios no sólo las páginas web que puedan estar buscando, sino fotos, vídeos y más.
Una araña del motor de búsqueda hace el trabajo sucio del motor de búsqueda: Escanea las páginas web y crea índices de palabras clave. Una vez que la araña ha visitado, escaneado, categorizado e indexado una página, sigue los enlaces de esa página a otros sitios. La araña continuará rastreando de un sitio a otro, lo que significa que el índice del motor de búsqueda se vuelve más completo y robusto.
¿Está interesado en un aspecto específico del funcionamiento de los motores de búsqueda? Utiliza los enlaces de abajo para ir a una sección específica dentro del artículo. Si quiere saber específicamente sobre las palabras clave, consulte este artículo sobre cómo utilizan las palabras clave los motores de búsqueda.
Las arañas trabajan de una manera muy específica, saltando de enlace en enlace descubriendo nuevas páginas. Por eso, si tu contenido no está enlazado no será indexado. Cuando se encuentra un nuevo dominio, la araña busca primero esta página:
¿Cómo de relevante es el contenido para la consulta? El indexador es la primera prueba de esto, determinando si debe aparecer en los resultados. Sin embargo, se da un paso más para clasificar las palabras clave. Es lógico que cuando se busca algo, se quieran ver los resultados más relevantes posibles.
La relevancia viene determinada por una mezcla de factores on-page y off-page. Ambos se centran en la colocación de las palabras clave, como en los títulos de las páginas y el texto de anclaje. Algunas métricas son una combinación de éstas. Por ejemplo, si el dominio en su conjunto se considera relevante para el término de búsqueda, esto va a aumentar la puntuación de relevancia de la página individual que se está puntuando. Si quieres saber más sobre esto, te recomiendo que leas mi artículo “Cómo utilizan las palabras clave los motores de búsqueda”.
En esta guía vamos a ofrecerte una introducción a cómo funcionan los motores de búsqueda. Esto cubrirá los procesos de rastreo e indexación, así como conceptos como crawl budget y PageRank.
Los motores de búsqueda trabajan rastreando cientos de miles de millones de páginas mediante sus propios rastreadores web. Estos rastreadores web se denominan comúnmente bots o arañas de los motores de búsqueda. Un motor de búsqueda navega por la web descargando páginas web y siguiendo los enlaces de estas páginas para descubrir nuevas páginas que han sido puestas a disposición.
A continuación, el usuario selecciona una opción de la lista de resultados de la búsqueda y esta acción, junto con la actividad posterior, alimenta futuros aprendizajes que pueden afectar a las clasificaciones de los motores de búsqueda en el futuro.
Cuando un usuario introduce una consulta en un motor de búsqueda, todas las páginas que se consideran relevantes se identifican a partir del índice y se utiliza un algoritmo para clasificar jerárquicamente las páginas relevantes en un conjunto de resultados.