Saber cómo funciona Googlebot es clave para poder construir una web optimizada. Esto no solo te permitirá estar bien ante los ojos del más grande de los buscadores, también será de provecho para exponer tu marca a los potenciales clientes.
Trataremos de explicarte de forma sencilla cómo actúa Googlebot cuando entra a tu sitio, además de mencionarte los aspectos más importantes que toma en cuenta para posicionar en los primeros lugares.
Ten presente que ubicarte en los primeros lugares te ofrece una lista extensa de beneficios.
De hecho, un estudio realizado por Compite pudo comprobar que el primer lugar de Google es quien obtiene el 53% de los clics, seguido del segundo lugar con 15%.
Qué es un sitemap y qué papel juega para el rastreo de Google
Sí, sabemos que este artículo trata sobre cómo funciona el rastreo de Google, pero para poder entender el proceso, es primordial que sepas qué son los Sitemaps, pues aquí empieza todo. Luego lo verás.
[Tweet “Un sitemap es un archivo que se crea para enumerar tus páginas #Google”]
Un sitemap es un archivo que se crea para enumerar tus páginas e informar a Google sobre la estructura e información que se encuentra en tu web.
Estos archivos pueden proporcionarle a los buscadores información valiosa para que luego pueda ser rastreada de acuerdo a la relevancia de la web, como por ejemplo:
- Cuándo fue la última vez que se actualizó una página.
- La frecuencia de cambio.
- La importancia de esa página (URL para Google) en comparación a otras URLs.
Los sitemaps se crean con base a etiquetas o tags XML y una de las facilidades que te otorga Google es que puedes hacerlos para videos e imágenes de forma independiente al resto del contenido.
Esto es importante porque con el mecanismo regular de rastreo sería imposible descifrar si ese contenido es audiovisual o contenido en imágenes.
[Tweet “#Google te da la oportunidad de crear un sitemap para incluir el contenido en video o imágenes”]
Lo que esto aporta es que se añada una imagen en miniatura para sugerirle al usuario que el contenido ofrece un vídeo o imágenes.
Google te da la oportunidad de crear un sitemap para incluir el contenido en video o imágenes o si lo prefieres, puedes incluir la información en uno ya creado.
Te preguntarás, ¿Y qué valor aporta a mi web? Los sitemaps son primordiales para permitirle a Google rastrear tu sitio de forma fácil y sobre todo rápida.
Se cree que la forma en cómo el contenido se indexa en Google es en forma de árbol, es decir rama por rama. Con los sitemaps, tienes la facilidad de ver todas las páginas de una vez por todas.
Un Sitemap es simplemente una lista de las páginas de su sitio web. Esto es lo que Google tiene que decir sobre ellos:
“Los sitemaps son una manera de decirle a Google acerca de las páginas de tu sitio que de lo contrario no podríamos descubrir. En sus términos más sencillos, un Sitemap XML (normalmente denominado Sitemap, con mayúscula S) es una lista de las páginas de tu sitio web. La creación y envío de un Sitemap ayuda a asegurarse de que Google conozca todas las páginas de tu sitio, incluidas las URL que no pueden ser detectadas por el proceso normal de rastreo de Google”.
En resumen, un Sitemap es importante porque informa a los motores de búsqueda sobre el contenido que tiene en tu sitio y la frecuencia con la que se actualiza.
Esto ayuda con la optimización del motor de búsqueda, ya que hace que sea más fácil para Google averiguar sobre el contenido de tu sitio para que puedan servir en los resultados de búsqueda.
¿Cómo configuro un sitemap?
Afortunadamente, la creación de un Sitemap es fácil. Con un sitio web de WordPress, todo lo que necesitas hacer es instalar un complemento. Hay dos complementos que puedes utilizar:
- WordPress SEO por Yoast: Este es ampliamente considerado el mejor plugin de SEO. Una de las características del plugin es que te permite crear fácilmente un Sitemap para tu sitio web. Sin embargo, ha habido problemas con esta función (si estás interesado, puedes ver algunos de los temas de soporte de WordPress para obtener más información).
- Google XML Sitemap: la segunda opción que puedes utilizar es el complemento Google XML Sitemap. Este complemento se ha descargado más de 10 millones de veces y es extremadamente fácil de usar y configurar.
Una vez que tengas instalado el complemento, asegúrate de que tu Sitemap haya sido enviado a Google. Puedes hacerlo fácilmente a través de las Herramientas para webmasters de Google.
Qué es Googlebot
También conocido como el robot de Google o la araña, es quien se encarga de hacer el rastreo de un sitio web. Parte del trabajo de Googlebot es encontrar páginas nuevas o actualizadas para añadirlas a Google.
[Tweet “El proceso del rastreo de #Google se hace algorítmicamente”]
El proceso del rastreo se hace algorítmicamente y la forma de sondeo es sencilla: él entra a cada una de las páginas de un sitio web interpretando inicialmente las URLs que encuentra en tu sitemap.
Una vez adentro, Googlebot inicia su actuación y se pasa por la web tal y como tu lo harías manualmente, yendo de vínculo en vínculo, recopilando información para posteriormente agregar a su índice de enlaces o URL nuevas y antiguas actualizaciones de páginas, etc.
Googlebot repite el procedimiento varias veces cada pocos segundos. En aquellos casos en los que se haya experimentado un retraso en la red, es posible que los cambios no se reflejen en seguida en el sitio.
El robot de Google está creado con la idea de trabajar dividiendo el trabajo en varios equipos, de tal forma que el rastreo funcione perfectamente y asistir a los propietarios en el desarrollo de sus webs.
Es por tal motivo que en el proceso de rastreo, los propietarios puedan observar distintas visitas.
Google advierte que su intención no es colapsar el ancho de banda del servidor al pasearse por las distintas páginas, por lo que es de provecho que haga las visitas paulatinamente.
Un dato curioso sobre Googlebot es que es capaz de rellenar aquellos campos que estén vacíos en los formularios a medida que va explorando para ir accediendo a las páginas que de otra forma sería imposible ingresar.
Por tal motivo, creemos que es importante aprender a bloquear los recursos que no deseas sean rastreados por Google.
Googlebot funciona como un bot de búsqueda para rastrear el contenido de un sitio e interpreta el contenido del archivo robots.txt creado por el usuario (por ejemplo, www.myhost.com/robots.txt).
Los robots de búsquedas funcionan leyendo páginas web; entonces, ponen el contenido de las páginas a disposición de todos los servicios de Google (hecho por el proxy de caché de Google).
Por su parte, las solicitudes de Googlebot a los servidores Web se realizan mediante una cadena de agente de usuario que contiene “Googlebot” y las solicitudes a una dirección de host contienen “googlebot.com”.
Los robots de búsqueda accederán a cualquier archivo del directorio raíz y a todos sus subdirectorios.
Por supuesto, los usuarios pueden configurarlo para permitir o rechazar el archivo robots.txt de Control Search Engine Spiders, un programa que viaja por la Web, para poder recuperar todas las páginas de un sitio Web.
Pros y contras de Googlebot
Pros:
– Puedes construir rápidamente una lista de enlaces que vienen de la Web.
– Recruta páginas populares que cambian con frecuencia para mantener el índice actualizado.
Contras:
– Sólo sigue enlaces HREFlinks y SRC.
– Se necesita una enorme cantidad de ancho de banda.
– Algunas páginas pueden tardar más en encontrar, por lo que el rastreo puede ocurrir una vez al mes por día.
– Debe ser configurado / programado para funcionar correctamente.
Robots.txt
[Tweet “#Google recomienda el uso de Robots.txt para rastrear mejor tu sitio”]
Para mejorar el rastreo de Google, este recomienda que use el archivo robots.txt, con él, el administrador o propietario del sitio puede indicar qué es lo que quiere que el buscador rastree y qué no.
En caso de incluirlo en el proceso, podrá indicar cómo quiere que este sea mostrado en los resultados de búsqueda. Miremos un ejemplo:
Es así como se debe indicar a los rastreadores que no muestren cierto contenido en los motores de búsqueda, el atributo name=“robots” es para todos los rastreadores.
Si quisieras incluir uno en específico, basta con sustituir el valor “robots” del atributo “name” por el nombre del buscador que deseas excluir. En el caso de Google, sería algo como esto:
Otras de las novedades que te ofrece Googlebot para personalizar el proceso es que te permite integrar las búsquedas en sus propias páginas.
Esto no es más que agregar un buscador dentro de tu web para que sea el propio usuario quien encuentre contenido relacionado a lo que está buscando.
Es un gran aporte que el rastreo de Google puede darle a los propietarios, debido que tiene la oportunidad de conocer el comportamiento del usuario una vez que estos resultados sean enlazados a Google Adwords, que como sabes es otra herramienta para impulsar el posicionamiento.
Cómo funciona la búsqueda de Google
Las búsquedas se componen de 3 pasos:
- Rastreo.
- Indexación.
- Publicación de resultados.
El primer paso para entender cómo funcionan las búsquedas en Google, ya te lo explicamos más arriba. Ahora, toca exponer la indexación.
Indexación
Una vez que Googlebot ha pasado por tu web y haya leído e interpretado todos tus recursos, el siguiente paso es guardarla en su “biblioteca”.
Así mismo como lo lees, la indexación de Google puedes compararla como con una inmensa biblioteca que tiene en su almacén miles de libros.
Del resultado del rastreo, Google crea índices, tal y como se tratara de una biblioteca. En la que la clasificación de libros puede valerse de códigos o palabras que indican en dónde puede encontrar X información.
Para que tus páginas estén listas para ser indexables, tienes que cumplir una serie de requisitos, pero antes trata de verificar los siguientes puntos:
- Cuida que ninguna de tus páginas estén hechas con la versión vieja de Flash.
- Procura arreglar aquellas que están hechas a base de frames.
- Comprueba que están estructuradas en formato HTML o DHTML.
Una vez que ya tengas resuelto estos inconvenientes, ya puedes empezar el proceso de indexación.
Busca la ayuda de herramientas como Google Search Console, este instrumento da las instrucciones y un paso a paso para que puedas lograr indexar tus páginas sin problemas.
Dato curioso: Se cree que Google trabaja para indexar más de 130 trillones de páginas y va en crecimiento.
En el proceso de indexación se realiza un tratamiento del contenido para comprender cuál de tantos (trillones) es el que Google considera de mayor importancia y, de acuerdo a lo que determine el proceso del rastreo de Google, se clasificará la información para mostrar un resultado a los usuarios.
Publicación de resultados
La publicación de resultados, es el paso final para conocer cómo trabaja Googlebot para ofrecernos resultados de búsqueda lo más cercano a lo que estamos buscando.
Este es el resultado de los dos pasos anteriores (rastreo e indexación) que como lo mencionamos, es como una especie de biblioteca.
Cuando el usuario ingresa las palabras relacionadas a lo que quiere encontrar, Google intenta encontrar el contenido que más se parezca a las peticiones del usuario.
Va a su biblioteca y examina cuál es el contenido que contiene la máxima repetición de palabras que ha ingresado el usuario y de acuerdo a su clasificación muestra lo que él considera, el contenido que estás buscando.
Factores que Google toma en cuenta para posicionar
Google valora unos 200 aspectos para que solo los mejores puedan posicionar sus páginas en los primeros lugares. A parte de los detalles técnicos antes mencionados, también habrá que evaluar si tus páginas o web cumplen con algunos de estos requisitos:
La palabra clave en el nombre del dominio
Esto no es nada nuevo y como ya lo hemos estado mencionando, Googlebot pasea por tus distintas páginas y el medio para hacerlo es por las URLs, por lo que es de provecho ajustarse a este requerimiento.
Antigüedad del dominio
El mismo Matt Cutt, quien fue el director del departamento contra Spam en Google, ha declarado que esto es tomado en cuenta pero no es un requisito obligatorio. A esto debemos decir que la antigüedad del dominio influye directamente con el Pagerank o lo que es lo mismo el Domain Authority.
Domian Authority
La autoridad de dominio es un trabajo de hormiguita, se construye poco a poco, por lo que que comprueba que la antigüedad del dominio si puede ser una gran ayuda para ser considerado merecedor de los primeros lugares.
Densidad de las palabras clave
Para calcularlo, bastará con usar algún CMS como WordPress, porque uno de sus plugin te indicará cómo va lo de la densidad de la keyword a medida que vas escribiendo.
Velocidad de carga del sitio o página
Google puede evaluar el rendimiento de tu web o página desde el navegador del usuario para determinar qué tan rápida es el sitio al requerimiento.
Actualización de contenido constante
Un requisito que bien puede aportar valor no solo al posicionamiento, sino es un gran motivo para impulsar las visitas de Googlebot.
Actualización constante de una página en específico
Perfecto para tener en cuenta a los blogs o en el caso de eCommerce, la creación de un nueva producto con contenido en su ficha.
Enlaces de calidad
Esto tiene que ver con los sitios con autoridad que enlazan a tu web. Para conseguirlo, puedes desarrollar técnicas de LinkBuilding o Guest blogging.
Número de enlaces internos
Se trata de lo mismo que mencionamos más arriba, pero el tratamiento de enlaces lo harás tú mismo desde tu web para algunas de tus páginas internas. Es cuando en un post enlazas a otro post desde ese contenido.
Enlaces rotos
Hay que tener cuidado con la cantidad de enlaces rotos que Google encuentra en tu web. Tantos podrían indicarle que tu web ha sido abandonada, puesto que no se han actualizado estos enlaces.
Longitud de las URLs
Una URL tan extensa dificulta la tarea de rastreo, por lo que impide el resto del proceso (indexación y clasificación del contenido en la biblioteca de Google).
Cantidad de páginas
En posicionamiento todo cuenta y aunque no es un factor decisivo para ganar las primeras posiciones, es un elemento de valor.
La UX y la experiencia de usuario
Este punto guarda relación estrecha con el porcentaje de rebote, si un usuario llega y se va sin perdurar en cualquiera de las páginas, Google lo tomará como que no cuentas con lo que el usuario quiere o busca y te evaluará de forma negativa.
Hasta aquí bien, ya te explicamos cuál es el procedimiento de rastreo de Google.
Ahora te toca cumplir con los requisitos de los buscadores para posicionar y encontrar las herramientas adecuadas que te ayudarán a mejorar los aspectos técnicos y de SEO para tu web.
Si te ha gustado este contenido, quizás te interese:
Aprende Sobre SEO
Te enseñamos a Aumentar el CTR de tu Página
Manual para Aprender a Usar Google Search Console
Cómo Adquirir Contenido con Growth Hacking
Descubre cómo la Autoridad de Página te Ayuda a Aumentar las Visitas
