Google utiliza bots automatizados, conocidos como rastreadores, para descubrir e indexar contenido en la web. Estos rastreadores no solo recuperan tu sitio web una vez que se asignan diferentes tipos de rastreadores para gestionar distintos tipos de contenido, como páginas web, imágenes y vídeos. Saber cuáles visitan tu sitio te ayuda a gestionar la visibilidad, solucionar problemas de rastreo y mantener un SEO óptimo.
Por qué deberías conocer los rastreadores de Google
Cuando Google visita tu sitio, no siempre utiliza el mismo rastreador. En su lugar, envía diferentes rastreadores (también llamados robots de google) dependiendo del tipo de contenido que quiera obtener: páginas web, imágenes, anuncios, vídeos o incluso versiones específicas para dispositivos móviles.
Comprender estos rastreadores le ayudará a:
-
Lee tu registros del servidor con más precisión
-
Evite bloquear bots importantes en su archivo robots.txt
-
administrar su presupuesto de rastreo efficiently
-
Solucionar problemas de rastreo o indexación
Rastreadores comunes de Google
Estos son los rastreadores de Google más comunes que puedes ver en tus registros:
| Nombre del rastreador | Cadena de agente de usuario | Propósito |
| Googlebot (Escritorio) | Googlebot / 2.1 (+ http://www.google.com/bot.html) | Rastrea la versión de escritorio de las páginas web. |
| Googlebot (teléfono inteligente) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/WXYZ Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | Rastrea la versión móvil de las páginas web. Dado que Google utiliza la indexación móvil, este es el bot más importante actualmente. |
| Imagen de Googlebot | Googlebot-Image/1.0 | Rastrea imágenes para la búsqueda de imágenes de Google. |
| Vídeo de Googlebot | Googlebot-Video/1.0 | Rastrea contenido de video y metadatos para los resultados de búsqueda de Google Video. |
| Noticias de Googlebot | Noticias de Googlebot | Rastrea artículos de noticias para incluirlos en Google Noticias. |
| AdsBot (Anuncios de Google) | AdsBot-Google (+http://www.google.com/adsbot.html) | Rastrea páginas de destino para comprobar la calidad de Google Ads. |
| Googlebot AdsBot Móvil | AdsBot-Google-Móvil | Rastrea páginas de destino móviles para realizar controles de calidad de Google Ads. |
| Rastreador de aplicaciones de Googlebot | Aplicación Googlebot | Rastrea aplicaciones y contenido de aplicaciones (menos común, pero existe para la indexación de aplicaciones). |
Por qué son importantes varios rastreadores para el SEO
-
Bloquear el rastreador incorrecto en robots.txt podría impedir que sus páginas, imágenes o vídeos aparezcan en las búsquedas.
-
Si está ejecutando anuncios, bloqueándolos Bot de anuncios Puede reducir los puntajes de calidad de los anuncios.
-
Desde indización móvil primero Ahora es el valor predeterminado, lo que garantiza que su sitio sea accesible para Smartphone de Googlebot es critico.
Obtenga más información sobre cómo controlar lo que los bots pueden rastrear en nuestro guía de robots.txt.
Cómo comprobar si una solicitud proviene de Google
Google recomienda Verificación de rastreadores por IP en lugar de confiar únicamente en cadenas de agente de usuario (ya que éstas pueden ser falsificadas por bots).
Pasos:
-
Búsqueda DNS inversa de la dirección IP.
-
Verifique que el dominio termine en
googlebot.comorgoogle.com. -
Reenviar: confirmar que la IP se resuelve nuevamente en Google.
