O Google utiliza robôs automatizados, conhecidos como rastreadores, para descobrir e indexar conteúdo na web. Esses rastreadores não buscam seu site apenas quando diferentes tipos de rastreadores são atribuídos para lidar com diferentes conteúdos, como páginas da web, imagens e vídeos. Saber quais deles estão visitando seu site ajuda a gerenciar a visibilidade, solucionar problemas de rastreamento e manter seu SEO saudável.
Por que você deve conhecer os rastreadores do Google
Quando o Google visita seu site, ele nem sempre usa o mesmo rastreador. Em vez disso, ele envia rastreadores diferentes (também chamados Googlebots) dependendo do tipo de conteúdo que deseja buscar: páginas da web, imagens, anúncios, vídeos ou até mesmo versões específicas para dispositivos móveis.
Entender esses rastreadores ajuda você a:
-
Leia o seu logs do servidor mais precisamente
-
Evite bloquear bots importantes no seu arquivo robots.txt
-
Gerencie seu orçamento de rastreamento eficientemente
-
Solucionar problemas de rastreamento ou indexação
Rastreadores comuns do Google
Aqui estão os rastreadores mais comuns do Google que você pode ver em seus registros:
| Nome do rastreador | Cadeia de caracteres do agente do usuário | Propósito |
| Googlebot (Desktop) | Googlebot / 2.1 (+ http://www.google.com/bot.html) | Rastreia a versão desktop de páginas da web. |
| Googlebot (Smartphone) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/WXYZ Mobile Safari/537.36 (compatível; Googlebot/2.1; +http://www.google.com/bot.html) | Rastreia a versão mobile das páginas da web. Como o Google utiliza a indexação mobile-first, este é o bot mais importante atualmente. |
| Imagem do Googlebot | Imagem do Googlebot/1.0 | Rastreia imagens para pesquisa do Google Imagens. |
| Vídeo do Googlebot | Googlebot-Vídeo/1.0 | Rastreia conteúdo de vídeo e metadados para resultados de pesquisa do Google Video. |
| Notícias do Googlebot | Googlebot-Notícias | Rastreia artigos de notícias para inclusão no Google Notícias. |
| AdsBot (Anúncios do Google) | AdsBot-Google (+http://www.google.com/adsbot.html) | Rastreia páginas de destino para verificar a qualidade dos anúncios do Google. |
| Googlebot AdsBot Mobile | AdsBot-Google-Mobile | Rastreia páginas de destino para dispositivos móveis para verificações de qualidade do Google Ads. |
| Rastreador de aplicativos do Googlebot | Aplicativo Googlebot | Rastreia aplicativos e conteúdo de aplicativos (menos comum, mas existe para indexação de aplicativos). |
Por que vários rastreadores são importantes para SEO
-
Bloquear o rastreador errado no robots.txt pode impedir que suas páginas, imagens ou vídeos apareçam na pesquisa.
-
Se você estiver executando anúncios, bloqueando Robô de anúncios pode diminuir as pontuações de qualidade dos anúncios.
-
Como primeira indexação para dispositivos móveis agora é o padrão, garantindo que seu site seja acessível a Smartphone Googlebot é crítico.
Saiba mais sobre como controlar o que os bots podem rastrear em nosso guia robots.txt.
Como verificar se uma solicitação é do Google
O Google recomenda verificando rastreadores por IP em vez de depender apenas de sequências de agentes de usuário (já que estas podem ser falsificadas por bots).
Passos:
-
Pesquisa reversa de DNS do endereço IP.
-
Verifique se o domínio termina com
googlebot.comorgoogle.com. -
Confirme se o IP resolve de volta para o Google.
