Além dos rastreadores comuns, como o Googlebot para web, imagens e vídeos, o Google também executa rastreadores de casos especiais. Eles são projetados para fins específicos, como verificação de sites, testes de dados estruturados ou verificações de qualidade de anúncios. Eles não rastreiam todo o seu site regularmente, mas aparecem em momentos importantes para concluir uma tarefa.
Por que os rastreadores de casos especiais são importantes
Esses rastreadores podem não afetar a indexação diária, mas podem impactar a forma como seu site é verificado, como dados estruturados são testados ou o desempenho dos anúncios. Se você os bloquear por engano em seu robots.txt, alguns serviços do Google podem não funcionar corretamente.
Rastreadores de casos especiais do Google
Aqui estão os mais comuns que você pode ver:
| Nome do rastreador | Cadeia de caracteres do agente do usuário | Propósito |
| APIs-Google | APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) | Usado pelas APIs do Google para acessar conteúdo. |
| Alimentador | FeedFetcher-Google | Busca feeds RSS/Atom para serviços do Google, como Google Notícias ou Podcasts. |
| Google-Leitura-em-voz | Google-Leitura-em-voz | Busca conteúdo para serviços de conversão de texto em fala (por exemplo, artigos de leitura do Google Assistente). |
| Duplex na Web | Ferramenta de inspeção do Google | Simula interações do usuário (como reservar um serviço) para testar a usabilidade. |
| Verificação do site do Google | Verificação do site do Google | Usado ao verificar a propriedade do site no Google Search Console. |
| AdsBot (celular e desktop) | AdsBot-Google-Mobile / AdsBot-Google | Verifica a qualidade da página de destino para anúncios do Google. |
| Outras ferramentas de teste | Google-InspectionTool (usado pelo Lighthouse e pelo teste de resultados avançados) | Rastreia quando você executa testes nas ferramentas do Google. |
Coisas importantes para lembrar
-
Os rastreadores de casos especiais geralmente aparecem somente quando acionado (por exemplo, ao verificar um site ou executar um teste de dados estruturados).
-
Eles não indexe seu site como o Googlebot, mas eles garantem que os recursos e ferramentas funcionem corretamente.
-
Bloqueá-los no robots.txt pode interromper serviços importantes do Google (como verificação de sites ou verificações de anúncios).
Se você não tiver certeza de qual rastreador é qual, verifique nosso guia sobre Lista de rastreadores comuns do Google.
Como verificar um rastreador de caso especial
Às vezes, você verá bots incomuns nos logs do seu servidor e se perguntará se eles são realmente do Google ou apenas bots falsos fingindo ser do Google. Confiando apenas no sequência de agente do usuário (como AdsBot-Google or FeedFetcher-Google) não é suficiente, porque os spammers podem copiar esses nomes.
É por isso que o Google recomenda verificar os rastreadores por seus Endereço IP. Veja como você pode fazer isso:
Etapa 1: encontre o endereço IP do rastreador
-
Verifique se o seu logs do servidor para ver o endereço IP da solicitação do bot.
Etapa 2: faça uma pesquisa reversa de DNS
-
Execute uma pesquisa de DNS reversa nesse IP.
-
O resultado deve apontar para um domínio que termina em
googlebot.comorgoogle.com.
Etapa 3: Confirme com uma pesquisa de DNS avançada
-
Pegue esse nome de domínio e pesquise-o novamente para ver se ele se resolve de volta para o mesmo endereço IP.
-
Se corresponder, o rastreador é um rastreador genuíno do Google.
Exemplo (simplificado)
-
Você vê uma visita do IP
66.249.66.1. -
Pesquisa reversa de DNS → mostra
crawl-66-249-66-1.googlebot.com. -
Pesquisa DNS avançada naquele nome de host → retorna
66.249.66.1.
Verificado como um rastreador real do Google.
