Verificando o Googlebot e outros rastreadores do Google

Todo site recebe tráfego de bots, mas nem todos são confiáveis. Alguns bots fingem ser o Googlebot, na esperança de burlar sua segurança e roubar seu conteúdo ou sobrecarregar seu servidor. Para profissionais de SEO e proprietários de sites, saber como verificar o Googlebot e outros rastreadores do Google é crucial tanto para a segurança quanto para a análise precisa da sua atividade de rastreamento.

Neste guia, abordaremos o que significa verificação do rastreador, por que ela é importante e métodos passo a passo que você pode usar para confirmar se um visitante é um rastreador real do Google ou um impostor.

Por que você deve verificar o Googlebot

1. Proteja seu site de bots falsos

Bots falsos podem desperdiçar sua largura de banda, sobrecarregar o servidor ou até mesmo tentar atividades maliciosas. Eles costumam se disfarçar de "Googlebot" para evitar serem bloqueados.

2. Mantenha dados de SEO precisos

Se você não consegue distinguir entre rastreadores reais do Google e falsos, suas estatísticas de rastreamento e registros do servidor podem ser enganosos. A verificação garante que você saiba quais solicitações são realmente do Google.

3. Evite bloqueios errados

Bloquear o tráfego real do Googlebot pode impedir que seu site seja rastreado e indexado corretamente. A verificação ajuda você a permitir os bots certos e, ao mesmo tempo, filtrar impostores.

Como verificar o Googlebot

Etapa 1: Verifique a sequência do agente do usuário

Cada rastreador se identifica usando um sequência de agente do usuário. Por exemplo:

• Googlebot (rastreamento geral da web)

• Googlebot-Image (rastejamento de imagens)

• Googlebot-Video (rastejamento de vídeo)

• Googlebot-News (Rastreamento do Google Notícias)

No entanto, as strings do agente do usuário são fácil de falsificar, portanto, este nunca deve ser seu único método. Pense nisso como o "primeiro passo", não como a verificação final.

Etapa 2: Execute uma pesquisa reversa de DNS

A maneira mais confiável de verificar o Googlebot é verificando seu endereço IP. Veja como:

1. Obtenha o endereço IP do rastreador dos logs do seu servidor.

2. Realizar uma pesquisa reversa de DNS para ver o nome do host.

   • Se terminar em googlebot.com or google.com, pode ser legítimo.

3. Realizar uma pesquisa de DNS de encaminhamento no nome do host para confirmar que ele mapeia de volta para o mesmo IP.

Exemplo de comando (terminal Linux/Mac):

Isso pode retornar algo como:
crawl-66-249-66-1.googlebot.com

Então verifique:

Se o IP retornado corresponder ao original, o rastreador é um Googlebot real.

Etapa 3: use os intervalos de IP do Google

O Google fornece intervalos de IP oficiais para seus rastreadores. Você pode comparar o IP de visita com estes intervalos publicados:
Intervalos de IP do Googlebot

Se o IP estiver fora desses intervalos, não é um rastreador real do Google.

Etapa 4: Análise automatizada de logs (opcional para sites grandes)

Se você gerencia um site grande, a verificação manual pode ser demorada. Nesse caso, você pode usar ferramentas de análise de logs ou scripts para verificar automaticamente os IPs dos rastreadores em relação aos intervalos do Google.

Algumas ferramentas de segurança de servidor e firewalls também incluem verificações integradas de autenticidade do rastreador.

Verificando outros rastreadores do Google

O Google possui vários rastreadores especializados além do Googlebot. Aqui estão alguns que você pode encontrar:

• Robô de anúncios: Usado para verificações de qualidade do Google Ads

• APIs-Google: Busca dados para serviços da API do Google

• Alimentador: Recupera feeds RSS e Atom

• Google Leia em voz alta: Busca conteúdo para serviços de conversão de texto em voz

O mesmo processo de verificação (pesquisa reversa de DNS + verificação de IP) também se aplica a esses rastreadores.

Melhores práticas para verificação

1. Sempre confirme com pesquisas de DNS em vez de confiar apenas em strings de agente do usuário.

2. Coloque na lista de permissões IPs verificados do Google para evitar bloqueá-los por engano.

3. Bloquear rastreadores desconhecidos ou suspeitos que falham na verificação.

4. Verifique os registros regularmente se você administra um site grande ou lida com dados confidenciais.

5. Mantenha-se atualizado com a documentação do Google em rastreadores e intervalos de IP.