Ao rastrear seu site, o Googlebot busca equilibrar dois fatores: descobrir novos conteúdos rapidamente e não sobrecarregar seu servidor. Na maioria dos casos, o Google gerencia automaticamente a taxa de rastreamento de forma eficiente. No entanto, para sites muito grandes ou com capacidade limitada de servidor, a atividade do Googlebot pode, às vezes, prejudicar o desempenho.
Nele, você aprenderá quando faz sentido reduzir a taxa de rastreamento do Google, como fazer isso e o que evitar.
O que é taxa de rastreamento?
A taxa de rastreamento se refere ao número de solicitações Googlebot faz para o seu site dentro de um determinado período. Se o seu servidor for forte, ele pode lidar com mais solicitações. Se o seu servidor estiver limitado ou temporariamente sobrecarregado, muitas solicitações podem deixar o seu site lento para os usuários.
Quando você deve reduzir a taxa de rastreamento do Google?
Você só deve reduzir a taxa de rastreamento se:
-
O Googlebot está enviando muitas solicitações e sobrecarregando seu servidor
-
A velocidade do seu site diminui significativamente durante a atividade do Googlebot
-
Você percebe picos incomuns na atividade de rastreamento nos logs do seu servidor
Reduzir a taxa de rastreamento não deve ser seu primeiro passo. Sempre verifique o desempenho e os logs do servidor antes de fazer alterações.
Como reduzir a taxa de rastreamento
1. Use as configurações do Google Search Console
-
Entre para Google Search Console
-
Acesse Configurações > Taxa de rastreamento
-
Se for elegível, você verá uma opção para limitar a atividade de rastreamento
-
Mova o controle deslizante para reduzir a taxa de rastreamento
Nem todos os sites terão essa opção. Para a maioria dos sites, o Google gerencia o rastreamento automaticamente.
2. Ajuste as configurações do servidor
Se o Search Console não oferecer a opção de taxa de rastreamento, você pode usar as configurações no nível do servidor para limitar o número de solicitações permitidas por vez. Converse com seu desenvolvedor ou provedor de hospedagem para isso.
3. Soluções temporárias
Se o seu site estiver com muita carga (por exemplo, durante o lançamento de um produto), você pode usar a limitação de servidor para gerenciar o tráfego. Mas sempre permita que o Googlebot retorne quando o desempenho se estabilizar.
O que não fazer
-
Não bloqueie o Googlebot in robots.txt: Bloqueá-lo pode remover suas páginas dos resultados de pesquisa.
-
Não restrinja demais o rastreamento: Isso pode causar atrasos na indexação e nas atualizações.
-
Não confunda taxa de rastreamento com orçamento de rastreamento: Orçamento de rastreamento refere-se a quantas páginas o Google decide rastrear. A taxa de rastreamento refere-se apenas à velocidade com que essas solicitações são feitas.
