A X-Robots-Tag é um cabeçalho HTTP que controla a indexação e a veiculação de arquivos não HTML (como PDFs). Use-o para aplicar noindex ou nofollow no nível do servidor, quando necessário.
Você já teve alguma página no seu site — como uma página de login ou uma página de agradecimento — que você absolutamente não quer que o Google mostre nos resultados de busca? É frustrante quando páginas de baixo valor aparecem e diluem seu poder de SEO.
Aprendi a maneira mais perfeita e poderosa de controlar robôs de mecanismos de busca e mantê-los longe de suas páginas privadas ou irrelevantes.
Eu vou explicar O que é o X-Robots-Tag? e fornecer etapas simples para controlar exatamente o que o Google vê e não vê no seu site.
O que é o X-Robots-Tag?
O que é o X-Robots-Tag? é uma instrução poderosa que envio diretamente para um robô de mecanismo de busca no HTTP cabeçalho de uma página.
Esta é uma maneira mais técnica de dizer ao Google se deve indexar uma página ou seguir links, e é mais forte do que a metatag regular de robôs.
Eu o uso para impedir que mecanismos de busca sequer vejam certos arquivos, como PDFs ou imagens, o que a metatag não consegue fazer.
Impacto nas plataformas CMS
Como o X-Robots-Tag é um comando de nível de servidor, sua implementação requer etapas ligeiramente diferentes dependendo do seu CMS.
WordPress
No WordPress, costumo usar um plugin ou modificar diretamente o servidor .htaccess arquivo para implementar esta tag.
Eu uso a tag para evitar que mecanismos de busca rastreiem grandes números de arquivos gerados ou ambientes de teste antigos.
Este método me dá controle sobre arquivos que um plugin de SEO padrão não consegue gerenciar facilmente.
Shopify
O Shopify é mais bloqueado, então a modificação direta do X-Robots-Tag geralmente não é possível sem um aplicativo especial.
Eu confio no embutido robots.txt editor ou um aplicativo personalizado para bloquear o acesso a determinadas pastas ou modelos.
Para a maioria dos usuários, a meta tag robots padrão no código do tema funciona bem o suficiente para páginas gerais.
Wix e Webflow
Nessas plataformas, o acesso direto ao servidor para o X-Robots-Tag geralmente não é fornecido.
Eu uso as configurações de SEO da plataforma para colocar um noindex comando em páginas de baixa prioridade, como conteúdo protegido por senha.
Isso depende da meta tag robots mais comum, que é a maneira mais fácil de gerenciar a indexação nesses construtores.
CMS personalizado
Com um sistema personalizado, posso implementar o X-Robots-Tag em qualquer tipo de arquivo com controle total.
Eu instruo meus desenvolvedores a adicionar a tag diretamente na resposta do cabeçalho HTTP para todos os meus guias em PDF ou arquivos de versões antigas.
Esta é a maneira mais limpa e eficaz de manter arquivos específicos não HTML fora dos resultados de pesquisa.
X-Robots-Tag em vários setores
Eu uso essa tag poderosa estrategicamente para gerenciar diferentes tipos de conteúdo para diferentes negócios.
Ecommerce
Eu uso o X-Robots-Tag para ocultar páginas de resultados de pesquisa interna e filtrar páginas com baixo valor para o usuário.
Essas páginas geralmente criam milhares de peças de conteúdo quase duplicado que podem prejudicar a pontuação geral de qualidade do site.
Eu concentro a atenção do mecanismo de busca apenas nas minhas páginas principais de produtos e categorias.
Empresas locais
Eu uso a tag para manter folhetos promocionais antigos ou PDFs de menus grandes e desatualizados fora do índice de pesquisa.
Esses documentos podem confundir os usuários com preços antigos ou serviços que não são mais oferecidos.
Garanto que apenas as páginas de serviço atuais e confiáveis sejam visíveis nos resultados da pesquisa.
SaaS (Software como Serviço)
Eu aplico a X-Robots-Tag para bloquear uma grande quantidade de telas de login, portais de membros e áreas privadas de usuários.
Essas páginas não têm valor para usuários de pesquisa externa e não devem aparecer no Google.
Isso mantém minhas páginas públicas focadas em marketing limpas e altamente visíveis.
Blogues
Eu uso a tag para evitar a indexação de rascunhos muito antigos, páginas de teste internas ou arquivos de imagem grandes que não quero indexar.
Isso me ajuda a manter uma proporção de conteúdo de alta qualidade e baixa qualidade em meu blog.
Garanto que o mecanismo de busca concentre seu rastreamento apenas nos meus melhores e mais atualizados artigos.
Perguntas frequentes
Qual é a diferença entre X-Robots-Tag e uma Meta Robots Tag?
A Meta Robots Tag vai dentro do código HTML de uma página, e a X-Robots-Tag vai no cabeçalho do servidor.
O X-Robots-Tag é mais poderoso porque pode ocultar arquivos que não são HTML, como imagens ou PDFs.
Eu uso a Meta Tag para alterações rápidas no nível da página e a X-Robots-Tag para comandos no nível do arquivo ou em todo o site.
Devo usar o X-Robots-Tag ou o robots.txt para ocultar conteúdo?
eu uso robots.txt pedir educadamente aos mecanismos de busca que não rastreiem uma página ou seção.
Eu uso o X-Robots-Tag quando quero garantir que uma página não seja indexada, mesmo que o Google a rastreie acidentalmente.
Se eu realmente precisar ocultar uma página dos resultados da pesquisa, o X-Robots-Tag com um noindex valor é o comando mais forte.
Posso usar esta tag para ocultar completamente uma página de todos?
Não, esta tag apenas informa ao mecanismo de busca para não mostrar a página nos resultados; ela não protege a página.
Qualquer pessoa que tenha o link direto ainda pode visitar a página, então não é um recurso de segurança.
Para verdadeira segurança, uso proteção por senha ou controles de acesso em nível de servidor.
