Google utilise des robots automatisés, appelés robots d'exploration, pour découvrir et indexer du contenu sur le web. Ces robots ne se contentent pas de récupérer votre site une fois que différents types de robots sont affectés à différents types de contenu, comme des pages web, des images et des vidéos. Savoir quels robots visitent votre site vous aide à gérer votre visibilité, à résoudre les problèmes d'exploration et à maintenir un bon référencement.
Pourquoi vous devriez connaître les robots d'exploration de Google
Lorsque Google visite votre site, il n'utilise pas toujours le même robot d'exploration. Il envoie plutôt des robots d'exploration différents (également appelés Les robots Google) en fonction du type de contenu qu'il souhaite récupérer : pages Web, images, publicités, vidéos ou même versions spécifiques aux mobiles.
Comprendre ces robots d’exploration vous aide à :
-
Lisez votre journaux du serveur plus précisément
-
Évitez de bloquer les robots importants dans votre fichier robots.txt
-
Gérez votre budget d'analyse efficacement
-
Résoudre les problèmes d'exploration ou d'indexation
Les robots d'exploration courants de Google
Voici les robots d'exploration Google les plus courants que vous pouvez voir dans vos journaux :
| Nom du robot d'exploration | Chaîne d'agent utilisateur | Interet |
| Googlebot (bureau) | Googlebot / 2.1 (+ http://www.google.com/bot.html) | Analyse la version de bureau des pages Web. |
| Googlebot (Smartphone) | Mozilla/5.0 (Linux ; Android 6.0.1 ; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, comme Gecko) Chrome/WXYZ Mobile Safari/537.36 (compatible ; Googlebot/2.1 ; +http://www.google.com/bot.html) | Il explore la version mobile des pages web. Google utilisant l'indexation mobile, il s'agit du robot le plus important aujourd'hui. |
| Image Googlebot | Googlebot-Image/1.0 | Analyse les images pour la recherche Google Images. |
| Vidéo Googlebot | Googlebot-Vidéo/1.0 | Analyse le contenu vidéo et les métadonnées pour les résultats de recherche Google Video. |
| Actualités Googlebot | Actualités Googlebot | Analyse les articles d'actualité à inclure dans Google Actualités. |
| AdsBot (Google Ads) | AdsBot-Google (+http://www.google.com/adsbot.html) | Analyse les pages de destination pour vérifier la qualité des annonces Google. |
| Googlebot AdsBot Mobile | AdsBot-Google-Mobile | Analyse les pages de destination mobiles pour les contrôles de qualité Google Ads. |
| Robot d'exploration d'applications Googlebot | Application Googlebot | Analyse les applications et le contenu des applications (moins courant, mais existe pour l'indexation des applications). |
Pourquoi les robots d'exploration multiples sont importants pour le référencement
-
Bloquer le mauvais robot d'exploration dans robots.txt pourrait empêcher vos pages, images ou vidéos d'apparaître dans la recherche.
-
Si vous diffusez des publicités, bloquez AdsBot peut réduire les scores de qualité des publicités.
-
Depuis que indexation mobile en premier est désormais la valeur par défaut, garantissant que votre site est accessible à Googlebot Smartphone est critique.
Apprenez-en davantage sur le contrôle de ce que les robots peuvent explorer dans notre guide robots.txt.
Comment vérifier si une demande provient de Google
Google recommande vérification des robots d'exploration par IP plutôt que de s'appuyer uniquement sur les chaînes d'agent utilisateur (car celles-ci peuvent être falsifiées par des robots).
Étape:
-
Recherche DNS inversée de l'adresse IP.
-
Vérifiez que le domaine se termine par
googlebot.comorgoogle.com. -
Confirmez que l'adresse IP est résolue sur Google.
