Outre les robots d'exploration courants comme Googlebot pour le Web, les images et les vidéos, Google exécute également robots d'exploration de cas spéciauxCes outils sont conçus à des fins spécifiques, telles que la vérification du site, le test des données structurées ou le contrôle de la qualité des publicités. Ils n'explorent pas régulièrement l'intégralité de votre site, mais ils apparaissent à des moments clés pour effectuer une tâche.
Pourquoi les robots d'exploration de cas spéciaux sont importants
Ces robots d'exploration n'affectent peut-être pas l'indexation quotidienne, mais ils peuvent influencer la vérification de votre site, le test des données structurées ou les performances des publicités. Si vous les bloquez par erreur dans votre robots.txt, certains services Google peuvent ne pas fonctionner correctement.
Les robots d'exploration de cas spéciaux de Google
Voici les plus courants que vous pourriez voir :
| Nom du robot d'exploration | Chaîne d'agent utilisateur | Interet |
| API-Google | API-Google (+https://developers.google.com/webmasters/APIs-Google.html) | Utilisé par les API Google pour accéder au contenu. |
| FeedFetcher | FeedFetcher-Google | Récupère les flux RSS/Atom pour les services Google tels que Google News ou Podcasts. |
| Lecture à voix haute sur Google | Lecture à voix haute sur Google | Récupère du contenu pour les services de synthèse vocale (par exemple, les articles de lecture de Google Assistant). |
| Duplex sur le Web | Outil d'inspection Google | Simule les interactions des utilisateurs (comme la réservation d'un service) pour tester la convivialité. |
| Vérification du site Google | Vérification du site Google | Utilisé lors de la vérification de la propriété du site dans Google Search Console. |
| AdsBot (Mobile et ordinateur) | AdsBot-Google-Mobile / AdsBot-Google | Vérifie la qualité de la page de destination pour Google Ads. |
| Autres outils de test | Google-InspectionTool (utilisé par Lighthouse et Rich Results Test) | Exploration lorsque vous exécutez des tests dans les outils Google. |
Éléments clés à retenir
-
Des robots d'exploration spéciaux apparaissent généralement seulement lorsqu'il est déclenché (par exemple, lors de la vérification d'un site ou de l'exécution d'un test de données structurées).
-
Ils n'indexez pas votre site comme Googlebot, mais ils garantissent que les fonctionnalités et les outils fonctionnent correctement.
-
Les bloquer dans le fichier robots.txt pourrait interrompre des services Google importants (comme la vérification du site ou la vérification des publicités).
Si vous n'êtes pas sûr de quel robot est lequel, consultez notre guide sur le Liste des robots d'exploration courants de Google.
Comment vérifier un robot d'exploration de cas spéciaux
Parfois, vous verrez des robots inhabituels dans les journaux de votre serveur et vous vous demanderez s'ils proviennent réellement de Google ou s'il s'agit simplement de faux robots se faisant passer pour Google. En vous basant uniquement sur chaîne d'agent utilisateur (comme AdsBot-Google or FeedFetcher-Google) ne suffit pas, car les spammeurs peuvent copier ces noms.
C'est pourquoi Google recommande de vérifier les robots d'exploration par leur Votre adresse IP. Voici comment vous pouvez le faire:
Étape 1 : Trouver l’adresse IP du robot d’exploration
-
Vérifiez votre journaux du serveur pour voir l'adresse IP de la requête du bot.
Étape 2 : Effectuer une recherche DNS inversée
-
Exécutez une recherche DNS inversée sur cette IP.
-
Le résultat devrait pointer vers un domaine se terminant par
googlebot.comorgoogle.com.
Étape 3 : Confirmer avec une recherche DNS directe
-
Prenez ce nom de domaine et recherchez-le à nouveau pour voir s'il se résout en même adresse IP.
-
Si cela correspond, le robot d'exploration est un véritable robot d'exploration Google.
Exemple (simplifié)
-
Vous voyez une visite d'IP
66.249.66.1. -
Recherche DNS inversée → affiche
crawl-66-249-66-1.googlebot.com. -
Recherche DNS directe sur ce nom d'hôte → renvoie
66.249.66.1.
Vérifié comme un véritable robot d'exploration Google.
