Neben den gängigen Crawlern wie Googlebot für Web, Bilder und Videos betreibt Google auch Spezialcrawler. Diese sind für bestimmte Zwecke konzipiert, beispielsweise zur Site-Verifizierung, zum Testen strukturierter Daten oder zur Qualitätskontrolle von Anzeigen. Sie crawlen nicht regelmäßig Ihre gesamte Site, werden aber zu wichtigen Zeitpunkten angezeigt, um eine Aufgabe abzuschließen.
Warum Spezial-Crawler wichtig sind
Diese Crawler haben möglicherweise keinen Einfluss auf die tägliche Indexierung, können aber die Überprüfung Ihrer Website, die Prüfung strukturierter Daten oder die Leistung von Anzeigen beeinflussen. Wenn Sie sie versehentlich in Ihrem robots.txt, funktionieren einige Google-Dienste möglicherweise nicht richtig.
Googles Spezialfall-Crawler
Hier sind die häufigsten, die Sie möglicherweise sehen:
| Crawler-Name | User-Agent-Zeichenfolge | Zweck |
| APIs-Google | APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html) | Wird von Google APIs zum Zugriff auf Inhalte verwendet. |
| FeedFetcher | FeedFetcher-Google | Ruft RSS/Atom-Feeds für Google-Dienste wie Google News oder Podcasts ab. |
| Google-Vorlesen | Google-Vorlesen | Ruft Inhalte für Text-to-Speech-Dienste ab (z. B. Google Assistant, der Artikel vorliest). |
| Duplex im Web | Google-InspectionTool | Simuliert Benutzerinteraktionen (wie die Buchung eines Dienstes), um die Benutzerfreundlichkeit zu testen. |
| Google Site Verification | Google-Site-Verifizierung | Wird bei der Überprüfung des Site-Eigentums in der Google Search Console verwendet. |
| AdsBot (Mobil & Desktop) | AdsBot-Google-Mobile / AdsBot-Google | Überprüft die Qualität der Zielseite für Google Ads. |
| Andere Testtools | Google-InspectionTool (wird von Lighthouse & Rich Results Test verwendet) | Crawlt, wenn Sie Tests in Google-Tools ausführen. |
Wichtige Dinge, an die Sie sich erinnern sollten
-
Spezial-Crawler erscheinen normalerweise nur bei Auslösung (z. B. beim Überprüfen einer Site oder Ausführen eines Tests strukturierter Daten).
-
Sie indexieren Sie Ihre Site nicht wie Googlebot, aber sie stellen sicher, dass Funktionen und Tools ordnungsgemäß funktionieren.
-
Das Blockieren dieser Elemente in der Datei „robots.txt“ kann zu Problemen mit wichtigen Google-Diensten führen (z. B. Site-Verifizierung oder Anzeigenprüfungen).
Wenn Sie nicht sicher sind, welcher Crawler welcher ist, lesen Sie unseren Leitfaden auf der Liste der gängigen Crawler von Google.
So überprüfen Sie einen Spezialfall-Crawler
Manchmal werden Sie ungewöhnliche Bots in Ihren Server-Protokollen sehen und sich fragen, ob sie wirklich von Google stammen oder nur gefälschte Bots, die vorgeben, Google zu sein. Verlassen Sie sich nur auf die User-Agent-Zeichenfolge (mögen AdsBot-Google or FeedFetcher-Google) reicht nicht aus, da Spammer diese Namen kopieren können.
Aus diesem Grund empfiehlt Google, Crawler anhand ihrer IP-Adresse. Hier ist, wie Sie es tun können:
Schritt 1: IP-Adresse des Crawlers ermitteln
-
Überprüfen Sie Ihre Serverprotokolle um die IP-Adresse der Bot-Anfrage anzuzeigen.
Schritt 2: Führen Sie eine umgekehrte DNS-Suche durch
-
Führen Sie eine umgekehrte DNS-Suche für diese IP durch.
-
Das Ergebnis sollte auf eine Domäne verweisen, die auf endet
googlebot.comorgoogle.com.
Schritt 3: Bestätigen Sie mit einer Forward-DNS-Suche
-
Nehmen Sie diesen Domänennamen und suchen Sie ihn erneut, um zu sehen, ob er wieder aufgelöst wird gleiche IP-Adresse.
-
Wenn es übereinstimmt, handelt es sich bei dem Crawler um einen echten Google-Crawler.
Beispiel (vereinfacht)
-
Sie sehen einen Besuch von IP
66.249.66.1. -
Reverse DNS-Lookup → zeigt
crawl-66-249-66-1.googlebot.com. -
DNS-Suche auf diesem Hostnamen weiterleiten → gibt zurück
66.249.66.1.
Als echter Google-Crawler verifiziert.
