Google verwendet automatisierte Bots, sogenannte Crawler, um Inhalte im gesamten Web zu entdecken und zu indexieren. Diese Crawler rufen Ihre Website nicht einfach ab, sondern weisen ihnen verschiedene Crawlertypen für die Verarbeitung unterschiedlicher Inhalte wie Webseiten, Bilder und Videos zu. Wenn Sie wissen, welche Crawler Ihre Website besuchen, können Sie die Sichtbarkeit verwalten, Crawling-Probleme beheben und Ihre SEO verbessern.
Warum Sie die Crawler von Google kennen sollten
Wenn Google Ihre Website besucht, verwendet es nicht immer den gleichen Crawler. Stattdessen sendet es verschiedene Crawler (auch genannt Googlebots), je nachdem, welche Art von Inhalten abgerufen werden sollen: Webseiten, Bilder, Anzeigen, Videos oder sogar mobile Versionen.
Das Verständnis dieser Crawler hilft Ihnen:
-
Lies dein Serverprotokolle genauer
-
Vermeiden Sie das Blockieren wichtiger Bots in Ihrer robots.txt-Datei
-
verwalten Sie Ihre Budget crawlen effizient
-
Beheben von Crawling- oder Indexierungsproblemen
Die gängigen Crawler von Google
Hier sind die häufigsten Google-Crawler, die Sie möglicherweise in Ihren Protokollen sehen:
| Crawler-Name | User-Agent-Zeichenfolge | Zweck |
| Googlebot (Desktop) | Googlebot / 2.1 (+ http://www.google.com/bot.html) | Durchsucht die Desktop-Version von Webseiten. |
| Googlebot (Smartphone) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/WXYZ Mobile Safari/537.36 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html) | Crawlt die mobile Version von Webseiten. Da Google die Mobile-First-Indexierung verwendet, ist dies heute der wichtigste Bot. |
| Googlebot-Bild | Googlebot-Image/1.0 | Durchsucht Bilder für die Google Bildersuche. |
| Googlebot-Video | Googlebot-Video/1.0 | Durchsucht Videoinhalte und Metadaten für die Google Video-Suchergebnisse. |
| Googlebot-Neuigkeiten | Googlebot-Neuigkeiten | Durchsucht Nachrichtenartikel zur Aufnahme in Google News. |
| AdsBot (Google Ads) | AdsBot-Google (+http://www.google.com/adsbot.html) | Durchsucht Zielseiten, um die Qualität für Google Ads zu überprüfen. |
| Googlebot AdsBot Mobile | AdsBot-Google-Mobile | Durchsucht mobile Zielseiten für Google Ads-Qualitätsprüfungen. |
| Googlebot App Crawler | Googlebot-App | Crawlt Apps und App-Inhalte (seltener, aber für die App-Indizierung vorhanden). |
Warum mehrere Crawler für SEO wichtig sind
-
Wenn Sie den falschen Crawler in der robots.txt-Datei blockieren, werden Ihre Seiten, Bilder oder Videos möglicherweise nicht mehr in der Suche angezeigt.
-
Wenn Sie Anzeigen schalten, blockieren Sie AdsBot kann die Qualität der Anzeige senken.
-
Da Mobile-erste Indexierung ist jetzt die Standardeinstellung und stellt sicher, dass Ihre Site zugänglich ist für Googlebot Smartphone ist kritisch.
Erfahren Sie mehr darüber, wie Sie kontrollieren können, was Bots in unserem robots.txt-Anleitung.
So prüfen Sie, ob eine Anfrage von Google stammt
Google empfiehlt Überprüfung von Crawlern anhand der IP anstatt sich nur auf User-Agent-Strings zu verlassen (da diese von Bots gefälscht werden können).
Schritte:
-
Reverse-DNS-Suche der IP-Adresse.
-
Überprüfen Sie, ob die Domäne mit endet
googlebot.comorgoogle.com. -
Bestätigen Sie, dass die IP-Adresse wieder zu Google aufgelöst wird.
