Eine Serverdatei, die jede Anfrage an eine Site aufzeichnet, einschließlich der Bots von Suchmaschinen.
Warum eine Protokolldatei wichtig ist
Protokolldateien sind von entscheidender Bedeutung, da sie direkte First-Party-Daten über die Kriechbarkeit und technische Integrität. Tools wie die Google Search Console bieten zwar wertvolle Einblicke, liefern aber nur einen kleinen Einblick in die Aktivitäten des Googlebots. Logdateien liefern Ihnen in Echtzeit ein vollständiges Bild aller Crawler. Durch ihre Analyse können Sie:
- Überprüfen Sie das Crawl-Verhalten: Sehen Sie genau, welche Seiten die Bots der Suchmaschinen besuchen und wie oft.
- Crawl-Budget optimieren: Ermitteln Sie, wo Bots ihre Zeit auf Seiten mit geringem Wert verschwenden, damit Sie ihre Aufmerksamkeit auf Ihre wichtigsten Inhalte lenken können.
- Entdecken Sie versteckte Probleme: Finden Sie serverseitige Fehler, kaputte Links, langsam ladende Seiten und Weiterleitungsketten, die in anderen Tools möglicherweise unsichtbar sind.
- Entdecken Sie verwaiste Seiten: Identifizieren Sie Seiten, die keine internen Links haben, aber trotzdem von Bots gecrawlt werden.
Diese Daten sind von unschätzbarem Wert für strategische Entscheidungen, die die Sichtbarkeit und Leistung Ihrer Website verbessern können.
Über verschiedene CMS-Plattformen hinweg
Der Zugriff auf und die Analyse von Protokolldateien ist eine technische SEO-Aufgabe, die auf jedem CMS durchgeführt werden kann.
WordPress
Um auf die Protokolldateien einer WordPress-Site zuzugreifen, müssen Sie die Dateien normalerweise über das cPanel Ihres Hosting-Anbieters oder einen FTP-Client von Ihrem Server herunterladen. Sobald Sie die Dateien haben, können Sie ein Protokolldatei-Analysetool verwenden, um die Daten für Suchmaschinen-Crawler zu filtern.
Shopify
Shopify verfügt über ein geschlosseneres System, und ein direkter Zugriff auf die Rohdaten der Server-Protokolldateien ist in der Regel nicht möglich. Stattdessen verlassen Sie sich auf Daten aus der Google Search Console und anderen Tools von Drittanbietern, um Rückschlüsse auf die Interaktion von Suchmaschinen mit Ihrer Website zu ziehen.
Wix
Ähnlich wie bei Shopify haben Wix-Benutzer keinen direkten Zugriff auf Server-Protokolldateien. Die Plattform ist für die Verarbeitung vieler technische SEO-Probleme automatisch, Sie sollten jedoch trotzdem die Google Search Console verwenden, um auf Crawling-Fehler zu achten.
Webfluss
Webflow bietet Ihnen ein hohes Maß an Kontrolle über Ihre Website. Der direkte Zugriff auf die Protokolldateien kann jedoch von Ihrem Hosting-Setup abhängen. Wenn sich Ihre Webflow-Site auf einem benutzerdefinierten Server befindet, können Sie direkt auf die Protokolldateien zugreifen.
Benutzerdefiniertes CMS
Mit einem benutzerdefinierten CMS haben Sie die größtmögliche Kontrolle und können problemlos auf die Protokolldateien Ihres Servers zugreifen. Die Herausforderung besteht darin, diese Rohdaten zu analysieren, wofür oft ein spezielles Tool oder ein technischer SEO-Experte erforderlich ist.
Branchenübergreifend
Die aus Protokolldateien gewonnenen Erkenntnisse sind auf alle Branchen anwendbar.
E-commerce
Bei E-Commerce-Websites, insbesondere solchen mit einer großen Produktanzahl und facettierter Navigation, wird oft viel Crawling-Budget verschwendet. Mithilfe der Protokolldateianalyse können Sie diese Seiten mit geringem Wert identifizieren und blockieren, um sicherzustellen, dass Ihre wichtigsten Produktseiten gecrawlt und indexiert werden.
Lokale Unternehmen
Ein lokales Unternehmen kann damit sicherstellen, dass seine Kernseiten (Homepage, Dienstleistungen, Kontaktseite) regelmäßig gecrawlt werden. Es kann Ihnen auch helfen, Probleme mit Ihrem Google Business-Profil Dies kann sich auf Ihr lokales Suchranking auswirken.
SaaS-Unternehmen
SaaS-Unternehmen können damit überwachen, wie Suchmaschinen mit ihren Blog- und Marketingseiten interagieren. Dies kann Ihnen helfen, Seiten zu identifizieren, die nicht gecrawlt werden, und alle Probleme zu beheben, die sie möglicherweise behindern.
Blogs
Ein Blog kann damit sehen, welche seiner Artikel am häufigsten gecrawlt werden. Dies kann Ihnen helfen, beliebte Inhalte zu identifizieren und sie zu aktualisieren, um sie relevanter zu machen. Sie können es auch verwenden, um zu finden verwaiste Seiten die nicht gecrawlt werden.
Dos and Don'ts
DOS
- Greifen Sie regelmäßig auf Ihre Protokolldateien zu und laden Sie sie herunter. Nur so erhalten Sie einen 100 % genauen und ungefilterten Überblick über die Interaktion der Suchmaschinen mit Ihrer Site.
- Verwenden Sie ein Tool zur Protokolldateianalyse. Ein spezielles Tool kann Ihnen beim Parsen, Filtern und Analysieren der Daten helfen, was manuell oft schwierig ist.
- Filtern Sie nach Suchmaschinen-Bots. Auf diese Weise können Sie Ihre Analyse darauf konzentrieren, wie Suchmaschinen mit Ihrer Site interagieren, und nicht auf menschliche Besucher.
Don'ts
- Verlassen Sie sich nicht ausschließlich auf die Google Search Console. Obwohl es ein großartiges Tool ist, bietet es nur eine Auswahl von Googlebots Aktivität und zeigt keine Crawler anderer Suchmaschinen an.
- Ignorieren Sie die Daten nicht. Ein fehlendes Crawling oder eine hohe Anzahl von Fehlern in Ihren Protokolldateien ist ein klares Signal für ein Problem, das behoben werden muss.
- Löschen Sie Ihre alten Inhalte nicht, ohne Ihre Protokolldateien zu überprüfen. Möglicherweise löschen Sie Inhalte, die noch von Suchmaschinen gecrawlt und indexiert werden.
Häufige zu vermeidende Fehler
- Fehler beim Filtern nach Suchmaschinen-Bots: Dies ist ein häufiger Fehler. Sie sollten nach User-Agents wie „Googlebot“, „Bingbot“ und „YandexBot“ filtern, um ein klares Bild davon zu erhalten, wie Suchmaschinen mit Ihrer Website interagieren.
- Fehler beim Überprüfen der Statuscodes: Statuscodes wie „404“ und „500“ sind ein klares Signal für ein Problem, das behoben werden muss.
- Keine Überwachung der Crawl-Frequenz: Ein plötzlicher Abfall oder Anstieg der Crawl-Frequenz kann ein Anzeichen für ein Problem sein.
Häufig gestellte Fragen
Wie unterscheidet sich die Protokolldateianalyse von der Google Search Console?
Die Protokolldateianalyse bietet einen unverarbeiteten, ungefilterten und vollständigen Einblick in alle Bot-Aktivitäten auf Ihrer Website, von allen Suchmaschinen aus. Die Google Search Console bietet eine vereinfachte, aggregierte Ansicht nur der Aktivitäten des Googlebots.
Wie helfen Protokolldateien bei der Optimierung eines Crawl-Budgets?
Durch die Analyse von Protokolldateien können Sie sehen, welche Seiten Suchmaschinen-Bots am häufigsten crawlen. So können Sie Seiten mit geringem Wert identifizieren, die Ihre Budget crawlen und die Aufmerksamkeit der Suchmaschinen auf Ihre wichtigsten Inhalte zu lenken.
Welche Informationen sind in einer Protokolldatei enthalten?
Es enthält eine Vielzahl von Informationen, darunter die IP-Adresse des Anfragenden, Datum und Uhrzeit der Anfrage, die URL der aufgerufenen Seite, den Antwortcode des Servers (z. B. 200, 404, 500) und den User-Agent (z. B. Googlebot, Bingbot).
Was ist eine „verwaiste Seite“ bei der Protokolldateianalyse?
Eine verwaiste Seite ist eine Seite, auf die keine internen Links verweisen. Mithilfe einer Protokolldateianalyse können Sie diese Seiten finden, da sie ein Zeichen für eine fragmentierte Site-Struktur sein können.
Können Protokolldateien bei einer Website-Migration hilfreich sein?
Ja. Nach einer Website-Migration sind Protokolldateien die beste Möglichkeit, um zu bestätigen, dass Suchmaschinen wie erwartet reagieren. Sie zeigen, ob Bots neue URLs entdecken, auf Fehler stoßen oder weiterhin veraltete Pfade crawlen.
