Google utilizza bot automatizzati, noti come crawler, per scoprire e indicizzare i contenuti sul web. Questi crawler non si limitano a recuperare il tuo sito una volta che diversi tipi di crawler sono assegnati a gestire contenuti diversi, come pagine web, immagini e video. Sapere quali crawler visitano il tuo sito ti aiuta a gestire la visibilità, risolvere i problemi di crawling e mantenere una SEO efficiente.
Perché dovresti conoscere i crawler di Google
Quando Google visita il tuo sito, non utilizza sempre lo stesso crawler. Invece, invia crawler diversi (chiamati anche Googlebot) a seconda del tipo di contenuto che desidera recuperare: pagine web, immagini, annunci, video o anche versioni specifiche per dispositivi mobili.
La comprensione di questi crawler ti aiuta a:
-
Leggi il tuo registri del server più accuratamente
-
Evita di bloccare bot importanti nel tuo file robots.txt
-
Gestisci la tua budget per la ricerca per indicizzazione in modo efficiente
-
Risolvere i problemi di scansione o indicizzazione
I crawler più comuni di Google
Ecco i crawler di Google più comuni che potresti vedere nei tuoi log:
| Nome del crawler | Stringa User-Agent | Missione |
| Googlebot (Desktop) | Googlebot / 2.1 (+ http: //www.google.com/bot.html) | Esegue la scansione della versione desktop delle pagine web. |
| Googlebot (Smartphone) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, come Gecko) Chrome/WXYZ Mobile Safari/537.36 (compatibile; Googlebot/2.1; +http://www.google.com/bot.html) | Esegue la scansione della versione mobile delle pagine web. Poiché Google utilizza l'indicizzazione mobile-first, questo è il bot più importante al giorno d'oggi. |
| Immagine di Googlebot | Googlebot-Image/1.0 | Esegue la scansione delle immagini per la ricerca di Google Immagini. |
| Video di Googlebot | Googlebot-Video/1.0 | Esegue la scansione dei contenuti video e dei metadati per i risultati di ricerca di Google Video. |
| Notizie su Googlebot | Notizie su Googlebot | Esegue la scansione degli articoli di notizie per includerli in Google News. |
| AdsBot (Google Ads) | AdsBot-Google (+http://www.google.com/adsbot.html) | Esegue la scansione delle landing page per verificarne la qualità per Google Ads. |
| Googlebot AdsBot Mobile | AdsBot-Google-Mobile | Esegue la scansione delle landing page per dispositivi mobili per i controlli di qualità di Google Ads. |
| Googlebot App Crawler | App Googlebot | Esegue la scansione delle app e dei contenuti delle app (meno comune, ma esiste per l'indicizzazione delle app). |
Perché più crawler sono importanti per la SEO
-
Bloccare il crawler sbagliato nel file robots.txt potrebbe impedire la visualizzazione delle tue pagine, immagini o video nei risultati di ricerca.
-
Se stai eseguendo annunci, bloccando AdsBot potrebbe abbassare i punteggi di qualità degli annunci.
-
Dal indicizzazione mobile-first è ora l'impostazione predefinita, garantendo che il tuo sito sia accessibile a Googlebot Smartphone è critico.
Scopri di più sul controllo di ciò che i bot possono scansionare nel nostro guida robots.txt.
Come verificare se una richiesta proviene da Google
Google consiglia verifica dei crawler tramite IP piuttosto che basarsi solo sulle stringhe user-agent (poiché queste possono essere falsificate dai bot).
Passi:
-
Ricerca DNS inversa dell'indirizzo IP.
-
Verificare che il dominio termini con
googlebot.comorgoogle.com. -
Inoltra: conferma che l'IP viene risolto nuovamente su Google.
