Oltre ai comuni crawler come Googlebot per il web, le immagini e i video, Google esegue anche crawler per casi specialiSono progettati per scopi specifici, come la verifica del sito, il test dei dati strutturati o i controlli di qualità degli annunci. Non analizzano regolarmente l'intero sito, ma compaiono in momenti chiave per completare un'attività.
Perché i crawler per casi speciali sono importanti
Questi crawler potrebbero non influire sull'indicizzazione giornaliera, ma possono avere un impatto sul modo in cui il tuo sito viene verificato, su come vengono testati i dati strutturati o sul rendimento degli annunci. Se li blocchi per errore nel tuo robots.txt, alcuni servizi Google potrebbero non funzionare correttamente.
I crawler speciali di Google
Ecco quelli più comuni che potresti vedere:
| Nome del crawler | Stringa User-Agent | Missione |
| API-Google | API-Google (+https://developers.google.com/webmasters/APIs-Google.html) | Utilizzato dalle API di Google per accedere ai contenuti. |
| FeedFetcher | FeedFetcher-Google | Recupera feed RSS/Atom per servizi Google come Google News o Podcast. |
| Google-Lettura-ad-Alta-Voce | Google-Lettura-ad-Alta-Voce | Recupera contenuti per servizi di sintesi vocale (ad esempio, la lettura di articoli da parte di Google Assistant). |
| Duplex sul Web | Strumento di ispezione di Google | Simula le interazioni dell'utente (come la prenotazione di un servizio) per testare l'usabilità. |
| Verifica del sito Google | Verifica del sito Google | Utilizzato per verificare la proprietà del sito in Google Search Console. |
| AdsBot (dispositivi mobili e desktop) | AdsBot-Google-Mobile / AdsBot-Google | Controlla la qualità della landing page per Google Ads. |
| Altri strumenti di test | Google-InspectionTool (utilizzato da Lighthouse e Rich Results Test) | Esegue la scansione quando si eseguono test negli strumenti di Google. |
Cose importanti da ricordare
-
Di solito compaiono crawler di casi speciali solo quando attivato (ad esempio, quando si verifica un sito o si esegue un test sui dati strutturati).
-
Essi non indicizzare il tuo sito come Googlebot, ma garantiscono il corretto funzionamento delle funzionalità e degli strumenti.
-
Bloccarli nel file robots.txt potrebbe compromettere importanti servizi Google (come la verifica del sito o i controlli degli annunci).
Se non sei sicuro di quale crawler sia quale, controlla la nostra guida su Elenco dei crawler più comuni di Google.
Come verificare un crawler per casi speciali
A volte, vedrai bot insoliti nei log del tuo server e ti chiederai se provengono davvero da Google o sono solo falsi bot che fingono di essere Google. Affidandoti solo a stringa user-agent (piace AdsBot-Google or FeedFetcher-Google) non è sufficiente, perché gli spammer possono copiare quei nomi.
Ecco perché Google consiglia di verificare i crawler tramite i loro Indirizzo IP. Ecco come puoi farlo:
Passaggio 1: trova l'indirizzo IP del crawler
-
Controlla la tua registri del server per vedere l'indirizzo IP della richiesta del bot.
Passaggio 2: eseguire una ricerca DNS inversa
-
Esegui una ricerca DNS inversa su quell'IP.
-
Il risultato dovrebbe puntare a un dominio che termina in
googlebot.comorgoogle.com.
Passaggio 3: conferma con una ricerca DNS in avanti
-
Prendi quel nome di dominio e cercalo di nuovo per vedere se si risolve di nuovo in stesso indirizzo IP.
-
Se corrisponde, il crawler è un autentico crawler di Google.
Esempio (semplificato)
-
Vedi una visita da IP
66.249.66.1. -
Ricerca DNS inversa → mostra
crawl-66-249-66-1.googlebot.com. -
Ricerca DNS in avanti su quel nome host → restituisce
66.249.66.1.
Verificato come vero crawler di Google.
