Google использует автоматизированных роботов, известных как краулеры, для поиска и индексации контента в интернете. Эти роботы не просто сканируют ваш сайт, поскольку для обработки разного контента, например, веб-страниц, изображений и видео, назначаются разные типы роботов. Знание того, какие роботы посещают ваш сайт, помогает контролировать видимость, устранять проблемы со сканированием и поддерживать SEO-оптимизацию.
Почему вам следует знать поисковые роботы Google
Когда Google посещает ваш сайт, он не всегда использует один и тот же поисковый робот. Вместо этого он отправляет разные поисковые роботы (также называемые Гуглботы) в зависимости от того, какой тип контента он хочет загрузить — веб-страницы, изображения, рекламу, видео или даже версии для мобильных устройств.
Понимание этих роботов поможет вам:
-
Прочитайте ваш журналы сервера точнее
-
Избегайте блокировки важных ботов в файле robots.txt.
-
Управляйте своими бюджет на обход эффективно
-
Устранение неполадок при сканировании и индексации
Общие поисковые роботы Google
Вот наиболее распространенные поисковые роботы Google, которые вы можете увидеть в своих журналах:
| Имя краулера | Строка User-Agent | Цель |
| Googlebot (для ПК) | Googlebot / 2.1 (+ http://www.google.com/bot.html) | Сканирует десктопную версию веб-страниц. |
| Googlebot (смартфон) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, как Gecko) Chrome/WXYZ Mobile Safari/537.36 (совместимый; Googlebot/2.1; +http://www.google.com/bot.html) | Сканирует мобильные версии веб-страниц. Поскольку Google использует индексацию, ориентированную на мобильные устройства, это самый важный бот на сегодняшний день. |
| Изображение Googlebot | Googlebot-Image/1.0 | Сканирует изображения для поиска в Google Картинках. |
| Видео Googlebot | Googlebot-Video/1.0 | Сканирует видеоконтент и метаданные для результатов поиска Google Video. |
| Новости Googlebot | Googlebot-News | Сканирует новостные статьи для включения в Google News. |
| AdsBot (Google Реклама) | AdsBot-Google (+http://www.google.com/adsbot.html) | Сканирует целевые страницы для проверки качества для Google Ads. |
| Googlebot AdsBot Mobile | AdsBot-Google-Mobile | Сканирует мобильные целевые страницы для проверки качества Google Ads. |
| Поисковый робот Googlebot | Googlebot-App | Сканирует приложения и их содержимое (реже, но существует для индексации приложений). |
Почему несколько поисковых роботов важны для SEO
-
Блокировка неправильного поискового робота в robots.txt может привести к тому, что ваши страницы, изображения или видео не будут отображаться в результатах поиска.
-
Если вы показываете рекламу, блокировка AdsBot может снизить показатели качества рекламы.
-
С индексирование мобильных устройств теперь используется по умолчанию, обеспечивая доступность вашего сайта для Смартфон Googlebot имеет решающее значение.
Узнайте больше о контроле того, что боты могут сканировать в нашем руководство по robots.txt.
Как проверить, исходит ли запрос от Google
Google рекомендует проверка поисковых роботов по IP а не полагаться только на строки пользовательского агента (поскольку их могут подделывать боты).
Шаги:
-
Обратный DNS-поиск IP-адреса.
-
Убедитесь, что домен заканчивается на
googlebot.comorgoogle.com. -
Перешлите подтверждение того, что IP-адрес преобразуется обратно в Google.
