Помимо обычных роботов, таких как Googlebot для веб-сайтов, изображений и видео, Google также использует специальные сканерыОни предназначены для определенных целей, таких как проверка сайта, тестирование структурированных данных или проверка качества рекламы. Они не сканируют весь сайт регулярно, но появляются в ключевые моменты для выполнения определённой задачи.
Почему важны специальные сканеры
Эти роботы могут не влиять на ежедневную индексацию, но они могут повлиять на проверку вашего сайта, проверку структурированных данных и эффективность рекламы. Если вы по ошибке заблокируете их в своем robots.txt, некоторые сервисы Google могут работать некорректно.
Специальные поисковые роботы Google
Вот наиболее распространенные из них, которые вы можете увидеть:
| Имя краулера | Строка User-Agent | Цель |
| API-интерфейсы Google | API-интерфейсы Google (+https://developers.google.com/webmasters/APIs-Google.html) | Используется API Google для доступа к контенту. |
| FeedFetcher | FeedFetcher-Google | Получает каналы RSS/Atom для сервисов Google, таких как Google News или Podcasts. |
| Google-Читать вслух | Google-Читать вслух | Извлекает контент для служб преобразования текста в речь (например, Google Assistant для чтения статей). |
| Дуплекс в Интернете | Google-InspectionTool | Имитирует взаимодействие с пользователем (например, бронирование услуги) для проверки удобства использования. |
| Проверка сайта Google | Google-Site-Verification | Используется при проверке права собственности на сайт в Google Search Console. |
| AdsBot (мобильные устройства и компьютеры) | AdsBot-Google-Mobile / AdsBot-Google | Проверяет качество целевой страницы для Google Ads. |
| Другие инструменты тестирования | Google-InspectionTool (используется Lighthouse и Rich Results Test) | Сканируется при запуске тестов в инструментах Google. |
Главное, что нужно помнить
-
Специальные сканеры обычно появляются только при срабатывании (например, при проверке сайта или проведении теста структурированных данных).
-
Oни не индексируйте свой сайт как Googlebot, но они обеспечивают правильную работу функций и инструментов.
-
Блокировка их в robots.txt может привести к нарушению работы важных служб Google (например, проверки сайта или рекламы).
Если вы не уверены, какой поисковый робот какой, ознакомьтесь с нашим руководством по Список распространенных поисковых роботов Google.
Как проверить сканер специального назначения
Иногда вы видите необычных ботов в журналах сервера и задаетесь вопросом, действительно ли они от Google или это просто фейковые боты, выдающие себя за Google. Опираясь только на строка пользовательского агента (как AdsBot-Google or FeedFetcher-Google) недостаточно, поскольку спамеры могут копировать эти имена.
Вот почему Google рекомендует проверять поисковые роботы по их IP-адрес, Вот как вы можете это сделать:
Шаг 1: Найдите IP-адрес поискового робота.
-
Проверьте журналы сервера чтобы увидеть IP-адрес запроса бота.
Шаг 2: Выполните обратный DNS-поиск
-
Запустите обратный DNS-поиск по этому IP-адресу.
-
Результат должен указывать на домен, заканчивающийся на
googlebot.comorgoogle.com.
Шаг 3: Подтвердите с помощью прямого поиска DNS
-
Возьмите это доменное имя и проверьте его еще раз, чтобы увидеть, преобразуется ли оно обратно в тот же IP-адрес.
-
Если они совпадают, то это настоящий поисковый робот Google.
Пример (упрощенный)
-
Вы видите посещение с IP
66.249.66.1. -
Обратный DNS-поиск → показывает
crawl-66-249-66-1.googlebot.com. -
Перенаправить DNS-поиск по этому имени хоста → возвращает
66.249.66.1.
Проверено как настоящий поисковый робот Google.
