Почему важны пользовательские выборки
Иногда поисковые роботы не заходят на ваш сайт автоматически. Вместо этого они активируются действием, которое совершаете вы или другой пользователь. Это называется загрузчики, активируемые пользователем. Они не сканируют ваш сайт для индексации, как обычный робот Google; вместо этого они выбирают определённые страницы для выполнения таких задач, как тестирование, проверка или предварительный просмотр.
Инициируемые пользователем выборки важны, поскольку они позволяют владельцам сайтов и SEO-специалистам:
- Проверьте, как Google видит страницу (не дожидаясь запланированного сканирования).
- Подтвердите право собственности на сайт в таких инструментах, как Search Console.
- Проверьте, работают ли структурированные данные.
- Предварительный просмотр того, как может выглядеть контент в сервисах Google.
Пользовательские сборщики Google
Вот основные сборщики, с которыми вы можете столкнуться:
Проверка сайта Google
Этот сборщик используется, когда вы проверяете право собственности на сайт в Google Search Console. Это одноразовый сборщик, который появляется только тогда, когда вы его запрашиваете.
Google-InspectionTool
Этот сборщик запускается, когда вы используете такие инструменты, как инструмент проверки URL, Тест с богатыми результатами, или тест на удобство использования на мобильных устройствах. Он загружает страницу по запросу для проверки её статуса.
AMP-краулер
Этот сборщик используется для проверки и предварительного просмотра ваших AMP-страниц. Он гарантирует корректную работу ваших AMP-страниц и их готовность к индексации поисковой системой.
Безопасный просмотр
Этот сборщик проверяет URL-адреса на безопасность контента для пользователей. Он предназначен для обеспечения безопасности и помогает обеспечить безопасность интернета для всех.
AdsBot
Этот сборщик проверяет качество целевых страниц для Google Ads. Он гарантирует корректную работу ваших целевых страниц и их релевантность вашим объявлениям.
Ключевые вещи, которые нужно знать
- Эти сборщики не сканируют страницы для индексации — они появляются только тогда, когда вы используете инструмент Google или запрашиваете проверку.
- Это поисковые роботы, запускаемые по требованию и принимавшие на себя определенные действия пользователя.
- Блокируя их в
robots.txtможет нарушить работу важных служб Google (например, проверку сайта или проверку рекламы). - Они не влияют на ваш бюджет сканирования, поскольку не являются частью обычного сканирования.
Если вы хотите узнать о действующих ботах, которые индексируют ваш контент, посетите наш Список распространенных поисковых роботов Google
Как проверить сборщик, запущенный пользователем
Как и в случае с другими поисковыми роботами Google, вы можете убедиться в их подлинности, проверив их IP-адрес:
Шаг 1: Найдите IP-адрес поискового робота.
Посмотрите IP-адрес в журналах вашего сервера.
Шаг 2: Выполните обратный DNS-поиск
Выполните обратный DNS-запрос по этому IP-адресу. Результат должен указывать на домен, заканчивающийся на googlebot.com or google.com.
Шаг 3: Подтвердите с помощью прямого поиска DNS
Возьмите это доменное имя и проверьте его ещё раз, чтобы убедиться, что оно возвращает тот же IP-адрес. Если он совпадает, это настоящий поисковый робот Google.
