Googleの一般的なクローラーのリスト

Googleは、クローラーと呼ばれる自動ボットを使ってウェブ上のコンテンツを発見し、インデックスに登録します。これらのクローラーは、ウェブページ、画像、動画など、様々なコンテンツを処理するために、それぞれ異なる種類のクローラーを割り当てており、サイトをただ取得するだけではありません。どのクローラーがサイトにアクセスしているかを把握することで、可視性の管理、クロールに関する問題のトラブルシューティング、そしてSEOの健全性維持に役立ちます。

Googleのクローラーについて知っておくべき理由

Googleがサイトを訪問する際、必ずしも同じクローラーを使用するわけではありません。代わりに、異なるクローラー（別名： Googlebot) は、Web ページ、画像、広告、動画、さらにはモバイル固有のバージョンを取得するコンテンツの種類に応じて異なります。

これらのクローラーを理解すると、次のことが可能になります。

• あなたの サーバーログ より正確に

• robots.txtファイルで重要なボットをブロックしないようにする

• あなたの管理 クロールの予算 効率良く

• クロールまたはインデックス作成の問題のトラブルシューティング

Googleの一般的なクローラー

ログに表示される最も一般的な Google クローラーは次のとおりです。

SEOにおいて複数のクローラーが重要な理由

• robots.txt で間違ったクローラーをブロックすると、ページ、画像、動画が検索結果に表示されなくなる可能性があります。

• 広告を掲載している場合はブロックしてください 広告ボット 広告品質スコアが低下する可能性があります。

• Since モバイルファーストインデックス作成 がデフォルトとなり、サイトへのアクセスが保証されます。 Googlebot スマートフォン 重要です。

ボットがクロールできるものを制御する方法の詳細については、 robots.txtガイド.

リクエストがGoogleからのものであるかどうかを確認する方法

Googleが推奨 IPによるクローラーの検証 ユーザーエージェント文字列のみに頼るのではなく (ボットによって偽造される可能性があるため)。

ステップ：

1. IP アドレスの逆 DNS 検索。

2. ドメインが以下で終わることを確認してください googlebot.com or google.com.

3. IP が Google に解決されることを前方確認します。