Googlebot がウェブサイトをクロールする際、新しいコンテンツを迅速に発見することと、サーバーに過負荷をかけないことという 2 つのバランスを取ろうとします。ほとんどの場合、Google はクロールレートを効率的に自動的に管理します。ただし、非常に大規模なサイトやサーバー容量が限られているウェブサイトでは、Googlebot の活動によってパフォーマンスが低下する場合があります。
ここでは、Google のクロール レートを下げることが適切な場合、その方法、回避すべき事項について学習します。
クロール レートとは何ですか?
クロールレートはリクエストの数を指します Googlebotが 一定時間内にウェブサイトに送信されるリクエストの数です。サーバーの性能が高ければ、より多くのリクエストを処理できます。サーバーの負荷が高かったり、一時的に過負荷になったりすると、リクエストが多すぎるとサイトの表示速度が遅くなる可能性があります。
Google のクロール レートを下げる必要があるのはいつですか?
次の場合にのみクロール レートを下げる必要があります。
-
Googlebot がリクエストを過剰に送信し、サーバーに過負荷をかけています
-
Googlebot が活動している間はサイトの速度が大幅に低下します
-
サーバーログでクロールアクティビティの異常な急増に気付いた場合
クロールレートを下げることは、最初のステップとしては適切ではありません。変更を加える前に、必ずサーバーのパフォーマンスとログを確認してください。
クロールレートを下げる方法
1. Google Search Consoleの設定を使用する
-
にサインイン Google Search Console
-
に行く 設定 > クロール速度
-
対象となる場合は、クロールアクティビティを制限するオプションが表示されます。
-
スライダーを動かしてクロール速度を下げます
すべてのサイトでこのオプションが表示されるわけではありません。ほとんどのサイトでは、Google が自動的にクロールを管理します。
2. サーバー設定を調整する
Search Console でクロールレートのオプションが利用できない場合は、サーバーレベルの設定を使用して、一度に許可されるリクエストの数を制限することができます。この点については、開発者またはホスティングプロバイダにご相談ください。
3. 一時的な解決策
サイトの負荷が高い場合（例えば、製品のリリース時など）は、サーバースロットリングを使用してトラフィックを管理できます。ただし、パフォーマンスが安定したら、必ずGooglebotがサイトに戻るようにしてください。
やってはいけないこと
-
Googlebotをブロックしない in robots.txtの: ブロックすると、検索結果からページが削除される可能性があります。
-
クロールを過度に制限しないでください。 これにより、インデックス作成と更新に遅延が発生する可能性があります。
-
クロール レートとクロール バジェットを混同しないでください。 クロール予算 クロール速度は、Googleがクロールするページ数を表します。クロール速度は、リクエストがどれだけ速く行われるかを表します。
