X-Robots-Tag は、HTML 以外のファイル（PDF など）のインデックス作成と配信を制御する HTTP ヘッダーです。必要に応じて、サーバーレベルで noindex または nofollow を適用するために使用できます。
ログインページやサンキューページなど、Googleの検索結果に絶対に表示してほしくないページがサイトにあったことはありませんか？価値の低いページが表示され、SEO効果が薄れてしまうのは、非常にもどかしいものです。
検索エンジン ロボットを制御し、プライベート ページや無関係なページにアクセスさせないようにする、最も完璧で強力な方法を学びました。
説明しましょう X-Robots-Tagとは何ですか? また、Google がサイト上で認識する内容と認識しない内容を正確に制御するための簡単な手順も紹介します。
X-Robots-Tagとは何ですか?
X-Robots-Tagとは何ですか? 検索エンジンロボットに直接送る強力な指示です HTTP ページのヘッダー。
これは、ページをインデックスするかリンクをたどるかを Google に伝えるより技術的な方法であり、通常のメタ ロボット タグよりも強力です。
私はこれを使用して、メタ タグではできない PDF や画像などの特定のファイルを検索エンジンが参照しないようにします。
CMSプラットフォームへの影響
X-Robots-Tag はサーバー レベルのコマンドであるため、実装には CMS に応じて若干異なる手順が必要です。
WordPress
WordPressでは、通常、プラグインを使用するか、サーバーの .htaccess このタグを実装するファイル。
このタグは、検索エンジンが大量の生成されたファイルや古いテスト環境をクロールするのを防ぐために使用します。
この方法により、標準の SEO プラグインでは簡単に管理できないファイルを制御できます。
Shopifyサービス
Shopify はよりロックダウンされているため、通常、特別なアプリがないと X-Robots-Tag を直接変更することはできません。
私は内蔵の robots.txt エディターまたはカスタム アプリを使用して、特定のフォルダーまたはテンプレートへのアクセスをブロックします。
ほとんどのユーザーにとって、テーマ コード内の標準のメタ ロボット タグは、一般的なページでは十分に機能します。
WixとWebflow
これらのプラットフォームでは、通常、X-Robots-Tag への直接サーバー アクセスは提供されません。
私はプラットフォームのSEO設定を使用して、 noindex パスワードで保護されたコンテンツなどの優先度の低いページでコマンドを実行します。
これは、より一般的なメタ ロボット タグに依存しており、これらのビルダーでインデックスを管理する最も簡単な方法です。
カスタムCMS
カスタム システムを使用すると、X-Robots-Tag をあらゆるファイル タイプに完全に制御して実装できます。
私は開発者に、すべての PDF ガイドまたは古いバージョンのアーカイブの HTTP ヘッダー応答にタグを直接追加するように指示しています。
これは、特定の HTML 以外のファイルを検索結果から除外するための最もクリーンかつ効果的な方法です。
様々な業界におけるX-Robots-Tag
私はこの強力なタグを戦略的に使用して、さまざまなビジネス向けのさまざまなタイプのコンテンツを管理しています。
eコマース
X-Robots-Tag を使用して、内部検索結果ページを非表示にし、ユーザー価値の低いページをフィルターします。
これらのページでは、ほぼ重複したコンテンツが何千個も作成されることが多く、サイト全体の品質スコアに悪影響を与える可能性があります。
検索エンジンの注目を、コアとなる製品とカテゴリのページだけに集中させます。
地元企業
このタグは、古い販促チラシや大きくて時代遅れのメニュー PDF を検索インデックスから除外するために使用します。
これらの文書は、古い価格や提供されなくなったサービスについてユーザーを混乱させる可能性があります。
検索結果には、現在の信頼できるサービス ページのみが表示されるようにします。
SaaS（ソフトウェアとしてのソフトウェア）
X-Robots-Tag を適用して、膨大な量のログイン画面、メンバー ポータル、プライベート ユーザー エリアをブロックします。
これらのページは外部の検索ユーザーにとって価値がないため、Google に表示されるべきではありません。
これにより、マーケティングに重点を置いた公開ページが整理され、目立つようになります。
ブログ
このタグは、非常に古い下書き、内部テスト ページ、またはインデックスを作成したくない大きな画像ファイルがインデックスに登録されるのを防ぐために使用します。
これにより、ブログ全体で高品質のコンテンツと低品質のコンテンツの比率を維持できます。
検索エンジンが、最も優れた最新の記事のみをクロールするようにしています。
よくある質問
X-Robots-Tag と Meta Robots Tag の違いは何ですか?
Meta Robots タグはページの HTML コード内に配置され、X-Robots タグはサーバー ヘッダーに配置されます。
X-Robots-Tag は、画像や PDF など HTML 以外のファイルを非表示にできるため、さらに強力です。
ページ レベルの簡単な変更にはメタ タグを使用し、ファイル レベルまたはサイト全体のコマンドには X-Robots-Tag を使用します。
コンテンツを非表示にするには、X-Robots-Tag または robots.txt を使用する必要がありますか?
私が使う robots.txt 検索エンジンにページまたはセクションをクロールしないよう丁寧に依頼します。
Google が誤ってクロールした場合でも、ページがインデックスに登録されないことを保証したい場合には、X-Robots-Tag を使用します。
どうしても検索結果からページを隠さなければならない場合は、X-Robots-Tag を noindex value は最も強力なコマンドです。
このタグを使用して、ページをすべてのユーザーから完全に非表示にすることはできますか?
いいえ、このタグは検索エンジンにページを結果に表示しないように指示するだけで、ページを保護するものではありません。
直接リンクを持っている人なら誰でもそのページにアクセスできるため、これはセキュリティ機能ではありません。
真のセキュリティを確保するには、パスワード保護またはサーバー レベルのアクセス制御を使用します。
