تستخدم جوجل برامج روبوتية آلية، تُعرف باسم برامج الزحف، لاكتشاف المحتوى وفهرسته على الويب. لا تقتصر مهمة هذه البرامج على جلب بيانات موقعك بمجرد تعيين أنواع مختلفة من برامج الزحف للتعامل مع محتوى مختلف، مثل صفحات الويب والصور ومقاطع الفيديو. إن معرفة أي برامج تزور موقعك تساعدك على إدارة ظهوره، واستكشاف مشاكل الزحف وإصلاحها، والحفاظ على أداء مُحسّنات محرّكات البحث (SEO) الخاص بك.
لماذا يجب عليك معرفة برامج الزحف الخاصة بجوجل
عندما يزور جوجل موقعك، فإنه لا يستخدم دائمًا نفس أداة الزحف. بل يرسل أدوات زحف مختلفة (تُسمى أيضًا روبوتات جوجل) اعتمادًا على نوع المحتوى الذي تريد جلبه (صفحات الويب، أو الصور، أو الإعلانات، أو مقاطع الفيديو، أو حتى الإصدارات المخصصة للأجهزة المحمولة).
يساعدك فهم هذه البرامج الزاحفة على:
-
قرأت سجلات الخادم بدقة اكثر
-
تجنب حظر الروبوتات المهمة في ملف robots.txt الخاص بك
-
إدارة حسابك زحف الميزانية بكفاءة
-
استكشاف مشكلات الزحف أو الفهرسة وإصلاحها
برامج الزحف الشائعة من Google
فيما يلي أدوات الزحف الأكثر شيوعًا التي قد تراها في سجلاتك:
| اسم الزاحف | سلسلة وكيل المستخدم | الهدف |
| Googlebot (سطح المكتب) | برنامج Googlebot / 2.1 (+ http://www.google.com/bot.html) | يقوم بزحف إصدار سطح المكتب من صفحات الويب. |
| جوجل بوت (الهاتف الذكي) | Mozilla/5.0 (Linux؛ Android 6.0.1؛ Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML، مثل Gecko) Chrome/WXYZ Mobile Safari/537.36 (متوافق؛ Googlebot/2.1؛ +http://www.google.com/bot.html) | يزحف إلى صفحات الويب المخصصة للأجهزة المحمولة. ولأن جوجل تستخدم فهرسة الأجهزة المحمولة، يُعد هذا الروبوت الأكثر أهمية اليوم. |
| صورة Googlebot | Googlebot-Image/1.0 | يزحف إلى الصور للبحث عن صور Google. |
| فيديو جوجل بوت | Googlebot-Video/1.0 | يقوم بفحص محتوى الفيديو والبيانات الوصفية لنتائج بحث فيديو Google. |
| أخبار جوجل بوت | أخبار جوجل بوت | يقوم بالزحف إلى مقالات الأخبار لتضمينها في أخبار Google. |
| AdsBot (إعلانات Google) | AdsBot-Google (+http://www.google.com/adsbot.html) | يقوم بالزحف إلى صفحات الهبوط للتحقق من الجودة لإعلانات Google. |
| إعلانات Googlebot للأجهزة المحمولة | AdsBot-Google-Mobile | يقوم بفحص صفحات الهبوط الخاصة بالأجهزة المحمولة للتحقق من جودة إعلانات Google. |
| برنامج الزاحف لتطبيقات Googlebot | تطبيق Googlebot | يزحف إلى التطبيقات ومحتوى التطبيق (أقل شيوعًا، ولكنه موجود لفهرسة التطبيقات). |
لماذا تعد أدوات الزحف المتعددة مهمة لتحسين محركات البحث
-
قد يؤدي حظر أداة الزحف الخاطئة في ملف robots.txt إلى منع ظهور صفحاتك أو صورك أو مقاطع الفيديو الخاصة بك في نتائج البحث.
-
إذا كنت تقوم بتشغيل الإعلانات، قم بحظرها إعلانات بوت قد يؤدي إلى انخفاض درجات جودة الإعلان.
-
منذ الفهرسة المتنقلة الأولى أصبح الآن هو الإعداد الافتراضي، مما يضمن إمكانية الوصول إلى موقعك جوجل بوت للهواتف الذكية أمر بالغ الأهمية.
تعرف على المزيد حول التحكم في ما يمكن للروبوتات الزحف إليه في دليل robots.txt.
كيفية التحقق مما إذا كان الطلب من Google
توصي جوجل التحقق من برامج الزحف عن طريق عنوان IP بدلاً من الاعتماد فقط على سلاسل وكيل المستخدم (نظرًا لأنه يمكن تزويرها بواسطة الروبوتات).
الخطوات التالية:
-
البحث العكسي عن عنوان IP من خلال DNS.
-
تأكد من أن النطاق ينتهي بـ
googlebot.comorgoogle.com. -
إعادة التوجيه - تأكيد أن عنوان IP يعود إلى Google.
