برامج الزحف الخاصة بجوجل

بالإضافة إلى برامج الزحف الشائعة مثل Googlebot للويب والصور ومقاطع الفيديو، تعمل Google أيضًا برامج الزحف الخاصةصُممت هذه الأدوات لأغراض محددة، مثل التحقق من الموقع، أو اختبار البيانات المنظمة، أو فحص جودة الإعلانات. لا تفحص هذه الأدوات موقعك بالكامل بانتظام، ولكنها تظهر في أوقات مهمة لإنجاز مهمة.

لماذا تعتبر برامج الزحف الخاصة مهمة

قد لا تؤثر هذه البرامج الزاحفة على الفهرسة اليومية، ولكنها قد تؤثر على كيفية التحقق من موقعك، وكيفية اختبار البيانات المنظمة، أو أداء الإعلانات. إذا حظرتها عن طريق الخطأ في موقعك، ملف robots.txtقد لا تعمل بعض خدمات Google بشكل صحيح.

برامج الزحف الخاصة بجوجل

فيما يلي أكثر الأخطاء شيوعًا التي قد تراها:

اسم الزاحف	سلسلة وكيل المستخدم	الهدف
واجهات برمجة التطبيقات - جوجل	واجهات برمجة التطبيقات-جوجل (+https://developers.google.com/webmasters/APIs-Google.html)	تستخدمه واجهات برمجة تطبيقات Google للوصول إلى المحتوى.
فيد فيتشر	FeedFetcher-Google	يقوم بجلب موجزات RSS/Atom لخدمات Google مثل Google News أو Podcasts.
قراءة جوجل بصوت عالٍ	قراءة جوجل بصوت عالٍ	يقوم بجلب المحتوى لخدمات تحويل النص إلى كلام (على سبيل المثال، قراءة المقالات بواسطة مساعد Google).
الازدواج على الويب	أداة فحص جوجل	يحاكي تفاعلات المستخدم (مثل حجز الخدمة) لاختبار قابلية الاستخدام.
التحقق من موقع جوجل	التحقق من موقع جوجل	يتم استخدامه عند التحقق من ملكية الموقع في Google Search Console.
AdsBot (الجوال وسطح المكتب)	AdsBot-Google-Mobile / AdsBot-Google	التحقق من جودة صفحة الهبوط لإعلانات Google.
أدوات الاختبار الأخرى	أداة فحص Google (تستخدمها Lighthouse وRich Results Test)	يتم الزحف عند تشغيل الاختبارات في أدوات Google.

أشياء رئيسية يجب تذكرها

عادةً ما تظهر برامج الزحف الخاصة فقط عند تشغيله (على سبيل المثال، عند التحقق من موقع أو تشغيل اختبار البيانات المنظمة).
هم لا تقم بفهرسة موقعك مثل Googlebot، ولكنها تضمن عمل الميزات والأدوات بشكل صحيح.
قد يؤدي حظرها في ملف robots.txt إلى تعطيل خدمات Google المهمة (مثل التحقق من الموقع أو فحص الإعلانات).

إذا لم تكن متأكدًا من أي برنامج زاحف هو، فراجع دليلنا على قائمة أدوات الزحف الشائعة في Google.

كيفية التحقق من برنامج الزاحف الخاص بالحالات الخاصة

أحيانًا، قد ترى بوتات غير مألوفة في سجلات خادمك، فتتساءل إن كانت من جوجل حقًا أم مجرد بوتات مزيفة تتظاهر بأنها جوجل. بالاعتماد فقط على سلسلة وكيل المستخدم (مثل AdsBot-Google or FeedFetcher-Google) ليس كافيًا، لأن مرسلي البريد العشوائي يمكنهم نسخ تلك الأسماء.

لهذا السبب توصي Google بالتحقق من أدوات الزحف من خلال عنوان IP. فيما يلي كيفية القيام بذلك:

الخطوة 1: ابحث عن عنوان IP الخاص بالمتتبع

تحقق الخاص بك سجلات الخادم لرؤية عنوان IP لطلب الروبوت.

الخطوة 2: قم بإجراء بحث DNS عكسي

قم بإجراء بحث DNS عكسي على عنوان IP هذا.
يجب أن تشير النتيجة إلى المجال الذي ينتهي بـ googlebot.com or google.com.

الخطوة 3: التأكيد باستخدام بحث DNS الأمامي

خذ اسم المجال هذا وابحث عنه مرة أخرى لترى ما إذا كان يعود إلى نفس عنوان IP.
إذا تطابق، فإن أداة الزحف هي أداة زحف Google حقيقية.

مثال (مبسط)

ترى زيارة من IP 66.249.66.1.
البحث العكسي في DNS → يعرض crawl-66-249-66-1.googlebot.com.
البحث الأمامي في DNS على اسم المضيف → يعطي النتيجة 66.249.66.1.

تم التحقق منه باعتباره أداة زحف Google حقيقية.

قائمة أدوات الزحف الخاصة بـ Google

لماذا تعتبر برامج الزحف الخاصة مهمة