الزحف الآلي هو العملية التي تقوم بها برامج محركات البحث (وتُسمى أيضًا العناكب أو الزواحف) بتصفح الويب بشكل منهجي لاكتشاف صفحات الويب وقراءتها وفهرستها. يقوم برنامج الزحف الخاص بجوجل، المسمى جوجل بوت، بالزحف باستمرار على الويب للحفاظ على تحديث فهرسه.
كيف يعمل الزحف الآلي؟
تبدأ برامج زحف محركات البحث بقائمة عناوين URL المعروفة، وتزور كل صفحة، وتقرأ محتواها، وتتبع الروابط الموجودة فيها لاكتشاف عناوين URL جديدة. تتكرر هذه العملية باستمرار عبر مليارات الصفحات. عندما يزحف برنامج Googlebot إلى صفحتك، فإنه يقرأ كود HTML، ويتتبع الروابط الداخلية والخارجية، ويُقيّم البيانات المنظمة، ويرسل كل هذه المعلومات إلى بنية فهرسة جوجل.
ما الذي يؤثر على كيفية قيام جوجل بفهرسة موقعك؟
- ميزانية الزحف: عدد الصفحات التي سيزحف إليها جوجل على موقعك خلال فترة زمنية محددة. قد تستنفد المواقع الكبيرة التي تحتوي على العديد من الصفحات ذات القيمة المنخفضة هذا العدد. زحف الميزانية قبل أن يصل برنامج Googlebot إلى المحتوى المهم.
- رسالة قصيرة: ملف موجود في الدليل الجذر لموقعك يخبر برامج الزحف بالصفحات أو الأقسام المسموح لها أو غير المسموح لها بالزحف إليها.
- الربط الداخلي: غالباً ما يتم تجاهل الصفحات التي لا تحتوي على روابط داخلية تشير إليها ("الصفحات اليتيمة") من قبل برامج الزحف تماماً.
- سرعة الخادم: تؤدي الخوادم البطيئة إلى قيام برنامج Googlebot بفهرسة عدد أقل من الصفحات في كل زيارة لتجنب تحميل الخادم بشكل زائد.
- خريطة موقع XML: إرسال خريطة الموقع إلى Google Search Console يخبر Googlebot مباشرةً بعناوين URL التي تريد الزحف إليها وفهرستها.
| على سبيل المثال: إذا كان موقع التجارة الإلكترونية الخاص بك يحتوي على 50,000 صفحة منتج ولكنه يقوم أيضًا بإنشاء 200,000 عنوان URL للتنقل متعدد الأوجه (مثل /products?color=red&size=M)، فإن Googlebot يهدر ميزانية الزحف على صفحات التصفية هذه بدلاً من الزحف إلى صفحات المنتج الفعلية. |
الأسئلة الشائعة
كم مرة يقوم جوجل بفهرسة موقعي؟
يختلف معدل الزحف بشكل كبير بناءً على قوة الموقع، وتواتر التحديثات، وسرعة الخادم. قد تتم فهرسة موقع إخباري كبير كل بضع دقائق، بينما قد تتم فهرسة موقع جديد صغير مرة واحدة كل بضعة أسابيع. ويؤدي نشر محتوى جديد والحصول على روابط إلى زيادة معدل الزحف بشكل عام.
هل يمكنني منع جوجل من الزحف إلى صفحات معينة؟
نعم. استخدم ملف robots.txt لحظر أقسام كاملة، أو أضف وسم noindex إلى صفحات محددة. لاحظ أن ملف robots.txt يمنع الزحف إلى الموقع ولكنه لا يمنع فهرسته (قد يقوم جوجل بفهرسة عنوان URL محظور إذا كانت مواقع أخرى تشير إليه). يمنع وسم noindex الفهرسة حتى لو تم الزحف إلى الصفحة.
المصطلحات ذات الصلة: غوغلبوت · ميزانية الزحف · ملف robots.txt · خريطة الموقع · الفهرسة
