الزحف هو العملية التي يحاول فيها محرك البحث زيارة كل صفحة من صفحات موقع الويب الخاص بك عبر الروبوت. يعثر روبوت محرك البحث على رابط إلى موقع الويب الخاص بك ويبدأ في العثور على جميع صفحاتك العامة. يقوم الروبوت بالزحف إلى الصفحات، وفهرسة جميع المحتويات لاستخدامها في Google، وإضافة جميع الروابط الموجودة على هذه الصفحات إلى الصفحات التي لا يزال يتعين عليه الزحف إليها.هدفك الرئيسي كمالك لموقع الويب هو التأكد من قدرة روبوت محرك البحث على الوصول إلى جميع الصفحات الموجودة على الموقع. يؤدي فشل هذه العملية إلى إرجاع ما نسميه أخطاء الزحف.