ترسل برامج الزحف طلبات إلى خوادم الويب، وتسترد بيانات صفحات الويب، وتتبع الروابط إلى الصفحات الأخرى، وبالتالي تجمع المعلومات للفهرسة.