এছাড়াও মাকড়সা হিসাবে পরিচিত, ওয়েব ক্রলার নির্দিষ্ট হাইপারলিঙ্ক অনুসরণ করে ওয়েব পেজ থেকে তথ্য নিষ্কাশন যে প্রোগ্রাম স্বয়ংক্রিয় হয়। ওয়েব খনির মধ্যে, ওয়েব ক্রলারগুলি যেগুলি কার্যকরী করে তা দ্বারা সংজ্ঞায়িত করে। উদাহরণস্বরূপ, প্রেরণাদায়ক ক্রলাররা শব্দটি থেকে একটি নির্দিষ্ট বিষয়ের উপর দৃষ্টি নিবদ্ধ করে। ইনডেক্সিং ইন, সার্চ ইঞ্জিনগুলি ওয়েব পেজ ক্রল করার মাধ্যমে ওয়েব ক্রলারগুলি একটি গুরুত্বপূর্ণ ভূমিকা পালন করে।.