با یک مرور کلی می توان به این موضوع پی برد که وجود لینک ها سبب ایجاد موتورهای جستجو شد. خزنده های وب (Web Crawler) با دنبال کردن لینک های موجود در وب، صفحات را می‌یابند و سپس صفحه را در ایندکس خود ذخیره کرده و با استفاده از الگوریتم های خود و فاکتورهایی که تعیین کرده است شروع به رتبه بندی می کنند.در واقع اینترنت را میتوان به یک تار عنکبوت تشبیه کرد که هر تار یک لینک، خود عنکبوت خزنده و تمامی این تارها مجموعا در کنار یکدیگر دنیای وب را تشکیل می دهند.