هر موتور جستجویی برای بررسی اطلاعات و داده‌های خود از یک «ربات موتور جستجو» (Search Engine Bot) یا همان «خزنده وب» (Web Crawler) استفاده می‌کند. در چند دهه اخیر، معروف‌ترین موتور جستجو و ربات آن، گوگل بوده است. ربات گوگل (Googlebot) در صفحات وب جستجو می‌کند و از صفحه‌ای به صفحه دیگر می‌رود. در این مسیر، اطلاعات درباره لینک‌های گوناگون و ارتباط آن‌ها را با یکدیگر ضبط می‌کند.