خزیدن، کشف صفحات و لینک هایی است که به صفحات بیشتری منتهی می شوند. نمایه سازی ذخیره، تجزیه و تحلیل و سازماندهی محتوا و ارتباطات بین صفحات است. بخش هایی از نمایه سازی وجود دارد که به اطلاع رسانی نحوه خزیدن یک موتور جستجو کمک می کند.