Arama motorlarının, web sitelerini taramak için kullandığı çeşitli teknolojiler arasında web crawlers (arama motoru örümceği), robots.txt dosyaları, tarama politikaları, HTML ayrıştırıcıları ve tarama bütçesi vb. yer alıyor.