Web-Crawler senden Anfragen an Websites und folgen dann den Links auf diesen Websites zu anderen Websites. Sie verfolgen die Seiten, die sie besuchen, und die Links, die sie finden, damit sie das Web indizieren und durchsuchbar machen können.