Bei Webcrawlern, auch Searchbots oder Spiders genannt, handelt es sich um Programme, die Informationen im Internet automatisch durchforsten und dabei verschiedene Arten von Daten sammeln. Darunter fallen zum Beispiel HTML-Inhalte, Bilder, Skripte oder Dokumente. Hierfür sendet der Crawler zunächst eine HTTP-Anfrage an den Webserver der Ziel-URL, der mit einem Inhalt der Seite antwortet.