Ein Crawler ist ein Programm, das von Suchmaschinen zum Sammeln von Daten aus dem Internet verwendet wird . Wenn ein Crawler eine Website besucht, durchsucht er den gesamten Inhalt (also den Text) der Website und speichert ihn in einer Datenbank. Er speichert auch alle externen und internen Links zur Website.