Durch Hyperlinks, die auf bereits indexierten Websites vorhanden sind, gelangt ein Crawler auf weitere Seiten Deiner Domain. Stößt er dabei auf Links zu anderen Websites, folgt er diesen ebenfalls. Somit krabbelt (von englisch „crawling“) er wie eine Spinne nach und nach durch das gesamte World Wide Web, weshalb man den Webcrawler auch Spider nennt. Die Inhalte bzw. Daten, die der Crawler findet, werden ausgewertet und gegebenenfalls indexiert.