Wenn das Webcrawling von einer Suchmaschine durchgeführt wird, die den Inhalt der Webseite im Index erfassen soll, handelt es sich um eine legale Praxis. Generell gibt es jedoch keine international geltende Regelung für das Crawlen.