Crawling ist der Prozess, bei dem ein Crawler eine Website durchsucht und deren Inhalte indexiert. Der Crawler beginnt in der Regel mit der Startseite und folgt dann den internen Links, um weitere Seiten zu entdecken. Durch das Crawlen und Indexieren von Websites können Suchmaschinen wie Google den Inhalt einer Website lesen und bewerten.