Um später die relevantesten Seiten in den Suchergebnissen anzeigen zu können, muss Google erst einmal das Angebot kennen. Hierzu durchsucht (crawlt) Googles sogenannter Googlebot (auch Crawler oder Spider genannt) permanent das Netz, schaut sich die existierenden Webseiten an und sucht neue Informationen.