Suchmaschinen setzen Crawler ein, um das Internet zu durchsuchen und einen Index aufzubauen. Der wohl bekannteste Crawler ist der Googlebot. Crawler durchsuchen täglich Milliarden von Websites und analysieren diese mithilfe verschiedener Algorithmen. Die auf diese Weise gesammelten Website-URLs werden indiziert und katalogisiert, um sie dem Nutzer bei einer bestimmten Suchanfrage als Treffer auf der Suchergebnisseite einer Suchmaschine wie Google auszugeben.