Le crawl est l'exploration d'un site web par un robot (Googlebot, Bingbot) de moteur de recherche (Google, Bing). Le robot va venir capturer le contenu (code HTML) de la page pour l'envoyer au moteur. Il va ensuite détecter les liens sortants (internes et externes) dans la page pour les suivre afin d'explorer d'autres pages sur lesquelles il va effectuer le même travail, et ainsi de suite. Googlebot, par exemple, crawle 20 millions de sites web par jour.