Actuellement, il y a tellement de pages Internet que les crawlers doivent limiter leur temps sur chaque site pour en visiter le plus possible. On appelle budget de crawl le temps alloué par un robot à l'exploration d'un site lors de chaque passage. Ce temps varie pour chaque site en fonction de sa taille et de son domaine d'autorité (c'est-à-dire la confiance que le moteur place en lui au regard, notamment, de sa popularité). Lire la suite