Le taux limite de crawl (crawl rate limit) est une mesure utilisée par les moteurs de recherche pour déterminer le nombre maximum de requêtes qu'un robot peut effectuer sur un site web sans nuire à la performance du site.
C’est la fréquence à laquelle le robot de recherche visitera votre site sans surcharger votre serveur. Ce taux est généralement déterminé par la capacité du serveur à répondre aux demandes. Si le serveur répond rapidement et sans erreur, le taux limite de crawl peut augmenter, permettant au robot de recherche de visiter le site plus fréquemment.