Un Crawler, également appelé robot d'exploration, est un logiciel qui parcourt les pages d'un site en suivant les liens qu'elles contiennent.