Un crawler web, également connu sous le nom de robot d’indexation, est un programme informatique qui explore automatiquement des sites web en suivant des liens hypertextes. Il fonctionne en récupérant le contenu HTML d’une page web, en extrayant les liens vers d’autres pages et en les visitant à leur tour. Les crawlers web peuvent être utilisés pour le Web Scraping en explorant et en collectant des données à partir de pages web ciblées. Les données extraites peuvent ensuite être traitées et utilisées pour différentes applications telles que la recherche, la surveillance de marché et la collecte d’informations pour la veille stratégique. Les crawlers web peuvent être développés à l’aide de langages de programmation tels que Python, Java ou JavaScript.