Les moteurs de recherche fonctionnent grâce à des robots appelés « crawlers » ou « spiders », qui analysent en permanence le contenu Web en suivant les liens existants entre les sites. Ils indexent ensuite les sites grâce à des algorithmes (Panda, Pingouin, Bert…pour Google) en fonction de nombreux critères mettent leurs bases de données à disposition du public.