Les moteurs de recherche parcourent en permanence le web à la recherche de nouvelles pages à ajouter à leur index. Le processus de découverte peut se dérouler de plusieurs manières différentes. La plus courante est celle où un moteur de recherche trouve un lien vers une nouvelle page pendant qu'il explore un site Web existant. Cela peut se produire lorsque le propriétaire d'un site Web ajoute du nouveau contenu ou lorsque quelqu'un d'autre crée un lien vers son site. Les sitemaps sont un autre moyen pour les moteurs de recherche de découvrir de nouvelles pages. Les plans de site sont des fichiers qui contiennent une liste de toutes les pages d'un site Web et ils constituent un moyen facile pour les moteurs de recherche de connaître l'ensemble du contenu d'un site. Enfin, les moteurs de recherche peuvent également découvrir de nouvelles pages grâce aux soumissions des webmestres. Lorsqu'un webmaster soumet une URL à un moteur de recherche, il indique à ce dernier qu'il existe un nouveau contenu qu'il doit explorer et indexer. Quelle que soit la manière dont elle se produit, la découverte est un élément essentiel de la façon dont les moteurs de recherche maintiennent leurs résultats à jour et pertinents.