Le crawl et l'indexation sont deux étapes cruciales du processus par lequel les moteurs de recherche découvrent, comprennent et stockent les informations des pages web. Le crawl fait référence à l'action des robots des moteurs de recherche qui parcourent le web pour trouver de nouvelles pages ou des mises à jour sur des pages existantes. Une fois ces pages trouvées, elles sont ensuite indexées, c'est-à-dire qu'elles sont analysées et stockées dans une immense base de données. Lorsqu'une personne effectue une recherche, le moteur de recherche fouille dans cette base de données pour trouver les pages pertinentes et les présenter dans les résultats.