Je le détaille ici : différence entre crawl et indexation mais voici le résumé : Quand Google vient explorer une URL, il s'agit du crawl : il vérifie si l'URL est accessible et récupère son contenu. On peut l'empêcher via le fichier robots.txt. Une fois qu'elle a été crawlée, l'URL est généralement indexée, sauf si on l'interdit avec une meta robots noindex, ou si Google décide de ne pas l'indexer même en l'ayant crawlée.