Le fichier robot.txt permet de bloquer l'indexation de certaines pages que l'on ne souhaite pas faire apparaître dans les résultats des moteurs de recherche, telles que des pages en construction ou des pages confidentielles.