Le fichier robots.txt est le fichier qui indique exactement les parties de votre site Web que vous ne voulez PAS voir ou indexer par des moteurs de recherche spécifiques. Il s'agit d'un protocole d'exclusion que les sites utilisent pour communiquer avec les moteurs de recherche afin d'inviter ou de restreindre l'accès à des zones générales ou spécifiques de votre site Web. Vous devriez l'utiliser lorsque vous voulez refuser les moteurs de recherche d'autres pays, comme la Chine, et leur demander de ne pas indexer votre site Web. Si vous êtes un service local, vous n'avez aucune raison de vouloir que les moteurs de recherche de Chine, de Russie, de Malaisie ou de tout autre pays lointain accèdent à votre site. Cependant, tous les moteurs de recherche ne respectent pas ce protocole.