Le mieux est de soumettre ces fichiers dans la Search Console (Google) et les Webmaster Tools (Bing) pour obtenir par la suite de la part de ces moteurs et au sein de ces outils un tableau de bord des URL acceptées, refusées, contenant des erreurs, etc.