Un archivo robots.txt es un archivo que los webmasters pueden utilizar para dar instrucciones a los crawlers sobre qué partes de su sitio web deben o no deben rastrear. Por ejemplo, puedes usar un archivo robots.txt para evitar que los crawlers rastreen una página o sección específica de tu sitio web que no quieres que aparezca en los resultados de búsqueda.