El archivo robots.txt debe estar ubicado en la raíz del host del sitio web al que se aplica. Por ejemplo, para controlar el rastreo de todas las URL bajo https://www.example.com/ , el archivo robots. txt debe estar ubicado en https://www.example.com/robots.txt .