Come è impostata la visibilità del file robots.txt?
Ogni sito dovrebbe avere il proprio robots.txt che rimane valido per l'intero dominio. Se il sito è uno solo senza sottodomini, basta inserire un robots.txt che sia accessibile dalla cartella principale del sito (senza sottocartelle). Se invece uno stesso sito sito ha più versioni multilingua suddivise per URL o più sottodomini, bisogna fare più attenzione e verificare quello che viene effettivamente "visto" dentro ogni sottocartella o locazione di ogni sotto-sito. Queste indicazioni possono essere utili a seconda dei casi per i siti multilingua, i multi-siti in WordPress oppure i siti web composti da più sottodomini.
Queste sono le regole che segue Google nella sua documentazione ufficiale (vedi a fine articolo il link).
Un file robots.txt in un dominio è valido solo per quel dominio. Quindi ad esempio http://www.example.com/robots.txt vale per http://www.example.com, ma non per http://pippo.example.com/
Se un dominio non ha configurato correttamente il CNAME del prefisso www, example.com/robots.txt sarà  valido per example.com ma non per www.example.com
Un file robots.txt in un dominio è valido per tutte le sottocartelle di quel dominio. Quindi ad esempio http://www.example.com/robots.txt vale sia per http://www.example.com/abc che per per http://www.example.com/xyz
HTTPS: per rendere correttamente visibile un file robots.txt è anche necessario che il protocollo TLS, se disponibiel, sia correttamente configurato e non presenti problemi di mixed content: per intenderci, http://www.example.com/robots.txt non è visibile per https://www.example.com/ a meno che non ci sia un opportuno redirect da HTTP a HTTPS.