Файл robots.txt - текстовый документ с кодировкой UTF-8, предназначен для рекомендаций поисковым роботам по индексации файлов, разделов и отдельных страниц сайта. Файл всегда должен располагаться только в корне сайта, использовать расширение .txt и кодировку UTF-8. Файл robots.txt должен быть доступен для поисковых роботов и отдавать код 200. Файл относится только к домену и никак не влияет на поддомены.