Robots.txt – это индексный текстовый файл в кодировке UTF-8.