Файл robots.txt - текстовый документ, с помощью которого можно запретить индексацию страниц поисковыми системами на этапе сканирования сайта.