obots.txt — текстовий файл у кодуванні UTF-8, який підказує пошуковим роботам, які сторінки сайту варто сканувати, а які — ні. Розташовується в кореневій директорії ресурсу. Наприклад, на цьому сайті його можна подивитися за адресою https://cityhost.ua/robots.txt.
Правильно налаштований robots.txt підкаже веб-павукам Гугла, Яндекса й Бінга про те, що не потрібно сканувати:
сторінки з персональною інформацією зареєстрованих користувачів (наприклад, кабінети покупців в інтернет-магазинах);
сторінки з результатами внутрішнього пошуку на сайті;
сторінки для входу в панель управління сайтом;
сторінки, які спричиняють дублювання контенту.
А якщо ви поки тільки вникаєте в ази веб-мастерингу, напевно вже розумієте, що теоретичні знання в цій галузі в ідеалі відразу ж треба закріплювати на практиці. Для цього замовляйте недорогий хостинг СітіХост з останньою версією PHP, базами даних MySQL і доступом через протокол SSH, створюйте блог або інтернет-магазин на улюбленому движку і відточуйте майстерність адміністрування сайту на реальному прикладі.