Robots.txt — это обычный текстовый файл, который сообщает поисковым системам, к каким страницам они могут получить доступ, а к каким — нет. Рекомендуется подготовить файл robots.txt, который необходим, если вам нужно запретить поисковым системам сканировать страницы или разделы вашего сайта. Например, если вы управляете магазином электронной коммерции, вы, вероятно, не хотите, чтобы они сканировали и индексировали страницу вашей корзины.
Заблокируйте сканирование папки /cart/ в файле robots.txt. Это можно сделать, посетив http://yourdomain.com/robots.txt .Чтобы проверить, есть ли у вас уже файл robots.txt. Если вы видите обычный текстовый файл, у вас есть файл. Если вы видите что-то еще, выполните поиск в Google по запросу «генератор robots.txt» и создайте его.