The location of the sitemap can also be included in the robots.txt file by adding the following line to robots.txt:The <sitemap_location> should be the complete URL to the sitemap, such as: "http://www.example.org/sitemap.xml" (however, see the ).
Это можно сделать следующим образом:* указав местоположение файла Sitemap в файле robots.txt* выслав HTTP-запросЗатем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.