Добавил robots.txt в роутинг, изменения в sitemap генераторе
доработан парсер