Проход по страницам помогает оперативно индексировать новый контент. Это особенно полезно при добавлении новых или обновлении существующих страниц.