आप Robots.txt File में Disallow करके किसी भी वेबपेज की Crawling को रोक सकते हैं।