आप Robots.txt File के इस्तेमाल से किसी भी वेबपेज की Crawling को रोक सकते हैं.