English: Robots.txt file is a typical text file which contains instructions on how web crawlers or bots should crawl a site.
Telugu: Robots. txt ఫైల్ అనేది వెబ్ క్రాలర్లు లేదా బాట్లను ఎలా సైట్ను క్రాల్ చేయాలో సూచనలను కలిగి ఉండే ఒక సాధారణ టెక్స్ట్ ఫైల్.