English: These pages are retrieved by a web crawler (also known as a spider) - an automated web browser which follows every link it sees, exclusions can be made by the use of robots.txt.
Telugu: ఈ పేజీలు అది చూసే ప్రతీ అనుసంధానాన్ని అనుసరించే, దానిమటుకు అది పనిచేసే వెబ్ బ్రౌజర్ అయిన ఒక వెబ్ క్రాలర్ (కొన్నిసార్లు ఒక స్పైడర్ అని పిలువబడుతుంది) ద్వారా వెలికితీయబడతాయి. robots. txt ను ఉపయోగించటం ద్వారా మినహాయింపులు చెయ్యవచ్చు.