સર્ચ એન્જીન રોબોટ્સથી  તે પૃષ્ઠોને બંધ કરવી જરૂરી છે કે જે ઉપયોગી માહિતી લઈ શકતી નથી.