ફાળવણીમાંથી સમગ્ર સ્રોતને બાકાત કરવા માટે, સર્વરનાં રુટ ફોલ્ડર પર ચોક્કસ ટેક્સ્ટ ઝોન બનાવવામાં આવે છે કે જેના પર સાઇટ સ્થિત છે - ઉપર ઉલ્લેખિત robots. txt. આ ઝોન સર્ચ એન્જીન દ્વારા પ્રક્રિયા કરવામાં આવે છે અને સૂચના પ્રમાણે વાંચે છે.