ઘણા પરિબળો છે, પરંતુ મુખ્યત્વે તેઓ સાઇટના માલિક (ઓ) દ્વારા સર્ચ એન્જિન સ્પાઈડરમાંથી તેમના પૃષ્ઠોને બાકાત રાખવા માટે તકનીકી અવરોધો અને / અથવા ઇરાદાપૂર્વકના નિર્ણયોમાં ઉકળે છે.