Ένας από τους πιο συνηθισμένους λόγους για τους οποίους ο ιστότοπος δεν ευρετηριάζεται; μια απαγόρευση της ευρετηρίασης στο αρχείο robots. txt. Συχνά οι προγραμματιστές του ιστότοπου αποθηκεύουν τη δοκιμαστική έκδοση σε ξεχωριστούς τομείς ή υποτομείς. Ο δοκιμαστικός ιστότοπος αποκλείεται από την ευρετηρίαση με τη χρήση του robots.