Kod stanu HTTP 403 Forbidden i pozostałe kody stanu HTTP 4xx są interpretowane jako informacja, że plik robots.txt nie istnieje. Oznacza to, że roboty zwykle przyjmują, że mogą zindeksować wszystkie adresy URL witryny. Aby zablokować indeksowanie witryny, plik robots.txt musi być zwracany z kodem stanu HTTP 200 OK i musi zawierać odpowiednią regułę disallow.