Diğer 4xx HTTP durum kodları gibi 403 Forbidden HTTP durum kodu da robots.txt dosyasının var olmadığı şeklinde yorumlanır. Yani, tarayıcılar genellikle web sitesinin tüm URL'lerini tarayabileceklerini varsayar. Web sitesinin taranmasını engellemek için robots.txt dosyasının hem 200 OK HTTP durum kodu ile döndürülmesi hem de uygun disallow kuralı içermesi gerekir.