O Código de status HTTP 403 Forbidden, assim como os outros
4xx, é interpretado como o arquivo robots.txt não existe. Isso significa
que os rastreadores geralmente presumem que eles podem rastrear todos os URLs do site. Para
bloquear o rastreamento do site, o robots.txt precisa ser retornado com um
Código de status HTTP 200 OK e precisa conter uma regra
disallow apropriada.