403 Forbidden HTTP 状态代码以及其他 4xx HTTP 状态代码代表 robots.txt 文件不存在。这意味着抓取工具一般会假定可以抓取该网站的所有网址。若要禁止抓取网站，您必须针对 robots.txt 返回 200 OK HTTP 状态代码，其中必须包含相应的 disallow 规则。