收到 403 Forbidden (禁止存取) HTTP 狀態碼以及其他所有 4xx HTTP 狀態碼時，系統會解讀為 robots.txt 檔案不存在。這表示在一般狀況下，檢索器會假設自己能夠檢索網站的所有網址。如要禁止 Google 檢索該網站，您必須使用 200 OK (確定) HTTP 狀態碼照常傳回 robots.txt，且必須在檔案中加入適當的 disallow 規則。