質問: robots.txt ファイルを含むすべての URL に対して `403 Forbidden` を返しています。それでもまだサイトがクロールされるのはなぜですか?
回答: `403 Forbidden` HTTP ステータス コードとその他の 4xx HTTP ステータス コードは、robots.txt ファイルが存在しないものとして解釈されます。つまり、通常、クローラはウェブサイトのすべての URL をクロールできるものと判断します。ウェブサイトのクロールをブロックするには、`200 OK` HTTP ステータス コードで、`disallow` ルールを適切に指定した robots.txt を返す必要があります。