質問: robots.txtでクロール禁止設定しているディレクトリのphpファイルに、googleのクローラと 思わしきドメインからアクセスがありました。(アクセスログを確認しました) robots.txtでクロール禁止していても、クローラからアクセスされるものなのでしょうか? お手数おかけしますが、宜しくお願い致します。 ◆アクセスのあったドメイン google-proxy-64-233-172-222.google.com rate-limited-proxy-72-14-199-175.google.com
回答: GoogleのProxy経由で(人間が)アクセスしているもので、クローラではないと思いますよ。