質問: googleはrobots.txtをキャッシュしますか? robots.txtファイルを1週間前に自分のサイトの1つに追加しました。これにより、googlebotが特定のurlを取得しようとしていなかったはずです。ただし、今週末、googlebotがそれらの正確なurlをロードしているのを見ることができます。googleはrobots.txtをキャッシュしますか?
回答: 頑張って。 robots.txtからメタnoindex、nofollowに変更しました。メタを機能させるには、robots.txtのブロックされたアドレスを最初にブロック解除する必要がありました。robots.txtを完全に削除して(そしてgoogleのウェブマスターで削除し)、残酷にこれを行いました。webmasterツールに表示されるrobots.txtの削除プロセス(ブロックされたページ数)が完了するまでに10週間かかりましたが、この2週間でgoogleによってのみ一括削除されました。