クローラーを特定のページに近づけないようにすることは有効ですが、Googlebotに必要なページをすぐに見つけてもらうことも必要です。この目標は、Googlebotが簡単にサイト内をクロールできるようにすることで達成できます。サイトによっては、クローラーが到達できる壁のようなものがありますが、最初のトップページを越えることはできません。コンテンツがログインフォームの後ろに隠されている場合、クローラーはアクセスすることができません。 続きを読む