質問: (質問)robotsメタタグでクロールしないように設定することはできますか?
回答: (回答)いいえ。 robotsメタタグにnoindexが設定されている場合でも、robotsメタタグが変更されたかどうかをチェックするために、クローラは、そのページを再クロールします。クロールしないようにするには、robots.txtのdisallowで設定します。