让爬虫远离某些页面是有帮助的，但你也希望Googlebot能立即找到你的重要页面。你可以通过确保Googlebot能够轻松爬过你的网站来实现这一目标。有些网站就像一堵墙，爬虫可以到达，但它们不能越过最初的主页。如果你的内容被隐藏在登录表格后面，爬虫就无法访问它。 阅读更多