禁止 Google 抓取某个网页很可能会导致该网页从 Google 索引中被移除。
但是，robots.txt disallow 无法保证某一网页不会显示在搜索结果中：Google 仍可能会根据外部信息（如传入的链接）断定其具有相关性，并在搜索结果中显示该网址。如果您希望明确禁止某个网页被编入索引，请使用 noindex robots meta 标记或 X-Robots-Tag HTTP 标头。在这种情况下，请勿在 robots.txt 中屏蔽该网页，因为 Google 只有在抓取该网页后才能看到和遵循相关标记。了解如何控制与 Google 分享的内容