我的服务器不区分大小写。如何才能完全禁止对某些文件夹的抓取？
robots.txt 文件中的规则是区分大小写的。在这种情况下，建议您使用规范化方法确保编入索引的网址版本只有一个。这样可以降低 robots.txt 文件中的行数，方便您管理该文件。如果无法使用上述方法，那么我们建议您列出文件夹名称的常见组合，或者使用名称的前几个字符代替全称，尽量将其缩短。例如，您无需列出 /MyPrivateFolder 的所有大小写组合，只要列出 /MyP 的组合即可（前提是您确定不存在其他包含这些首字符的可抓取网址）。此外，如果不存在抓取问题，则可改用robots meta 标记或 X-Robots-Tag HTTP 标头。