Robots.txt robotstxt统一小写是一种存放于网站根目录下的ASCII编码的文本文件它通常告诉网络搜索引擎的漫游器又称网络蜘蛛此网站中的哪些内容是不应被搜索引擎的漫游器获取的哪些是可以被漫游器获取的因为一些系统中的URL是大小写敏感的所以robotstxt的文件名应统一为小写robotstxt应放置于网站的根目录下如果想单独定义搜索引擎的漫游器访问子目录时的行为那么可以将自定的设置合并到根目录下的robotstxt或者使用robots元数据Metadata robotstxt协议并不是一个规范而只是约定俗成的所以并不能保证网站的隐私注意robotstxt是用字符串比较来确定是否获取URL所以目录末尾有与没有斜杠表示的是不同的URLrobotstxt允许使用类似Disallow gif这样的通配符 其他的影响搜索引擎的行为的方法包括使用robots元数据 meta namerobots contentnoindexnofollow  这个协议也不是一个规范而只是约定俗成的有些搜索引擎会遵守这一规范有些则不然通常搜索引擎会识别这个元数据不索引这个页面以及这个页面的链出页面