如果你的网站较小，且索引符合你的预期，你可以不要robots.txt文件，主流搜索引擎足够聪明的去识别你的内容。但建议还是要有一个Robots.txt文件，因为搜索引擎访问网站时，首先就是查阅它。