添加对robots.txt中规则的处理