解决了在爬取一段时间后找不到网页的情况

通过设置request的dont_filter属性，对未请求成功的网页进行再次请求，解决了获取不到网页的问题
轮换agent，添加代理

解决爬虫被禁的问题