code4craft/webmagic — pull request #168 by zhugw (2014-11-01 09:50:11+00:00)
Title: 针对增量内容的抓取所做的更改 

抱歉！ Github用的还不熟，可能有些乱， 请忽略pom.xml的修改。
全量抓取完后，以后只想抓取最新的内容，如菜谱网站，抓取了几十万个菜谱后，之后只想定时抓取一下最新创建的菜谱。而我现在提交的修改就是针对抓取新增内容所做的修改。使用的是FileCacheQueueScheduler。
大概思路是这样：
Spider中增加一boolean属性crawlNewAdded，表示是否抓取增量。 增量抓取时，该属性设为true。
在ModelPageProcessor.extractLinks时为每个request做一下标记，是targeturl还是helpurl。
在DuplicateRemovedScheduler.push方法中，若该url已存在，继续做如下判断：
if(crawlNewAdded && HelpUrl){ // 抓取增量 且是 HelpUrl
// 放入队列 但不持久化到文件
}

希望你能帮忙评审一下，看看该方案是否可行？谢谢！