code4craft/webmagic — pull request #167 by zhugw (2014-11-01 08:43:02+00:00)
Title: Update FileCacheQueueScheduler.java

感觉FileCacheQueueScheduler与DuplicateRemover功能耦合了，本来去重只是DuplicateRemover的工作， 而FileCacheQueueScheduler中也有一个urls成员属性(set)， 且在构造方法中初始化了一个DuplicateRemover与默认的HashSetDuplicateRemover没有什么区别（除了一个是LinkedHashSet，一个是Sets.newSetFromMap(new ConcurrentHashMap())外）。并且假如内存有瓶颈想改用BloomFilterDuplicateRemover的话， 成员属性urls还在，初始化时（readUrlFile方法）还是会往里添加url元素，且这时该urls集合纯粹是多余的，白占内存而已，使用BloomFilterDuplicateRemover节约内存的目的也不能达成。鱼与熊掌（内存与准确），皆不能得。故做了上述的修改。