lizherui/spider_python — pull request #6 by itomsawyer (2013-08-23 07:40:14+00:00)
Title: Add feature of EXCLUCE_KEYS which can blacklist specific keywords

将KEYS分成三类

WEB_FILTER_PRI_KEYS
WEB_FILTER_KEYS
WEB_FILTER_EXCLUDE_KEYS

只要包含PRI_KEYS的链接一定被抓取
其余的链接要包含KEYS且不包含EXCLUDE_KEYS才会被抓取

意图是如果关键词选择 校招，百度，阿里
那么阿里的社招也会被抓取，但这个内容我其实并不需要
但是阿里的[社招/校招]我还是需要的，所以一旦有校招就有抓取他的需求