com.github.xjtushilei:scriptspider (maven): ScriptSpider(SS) is a Java distributed crawler framework that supports hot swappable components. SS是一个java版本的分布式的通用爬虫，可以热插拔各个组件（提供默认的），自动切换代理，自动结构化数据与存储。使用redis，分布式调度等技术。 
Keywords: distributed-systems|java|redis|spider|thread-pool