基于hadoop写的一个爬虫，虽然和hadoop海量数据输入不太相符，但是自动的集群管理，任务分配，负载平衡特点，也相当不错！