自定义user agent,cookie,timeout,proxy以及抓取线程和解析线程的最大数量。添加初始要抓取的url到任务队列。编写解析函数和数据持久化函数。启动爬虫。
3、例子
先来看下简单的爬虫例子,会在后面详细讲解例子。
#include/* 自定义的解析函数,d为获取到的html页面字符串 */ void p(cspider_t *cspider, char *d, void *user_data) { char *get[100]; //xpath解析html int size = xpath(d, "//body/div[@class='wrap']/div[@class='sort-column area']/div[@class='column-bd cfix']/ul[@class='st-list cfix']/li/strong/a", get, 100); int i; for (i = 0; i