现在使用标题+摘要
相同结果变相似结果
对所有类的代码进行全新的注释设计和异常设计。
并对Search_word_process类,page_thread类和pages_analysis类进行重构：
1.将Search_word_process类的handle()输入函数改为类的重载构造函数。
2.将access_to_appointed_page()整合入choose_engine_search_word()中去，并改名为handle_search_word_url()。调用时仅需调用handle_search_word_url()即可。
3.将所有与一个链接页面的访问和抓取有关的操作(包括抓取正文,更新URL,更新标题等)放在page_thread类中，而pages_analysis类中仅做管理线程操作。
修复了更新标题中的一个小BUG 并建立了一个测试用的链接正文抓取线程管理类 
不同之处是其并未实现多线程并发运行，而是顺序执行，用以在单个线程抓取时测试。
优化链接标题和url抓取初步成功
优化抓取过程 常规模式的摘要抓取完成 
采用直接提取<div class="c-abstract">的结点 而不依赖于主链接结点的相对位置关系
将搜索结果页面抓取过程中的百度与谷歌处理分开各自独立成单独函数
而抓取函数则负责处理parser的设置和switch基础搜索引擎等工作
这样分工更明确且代码可读性更好
在信息块中添加了link_num_from字段 并改进output()函数对私有值的访问提高效率
link_num_from用以表示是原来的第几个搜索结果
其从1 开始。其并非计算得来。而是由class="result"结点中的"id"值得到(百度的情况，谷歌貌似没有类似的id)。
优化抓取过程 谷歌引擎在常规模式中的链接标题、URL和摘要抓取完成
已知BUG 谷歌搜索结果页面中文编码有问题
解决优化抓取部分 百度判断是否是通常情况的一个小BUG  谷歌乱码问题仍未解决
在测试后发现如果使用下载在本地的html文件进行setResource的话 是可以进行正常的抓取的 (在serResource 后需
setEncoding("utf-8"))  
所以问题还是处在htmlparser自己内置网页的部分
抓取过程优化：解决谷歌搜索结果抓取存在的乱码问题 通过在谷歌的搜索URL中添加&oe=UTF-8字段，
已知BUG：1.谷歌部分仍存在不稳定的问题。时常会挂connect reset 异常。
而且有些关键词抓取的速度出奇的慢。但可能下次同样的关键词进行搜索却很快出结果。
2.谷歌部分抓出的结果和用浏览器访问URL不完全一致。目前尚未找到问题原因。
3.谷歌抓出的谷歌跳转URL无法进行正文抓取。
解决谷歌跳转URL无法访问的问题
发现真实的URL内嵌在谷歌跳转URL中 通过String类的一些函数将其取出来了
另，发现各链接在访问时会出现很多异常 如：
Exception getting input stream from
connection reset等
尚未解决
优化抓取过程：基本解决在百度抓取中的链接摘要为<font size="-1">形式的非常规情况。
另添加了几种 对摘要中可能出现的HTML转义字符的替换
已知BUG：若快照的信息也在<font size="-1">结点中 则无法排除百度快照四字之前的-
对HTML转义字符做小更改  尝试采用textnode的正文抓取模式 尚未成功
基本完成对TextTag法的正文抓取优化
效果还算可以接受，基本取出了style或script代码，但有时仍会混入。
改进正文对空格回车制表符的替换。保留制表符和空格并删去回车。为以后可能通过在相邻几个空格之间字符聚集的密度来进行正文的进一步提取。但这个想法目前尚无法实现。
已知BUG：1.对百度文库和道客巴巴这样的文库网。无法取得真是正文
2.发现部分403 forbidden是由于使用parser被服务器拒绝。
抓取部分Release 1.1
与之前用于第一次整合的发布版本的主要改变是：
1.大幅重构了代码：强调了各个功能部分(类)之间的逻辑联系和分工
2.增加了比较正规的注释设计：包括各个类和函数方法的javadoc以及其余块注释等
3.优化了结果页面抓取过程：减少了百度发生异常的情况 并改善了谷歌的整个抓取过程
4.优化了正文抓取过程：增加了一种采用TextTag结点抓取正文的方法。相比之前的连续纯文本阈值法，效果有所加强。
已知BUG：
1.在结果页面抓取过程中：可能出现谷歌反应太慢和有时崩溃的情况，暂时无法解决。
2.在结果页面抓取过程中：谷歌取出结果可能与用浏览器访问的结果不完全一样，暂时不明原因。
3.在结果页面抓取过程中：对于百度的一些集合链接(result-op)处理可能效果不理想。
4.在正文抓取过程中：会遇到403forbidden异常导致无法抓取(如CSDN)，是由于其服务器对爬虫的封锁，暂时无法解决。
5.在正文抓取过程中:可能遇到connection reset等异常，暂时不明原因。
6.对于正文抓取：虽然情况有一定改善，但精准度还是比较低。时常会混入不相关的信息。
7.对于正文抓取：有时会混入HTML实体名称或编号。虽然已经对一些转义字符作了处理，但是如果遇到文字的HTML实体编号还是无法转化成正常的字符。
8.正文抓取对于类似百度文库和道客巴巴等站点的正文抓取仍毫无办法。
为单元测试做准备 补上了搜索关键词处理模块中对基础搜索引擎代码非法时默认处理为百度的设计的实现。
该处能自动处理并继续执行，但仍抛出异常，建议外部函数重新检查输入的参数并重新执行
Merge remote-tracking branch 'origin/daniel' into oubeichen

Conflicts:
	src/crawl/Page_thread.java
	src/crawl/Search_word_process.java
	src/testmain/Search_reduplication_removing.java
实现了url的异步刷新，以及后台聚类。前台第一次搜索对应关键词的对应页码时，显示的是百度跳转的url，以及基于百度摘要的聚类。同时在后台进行基于网页全文的聚类，完成后返回给前台，前台异步刷新url。但有重复访问的BUG，想法：后台组织一个队列，当前操作在队列中则不处理。