标题：火车头采集器
功能应用
火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定  火车头采集器标志[1]义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车采集器，系统自带的模块文件支持:风讯文章，动易文章，动网论坛，PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,魔力论坛，Dedecms文章,Xydw文章,惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。
LocoySpider采用Visual C#编写，可独立在Windows2008下运行（windows2003 自带.net1.1框架。最新版的火车采集器是2008版，需要升级到.net2.0框架才能使用），如您在Windows2000、Xp等环境下使用，请先到微软官方下载一个.net framework2.0或更高环境组件。火车采集器V2009 SP2 04月29日火车采集器数据抓取原理：火车采集器如何去抓取数据，取决于您的规则。您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并保存下来。如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。火车采集器数据发布原理：在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。
1、不做任何处理。因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。
2、Web发布到网站。程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。
3、直接入数据库。您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。
4、保存为本地文件。程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。火车采集器工作流程：火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。这两个过程是可以分开的。
1、采集数据，这个包括采集网址，采集内容。这个过程是获得数据的过程。我们做规则，在采的过程中也算是对内容做了处理。
2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。可以用WEB在线发布，数据库入库或存为本地文件。
具体的使用其实是很灵活的，可以根据实际来决定。比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。总之，具体过程由您而定，火车采集器的强大功能之一也就是体现在灵活中。
更新列表
改进了PHP接口的功能，php接口接收和返回整个标  火车头采集器界面签内容数组集合，支持各个标签间相互调用及处理 标签内增加不得重复的设置，可以对过滤掉重复的标签内容了！（不只是简单的网址重复过滤） 对采集过程中出现错误的记录有错误处理机制了。以前网络出现错误时一样会标记为采集成功。 去掉了免费版内2%的随机广告. 添加了标签结果不符合要求的处理方法，全局设置内增加可选是否删除或标记为已采的选项 修复了附件下载时中文乱码及多次跳转无法得到正确文件名的bug ubb发表添加了表格支持 web发布时自动加载需要的标签 修改了智能提取标签时提取了缩略图的bug 模块编辑器支持update语句. 优化了中文分词模块 
优化了ftp上传模块，将不再出现文件已经实际下载却提示未找到任务可以上传文件的情况 修正了入库配置里端口的设置显示问题. 解决了因sql语句大小写问题导致入库不成功的bug. 修正了explorer意外结束后程序托盘图标无法显示的问题. 循环采集时内容合并的间隔符号,不能是半角空格的bug 修复了部分版本中任务列表框在三个步骤全不选后任务自动消失的bug. 修复了自动运行中部分情况下不能自动停止及采完网址不继续采内容的bug. 修复了导入带有从文件导入网址的任务规则时文本文件没有同步导出的bug. 修复了web上传文件时[本地文件循环:标签]中标签的设置不起作用及所有的类型均是text/plain的bug.
更新修复
1.修复了采集内容或网址时出错导致程序退出的问题.
2.下载文件并下载时文件地址错误导致程序退出的问题.
3.使用插件时测试发布使用的数据不是插件处理后的数据的bug.
4.修正了一个智能提取时SY标签提取错误的问题.
5.列表页标签部分情况下提示重复的bug.
6.在分词或摘要时不存在某个标签时可能出错的bug.
7.在采集时提供了更多的细节显示.更方便用户查看进度.
8.探测文件并下载给加了不区分大小写功能.
9.修复倒序发布时部分次序不对的问题.
10.MSsql会出现 所唯一索引之类的问题.
11.内置浏览器访问某些网站出错的问题.
12.网址库过大时提示内存不足的问题.
13.全局设置[换行]不起作用的问题.
14.添加全局替换后部分情况下替换不起作用的问题.
15.使用自动更新时,如果设置错误的时间导致程序无法运行的问题.
16.以SqlServer做数据库时网址重复检测失败的bug.
17.导入导出时增加了文件夹的设置.
18.更新了加密程序,支持更高版本.net.
19.修复了以MySql做数据库时数据库错误会导致程序退出的bug.
20.修复了入数据库时,大小写错误引起入库失败的bug.
21.mysql中同时添加多个字段提示错误的bug.
22.修改了一个使用自定义网址过滤时不得包含不起作用的bug.
23.增强了检测文件并下载的功能.
24.自定义中时间网址生成的一个bug.
25.更新Sqlite驱动到最新版.
26.编辑任务修改和最后采集时间没有显示的bug.
27.修复了删除有索引的标签时错误的bug.
28.修复了测试采网址时显示的一个错误.
29.修复了当网址链接使用basehref时如果basehref不是根目录网址获取错误的bug.
30.增加了备份用户配置文件功能.
31.修复了删除有索引的标签时错误的bug.
32.修复了测试采网址时显示的一个错误.
33.修复了当网址链接使用basehref时如果basehref不是根目录网址获取错误的bug.
34.增加了备份用户配置文件功能.
35.修复了mysql中同时添加多个字段提示错误的bug.
36.修改了一个使用自定义网址过滤时不得包含不起作用的bug.
37.增强了检测文件并下载的功能.
38.自定义中时间网址生成的一个bug.
39.更新Sqlite驱动到最新版.
40.编辑任务修改和最后采集时间没有显示的bug.
41.Sqlite数据库压缩失效的bug.
42.http请求工具User-agent菜单第一项设置为本机User-Agent.
43.修复了企业版在使用直接入库时不下载图片的bug.
44.修复了当使用php插件时给标签赋值为null导致采集器退出的bug.
45.在处理不符合记录时,如删除记录,也会删除该记录所下载的文件.
46.增加了随机代理功能.该功能在旗舰版及更高版本中可用.
47.增加了任务完成后数据自检功能.
48.修复了标签替换时,如果出错,将弹出很多出错误框的提示的问题.
49.新增加一选项,当使用多个发布配置时,如果没有全部发布成功,可以设置为已发或未发.
50.增加代码调试,当Web发布失败时,将返回所有的采集器提交的数据及返回的数据.
51.处理了部分FTP上传时提示 在其上下文中，该请求的地址无效 的问题.
52.修复提取内容图片为缩略图时不下载时不保存图片地址的bug.
53.FTP上传文件时没显示进度条的小bug.
54.增加任务运行时禁止修改任务名,防止修改任务名后出现采集错误.
55.将网址采集重复的累计计算方法改成原来的正确的连续重复计算方法.
56.优化采集过程,减少系统资源使用.
57.将同时运行任务数限制取消.
58.更新本地数据导出CSV工具到2010版.
59.修复批量工具中整个站点删除不起作用的bug.
60.关键词替换支持读取utf-8格式文件.
61.解决"请检查是否数据库呈打开锁定状态"的bug.
62.解决了部分情况下出现 "Attempted to read or write protected memory" 的bug.
63.解决系统设置里里分隔符会无效的问题.
64.添加了标签间调用功能.
65.文件保存地址支持标签调用.
66.解决在用户自定义系统时间后,任务无法保存的bug.
新增功能
[1]无限级多页采集
任务队列运行管理功能
无限级分组任务管理，任务回收站功能
RSS地址采集功能
列表页分页采集获取功能
列表页附加参数获取功能
列表页及标签XPath可视化提取功能
标签纯正则替换功能
Http接口查看运行情况
导出记录为单个或多个Txt、html 文件
标签间自由组合功能
针对标签内容继续发送Http请求功能
无限级列表网址采集
从Http头信息中获取数据
标题内容正文提取功能
Aspx列表分页自识别
多网站站群式web发布
导出记录为Word格式
导出所有记录为Excel格式
使用随机二级代理服务器(支持Socket代理)
多扩展间数据交换功能
下载的图片自动加增强型水印功能
Ocr识别(图片转化为文字)
Http接口管理采集器运行
Mongodb数据库保存数据
主从服务器分布式采集
采集器
2012-05-16更新
1.屏蔽掉httpwebpost中浏览器的脚本错误提示
2.修复使用偏好中的采集器没有开机启动和关闭窗口选项没有启用的bug
3.对mysql和sqlserver做本地服务器建了索引，解决了大数据量时查询出错的问题
4.细节修改，如在线发布里面的COOKIS可以全选，多页默认传前页user-agent给多页
5.增加了多个任务在只使用一个任务运行窗口，减少资源使用
6.更改任务运行完关机方式为只生效一次
7.修复一个当多页获取为空时网址成默认页的bug
8.插件中没有处理 UseGetStepUrls 的bug
9.httpserver 增加了列表分组，自动启动，和新建任务返回分组和任务id
10.对用户对标签组合再次标签组合进行了允许处理。
11.修复对列表获取的内容，部分情况下会补全的bug
12.修复多页管理时特殊情况下新建标签没有保存的bug
13.修复部分情况下标签提取大小写无效的bug
14.修复如果一个标签出现多次时间转换转换部分无效的bug.
15.修复了ubb转换中部分转换错误的bug.
16.增加了将下载地址保存为html文件的功能。
17.增加了web发布时网页超时设置
18.修复本地数据库使用Access时任务数据批量工具清理已发数据无效的bug.
19.修复任务完成后关机设置取消后还会再提示关机的bug
20.修改部分电脑上Mongodb服务不能识别的bug
术语介绍
采集规则：采集规则分为站点规则和任务规则，通常是指任务规则。所谓采集规则就是要采集一个网站时在软件里进行的设置。这个设置可以从软件里导出保存成一个文件并可以再导入到软件里。站点规则文件的后缀名为：.lsite；任务规则文件的后缀名为：.ljob。采集任务：采集任务又简称为任务。它是采集规则和发布规则的总和。也是采集规则和发布规则的载体。采集规则和发布规则的设置通过在任务编辑框里进行设置。从采集器里导出的采集规则文件（.ljob后缀的）也可称为任务规则。导入导出任务规则就是指导入导出.ljob文件。发布模块：发布模块又称为发布规则，通常是指数据库发布模块或者WEB发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地（比如：指定数据库，网站中）时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为：.jhc；WEB在线发布模块文件的后缀名为：.cwr。
（采集规则和发布模块都可以从采集器里导出，也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来，发布模块负责将采集的数据发布到网站中。可见，采集规则的编写和修改和被采集的网站有关系，而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块（频道）里发布，需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布，需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。）发布接口：发布接口就是一个小的页面程序通常和WEB发布模块配合使用。WEB在线发布（使用WEB发布模块）是将采集的数据以POST方式发送到网站页面程序中由网站程序处理数据。而发布接口就是为了满足特定需求而写的一个网站的页面程序（如：PHP页面，ASP页面等）。然后采集器通过WEB在线发布将数据发送到这个接口文件由这个接口文件处理数据。接口文件通常放在服务器网站某个目录下。简单的说就是采集器将采集的数据发送到接口文件中，接口文件得到数据后去处理数据。使用发布接口用户可以更加灵活自由的处理采集器发送的数据。插件：火车采集器里的插件分为PHP插件和.NET插件两种。标准版支持PHP插件，企业版支持PHP插件和.NET插件。插件可以让用户通过自己写PHP程序或者.NET程序放到采集器中对采集的数据进行处理。采集数据数据在四个地方可以使用插件，分别为：采网址时、采内容时、采多页时，保存时。　　发布数据：发布数据就是将采集到的数据发布到指定的目的地，火车采集器支持四种发布方式。
方式一：Web在线发布到网站　　这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程序，由网站后台程序去处理数据通常后台程序讲数据存入网站数据库中。
方式二：保存为本地文件　　这种方式可以将采集的数据发布到本地的文件中，采集器支持保存成Txt格式、Csv格式和Html格式。
方式三：导入到自定义数据库　　这种方式可以通过采集器连接到其他数据库从而将采集的数据从软件内置数据库中导入到其他的数据库中，目前采集器支持连接Mysql、Access、Oracle、MSsql数据库。
方式四：保存为本地Sql文件（Insert语句）　　这种方式是将采集的数据导出保存成Insert语句，可以用于在数据库的管理工具中执行插入数据。本地编辑数据：采集器不仅可以采集发布数据，还可以将采集下来的数据经过编辑以后再发布。支持批量替换，通过SQL语句批量处理以及在文本编辑框里编辑。