HTTrack HTTrack是一个自由开源的网络爬虫以及离线浏览器它的作者是泽维尔罗奇Xavier Roche在GNU通用公共授權條款GPL下发布 使用者可以通过HTTrack把互联网上的网站页面下载到本地计算机上在默认设置下HTTrack对网站页面的下载结果是按照原始站点相对链接的结构来组织的用网页浏览器打开这个被下载下来的网站也称作镜像的页面就可以离线浏览了 HTTrack也能对已经镜像过的站点进行更新或者是对中断了的工作断点续传可以通过选项和过滤器includeexclude配置HTTrack的方方面面它还整合有帮助系统它有一个基本的命令行版本和两个GUI为Windows设计的WinHTTrack和为Unixlike系统设计的WebHTTrack命令行版本可以和Shell脚本Shell script以及cron联用 HTTrack使用网络爬虫下载网站对于有robotstxt的网站如果不在程序运行时取消限制默认设置下的程序不会把网站完全镜像HTTrack能跟随基本的JavaScript或者AppletFlash中的链接但是对于复杂的链接使用函数和表达式创建的链接或者服务器端的Image Map英语Image Map则无能为力