網路爬蟲 网络爬虫英語web crawler也叫網路蜘蛛spider是一种用来自动浏览万维网的网络机器人其目的一般为编纂网络索引 網路搜索引擎等站点通过爬蟲軟體更新自身的網站內容英语Web content或其對其他網站的索引網路爬蟲可以將自己所訪問的頁面保存下來以便搜索引擎事後生成索引英语Index search engine供用戶搜索 爬蟲访问网站的过程会消耗目标系统资源不少网络系统并不默许爬虫工作因此在访问大量页面时爬虫需要考虑到规划负载还需要讲礼貌 不愿意被爬虫访问被爬虫主人知晓的公开站点可以使用robotstxt文件之类的方法避免访问这个文件可以要求机器人英语Software agent只对网站的一部分进行索引或完全不作处理 互联网上的页面极多即使是最大的爬虫系统也无法做出完整的索引因此在公元年之前的万维网出现初期搜索引擎经常找不到多少相关结果现在的搜索引擎在这方面已经进步很多能够即刻给出高素质结果 爬虫还可以验证超連結和HTML代码用于网络抓取参见数据驱动编程