网络爬虫（），也叫网路蜘蛛（），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂。网路搜索引擎等站点通过爬虫软体更新自身的或其对其他网站的索引。网路爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成供用户搜索。爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。这个文件可以要求只对网站的一部分进行索引，或完全不作