网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。爬虫还可以验证超连结和HTML代码，用于网络抓取（参见数据驱动编程）。
命名.网络爬虫也可称作网络蜘蛛、蚂蚁、自动索引程序（） ，或（在软件中）称为网络疾走（）。
概述.网络爬虫始于一张被称作种子的统一资源地址（URL）列表。当网络爬虫访问这些统一资源定位器时，它