网络爬虫或蜘蛛是 Google 和 Bing 等搜索引擎使用的一种机器人。 他们的目标是对互联网上的网站内容进行索引，以便它们出现在搜索引擎结果中。