网络机器人 网络机器人英語Internet Bot也称为互联网机器人机器人或简称为bot机器人的缩写是一种在互联网上运行的软件它使用自动化的脚本执行大量简单任务能够高效完成人类短时间内难以完成的任务机器人能够以比人类快得多的速度执行简单重复的任务其最广泛的用途是网络爬虫例如网络爬虫机器人它可通过抓取网页上的信息来达到信息索引的目的互联网机器人在客户端服务器模型中扮演客户端角色而服务器角色通常由网络服务器扮演目前互联网上过半的流量来自网络机器人 网络服务器限制机器人的努力各不相同一些服务器有一个robotstxt文件其中包含管理该服务器上机器人行为的规则从理论上讲任何不遵守规则的机器人都可能被拒绝访问或从受影响的网站中删除如果发布的文本文件没有关联的程序软件应用程序则遵守规则完全是自愿的没有办法强制执行规则也没有办法确保机器人的创建者或实施者阅读或承认 robotstxt 文件有些机器人是良性的例如网络蜘蛛而另一些则被用于对政治运动发起恶意攻击有的服务器会利用验证码等技术来确保访问者是真人