通过"user-agent"的头字段传送的。网络机器人，例如网络抓取工具，通常也会在用户代理的字串中包含bot的操纵者的连络资讯，例如一个URL或一个电子邮件地址，以便网站管理员可以用来连络操纵者。在HTTP中，User-Agent字符串通常被用于内容协商，而原始服务器为该响应选择适当的内容或操作参数。例如，User-Agent字符串可能被网络服务器用以基于特定版本的客户端软件的已知功能选择适当的变体。通过使用robots.txt文件的可以设定网络抓取工具对网站的部分访问与否，而其设定标准之一就是用