擎更佳有效的抓取网站内容。Google引入了Google网站地图使得网页开发者可以发布整个站点的链接列表。其基本假设是一些站点拥有大量动态页，而这些页面只能通过表单和用户登录来访问。网站地图文件可以被用来指引网络蜘蛛如何找到这类页面。Google、MSN、Yahoo以及Ask都支持网站地图协议。由于MSN、Yahoo、Ask以及Google使用同样的协议，因此拥有一个站点地图可使这四个最大的搜索引擎的页面信息保持最新。网站地图不保证所有的链接可被抓取，而被抓取了也不一定会做成索引。但是，一个站点地图