研究人员探寻了如何自动抓取深网内容。2001年，斯利拉姆·拉格哈瓦（Sriram Raghavan）和赫克托·加西亚·莫利纳（Hector Garcia-Molina）发明了一个从用户请求界面表格收集关键词的深网抓取模型并且抓取深网资源。加利福尼亚大学洛杉矶分校的Alexandros Ntoulas、Petros Zerfos和Junghoo Cho创建了一个自动生成有意义的查询词的程序。商业搜索引擎已经开始使用以上两种方法之一抓取深网。Sitemap协议（由Google于2005年首次开发并由G