一个重大发展为网路爬虫（WebCrawler），1994年搜寻引擎开始导入网站全文索引概念，它支援用户搜索认一网页中的认一个搜索词，而不是仅对网页标题进行索引。1994年，Carnegie Mellon 大学Michael Mauldin博士成立Lycos，开发以页面网址追踪的Robot技术，Infoseek也是同时期的一个重要代表，他们是搜寻引擎史上一个重要的进步。接着, Netherlands软体工程师 Martijin Koster, 提出Robots Exclusion Standard的 R