anderer的技术是第一个Spider Robot，并在Web上搜索索引页面目录的技术，而后Jonathon Fletcher创建了JumpStation系统，它是世界上第一个具备 抓取、索引和搜索-集于一体的搜寻引擎，接着搜寻引擎的另一个重大发展为网路爬虫（WebCrawler），1994年搜寻引擎开始导入网站全文索引概念，它支援用户搜索认一网页中的认一个搜索词，而不是仅对网页标题进行索引。1994年，Carnegie Mellon 大学Michael Mauldin博士成立Lycos，开发以页面网