Netherlands软体工程师 Martijin Koster, 提出Robots Exclusion Standard的 R E S概念，通过 robots.txt 抓取网址页面，网路资讯自动化搜索自此得到完整的发展架构。1995年12月AltaVista推出自然语言搜寻的搜寻引擎，具备了基于网页内容分析，智慧型处理的能力，第一个实现高级搜寻语法（例如:AND、OR、NOT等）。同时期还有inktomi、HotBot等搜寻引擎的竞争者。1996年Larry Page和Sergey Brin，为了