웹 검색 엔진
역사

세계 최초의 인터넷 검색 엔진은 아키 검색 엔진(Archie Search Engine)이었다. 아키는 아카이브에서 v를 뺀 단어로, 1990년에 맥길대학교 컴퓨터 공학과에 재학 중이던 앨런 엠티지와 빌 힐런, 피터 도이치 3인이 만들었다. 이 프로그램은 공개 FTP 서버에 있는 모든 파일의 디렉토리 목록을 내려받아 검색가능한 데이터베이스로 만들었다. 하지만 아키는 색인과정을 거치지 않았기 때문에 용량 제한이 있었고, 수동으로 관리해야 했다.
고퍼의 성장으로 베로니카와 저그헤드라는 두개의 새로운 프로그램이 생겨났다. 고퍼는 미네소타 대학의 마크 맥카힐이 1991년에 만든 다단계 정보분류 통신규약이다. PC통신과 비슷한 것이었다. 아키처럼 베로니카나 저그헤드도 고퍼 서버에 저장된 파일명과 설명제목을 검색했다. 베로니카는 고퍼 목록에 있는 대부분의 제목 검색을 지원했다. 저그헤드는 몇몇 고퍼 서버의 메뉴 정보를 얻는 도구였다. 아키는 원래 만화책인 아키 시리즈와 관계없이 지어진 이름이지만 베로니카나 저그헤드는 그 시리즈의 주인공 이름이니, 이 후배들은 적어도 작명에서는 선배 검색도구를 나름 참조한 셈이다. (아키의 개발자인 엠테이지는 그 만화를 싫어했다.)
1993년 여름까지 수작업으로 만들어진 몇몇 목록들을 빼고는 웹을 위한 검색 엔진이 없었다. 제네바 대학의 오스카 니에르스트라츠는 이 목록들을 주기적으로 복사하여 표준화하는 펄 프로그램을 짰다. 이렇게 표준화된 목록은 1993년 9월 2일에 공개된 최초의 원시적 검색 엔진인 W3카탈로그의 기초가 되었다. 1993년 6월 MIT의 매튜 그래이는 아마도 첫 번째 웹 로봇이라 할 수 있는 웹 완더러를 펄 프로그램으로 개발했다. 웹 완더러를 이용해 그는 완덱스라는 웹 문서 색인을 만들었다. 웹 완더러는 웹 세상의 크기를 측정하기 위해 개발된 것으로 이 작업은 1995년 말까지 계속되었다. 웹의 두 번째 검색 엔진은 1993년 11월에 등장한 알리웹이었다. 알리웹은 웹 로봇을 쓰지 않고 웹사이트 운영자가 등록하는 형태로 운영되었다.
1993년 12월에 나온 점프스테이션은 웹 로봇으로 문서를 찾은 뒤에 색인을 구성했고, 검색어 넣는 프로그램도 웹으로 만들었다.  점프스테이션은 이후 설명할 문서수집-색인-검색이라는 검색 엔진의 세 가지 필수기능을 조합해 만들어진 첫 번째 검색 엔진이었다. 서버 성능 제약으로 색인은 문서의 제목과 하단의 목차 일부만 가능했다.
문서 전체를 검색해주는 최초의 엔진은 94년에 등장한 웹크롤러였다. 선배들과는 달리 어떤 페이지의 어떤 단어든 검색할 수 있게 개방된 형태였고 이는 이후 대부분의 주요 검색 엔진에서 사용된 방식이다. 웹크롤러는 대중에게 알려진 첫 번째 검색 엔진이기도 하다.
역시 94년에 나온 카네기 멜론대의 라이코스는 상업적 성공을 거둔 첫 번째 검색 엔진이다. 곧이어 수많은 검색 엔진들이 등장해 경쟁하기 시작했다. 예를 들어 마젤란, 익사이트, 인포시크, 잉크토미, 노던 라이트 그리고 알타비스타 등이다. 야후는 사람들이 원하는 웹사이트를 찾는 가장 대중적인 도구였지만 야후의 검색기능은 자체 구축한 웹사이트 디렉토리에 한정되었고, 웹문서 전체를 대상으로 하지는 않았다. 야후에서는 정보를 찾기 위해 키워드를 넣는 것과 디렉토리를 오가는 것 양쪽이 가능했다.
로봇검색 엔진의 검색로직이 모두 다르다 보니 특정 검색어에 따라 특정 검색 엔진의 결과가 좋을 수 있었다. 이러한 이유로 메타 검색 엔진이 등장하였는데, 메타 검색 엔진은 자체적으로 정보를 보유하고 있지는 않으면서, 다른 검색 엔진 서비스 회사들의 검색결과를 실시간으로 가져와 정리해서 보여주는 방식이다. 대한민국에도 1995년에 코시크(korseek)가 최초의 한글검색 엔진으로 소개되었다. 당시 인터넷에 영문 홈페이지만 등록할 수 있고 한글자료에 대한 검색이 어려웠던 터라서 코시크의 출범은 한국 웹의 확산에 크게 기여하게 된다. 이후 미스다찾니와 같은 메타 검색 엔진이 있었지만 지금은 사라졌으며, 대한민국 밖에서는 마이서치, 독파일 등이 서비스 되고 있다. 또한, 대한민국에서는 디렉토리 검색 엔진의 장점과 로봇 검색 엔진의 장점을 잘 혼합한 형태의 서비스가 등장하여 지금까지 주류를 이루고 있는데, 네이버, 다음 등이 그 대표적인 예이다.
구글은 1998년에 작은 검색 엔진 회사인 goto.com을 보고 키워드를 팔면 되겠다는 아이디어를 얻었다. 이것은 검색 엔진 사업에 큰 변화를 가져왔다. 인터넷 비즈니스의 가장 수익성 높은 수익모델이 된 것이다.
1996년 넷스케이프는 브라우저의 독점 기본 검색 엔진으로 쓸 검색 엔진을 찾고 있었다. 다섯개의 검색 엔진 회사가 관심을 보여 독점보다는 매년 번갈아가면서 년 500만 달러를 내고 공급하기로 했다. 야후, 마젤란, 라이코스, 인포시크, 익사이트가 그 다섯 회사였다.
90년대 말 인터넷 버블의 최고 수혜주는 검색 엔진이었다. 몇몇 회사는 기업공개를 하면서 엄청난 돈을 공모했다. 노던 라이트같은 회사는 대중서비스를 중단하고 기업형 검색 엔진을 만들어 공급하기도 했다. 묻지마투자는 99년과 01년 사이에 정점에 달했고, 많은 검색 엔진 회사가 이 닷컴 버블때 휘말려 사라졌다. 2000년 즈음부터 구글이 시장을 과점하기 시작했다. 구글은 페이지랭크로 알려진 혁신적인 기술을 이용해 더 나은 검색결과를 보여주고 있었다. 페이지랭크는 다른 사이트의 페이지랭크와 그 안에 담긴 링크들의 관계를 재귀적으로 조합하는 알고리즘으로 더 많이 링크된 곳이 더 좋은 사이트라는 가정이 적용된 것이다. 다른 경쟁자들이 검색 엔진을 웹 포털 서비스에 결합해서 운영한 것에 반해 구글은 검색 엔진 인터페이스를 최소화시켜서 유지했다.
2000년까지 야후는 잉크토미의 검색 엔진을 제공해왔다. 야후는 2002년에 잉크토미를, 2003년에 오버추어(올더웹과 알타비스타를 소유한)를 인수했다. 야후는 2004년에 인수한 회사와 자사의 기술력을 조합해 검색 엔진 서비스를 시작했다. MS는 잉크토미의 검색결과를 이용한 MSN 검색을 1998년 가을에 시작했다. 1999년 초에는 잉크토미 결과와 룩스마트 결과를 조합해 서비스했다. 잠시 알타비스타를 이용하기도 했다. 2004년에 MS는 자사 기술로 검색 엔진을 만들기 시작했다. MS는 2009년 6월 1일, 빙이라는 브랜드로 검색 엔진을 만들었고 6월 29일에 MS는 야후와 검색 엔진 공급계약을 발표했다.
이전까지의 검색 엔진은 좋은 정보를 찾아내기 위한 방법으로 사용자가 입력한 검색어와 동일한 단어가 들어가 있는 페이지를 찾는 즉 키워드 검색 엔진에 기반을 두어 왔다. 하지만 점차 의미 기반의 검색 기법이 활용되고 있다. 하키아 와 큐로보는 시맨틱랭크를 사용한다. 그리고 기존 검색 엔진의 요구와 달리 사용자 인터페이스면에서도 다른 시도가 늘고있다. 마이크로소프트사의 윈도우 비스타에 내장된 사용자 시각 인터페이스를 적용한, 서치미 와 레드지 등이 있으며, 한국에는 비주얼큐로보 가 있다.