메타 검색 엔진

섬네일|right|255x255px|메타 검색 엔진의 구조

**메타 검색 엔진**(metasearch engine) 또는 **[[검색 애그리게이터]]**는 웹 검색 엔진의 데이터를 사용하여 자체적인 결과를 생성하는 온라인 정보 검색 도구이다. 메타 검색 엔진은 사용자의 입력을 받아 즉시 여러 검색 엔진에 결과를 쿼리한다. 충분한 데이터가 수집되면, 이를 순위화하여 사용자에게 제시한다.

스팸과 같은 문제들은 결과의 정확도와 정밀도를 떨어뜨린다. 퓨전(Fusion) 공정은 메타 검색 엔진의 설계를 개선하는 것을 목표로 한다.

메타 검색 엔진의 예로는 온라인 여행사 및 제공업체 웹사이트의 검색 결과를 통합하는 스카이스캐너와 Kayak.com이 있다. SearXNG는 인터넷 검색 엔진과 위키백과 같은 기타 소스의 결과를 통합하는 일반적인 자유 소프트웨어 및 오픈 소스 검색 소프트웨어로, 70개 이상의 SearXNG 제공업체를 통해 무료로 제공된다.

## 역사
메타 검색의 아이디어를 처음 도입한 사람은 워싱턴 대학교 학생인 에릭 셀버그이며, 그는 1995년에 자신의 메타크롤러 실험에 관한 논문을 발표했다. 이 검색 엔진은 2024년 현재까지도 사용 가능하다.

1996년 5월 20일, 당시 와이어드가 소유했던 핫봇은 잉크토미와 다이렉트 히트 데이터베이스에서 검색 결과를 가져오는 검색 엔진이었다. 빠른 결과와 검색 결과 내 검색 기능으로 잘 알려져 있었다. 1998년 라이코스에 인수된 후 검색 엔진의 개발이 정체되었고 시장 점유율이 급격히 하락했다. 몇 번의 변경을 거쳐 핫봇은 단순화된 검색 인터페이스로 재설계되었으며, 그 기능은 라이코스의 웹사이트 재설계에 통합되었다.

1997년 다니엘 드라이링거는 이전 경험을 바탕으로 우선순위를 정할 적절한 검색 엔진을 자동으로 선택할 수 있는 실험적인 메타 검색 엔진인 SavvySearch에 관한 논문을 발표했다.

1999년 보 슈와 서바시 칵에 의해 Anvish라는 메타 검색 엔진이 개발되었으며, 검색 결과는 순간 학습 신경망을 사용하여 분류되었다. 이는 나중에 Solosearch라는 다른 메타 검색 엔진에 통합되었다.

2000년 8월, HumHaiIndia.com이 출시되면서 인도 최초의 메타 검색 엔진이 등장했다. 이는 당시 16세였던 수미트 람바가 개발했다. 이 웹사이트는 나중에 Tazaa.com으로 브랜드명이 변경되었다.

Ixquick은 개인정보 보호 정책 선언으로 잘 알려진 검색 엔진이다. 1998년 데이비드 보드닉이 개발하여 출시했으며, Surfboard Holding BV가 소유하고 있다. 2006년 6월, Ixquick은 Scroogle과 동일한 절차에 따라 사용자의 개인 정보를 삭제하기 시작했다. Ixquick의 개인정보 보호 정책에는 사용자 IP 주소 기록 안 함, 식별용 쿠키 사용 안 함, 개인 데이터 수집 안 함, 제3자와의 개인 데이터 공유 안 함 등이 포함된다. 또한 결과가 별점으로 표시되는 독특한 순위 시스템을 사용한다. 결과에 별이 많을수록 더 많은 검색 엔진이 해당 결과에 동의했음을 의미한다.

2005년 4월, 당시 인포스페이스사가 소유하고 운영하던 도그파일은 피츠버그 대학교 및 펜실베이니아 주립 대학교 연구진과 협력하여, 웹 검색 시 메타 검색 엔진 사용의 이점을 측정하기 위해 주요 웹 검색 엔진의 중복 및 순위 차이를 측정했다. 결과에 따르면, 구글, 야후!, 애스크 지브스의 10,316개 무작위 사용자 쿼리 중 특정 쿼리에 대해 검색 엔진 간에 동일한 첫 페이지 검색 결과는 3.2%에 불과했다. 그해 말 구글, 야후!, MSN 검색, 애스크 지브스의 12,570개 무작위 쿼리를 사용한 다른 연구에서는 검색 엔진 간 동일한 첫 페이지 결과가 1.1%에 불과한 것으로 나타났다.

한국의 경우 1995년에 최초의 한글검색엔진인 '코시크(kor-seek)'와 1996년에 서비스를 시작한 '까치네'의 두 검색엔진을 동시에 검색해주기 위해 서비스를 개시한 미스다찾니가 최초의 메타검색엔진으로 알려져 있다.

## 장점
여러 검색 엔진에 다중 쿼리를 전송함으로써 주제의 범위 데이터를 확장하고 더 많은 정보를 찾을 수 있게 해준다. 이들은 다른 검색 엔진이 구축한 인덱스를 사용하여 결과를 집계하고 독특한 방식으로 후처리하는 경우가 많다. 메타 검색 엔진은 동일한 노력으로 더 많은 결과를 검색할 수 있기 때문에 단일 검색 엔진보다 유리하다. 또한 사용자가 리소스를 찾기 위해 서로 다른 엔진에서 개별적으로 검색어를 입력해야 하는 수고를 덜어준다.

메타 검색은 사용자의 검색 목적이 주제의 개요를 파악하거나 빠른 답변을 얻는 것일 때 유용한 접근 방식이다. 야후!나 구글과 같은 여러 검색 엔진을 거치며 결과를 비교할 필요 없이, 메타 검색 엔진은 결과를 빠르게 수집하고 결합할 수 있다. 추가 후처리 없이 각 엔진의 결과를 나열하거나(도그파일), 결과를 분석하고 자체 규칙에 따라 순위를 매기는 방식(IxQuick, 메타크롤러, Vivismo)으로 수행할 수 있다.

또한 메타 검색 엔진은 쿼리된 검색 엔진으로부터 검색자의 IP 주소를 숨길 수 있어 검색에 대한 프라이버시를 제공할 수 있다.

## 단점
메타 검색 엔진은 쿼리 양식을 구문 분석하거나 쿼리 구문을 완전히 번역할 수 있는 능력이 부족하다. 메타 검색 엔진에 의해 생성되는 하이퍼링크의 수는 제한되어 있어 사용자에게 쿼리의 완전한 결과를 제공하지 못한다.

대부분의 메타 검색 엔진은 단일 검색 엔진으로부터 10개 이상의 연결된 파일을 제공하지 않으며, 일반적으로 대규모 검색 엔진과 결과를 위해 상호작용하지 않는다. 클릭당 지불(PPC) 링크가 우선시되어 보통 가장 먼저 표시된다.

또한 메타 검색은 특히 대중적이거나 흔한 정보를 검색할 때 쿼리된 주제에 대해 더 많은 범위가 커버되고 있다는 착각을 불러일으킨다. 쿼리된 엔진들로부터 여러 개의 동일한 결과를 얻는 경우가 흔하다. 또한 사용자가 쿼리와 함께 전송할 고급 검색 구문을 사용하여 검색하기가 더 어렵기 때문에, 특정 엔진에서 고급 검색 인터페이스를 사용할 때만큼 결과가 정밀하지 않을 수 있다. 이로 인해 많은 메타 검색 엔진이 단순 검색 방식을 사용하게 된다.

## 작동 방식
메타 검색 엔진은 사용자로부터 단일 검색 요청을 받는다. 이 검색 요청은 다른 검색 엔진의 데이터베이스로 전달된다. 메타 검색 엔진은 웹 페이지의 데이터베이스를 생성하지 않고, 여러 소스로부터의 데이터 통합을 통한 연합 데이터베이스 시스템을 생성한다.

모든 검색 엔진은 고유하며 순위화된 데이터를 생성하기 위한 서로 다른 알고리즘을 가지고 있기 때문에 중복이 발생하게 된다. 중복을 제거하기 위해 메타 검색 엔진은 이 데이터를 처리하고 자체 알고리즘을 적용한다. 수정된 목록이 사용자에게 출력물로 생성된다. 메타 검색 엔진이 다른 검색 엔진에 접촉할 때, 해당 검색 엔진들은 세 가지 방식으로 응답한다:

* 메타 검색 엔진과 협력하여 인덱스 데이터베이스에 대한 비공개 액세스를 포함한 인터페이스에 대한 완전한 액세스를 제공하고, 인덱스 데이터베이스의 변경 사항을 메타 검색 엔진에 알린다.
* 인터페이스에 대한 액세스를 거부하지도 제공하지도 않는 비협조적인 방식으로 행동할 수 있다.
* 메타 검색 엔진의 데이터베이스 액세스를 완전히 거부하는 적대적인 태도를 보일 수 있으며, 심각한 경우 법적인 방법을 모색할 수도 있다.

### 순위 구조
많은 검색 엔진에서 높은 순위를 기록한 웹 페이지는 유용한 정보를 제공하는 데 있어 더 관련성이 높을 가능성이 크다. 그러나 모든 검색 엔진은 각 웹사이트에 대해 서로 다른 순위 점수를 가지고 있으며 대부분의 경우 이 점수는 동일하지 않다. 이는 검색 엔진마다 점수 산정을 위해 우선시하는 기준과 방법이 다르기 때문이며, 따라서 어떤 웹사이트가 한 검색 엔진에서는 높은 순위에 나타나고 다른 엔진에서는 낮은 순위에 나타날 수 있다. 이는 메타 검색 엔진이 신뢰할 수 있는 설명을 생성하기 위해 이 데이터의 일관성에 크게 의존하기 때문에 문제가 된다.

### 퓨전
섬네일|데이터 퓨전 모델|286x286px

메타 검색 엔진은 더 효율적인 결과를 위해 데이터를 필터링하는 퓨전(Fusion) 프로세스를 사용한다. 사용되는 두 가지 주요 퓨전 방법은 컬렉션 퓨전(Collection Fusion)과 데이터 퓨전(Data Fusion)이다.

* 컬렉션 퓨전: 분산 검색이라고도 하며, 관련 없는 데이터를 인덱싱하는 검색 엔진을 구체적으로 다룬다. 이러한 소스들이 얼마나 가치 있는지 판단하기 위해 컬렉션 퓨전은 내용을 살펴본 다음 쿼리와 관련된 정보를 제공할 가능성에 따라 데이터의 순위를 매긴다. 생성된 결과로부터 컬렉션 퓨전은 순위에서 최상의 리소스를 선별할 수 있다. 이렇게 선택된 리소스들은 하나의 목록으로 병합된다.
* 데이터 퓨전: 공통 데이터 세트를 인덱싱하는 검색 엔진으로부터 검색된 정보를 다룬다. 프로세스는 매우 유사하다. 데이터의 초기 순위 점수가 단일 목록으로 병합된 후, 각 문서의 원래 순위가 분석된다. 높은 점수를 받은 데이터는 특정 쿼리에 대해 높은 관련성을 나타내므로 선택된다. 목록을 생성하려면 CombSum과 같은 알고리즘을 사용하여 점수를 정규화해야 한다. 이는 검색 엔진마다 채택하는 알고리즘 정책이 달라 생성된 점수를 직접 비교할 수 없기 때문이다.

## 스팸덱싱

스팸덱싱은 검색 엔진 인덱스를 의도적으로 조작하는 행위이다. 인덱싱 시스템의 의도와 일치하지 않는 방식으로 인덱싱된 리소스의 관련성이나 중요도를 조작하기 위해 여러 방법을 사용한다. 스팸덱싱은 검색 결과의 정밀도가 낮기 때문에 사용자에게 매우 괴로울 수 있고 검색 엔진에게는 문제가 된다. 이는 결국 검색 엔진이 사용자에게 신뢰할 수 없고 의지할 수 없는 존재가 되게 만든다. 스팸덱싱에 대처하기 위해 검색 로봇 알고리즘은 더욱 복잡해지고 있으며, 문제를 해결하기 위해 거의 매일 변경된다.

이는 메타 검색 엔진에 있어 큰 문제인데, 순위 목록을 구성하는 데 크게 의존하는 웹 크롤러의 인덱싱 기준을 변조하기 때문이다. 스팸덱싱은 검색 엔진의 자연스러운 순위 시스템을 조작하여 웹사이트를 원래 있어야 할 위치보다 순위 목록의 더 높은 곳에 위치시킨다. 이를 달성하기 위해 사용되는 세 가지 주요 방법은 다음과 같다:

### 콘텐츠 스팸
콘텐츠 스팸은 검색 엔진이 페이지 내용에 대해 가지는 논리적 관점을 변경하는 기술이다. 기술은 다음과 같다:
* 키워드 스터핑(Keyword Stuffing) – 페이지 내의 키워드 수, 다양성 및 밀도를 높이기 위해 계산된 키워드 배치
* 숨겨진/보이지 않는 텍스트 – 배경과 같은 색상을 사용하거나, 아주 작은 글꼴 크기를 사용하거나, HTML 코드 내에 숨겨서 위장한 관련 없는 텍스트
* 메타 태그 스터핑 – 메타 태그에 키워드를 반복하거나 사이트 내용과 관련 없는 키워드를 사용함
* 도어웨이 페이지(Doorway Pages) – 내용은 거의 없지만 관련성 있는 키워드나 문구를 담은 저품질 웹페이지
* 스크레이퍼 사이트(Scraper Sites) – 다른 웹사이트의 콘텐츠를 복사하여 웹사이트용 콘텐츠를 생성하는 프로그램
* 아티클 스피닝(Article Spinning) – 다른 사이트의 콘텐츠를 복사하는 대신 기존 기사를 다시 쓰는 것
* 기계 번역 – 기계 번역을 사용하여 콘텐츠를 여러 언어로 다시 작성하여 읽을 수 없는 텍스트를 생성함

### 링크 스팸
링크 스팸은 가치 이외의 이유로 존재하는 페이지 간의 링크이다. 기술은 다음과 같다:
* 링크 구축 소프트웨어 – 검색 엔진 최적화(SEO) 프로세스를 자동화함
* 링크 팜(Link Farms) – 서로를 참조하는 페이지들
* 숨겨진 링크 – 방문자가 볼 수 없거나 보지 못할 곳에 하이퍼링크를 배치함
* 시빌 공격(Sybil Attack) – 악의적인 의도로 여러 신원을 위조함
* 스팸 블로그 – 상업적 홍보와 대상 사이트로의 링크 권위 전달만을 목적으로 생성된 블로그
* 페이지 하이재킹(Page Hijacking) – 인기 있는 웹사이트의 사본을 유사한 콘텐츠로 생성하지만, 웹 서퍼를 관련 없거나 심지어 악성 웹사이트로 리디렉션함
* 만료된 도메인 구매 – 만료되는 도메인을 구매하고 페이지를 관련 없는 웹사이트로의 링크로 교체함
* 쿠키 스터핑 – 웹사이트 방문자의 컴퓨터에 본인 모르게 제휴 추적 쿠키를 심음
* 포럼 스팸 – 사용자가 편집하여 스팸 사이트로의 링크를 삽입할 수 있는 웹사이트

### 클로킹
이는 웹 크롤러와 웹 브라우저에 서로 다른 자료와 정보를 보내는 SEO 기술이다. 검색 엔진이 검색 엔진 설명과 실질적으로 다른 사이트를 방문하게 하거나 특정 사이트에 더 높은 순위를 부여하도록 속일 수 있기 때문에 스팸덱싱 기술로 흔히 사용된다.

## 같이 보기
* 검색 엔진 최적화

## 각주