문서 검색

문서 검색(document retrieval)은 명시된 사용자 질의를 일련의 자유 텍스트 기록과 일치시키는 것으로 정의된다. 이러한 기록은 신문 기사, 부동산 기록 또는 설명서의 단락과 같은 주로 비정형 텍스트의 모든 유형일 수 있다. 사용자 질의는 정보 요구 사항에 대한 여러 문장의 완전한 설명에서 몇 단어에 이르기까지 다양하다.

문서 검색은 때때로 텍스트 검색이라고 불리거나 텍스트 검색의 한 분야로 불린다. 텍스트 검색은 정보가 주로 텍스트 형식으로 저장되는 정보 검색의 한 분야이다. 텍스트 데이터베이스는 개인용 컴퓨터 덕분에 분산되었다. 텍스트 검색은 모든 인터넷 검색 엔진의 근본적인 기반이 되므로 오늘날 중요한 연구 분야이다.

설명
문서 검색 시스템은 논리적인 지식 데이터베이스를 통해 추론하여 질문에 답하는 전문가 시스템과 달리, 텍스트 기록(문서)을 사용자 질의와 일치시켜 주어진 기준에 대한 정보를 찾는다. 문서 검색 시스템은 문서 데이터베이스, 전체 텍스트 인덱스를 구축하기 위한 분류 알고리즘, 그리고 데이터베이스에 접근하기 위한 사용자 인터페이스로 구성된다.

문서 검색 시스템에는 두 가지 주요 작업이 있다:
 사용자 질의와 관련된 문서 찾기
 일치하는 결과를 평가하고 페이지랭크와 같은 알고리즘을 사용하여 관련성에 따라 정렬하기

인터넷 검색 엔진은 문서 검색의 고전적인 응용 프로그램이다. 현재 사용되는 대다수의 검색 시스템은 단순한 불리언 시스템에서 통계적 또는 자연어 처리 기술을 사용하는 시스템에 이르기까지 다양하다.

변형
문서 검색 시스템을 위한 인덱싱 스키마에는 형태 기반(또는 단어 기반)과 내용 기반 인덱싱의 두 가지 주요 클래스가 있다. 사용 중인 문서 분류 체계(또는 인덱싱 알고리즘)는 문서 검색 시스템의 특성을 결정한다.

형태 기반
형태 기반 문서 검색은 문자열 검색의 부분 문자열 일치와 유사하게 텍스트의 정확한 구문적 속성을 다룬다. 텍스트는 일반적으로 비정형이며 반드시 자연어일 필요는 없으며, 예를 들어 분자 생물학에서 대규모 화학 표현 세트를 처리하는 데 시스템을 사용할 수 있다. 접미사 트리 알고리즘은 형태 기반 인덱싱의 한 예이다.

내용 기반
내용 기반 접근 방식은 문서와 그 일부 간의 의미론적 연결, 그리고 질의와 문서 간의 의미론적 연결을 활용한다. 대부분의 내용 기반 문서 검색 시스템은 역색인 알고리즘을 사용한다.

시그니처 파일은 빠르고 간단한 필터, 예를 들어 블룸 필터를 생성하는 기술로, 질의와 일치하는 모든 문서를 유지하고 바라건대 몇 개의 일치하지 않는 문서도 유지한다. 이는 각 파일에 대해 시그니처, 일반적으로 해시 코딩된 버전을 생성함으로써 이루어진다. 한 가지 방법은 중첩 코딩이다. 오탐을 제거하기 위한 후처리 단계가 수행된다. 대부분의 경우 이 구조는 속도, 크기 및 기능 면에서 역색인보다 열등하므로 널리 사용되지 않는다. 그러나 적절한 매개변수를 사용하면 특정 환경에서 역색인을 능가할 수 있다.

예시: 펍메드
펍메드 형태 인터페이스는 문서 제목, 초록 및 MeSH 용어에서 단어 가중 알고리즘을 사용하여 단어를 비교하는 "관련 기사" 검색 기능을 제공한다.

 같이 보기 

 복합 용어 처리
 문서 분류
 엔터프라이즈 검색
 평가 척도 (정보 검색)
 전문 검색
 정보 검색
 잠재 의미 색인
 검색 엔진

 각주 

추가 자료




 외부 링크 

 정보 검색의 형식적 기초, 버킹엄셔 칠턴스 대학교

분류:전자 문서