정보 필터링 시스템

정보 필터링 시스템(Information filtering system)은 인간 사용자에게 표시되기 전에 (반)자동화 또는 컴퓨터화된 방법을 사용하여 정보 스트림에서 중복되거나 원치 않는 정보를 제거하는 시스템이다. 주요 목표는 정보 과다를 관리하고 의미론적 신호 대 잡음비를 증가시키는 것이다. 이를 위해 사용자 프로필을 일부 참조 특성과 비교한다. 이러한 특성은 정보 항목(콘텐츠 기반 접근 방식) 또는 사용자의 사회적 환경(협업 필터링 접근 방식)에서 비롯될 수 있다.

정보 전송 신호 처리에서 필터는 비트 수준에서 문맥을 방해하는 잡음에 대해 사용되는 반면, 정보 필터링에 사용되는 방법은 의미적 수준에서 작동한다.

사용되는 기계 방법의 범위는 정보 추출과 동일한 원리를 기반으로 한다. 주목할만한 응용 프로그램은 이메일 스팸 필터 분야에서 찾을 수 있다. 따라서 어떤 형태의 필터가 필요한 것은 정보의 폭발뿐 아니라 부주의하거나 악의적으로 유입된 의사 정보이기도 하다.

프레젠테이션 수준에서 정보 필터링은 사용자 기본 설정 기반 뉴스피드 등의 형태를 취한다.

추천 시스템과 콘텐츠 검색 플랫폼은 사용자가 관심을 갖고 있는 정보 항목(영화, 텔레비전, 음악, 책, 뉴스, 웹 페이지)을 사용자에게 제시하려고 시도하는 능동형 정보 필터링 시스템이다. 이러한 시스템은 사용자에게 흐르는 정보에 정보 항목을 추가한다. 사용자를 향한 정보 흐름에서 정보 항목을 제거하는 것과는 반대로 사용자. 추천 시스템은 일반적으로 협업 필터링 접근 방식을 사용하거나 협업 필터링과 콘텐츠 기반 필터링 접근 방식의 조합을 사용하지만 콘텐츠 기반 추천 시스템이 존재한다.

 역사 
인터넷 시대가 도래하기 전에도 정보 필터링에는 이미 여러 가지 방법이 있었다. 예를 들어, 정부는 공식적 또는 비공식적 검열을 통해 특정 국가의 정보 흐름을 통제하고 제한할 수 있다.

또 다른 정보 필터링의 예시는 신문 편집자와 기자들이 하는 작업으로, 이들은 고객, 즉 책, 잡지, 신문 독자, 라디오 청취자, 텔레비전 시청자를 위해 가장 가치 있는 정보를 선별하는 서비스를 제공한다. 이러한 필터링 작업은 학교와 대학에서도 존재하며, 학문적 기준에 따라 학생들에게 도움을 제공하기 위해 정보를 선별한다. 인터넷의 등장으로 누구나 저렴한 비용으로 원하는 것을 출판할 수 있게 되었다. 이로 인해 덜 유용한 정보의 양이 상당히 증가했으며, 결과적으로 정보의 질이 향상/분산되었다. 이러한 문제 때문에 각 특정 주제에 필요한 정보를 쉽고 효율적으로 얻기 위한 정보 필터링을 고안하는 작업이 시작되었다.

 작동 
이러한 방식의 필터링 시스템은 사람들이 가장 가치 있는 정보를 찾는 데 도움이 되는 여러 도구로 구성되어 있으므로, 읽고/듣고/보는 데 할애할 수 있는 제한된 시간이 가장 흥미롭고 가치 있는 문서에 올바르게 향하게 된다. 이러한 필터는 또한 메일로 보내진 메시지를 그룹화하는 것 외에도 정보를 올바르고 이해하기 쉬운 방식으로 구성하고 구조화하는 데 사용된다. 이러한 필터는 인터넷 검색 엔진에서 얻은 결과에 필수적이다. 필터링 기능은 웹 문서를 다운로드하고 메시지를 더욱 효율적으로 만들기 위해 매일 향상되고 있다.

 기준 
이 단계에서 사용되는 기준 중 하나는 지식이 해로운지 여부, 개념의 유무에 관계없이 지식이 더 나은 이해를 허용하는지 여부이다. 이 경우 정보 필터링의 역할은 해로운 정보를 지식과 함께 줄이거나 제거하는 것이다.

 학습 시스템 
학습 콘텐츠 시스템은 일반적으로 세 가지 기본 단계로 구성된다.
 첫째, 정의된 일련의 작업에 대한 해결책을 제공하는 시스템.
 다음으로, 문제 해결과 관련하여 이전 단계의 성능을 측정하는 평가 기준을 거친다.
 첫 번째 단계의 시스템 해결사에 사용되는 지식을 얻는 모듈.

 미래 
현재 문제는 정보 필터링의 최적 방법을 찾는 것이 아니라, 이러한 시스템이 사용자의 정보 요구 사항을 독립적으로 학습하는 방식이다. 이는 필터링 프로세스를 자동화할 뿐만 아니라 필터의 구성 및 적응도 자동화하기 때문이다. 통계, 기계 학습, 패턴 인식, 데이터 마이닝과 같은 일부 관련 분야는 경험을 바탕으로 나타나고 적응하는 정보 필터를 개발하는 기초가 된다. 학습 프로세스를 수행하려면 정보의 일부를 사전 필터링해야 하는데, 이는 전문가가 생성하거나 일반 사용자의 피드백을 통해 생성될 수 있는 긍정적 및 부정적 예시, 즉 훈련 데이터가 있음을 의미한다.

 오류 
데이터가 입력되면 시스템은 새로운 규칙을 포함한다. 이 데이터가 훈련 데이터 정보를 일반화할 수 있다고 간주한다면, 시스템 개발을 평가하고 새로운 정보의 범주를 올바르게 예측하는 시스템의 능력을 측정해야 한다. 이 단계는 "테스트 데이터"라고 불리는 새로운 시리즈로 훈련 데이터를 분리하여 오류율을 측정하는 데 사용함으로써 단순화된다. 일반적으로 오류 유형(오탐 및 미탐)을 구별하는 것이 중요하다. 예를 들어, 어린이 콘텐츠 집계자의 경우, 폭력이나 음란물을 보여주는 부적절한 정보의 통과를 허용하는 것이 적절한 정보를 폐기하는 실수보다 심각성이 같지 않다.
오류율을 낮추고 인간과 유사한 학습 능력을 가진 시스템을 개선하기 위해서는 자연어 이해, 일반적인 의미 포착 및 정보의 의미를 달성하기 위한 다른 형태의 고급 처리와 같은 인간의 인지 능력을 시뮬레이션하는 시스템 개발이 필요하다.

 사용 분야 
오늘날 정보 필터를 개발하는 수많은 기술이 있으며, 이 중 일부는 다양한 실험에서 10% 미만의 오류율을 달성한다. 이러한 기술 중에는 의사 결정 트리, 서포트 벡터 머신, 신경망, 베이즈 네트워크, 선형 판별 분석, 로지스틱 회귀 등이 있다.
현재 이러한 기술은 웹 환경뿐만 아니라 음성 인식, 망원경 천문학 분류 또는 금융 위험 평가와 같이 다양한 주제 분야에서 사용되고 있다.

 같이 보기 

 
 
 
 
 
 
 

 각주 

Hanani, U., Shapira, B., Shoval, P. (2001) Information filtering: Overview of issues, research and systems. User Modeling and User-Adapted Interaction, 11, pp. 203–259.
 http://www.infoworld.com/d/developer-world/human-information-filter-813

 외부 링크 
 Infoworld
 IEEXplore

분류:정보 시스템
분류:사회적 정보 처리
분류:유형별 소프트웨어
분류:여과기