데이터 전처리

데이터 전처리(Data preprocessing)는 데이터를 분석하기 전에 데이터를 조작, 필터링 또는 확대하는 것을 의미할 수 있으며 데이터 마이닝 프로세스에서 중요한 단계인 경우가 많다. 데이터 수집 방법은 느슨하게 제어되는 경우가 많으며, 이로 인해 범위를 벗어난 값, 불가능한 데이터 조합, 값 누락 등의 문제가 발생한다.

사용되는 전처리 파이프라인은 다운스트림 분석에서 도출된 결론에 큰 영향을 미칠 수 있는 경우가 많다. 따라서 분석을 실행하기 전에 데이터의 표현과 품질이 필요하다.Pyle, D., 1999. Data Preparation for Data Mining. Morgan Kaufmann Publishers, Los Altos, California. 데이터 전처리는 기계 학습 프로젝트, 특히 계산생물학에서 가장 중요한 단계인 경우가 많다. 관련성이 없고 중복된 정보가 존재하거나 시끄럽고 신뢰할 수 없는 데이터의 비율이 높으면 훈련 단계에서 지식 발견이 더 어려울 수 있다. 데이터 준비 및 필터링 단계에는 상당한 처리 시간이 걸릴 수 있다. 데이터 전처리에 사용되는 방법의 예로는 정제, 인스턴스 선택, 정규화, 원-핫 인코딩, 데이터 변환, 특징 추출 및 특징 선택이 있다.

 각주 

 외부 링크 
 Online Data Processing Compendium
 Data preprocessing in predictive data mining. Knowledge Eng. Review 34: e1 (2019)

분류:기계 학습