이상치

통계학에서 이상치(outlier)는 다른 관측치와 현저하게 다른 데이터 포인트이다. 이상치는 측정의 가변성, 새로운 데이터의 지표, 또는 실험 오류의 결과일 수 있다. 후자의 경우 때때로 자료 집합에서 제외되기도 한다.Pimentel, M. A., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215-249. stating "An outlying observation may be merely an extreme manifestation of the random variability inherent in the data. ... On the other hand, an outlying observation may be the result of gross deviation from prescribed experimental procedure or an error in calculating or recording the numerical value." 이상치는 흥미로운 가능성을 나타낼 수 있지만, 통계 분석에서 심각한 문제를 야기할 수도 있다.

이상치는 어떤 분포에서든 우연히 발생할 수 있지만, 데이터 집합에서 새로운 행동이나 구조, 측정 오차, 또는 모집단이 두터운 꼬리 분포를 가지고 있음을 나타낼 수 있다. 측정 오차의 경우, 이상치를 버리거나 이상치에 강건한 통계량을 사용하기를 원하며, 두터운 꼬리 분포의 경우, 분포가 높은 비대칭도를 가지고 있으며 정규 분포를 가정하는 도구나 직관을 사용하는 데 매우 신중해야 함을 나타낸다. 이상치의 흔한 원인은 두 분포의 혼합인데, 이는 두 개의 다른 하위 모집단일 수도 있고, '정확한 시도' 대 '측정 오차'를 나타낼 수도 있다. 이는 혼합 모델로 모델링된다.

대부분의 대규모 데이터 표본에서 일부 데이터 포인트는 합리적이라고 여겨지는 것보다 표본 평균에서 더 멀리 떨어져 있을 것이다. 이는 우발적인 체계적 오차나 가정된 확률 분포군을 생성한 이론의 결함 때문일 수 있으며, 또는 일부 관측치가 데이터의 중심에서 멀리 떨어져 있을 수도 있다. 따라서 이상치 포인트는 결함 있는 데이터, 잘못된 절차, 또는 특정 이론이 유효하지 않을 수 있는 영역을 나타낼 수 있다. 그러나 큰 표본에서는 소수의 이상치가 예상되며(이상 조건 때문이 아님) 제거해서는 안 된다.

이상치는 가장 극단적인 관측치이므로, 극도로 높거나 낮은 값에 따라 표본 최댓값 또는 표본 최솟값, 또는 둘 다를 포함할 수 있다. 그러나 표본 최댓값과 최솟값이 항상 이상치인 것은 아니다. 왜냐하면 다른 관측치와 비정상적으로 멀리 떨어져 있지 않을 수도 있기 때문이다.

이상치를 포함하는 자료 집합에서 도출된 통계량을 순진하게 해석하면 오해의 소지가 있을 수 있다. 예를 들어, 방에 있는 10개 물체의 평균 온도를 계산할 때, 그 중 9개가 20~25 섭씨도이고 오븐이 175 °C라면, 데이터의 중앙값은 20~25 °C 사이가 되지만 평균 온도는 35.5~40 °C 사이가 될 것이다. 이 경우 중앙값이 평균보다 무작위로 추출된 물체의 온도(방의 온도는 아님)를 더 잘 반영한다. 평균을 중앙값과 동등한 "전형적인 표본"으로 순진하게 해석하는 것은 잘못이다. 이 경우에서 보듯이, 이상치는 나머지 표본 집합과는 다른 모집단에 속하는 데이터 포인트를 나타낼 수 있다.

이상치에 대처할 수 있는 추정량은 강건하다고 한다. 중앙값은 중심경향치의 강건한 통계량인 반면, 평균은 그렇지 않다.Ripley, Brian D. 2004. Robust statistics 

 발생 및 원인 
정규 분포된 데이터의 경우, 3 시그마 법칙은 약 22개 관측치 중 1개가 평균에서 표준 편차의 두 배 이상 차이 나고, 370개 중 1개가 표준 편차의 세 배만큼 벗어날 것임을 의미한다. 1000개의 관측치 표본에서 평균에서 표준 편차의 세 배 이상 벗어나는 관측치가 최대 5개 존재한다는 것은 예상 범위 내에 있으며, 예상 수의 두 배 미만이고 따라서 예상 수의 1 표준 편차 이내이므로 이상 현상을 나타내지 않는다. 그러나 표본 크기가 100개에 불과하다면, 그러한 이상치가 3개만 있어도 예상 수의 11배 이상이므로 우려의 대상이 된다.

일반적으로, 모집단 분포의 특성이 사전적으로 알려진 경우, 이상치의 수가 예상되는 것과 유의미하게 벗어나는지 테스트하는 것이 가능하다. 주어진 분포의 특정 임계값(표본이 확률 p로 임계값을 벗어나는)에 대해 이상치의 수는 매개변수 p를 갖는 이항 분포를 따르며, 이는 일반적으로 λ = pn을 갖는 푸아송 분포로 잘 근사될 수 있다. 따라서 평균에서 3 표준 편차의 임계값을 갖는 정규 분포를 취하면 p는 약 0.3%이고, 따라서 1000번의 시행에 대해 편차가 3 시그마를 초과하는 표본의 수를 λ = 3을 갖는 푸아송 분포로 근사할 수 있다.

 원인 
이상치는 많은 비정상적인 원인을 가질 수 있다. 측정 장비에 일시적인 오작동이 발생했을 수 있다. 데이터 전송 또는 전사에 오류가 있었을 수 있다. 이상치는 시스템 동작의 변화, 사기 행위, 사람의 오류, 장비 오류 또는 단순히 모집단의 자연적인 편차로 인해 발생한다. 표본이 조사 대상 모집단 외부의 요소로 오염되었을 수 있다. 또는 이상치는 가정된 이론의 결함 결과일 수 있으며, 연구자의 추가 조사가 필요하다. 또한, 특정 형태의 이상치의 병리적 출현은 다양한 데이터 집합에서 나타나며, 데이터의 인과 메커니즘이 극단적인 끝에서 다를 수 있음을 나타낸다(킹 효과).

 정의 및 탐지 
이상치를 구성하는 것에 대한 엄격한 수학적 정의는 없다. 관측치가 이상치인지 여부를 결정하는 것은 궁극적으로 주관적인 작업이다. 다양한 이상치 탐지 방법이 있으며, 그 중 일부는 이상 탐지와 동의어로 취급된다.Pimentel, M. A., Clifton, D. A., Clifton, L., & Tarassenko, L. (2014). A review of novelty detection. Signal Processing, 99, 215-249. 일부는 정규 확률 플롯과 같은 그래픽적 방법이다. 다른 것들은 모델 기반이다. 상자 수염 그림은 하이브리드이다.

일반적으로 식별에 사용되는 모델 기반 방법은 데이터가 정규 분포에서 나왔다고 가정하고 평균 및 표준 편차를 기반으로 "있을 법하지 않은" 것으로 간주되는 관측치를 식별한다.
 쇼브네 기준
 그럽스 이상치 검정
 딕슨의 Q 검정
 ASTM E178: 이상 관측치 처리 표준
 마할라노비스 거리 및 레버리지는 특히 선형 회귀 모델 개발에서 이상치를 감지하는 데 자주 사용된다.
 고차원 수치 데이터에 대한 부분 공간 및 상관 기반 기법

 퍼스의 기준 

개의 관측치 계열에서 오차의 한계를 결정할 것을 제안한다. 이 한계를 넘어가는 모든 관측치는 폐기될 수 있으며, 그러한 관측치가 개 이상일 경우에 한한다. 이 문제를 해결하기 위해 제안된 원리는, 제안된 관측치를 유지함으로써 얻어지는 오차 시스템의 확률이, 그 관측치를 폐기함으로써 얻어지는 오차 시스템의 확률에, 그만큼의 비정상적인 관측치를 만드는 확률을 곱한 것보다 작을 때 폐기해야 한다는 것이다. (벤저민 퍼스(1982년 판)의 516페이지 편집자 주에서 Chauvenet의 A Manual of Astronomy 2:558 인용)
벤저민 퍼스, "Criterion for the Rejection of Doubtful Observations", Astronomical Journal II 45 (1852) and Errata to the original paper.. NOAA PDF Eprint (goes to Report p. 200, PDF's p. 215). – Appendix 21, according to the editorial note on page 515

 투키의 울타리 
다른 방법들은 사분위수 범위와 같은 측정치를 기반으로 관측치를 표시한다. 예를 들어, 과 이 각각 하위 사분위수와 상위 사분위수라면, 이상치는 다음 범위 밖에 있는 모든 관측치로 정의할 수 있다.

여기서 는 어떤 비음 상수이다.
존 투키는 이 테스트를 제안했는데, 여기서 는 "이상치"를 나타내고, 은 "매우 멀리 떨어진" 데이터를 나타낸다.

 이상 탐지에서 

통계학, 신호 처리, 금융, 계량경제학, 제조업, 네트워킹 및 데이터 마이닝과 같은 다양한 분야에서 이상 탐지 작업은 다른 접근 방식을 취할 수 있다. 이 중 일부는 거리 기반일 수 있으며 국소 이상치 인자 (LOF)와 같은 밀도 기반일 수도 있다. 일부 접근 방식은 k-최근접 이웃까지의 거리를 사용하여 관측치를 이상치 또는 비이상치로 분류할 수 있다.

 수정된 톰슨 타우 검정 

수정된 톰슨 타우 검정은 자료 집합에 이상치가 존재하는지 여부를 판단하는 데 사용되는 방법이다. 이 방법의 강점은 자료 집합의 표준 편차, 평균을 고려하고 통계적으로 결정된 기각 영역을 제공하여, 데이터 포인트가 이상치인지 여부를 객관적으로 결정하는 방법을 제공한다는 점이다.Thompson .R. (1985). "A Note on Restricted Maximum Likelihood Estimation with an Alternative Outlier Model".Journal of the Royal Statistical Society. Series B (Methodological), Vol. 47, No. 1, pp. 53-55
작동 방식:
먼저 자료 집합의 평균을 결정한다. 다음으로 각 데이터 포인트와 평균 사이의 절대 편차를 결정한다. 셋째, 다음 공식을 사용하여 기각 영역을 결정한다.
;
여기서 는 자유도 n-2를 갖는 스튜던트  분포의 임계값이고, n은 표본 크기이며, s는 표본 표준 편차이다.
값이 이상치인지 여부를 결정하려면:
를 계산한다.
만약 δ > 기각 영역이면, 해당 데이터 포인트는 이상치이다.
만약 δ ≤ 기각 영역이면, 해당 데이터 포인트는 이상치가 아니다.

수정된 톰슨 타우 검정은 한 번에 하나의 이상치(δ 값이 가장 큰 이상치인 경우 제거됨)를 찾는 데 사용된다. 즉, 데이터 포인트가 이상치로 판명되면 자료 집합에서 제거되고 새로운 평균 및 기각 영역으로 검정이 다시 적용된다. 이 과정은 자료 집합에 이상치가 남아 있지 않을 때까지 계속된다.

일부 연구는 명목(또는 범주형) 데이터에 대한 이상치도 조사했다. 자료 집합의 예시(또는 인스턴스) 집합의 맥락에서, 인스턴스 경도(instance hardness)는 인스턴스가 잘못 분류될 확률을 측정한다( 여기서 는 할당된 클래스 레이블이고 는 훈련 집합 의 인스턴스에 대한 입력 속성 값을 나타낸다).Smith, M.R.; Martinez, T.; Giraud-Carrier, C. (2014). "An Instance Level Analysis of Data Complexity". Machine Learning, 95(2): 225-256. 이상적으로는 인스턴스 경도는 가능한 모든 가설  집합에 대해 합산하여 계산될 것이다.

실제로 이 공식은 가 잠재적으로 무한하고 많은 알고리즘에 대해 를 계산하는 것이 알려져 있지 않기 때문에 실현 불가능하다. 따라서 인스턴스 경도는 다양한 부분 집합 를 사용하여 근사화될 수 있다.

여기서 는 초매개변수 를 사용하여 훈련 집합 에서 훈련된 학습 알고리즘 에 의해 유도된 가설이다. 인스턴스 경도는 인스턴스가 이상치 인스턴스인지 여부를 결정하는 연속적인 값을 제공한다.

 이상치 처리 
이상치를 처리하는 방법은 원인에 따라 달라져야 한다. 일부 추정량은 이상치에 매우 민감하며, 특히 공분산 행렬의 추정이 그렇다.

 유지 
정규 분포 모델이 분석 중인 데이터에 적합하더라도, 큰 표본 크기에서는 이상치가 예상되며, 이 경우 자동으로 버려져서는 안 된다. 대신, 자연적으로 발생하는 이상치를 가진 데이터를 모델링하거나 분석하기 위해 이상치에 강건한 방법을 사용해야 한다.

 제외 
이상치를 제거할지 여부를 결정할 때는 원인을 고려해야 한다. 앞에서 언급했듯이, 이상치의 원인이 실험 오류로 인한 것이거나, 이상치 데이터 포인트가 오류라고 달리 판단될 수 있다면 일반적으로 제거하는 것이 권장된다. 그러나 가능하다면 오류 값을 수정하는 것이 더 바람직하다.

반면에, 단순히 이상치라는 이유만으로 데이터 포인트를 제거하는 것은 논란의 여지가 있는 관행이며, 많은 과학자와 과학 강사들이 일반적으로 통계적 결과를 무효화하기 때문에 눈살을 찌푸리는 경우가 많다. 수학적 기준은 데이터 제거에 대한 객관적이고 정량적인 방법을 제공하지만, 특히 작은 집합이나 정규 분포를 가정할 수 없는 경우에는 그 관행을 과학적으로나 방법론적으로 더 건전하게 만들지는 않는다. 이상치 제거는 측정되는 과정의 기본 모델과 측정 오류의 일반적인 분포가 확실하게 알려진 실습 영역에서 더 허용된다.

이상치를 제외하는 두 가지 일반적인 접근 방식은 절단 (또는 트리밍)과 윈저라이징이다. 트리밍은 이상치를 버리는 반면, 윈저라이징은 이상치를 가장 가까운 "의심 없는" 데이터로 대체한다. 제외는 측정 과정의 결과일 수도 있는데, 예를 들어 실험이 그러한 극단적인 값을 완전히 측정할 수 없을 때 중도절단된 데이터가 발생한다.

회귀 문제에서는 쿡의 거리와 같은 측정치를 사용하여 추정된 계수에 큰 영향을 미치는 점만 제외하는 대안적인 접근 방식을 취할 수 있다.Cook, R. Dennis (Feb 1977). "Detection of Influential Observations in Linear Regression". Technometrics (American Statistical Association) 19 (1): 15–18.

데이터 포인트(또는 여러 포인트)가 데이터 분석에서 제외되는 경우, 모든 후속 보고서에 명확하게 명시해야 한다.

 비정규 분포 
데이터의 기본 분포가 "두터운 꼬리"를 갖는 대략 정규 분포가 아닐 가능성을 고려해야 한다. 예를 들어, 코시 분포에서 표본을 추출할 때,Weisstein, Eric W. Cauchy Distribution. From MathWorld--A Wolfram Web Resource 표본 분산은 표본 크기에 따라 증가하고, 표본 평균은 표본 크기가 증가해도 수렴하지 않으며, 이상치는 정규 분포보다 훨씬 더 높은 비율로 예상된다. 꼬리의 두께가 약간만 달라도 극단값의 예상 수에 큰 차이를 만들 수 있다.

 집합-멤버십 불확실성 
집합 멤버십 접근 방식은 알려지지 않은 무작위 벡터 x의 i번째 측정에 해당하는 불확실성이 (확률 밀도 함수 대신) 집합 Xi로 표현된다고 간주한다. 이상치가 발생하지 않으면 x는 모든 Xi들의 교집합에 속해야 한다. 이상치가 발생하면 이 교집합이 비어 있을 수 있으므로, 불일치를 피하기 위해 소수의 집합 Xi를 (가능한 한 적게) 완화해야 한다. 이는 q-완화된 교집합의 개념을 사용하여 수행할 수 있다. 그림에서 알 수 있듯이, q-완화된 교집합은 q개의 집합을 제외한 모든 집합에 속하는 모든 x의 집합에 해당한다. q-완화된 교집합과 교차하지 않는 집합 Xi는 이상치일 가능성이 있다.


 대안적 모델 
이상치의 원인이 알려진 경우, 계층적 베이즈 모델이나 혼합 모델을 사용하여 이 효과를 모델 구조에 통합할 수 있다.Roberts, S. and Tarassenko, L.: 1995, A probabilistic resource allocating network for novelty detection. Neural Computation 6, 270–284.

 같이 보기 

 변칙 (자연 과학)
 이상 탐지
 앤스컴 콰르텟
 데이터 변환 (통계학)
 극단값 이론
 영향력 있는 관측치
 랜덤 표본 합의
 강건 회귀
 스파이더스 게오르그
 스튜던트화 잔차
 윈저라이징

 각주 

 외부 링크 



 Grubbs test by NIST manual

분류:통계 차트와 다이어그램