네이만-피어슨 정리

통계학에서 **네이만-피어슨 정리**()는 특정 맥락에서 균등최강검정으로서 가능도비의 존재와 유일성을 기술한다. 이 정리는 1933년 예지 네이만과 이건 피어슨이 발표한 논문에서 소개되었다. 네이만-피어슨 정리는 제2종 오류, 검정력, 귀납적 행위와 같은 개념을 도입한 통계적 검정의 네이만-피어슨 이론의 일부이다. 이전의 피셔 방식 유의성 검정은 단 하나의 가설만을 가정했다. 대립가설을 도입함으로써 네이만-피어슨 방식의 통계적 검정은 두 가지 유형의 오류를 조사할 수 있게 한다. 귀무가설을 항상 기각하거나 항상 기각하지 못하는 사소한 경우는 거의 관심의 대상이 되지 않지만, 이는 한 종류의 오류를 조정하는 동안 다른 종류의 오류에 대한 통제력을 포기해서는 안 된다는 것을 증명한다. 이에 따라 네이만과 피어슨은 모든 \alpha 수준 검정 클래스로 관심을 제한하는 동시에, 전통적으로 \beta로 표기되는 제2종 오류를 최소화하는 방향으로 나아갔다. 네이만-피어슨 정리를 포함한 그들의 1933년 기념비적 논문은 미리 지정된 제1종 오류 수준(\alpha)을 유지하면서 가장 강력한 검정의 존재를 보여주었을 뿐만 아니라, 그러한 검정을 구성하는 방법도 제공했다. 칼린-루빈 정리는 네이만-피어슨 정리를 단조 가능도비를 가진 복합 가설이 포함된 설정으로 확장했다.

## 명제
가설 H_0: \theta = \theta_0 및 H_1:\theta=\theta_1이 있고, i=0,1에 대한 확률 밀도 함수(또는 확률 질량 함수)가 \rho(x\mid \theta_i)인 검정을 고려하자.

기각역 R을 가진 임의의 가설 검정과 임의의 \alpha\in [0, 1]에 대하여, 다음 조건 P_\alpha를 만족하면:
* \alpha = {\Pr}_{\theta_0}(X\in R)
** 즉, 검정의 크기가 \alpha이다(즉, 귀무가설을 잘못 기각할 확률이 \alpha이다).
* 다음을 만족하는 \exists \eta \geq 0가 존재한다.
:: 
\begin{align}
x\in{}& R\smallsetminus A\implies \rho(x\mid \theta_1) > \eta \rho(x\mid \theta_0) \\
x\in{}& R^c\smallsetminus A \implies \rho(x\mid\theta_1) 
: 여기서 A는 \theta_0와 \theta_1의 경우 모두에서 무시 가능 집합이다: {\Pr}_{\theta_0}(X\in A) = {\Pr}_{\theta_1}(X\in A) = 0.
* 즉, 무시 가능한 부분 집합을 제외하면 엄격한 가능도비 검정을 갖는다.
임의의 \alpha\in [0, 1]에 대해, 수준 \alpha 검정의 집합을 크기가 최대 \alpha인 모든 가설 검정의 집합이라고 하자. 즉, 기각역을 R이라 할 때, {\Pr}_{\theta_0}(X\in R)\leq \alpha이다.

실제로 가능도비는 검정을 구성하는 데 직접적으로 자주 사용된다(가능도비 검정 참고). 그러나 이는 관심이 있을 법한 특정 검정 통계량을 제안하거나 단순화된 검정을 제안하는 데에도 사용될 수 있다. 이를 위해 가능도비의 대수적 조작을 통해 비율의 크기와 관련된 핵심 통계량이 있는지 확인한다(즉, 큰 통계량이 작은 비율에 대응하는지 아니면 큰 비율에 대응하는지 등).

(x) - 1_R(x)][\rho(x\mid\theta_1) - \eta \rho(x\mid\theta_0)] \geq 0

이를 x에 대해 적분하면 다음을 얻는다.
0 \leq [\beta_{R_{NP}}(\theta_1) - \beta_R(\theta_1)] - \eta[\beta_{R_{NP}}(\theta_0) - \beta_R(\theta_0)].

\beta_{R_{NP}}(\theta_0) = \alpha이고 \beta_R(\theta_0) \leq \alpha이므로, \beta_{R_{NP}}(\theta_1) \geq  \beta_R(\theta_1)임을 알 수 있다.

따라서 R_{NP} 기각 검정은 수준 \alpha 검정 집합에서 UMP 검정이다.

**유일성:**

기각역 R을 가진 다른 임의의 UMP 수준 \alpha 검정에 대해, 존재성 부분으로부터 다음을 얻는다.
[\beta_{R_{NP}}(\theta_1) - \beta_R(\theta_1)] \geq \eta[\beta_{R_{NP}}(\theta_0) - \beta_R(\theta_0)].

R 검정이 UMP이므로 좌변은 0이어야 한다. \eta > 0이므로 우변은 다음을 제공한다.
\beta_R(\theta_0) = \beta_{R_{NP}}(\theta_0) =\alpha, 즉 R 검정의 크기는 \alpha이다.

피적분 함수 [1_{R_{NP}}(x) - 1_R(x)][\rho(x\mid\theta_1) - \eta \rho(x\mid\theta_0)]가 비음수이고 적분값이 0이므로, 어떤 무시 가능한 집합 A를 제외하고는 정확히 0이어야 한다.

R_{NP} 검정이 P_\alpha 조건을 만족하므로, P_\alpha 조건의 정의에 있는 무시 가능한 집합을 A_{NP}라고 하자.

모든 x\in R\smallsetminus (R_{NP}\cup A_{NP})에 대해 [1_{R_{NP}}(x) - 1_R(x)][\rho(x\mid\theta_1) - \eta \rho(x\mid\theta_0)]  = \eta \rho(x\mid\theta_0)-\rho(x\mid\theta_1)> 0이므로, R\smallsetminus (R_{NP}\cup A_{NP})는 무시 가능하다.

마찬가지로 R_{NP}\smallsetminus (R\cup A_{NP})도 무시 가능하다.

A_R := (R \mathbin{\Delta} R_{NP})\cup A_{NP}로 정의하자 (여기서 \Delta는 대칭차를 의미함). 이는 세 개의 무시 가능한 집합의 합집합이므로 무시 가능한 집합이다.

그러면 다음이 성립한다.
x\in R\smallsetminus A_R\implies \rho(x\mid\theta_1) > \eta \rho(x \mid \theta_0) 및 x\in R^c\smallsetminus A_R \implies \rho(x\mid\theta_1) . 따라서 R 기각 검정은 동일한 \eta에 대해 P_\alpha 조건을 만족한다.

A_R이 무시 가능하므로, 그 부분집합인 R \mathbin{\Delta} R_{NP}\subset A_R 또한 무시 가능하다. 결과적으로 두 검정은 \theta = \theta_0이든 \theta = \theta_1이든 확률 1로 일치한다.
}}

## 예시
X_1,\dots,X_n이 평균 \mu를 알고 있는 {\mathcal{N}}(\mu,\sigma^2) 분포로부터의 랜덤 표본이라고 하자. H_0:\sigma^2=\sigma_0^2와 H_1:\sigma^2=\sigma_1^2에 대해 검정하고자 한다. 이 정규 분포 데이터 세트에 대한 가능도는 다음과 같다.

:\mathcal{L}\left(\sigma^2\mid\mathbf{x}\right)\propto \left(\sigma^2\right)^{-n/2} \exp\left\{-\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2}\right\}.

이 검정의 핵심 통계량과 그것이 검정 결과에 미치는 영향을 찾기 위해 가능도비를 계산할 수 있다.

:\Lambda(\mathbf{x}) = \frac{\mathcal{L}\left({\sigma_0}^2\mid\mathbf{x}\right)}{\mathcal{L}\left({\sigma_1}^2\mid\mathbf{x}\right)} =
\left(\frac{\sigma_0^2}{\sigma_1^2}\right)^{-n/2} \exp\left\{-\frac{1}{2}(\sigma_0^{-2} -\sigma_1^{-2})\sum_{i=1}^n (x_i-\mu)^2\right\}.

이 비율은 오직 \sum_{i=1}^n (x_i-\mu)^2을 통해서만 데이터에 의존한다. 그러므로 네이만-피어슨 정리에 의해, 이 데이터에 대한 이러한 유형의 가설의 가장 강력한 검정은 오직 \sum_{i=1}^n (x_i-\mu)^2에만 의존하게 된다. 또한 관찰을 통해 만약 \sigma_1^2>\sigma_0^2이면, \Lambda(\mathbf{x})는 \sum_{i=1}^n (x_i-\mu)^2의 감소 함수임을 알 수 있다. 따라서 \sum_{i=1}^n (x_i-\mu)^2이 충분히 크면 H_0를 기각해야 한다. 기각 임계값은 검정의 크기에 따라 달라진다. 이 예시에서 검정 통계량은 척도화된 카이제곱 분포를 따르는 확률 변수임을 보일 수 있으며, 정확한 임계값을 얻을 수 있다.

## 경제학에서의 응용
네이만-피어슨 정리의 변형은 지가 경제학이라는 전혀 관련 없어 보이는 분야에서 응용을 찾았다. 소비자 이론의 근본적인 문제 중 하나는 가격이 주어졌을 때 소비자의 수요 함수를 계산하는 것이다. 특히 이질적인 토지 자산, 토지에 대한 가격 척도, 토지에 대한 주관적 효용 척도가 주어졌을 때, 소비자의 문제는 자신이 살 수 있는 최선의 토지 구획, 즉 가격이 예산 이내이면서 효용이 가장 큰 토지 구획을 계산하는 것이다. 이 문제는 가장 강력한 통계적 검정을 찾는 문제와 매우 유사한 것으로 밝혀졌으며, 따라서 네이만-피어슨 정리가 사용될 수 있다.

## 전기공학에서의 사용
네이만-피어슨 정리는 전자공학, 즉 레이더 시스템의 설계와 사용, 디지털 통신 시스템, 그리고 신호 처리 시스템에서 매우 유용하다.
레이더 시스템에서 네이만-피어슨 정리는 먼저 미검출률을 원하는 (낮은) 수준으로 설정한 다음, 오경보률을 최소화하거나 그 반대로 하는 데 사용된다.

오경보나 미검출 모두 0을 포함하여 임의로 낮은 비율로 설정할 수 없다. 위의 모든 사항은 신호 처리의 많은 시스템에도 적용된다.

## 입자물리학에서의 사용
네이만-피어슨 정리는 분석 특정 가능도비 구성에 적용되며, 예를 들어 대형 강입자 충돌기(LHC)에서 수집된 양성자-양성자 충돌 데이터 세트에서 명목상의 표준 모형 예측에 대한 새로운 물리학의 신호를 테스트하는 데 사용된다.

## 정리의 발견
보조정리로 이어진 연구는 1927년경 시작되었다. 네이만은 나중에 책의 한 장에서 이에 대해 다음과 같이 썼다.

네이만은 보조정리의 실제 발견을 다음과 같이 묘사했다. 문단 구분은 삽입되었다.

## 같이 보기
* 가설 검정의 오류 지수
* F-검정
* 보조정리
* 윌크스 정리

## 각주

* E. L. Lehmann, Joseph P. Romano, Testing statistical hypotheses, Springer, 2008, p.&nbsp;60

## 외부 링크
* Cosma Shalizi gives an intuitive derivation of the Neyman–Pearson Lemma using ideas from economics

분류:보조정리
분류:통계적 검정법
분류:통계학 정리