추정량

통계학에서 추정량(推定量, 영어: estimator)은 표집값들로부터 모수의 값을 추정하는 방법이다. 확률변수 X : P → X {\displaystyle X\colon P\to {\mathcal {X}}} 가 모수 θ ∈ Θ {\displaystyle \theta \in \Theta } 를 가지는 분포를 따른다고 하자. 그렇다면 모수 θ {\displaystyle \theta } 의 추정량 θ ^ : X → Θ {\displaystyle {\hat {\theta }}\colon {\mathcal {X}}\to \Theta } 은 임의의 가측 함수이다. 모수 공간 Θ {\displaystyle \Theta } 와 표본 공간 X {\displaystyle {\mathcal {X}}} 둘 다 유클리드 공간의 부분공간으로 간주하자. 표본 x ∈ X {\displaystyle x\in {\mathcal {X}}} 에 대한, 모수 θ {\displaystyle \theta } 의 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 오차(영어: error)는 다음과 같다. E θ ^ ( x ) = θ ^ ( x ) − θ {\displaystyle {\mathcal {E}}_{\hat {\theta }}(x)={\hat {\theta }}(x)-\theta } 모수 θ {\displaystyle \theta } 의 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 편향(영어: bias)은 그 오차의 기댓값이다. B ( θ ^ ) = E ⁡ ( θ ^ ( X ) − θ ) {\displaystyle B({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)-\theta )} 모수 θ {\displaystyle \theta } 의 불편추정량(영어: unbiased estimator) θ ^ {\displaystyle {\hat {\theta }}} 은 편향이 0인 추정량이다. 즉, 다음 성질을 만족시키는 추정량이다. E ⁡ ( θ ^ ( X ) ) = θ {\displaystyle \operatorname {E} ({\hat {\theta }}(X))=\theta } 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 누적평균제곱오차(영어: mean squared error)는 오차의 제곱들의 기댓값이다. MSE ⁡ ( θ ^ ) = E ⁡ [ ( θ ^ ( X ) − θ ) 2 ] {\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} [({\widehat {\theta }}(X)-\theta )^{2}]} 표본 x ∈ X {\displaystyle x\in {\mathcal {X}}} 에 대한, 모수 θ {\displaystyle \theta } 의 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 표본편차(영어: sampling deviation)는 다음과 같다. d ( x ) = θ ^ ( x ) − E ⁡ ( θ ^ ( X ) ) = θ ^ ( x ) − E ⁡ ( θ ^ ) {\displaystyle d(x)={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }}(X))={\hat {\theta }}(x)-\operatorname {E} ({\hat {\theta }})} 모수 θ {\displaystyle \theta } 의 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 분산(영어: variance)은 표본편차의 제곱의 기댓값이다. var ⁡ ( θ ^ ) = E ⁡ ( θ ^ ( X ) 2 ) − E ⁡ ( θ ^ ( X ) ) 2 {\displaystyle \operatorname {var} ({\hat {\theta }})=\operatorname {E} ({\hat {\theta }}(X)^{2})-\operatorname {E} ({\hat {\theta }}(X))^{2}} 모수 θ {\displaystyle \theta } 의 추정량 θ ^ {\displaystyle {\hat {\theta }}} 의 효율(영어: efficiency)은 다음과 같다. e ( θ ^ ) = 1 I X ( θ ) var ⁡ ( θ ^ ) {\displaystyle e({\hat {\theta }})={\frac {1}{{\mathcal {I}}_{X}(\theta )\operatorname {var} ({\hat {\theta }})}}} 여기서 I X ( θ ) {\displaystyle {\mathcal {I}}_{X}(\theta )} 는 피셔 정보이다. 크라메르-라오 하한에 따라, 추정량의 효율은 항상 1 이하이다. e ( θ ^ ) ≤ 1 {\displaystyle e({\hat {\theta }})\leq 1} 효율이 1인 추정량을 최대효율추정량(영어: most efficient estimator)이라고 한다. 모수 θ {\displaystyle \theta } 의 약한 일치추정량(영어: weakly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 { θ ^ n } {\displaystyle \{{\hat {\theta }}_{n}\}} 이다. 모든 ϵ > 0 {\displaystyle \epsilon >0} 에 대하여, lim n → ∞ Pr ( | θ ^ n ( X ) − θ | < ϵ ) = 1 {\displaystyle \lim _{n\to \infty }\Pr(|{\hat {\theta }}_{n}(X)-\theta |<\epsilon )=1} 모수 θ {\displaystyle \theta } 의 강한 일치추정량(영어: strongly consistent estimator)은 다음 성질을 만족시키는 추정량들의 열 { θ ^ n } {\displaystyle \{{\hat {\theta }}_{n}\}} 이다. 거의 확실하게, n → ∞ {\displaystyle n\to \infty } 이면 θ ^ n → θ {\displaystyle {\hat {\theta }}_{n}\to \theta } 모수 θ {\displaystyle \theta } 의 점근적 정규 추정량(영어: asymptotically normal estimator)은 다음 성질을 만족시키는 추정량들의 열 { θ ^ n } {\displaystyle \{{\hat {\theta }}_{n}\}} 이다. 어떤 V ∈ R + {\displaystyle V\in \mathbb {R} ^{+}} 에 대하여, n ( θ ^ n − θ ) → D N ( 0 , V ) {\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta ){\xrightarrow {\text{D}}}{\mathcal {N}}(0,V)} 여기서 → D {\displaystyle {\xrightarrow {\text{D}}}} 는 확률변수의 분포수렴이며, N ( 0 , V ) {\displaystyle {\mathcal {N}}(0,V)} 는 평균이 0이고 분산이 V {\displaystyle V} 인 정규분포이다. Lehmann, E. L.; Casella, G. (1998). 《Theory of Point Estimation》 (영어) 2판. Springer. ISBN 0-387-98502-6.  더 이상 지원되지 않는 변수를 사용함 (도움말) CS1 관리 - 추가 문구 (링크) Shao, Jun (1998). 《Mathematical Statistics》 (영어). New York: Springer. ISBN 0-387-98674-X.  최대가능도방법 베이즈 추정량 크라메르-라오 하한 Bol'shev, L.N. (2001). “Statistical estimator”. 《Encyclopedia of Mathematics》 (영어). Springer-Verlag. ISBN 978-1-55608-010-4.