확률 변수의 수렴

확률변수의 수렴에는 여러 가지의 정의가 존재한다. 분포 수렴(convergence in distribution), 약한 수렴(weak convergence)은 확률변수의 누적 분포 함수가 수렴하는 것을 의미한다. 확률변수 X 1 , X 2 , ⋯ {\displaystyle X_{1},X_{2},\cdots } 와 각각의 누적 분포 함수 F 1 , F 2 , ⋯ {\displaystyle F_{1},F_{2},\cdots } 에 대하여, 어떤 확률변수 X {\displaystyle X} 와 와 확률 분포 함수 F {\displaystyle F} 가 존재하여, 모든 실수 x {\displaystyle x} 에 대하여 lim n → ∞ F n ( x ) = F ( x ) {\displaystyle \lim _{n\to \infty }F_{n}(x)=F(x)} 가 성립할 경우, { X n } {\displaystyle \{X_{n}\}} 은 X {\displaystyle X} 로 분포수렴한다고 정의한다. 기호로는 X n   → d   X ,     X n   → D   X ,     X n   → L   X ,     X n   → d   L X , X n ⇝ X ,     X n ⇒ X ,     L ( X n ) → L ( X ) , {\displaystyle {\begin{aligned}&X_{n}\ {\xrightarrow {d}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {D}}}\ X,\ \ X_{n}\ {\xrightarrow {\mathcal {L}}}\ X,\ \ X_{n}\ {\xrightarrow {d}}\ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}} 등이 사용된다. 여기에서 L {\displaystyle {\mathcal {L}}} 은 확률 분포를 가리키며, 예를 들어 X {\displaystyle X} 가 표준정규분포라면 X n → d N ( 0 , 1 ) {\displaystyle X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)} 와 같이 표기할 수 있다. 분포 수렴은 확률변수들이 같은 확률 공간에 있을 필요가 없으며, 각 확률변수의 분포만이 고려된다. 분포 수렴의 예제로는 중심극한정리가 있다. 확률변수를 다변수 확률변수로 확장할 경우, 위의 정의는 다음과 같이 바꿀 수 있다. 집합 A ⊆ R k {\displaystyle A\subseteq \mathbb {R} ^{k}} 가 Pr [ X ∈ ∂ A ] = 0 {\displaystyle \Pr[X\in \partial A]=0} 일 때(continuity set), 에 대하여 lim n → ∞ Pr [ X n ∈ A ] = Pr [ X ∈ A ] {\displaystyle \lim _{n\to \infty }\Pr[X_{n}\in A]=\Pr[X\in A]} 가 성립한다면 X n {\displaystyle X_{n}} 은 X {\displaystyle X} 로 분포수렴한다. 레비 연속성 정리(Lévy's continuity theorem): 확률변수 X n {\displaystyle X_{n}} 가 X {\displaystyle X} 로 분포수렴하는 것과 X n {\displaystyle X_{n}} 의 특성함수가 X {\displaystyle X} 의 특성함수로 점마다 수렴하는 것은 동치이다. 분포수렴은 확률 밀도 함수의 수렴을 보장하지 않는다. 가령, f n ( x ) = ( 1 − cos ⁡ ( 2 π n x ) ) 1 { x ∈ ( 0 , 1 ) } {\displaystyle f_{n}(x)=(1-\cos(2\pi nx)){1}_{\{x\in (0,1)\}}} 에 대응하는 확률변수는 균등분포 U ( 0 , 1 ) {\displaystyle U(0,1)} 로 수렴하지만, f n {\displaystyle f_{n}} 은 수렴하지 않는다. 확률수렴이나 거의 확실한 수렴은 분포수렴을 포함한다. Portmanteau theorem: 분포수렴은 다음 중 하나와 동치이다. 모든 유계 연속 함수 f {\displaystyle f} 에 대해 E [ f ( X n ) ] → E [ f ( X ) ] {\displaystyle E[f(X_{n})]\to E[f(X)]} 모든 유계 립시츠 연속 함수 f {\displaystyle f} 에 대해 E [ f ( X n ) ] → E [ f ( X ) ] {\displaystyle E[f(X_{n})]\to E[f(X)]} 위로 유계이고 위에서 반연속인 함수 f {\displaystyle f} 에 대해 lim sup [ E f ( X n ) ] ≤ E [ f ( x ) ] {\displaystyle \lim \sup[Ef(X_{n})]\leq E[f(x)]} 아래로 유계이고 아래에서 반연속인 함수 f {\displaystyle f} 에 대해 lim inf [ E f ( X n ) ] ≥ E [ f ( x ) ] {\displaystyle \lim \inf[Ef(X_{n})]\geq E[f(x)]} 모든 닫힌 집합 C {\displaystyle C} 에 대해 lim sup Pr [ X n ∈ C ] ≤ Pr [ X ∈ C ] {\displaystyle \lim \sup \Pr[X_{n}\in C]\leq \Pr[X\in C]} 모든 열린 집합 U {\displaystyle U} 에 대해 lim inf Pr [ X n ∈ U ] ≥ Pr [ X ∈ U ] {\displaystyle \lim \inf \Pr[X_{n}\in U]\geq \Pr[X\in U]} 모든 X {\displaystyle X} 의 continuity set에 대해 lim Pr [ X n ∈ A ] = Pr [ X ∈ A ] {\displaystyle \lim \Pr[X_{n}\in A]=\Pr[X\in A]} 확률 수렴(convergence in probability)은 같은 확률 공간에 있는 확률변수들의 수렴을 다루며, 확률변수의 결과물이 수렴 결과물과 거의 동일하다는 것을 의미한다. 확률변수 X 1 , X 2 , ⋯ {\displaystyle X_{1},X_{2},\cdots } 와 X {\displaystyle X} 에 대하여, 모든 ϵ > 0 {\displaystyle \epsilon >0} 에 대해 lim n → ∞ Pr ( | X n − X | ≥ ε ) = 0 {\displaystyle \lim _{n\to \infty }\Pr {\big (}|X_{n}-X|\geq \varepsilon {\big )}=0} 가 성립할 때, { X n } {\displaystyle \{X_{n}\}} 은 X {\displaystyle X} 로 확률 수렴한다고 정의한다. 확률 수렴의 표기는 다음과 같다. X n   → p   X ,     X n   → P   X ,     plim n → ∞ X n = X {\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ X_{n}\ {\xrightarrow {P}}\ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X} 정의를 확률변수뿐만이 아니라 분해 가능 공간에서 정의되는 확률변수(random element)로 확장하면 다음과 같다. 분해 가능 공간 ( S , d ) {\displaystyle (S,d)} 가 주어졌을 때, 모든 ε > 0 {\displaystyle \varepsilon >0} 에 대하여 Pr ( d ( X n , X ) ≥ ε ) → 0 {\displaystyle \Pr {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0} 가 성립하는 경우 확률 수렴한다고 정의한다. 거의 확실한 수렴은 확률 수렴을 포함한다. 이산 확률 공간에서는 확률수렴과 거의 확실한 수렴이 동치이다. 확률 수렴은 분포 수렴을 포함한다. 상수로 수렴하는 경우, 분포 수렴과 확률 수렴은 동치이다. (연속 사상 정리 영어: continuous mapping theorem) 임의의 연속 함수 g {\displaystyle g} 에 대해, X n {\displaystyle X_{n}} 이 X {\displaystyle X} 로 확률 수렴한다면 g ( X n ) {\displaystyle g(X_{n})} 은 g ( X ) {\displaystyle g(X)} 로 확률 수렴한다. 거의 확실한 수렴(almost sure convergence)은 거의 어디서나 점마다 수렴(pointwise convergence)하는 것을 의미한다. 확률 공간 ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} 위의 확률변수 X 1 , X 2 , ⋯ {\displaystyle X_{1},X_{2},\cdots } 와 X {\displaystyle X} 에 대하여, Pr ( lim n → ∞ X n = X ) = 1 {\displaystyle \operatorname {Pr} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1} 이 성립할 경우, { X n } {\displaystyle \{X_{n}\}} 은 X {\displaystyle X} 로 거의 확실하게 수렴한다고 정의한다. 이 조건은 다음과 동치이다. Pr ⁡ ( ω ∈ Ω : lim n → ∞ X n ( ω ) = X ( ω ) ) = 1 {\displaystyle \operatorname {Pr} {\Big (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Big )}=1} 즉, 각 ω {\displaystyle \omega } 에 대하여 거의 어디서나 수렴한다는 의미이다. 거의 확실한 수렴은 X n → a . s . X {\displaystyle X_{n}\,{\xrightarrow {\mathrm {a.s.} }}\,X} 로 표기한다. 거의 확실한 수렴은 확률수렴, 분포수렴을 포함한다. 확실한 수렴(sure convergence)은 확률변수가 모든 점마다 수렴하는 것을 의미한다. 확률공간 ( Ω , F , P ) {\displaystyle (\Omega ,{\mathcal {F}},P)} 위의 확률변수 X 1 , X 2 , ⋯ {\displaystyle X_{1},X_{2},\cdots } 와 X {\displaystyle X} 에 대하여 lim n → ∞ X n ( ω ) = X ( ω ) , ∀ ω ∈ Ω {\displaystyle \lim _{n\rightarrow \infty }X_{n}(\omega )=X(\omega ),\,\,\forall \omega \in \Omega } 가 성립할 경우, { X n } {\displaystyle \{X_{n}\}} 은 X {\displaystyle X} 로 확실하게 수렴한다고 정의한다. 측도 수렴 함수열