確率変数の収束

数学の確率論の分野において、確率変数の収束（かくりつへんすうのしゅうそく、）に関しては、いくつかの異なる概念がある。確率変数列のある極限への収束は、確率論や、その応用としての統計学や確率過程の研究における重要な概念の一つである。より一般的な数学において同様の概念は確率収束 (stochastic convergence) として知られ、その概念は、本質的にランダムあるいは予測不可能な事象の列は、その列から十分離れているアイテムを研究する場合において、しばしば、本質的に不変な挙動へと落ち着くことが予想されることがある、という考えを定式化するものである。異なる収束の概念とは、そのような挙動の特徴づけに関連するものである：すぐに分かる二つの挙動とは、その列が最終的に定数となるか、あるいはその列に含まれる値は変動を続けるがある不変な確率分布によってその変動が表現される、というようなものである。
背景.
「確率収束」とは、本質的にランダムあるいは予測不可能である事象の列がしばしばあるパターンへと落ち着くことが期待される、という考えを定式化するものである。そのパターンとは、例えば、
などが挙げられる。それより明白ではないが、より理論的なパターンとしては
などが挙げられる。これらの起こりうる異なるタイプのパターンは、研究されている異なるタイプの確率収束において反映される。
上述の議論は一つの列の一つの極限値への収束と関連しているが、二つの列が互いへと収束する概念も重要である。しかし、それは、それら2つの列の差や比によって定義される列を研究することによって容易に扱うことができる。
例えば、等しい有限の平均と分散を持つような 個の確率変数 の平均が
で与えられるとすると、 が無限大へと近付く時、 は確率変数 の共通の平均 へと確率収束（下記参照）する。この結果は大数の弱法則として知られる。別のタイプの収束は、中心極限定理を含む別の有用な定理において重要となる。
以下では、 を確率変数列とし、 を確率変数とし、それらすべては同一の確率空間 formula_2 上で定義されるものとする。
分布収束.
}\sum_{i=1}^n X_i</math> を、それらの（正規化された）和とする。このとき、中心極限定理より、 の分布は標準 分布へと近付く。この収束を、下図に表す： が大きくなるにつれて、確率密度関数はガウス曲線へと近付いていく。
このタイプの収束により、ある与えられた確率分布によってより良くモデル化されるようなランダム実験の列における結果を期待することができる。
分布収束は、この記事内で述べられる全ての他のタイプの収束も意味するという点において、最も弱い収束である。しかしながら、実際の現場において、分布収束は非常によく利用される; 最もよく現れるのは、中心極限定理の応用においてである。
定義.
確率変数の列 が、ある確率変数 へと分布収束する、あるいは弱収束あるいは法則収束 (converge in law) するとは、
が、 が連続であるような全ての数 に対して成り立つことである。ここで、 および はそれぞれ確率変数 および の累積分布関数である。
 が連続であるような点のみを考えるということは本質的である。例えば、もし が区間 上一様に分布しているなら、その列は退化確率変数 へと収束する。実際、 である時はすべての に対して が成り立ち、 である時はすべての に対して が成り立つ。しかしながら、すべての に対して であるにも関わらず、この極限確率変数に対しては である。したがって、 の不連続点 では累積分布関数の収束は成立しない。
分布収束は次のように表記することができる。
ここで formula_5 は の法則（確率分布）である。例えば、 が標準正規であるなら formula_6 と書くことができる。
 に対する分布収束も、同様に定義される。この列がある確率 -ベクトルへと分布収束するとは、
が、 のであるすべての に対して成り立つことである。
分布収束の定義は、確率ベクトルから、任意の距離空間におけるより複雑な確率要素や、さらには漸近の場合を除いて可測でない「確率変数」に対してですら拡張される-そのような状況は例えば経験過程の研究において現れ、これは「定義されていない法則の弱収束」である。
この場合、弱収束という呼び名が好ましい（を参照されたい）。また、確率要素の列 が へと弱収束する（ と記述される）とは、
がすべての連続有界関数 に対して成り立つことである。ここで E は外期待値 (outer expectation)、すなわち、 を支配するような最小の可測関数 の期待値を表す。
確率収束.
「例外的」な結果が起こる確率は、列が進むにつれてより小さくなる、という考え方が、このタイプの収束の背景にある。
確率収束の概念は統計学において非常に頻繁に用いられる。例えば、ある推定量が一致推定量であるとは、それが推定された量へと確率収束することを言う。確率収束はまた、大数の弱法則により確立される収束の一つでもある。
定義.
確率収束の定義を正式に述べる。任意の および任意の を選ぶ。 を中心とする半径 の外側に がある確率を とする。このとき、 が へと確率収束するためには、全ての に対して確率 が より小さくなる、ある数 が存在しなければならない。
確率収束は、収束を表す矢印に記号 を付け加えるか、確率極限作用素 "plim" を使って表される：
性質.
あるいは
概収束.
概収束は、初等的な実解析の分野で知られる各点収束の概念とほぼ同様な、確率収束の一つの型である。
定義.
確率変数列 が へと概収束あるいはほとんど確実に収束、ほとんど至る所で収束、確率 で収束あるいは強収束するとは、
が成り立つことである。
上式は、 が へと収束しない事象が起きる確率が であるという意味で、 の値が の値へと近付くことを意味する（ほとんど (数学)も参照）。確率空間 formula_15 を定め、 から への関数としての確率変数の概念を利用することで、上式は
と同値となる。
また概収束の同値な定義には、以下もある：
概収束は、しばしば、収束を表す矢印の上に記号 a.s.（almost surelyの略）を付け加えることによって表現される：
距離空間 上の一般的な確率要素 に対しても、同様に概収束が定義される：
確実収束.
ある確率空間上定義される列あるいは確率変数 （すなわち、確率過程）が へ確実収束 (sure convergence) あるいは各点収束するとは、
が成り立つことである。ここで は、確率変数が定義される確率空間に含まれる標本空間である。
これは、関数列の各点収束の概念を確率変数の列へと拡張したものである（確率変数はそれ自身が関数であることに注意されたい）。
確率変数の確実収束は、上述の他の全ての収束を意味する。しかし、概収束の代わりに確実収束を用いることのメリットは確率論においてはあまり無い。それら2つの収束の違いは、確率 の集合に関する点のみに存在する。このことが、確実収束の概念が滅多に用いられることの無い理由である。
平均収束.
ある に対し、列 が へと 次平均収束（あるいは、-ノルムについて収束）するとは、 および の 次絶対積率が存在し、かつ
が成り立つことである。ここで作用素 E は期待値を表す。次平均収束は、 と の差の 次のべきの期待値が へと収束することを意味する。
この種の収束はしばしば、収束を表す矢の上に記号 を付け加えることで表現される：
"r"次平均収束に関して重要なケースを下に挙げる：
 に関する 次平均収束は、（マルコフの不等式により）確率収束を意味する。また、 である時、次平均収束は 次平均収束を意味する。このことから、二乗平均収束は平均収束を意味することが分かる。
性質.
様々な収束の概念の間の包含関係を以下に記述する。それらは、矢の記号を使うことで、次のように表される：
いくつかの特別な場合とともに、これらの性質を次のようにまとめる：
ここで が定数へ収束するという条件が重要であることに注意されたい。もしその収束がある確率変数 へのものであったら、 が へ収束するという結論は得られない。