ベイズ統計学

ベイズ統計学（ベイズとうけいがく、）は、確率のベイズ的解釈に基づく統計学（および理論）を指す。
ベイズ統計的手法は、新たなデータを得た後に確率を計算および更新するためにベイズの定理を用いる。ベイズの定理は、データに基づく事象の条件付き確率や事象に関する事前情報または直観的信頼度、事象に関連した条件を説明する。例えば、ベイズ推定において、ベイズの定理を確率分布または統計モデルのパラメータを見積るために使うことができる。ベイズ統計学は確率を直感的信頼度として扱うため、ベイズの定理はパラメータまたはパラメータのセットに対して、信頼度を定量化する確率分布を直接的に割当てることができる。
ベイズ統計学という名称は、1763年に発表されたにおいてベイズの理論の特殊な場合を定式化したトーマス・ベイズに因む。18世紀末から19世紀初頭にわたるいくつかの論文において、ピエール＝シモン・ラプラスは確率のベイズ的解釈を発展させた。ラプラスは、数多くの統計問題を解くためにベイズ的手法と現在は見なされるであろう手法を用いた。多くのベイズ的手法は後の執筆者らによって発展されたが、この用語は1950年代までこういった手法を言い表すためには一般的に用いれらなかった。20世紀の大半、ベイズ的手法は哲学的および実践的判断により多くの統計学者によって好まれなかった。多くのベイズ的手法は完了するのに多くの計算を必要とし、20世紀に広く用いられたほとんどの手法は頻度主義的解釈に基づいていた。しかしながら、強力な計算機とマルコフ連鎖モンテカルロ法のような新たなアルゴリズムの出現によって、ベイズ的手法は21世紀に入り統計学内において利用の増加が見られてきている。
ベイズの定理.
ベイズの定理はベイズ統計学における基本定理である。ベイズの定理は新たなデータを得た後に確率（直感的信頼度）を更新するためにベイズ的手法によって用いられる。2つの事象formula_1とformula_2を考えると、formula_2が真であると仮定したと時のformula_1の条件付き確率は以下の式で表わされる（formula_5）。
formula_6
ベイズの定理は確率論の基本的結果であるものの、ベイズ統計学においては明確な解釈を持つ。上記の式において、formula_1は大抵は命題（硬貨が50%の確率で表面から着地するとする宣言といったようなもの）、formula_2 は考慮に入れられるべき証拠（エビデンス）または新たなデータ（一連のコイン投げの結果といったようなもの）を表わす。formula_9はformula_1の事前確率であり、証拠が考慮に入れられる前のformula_1に関する直感的信頼を表わす。formula_12は尤度関数であり、formula_1が真であると仮定した時の証拠formula_2の確率と解釈することができる。この尤度は、証拠formula_2が命題formula_1を支持する度合いを定量する。formula_17は事後確率であり、証拠formula_2を考慮に入れた後の命題formula_1の確率である。原則的に、ベイズの定理は新たな証拠formula_2を考慮した後に事前の直感的信頼度formula_9を更新する。
証拠の確率formula_22はを使って計算できる。formula_23が標本空間（実験の全ての結果一式）の分割であるとすると、以下のようになる。
formula_24
無限の数の結果が存在する時、全確率の公式を使ってformula_22を計算するためには全ての結果にわたって積分する必要がある。しばしば、この計算は評価に多大な時間を必要とする加算または積分を含むため、 formula_22は計算が難しく、そのためしばしば事前確率と尤度の積のみが考慮される。これは、証拠が同じ分析中では変化しないためである。事後分布はこの積に比例する。
formula_27
事後確率の最頻値であり、しばしば数理最適化手法を使ってベイズ統計学において計算される最大事後確率は同じままである。事後確率はマルコフ連鎖モンテカルロ法またはといった手法を使ってformula_22の厳密な値をの計算さえ行わずに近似することができる。
ベイズ的手法の概要.
一般的な統計的技術は多くの活動に分割することができ、それらの多くが特別なベイズ統計版を有する。
ベイズ推定.
ベイズ推定は、推定における不確かさが確率を使って定量化される統計的推定を指す。古典的なでは、モデルのパラメータと仮説は固定と見なされる。確率は頻度主義的推定においてはパラメータまたは仮説に割り当てられない。例えば、頻度主義的推定においては、公正な硬貨を次に投げた時の結果といった一度しか起こりえない事象へ直接的に確率を割り当てることは意味をなさない。しかしながら、表が出る割合が硬貨投げの回数が増加するにつれて2分の1に近付くと述べることは意味をなす。
統計モデルは、いかに標本データが生成されるかを表わす一連の統計的仮定および過程を規定する。統計モデルは修正可能な数多くのパラメータを持つ。例えば、硬貨はベルヌーイ分布からの標本として表わすことができ、これは2つの可能な結果をモデル化している。ベルヌーイ分布は一方の結果の確率に等しい単一のパラメータを有し、ほとんどの場合これは表が着地する確率である。データに対するよいモデルを考案することがベイズ推計において中心となる。ほとんどの場合において、モデルは真の過程を近似するだけであり、データに影響する特定の因子を考慮に入れない。ベイズ推計において、確率はモデルのパラメータに割り当てることがでできる。パラメータは確率変数として表わすことができる。ベイズ推計はより多くの証拠が得られたまたは知られた後に確率を更新するためにベイズの定理を用いる。
統計モデリング.
ベイズ統計学を用いた統計モデルの定式化は、あらゆる未知のパラメータについて事前確率の指定を必要とする特徴を有する。実際、事前分布のパラメータそれら自身が事前分布を持ちうる（これが階層ベイズモデルにつながる）、あるいはそれら自身が相互に関係しうる（これがベイジアンネットワークにつながる）。
実験計画法.
は「事前信念の影響（influence of prior beliefs）」と呼ばれる概念を含む。この手法は次の実験の設計においてそれ以前の事件の結果を含めるために技術を用いる。これは、事前および事後分布の使用により「直感的信頼度（beliefs、信念）」を更新することによって達成される。これにより、実験計画法は全ての種類の資源を有効に利用することが可能となる。この一例が多腕バンディット問題である。
統計グラフィックス.
は、データ探索、モデル検証、その他の目的のための手法を含む。ベイズ推定のためのある計算技術、具体的に言うと様々な種類のマルコフ連鎖モンテカルロ法を使用すると、必要な事後分布を表わすうえでこういった計算の妥当性のチェックが必要となり、これはしばしば視覚的（グラフィカル）な形式で行われる。