ベイズ推定
と解釈できることがわかる。このように確率分布をより客観的にする方法(ベイズ改訂)を利用して、A を推定する方法が、ベイズ推定である。さらに新たな証拠が加えられれば、事後確率を新たに事前確率として扱い、ベイズ改訂を繰り返すこともできる(さらに高い客観性が期待される)。
一方、A は「原因」であるから、従来の推計統計学では、確率分布 P(A) は既に決定しているものであり、従って X を条件とする確率 P(A|X) は意味がない。
従来の推計統計学は既に確固たる数学的理論として構築され、多方面に応用されている。しかしながら母数 a を定数と仮定した上で造り上げられた理論であることから、必ずしも応用に向いたものではない(例えば母集団を決定しにくい医学への応用など)という批判がされる。一方で、ベイズ推定は人間の思考の過程をモデル化したものとも考えられ、人間の思考様式になじむとも主張されている。
ベイズ推定に対する批判としては、事前確率が主観的で一意的に決められない、またそれをもとにして事後確率を求めても、それが客観的な確率分布に収束するという保証がない、といったものがある。
しかし現在では特にコンピュータを用いた方法の発展によりベイズ推定の方法も発展し、スパムメールを識別するためのベイジアンフィルタなどの応用が進んでいる。事前分布としては全く情報がない場合には一様分布などが用いられ(もちろん情報があれば他の分布でよい)、一般には異なる事前確率分布からマルコフ連鎖モンテカルロ法などで安定した結果(事後確率分布)が得られれば、実用的に問題はないと考えられている。
これまでは確率論的な例だったが、統計学的な(多数のものを扱う)例として、二項分布の母数の事後分布を計算することを考えよう。同じ問題はベイズも考えている。
観察結果が、成功 m 回、失敗 n 回となったとする。具体的にはコイントスでも、誰かに賛成・反対の意見を聞くのでもよい。母数a (試行回数、成功確率)について事前確率p(a) で表されるとする。
与えられた a の値に対して、全 m+n 回の試行の内成功が m 回となる確率は、
p ( m , n | a ) = ( n + m m ) a m ( 1 − a ) n {\displaystyle p(m,n|a)={\begin{pmatrix}n+m\\m\end{pmatrix}}a^{m}(1-a)^{n}}
m と n は固定され、 a は不明だから、これは a の尤度関数となる。
ベイズの定理(連続分布の形)から、