ベイズ推定
いま、AおよびXを離散確率変数とする。ここで A を原因、X をそれに対する証拠(つまり原因によって起きたと想定される事象)とするとき、
P(A) = 事象 A が発生する確率を、事前確率 (prior probability)
P(A|X) = 事象 X が発生した下で、事象 A が発生する条件付き確率を、事後確率 (posterior probability)
という。P(A|X) は、ベイズの定理によって
P ( A | X ) = P ( X | A ) P ( A ) P ( X ) = P ( X | A ) P ( A ) ∑ A P ( X | A ) P ( A ) {\displaystyle {\begin{aligned}P(A|X)&={\frac {P(X|A)P(A)}{P(X)}}\\&={\frac {P(X|A)P(A)}{\sum _{A}P(X|A)P(A)}}\end{aligned}}}
と表される。
ここで、P(X|A) のことを尤度と呼ぶ。またこれを A の関数と考えて尤度関数 L(A|X) = P(X|A) ともいう(L(A|X)はA に関する確率分布ではない)。
ベイズ確率(ベイジアン)の考え方では、A を定数とする必要はなく、上記のような分布に従う確率変数としてよい(客観的に定義できるものではないから、主観確率である)。
この考え方からすると、上のベイズの定理の式は、
主観確率分布 P(A) に、係数 P(X|A) / P(X) を掛けることにより、証拠 X を加味して、より客観性の高い確率分布 P(A|X) を求める