ベイズ統計学
P ( B ) = P ( B ∣ A 1 ) P ( A 1 ) + P ( B ∣ A 2 ) P ( A 2 ) + ⋯ + P ( B ∣ A n ) P ( A n ) = ∑ i P ( B ∣ A i ) P ( A i ) {\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}
無限の数の結果が存在する時、全確率の公式を使って P ( B ) {\displaystyle P(B)} を計算するためには全ての結果にわたって積分する必要がある。しばしば、この計算は評価に多大な時間を必要とする加算または積分を含むため、 P ( B ) {\displaystyle P(B)} は計算が難しく、そのためしばしば事前確率と尤度の積のみが考慮される。これは、証拠が同じ分析中では変化しないためである。事後分布はこの積に比例する。
P ( A ∣ B ) ∝ P ( B ∣ A ) P ( A ) {\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}
事後確率の最頻値であり、しばしば数理最適化手法を使ってベイズ統計学において計算される最大事後確率は同じままである。事後確率はマルコフ連鎖モンテカルロ法または変分ベイズ法(英語版)といった手法を使うことで P ( B ) {\displaystyle P(B)} の厳密値を計算せずに近似することができる。
ベイズ統計学は確率を直感的信頼度として扱うため、ベイズの定理はパラメータまたはパラメータのセットに対して、信頼度を定量化する確率分布を直接的に割当てることができる。
ベイズ統計学という名称は、1763年に発表された論文(英語版)においてベイズの理論の特殊な場合を定式化したトーマス・ベイズに因む。18世紀末から19世紀初頭にわたるいくつかの論文において、ピエール=シモン・ラプラスは確率のベイズ的解釈を発展させた。ラプラスは、数多くの統計問題を解くためにベイズ的手法と現在は見なされるであろう手法を用いた。多くのベイズ的手法は後の執筆者らによって発展されたが、この用語は1950年代までこういった手法を言い表すためには一般的に用いれらなかった。20世紀の大半、ベイズ的手法は哲学的および実践的判断により多くの統計学者によって好まれなかった。多くのベイズ的手法は完了するのに多くの計算を必要とし、20世紀に広く用いられたほとんどの手法は頻度主義的解釈に基づいていた。しかしながら、強力な計算機とマルコフ連鎖モンテカルロ法のような新たなアルゴリズムの出現によって、ベイズ的手法は21世紀に入り統計学内において利用の増加が見られてきている。