贝叶斯推断

贝叶斯推断（Bayesian inference）是推论统计的一种方法。这种方法使用贝叶斯定理，在有更多证据及信息时，更新特定假设的概率。贝叶斯推断是统计学（特别是数理统计学）中很重要的技巧之一。贝叶斯更新（Bayesian updating）在序列分析中格外的重要。贝叶斯推断应用在许多的领域中，包括科学、工程学、哲学、医学、体育运动、法律等。在决策论的哲学中，贝叶斯推断和主观概率有密切关系，常常称为贝叶斯概率。

贝叶斯定理是由统计学家托马斯·贝叶斯根据许多特例推导而成，后来被许多研究者推广为一普遍的定理。

## 贝叶斯定理的简介

<image>

### 正式的介绍贝叶斯推断

贝叶斯推断将后验概率（考虑相关证据或数据后，某一事件的条件几率）作为先验概率（考虑相关证据或数据前，某一事件不确定性的几率）和似然函数（由观测数据的统计模型（概率模型）推导而得）这两个前因导出的结果。贝叶斯推断根据贝叶斯定理计算后验概率：

$$P(H\mid E) = \frac{P(E\mid H) \cdot P(H)}{P(E)}$$

其中

- $\textstyle \mid$表示将某事件成立作为条件（因此$\textstyle (A\mid B)$表示“假定 B 事件成立下，A 事件发生”）
- $\textstyle H$表示假说，其几率可能会受数据（以下会称为证据）影响。一般来说会有许多互相矛盾的假说，任务是要确认哪一个假说可能性最高。
- $\textstyle E$表示证据。证据对应新的数据，也就是还没用来计算先验概率的数据。
- $\textstyle P(H)$，先验概率，是观察到数据$\textstyle E$（目前证据）之前，假说$\textstyle H$的几率。
- $\textstyle P(H\mid E)$，后验概率，是在给定证据 $\textstyle E$之后，假说$\textstyle H$的几率，是希望求得的资讯，也就是在有目前证据时，假说$\textstyle H$的几率。
- $\textstyle P(E\mid H)$是假定 $\textstyle H$成立时，观察到$\textstyle E$的几率。在$\textstyle H$不变时，这是$\textstyle E$的函数，也是似然函数，指出在给定假设下假说和证据的相容程度。似然函数是证据$\textstyle E$的函数，而后验概率是假说$\textstyle H$的函数。
- $\textstyle P(E)$有时会称为边缘似然率。此系数对所有可能的假说都是定值，因此在判断不同假说的相对几率时，不会用到这个系数中。

针对不同的$\textstyle H$数值，只有$\textstyle P(H)$和$\textstyle P(E\mid H)$（都在分子）会影响$\textstyle P(H\mid E)$的数值。假说的后验概率和其先验概率（固有似然率）和新产生的似然率（假说和新得到证据的相容性）乘积成正比。

在 $\neg H$（即“非 $H$”，$H$ 的逻辑否定）为有效似然率的情形下，贝氏定理可以改写为：

$$\begin{align} <pre> P(H \mid E) &= \frac{P(E \mid H) P(H)}{P(E)} \\ &= \frac{P(E \mid H) P(H)}{P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)} \\ &= \frac{1}{1 + \left(\frac{1}{P(H)} - 1\right) \frac{P(E \mid \neg H)}{P(E \mid H)} } </pre> \end{align}$$

这是因为

$$P(E) = P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)$$

以及

$$P(H) + P(\neg H) = 1 .$$

上式使人们将注意力集中在以下这个因子上：

$$\left(\tfrac{1}{P(H)} - 1\right) \tfrac{P(E \mid \neg H)}{P(E \mid H)} .$$

若此因子约等于 1，则给定证据后假说的几率 $P(H \mid E)$ 约为 $\tfrac{1}{2}$，即大约 50%，可能性相当。若此因子极小（接近零），则 $P(H \mid E)$ 接近 1，表示假说在给定证据下相当可能成立。若此因子极大（远大于 1），则假说在给定证据下相当不可能成立。

记忆这一公式的简便方法是利用乘法法则：

$$P(E \cap H) = P(E \mid H) P(H) = P(H \mid E) P(E).$$

贝叶斯定理也可以写成下式：

$$P(H\mid E) = \frac{P(E\mid H)}{P(E)} \cdot P(H)$$

其中系数$\textstyle \frac{P(E\mid H)}{P(E)}$可以解释成$E$对$H$几率的影响。

### 非正式的介绍贝叶斯推断

贝叶斯推断最关键的点是可以利用贝叶斯定理结合新的证据及以前的先验几率，来得到新的几率（这和频率学派推断相反，频率论推论只考虑证据，不考虑先验几率）。

而且贝叶斯推断可以迭代使用：在观察一些证据后得到的后设几率可以当作新的先验几率，再根据新的证据得到新的后设几率。因此贝叶斯定理可以应用在许多不同的证据上，不论这些证据是一起出现或是不同时出现都可以，这个程序称为贝叶斯更新（Bayesian updating）。

### 贝叶斯更新的替代方案

贝氏更新虽然被广泛采用且在计算上便于操作，但并非唯一被认为合理的信念更新规则。

伊恩·哈金指出，传统的“荷兰赌”论证并未规定必须采用贝氏更新——它为能避免荷兰赌的非贝氏更新规则留下了空间。哈金写道：“荷兰赌论证，乃至个人主义者用以证明概率公理的其他任何论证，都未蕴含动态假设，也不蕴含贝氏主义。因此，个人主义者若要成为贝氏主义者，必须额外引入动态假设。诚然，一位个人主义者可以一贯地放弃贝氏从经验中学习的模型——就像盐可以失去它的味道一样。”

事实上，确实存在不导致荷兰赌的非贝氏更新规则，这在理查德·杰弗里的“概率运动学”发表后的文献中有所讨论。杰弗里的规则将贝氏定理应用于证据本身被赋予概率的情形。唯一确定贝氏更新的额外假设被认为是实质性的、复杂的且令人不满意的。

## 对互斥且穷举的可能性之推论

若证据被同时用于更新一组互斥且穷举的命题上的信念，贝氏推断可被视为对整个信念分布整体运作的过程。

### 一般形式

假设一个过程正在产生独立且同分布的事件 $E_n,\ n = 1, 2, 3, \ldots$，但概率分布未知。设事件空间 $\Omega$ 代表目前对此过程的信念状态。每个模型以事件 $M_m$ 表示，条件概率 $P(E_n \mid M_m)$ 用来定义各个模型。$P(M_m)$ 是对 $M_m$ 的信念程度。在第一步推断之前，$\{P(M_m)\}$ 是一组初始先验概率，其总和必须为 1，其余部分则是任意的。

假设观察到过程产生了 $E \in \{E_n\}$。对每个 $M \in \{M_m\}$，先验 $P(M)$ 被更新为后验 $P(M \mid E)$。根据贝叶斯定理：

$$P(M \mid E) = \frac{P(E \mid M)}{\sum_m {P(E \mid M_m) P(M_m)}} \cdot P(M).$$

在观察到进一步证据后，此程序可以重复进行。

### 多重观测

对于一列独立且同分布的观测值 $\mathbf{E} = (e_1, \dots, e_n)$，可以通过归纳法证明，反复应用上述程序等价于

$$P(M \mid \mathbf{E}) = \frac{P(\mathbf{E} \mid M)}{\sum_m {P(\mathbf{E} \mid M_m) P(M_m)}} \cdot P(M),$$

其中

$$P(\mathbf{E} \mid M) = \prod_k{P(e_k \mid M)}.$$

### 参数化形式

通过对模型空间进行参数化，可以在一个步骤中更新所有模型上的信念。模型空间上的信念分布可以视为参数空间上的信念分布。本节的分布以连续形式（概率密度）表示，这是通常的情形，但此技术同样适用于离散分布。

设向量 $\boldsymbol{\theta}$ 张成参数空间。设 $\boldsymbol{\theta}$ 的初始先验分布为 $p(\boldsymbol{\theta} \mid \boldsymbol{\alpha})$，其中 $\boldsymbol{\alpha}$ 是先验本身的一组参数，称为超参数。设 $\mathbf{E} = (e_1, \dots, e_n)$ 是一列独立且同分布的事件观测值，所有 $e_i$ 均以某个 $\boldsymbol{\theta}$ 为参数分布为 $p(e \mid \boldsymbol{\theta})$。对 $\boldsymbol{\theta}$ 的后验分布应用贝叶斯定理：

$$\begin{align} <pre> p(\boldsymbol{\theta} \mid \mathbf{E}, \boldsymbol{\alpha}) &= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{p(\mathbf{E} \mid \boldsymbol{\alpha})} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \\ &= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{\int p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}) p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \, d\boldsymbol{\theta}} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}), </pre> \end{align}$$

其中

$$p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}) = \prod_k p(e_k \mid \boldsymbol{\theta}).$$

## 贝叶斯推断的描述

### 定义

- $x$是数据点，可能是一个有许多数值形成的多维随机变量。
- $\theta$是数据点分布的参数，也就是说$x \sim p(x \mid \theta)$。这也有可能是参数形成的向量。
- $\alpha$是参数的超参数，也就是说$\theta \sim p(\theta \mid \alpha)$。这也有可能是超参数形成的向量。
- $\mathbf{X}$，由观测到的$n$个数据点组成的一组数据，$x_1,\ldots,x_n$.
- $\tilde{x}$，需预测分布的新数据点。

### 贝叶斯推断

- 先验分布是在观测资料前的参数分布$p(\theta \mid \alpha)$。
- 先验分布可能不容易确认，此时可以用杰佛里斯事前分配在更新较新的观测值时，先获得后验分布。
- 取样分布是以观测资料的条件，其参数的分布$p(\mathbf{X} \mid \theta)$。这也称为似然函数，尤其是视为是参数的函数时，有时会写成$\operatorname{L}(\theta \mid \mathbf{X}) = p(\mathbf{X} \mid \theta)$。
- 边缘似然率（有时也称为证据）是观测资料在参数上的边缘分布$p(\mathbf{X} \mid \alpha) = \int_{\theta} p(\mathbf{X} \mid \theta) p(\theta \mid \alpha) \operatorname{d}\!\theta$。它从几何意义上量化了资料与先验知识之间的一致程度，这一意义可以被精确表述。若边缘似然率为 0，则资料与先验知识之间毫无一致性，贝氏定理无法被应用。
- 后验分布是考虑观测资料后的参数分布。可以由贝叶斯定理确认，也是贝叶斯推断的核心：

$$p(\theta \mid \mathbf{X},\alpha) = \frac{p(\theta,\mathbf{X},\alpha)}{p(\mathbf{X},\alpha)} = \frac{p(\mathbf{X}\mid\theta,\alpha)p(\theta,\alpha)}{p(\mathbf{X}\mid\alpha)p(\alpha)}$$

$$= \frac{p(\mathbf{X} \mid \theta,\alpha) p(\theta \mid \alpha)}{p(\mathbf{X} \mid \alpha)} \propto p(\mathbf{X} \mid \theta,\alpha) p(\theta \mid \alpha).$$

若用文字表示，即为“后验和先验及似然率的乘积成正比”，有时也会写成“后验 = 先验 × 似然率，在有证据的情形下”。

- 在机器学习中使用的几乎所有复杂贝氏模型中，后验分布 $p(\theta \mid \mathbf{X},\alpha)$ 在实践中无法以封闭形式求得，主要原因在于 $\theta$ 的参数空间可能非常高维，或贝氏模型中存在由观测值 $\mathbf{X}$ 与参数 $\theta$ 构成的层次结构。在此类情形下，需要借助近似技术。
- 一般情形：设 $P_Y^x$ 为给定 $X = x$ 时 $Y$ 的条件分布，$P_X$ 为 $X$ 的分布，则联合分布为 $P_{X,Y} (dx,dy) = P_Y^x (dy) P_X (dx)$。给定 $Y=y$ 时 $X$ 的条件分布 $P_X^y$ 由以下关系确定：

$$P_X^y (A) = E (1_A (X) | Y = y).$$所需条件期望的存在性与唯一性是拉东–尼科迪姆定理的推论，由柯尔莫哥洛夫在其 1933 年的著名著作中加以阐述。柯尔莫哥洛夫在前言中强调了条件概率的重要性：“我希望特别关注……条件概率与条件期望的理论。” 贝氏定理由先验分布确定后验分布；唯一性的确立需要连续性假设。贝氏定理可推广至包含非正规先验分布（如实数线上的均匀分布）的情形。现代马可夫链蒙地卡罗方法大大提升了贝氏定理的重要性，包括非正规先验的情形。

### 贝叶斯预测

$$p(\tilde{x} \mid \mathbf{X},\alpha) = \int p(\tilde{x} \mid \theta) p(\theta \mid \mathbf{X},\alpha) d\theta$$

$$p(\tilde{x} \mid \alpha) = \int p(\tilde{x} \mid \theta) p(\theta \mid \alpha) d\theta$$

贝氏理论要求使用后验预测分布进行预测推断，即预测新的、未观测到的数据点的分布。也就是说，预测结果不是一个固定的点，而是一个在可能取值上的分布——只有这样才能充分利用整个后验分布的信息。相比之下，频率论统计中的预测通常是找到参数的最优点估计——例如通过最大似然估计或最大后验几率估计（MAP）——然后将此估计代入数据点分布的公式中。这种方法的缺点在于它未能考虑到参数值的不确定性，因此会低估预测分布的方差。

在某些情况下，频率论统计可以绕过这一问题。例如，从具有未知均值和方差的正态分布构建的信赖区间和预测区间，是使用学生t分布构建的，能够正确估计方差。在贝氏统计中，后验预测分布总是可以精确确定，或在使用数值方法时至少可以达到任意精确程度。

后验预测分布和先验预测分布均具有复合概率分布的形式（边缘似然率亦然）。若先验分布是共轭先验，则先验与后验预测分布也来自同一族复合分布，两者的差别仅在于使用了不同的超参数值。

## 数学性质

### 系数的解释

$\frac{P(E \mid M)}{P(E)} > 1 \Rightarrow P(E \mid M) > P(E)$，即若模型为真，则证据出现的概率比当前信念所预期的更高，信念因此增强。反之亦然。若信念不改变，则 $\frac{P(E \mid M)}{P(E)} = 1$，即证据与模型无关，模型为真时证据出现的概率恰好与当前信念的预测一致。

### 克伦威尔法则

若 $P(M) = 0$，则 $P(M \mid E) = 0$；若 $P(M) = 1$ 且 $P(E) > 0$，则 $P(M|E) = 1$。这可以解释为：强硬的确信对反面证据不敏感。

前一命题直接由贝氏定理推出。后一命题可通过对“非 $M$”套用前一命题推导：“若 $1 - P(M) = 0$，则 $1 - P(M \mid E) = 0$”，结果随即得出。

### 后验分布的渐近行为

考虑信念分布在大量独立同分布试验下的行为。对于足够“良好”的先验概率，伯恩斯坦–冯·米塞斯定理表明：在无限次试验的极限下，后验分布在某些条件下会收敛到一个与初始先验无关的正态分布；这些条件最初由约瑟夫·L·杜布于 1948 年概述并严格证明，即所考虑的随机变量具有有限的概率空间。更一般的结论由统计学家大卫·A·弗里德曼在 1963 年和 1965 年的两篇奠基性论文中获得，说明了后验渐近行为成立的条件。他的 1963 年论文与杜布（1949）相似，处理有限情形并得出令人满意的结论。然而，若随机变量具有无限但可数的概率空间（例如，对应一个掷有无限个面的骰子），1965 年的论文表明对于稠密的先验子集，伯恩斯坦–冯·米塞斯定理不适用——在此情形下，渐近收敛几乎必然不成立。1980 年代至 1990 年代，弗里德曼与佩尔西·迪亚科尼斯继续研究无限可数概率空间的情形。综上所述，试验次数可能不足以消除初始先验选择的影响；对于大型（但有限的）系统，收敛可能非常缓慢。

### 共轭先验

在参数化形式下，先验分布通常被假定来自一族称为共轭先验的分布。共轭先验的优点在于相应的后验分布与先验属于同一族，计算可以用封闭形式表达。

### 参数估计与预测

通常希望使用后验分布来估计某个参数或变量。几种贝氏估计方法从后验分布中选取集中趋势的度量。

对于一维问题，唯一的中位数对实际的连续问题存在。后验中位数作为一种稳健估计量具有吸引力。

若后验分布存在有限均值，则后验均值是一种估计方法：

$$\tilde \theta = \operatorname{E}[\theta] = \int \theta \, p(\theta \mid \mathbf{X},\alpha) \, d\theta$$

取概率最大的值定义了最大后验几率估计（MAP）：

$$\{ \theta_{\text{MAP}}\} \subset \arg \max_\theta p(\theta \mid \mathbf{X},\alpha).$$

亦有其他估计方法，基于损失函数最小化后验风险（期望后验损失），这对采用抽样分布（频率论统计）的统计决策理论颇有价值。

新观测值 $\tilde{x}$（独立于以往观测）的后验预测分布由以下公式确定：

$$p(\tilde{x}|\mathbf{X},\alpha) = \int p(\tilde{x},\theta \mid \mathbf{X},\alpha) \, d\theta$$ $$=\int p(\tilde{x} \mid \theta) p(\theta \mid \mathbf{X},\alpha) \, d\theta.$$

## 例子

### 假说的几率

碗 #1 H1｜碗 #2 H2｜合计

普通饼干 E｜30｜20｜50

巧克力饼干 ¬E｜10｜20｜30

合计｜40｜40｜80

P(H1|E) = 30 / 50 = 0.6

假设有两个装满饼干的碗。碗 #1 里有 10 块巧克力饼乾和 30 块普通饼干，碗 #2 里各有 20 块。弗雷德随机选了一个碗，再从中随机取出一块饼干，这意味着他对两个碗以及碗中饼干的选取都是均等的。取出的是一块普通饼干。这块饼干有多大可能是从碗 #1 取出的？这是一个可用贝氏推断方法处理的问题。

直观上，答案应超过一半，因为碗 #1 里普通饼干更多。精确答案由贝氏定理给出。设 $H_1$ 对应碗 #1，$H_2$ 对应碗 #2。由于两个碗在弗雷德看来完全相同，$P(H_1)=P(H_2)$，二者之和为 1，故均等于 0.5。事件 $E$ 是观察到普通饼干。根据各碗的内容物，$P(E \mid H_1) = 30/40 = 0.75$，$P(E \mid H_2) = 20/40 = 0.5$。贝氏公式给出：

$$P(H_1 \mid E) = \frac{P(E \mid H_1)\,P(H_1)}{P(E \mid H_1)\,P(H_1)\;+\;P(E \mid H_2)\,P(H_2)}$$ $$= \frac{0.75 \times 0.5}{0.75 \times 0.5 + 0.5 \times 0.5} = 0.6.$$

在观察到弗雷德的饼干之前，他选中碗 #1 的几率（先验概率）为 $P(H_1)=50\%$。通过得知饼干的类型，对 $P(H_1)$ 的估计更新为 $P(H_1 \mid E)=60\%$。

### 进行预测

一名考古学家正在发掘一个据信属于中世纪（11 至 16 世纪）的遗址，但确切的居住年代不明。出土的陶片中，部分有上釉，部分有装饰。根据预期：若遗址在中世纪早期有人居住，则约 1% 的陶器上釉、50% 的面积有装饰；若在中世纪晚期，则约 81% 上釉、5% 的面积有装饰。随着陶片不断出土，考古学家对居住年代的信心如何更新？

设 $C$（世纪）为待估计的连续变量，以离散事件集 $\{GD,G \bar D, \bar G D, \bar G \bar D\}$ 作为证据。由上述信息得上釉概率：

$$p_G(c) = 0.01 + \frac{0.80}{5}(c-11)$$ 装饰概率：

$$p_D(c) = 0.5 - \frac{0.45}{5}(c-11)$$ 其补集为 $\bar p_G(c) = 1 - p_G(c)$，$\bar p_D(c) = 1 - p_D(c)$。

假设上釉与装饰随时间线性变化且彼此独立，各事件的概率为：

- $$P(E=GD \mid C=c) = p_G(c)\,p_D(c)$$
- $$P(E=G\bar D \mid C=c) = p_G(c)\,\bar p_D(c)$$
- $$P(E=\bar G D \mid C=c) = \bar p_G(c)\,p_D(c)$$
- $$P(E=\bar G \bar D \mid C=c) = \bar p_G(c)\,\bar p_D(c)$$

每当发现新陶片 $e$，即带来更多信息，通过贝氏定理将信念分布更新为改进后的估计。假设均匀先验 $f_C(c) = 0.2$ 且试验独立同分布：

$$f_C(c \mid E=e) = \frac{P(E=e \mid C=c)}{P(E=e)}f_C(c)$$ $$= \frac{P(E=e \mid C=c)}{\int_{11}^{16}{P(E=e \mid C=c)f_C(c)dc}}f_C(c).$$

随着 50 块陶片被发掘，信念的动态变化可通过计算机模拟观察。在模拟中，遗址的居住年代约为 1420 年（即 $c=15.2$）。通过计算 50 次试验后图像相应部分下的面积，考古学家可以得出结论：遗址在 11、12 世纪有人居住的可能性几乎为零，13 世纪约 1%，14 世纪约 63%，15 世纪约 36%。伯恩斯坦–冯·米塞斯定理在此保证了渐近收敛到“真实”分布，因为对应离散事件集 $\{GD,G \bar D, \bar G D, \bar G \bar D\}$ 的概率空间是有限的。

## 频率论统计与决策理论

决策理论层面上对贝氏推断使用的辩护由亚伯拉罕·瓦尔德提出——他证明了每一个唯一的贝氏程序都是可容许的，反之，每一个可容许的统计程序要么是贝氏程序，要么是贝氏程序的极限。

瓦尔德将可容许程序刻画为贝氏程序（及其极限），使贝氏框架成为频率论推断诸多领域（如参数估计、假设检验及计算信赖区间）的核心技术。例如：

- “在某些条件下，所有可容许程序要么是贝氏程序，要么是贝氏程序的极限（在各种意义下）。这些重要结果，至少在其原始形式上，主要归功于瓦尔德。它们之所以有用，是因为贝氏性质比可容许性更易于分析。”
- “在决策理论中，一种相当普遍的证明可容许性的方法是将一个程序展示为唯一的贝氏解。”
- “在本书的前几章中，有限支撑的先验分布及相应的贝氏程序被用于建立一些比较实验的主要定理。对更一般先验的贝氏程序在统计学的发展（包括其渐近理论）中发挥了非常重要的作用。”“许多问题中，只需审视后验分布（对适当的先验），便能立即获得有趣的信息。此外，序列分析中几乎无法回避这一技术。”
- “一个有用的事实是：通过对整个参数空间取正规先验所得的任何贝氏决策规则必然是可容许的。”
- “在可容许性思想的发展过程中，传统抽样理论程序是一个重要的研究领域，并取得了许多有趣的成果。”

### 模型选择

贝氏方法在模型选择中也扮演着重要角色，其目标是从一组竞争模型中选出最能代表生成观测数据的潜在过程的模型。在贝氏模型比较中，选取在给定数据下具有最高后验概率的模型。模型的后验概率取决于证据（反映数据由该模型生成的概率）以及对模型的先验信念。当两个竞争模型的先验概率相同时，其后验概率之比即为贝氏因子。由于贝氏模型比较的目标是选取后验概率最高的模型，此方法也称为最大后验（MAP）选择规则或 MAP 概率规则。

## 概率编程

贝氏方法在概念上虽然简单，但在数学和数值计算上可能颇具挑战。概率编程语言（PPL）实现了便于构建贝氏模型的函数，并结合高效的自动推断方法。这有助于将模型构建与推断过程分离，使从业者能够专注于自身的具体问题，而将计算细节交由概率编程语言处理。

## 应用

### 统计资料分析

请参见贝叶斯统计的独立条目，特别是其中的统计建模部分。

### 电脑应用

贝叶斯推断有在人工智能及专家系统上应用。自 1950 年代后期开始，贝叶斯推断技巧就是电脑模式识别技术中的基础。现在也越来越多将贝叶斯推断和以模拟为基础的蒙地卡罗方法合并使用的应用，因为一些模杂的模型无法用贝叶斯分析得到解析解，而图模式结构可以配合一些快速的模拟方式（例如吉布斯抽样或是其他Metropolis–Hastings算法）。因为上述理由，贝叶斯推断在系统发生学研究社群中来越受到重视，许多的应用可以用同时估测许多人口和进化参数。

应用于统计分类时，贝叶斯推断被用于开发识别电子邮件垃圾邮件的算法。利用贝叶斯推断进行垃圾邮件过滤的应用包括 CRM114、DSPAM、Bogofilter、SpamAssassin、SpamBayes、Mozilla、XEAMS 等。垃圾邮件分类在朴素贝氏分类器条目中有更详细的论述。

所罗门诺夫归纳推理理论是一种基于观测的预测理论——例如，根据一串已知符号预测下一个符号。其唯一假设是环境遵循某个未知但可计算的概率分布。它是一个将贝氏统计与奥卡姆剃刀两个经典归纳推理原则相结合的形式化归纳框架。所罗门诺夫对任何可计算序列 x 的前缀 p 的通用先验概率，是所有能计算以 p 开头输出的程序（对通用计算机而言）的概率之和。给定某个 p 以及对 x 进行抽样的某个可计算但未知的概率分布，通用先验与贝氏定理可被用于以最优方式预测 x 的尚未观察到的部分。

### 生物资讯学与医疗应用

贝叶斯推断已应用于各种生物资讯学领域，包括基因差异表达分析。贝叶斯推断亦被用于一般癌症风险模型，称为 CIRI（连续个人化风险指数，Continuous Individualized Risk Index），其中序列测量结果被整合以更新主要从先验知识构建的贝氏模型。

### 宇宙学与天文物理应用

贝氏方法是近年宇宙学与天文物理学进展的核心，广泛应用于一系列天文物理问题，包括系外行星特征刻画（如 k2-18b 大气拟合）、宇宙学数据的参数约束，以及天文物理实验的定标。

在宇宙学中，贝氏方法通常与马可夫链蒙地卡罗（MCMC）和巢状抽样算法等计算技术结合使用，以分析复杂数据集并在高维参数空间中导航。一个显著应用是对 Planck 2018 CMB 数据的参数推断。Lambda冷暗物质模型中的六个基本宇宙学参数并非由理论预测，而是从宇宙微波背景辐射（CMB）数据对宇宙学模型（Lambda-CDM 模型）拟合而来。宇宙学贝氏分析代码 `cobaya` 可建立宇宙学运算并与宇宙学似然函数、玻尔兹曼代码（计算给定宇宙学参数组合的预测 CMB 各向异性）进行接口，并配合 MCMC 或巢状采样器使用。

这一计算框架不仅限于标准模型，对于测试宇宙学的替代或扩展理论（如引入早期暗能量的理论或在 Lambda-CDM 之外引入附加参数的修正引力理论）亦不可或缺。贝氏模型比较可用于计算竞争模型的证据，为评估数据是否支持这些理论而非标准 Lambda-CDM 提供统计基础。

### 在法庭上

贝叶斯推断可以被陪审员用于一致地累积对被告不利或有利的证据，并评估其是否在总体上达到其个人认定“排除合理怀疑”的门槛。贝氏定理逐步应用于所有提交的证据，前一阶段的后验成为下一阶段的先验。贝氏方法的优势在于它为陪审员提供了一种无偏且合理的证据整合机制。向陪审员以赔率形式解释贝氏定理可能更为适当，因为博彩赔率比概率更广为人知。或者，用加法取代乘法的对数方法也许对陪审团而言更易操作。

若犯罪的存在本身不存疑，只有罪犯身份尚待确定，有人建议先验应在符合条件的人群中取均匀分布。例如，若有 1,000 人可能犯罪，则有罪的先验概率为 1/1000。

陪审员使用贝氏定理存在争议。在英国，一名辩方专家证人在 R v Adams 案中向陪审团解释了贝氏定理。陪审团作出有罪裁定，但案件以未向不愿使用贝氏定理的陪审员提供累积证据的方法为由提出上诉。上诉法院维持原判，但同时表达了意见：“将贝氏定理或任何类似方法引入刑事审判，会使陪审团陷入不恰当且不必要的理论与复杂性领域，令其偏离应尽的职责。”

Gardner-Medwin 认为，刑事审判裁决所应依据的标准，不是有罪的概率，而是假定被告无罪时，相关证据出现的概率（类似于频率论的 p值）。他认为，若要通过贝氏定理计算有罪的后验概率，则必须知道有罪的先验概率，而这取决于犯罪的发生率，是一个在刑事审判中颇不寻常的考量。以下三个命题值得考虑：

A — 已知事实与证词在被告有罪的情形下可能出现。

B — 已知事实与证词在被告无罪的情形下可能出现。

C — 被告有罪。

Gardner-Medwin 认为，陪审团应在相信 A 且不相信 B 的情况下作出有罪裁定。A 且非 B 蕴含 C 为真，但反之不成立。B 与 C 同时为真是可能的，但他认为在此情形下陪审团应宣告无罪，即便知道这样做会让一些确实有罪的人逃脱。另见 Lindley悖论。

### 贝叶斯认识论

贝氏认识论是一场提倡以贝氏推断作为归纳逻辑规则之辩护手段的思想运动。

卡尔·波普尔与大卫·米勒拒绝了贝氏理性主义（即使用贝氏规则进行认识论推断）的观点：它与任何其他辩护主义认识论一样，易陷入恶性循环，因为它预设了它所试图辩护的东西。依照这一观点，对贝氏推断的理性诠释应将其仅视为可证伪性的概率版本，而拒绝贝氏主义者通常持有的信念——即通过一系列贝氏更新所达到的高似然率能够在任何合理的怀疑之上，乃至以大于 0 的概率，证明假说成立。

### 其他

- 科学方法有时被解读为贝氏推断的一种应用：在这一观点下，贝氏规则指引（或应当指引）在面对新观测或实验时对假说概率的更新。贝叶斯推断亦被应用于带有不完整信息的随机排程问题中。
- 贝氏搜寻理论用于搜寻失踪物体。
- 系统发生学中的贝叶斯推断
- 贝氏甲基化分析工具
- 贝氏脑功能方法：将大脑研究为一种贝氏机制。
- 生态学研究中的贝叶斯推断
- 贝叶斯推断用于估计随机化学动力学模型中的参数
- 贝叶斯推断在经济物理学中用于货币或金融报价趋势预测
- 行销中的贝叶斯推断
- 运动学习中的贝叶斯推断
- 贝叶斯推断用于概率数值计算求解数值问题

## 贝叶斯与贝叶斯推断

贝叶斯在其文章《几率论中一问题的求解尝试》第 9 命题中所考虑的问题，是二项分布参数 a（成功率）的后验分布。

## 历史

“贝叶斯”是指托马斯·贝叶斯（1702–1761），他证明了一个特例（现在知道是贝叶斯定理的特例），不过皮埃尔-西蒙·拉普拉斯（1749–1827）推导了此定理的一般版本，应用在天体力学、医疗统计学、可靠度 (统计学)及法学上。早期的贝叶斯推断是用拉普拉斯不充分理由原则所得的均匀先验，称为逆向几率（因为是由观测值倒推参数的归纳推理，或是从结果倒推到原因）。在1920年代以后，逆向几率很大程度的被另一群称为频率论统计的方式取代。

二十世纪时，拉普拉斯的概念往下分支为二派，开始出现主观贝叶斯方法及客观贝叶斯方法。客观贝叶斯方法（或是不提供信息的贝叶斯方法）中，统计分析只依照假设的模型、分析的资料以及给定先验分布的方式（不同的客观贝叶斯方法会有不同给定先验分布的方式）。主观贝叶斯方法（或是提供信息的贝叶斯方法）中，先验的规格依信念（也是分析希望要呈现的主张）而定，信念可以由专家整理资讯后总结产生，也可以根据以往的研究等。

1980年代发现了马尔科夫蒙特卡洛方法，让贝叶斯方法的研究及应用有大幅的发展，除去了许多运算上的问题，也有越来越多人愿意参与非标准的复杂问题。不过虽然贝叶斯方法的研究仍在成长，大部分大学本科的教学仍是以频率论统计为基础。不过贝叶斯方法也广为许多领域接受及应用，例如在机器学习的领域中。