吉布斯采样

吉布斯采样（）是统计学中用于马尔科夫蒙特卡洛（MCMC）的一种算法，用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分（如某一变量的期望值）。某些变量可能为已知变量，故对这些变量并不需要采样。

吉布斯采样常用于统计推断（尤其是贝叶斯推断）之中。这是一种随机化算法，与最大期望算法等统计推断中的确定性算法相区别。与其他MCMC算法一样，吉布斯采样从马尔科夫链中抽取样本，可以看作是Metropolis–Hastings算法的特例。

该算法的名称源于约西亚·威拉德·吉布斯，由与兄弟于1984年提出。

 演算法 
吉布斯采样适用于条件分布比边缘分布更容易采样的多变量分布。假设我们需要从联合分布 中抽取的个样本。记第个样本为。吉布斯采样的过程则为：
 确定初始值。
 假设已得到样本，记下一个样本为。于是可将其看作一个向量，对其中某一分量，可通过在其他分量已知的条件下该分量的概率分布来抽取该分量。对于此条件概率，我们使用样本中已得到的分量到以及上一样本中的分量到，即。
 重复上述过程次。

在采样完成后，我们可以用这些样本来近似所有变量的联合分布。如果仅考虑其中部分变量，则可以得到这些变量的边缘分布。此外，我们还可以对所有样本求某一变量的平均值来估计该变量的期望。

 参见 
 圖模式
 马尔可夫链
 马尔可夫逻辑网络

 参考文献 


 Bolstad, William M. (2010), Understanding Computational Bayesian Statistics, John Wiley 


 Gelman, A., Carlin J. B., Stern H. S., Dunson D., Vehtari A., Rubin D. B. (2013), Bayesian Data Analysis, third edition. London: Chapman & Hall.
 Levin, David A.; Peres, Yuval; Wilmer, Elizabeth L. (2008), "Markov Chains and Mixing Times", American Mathematical Society.
 Robert, C. P.; Casella, G. (2004), Monte Carlo Statistical Methods (second edition), Springer-Verlag.

Category:蒙地卡罗方法