变分贝叶斯方法 变分贝叶斯方法是近似贝叶斯推理与机器学习中较难积分的一系列技术通常用于由观测变量及未知参数潜变量组成的复杂统计模型之间存在的各种关系可用图模式描述贝叶斯推理中参数和潜变量一般归为未观察变量变分贝叶斯方法主要用于两个目的 提供未观测变量后验概率的分析近似以便对变量统计推断 得出观测数据的边缘似然的下界即给定模型的数据的边缘概率边缘化未观测变量通常用于模型选择一般認為给定模型的边缘似然越高拟合效果越好产生数据的可能性越大另见贝叶斯因子 就目的近似后验概率变分贝叶斯是蒙特卡洛法特别是马尔可夫链蒙特卡洛如吉布斯采样的替代可采用完全贝叶斯的方法对难以取值或抽样的复杂分布进行统计推断蒙特卡洛技术利用一组样本对精确后验值进行数值近似而变分贝叶斯可求近似后验的局部最优的精确解析解 变分贝叶斯可视作最大期望算法EM的推广从估计参数的单一最似然值的最大后验概率MAP估计推广到计算参数及潜变量的整个近似后验分布的完全贝叶斯估计贝叶斯估计同EM一样也能找到一组最优参数值且与EM有相同的交替结构基于不能求解析解的相依方程組 很多应用中变分贝叶斯能更快得到与吉布斯采样精度相当的解但推导迭代方程组需要更多工作即便是很多概念上非常简单的模型也如此下面以只有个参数没有潜变量的基本不分层模型为例说明