模式识别与机器学习　概率论　张晓平　武汉大学数学与统计学院　Table　of　contents　1.　高斯分布　条件高斯分布　边缘高斯分布　高斯变量的贝叶斯定理　高斯分布的极大似然估计　高斯分布的贝叶斯推断　已知方差　σ2,推断均值　已知均值　µ,推断方差　高斯混合模型　(Mixtures　of　Gaussians)　2.　指数族分布　极大似然与充分统计量　共轭先验　3.　非参数化方法　(Nomparametric　Methods)　直方图方法　核密度估计　近邻方法　1　高斯分布　高斯分布　高斯分布　(Gaussian　distribution),又名正态分布　(Normal　distribution),　是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学　的许多方面有着重大的影响力。　•　对于一元变量　x,高斯分布的形式为　N(x　|　µ,　σ2　)　=　1　(2πσ2)1/2　exp　{　−　(x　−　µ)2　2σ2　}　(1)　其中　µ　为均值,σ2　为方差。　•　对于　D　维向量　x,多元高斯分布的形式为　N(x　|　µ,　Σ)　=　1　(2π)D/2|Σ|1/2　exp　{　−　1　2　(x　−　µ)T　Σ−1　(x　−　µ)　}　(2)　其中　µ　∈　RD　为均值,Σ　∈　RD×D　为协方差矩阵。　2　高斯分布　•　对于一元随机变量,最大熵对应的分布是高斯分布;该性质对多　元高斯分布也成立。　•　正态分布的的普遍性可从中心极限定理得到。直白地说,如果一　个指标受到若干独立因素的共同影响,且每个因素不能产生支配　性的影响,那么这个指标就服从中心极限定理,收敛到正态分布,　这就是林德伯格-费勒中心极限定理的意思。　3　高斯分布　由(2)可看出,高斯分布对　x　的依赖由以下二次型确定:　∆2　=　(x　−　µ)T　Σ−1　(x　−　µ),　(3)　其中　∆　被叫做　x　与µ之间的马氏距离　(Mahalanobis　distance)。当Σ为单位阵时,∆　退化为欧式距离。　4　高斯分布　不失一般性,设Σ为对称矩阵,其特征值分解为　Σ　=　UΛUT　,　(4)　其中　U　=　(u1,uD)　为正交矩阵,Λ　=　diag(λ1,λD)。若Σ可逆,则Σ−1　=　UΛ−1　UT　.　(5)　将(5)代入(3),有∆2　=　(x　−　µ)T　UΛ−1　UT　(x