system: [SYSTEM]

user: 1. 前言 在统计学中，经常会遇到高维积分的计算问题，而使用传统的数值方法往往很难解决实际问题。随着计算技术的提高，随机模拟的方法为解决这些高维积分问题提供了一个很好的思路。 马尔可夫链蒙特卡罗(Markov Chain Monte Carlo， MCMC)方法的理论框架来源于Metropolis (1953)和Hasting (1970) [ 1 ] ，首先在 X = ( X 0 ， X 1 ， ⋯ ， X t ， ⋯ ) 的状态空间中模拟出一条马尔可夫链，使得该马尔可夫链的稳定分布就是目标分布 f ( x ) 。此时在这个状态空间游走时，每一个状态 X t 停留的时间正比于目标分布 f ( x ) 。为了有效的得到目标分布，此时引入一个容易抽样的建议概率密度函数 g (   ⋅   | x t ) ，在每一次的抽样过程中，先从 抽样得到一个候选样本 Y t ，接着再按照后面提到的原则决定是否接受该样本。显然这样产生的随机序列是一个离散时间的时齐的不可约遍历Markov链。 这一算法已经在诸多领域进行推广以及改进，例如：应用统计学、金融学、计量经济学、计算物理学等领域。 在过去的几十年里，MCMC方法将复杂的多元问题简单化已经引起了许多人的注意。首先，在1953年，Metropolis，Rosenbluth，Teller [ 2 ] 在“MANIAC”计算机上实现物质状态方程的蒙特卡罗方法模拟，1970年Hasting [ 1 ] 将建议概率分布从对称分布变为非对称形式，这个算法称为Metropolis-Hasting (M-H)算法，也称为通用Metropolis算法。接下来就是Tanner、Rubinstein [ 3 ] 、Wong (1987)、Gelfand和Smith (1990)在细节处进行了优化。S.Chib和E.Greenberg (1995) [ 4 ] 对M-H算法的理解以及L.Tierney (1994) [ 5 ] 马尔可夫链在后验分布中的应用。在1984年Gelman提出了在研究图像恢复问题时提出了Gibbs算法。Liu (1996)提出了混合Gibbs算法以及Swendsen、Wang (1987)在原来的基础上发生了演变，形成了聚类算法。2003年C.Andrieu [ 6 ] 将MCMC算法应用于了机器语言，2011年，S.Brooks [ 7 ] 对MCMC的算法理论原理做出了更为细致的解读。 1.1. 马尔可夫链的基本概念 马尔可夫链理论是研究马尔可夫链蒙特卡罗方法的基础，为此先给出马尔可夫链的定义及基本性质。 1.1.1. 马尔可夫链的定义 如果对于任意时刻t，条件概率满足 P ( X t + 1 = x t + 1 | X t = x t ， ⋯ ， X 1 = x 1 ， X 0 = x 0 ) = P ( X t + 1 = x t + 1 | X t = x t ) 则称此性质为马尔可夫性，若右式与t无关，则称X为时齐的。 引入记号： p ( x ， y ) 为过程从状态x转移到状态y的概率，称为一步转移概率； p n ( x ， y ) 为过程从状态x经过n步转移后到达状态y的概率，称为n步转移概率。 给定状态序列 x 0 ， x 1 ， ⋯ ， x 1 ， ⋯ ，状态空间S，为了简便书写，记 X t + 1 = y ， ，则转移概率为 P ( x ， y ) = P ( x t + 1 = y | x t = x ) ，转移概率 p ( x ， y ) 组成的矩阵 其中， p (x， y) ≥ 0 (x， y∈S ) ， ∑ y ∈ S p ( x ， y ) = 1 ，称此矩阵为一步转移概率矩阵。 文中讨论的马尔可夫链都是时齐的有限马尔可夫链。 令 τ y = inf { n ≥ 1 : X n = y } ，则 τ y 是一个停时，称之为状态y的首中时，记 f n ( x ， y ) ≜ P x ( τ y = n ) ， n ≥ 1 f ( x ， y ) ≜ ∑ n ≥ 1 f n ( x ， y ) = P x ( τ y < ∞ ) 1.1.2. 马尔可夫链的性质 1) 常返性。如果从状态x出发以概率1回到状态x，即 ，称状态x是常返的，否则称状态x时暂留的。如果一个马尔可夫链所有状态都是常返的，则称这个马尔可夫链是常返的。记 μ y = E y [ τ y ] 为 y的平均返回时间，如果平均回返时间 μ y < ∞ ，其中 。 则状态x是正回返状态，如果平均回返时间 μ x = ∞ ，则状态x是零回返状态。 若所有状态是暂留的，则称这个马尔可夫链是暂留的。状态x是常返的等价于 P x ( lim sup { X n = x } ) = 1 也等价于 ∑ n ≥ 1 p n ( x ， x ) = ∞ 。状态x是暂留的等价于 P x ( lim sup { X n = x } ) = 0 也等价于 ∑ n ≥ 1 p n ( x ， x ) < ∞ 。 如果 x ， y ∈ E 是互达的，则有 x ， y ∈ E 都是常返的， P x ( lim sup { X n = y } ) = 1 且 ∑ n ≥ 1 p n ( x ， y ) = ∞ ；否则 x ， y 都是暂留的，即 P x ( lim sup { X n = y } ) = 0 且 ∑ n ≥ 1 p n ( x ， y ) < ∞ 。 2) 不可约性。如果所有状态都存在n，使得n步转移概率 p n ( x ， y ) > 0 ，等价于每一个状态都可以经过有限步到达其他状态，也就是每个状态都是联通的，称这样的状态为不可约状态。有限状态的马尔可夫链是不可约的，则这个马尔可夫链是正回返的。 3) 周期性。n步转移概率 p n ( x ， y ) ，状态x的周期数为 d x = GCD { n ≥ 1 : p n ( x ， x ) > 0 } 。 上式中GCD{·}表示满足条件 {·} 且 n ≥ 1 的n的集合的最大公约数。若状态x的周期数 d x = 1 ，则称状态 是非周期状态；若状态x的周期数 d x > 1 ，则称状态 是周期状态。 4) 遍历性。如果状态i是正常返、不可约、非周期的，则称该状态i是遍历的。所有状态都是遍历的马尔可夫链，称为遍历的马尔可夫链。 5) 平稳分布。E上一个概率分布 ( π ( y ) : y ∈ E ) ，如果满足 Π P = Π ，即 ∑ x ∈ E π ( x ) p ( x ， y ) = π ( y ) ， ∀ y ∈ E ，则称 Π 为转移矩阵Ρ的平稳分布，显然有 ，也就是π是可逆的。 1.2. 马尔可夫链蒙特卡罗方法原理 蒙特卡罗方法是一种随机模拟的方法，也就是求解随机事件发生的概率或者随机变量的期望时，通过设计一种抽样方法，得到某一个特定事件发生的频率，然后使用这个频率来表示相应事件发生的概率。但是随着维数的增加，采样所需的样本量(或者说接受的概率)随维数增加而指数增长，导致计算量太大，速度太慢，为了克服这一问题，也就应运而生了马尔可夫链蒙特卡罗(MCMC)方法。MCMC算法通过构造Markov链的极限平稳分布来模拟计算积分，转化成从已知概率分布抽样，也就是先选择一个建议概率分布，从建议概率分布抽样产生一个候选样本值，则可以建立可操作的状态转移规则，用接受概率判断状态是否转移，重复这个过程，将产生一条马尔可夫链。其中，Markov链满足大数定律： 假设 { X n ， n = 0 ， 1 ， ⋯ } 为一平稳分布π的遍历的Markov链，则 X n 依概率收敛到分布为π的随机变量X，且对任意函数g，满足 E [ g ( X ) ] 存在，当 n → ∞ 时，有 g ¯ n = 1 n ∑ i = 1 n g ( X i ) → P E π [ g ( X ) ] 。 如果生成的马尔可夫链是遍历的，也就是它满足正常返性、不可约性和非周期性，经过足够多的状态转移后，马尔可夫链的转移概率会趋于一个平稳分布，即事先给定的目标分布，马尔可夫链的各个状态就是随机变量的样本值，这样也就实现目标分布的随机抽样。