馬爾可夫鏈蒙特卡洛（，）方法（含隨機遊走蒙特卡洛方法）是一組用馬氏鏈從隨機分佈取樣的演算法，之前步驟的作為底本。步數越多，結果越好。 建立一個具有期望屬性的馬氏鏈並非難事，難的是如何決定透過多少步可以達到在許可誤差內的穩定分佈。一個好的馬氏鏈具有快速混合 從開始階段迅速獲得的一個穩定狀態 請參考馬氏鏈最大時間。 因於初始樣本，最常見的 MCMC 取樣只能近似得到分佈。複雜的 MCMC 改進演算法如過往耦合，但是會消耗更多的計算資源和時間。 典型用法是模擬一個隨機行走的行人來進行路徑最佳化等。每一步都算作是一個狀態。而統計經過次數最多的地方將在下一步中更有可能為目的地。馬氏蒙特卡洛方法是一種結合了蒙特卡羅法的解決方案。但不同於以往的蒙特卡洛 integration 是統計獨立的，MCMC 中的是統計相關的。 本方法的相關應用包括：貝葉斯統計、計算物理、計算生物以及計算語言學。 隨機遊走演算法 馬氏鏈性質決定了下一個方位取決於當前狀態和隨機變數。這樣的性質決定了最終所有的空間將被覆蓋但是卻需要花費較長時間。下面給出 MCMC 方法： MetropolisHastings 演算法：給出預見密度和回絕按照給出方向前進的方法。 吉布斯取樣：取目標區域所有的條件分佈樣本。 平滑取樣 多重實驗 Metropolis：MetropolisHastings 演算法的改良版本。 基本原理 設非週期正常返的馬爾可夫鏈的平穩分佈為 pi，S 為馬爾可夫鏈的狀態，對於任意 S 上有界函式 h 有： P lim_n rightarrow inffrac 1nsum_k0n h X_k sum_x in Spi x h x1，也就是說，該馬爾可夫鏈在取的變數 X_k 在 n 比較大時會趨向於服從機率分佈 pi。 在設計一個馬爾可夫鏈滿足細緻平衡的條件下，對馬爾科夫鏈的模擬就可以看作對機率分佈 pi 的取樣。 基本步驟 MCMC 方法是使用馬爾科夫鏈的蒙特卡洛積分，其基本思想是：構造一條 Markov 鏈使其平穩分佈為待估引數的後驗分佈 pi x，透過這條馬爾科夫鏈產生後驗分佈的樣本，並基於馬爾科夫鏈達到平穩分佈時的樣本（有效樣本）進行蒙特卡羅積分。設 n 為產生的總樣本數，m 為 Markov 鏈達到平穩時的樣本數則 MCMC 方法的基本思路可概括為： 構造 Markov 鏈。構造一條 Markov 鏈，給定馬爾科夫鏈狀態轉移矩陣 Q，使其收斂到平穩分佈 pi x； 產生樣本：從初始狀態 x_0sim p_0 出發，利用從條件機率分佈 Q xx_t 生成樣本，並透過轉移條件判斷是否轉移，透過 m 次更新達到平穩，此後生成的即為 pi x 的樣本，我們記為 x1cdotsxn； 蒙特卡羅積分。任一函式 f x 的期望估計為：frac 1nsum_i1n f xi 在採用 MCMC 方法時馬爾科夫鏈轉移核的構造至關重要，不同的轉移核構造方法將產生不同的 MCMC 方法，目前常用的 MCMC 方法主要有兩種 Gibbs 抽樣和 MetropolisHastings 演算法。 抽樣演算法 l Gibbs 抽樣 Gibbs 抽樣是現實中最簡單應用最廣泛的 MCMC 方法，由 Geman 最初命名提出其基礎思路如下： 給定任意的初始向量； 從中抽取樣本 從中抽取樣本 從中抽取樣本 從中抽取樣本 至此，完成的轉移。經過 n 次迭代，可得後驗樣本。根據後驗樣本可計算後驗分佈的各階矩，進行相應的統計推斷。 MetropolisHastings 演算法 MetropolisHastings 演算法是較早出現且比較一般化的 MCMC 方法，最初由 Metropolis 等人在 1953 年提出之後由 Hastings 對其加以推廣形成了，MetropolisHastings 方法。該方法的基本思路是：選擇一轉移函式和初始值，若第次迭代開始時的引數值為 ，則第次迭代過程為： 從中抽取一個備選值 計算接受機率 以機率，置，以機率，置； 重複 i iii 次，則可得後驗樣本。根據後驗樣本可計算後驗分佈的各階矩，進行相應的統計推斷。 參見 貝葉斯推理 圖模式 馬爾可夫鏈 馬爾可夫邏輯網路 註釋 參考文獻 Christophe Andrieu et al An Introduction to MCMC for Machine Learning 2003 Bernd A Berg Markov Chain Monte Carlo Simulations and Their Statistical Analysis Singapore World Scientific 2004 George Casella and Edward I George Explaining the Gibbs sampler The American Statistician 46167174 1992 （Basic summary and many references） AE Gelfand and AFM Smith SamplingBased Approaches to Calculating Marginal Densities J American Statistical Association 85398409 1990 Andrew Gelman John B Carlin Hal S Stern and Donald B Rubin Bayesian Data Analysis London Chapman and Hall First edition 1995 （See Chapter 11） S Geman and D Geman Stochastic Relaxation Gibbs Distributions and the Bayesian Restoration of Images IEEE Transactions on Pattern Analysis and Machine Intelligence 6721741 1984 Radford M Neal Probabilistic Inference Using Markov Chain Monte Carlo Methods 1993 Gilks WR Richardson S and Spiegelhalter DJ Markov Chain Monte Carlo in Practice Chapman HallCRC 1996 CP Robert and G Casella Monte Carlo Statistical Methods（second edition） New York SpringerVerlag 2004 R Y Rubinstein and D P Kroese Simulation and the Monte Carlo Method（second edition） New York John Wiley Sons 2007 ISBN 9780470177945 R L Smith Efficient Monte Carlo Procedures for Generating Points Uniformly Distributed Over Bounded Regions Operations Research Vol 32 pp 12961308 1984 Asmussen and Glynn Stochastic Simulation Algorithms and Analysis Springer Series Stochastic Modelling and Applied Probability Vol 57 2007 P Atzberger An Introduction to MonteCarlo Methods Bolstad William M（2010）Understanding Computational Bayesian Statistics John Wiley ISBN 0470046098 延展閱讀 Diaconis Persi The Markov chain Monte Carlo revolution Bull Amer Math Soc（2009） Richey Matthew The Evolution of Markov Chain Monte Carlo Methods The American Mathematical Monthly May 2010 383413 外部連結 MCMC sampling and other methods in a basic overview by Alexander Mantzaris Visual demonstration of MCMC sampling methods Java applet by Laird Breyer A Toy Example of MCMC sampling by Zhiyuan Weng MCL a cluster algorithm for graphs by Stijn van Dongen CategoryMonte Carlo methods CategoryComputational statistics CategoryMarkov models