ギブスサンプリング
p x y = { 1 d g ( y ) ∑ z ∈ Θ : z ∼ j x g ( z ) x ∼ j y 0 otherwise {\displaystyle p_{xy}={\begin{cases}{\dfrac {1}{d}}{\dfrac {g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}&x\sim _{j}y\\0&{\text{otherwise}}\end{cases}}}
したがって、
g ( x ) p x y = 1 d g ( x ) g ( y ) ∑ z ∈ Θ : z ∼ j x g ( z ) = 1 d g ( y ) g ( x ) ∑ z ∈ Θ : z ∼ j y g ( z ) = g ( y ) p y x {\displaystyle g(x)p_{xy}={\frac {1}{d}}{\frac {g(x)g(y)}{\sum _{z\in \Theta :z\sim _{j}x}g(z)}}={\frac {1}{d}}{\frac {g(y)g(x)}{\sum _{z\in \Theta :z\sim _{j}y}g(z)}}=g(y)p_{yx}}
このように詳細つりあい条件は満たされる。
実用的には j {\displaystyle \left.j\right.} はランダムに選ばれず、並びの順番で選ばれる。 また正確に言うと、これは非定常マルコフ連鎖を生成するが、各ステップは可逆であり、全体のプロセスは求めたい定常分布を与える。
他のすべての変数が与えられたときのある変数に関する条件付き確率は同時確率に比例する。
p ( x j | x 1 , ... , x j − 1 , x j + 1 , ... , x n ) = p ( x 1 , ... , x n ) p ( x 1 , ... , x j − 1 , x j + 1 , ... , x n ) ∝ p ( x 1 , ... , x n ) {\displaystyle p(x_{j}|x_{1},\dotsc ,x_{j-1},x_{j+1},\dotsc ,x_{n})={\frac {p(x_{1},\dotsc ,x_{n})}{p(x_{1},\dotsc ,x_{j-1},x_{j+1},\dotsc ,x_{n})}}\propto p(x_{1},\dotsc ,x_{n})}
ここで比例するとは、分母が x j {\displaystyle x_{j}} の関数ではなく、 x j {\displaystyle x_{j}} がどんな値であれ分母が定数であることである。周辺化定数は同時確率を x j {\displaystyle x_{j}} に関して周辺化した値である。
↑ Liu, Jun S. (September 1994). “The Collapsed Gibbs Sampler in Bayesian Computations with Applications to a Gene Regulation Problem”. Journal of the American Statistical Association 89 (427): 958–966. doi:10.2307/2290921. JSTOR 2290921.
表示
編集