グラフィカルモデル

グラフィカルモデル()は、グラフが、確率変数間の条件付き依存構造を示しているような確率モデルである。これらは一般に確率論や統計、特にベイズ統計や機械学習で使用される。


グラフィカルモデルの種類
一般的には、多次元空間上の完全な分布と、ある特定の分布が保持する独立性の集合のコンパクトかつ分解された（factorized）表現であるグラフを表現するための基盤として、確率的グラフィカルモデルはグラフベースの表現を使用している。グラフィカルな分布の表現でよく使われるものにベイジアンネットワークとマルコフ確率場がある。両者は分解と独立性の性質を包含するが、表現することができる独立性の集合と、導く分布の分解が異なるKoller; Friedman (2009). Probabilistic Graphical Models. Massachusetts: MIT Press. ISBN 0-262-01319-3.。

ベイジアンネットワーク

もし、モデルのネットワーク構造が有向非巡回グラフならば、そのモデルは、すべての確率変数の同時確率の積で表される。厳密に言うと、事象をとすると、共起確率は次を満たす:

ここではノードの親である。言い換えれば、同時確率は条件付き確率の積に因数分解される。例えば、上に指名した図のグラフィカルモデルは、同時確率が次のように因数分解される確率変数によって構成されている:

どの2つのノードも、それらの親ノードによる条件付き独立である。一般に、と呼ばれる基準をグラフが満たしていれば、どの2つのノード集合も第3の集合による条件付き独立となる。ベイジアンネットワークにおいては、局所独立性と大域独立性は等しい。

このグラフィカルモデルは有向非巡回グラフであるベイジアンネットワーク(Bayesian network, Belief network)として知られている。隠れマルコフモデルやニューラルネットワークといった古典的な機械学習モデルや、のような新しいモデルは、ベイジアンネットワークの特殊ケースと考えることができる。

マルコフ確率場

マルコフ確率場(マルコフネットワーク)は無向グラフ上のモデルである。繰り返し構造を多く持つグラフィカルモデルはを用いて表すことができる。

他の種類
 は変数と因子を繋ぐ無向2部グラフである。それぞれの因子はそれと繋がっている変数の確率分布を表現する。グラフは、確率伝搬法を作用させるために因子グラフの形に変形される。
 は、クリークの木であり、)で用いられる。
 )は有向エッジと無向エッジの両方を持つことを許した、有向な閉路を持たない（つまり、どのノードからスタートしても、枝の方向に従って移動すれば始点に戻らない）グラフである。有向非巡回グラフも無向グラフも連鎖グラフの特殊ケースであり、それゆえベイジアンネットワークやマルコフネットワークを単一化したり一般化したりすることができる。
 は拡張版であり、有向エッジ、双方向エッジ、無向エッジを持つ。
 条件付き確率場(Conditional random field)は無向グラフ上の識別モデルである。
 制限ボルツマンマシン(Restricted Boltzmann machine)は無向グラフ上の生成モデルである。

応用
このモデルのフレームワークは、複雑な分布を簡潔に記述したり、分布中の非構造化情報を抽出したりするために、その構造を発見し分析するアルゴリズムを提供する。さらにそれらを構築し有効的に利用することを可能にする。グラフィカルモデルの応用には、情報抽出、音声認識、コンピュータビジョン、低密度パリティ検査符号の復号、のモデリング、遺伝子の発見および疾患の診断、などがある。

脚注

参考文献
書籍

  A more advanced and statistically oriented book


  A computational reasoning approach, where the relationships between graphs and probabilities were formally introduced.

ジャーナル記事


その他
Heckerman's Bayes Net Learning Tutorial
A Brief Introduction to Graphical Models and Bayesian Networks
Sargur Srihari's lecture slides on probabilistic graphical models

関連項目
 確率伝搬法
 共分散構造分析

Category:ベイズ統計
*
Category:数学に関する記事
Category:種類別のモデル
Category:統計モデル