ベイジアンネットワーク

ベイジアンネットワーク（）は、因果関係を確率により記述するグラフィカルモデルの1つで、複雑な因果関係の推論を有向非巡回グラフ構造により表すとともに、個々の変数の関係を条件つき確率で表す確率推論のモデルである。ネットワークとは重み付けグラフのこと。

 定義 
確率分布は確率変数をノード、変数間関係をリンクとするグラフ/ネットワークで表現できる"A graph comprises nodes ... connected by links ... . In a probabilistic graphical model, each node represents a random variable ... and the links express probabilistic relationships between these variables." PRML. p.360.ネットワーク（重み付けグラフ）（確率的グラフィカルモデル"diagrammatic representations of probability distributions, called probabilistic graphical models." PRML p.359）。このうちリンクが向きを持ち依存関係が巡回しないもの（有向非巡回グラフ）は次の名称で呼ばれる"Directed graphical models are a type of probabilistic models where all the variables are topologically organized into a directed acyclic graph." Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.。

 ベイジアンネットワーク（）"Bayesian networks, also known as directed graphical models" PRML. p.360.
 有向グラフィカルモデル（）
 有向確率モデル（）"We work with directed probabilistic models, also called directed probabilistic graphical models (PGMs), or Bayesian networks." Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.
 有向確率的グラフィカルモデル（）
その有向非巡回性から確率変数群の同時分布は次のように表現できる：


すなわち同時分布が親ノードで条件付けられた確率の積として記述できる"The joint distribution over the variables of such models factorizes as a product of prior and conditional distributions" Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.。

 特徴 
確率分布を有向グラフと捉えることにより、グラフを用いた解析が可能になる。また有向グラフであるため変数間の因果関係をリンクで表現できる逆（向きから因果関係を決定すること）は一般に成り立たない。。ベイジアンネットワーク上で確率推論を行うことで、複雑でかつ不確実な事象の起こりやすさやその可能性を予測することができる。これまで蓄積された情報をもとに、起こりうる確率をそれぞれの場合について求め、それらを起こる経路に従って計算することで、複雑な経路を伴った因果関係の発生確率を定量的に表すことが可能となる。

ベイジアンネットワークは有向非巡回構造を仮定したモデルであり、（この構造を必要としない）同時分布を直接モデル化するのではなく、条件付き確率モデルの組み合わせで表現される場合が多い。

 モデルの簡単な例 
確率変数A、B、Cの間の条件付依存性をA→C、B→Cと表し、リンクの元となる親ノードをAやB、リンクの先にくる子ノードをCとする時、Aが起こる確率をP(A)、Aが既に起こったときにCとなる条件付確率をP(C|A)のように表すこととすると、Cが起こりうる確率は、P(A,B,C)=P(C|A,B)P(A)P(B)となる。

色々な因果関係に対し、グラフ上の各ノードに対応する確率変数として表現する方法やルールが定められている。複雑な系においても、各ノードにおける条件付確率表やベイズの定理等を用いながら、それぞれの確率を計算でき、確率的な依存関係をモデル化できる。

 応用例 
医者の診断シュピーゲルハルター他、1989年、イメージ認識Booker、Hota、1986年、言語認識Charniak、Goldman、1989年、選択アルゴリズムハンソン、マイヤー、1989年など、1980年代から各種の応用例が報告されている。

 最適化 
分布  をベイジアンネットワークによってモデル化するための様々な最適化手法が存在する。

 全観測モデル 
全ての変数が観測変数であるFully Observed Models というベイジアンネットワークでは最尤推定が利用できる"If all variables in the directed graphical model are observed in the data, then we can compute and differentiate the log-probability of the data under the model, leading to relatively straightforward optimization." Kingma. (2019). An Introduction to Variational Autoencoders. Foundations and Trends in Machine Learning.。

まず、このモデルは次の式で表現される：

最尤推定の目標関数である対数尤度を考えると、

すなわち条件付き確率分布の対数の和が対数尤度となる。

前提より全ての変数が観測変数であるため、 からサンプリングされた標本を用いて全ての条件付き確率分布値が計算できる。ゆえに対数と和で対数尤度が計算可能となり、分布が微分可能であれば勾配降下法により  の最適化が実現する。

 潜在変数モデル 
ベイジアンネットワークを採用した潜在変数モデルの場合、全観測モデルの場合と異なり最適化は容易でない。

 歴史 
ジューディア・パールが1985年に命名した。ジューディア・パールはこの研究の功績によりチューリング賞を受賞した。
人工知能の分野では、ベイジアンネットワークを確率推論アルゴリズムとして1980年頃から研究が進められ、既に長い研究と実用化の歴史がある。

 関連書籍 

 原著は Judia Pearl: Probabilistic Reasoning in Intelligent Systems, Morgan Kaufmann, ISBN 978-1-55860479-7 (1988).
 鈴木譲：「ベイジアンネットワーク入門：確率的知識情報処理の基礎」、培風館、ISBN 978-4-563-01575-6 (2009年7月15日)。
 植野真臣：「ベイジアンネットワーク」、コロナ社、ISBN 978-4-339-06103-1 (2013年7月30日)。

脚注

関連項目
 グラフィカルモデル
ベイジアンネットワーク: 確率的グラフィカルモデルのうち有向非巡回グラフを用いたもの
: 確率的グラフィカルモデルのうち無向グラフを用いたもの
確率伝搬法
 ベイズ確率
 ベイズ推定

Category:確率論
*
Category:因果推論
Category:トーマス・ベイズ
Category:数学のエポニム
Category:数学に関する記事