ベイジアンネットワーク
確率分布は確率変数をノード、変数間関係をリンクとするグラフ/ネットワークで表現できる(確率的グラフィカルモデル)。このうちリンクが向きを持ち依存関係が巡回しないもの(有向非巡回グラフ)は次の名称で呼ばれる。
ベイジアンネットワーク(英: Bayesian networks)
有向グラフィカルモデル(英: directed graphical models)
有向確率モデル(英: directed probabilistic models)
有向確率的グラフィカルモデル(英: directed probabilistic graphical models)
その有向非巡回性から確率変数群の同時分布は次のように表現できる:
P ( x 1 , . . . , x N ) = ∏ i = 1 N P ( x i | p a r e n t ( x i ) ) {\displaystyle P(x_{1},...,x_{N})=\prod _{i=1}^{N}P(x_{i}|parent(x_{i}))}
すなわち同時分布が親ノードで条件付けられた確率の積として記述できる。
確率分布を有向グラフと捉えることにより、グラフを用いた解析が可能になる。また有向グラフであるため変数間の因果関係をリンクで表現できる。ベイジアンネットワーク上で確率推論を行うことで、複雑でかつ不確実な事象の起こりやすさやその可能性を予測することができる。これまで蓄積された情報をもとに、起こりうる確率をそれぞれの場合について求め、それらを起こる経路に従って計算することで、複雑な経路を伴った因果関係の発生確率を定量的に表すことが可能となる。
ベイジアンネットワークは有向非巡回構造を仮定したモデルであり、(この構造を必要としない)同時分布を直接モデル化するのではなく、条件付き確率モデルの組み合わせで表現される場合が多い。
全ての変数が観測変数であるベイジアンネットワークでは最尤推定が利用できる。
まず、このモデルは次の式で表現される:
p θ ( x 1 , . . . , x N ) = ∏ i = 1 N p θ ( x i | p a r e n t ( x i ) ) {\displaystyle p_{\theta }(x_{1},...,x_{N})=\prod _{i=1}^{N}p_{\theta }(x_{i}|parent(x_{i}))}
最尤推定の目標関数である対数尤度を考えると、
log  p θ ( x 1 , . . . , x N ) = ∑ i = 1 N log  p θ ( x i | p a r e n t ( x i ) ) {\displaystyle \log p_{\theta }(x_{1},...,x_{N})=\sum _{i=1}^{N}\log p_{\theta }(x_{i}|parent(x_{i}))}
すなわち条件付き確率分布の対数の和が対数尤度となる。
前提より全ての変数が観測変数であるため、 p ∗ ( ⋅ ) {\displaystyle p^{*}(\cdot )} からサンプリングされた標本を用いて全ての条件付き確率分布値が計算できる。ゆえに対数と和で対数尤度が計算可能となり、分布が微分可能であれば勾配降下法により θ {\displaystyle \theta } の最適化が実現する。