ベイズ推論の勉強用ノート（６）ー Markov Branket

# 目的
[ベイズ推論による機械学習入門](https://www.amazon.co.jp/dp/4061538322)の勉強用のノート。
式を後で参照するために残しておく。

# 関連
[ベイズ推論の勉強用ノート（１）ー 基本的な定義](https://qiita.com/tkosht/items/de4cb8876b4aedde5a6e)
[ベイズ推論の勉強用ノート（２）ー 離散確率分布](https://qiita.com/tkosht/items/a5aee011a35e53764cd1)
[ベイズ推論の勉強用ノート（３）ー 連続確率分布](https://qiita.com/tkosht/items/8213b228a980eeeed1b7)
[ベイズ推論の勉強用ノート（４）ー 事後分布の推定](https://qiita.com/tkosht/items/ddf06543fb28520fd36f)
[ベイズ推論の勉強用ノート（５）ー 予測分布の推定](https://qiita.com/tkosht/items/4c3bae193a14a3bcb606)


# 条件付き確率分布とグラフィカルモデル

## head-to-tail モデル
以下の図で、表現されるグラフィカルモデルを、head-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のhead（先端）とtail（直線）になっている。)

![image.png](https://qiita-image-store.s3.amazonaws.com/0/226427/ca1c17d0-d111-3a45-c4a3-0a703596ba5a.png)

ノード（確率変数）$y$ のみが観測された時の残り２つのノード（確率変数）の条件付き同時分布は、以下の式で表される。

```math
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(x)p(y|x)p(z|y)}{p(y)} \\
&= \frac{p(x)p(y|x)}{p(y)}p(z|y) \\
&= p(x|y)p(z|y) \\
\end{align}
```

この式は、$y$ が観測された時、$x$、$z$ が独立していることを示している。（つまり、$x$、$z$ は、$y$について条件付き独立）


## tail-to-tail モデル
以下の図で、表現されるグラフィカルモデルを、tail-to-tail モデルという。($y$ を基準に、接続しているのが、矢印のtail（直線）のみになっている。)

![image.png](https://qiita-image-store.s3.amazonaws.com/0/226427/19754bac-8da6-615b-571b-a13856a883ac.png)

```math
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y)p(x|y)p(z|y)}{p(y)} \\
&= p(x|y)p(z|y) \\
\end{align}
```

この式も、$y$ が観測された時、$x$、$z$ が独立していることを示している。


## head-to-head モデル
以下の図で、表現されるグラフィカルモデルを、head-to-headモデルという。($y$ を基準に、接続しているのが、矢印のhead（先端）のみになっている。)

![image.png](https://qiita-image-store.s3.amazonaws.com/0/226427/a2005656-5170-4209-2ba2-a4b5ed8b621b.png)

まず、$x$、$z$ の同時分布を計算する。

```math
\begin{align}
p(x, z) &= \int_{y} p(x, y, z)dy \\
&= \int_{y} p(y|x, z)p(x)p(z)dy \\
&= p(x)p(z)\int_{y} p(y|x, z)dy \\
&= p(x)p(z) \cdot 1 \\
&= p(x)p(z) \\
\end{align}
```

- $\int_{y} p(y|x, z)dy = 1$ であることに留意する
  - 条件付き確率分布 $p(\cdot|x, z)$ は、確率測度である
  - つまり、$\int_{y} p(y|x, z)dy = p(\bigcup_{y}\\{\omega | Y(\omega)=y\\}|x,z) = p(Y^{-1}(Y(\Omega))|x, z) = p(\Omega|x, z) = 1$

$y$ が観測された元での、$x$、$z$ の同時分布は、以下のようになる。

```math
\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x)p(z)}{p(y)} \\
\end{align}
```

この式は、これ以上分解できないため、条件付き独立の形に分解できない。
これは、もともと独立であった、$x$、$z$が、$y$ が観測されることにより、依存関係を持つようになることを示している。


# マルコフブランケット(Markov Branket)
$x$ を中心に、周辺を切り取ったグラフィカルモデルである。
$x$以外のノードは、観測されているものとする。

![image.png](https://qiita-image-store.s3.amazonaws.com/0/226427/72975e74-de03-3f5a-60eb-726f2c663e7f.png)

- $x$、$a$ の関係性
  - $a$ の$x$以外の子ノードとは、tail-to-tail モデル
  - $a$ の親ノードとは、head-to-tail モデル
  - つまり、$a$ が観測されている状態では、これら$a$の親子ノードは、$x$と条件付き独立
- $x$、$e$ の関係性
  - $e$ の子ノードとは、head-to-tail モデル
  - $e$ の親ノード(ex: $c$)とは、head-to-head モデル
  - つまり、$e$の子ノードとは条件付き独立であるが、$c$のような$e$の親ノードとは、依存関係を持つ
- $x$、$c$ の関係性
  - $c$、$c$ の親ノードと$e$ は、head-to-tail モデル
  - $c$、$c$ の子ノードと$e$ は、tail-to-tail モデル
  - つまり、$c$ の親子ノードと$e$は、$c$に対する条件付き独立
  - ノード$e$で、関係が切れているので、$c$ の親子ノードと$x$ は、独立
  - $c$の親ノード、子ノードをそれぞれ、$z$、$y$として、グラフィカルモデルから $z$、$y$と$x$が条件付き独立であることを示せる
      - $p(z, e, x, c)$、$p(y, e, x, c)$の同時分布をグラフィカルモデルに即して書き下す
      - $p(z, x|c)=p(z|c)p(x|c)$、$p(y, x|c)=p(y|c)p(x|c)$ をそれぞれ示す
      - tips: $p(x)=p(x|c)$ を示しておくとよい（つまり$x$、$c$ は独立）
- $x$ と、$b$、$d$、$f$ の関係も同様    

以上から、マルコフブランケットの外側に他の観測ノード（確率変数）があっても、$x$ の条件付き分布には影響を与えない（条件部分に変数として表れてこない）、という結果が得られる。


# まとめ

- head-to-tail モデルは、条件付き独立になる
- tail-to-tail モデルは、条件付き独立になる
- head-to-head モデルは、条件付き独立にならない
  - ただし、$x$、$z$ は、独立
  - つまり、$x$、$z$ は、独立であるが、一般に条件付き独立ではない
- $x$を中心とするマルコフブランケットは、$x$ の条件付き分布に影響を与えるノード（確率変数）を端的に表現している
  - あらゆるケースに対応できているわけではないが、容易に、自然に拡張して、応用して考えることができる便利なツールである