ニュートン法とベイズの定理

# 制約付き最適化から導く確率論の統一的理解

## 1. ニュートン法から確率論へ

### 1.1 ニュートン法の基本枠組み

非線形方程式 $F(x) = 0$ を解くニュートン法は次式で表される：

```math
x_{k+1} = x_k - [F'(x_k)]^{-1}F(x_k)
```

最適化問題 $\min f(x)$ に適用すると：

```math
x_{k+1} = x_k - [\nabla^2 f(x_k)]^{-1}\nabla f(x_k)
```

### 1.2 制約付き最適化への拡張

制約付き問題 $\min f(x)$ s.t. $g(x) = 0$ では、KKT系にニュートン法を適用する：

```math
\begin{bmatrix}
\nabla^2_{xx} L & \nabla g^T \\
\nabla g & 0
\end{bmatrix}
\begin{bmatrix}
\Delta x \\
\Delta \lambda
\end{bmatrix} = 
-\begin{bmatrix}
\nabla_x L \\
g(x)
\end{bmatrix}
```

ここで、$L(x,\lambda) = f(x) + \lambda^T g(x)$ はラグランジュ関数である。

### 1.3 随伴変数法との本質的関係

制約付き最適化におけるラグランジュ乗数 $\lambda$ は、**随伴変数法の随伴変数と本質的に同一**である。この観点から：

**ニュートン法 ≡ 制約付き最適化 ≡ 随伴変数法**

この統一的理解を確率論に適用することで、ベイズの定理が制約付き最適化の自然な帰結として導出される。

**基本仮定：** 本稿では連続確率変数を扱い、全ての確率密度関数は $L^1$ 可積分性を満たすものとする。離散確率変数への拡張は、積分を総和に置き換えることで可能である。

## 2. 随伴変数法の基本枠組み

### 2.1 制約付き最適化問題

```math
\begin{align}
\min_{u,p} \quad & J(u, p) \\
\text{s.t.} \quad & \mathbf{F}(u, p) = \mathbf{0}
\end{align}
```

### 2.2 陰関数定理

制約条件により、状態変数 $u$ は設計変数 $p$ の陰関数として定義される：

```math
u = u(p) \quad \text{（$\mathbf{F}(u, p) = \mathbf{0}$ により陰的に定義）}
```

陰関数微分：

```math
\frac{du}{dp} = -\left(\frac{\partial \mathbf{F}}{\partial u}\right)^{-1} \frac{\partial \mathbf{F}}{\partial p}
```

### 2.3 拡張ラグランジアンと随伴方程式

拡張ラグランジアン：

```math
\mathcal{L}(u, p, \boldsymbol{\lambda}) = J(u, p) + \boldsymbol{\lambda}^T \mathbf{F}(u, p)
```

**KKT条件（ニュートン法の制約付き最適化と同一）：**

```math
\begin{align}
\frac{\partial \mathcal{L}}{\partial u} &= \frac{\partial J}{\partial u} + \boldsymbol{\lambda}^T \frac{\partial \mathbf{F}}{\partial u} = 0 \quad \text{（随伴方程式）} \\
\frac{\partial \mathcal{L}}{\partial p} &= \frac{\partial J}{\partial p} + \boldsymbol{\lambda}^T \frac{\partial \mathbf{F}}{\partial p} = 0 \\
\mathbf{F}(u, p) &= \mathbf{0}
\end{align}
```

**感度公式：**

```math
\frac{dJ}{dp} = \frac{\partial \mathcal{L}}{\partial p} = \boldsymbol{\lambda}^T \frac{\partial \mathbf{F}}{\partial p}
```

## 3. 情報幾何学的双対構造

### 3.1 統計多様体上の射影

確率分布空間における制約付き最適化は、統計多様体上の射影操作として理解される：

```math
\Pi: \mathcal{M}_{\text{prior}} \to \mathcal{M}_{\text{constrained}}
```

### 3.2 双対平坦構造

- **e-座標系（指数座標）**：原空間（状態変数）
- **m-座標系（混合座標）**：双対空間（随伴変数）
- **双対接続**：制約条件による陰関数関係

## 4. 条件付き確率の導出

### 4.1 制約付きKL最小化

**基準分布の設定：**
一様分布 $q(x,y) = \frac{1}{|X| \cdot |Y|}$ を基準分布とする。ここで、$|X|, |Y|$ は各定義域の測度である。

**KLダイバージェンス最小化問題：**

```math
\begin{align}
\min_{p(x,y)} \quad & D_{KL}[p \| q] = \int\int p(x,y) \log p(x,y) \, dx \, dy - \int\int p(x,y) \log q(x,y) \, dx \, dy \\
\text{s.t.} \quad & \mathbf{h}[p] = \begin{pmatrix} \int p(x,y) dx - p_Y(y) \\ \int\int p(x,y) dx dy - 1 \end{pmatrix} = \mathbf{0}
\end{align}
```

$q(x,y)$ が定数であるため、第2項は制約条件により定数となる。したがって、以下の簡約形と等価：

```math
\min_{p(x,y)} \quad J[p] = \int\int p(x,y) \log p(x,y) \, dx \, dy
```

### 4.2 拡張ラグランジアンと汎関数微分

**関数空間の設定：**
状態変数 $p(x,y)$ は確率測度空間

```math
\mathcal{P} = \left\{p \in L^1(\mathbb{R}^2) : p \geq 0, \int\int p(x,y) dx dy = 1\right\}
```

上で定義される。

**拡張ラグランジアン：**

```math
\mathcal{L}[p, \boldsymbol{\mu}] = \int\int p(x,y) \log p(x,y) \, dx \, dy + \int \mu_1(y) \left[ \int p(x,y) dx - p_Y(y) \right] dy + \mu_2 \left[ \int\int p(x,y) dx dy - 1 \right]
```

### 4.3 汎関数微分による随伴方程式

**汎関数微分の定義：**
汎関数 $F[p]$ のガトー微分：

```math
\frac{\delta F}{\delta p}[h] = \lim_{\epsilon \to 0} \frac{F[p + \epsilon h] - F[p]}{\epsilon}
```

**目的関数の汎関数微分：**

```math
\frac{\delta}{\delta p} \int\int p(x,y) \log p(x,y) \, dx \, dy = \log p(x,y) + 1
```

**随伴方程式：**

```math
\frac{\delta \mathcal{L}}{\delta p(x,y)} = \log p(x,y) + 1 + \mu_1(y) + \mu_2 = 0
```

**解：**

```math
p^*(x,y) = \exp(-\mu_1(y) - \mu_2 - 1)
```

### 4.4 制約条件の適用

制約 $h_1 = 0$ から：

```math
\int \exp(-\mu_1(y) - \mu_2 - 1) \, dx = p_Y(y)
```

$x \in [a,b]$ とすると：

```math
\exp(-\mu_1(y) - \mu_2 - 1) = \frac{p_Y(y)}{b-a}
```

**最終解：**

```math
p^*(x,y) = \frac{p_Y(y)}{b-a}
```

### 4.5 条件付き確率

```math
p(x|y) = \frac{p^*(x,y)}{p_Y(y)} = \frac{1}{b-a}
```

## 5. ベイズの定理の導出

### 5.1 制約付きKL最小化

**データ観測の設定：**
観測データ $D$ は固定された定数として扱い、$p(D) = \int p(D|\theta) p(\theta) d\theta$ は正規化定数である。

**基準分布：** 事前分布 $p(\theta)$ を基準分布とする。

**制約構造の再定式化：**
線形独立性を保証するため、補助変数 $z = p(\theta, D)$ を導入：

```math
\begin{align}
\min_{p(\theta|D)} \quad & D_{KL}[p(\theta|D) \| p(\theta)] = \int p(\theta|D) \log \frac{p(\theta|D)}{p(\theta)} \, d\theta \\
\text{s.t.} \quad & \mathbf{g}[p, z] = \begin{pmatrix} \int p(\theta|D) d\theta - 1 \\ z - p(D|\theta) p(\theta) \end{pmatrix} = \mathbf{0}
\end{align}
```

### 5.2 拡張ラグランジアンと随伴変数の解釈

**関数空間：**
事後分布 $p(\theta|D)$ は条件付き確率測度空間

```math
\mathcal{P}_{D} = \left\{p(\cdot|D) \in L^1(\Theta) : p(\theta|D) \geq 0, \int p(\theta|D) d\theta = 1\right\}
```

上で定義される。

**拡張ラグランジアン：**

```math
\mathcal{L}[p, z, \boldsymbol{\lambda}] = \int p(\theta|D) \log \frac{p(\theta|D)}{p(\theta)} \, d\theta + \lambda_1 \left[ \int p(\theta|D) d\theta - 1 \right] + \lambda_2 [z - p(D|\theta) p(\theta)]
```

**随伴変数の物理的意味：**
- $\lambda_1$：正規化制約のLagrange乗数（確率の総和制約に対する感度）
- $\lambda_2$：尤度制約のLagrange乗数（データ整合性制約に対する感度）

### 5.3 汎関数微分による随伴方程式

**随伴方程式：**

```math
\frac{\delta \mathcal{L}}{\delta p(\theta|D)} = \log \frac{p(\theta|D)}{p(\theta)} + 1 + \lambda_1 = 0
```

**解：**

```math
p(\theta|D) = p(\theta) \exp(-\lambda_1 - 1)
```

### 5.4 制約条件の適用

制約条件を適用すると、最終的に：

```math
p(\theta|D) = \frac{p(D|\theta) p(\theta)}{p(D)}
```

これがベイズの定理である。

## 6. 統一的理解：情報幾何学的解釈

### 6.1 統計多様体上の射影構造

**e-m双対座標系：**
情報幾何学において、統計多様体は以下の双対平坦構造を持つ：

- **e-座標系（自然パラメータ）**: $\eta_i = E[\phi_i(x)]$（期待値座標）
- **m-座標系（期待値パラメータ）**: $\mu_i = \frac{\partial \psi}{\partial \eta_i}$（自然パラメータの勾配）

**ベイズ更新の幾何学的解釈：**
ベイズ更新 $p(\theta) \to p(\theta|D)$ は、統計多様体上の**e-射影**として理解される：

```math
p(\theta|D) = \arg\min_{q} D_{KL}[q \| p(\theta)] \quad \text{s.t.} \quad E_q[\log p(D|\theta)] = \log p(D)
```

### 6.2 e-射影とm-射影の統一的理解

**双対射影の分類（Amari, 2016）：**

- **e-射影**: $D_{KL}[q \| p]$ の最小化（Forward KL、ベイズ更新）
- **m-射影**: $D_{KL}[p \| q]$ の最小化（Reverse KL、変分ベイズ近似）

**射影操作の統一：**

| 概念 | 制約ベクトル | 射影タイプ | 結果 |
|------|-------------|-----------|------|
| 条件付き確率 | $\mathbf{h}[p] = \mathbf{0}$ | 周辺化射影 | $p(x\|y) = \frac{p(x,y)}{p_Y(y)}$ |
| ベイズの定理 | $\mathbf{g}[p, z] = \mathbf{0}$ | e-射影 | $p(\theta\|D) = \frac{p(D\|\theta) p(\theta)}{p(D)}$ |
| 変分ベイズ | $q \in \mathcal{Q}$ | m-射影 | $q^* = \arg\min D_{KL}[q \| p(\theta\|D)]$ |

### 6.3 統一的定式化

確率論の基本概念は以下の統一的定式化で表現される：

```math
\text{確率論の基本概念} = \arg\min_{p} \left\{ D_{KL}[p \| q] : \mathbf{制約}[p] = \mathbf{0} \right\}
```

## 7. ニュートン法との統一的理解

**最適化理論としての確率論：**

| ニュートン法の構成要素 | 確率論での対応 |
|---------------------|--------------|
| 目的関数 $f(x)$ | KLダイバージェンス $D_{KL}[p \| q]$ |
| 制約条件 $g(x) = 0$ | 確率の公理・条件付け |
| ラグランジュ乗数 $\lambda$ | 随伴変数（感度） |
| 最適解 $x^*$ | 確率分布 $p^*(x)$ |
| ヘッセ行列 $\nabla^2 f$ | フィッシャー情報行列 $G(\theta)$ |

---

## 📋 コラム：EMアルゴリズムとの関係

### EMアルゴリズムの情報幾何学的解釈

EMアルゴリズムは、**e-射影とm-射影の交互反復**として理解される。

**隠れ変数モデル：**

```math
p(D, Z | \theta) = p(D | Z, \theta) p(Z | \theta)
```

**目的：**

```math
\max_\theta \log p(D | \theta) = \max_\theta \log \int p(D, Z | \theta) dZ
```

### E-stepとM-stepの双対射影解釈

**E-step（m-射影）：**

```math
q^{(k+1)}(Z) = \arg\min_{q \in \mathcal{Q}} D_{KL}[q(Z) \| p(Z|D, \theta^{(k)})]
```

**M-step（e-射影）：**

```math
\theta^{(k+1)} = \arg\max_\theta E_{q^{(k+1)}}[\log p(D, Z | \theta)]
```

### アルゴリズムの分類

| アルゴリズム | Step 1 | Step 2 | 特徴 |
|-------------|--------|--------|------|
| EM | m-射影 | e-射影 | 隠れ変数・最尤推定 |
| 変分ベイズ | m-射影 | m-射影 | ベイズ近似推論 |
| EP | e-射影 | m-射影 | 局所近似の伝播 |
| ベイズ更新 | - | e-射影 | 厳密事後分布 |

### 収束性の保証

**単調性定理：**
e/m-射影の交互反復は、目的関数の単調増加を保証する：

```math
\ell(\theta^{(k+1)}) \geq \ell(\theta^{(k)})
```

各射影ステップは統計多様体上での最短距離移動であり、収束点は双対平坦構造の交点として特徴づけられる。