2変量正規分布

今回は多変量正規分布から2変量正規分布を求めます。
多変量正規分布の公式

```math
\begin{align}
f(\mathbf{x}) = \frac{1}{(2\pi)^{\frac{n}{2}} \left(\mathbf{det\Sigma}\right)^{\frac{1}{2}}} \exp \left( -\frac{1}{2} (\mathbf{x} - \mathbf{\mu})^\top \mathbf{\Sigma}^{-1} (\mathbf{x} - \mathbf{\mu}) \right)　　\\
 または　 f(\mathbf{x}) = \frac{1}{(2\pi)^{\frac{n}{2}} \left|\mathbf{\Sigma}\right|^{\frac{1}{2}}} \exp \left( -\frac{1}{2} (\mathbf{x} - \mathbf{\mu})^\top \mathbf{\Sigma}^{-1} (\mathbf{x} - \mathbf{\mu}) \right)
\end{align}
```
2変量正規分布の公式
```math
f(x_1, x_2) = \frac{1}{2\pi \sqrt{(1-\rho^2)\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2(1-\rho^2)} \left\{ \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho \left( \frac{(x_1 - \mu_1)}{\sigma_1} \right) \left( \frac{(x_2 - \mu_2)}{\sigma_2} \right) + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right\} \right)
```

理解しやすいように5ステップで考えます。
```math
\displaylines{
 1.\Sigma^{-1}を求める \\
 2.|\Sigma|　(det\Sigma)を求める \\
 3.多変量正規分布に1.と2.で求めたものを代入して整理する \\ 
 4.expまたはeの右側を考える \\ 
 5.最後に整理する(終了)}
 ```
 今回使う条件
 ```math
\begin{align}
X &= 
\begin{pmatrix}
x_1 & x_2
\end{pmatrix}^\top \\

\mu &=
\begin{pmatrix}
\mu_1 & \mu_2
\end{pmatrix}^\top \\

\Sigma &= 
\begin{pmatrix}
\sigma_1^2 & \rho \sigma_1 \sigma_2 \\
\rho \sigma_1 \sigma_2 & \sigma_2^2
\end{pmatrix}
\end{align}
```
 
### 1.
 2×2の逆行列より
 ```math
\begin{align}
\mathbf{\Sigma}^{-1} &= \frac{1}{\sigma_1^2 \sigma_2^2 - \rho \sigma_1 \sigma_2\rho \sigma_1 \sigma_2}
\begin{pmatrix}
\sigma_2^2 & -\rho \sigma_1 \sigma_2 \\
-\rho \sigma_1 \sigma_2 & \sigma_1^2
\end{pmatrix} \\ 

&= \frac{1}{\sigma_1^2 \sigma_2^2 - \rho^2 \sigma_1^2 \sigma_2^2}
\begin{pmatrix}
\sigma_2^2 & -\rho \sigma_1 \sigma_2 \\
-\rho \sigma_1 \sigma_2 & \sigma_1^2
\end{pmatrix} \\ 

&= \frac{1}{(1 - \rho^2) \sigma_1^2 \sigma_2^2}
\begin{pmatrix}
\sigma_2^2 & -\rho \sigma_1 \sigma_2 \\
-\rho \sigma_1 \sigma_2 & \sigma_1^2
\end{pmatrix}
\end{align}
 ```
逆行列がわからない方へ

https://manabitimes.jp/math/1153

### 2.
2次元正方行列より
```math
\begin{align}

det\Sigma &= \sigma_1^2\sigma_2^2 - \rho^2\sigma_1^2\sigma_2^2 \\
&= (1-\rho^2)\sigma_1^2\sigma_2^2
\end{align}
```
正方行列がわからない方へ

https://mathlandscape.com/matrix-det/

### 3.
```math
 ※(2\pi)^{\frac{n}{2}}のnは2より2\pi^1となる
```
```math
\frac{1}{2\pi \sqrt{(1-\rho^2)\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2} (\mathbf{x} - \mathbf{\mu})^\top\frac{1}{(1-\rho^2)\sigma_1^2 \sigma_2^2} 
\begin{pmatrix}
\sigma_2^2 & -\rho \sigma_1 \sigma_2 \\
-\rho \sigma_1 \sigma_2 & \sigma_1^2
\end{pmatrix}
(\mathbf{x} - \mathbf{\mu}) \right)

```
### 4.
```math
\begin{align}
(\mathbf{x} - \mathbf{\mu})^\top \mathbf{\Sigma}^{-1} 
(x-\mu) &=　 
\begin{pmatrix}
x_1 - \mu_1 & x_2 - \mu_2
\end{pmatrix}
\frac{1}{(1 - \rho^2) \sigma_1^2 \sigma_2^2}
\begin{pmatrix}
\sigma_2^2 & -\rho \sigma_1 \sigma_2 \\
-\rho \sigma_1 \sigma_2 & \sigma_1^2
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\
x_2 - \mu_2
\end{pmatrix} \\
&= \frac{1}{(1 - \rho^2) \sigma_1^2 \sigma_2^2}
\begin{pmatrix}
\sigma_2^2(x_1-\mu_1)-
\rho\sigma_1\sigma_2(x_2-\mu_2) & 
-\rho\sigma_1\sigma_2(x_1-\mu_1)+
\sigma_1^2(x_2-\mu_2) 
\end{pmatrix}
\begin{pmatrix}
x_1 - \mu_1 \\
x_2 - \mu_2
\end{pmatrix}\\

&= \frac{1}{(1 - \rho^2) \sigma_1^2 \sigma_2^2}
(
\sigma_2^2(x_1-\mu_1)^2-
\rho\sigma_1\sigma_2(x_2-\mu_2)(x_1-\mu_1) 
-\rho\sigma_1\sigma_2(x_1-\mu_1)(x_2-\mu_2)+
\sigma_1^2(x_2-\mu_2)^2 
)
\\

&= \frac{1}{(1 - \rho^2) \sigma_1^2 \sigma_2^2}
(
\sigma_2^2(x_1-\mu_1)^2
-2\rho\sigma_1\sigma_2(x_2-\mu_2)(x_1-\mu_1) 
+\sigma_1^2(x_2-\mu_2)^2 
)
\\

&= \frac{1}{1 - \rho^2}
(
\frac{(x_1-\mu_1)^2}{\sigma_1^2}
-2\rho \frac{(x_2-\mu_2)(x_1-\mu_1)}{\sigma_1\sigma_2}
+\frac{(x_2-\mu_2)^2}{\sigma_2^2}
)
\\


&=　\frac{1}{1 - \rho^2} \left( \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho \left( \frac{(x_1 - \mu_1)}{\sigma_1} \right) \left( \frac{(x_2 - \mu_2)}{\sigma_2} \right) + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right)
\end{align}
```
$$※\frac{(x_2-\mu_2)(x_1-\mu_1)}{\sigma_1\sigma_2}は標準化しているので分ける(=が下から2番目)$$

### 5.
```math
f(x_1, x_2) = \frac{1}{2\pi \sqrt{(1-\rho^2)\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2(1-\rho^2)} \left\{ \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho \left( \frac{(x_1 - \mu_1)}{\sigma_1} \right) \left( \frac{(x_2 - \mu_2)}{\sigma_2} \right) + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right\} \right)
```

参考にしたサイトと本

https://nishiru3.hatenablog.com/entry/2018/07/08/000000

統計検定実践ワークブック

![スクリーンショット 2024-06-07 7.01.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3536819/755e2193-7a33-535f-eb46-b6c9003337b9.png)

### 番外編1(2変量正規分布が無相関(p=0)の時の証明)
```math
\begin{align}
f(x_1, x_2) &= \frac{1}{2\pi \sqrt{(1-\rho^2)\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2(1-\rho^2)} \left\{ \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho \left( \frac{(x_1 - \mu_1)}{\sigma_1} \right) \left( \frac{(x_2 - \mu_2)}{\sigma_2} \right) + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right\} \right) \\
&= \frac{1}{2\pi\sqrt{\sigma_1^2 \sigma_2^2}}\exp
\left( -\frac{1}{2} \left\{\frac{(x_1 - \mu_1)^2}{\sigma_1^2}  + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right\} \right) \\
&= \frac{1}{\sqrt{4\pi^2\sigma_1^2 \sigma_2^2}}\exp
\left( - \frac{(x_1 - \mu_1)^2}{2\sigma_1^2} -\frac{(x_2 - \mu_2)^2}{2\sigma_2^2} \right) \\
&= \frac{1}{\sqrt{2\pi\sigma_1^2} \sqrt{2\pi\sigma_2^2}}\exp
\left( - \frac{(x_1 - \mu_1)^2}{2\sigma_1^2} -\frac{(x_2 - \mu_2)^2}{2\sigma_2^2} \right) \\
&=　\frac{1}{\sqrt{2\pi\sigma_1^2}}\exp\left( - \frac{(x_1 - \mu_1)^2}{2\sigma_1^2} \right) ・
\frac{1}{\sqrt{2\pi\sigma_2^2}}\exp\left( -\frac{(x_2 - \mu_2)^2}{2\sigma_2^2} \right) \\
&= f(x_1) ・ f(x_2)
\end{align}
```

https://math-note.com/multivariate-normal-distribution/

### 番外編2（2つの正規分布が同じである時の証明）
平均0 分散1の時
```math
\begin{align}
f(x_1, x_2) &= \frac{1}{2\pi \sqrt{(1-\rho^2)\sigma_1^2 \sigma_2^2}} \exp \left( -\frac{1}{2(1-\rho^2)} \left\{ \frac{(x_1 - \mu_1)^2}{\sigma_1^2} - 2\rho \left( \frac{(x_1 - \mu_1)}{\sigma_1} \right) \left( \frac{(x_2 - \mu_2)}{\sigma_2} \right) + \frac{(x_2 - \mu_2)^2}{\sigma_2^2} \right\} \right) \\
&= \frac{1}{2\pi\sqrt{(1-\rho^2)}} \exp \left( -\frac{1}{2(1-\rho^2)} (x_1^2 -2\rho x_1x_2 + x_2^2) \right)

\end{align}
```