線形代数学-固有値、特異値

# 線形代数 - 固有値
学習したことを忘れないように残そうかと。
数学的な表現が適切でないかもですが。。。

```math
A \vec{x} = \lambda \vec{x} \\
```

【固有ベクトル】

```math
\vec{x}  \\
```

【固有値】

```math
\lambda  \\
```

【注】正方行列の場合に求めることができる。

## 固有ベクトル・固有値の求め方

```math
A \vec{x} = \lambda \vec{x} \\
```
左辺に項を移動する。

```math
(A - \lambda I) \vec{x} = \vec{0}　\\
```

ここで、I　は下記の定義なのでご注意を。

```math
 I = \begin{pmatrix}
1 & 0 \\
0 & 1 
\end{pmatrix}

```

例えば、2x2 の固有値を計算する場合を考える。

【対象の行列】

```math
\begin{pmatrix}
1  & 4 \\
2 & 3
\end{pmatrix}
```


具体的に計算をすると、

```math
\begin{align}

(A - \lambda I) \vec{x}
&=
\left (
\begin{pmatrix}
1 & 4 \\
2 & 3 
\end{pmatrix}
-
\lambda
\times
\begin{pmatrix}
1 & 0 \\
0 & 1 
\end{pmatrix} 
\right ) \vec{x} \\

&=
\begin{pmatrix}
1 - \lambda & 4 \\
2 & 3 - \lambda
\end{pmatrix}
\vec{x}
=
\vec{0} \\
\end{align}
```

行列式を計算する。

```math
(1 - \lambda)(3 - \lambda) - 2 \times 4 = 0 \\
(1 - \lambda)(3 - \lambda) = 2 \times 4 \\
(1 - \lambda)(3 - \lambda) = 8
```
$ (1 - \lambda)(3 - \lambda) = 8 $ になるような $ \lambda $を計算する。

すると、$ \lambda$ = 5 or -1

$ \lambda$ = 5 の時の $x_1, x_2 $ の関係を求める。

```math
\begin{pmatrix}
1  & 4 \\
2 & 3
\end{pmatrix}
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
5
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}\\
```
行列式を求めると

```math
x_1 + 4x_2 = 5x_1\\
\Rightarrow x_1 = x_2 \\
```

```math
2x_1 + 3x_2 = 5x_2\\
\Rightarrow x_1 = x_2 \\
```
上記の関係性が求められる。
$ \lambda$ = 5 の時の固有ベクトルは
 
```math
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
1 \\
1
\end{pmatrix}\\
```
$\lambda$ = -1 の時も同様に計算すると固有ベクトルは下記のようになる。

```math
\begin{pmatrix}
x_1 \\
x_2
\end{pmatrix}
=
\begin{pmatrix}
2 \\
-1
\end{pmatrix}\\
```

固有値は一般的にm個ある。


##固有値分解
固有値を対角線上に並べた行列(A)と、それに対応する固有ベクトルを並べた行列(V)を用意すると、下記のような関連がある。

```math
AV = VA
```

すると、下記関係性が成り立つ。

```math
A = VAV^{-1}
```

下記行列を固有値分解する事を考える。

```math
\begin{pmatrix}
1  & 4 \\
2 & 3
\end{pmatrix}
```

上記で求めた固有値と固有ベクトルの値から

```math
\begin{pmatrix}
1  & 4 \\
2 & 3
\end{pmatrix}
=
\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
\begin{pmatrix}
5  & 0 \\
0 & -1
\end{pmatrix}
\begin{pmatrix}
1 & 2 \\
1 & -1
\end{pmatrix}
^{-1}
```

本行列 = (固有ベクトル)($\lambda$の行列(固有値))(固有ベクトルの逆行列)
という関係性が成り立つ。

##特異値分解
正方行列以外でも固有値分解と同様なことはできる。
ただし、下記のような特殊な単位ベクトルがある場合だけ。

$\vec{u}$ と $\vec{v}$ が行列 M と転置行列 $M^\mathsf{T}$ の間に下記の関係があれば、特異値が求められる。

```math
M \vec{v} = \sigma \vec{u} \\
M ^\mathsf{T} \vec{u} = \sigma \vec{v} \\
```

$\sigma$ : 特異値
$\vec{u}$ : 左特異ベクトル
$\vec{v}$ : 右特異ベクトル

これを数学的に書くと

```math
M  = USV^\mathsf{T} \\
```

下記の関係性がある。

```math
MV  = US \\
\Rightarrow M = USV^\mathsf{T} \\

M^\mathsf{T}U = VS^\mathsf{T}\\
\Rightarrow M^\mathsf{T} 
= VS^\mathsf{T}U^\mathsf{T} \\
```

すると、下記のように $V$ と $V^\mathsf{T}$ がなくなる。

```math
MM^\mathsf{T} = USV^\mathsf{T}VS^\mathsf{T}U^\mathsf{T} \\
= USS^\mathsf{T}U^\mathsf{T}
```
$MM^\mathsf{T}$ を固有値分解すると、左特異ベクトルと特異値の2乗が求められる。
(ポイントは、特異値の2乗と言うこと。)

###実例
下記の特異値を求める。

```math
M =
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
```

####左特異ベクトルを求める。
まず、$MM^\mathsf{T}$ を求める。

```math
MM^\mathsf{T} =
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 3\\
2 & 2 \\
3 & 1
\end{pmatrix} \\
=
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix} \\
```

固有方程式を解いて固有値を求める。
固有方程式は下記の式。

```math
\begin{vmatrix}
MM^\mathsf{T} - \lambda E
\end{vmatrix} = 0\\
```

これを固有値分解する。
$\lambda$ は 24,4になるんです。
地道に計算すると。。。

```math
\begin{pmatrix}
14 & 10\\
10 & 14
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
24 & 0\\
0 & 4
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{pmatrix}^{-1}
```

ここで、実は

```math
\begin{pmatrix}
24 & 0\\
0 & 4
\end{pmatrix}
```

って、特異値の2乗なんですよね。
よって、平方根をとると特異値が出てきて、$\sqrt{24} = 2\sqrt{6}と、\sqrt{ 4} = 2$になるわけでして。

$2\sqrt{6}$に属する左特異ベクトルは1列目の

```math
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
= \frac{1}{\sqrt{2}}
\begin{pmatrix}1\\1\end{pmatrix}
```

2に属する左特異ベクトルは2列目の

```math
\begin{pmatrix}
-\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
= \frac{1}{\sqrt{2}}
\begin{pmatrix}-1\\1\end{pmatrix}
```
になるんですね〜。

右特異ベクトルを求めると、0 と言う特異値が求められます。
「左特異ベクトルの計算時、特異値に 0ないじゃん！」と、思いますが、0に属する特異ベクトルは

```math
\begin{pmatrix}0\\0\end{pmatrix}
```

になるんですね。
だって、ないんだもん。
(ホントかなぁ。。。)

####右特異ベクトルを求める。
次に$M^\mathsf{T}M$を求める。

```math
M^\mathsf{T}M =
\begin{pmatrix}
1 & 3\\
2 & 2 \\
3 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 2 & 3\\
3 & 2 & 1
\end{pmatrix}
=
\begin{pmatrix}
10 & 8 & 6\\
8 & 8 & 8 \\
6 & 8 & 10
\end{pmatrix}
```

これを固有値分解する。
$\lambda$(特異値の二乗)は 24,4,0。
なので、

```math
\begin{pmatrix}
10 & 8 & 6\\
8 & 8 & 8 \\
6 & 8 & 10
\end{pmatrix} \\
=
\begin{pmatrix}
\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\
\frac{1}{\sqrt{3}} & 0 & -\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}
\begin{pmatrix}
24 & 0 & 0\\
0 & 4 & 0 \\
0 & 0 & 0
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}} \\
\frac{1}{\sqrt{3}} & 0 & -\frac{2}{\sqrt{6}}\\
\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{6}}
\end{pmatrix}^{-1}

```

具体的な手順は、下記に記述していただいた内容が、わかりやすいかと。

https://qiita.com/ImnotTakzoKadno/items/5e0705f96152206a886c

特異値の概念が、なかなか難しいなぁと。。。
しかし、手計算だとなかなか、手間がかかりますよね。。。