線形代数のまとめ

この記事は個人的なお勉強用のメモです。


# 線形代数

線形代数とは、主に行列を扱う数学。


## 用語

- 行列
  行と列で構成された値の集まり。

- 正方行列
  行の次数と列の次数が同じ行列。

- 零行列
  すべての成分が0の行列

- 単位行列
  対角成分がすべて $1$。そのほかの成分がすべて $0$ の行列。
  ある行列に単位行列をかけても、元の行列の値は変わらない。
  スカラーの掛け算でいう $1$ に相当する。
  $E$ や $I$ と書く。

- 対角行列
  対角成分が $0$ 以外、そのほかの成分がすべて0の行列。
  同じ対角行列を $n$ 回掛け算すると、対角成分の値が $n$ 乗になる。

- 対象行列
  対角成分の一方側と他方側が対称になっている行列。

- 逆行列
  ある行列に対してその行列を掛けると、単位行列になるというその行列。
  スカラーでいう逆数に相当する。
  $A^{-1}$で表す。

- 正則行列
  行列 $A$ が逆行列を持つとき、$A$ は正則行列であるという。

- 転置行列
  ある行列の行と列を入れ替えた行列。
  $A^T$ で表す。

- 直行行列
  転置行列＝逆行列 であるような行列。

- 係数行列
  連立一次方程式の係数部分のみを抜き出して行列にしたもの。

- 定数項ベクトル
  連立一次方程式の右辺をベクトルにしたもの。

- 拡大係数行列
  係数行列と定数項ベクトルを横に並べて書いた行列。

- 行列式
  行列に対して所定の手順で求めた値。スカラー値。

- 固有値と固有ベクトル
  $Ax＝λx$ を満たす場合、$λ$ が固有値。$x$ が固有ベクトル。

- 固有値
  $Ax＝λx$ を満たす場合、$λ$ が固有値。固有値はスカラー値。次数の数だけ存在する。
  ただし、重解がありうる。

- 固有ベクトル
  $Ax＝λx$ を満たす場合、$x$ が固有ベクトル。固有ベクトルは固有値の個数だけ存在する。 
先に固有値を求めて、固有値ごとの固有ベクトルを求める。値が唯一に決まるものではなく、ベクトル内で比率は一定。

- 固有方程式
  固有値を求める際に生成する、固有値をλとしたときの方程式。
  行列式 $|A-λE| = 0$ が固有方程式。

- 特異値分解 
正方行列以外の行列を固有値分解のように分解すること。 
行列 $M$ を分解すると、$M=UST^T$ の形式になる。

- 左特異ベクトル 
特異値分解した式の $U$ の部分。 
正方行列 $MM^T$ を固有値分解したときの固有ベクトルに相当する。

- 右特異ベクトル 
特異値分解した式の $V$ の部分。 
正方行列 $M^TM$ を固有値分解したときの固有ベクトルに相当する。

- 特異値 
特異値分解した式の $S$ の部分。 
$MM^T$ や $M^TM$ の固有値の平方根に相当する。


## 行列の演算

行列はほぼスカラーと同じ演算ができる。

### 行列の足し算

$A + B$

$A$ と $B$ の次数が同じ場合に計算できる。
行列の成分ごとに足し算をする。
$A + B = B + A$ が成り立つ。

### 行列の引き算

$A - B$

$A$ と $B$ の次数が同じ場合に計算できる。
行列の成分ごとに引き算をする。

### 行列の掛け算

$AB$

$A$ の列数と $B$ の行数が同じ場合に計算できる。
$m_1 \times n$ 行列 と $n \times m_2$ 行列 を掛け算すると、$m_1 \times m_2$ 行列になる 
$A$ の各行と $B$ の各列の成分同士を掛け算して、それぞれの掛け算の結果を全部足す。
スカラーとは異なり、一般的に $AB≠BA$ である。（交換はできない）

## 連立一次方程式と行列の関係

連立一次方程式は、行列で表現できる。

```math
ax + by = e\\
cx + dy = f
```

のとき、

```math
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\begin{pmatrix}
e\\
f
\end{pmatrix}
```

## 逆行列の求め方

### 掃き出し法

逆行列は掃き出し法で求める。
行列を $A$ とする。

1. $A$ と単位行列を左右に並べて書く。（左に $A$、右に単位行列、その間に縦棒を書く）
2. $A$ が単位行列になるよう、行基本変形を使って変形していく。  
   変形する際は、$A$ だけでなく、単位行列側も同様に行基本変形を適用する。
3. $A$ が単位行列になると、単位行列側が $A$ の逆行列になっている。

### 行基本変形

- 行を $c$ 倍する
- $2$ つの行を相互に入れ替える
- ある行に、別の行の $c$ 倍を加える

## 行列式

### 行列式の求め方

$2 \times 2$ 行列の場合、行列式の値は $ad-bc$ 。
$3 \times 3$ 以上の行列の場合、余因子展開を使って、次数を $1$ つずつ減らしていく。
$3 \times 3$ の行列の場合のみ、行列式の値はサラスの方法で求められる。

### サラスの方法

$3 \times 3$ 行列の行列式のみで計算可能。

```math
(a_{11} a_{22} a_{33}) + (a_{12} a_{23} a_{31}) + (a_{21} a_{32} a_{13}) - (a_{13} a_{22} a_{31}) - (a_{12} a_{21} a_{33}) - (a_{11} a_{32} a_{23})
```


### 余因子展開

行列内の基準になる行または列を $1$ つ決める。
どの行(列)でもいいが、$0$ が多い行(列)が計算が楽。
（行基本変形をして、$0$ の行(列)を多く作ることもできる。行基本変形をしても、行列式の値は変わらない）

基準の行(列)に対して、成分ごとに計算して全部足す。
計算は以下の3つを掛ける。
1. その成分の値
2. (行番号＋列番号)乗
3. その成分の行と列を含まない、残りの行列（小行列）

## 固有値と固有ベクトル

$Ax = λx$

変形して

$(A - λE) = 0$

この左辺の行列の行列式が $0$ になる。
この等式（固有方程式）を解く。
次数の個数だけ、固有値 $λ$ が求まる。
固有値ごとに固有ベクトルを求める。

## 固有値分解

### 固有値分解とは

正方行列 $A$ を以下のように分解することを固有値分解という。

$A= V Λ V^{-1}$

$V$：固有ベクトルの集まり
$Λ$：対角成分に固有値を並べた対角行列

### 固有値分解のメリット

複数回 $A$ を掛け算するときに便利。
普通だと、$A$ を複数回掛け算するときは、$A$ の行の成分と列の成分の計算が多く必要。
しかし、固有値分解された式を使うと、例えば $A$ を $2$ 回掛ける場合、

```math
\begin{align}
AA &= (V Λ V^{-1}) (V Λ V^{-1})\\ 
&= V Λ (V^{-1} V) Λ V-1\\
&= V Λ E Λ V^{-1}\\
& = V Λ^2 V^{-1}
\end{align}
```

ここで、$Λ$ の $n$ 乗は簡単に計算できる。（対角成分だけが $n$ 乗なので）

### 固有値分解の方法

行列の $A$ のすべての固有値と固有ベクトルを求める。
それぞれの固有値を、$Λ$（対角行列）内の左上から順に並べる。（普通は降順に並べる）
並べた順番に、固有ベクトルを左から $V$ に並べる。

## 特異値分解

固有値分解は正方行列でのみ使える。
逆にいうと、正方行列以外の行列では固有値分解が使えない。
正方行列以外の行列に対して分解するには、特異値分解を使う。

分解対象の行列を $M$ とする。

```math
M=USV^T\\
.\\
\begin{align}
U&：左特異ベクトル（正規直交系）\\
S&：特異値（対角行列のような行列）\\
V&：右特異ベクトル（正規直交系）
\end{align}
```

となるような、$U$,$S$,$V$ を求める。
$MM^T$ および $M^TM$ は正方行列であることから、以下のそれぞれの式で、特異値と特異ベクトルが求まる。

```math
MM^T=USS^TU^T（固有値分解によって、UとSが求まる）\\
M^TM=VSS^TV^T（固有値分解によって、VとSが求まる）
```
# 演習問題

### 1.1

#### 問1.1.1

```math
\begin{align}
\vec{a}+\vec{b}&=
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
+
\begin{pmatrix}
5\\
2\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
1+5\\
6+2\\
3+4
\end{pmatrix}
\\
&=
\begin{pmatrix}
6\\
8\\
7
\end{pmatrix}
\end{align}
```
#### 問1.1.2

```math
\begin{align}
\vec{a}-\vec{b}&=
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
-
\begin{pmatrix}
5\\
2\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
1-5\\
6-2\\
3-4
\end{pmatrix}
\\
&=
\begin{pmatrix}
-4\\
4\\
-1
\end{pmatrix}
\end{align}
```

#### 問1.1.3

```math
\begin{align}
7\vec{a}&=
7
\begin{pmatrix}
1\\
6\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
7 \times 1\\
7 \times 6\\
7 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
7\\
42\\
21
\end{pmatrix}
\end{align}
```

#### 問1.1.4

```math
\begin{align}
8(\vec{a}+\vec{b})
&=8
\begin{pmatrix}
6\\
8\\
7
\end{pmatrix}
\quad 問1.1.1の解答を利用
\\
&=
\begin{pmatrix}
48\\
64\\
56
\end{pmatrix}
\end{align}
```

### 問1.2.1

```math
\begin{align}
A+B&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
+
\begin{pmatrix}
1 & 4\\
1 & 5
\end{pmatrix}
\\
&=
\begin{pmatrix}
2+1 & 1+4\\
5+1 & 3+5
\end{pmatrix}
\\
&=
\begin{pmatrix}
3 & 5\\
6 & 8
\end{pmatrix}

\end{align}
```

### 問1.2.2

```math
\begin{align}
A-3B&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
-3
\begin{pmatrix}
1 & 4\\
1 & 5
\end{pmatrix}
\\
&=
\begin{pmatrix}
2 & 1\\
5 & 3
\end{pmatrix}
-
\begin{pmatrix}
3 & 12\\
3 & 15
\end{pmatrix}
\\
&=
\begin{pmatrix}
-1 & -11\\
2 & -12
\end{pmatrix}
\end{align}
```

### 問2.1.1

```math
\begin{align}
A\vec{v}
&=
\begin{pmatrix}
1 & 3 & 4\\
5 & 9 & 0\\
3 & 1 & 2
\end{pmatrix}
\begin{pmatrix}
1\\
0\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
1 \times 1 + 3 \times 0 + 4 \times 3\\
5 \times 1 + 9 \times 0 + 0 \times 3\\
3 \times 1 + 1 \times 0 + 2 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
13\\
5\\
9
\end{pmatrix}
\end{align}
```

### 問2.1.2

```math
\begin{align}
B\vec{v}
&=
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}
\begin{pmatrix}
1\\
0\\
3
\end{pmatrix}
\\
&=
\begin{pmatrix}
1 \times 1 + 0 \times 0 + 3 \times 3\\
0 \times 1 + 2 \times 0 + 5 \times 3
\end{pmatrix}
\\
&=
\begin{pmatrix}
10\\
15
\end{pmatrix}
\end{align}
```

### 問2.1.3

```math
\begin{align}
BA
&=
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}
\begin{pmatrix}
1 & 3 & 4\\
5 & 9 & 0\\
3 & 1 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
10 & 6 & 10\\
25 & 23 & 10 
\end{pmatrix}

\end{align}
```

### 問2.1.4

```math
\begin{align}
B^T &= 
\begin{pmatrix}
1 & 0 & 3\\
0 & 2 & 5
\end{pmatrix}^T
\\
&=
\begin{pmatrix}
1 & 0\\
0 & 2\\
3 & 5
\end{pmatrix}

\end{align}
```

### 問2.2.1

```math
\begin{align}
AB&=
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}
\\
&=
\begin{pmatrix}
5 & 7\\
7 & 13
\end{pmatrix}
\end{align}
```

### 問2.2.2

```math
\begin{align}
A^{-1}
&=
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}^{-1}
\\
&=
\frac{1}{2 \times 1 - 1 \times 4}
\begin{pmatrix}
1 & -1\\
-4 & 2
\end{pmatrix}
\\
&=
-\frac{1}{2}
\begin{pmatrix}
1 & -1\\
-4 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{1}{2} & \frac{1}{2}\\
2 & -1
\end{pmatrix}
\end{align}
```

問2.2.3

```math
\begin{align}
B^{-1}
&=
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}^{-1}
\\
&=
-\frac{1}{8}
\begin{pmatrix}
1 & -3\\
-3 & 1
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\end{align}
```

問2.2.4

```math
\begin{align}
BAB^{-1}
&=
\begin{pmatrix}
1 & 3\\
3 & 1
\end{pmatrix}
\begin{pmatrix}
2 & 1\\
4 & 1
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\\
&=
\begin{pmatrix}
14 & 4\\
10 & 4
\end{pmatrix}
\begin{pmatrix}
-\frac{1}{8} & \frac{3}{8}\\
\frac{3}{8} & -\frac{1}{8}
\end{pmatrix}
\\
&=
\begin{pmatrix}
-\frac{2}{8} & \frac{38}{8}\\
\frac{2}{8} & \frac{26}{8} 
\end{pmatrix}

\end{align}
```

### 問7.1

```math
\begin{align}
\vec{a}+\vec{b}&=
\begin{pmatrix}
2\\
6\\
3
\end{pmatrix}
+
\begin{pmatrix}
1\\
1\\
4
\end{pmatrix}
\\
&=
\begin{pmatrix}
3\\
7\\
7
\end{pmatrix}
\end{align}
```

### 問7.2

```math
\begin{align}
Ax &= \lambda x\\
\begin{pmatrix}
1 & 4\\
2 & 3
\end{pmatrix}
\begin{pmatrix}
1\\
1
\end{pmatrix}
&=
\lambda
\begin{pmatrix}
1\\
1
\end{pmatrix}
\\
\therefore \lambda &= 5
\end{align}

```

# 修了テスト～練習問題～

### 例題43（固有値）

```math
\begin{pmatrix}
3 & 1\\
1 & 3
\end{pmatrix}
```

の固有値を求めるには、$λ$ に関する以下の固有方程式を解く。

```math
\begin{vmatrix}
3-λ & 1\\
1 & 3-λ
\end{vmatrix}
=0
```

```math
\begin{align}
(3-λ)^2 - 1 &= 0\\
λ^2 -6λ + 8 &= 0\\
(λ - 4) (λ - 2) &= 0\\
λ &= 4, 2
\end{align}
```

$\lambda_1 > \lambda_2$ より、$\lambda_1 = 4, \lambda_2 = 2$

### 例題44（固有ベクトル）

例題43の結果より、$λ_1=4$

このとき、

```math
\begin{pmatrix}
-1 & 1\\
1 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}
\\
\Leftrightarrow
x_1 - x_2 = 0
```

$x_1=s_1$と置くと、$x_2=s_1$

```math
x= s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
（比率は1:1）
```

今回、$2$ 行目の値が $3$ なので、$1$ 行目の値も $3$ 。

### 例題45（固有値分解）

対角化した $Y$ というのは $Λ$ のこと。

行列 $X$ の固有値を求めればよい。

例題43より $λ=4,2$ であるため、対角化した行列は

```math
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
または
\begin{pmatrix}
2 & 0\\
0 & 4
\end{pmatrix}
```

この中から一致する正解を選択する。

### 例題46（固有値分解）

$X^n$ を求める。

```math
\begin{align}
X^n &= (PYP^{-1}) (PYP^{-1}) ... (PYP^{-1})\\ 
​    &= P Y^n P^{-1}
\end{align}
```

$P$ と $P^{-1}$ を求める。

(i) $λ=4$ のとき
例題43で $x$を計算済み。

```math
x=s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
```

(ii) $λ=2$のとき

```math
\begin{pmatrix}
1 & 1\\
1 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}
\\
\Leftrightarrow
 x_1 + x_2 = 0
```

$x_1=s_2$ とおくと、$x_2=-s_2$

```math
x= s_2
\begin{pmatrix}
1\\
-1
\end{pmatrix}
```

上記より、

```math
\begin{align}

Y&=
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\\
Y^n&=
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
...
\begin{pmatrix}
4 & 0\\
0 & 2
\end{pmatrix}
\\
&=
\begin{pmatrix}
4^n & 0\\
0 & 2^n
\end{pmatrix}
\\
\\
P&=
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}
\\
P^{-1}&=-\frac{1}{2}
\begin{pmatrix}
-1 & -1\\
-1 & 1
\end{pmatrix}\\
&=\frac{1}{2}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
\\

X^n&=
P Y^n P^{-1}\\
&= \frac{1}{2}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}
\begin{pmatrix}
4^n & 0\\
0 & 2^n
\end{pmatrix}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
&= \frac{1}{2}
\begin{pmatrix}
4^n & 2^n\\
4^n & -2^n
\end{pmatrix}
\begin{pmatrix}
1 & 1\\
1 & -1
\end{pmatrix}\\
&= \frac{1}{2}
\begin{pmatrix}
4^n+2^n & 4^n-2^n\\
4^n-2^n & 4^n+2^n
\end{pmatrix}
\\
&= 

\begin{pmatrix}
\frac{1}{2}(4^n + 2^n) & \frac{1}{2}(4^n - 2^n)\\
\frac{1}{2}(4^n - 2^n) & \frac{1}{2}(4^n + 2^n)
\end{pmatrix}\\
\end{align}
```

### 例題39（特異値分解、転置行列）

```math
A=
\begin{pmatrix}
3 & 2 & 2\\
2 & 3 & -2
\end{pmatrix}
, 
A^T=
\begin{pmatrix}
3 & 2\\
2 & 3\\
2 & -2
\end{pmatrix}
\\

\begin{align}
AA^T &= 
\begin{pmatrix}
3 & 2 & 2\\
2 & 3 & -2
\end{pmatrix}
\begin{pmatrix}
3 & 2\\
2 & 3\\
2 & -2
\end{pmatrix}\\
&=
\begin{pmatrix}
17 & 8\\
8 & 17
\end{pmatrix}

\end{align}
```


### 例題40（特異値分解、固有値）

```math
\begin{align}
AA^T 
&=
\begin{pmatrix}
17 & 8\\
8 & 17
\end{pmatrix}
\end{align}
より\\
```

```math
\begin{align}
\begin{vmatrix}
17-λ & 8\\
8 & 17-λ
\end{vmatrix}
&= 0\\
(17-λ)^2&=8^2\\
17-λ&=\pm 8\\
λ&=25, 9
\end{align}
```
```math
λ_1 > λ_2 より、λ_1 = 25, λ_2 = 9
```


### 例題41（特異値分解、固有ベクトル）

(i) $λ=25$ のとき

```math
\begin{pmatrix}
-8 & 8\\
8 & -8
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\\
\Leftrightarrow
-x_1+x2=0
```
$x_1=s_1$ と置くと、$x_2=s_1$

```math
x=s_1
\begin{pmatrix}
1\\
1
\end{pmatrix}
```

$U$ の (1,1) 成分の値は $\frac{1}{\sqrt{2}}$ であるため、上記の式を $\sqrt{2}$ で割ると、

```math
x=s_1
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}
\end{pmatrix}
```

(ii) $λ=9$ のとき

```math
\begin{pmatrix}
8 & 8\\
8 & 8
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\\
\Leftrightarrow
x_1+x2=0
```
$x_1=s_2$ と置くと、$x_2=-s_2$

```math
x=s_2
\begin{pmatrix}
1\\
-1
\end{pmatrix}
```

$U$ の (1,1) 成分の値は $\frac{1}{\sqrt{2}}$ であるため、上記の式を $\sqrt{2}$ で割ると、

```math
x=s_2
\begin{pmatrix}
\frac{1}{\sqrt{2}}\\
-\frac{1}{\sqrt{2}}
\end{pmatrix}
```

(i)と(ii)より、

```math
U=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{pmatrix}
```


### 例題42（特異値分解、右特異ベクトル）

```math
V^T=
\begin{pmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0\\
\frac{1}{\sqrt{18}} & -\frac{1}{\sqrt{18}} & x\\
\frac{2}{3} & -\frac{2}{3} & -\frac{1}{3}
\end{pmatrix}
```

右特異ベクトルは正規直交系であることから、2列目と3列目に対して
内積（成分同士の掛け算の総和）が $0$ であることを利用する。

```math
\begin{align}
\frac{1}{\sqrt{2}} \times 0 + -\frac{1}{\sqrt{18}} \times x + (-\frac{2}{3}) \times (-\frac{1}{3}) &= 0\\
-\frac{1}{\sqrt{18}} x + \frac{2}{9} &= 0\\
x&=\frac{2\sqrt{18}}{9} \\
&=\frac{2\sqrt{18}}{9} \times \frac{\sqrt{18}}{\sqrt{18}}\\
&=\frac{2・18}{9\sqrt{18}}\\
&=\frac{4}{\sqrt{18}}
\end{align}
```