応用数学　第1章　線形代数

#1．はじめに
　線形代数について学習した内容をレポートとしてまとめました．

#2．スカラーとベクトル
####　スカラー
　　　・1，2，10などの普段よく使っている普通の数
　　　・四則演算が可能
　　　・ベクトルに対する係数になれる

####　ベクトル
　　　・「大きさ」と「方向」を持ったもの
　　　・スカラーを縦，または横に並べたもの
　　　・矢印で図示される
　　　　　　　　　　　　例：

```math
\vec{a}=
\begin{pmatrix}
1 \\
2
\end{pmatrix}
，
\vec{b}=
\begin{pmatrix}
1 \\
3 \\
2
\end{pmatrix}
```


#3．行列
　　・スカラーを表形式に並べたもの
　　・ベクトルを並べたもの
　　・ベクトルの変換に用いられる
　　　　　　　　　　　　例：

```math
\begin{pmatrix}
1 & 3\\
2 & 4
\end{pmatrix}
，
\begin{pmatrix}
1 & 4 & 7\\
2 & 5 & 8\\
3 & 6 & 9
\end{pmatrix}
```

#4．行列とベクトルの積，行列同士の積
　　　　　行列とベクトルの例：

```math
\begin{pmatrix}
1 & 4\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
2\\
3
\end{pmatrix}
=
\begin{pmatrix}
1×2 & + & 4×3\\
2×2 & + & 5×3
\end{pmatrix}
=
\begin{pmatrix}
2+12\\
4+15
\end{pmatrix}
=
\begin{pmatrix}
14\\
19
\end{pmatrix}
```
<br>
　　　　　行列同士の例：

```math
\begin{pmatrix}
1 & 4\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
3 & 5\\
2 & 7
\end{pmatrix}
=
\begin{pmatrix}
1×3+4×2 & 1×5+5×7\\
2×3+5×2 & 2×5+5×7 
\end{pmatrix}
```
<br>

```math
=
\begin{pmatrix}
3+8 & 5+35\\
6+10 & 10+35 
\end{pmatrix}
=
\begin{pmatrix}
11 & 40\\
16 & 45
\end{pmatrix}
```
<br>
　　　　　**※行列やベクトルの積では，前者の列数と後者の行数が同じでなければいけない．**

#5．連立方程式と行列
　連立方程式を解く際に行う変換は，行列における**行基本変形**と同じである．
　以下に行基本変形の例を示す．
　　　　　例：

```math
  x_1 + 2x_2 = 3\\
2x_1 + 5x_2 = 5
```
　　　　　これを行列，ベクトルで表現すると

```math
\begin{pmatrix}
1 & 2\\
2 & 5
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
5
\end{pmatrix}
```
　　　　　1行目を-2倍した値を2行目に足すと

```math
\begin{pmatrix}
1 & 2\\
0 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
-1
\end{pmatrix}
```
　　　　　さらに，2行目を-2倍した値を1行目に足すと

```math
\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}
\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
5\\
-1
\end{pmatrix}
```
　　　　　となり，解は以下のように求まる．

```math
x_1 = 5\\
x_2 = -1
```
#6．逆行列
　行列の「逆数」のようなもの
　Aという行列があった時，逆行列A^-1は，それぞれ以下のように表される．

```math
A =
\begin{pmatrix}
a & b\\
c & d
\end{pmatrix}
```

```math
\\
A^{-1} =
\frac{1}{ad-cb}
\begin{pmatrix}
d & -b\\
-c & a
\end{pmatrix}
```
　また，ad-bc（行列式）が0の時，逆行列は存在しない．
　分母に0はありえないことからも理解できる．

　次のような対角成分が1，それ以外の成分が0の行列を単位行列と呼ぶ．
　以下に3×3の単位行列の例を示す．

```math
I = 
\begin{pmatrix}
1 & 0 & 0\\
0 & 1 & 0\\
0 & 0 & 1
\end{pmatrix}
```
　逆行列は逆数のような性質を持つため，行列Aと逆行列A^-1の積は単位行列となる．

```math
\\
AA^{-1} = I
```
　また，両辺に行列Aをかけると次のようになる．

```math
\\
A = IA
```

#7．行列式
　行列の性質を決める指標の一つ
　2×2の行列式の求め方は6．逆行列で示した通りである．
　ある行列が２つのベクトルの組み合わせだと考えたとき，
　2つのベクトルで構成される平行四辺形の面積が、逆行列の有無を判別する．

　3×3の場合は次のように求める．

```math
\begin{pmatrix}
a & b & c\\
d & e & f\\
g & h & i
\end{pmatrix}
=aei+dhc+bfg−ceg−bdi−afh
```

#8．固有値分解
　あるベクトルに線形変換（行列を掛ける）を施すと通常は，方向と大きさが変わる．
　大きさのみが変わり，方向が変わらない時のベクトルを**固有ベクトル**（x）といい，
　この時の定数倍（スカラー）を**固有値**（λ）と呼ぶ．

　以下に式を示す．

```math
A\vec{x}=λ\vec{x}
```
　3×3の固有値分解の例を示す．
　この時，固有ベクトルv1,v2,v3を並べた行列をVとした時，次のように表される．

```math
V=
\begin{pmatrix}
\ &  & \\
\vec{v_1} & \vec{v_2} & \vec{v_3}\\
 &  & 
\end{pmatrix}
```
　この時，行列Aのとの関係式は

```math
AV=VA
```
　そして次のように変形できる．

```math
A=VAV^{-1}
```
　このように式を変換することを**固有値分解**と呼ぶ．

#9．特異値分解
　固有値分解は行列が正方行列の時にできる変形であった．
　正方行列でない時にも似たようなことができる変形を**特異値分解**と呼ぶ．

　正方行列でない行列をM，単位ベクトル（特異ベクトル）をv,u，
　係数をσ（特異値）とした時の関係式は次のようになる．

```math
M\vec{v}=σ\vec{u} \\
M^T\vec{u}=σ\vec{v} 
```
　ここで，特異値を対角線上に並べた行列を次のように示す．

```math
S=
\begin{pmatrix}
λ_1 &  & \\
 & λ_2 & \\
 &  & λ_3
\end{pmatrix}
```
　そこで，特異値に対応した特異ベクトルを並べた行列をそれぞれU，Vとすると

```math
MV=US \\
M^{T}U=VS^{T} \\
M=USV^{−1} \\
M^{T}=VS^{T}U^{-1} \\
```
　と表すことができ，MとM^Tの積は次のように変形できる．

```math
MM^{T}=USV^{−1}VS^{T}U^{−1}=USS^{T}U^{−1}
```
　このことから，MとM^Tの積を固有値分解することで
　左特異ベクトルと特異値の2乗が求まることが分かる．