応用数学レポート

#線形代数
##1.1行列
行列の説明をするためにまず，スカラーとベクトルについて触れておく
スカラー：普通の数(四則演算のできるもの)
ベクトル：スカラーがセットになったもので，大きさに加え方向を持つ
そして行列とはベクトル(行列)の変換装置である．

また，行列を使うことによって連立方程式は以下の例ように簡潔に表現することができる．

```math
\begin{equation*}
\left\{
\begin{array}{l}
x_1+2x_2= 3 \\
2x_1+5x_2= 5
\end{array}
\right.
\end{equation*}
```

```math
\begin{pmatrix}
1 & 2 \\
2 & 5 \\
\end{pmatrix}


\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
5
\end{pmatrix}

```
さらに行列式の存在する行列$A$には

```math
AA^{-1}=I

```

となる逆行列が存在する(逆行列が存在する条件は，行列を構成するベクトルに同じ方向を指すものが無いことである.つまりクロス積が0となる行列のペアが存在しないということ).

この行列の特性から

```math

\begin{pmatrix}
1 & 2 \\
2 & 5 \\
\end{pmatrix}


\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}
=
\begin{pmatrix}
3\\
5
\end{pmatrix}

```

上記の式においては左から逆行列である

```math

\begin{pmatrix}
5 & -2 \\
-2 & 1 \\
\end{pmatrix}
```

を掛けることにより

```math



\begin{pmatrix}
x_1\\
x_2
\end{pmatrix}

=
\begin{pmatrix}
5 & -2 \\
-2 & 1 \\
\end{pmatrix}
\begin{pmatrix}

3\\
5
\end{pmatrix}

```

```math
=
\begin{pmatrix}
5\\
-1\\
\end{pmatrix}

```
のように連立方程式を解くことができる．
##1.2固有値と固有ベクトル
ある行列$A$に対し,以下の式

```math


A\vec{x}=\lambda\vec{x}

```
となる特殊なベクトル$\vec{x}$とスカラー$\lambda$が存在する．これをそれぞれ固有ベクトルと固有値と呼ぶ．

固有値・固有ベクトルは$A\vec{x}=\lambda\vec{x}$の式変形から導出することができる．

```math


A\vec{x}=\lambda\vec{x}\\
(A-\lambda I)\vec{x}=0  


```
ここで$\vec{x}\ne0$であるとする．その場合両辺に$(A-\lambda I)$の逆行列を掛けると，$\vec{x}=0$が成立してしまうため矛盾する．そのため，上記式が成立するためには，$(A-\lambda I)$が逆行列を持たないことが必要である．その計算から，固有値および固有ベクトルが算出可能である．

##1.3固有値分解
正方行列$A$が固有値$\lambda_1,\lambda_2,\lambda_3 ‥$と固有ベクトル$\vec{v_1},\vec{v_2},\vec{v_3}‥$を持った時,この固有値を対角線上に配置して定義した対角行列を

```math

\Lambda=
\begin{pmatrix}
\lambda_1 & & & &  \\
& \lambda_2 & & \Huge{0} & \\
& & \ddots & & \\
& \Huge{0} & & \lambda_{n-1} & \\
& & & & \lambda_n
\end{pmatrix}
```

とし，固有値に対応する順に固有ベクトルを並べた行列を


```math

V=
\begin{pmatrix}
\vec{v_1} & \vec{v_2} & ‥‥& \vec{v_n}
\end{pmatrix}
```
と定義すると
各固有値，固有ベクトルの関係式はまとめて

```math

AV=V \Lambda
```


と記述することができ，両辺に$V^{-1}$を作用させてやると

```math
A=V\Lambda V^{-1}
```
とあらわすことができ，上記の3つの行列の積に分解することを固有値分解と呼ぶ．
固有値分解のメリットの一つとして，累乗計算が容易になることが挙げられる．行列$A^{n}$は以下のようにあらわされる．

```math

A^{n}=V\Lambda^{n}V^{-1}
```
ここで$\Lambda$は対角行列であることから，累乗計算は各成分を累乗計算することによって簡単に算出することができる．

##1.4特異値分解
1.3で述べた内容は行列$A$が正方行列であることが前提条件であった．
正方行列でない場合，同様の手法で固有値分解をすることはできないが，
行列$M$に自身を転置させた行列を作用させて作った行列$MM^{T}$は正方行列かつ対象行列である．つまり，$MM^{T}$は固有値分解をすることが可能である．

画像圧縮を例にした特異値分解の活用例が挙げられていたが，メカニズムの理解が浅かったため，以下の記事を参考になった．

https://yutomiyatake.github.io/2021expmath1/lecture11/



##2.1条件付き確率とベイズ則

ある事象$X=x$があたえられた条件下で$Y=y$となる確率を以下のように表す

```math

P (Y=y|X=x)=
\dfrac{P (Y=y,X=x)}{P (X=x)}

```

この確率に$P(X=x)$を掛けると共通部分が起こる確率となる．
よって以下の式


```math

P (Y=y|X=x) P(X=x)=P(X=x|Y=y) P(Y=y)


```
が成立する.

##2.2確率変数・期待値・分散

確率が離散的に定義される場合期待値は

```math

E(f)=\sum_{k=1}^n P(X=x_k)f(X=x_k)

```
として表すことができ，一方で確率が連続的に定義される場合の期待値は

```math

E(f)=\int P(X=x_k)f(X=x_k) dx

```
と表すことができる．

分散$Var(f)$は期待値を用いて以下のように表現することができる．

```math

Var(f)=E((f_{(X=x)}-E_{(f)})^2)\\
=E(f_{(X=x)}^2)-(E_{(f)})^2

```
2つの確率変数$f(x)$と$g(x)$の共分散は

```math
Cov(f,g)=E((f_{(X=x)}-E_{(f)})(g_{(X=x)}-E_{(g)})\\
=E{(fg)}-E(f)E(g)
```

と表すことができる．

##2.3確率分布

#####2.3.1ベルヌーイ分布
起こりゆる事象が2つしかない試行の確率分布である(コイントスのイメージ).２つの現象の発生確率が異なる場合でも用いることができる．
ベルヌーイ試行の確率質量関数は以下の式で表される．

```math

P(x|\mu)=\mu^x(1-\mu)^{1-x}

```

#####2.3.2二項分布
ベルヌーイ分布の多試行版であり，コイントスの例でいえば，n回の試行の内表がx回でる確率が従う確率分布である．
二項分布の確率質量変数は以下の式で表すことができる．

```math
P(x|\lambda,n)=\dfrac{n!}{x!(n-x)!}\lambda^x(1-\lambda)^{n-x}

```

##3.1自己情報量とシャノンエントロピー

情報は増加量が同じ場合でも，元となる情報が多ければその変化が分かりにくく感じる．その性質を表した自己情報量と呼ばれる定義は以下の式で表される．

```math
I(x)=-\log(P(x))=log(W(x))

```

(ここで$P(x)$は事象が起こる確率，W(x)は事象の数を表す)

この自己情報量の期待値はシャノンエントロピーと呼ばれ以下の式で表される．

```math
H(x)=E(I(x))\\
=-E\sum(\log(P(x))\\
=-\sum(P(x)\log(P(x))
```


このシャノンエントロピーな概念について，理解が浅かったため下記のリンクを参考にした．


https://qiita.com/katsu1110/items/c733a1184b789c511739

参考にした記事ではシャノンエントロピーを「予想できなさ」を示している．
エントロピーが大きい場合，情報量が多く予想がしにくいと言える．
よって事象$X$がベルヌーイ試行に従う場合，p=0.5の場合を最大となる．

##3.2カルバック・ライブラー・ダイバージェンス
同じ事象・確率変数における異なる確率分布P,Qの違いを示す(以下KLDと記す)．
KLDは以下の式で表される．

```math
D_{KL}=H(P,Q)-H(P)

```

ここで$H(P<Q)$は交差エントロピーと呼ばれ，Qについての自己情報量をPの分布で平均したものである．つまり，$P$と$Q$が完全に一致していれば交差エントロピーはシャノンエントロピーと等しい値となり，KLDは0となる．