ラビットチャレンジ　Stage1 応用数学　線形代数(固有値)　　レポート

#1.固有値と固有ベクトル

<dt>固有ベクトルと固有値</dt>
　ある行列$\boldsymbol A$に対して、以下のような式が成り立つような、
　特殊なベクトル$\vec{x}$と、右辺の係数$ \lambda $がある。

  $$ \boldsymbol A \vec{x} = \boldsymbol \lambda \vec{x}  $$

　行列$\boldsymbol A$とその特殊なベクトル$\vec{x}$の積は、ただのスカラーの数$\lambda $と
　その特殊なベクトル$\vec{x}$との積と同じ値になる。

　この特殊なベクトル$\vec{x}$とその係数$\lambda$を、行列に対する、
　「**固有ベクトル**」、「**固有値**」という。

<dt>具体例</dt>
  
  ```math
   \begin{eqnarray*}
    \begin{pmatrix}
      1&4 \\
      2&3
    \end{pmatrix}
    \begin{pmatrix}
      1\\
      1
    \end{pmatrix}
    &=&
    \begin{pmatrix}
      5\\
      5
    \end{pmatrix} \\
    &=&
    5
    \begin{pmatrix}
     1\\
     1
    \end{pmatrix}
  \end{eqnarray*}
  ```
　上記、もともと「1,1」だったベクトルが「5,5」というベクトルに変換されている。
　行列で変換しているが、計算結果を見ると、どちらのベクトルも５倍した様に見える。
　したがって、

  ```math
    5
    \begin{pmatrix}
      1\\
      1
    \end{pmatrix}
   ```

　と見ることができる。
　
　このような場合、**固有値λ=5**
　             **固有ベクトル(のうちの一つ）**

  ```math
    \vec{x}
    =
    \begin{pmatrix}
      1\\
      1
    \end{pmatrix}
   ```

　となる。
　※(のうちの一つ）と記載しているのは、
　　固有ベクトルの上下が**同じ数（比率）**の物は全て固有ベクトルと言える。

<dt>固有値・固有ベクトルの求め方</dt>

  ```math
   \begin{eqnarray}
     A \vec{x} &=& \lambda \vec{x} \\
     (A - \lambda I ) \vec{x} &=& \vec{0} \\
     \vec{x} &\neq& \vec{0} より
   \end{eqnarray}
  ```

　$\boldsymbol{A}$からλを引けば良いが、「λ」とはただの定数のため、$\boldsymbol{I}$（単位行列）を掛けてあげて、
　$\lambda \boldsymbol{I}$として引いてあげる。
　また、右辺はただの 「0」ではなく、「$\vec{0}$」となる。
　ここで行列式を使用して、行列式が「０」の場合を探す。
　例）

 ```math
 \begin{eqnarray}
  \begin{vmatrix}
   A - \lambda I 
  \end{vmatrix}
  & = &
   0 \\
  \begin{vmatrix}
   1-\lambda & 4 \\
    2 & 3-\lambda
  \end{vmatrix}
  & = &
   0 \\
 (1-\lambda)(3-\lambda)-4・2 & = & 0 \\
 \lambda & = & 5　or -1
 \end{eqnarray}
 ```
 
　このように固有値の方が先に判明する。
　固有値が判明したら、次に固有ベクトルを求めていく。

　・固有値が５のとき

  ```math
    \begin{pmatrix}
      1 & 4 \\
      2 & 3
    \end{pmatrix}
    \begin{pmatrix}
      x_1 \\
      x_2
    \end{pmatrix}
    =
    5
    \begin{pmatrix}
     x_1 \\
     x_2
    \end{pmatrix} \\
  これを解くと、\\
    x_1 = x_2
 ```

　・固有値が-1のとき

  ```math
    \begin{pmatrix}
      1 & 4 \\
      2 & 3
    \end{pmatrix}
    \begin{pmatrix}
      x_1 \\
      x_2
    \end{pmatrix}
    =
    -1
    \begin{pmatrix}
     x_1 \\
     x_2
    \end{pmatrix} \\
  これを解くと、\\
    x_1 = -2x_2
 ```

　従って、

 ```math
  \begin{eqnarray}
　λ＝５のとき、\vec{x}&=&\begin{pmatrix} 1 \\ 1 \end{pmatrix}の定数倍\\
　λ＝−１のとき、\vec{x}&=&\begin{pmatrix} 2 \\ -1 \end{pmatrix}の定数倍
  \end{eqnarray}
 ```

　となる。

#2.固有値分解
<dt>固有値分解</dt>
　ある実数を正方形に並べて作られた行列$\boldsymbol{A}$が
　固有値$\lambda_1$,$\lambda_2$,・・・と
　固有ベクトル$\vec{v_1}$,$\vec{v_2}$・・・を持ったとする。
　この固有値を対角線上に並べた行列（それ以外の成分は０）
    
   ```math
    \Lambda 
    =
    \begin{pmatrix}
     \lambda_1 &　& \\
     　& \lambda_2 &　\\
     　&　& \ddots
    \end{pmatrix}
   ```

　と、それに対応する固有ベクトルを並べた行列

   ```math
    \boldsymbol{V} 
    =
    \begin{pmatrix}
    　&　& \\
     \vec{v_1}& \vec{v_2} & \ldots　\\
     　&　&　
    \end{pmatrix}
   ```

　を用意した時、それらは

  $$ AV = V\Lambda $$

　と関係づけられる。従って、

  $$ A = V\Lambda V^{-1} $$

　と変形できる。
　このように正方形の行列を上記のような、3つの行列の積に変換することを
　「**固有値分解**」という。
　この変換によって行列の累乗の計算が容易になる等の利点がある。

<dt>具体例</dt>

 ```math 
   \begin{pmatrix}
    1 & 4\\
    2 & 3
   \end{pmatrix}
   =
   \begin{pmatrix}
    1 & 1\\
    1 & -\frac{1}{2}
   \end{pmatrix}
   \begin{pmatrix}
    5 & 0\\
    0 & -1
   \end{pmatrix}
   \begin{pmatrix}
    \frac{1}{3} & \frac{2}{3}\\
    \frac{2}{3} & -\frac{2}{3}
   \end{pmatrix}
 ```

　この時、行列$\boldsymbol{V}$は定数倍の行列なので、1つに定まることはないが、
　行列$\boldsymbol{V}$が変化することによって、
　逆行列$\boldsymbol{V^{-1}}$が変化するので、本質的には、固有値を見る事になる。

#3.特異値分解
 <dt>特異値分解</dt>
　・正方行列以外は固有値分解できるのか？→似たことはできる。

   $$ \boldsymbol{M} \vec{v} = \sigma \vec{u} $$

   $$ \boldsymbol{M}^{\mathrm{T}} \vec{u} = \sigma \vec{v} $$

　・このような特殊な単位ベクトルがあるならば、特異値分解できる。

   ```math
    \boldsymbol{M} = \boldsymbol{U} \boldsymbol{S}
    \boldsymbol{V}^{\mathrm{T}} \\
   ```
　　　　　　　　　※ただしUやVは直行行列（複素数を要素に持つ場合はユニタリ行列）

 <dt>特異値の求め方</dt>

　・公式

   ```math
    \boldsymbol{M}\boldsymbol{V} = \boldsymbol{U} \boldsymbol{S}
   ```
   ```math
    \boldsymbol{M}^{\mathrm{T}}\boldsymbol{U} = \boldsymbol{V}
    \boldsymbol{S}^{\mathrm{T}}
   ```
   ```math
    \boldsymbol{M} = \boldsymbol{U}\boldsymbol{S} 
    \boldsymbol{V}^{\mathrm{T}}
   ```
   ```math
    \boldsymbol{M}^{\mathrm{T}} = \boldsymbol{V}\boldsymbol{S}^{\mathrm{T}} 
    \boldsymbol{U}^{\mathrm{T}} \\
   ```

　　上記、公式1行目・2行目はは特異値分解で記した式を行列にしたもの。
　　3行目・4行目は1行目・2行目の「$\boldsymbol{M}$、$\boldsymbol{M}^{\mathrm{T}}$」の形に変形したもの。

　　これらの積をとると

   ```math
    \boldsymbol{M} \boldsymbol{M}^{\mathrm{T}} =
    \boldsymbol{U} \boldsymbol{S} \boldsymbol{V}^{\mathrm{T}}
    \boldsymbol{V} \boldsymbol{S}^{\mathrm{T}} 
    \boldsymbol{U}^{\mathrm{T}}
    =
    \boldsymbol{U} \boldsymbol{S} \boldsymbol{S}^{\mathrm{T}}
    \boldsymbol{U}^{\mathrm{T}}
   ```

　　上記のように表すことができる。
　　真ん中の$\boldsymbol{V}$は$\boldsymbol{V}^{\mathrm{T}}$とで打ち消し合い、
　　右の式が出来上がる。
　　一番右の式はまるで固有値分解で出てきた、「$ A = V\Lambda V^{-1} $ 」の式と
　　類似しており、固有値分解しているように見える。

　　発想の原点は「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」にある。
　　もともと長方形の$\boldsymbol{M}$に、転置(縦横を逆転）させた 
　　「$\boldsymbol{M}^{\mathrm{T}}$」を掛け合わせると、正方形になる。

　　つまり「$\boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}$」を固有値分解すれば、
　　その左特異ベクトル(ただし単位ベクトルから作らなければならないこと）
　　と特異値の2乗が求められることがわかる。


 <dt>具体例</dt>

   ```math
    \boldsymbol{M}
     =
    \begin{pmatrix}
     1 & 2 & 3\\
     3 & 2 & 1
    \end{pmatrix}
   ```

　　上記のような行列があったとする。
　　まずは、「$\boldsymbol{M}$」と「$\boldsymbol{M}^{\mathrm{T}}$」を掛ける。

  ```math
   \boldsymbol{M}\boldsymbol{M}^{\mathrm{T}}
     =
   \begin{pmatrix}
     1 & 2 & 3\\
     3 & 2 & 1
   \end{pmatrix}
   \begin{pmatrix}
    1 & 3\\
    2 & 2\\
    3 & 1
   \end{pmatrix}
    =
   \begin{pmatrix}
    14 & 10\\
    10 & 14
   \end{pmatrix}
  ```
　　すると、2×3だった行列が2×2の行列になる。
　　この、2×2の行列を固有値分解する。
  
  ```math
   \begin{pmatrix}
    14 & 10\\
    10 & 14
   \end{pmatrix}
    =
   \begin{pmatrix}
    1&1\\
    1&-1
   \end{pmatrix}
   \begin{pmatrix}
    24&0\\
    0&4
   \end{pmatrix}
   \begin{pmatrix}
    1&1\\
    1&-1
   \end{pmatrix}
  ```

　　となる。