データサイエンスのための線形代数 第3回 線形独立と線形従属

:::note info
本記事は数学講座[2.3  線形独立と線形従属](https://www.matongxue.com/lessons/511/parts/535)を勉強して投稿したメモです。詳細は元の素晴らしい講座のページをチェックしてください。
:::

今回の記事では、線形代数の中心的な概念である線形結合と線形従属について説明します。

# 調色板のベクトル化

三つの色(緑、赤、青)の組み合わせで、無限な色ができます。組み合わせはこちらで紹介したい**線形結合**です。
<img src = "https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/769a1c76-4aa2-7b48-6911-2e19a78c6660.png" width = 600>

$R:G:B = 255 : 52 : 85$で混ぜると、ピンク色になります。$\color{pink}{ピンク色}=R+\frac{52}{255}G+\frac{85}{255}B$

<img src = "https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/ce8fbd25-f3d4-40bc-7b9d-53c53966759e.png" width = 600>


$RGB$をベクトルの形で表すと：

```math
\boldsymbol{R}=\begin{pmatrix}255\\0\\0\end{pmatrix},\quad \boldsymbol{G}=\begin{pmatrix}0\\255\\0\end{pmatrix},\quad \boldsymbol{B}=\begin{pmatrix}0\\0\\255\end{pmatrix}
```

黄色はベクトルの加算から得られます。

```math
\color{Goldenrod}{黄色}
    =\color{red}{赤}+\color{green}{緑}=\boldsymbol{R}+\boldsymbol{G}=\begin{pmatrix}255\\0\\0\end{pmatrix}+\begin{pmatrix}0\\255\\0\end{pmatrix}=\begin{pmatrix}255\\255\\0\end{pmatrix}
```

また、ピンク色も以下の加算から得られます。

```math
\begin{aligned}
\color{pink}{ピンク}
    &=\boldsymbol{R}+\frac{52}{255}\boldsymbol{G}+\frac{85}{255}\boldsymbol{B}\\
    \\
    &=\begin{pmatrix}255\\0\\0\end{pmatrix}+\frac{52}{255}\begin{pmatrix}0\\255\\0\end{pmatrix}+\frac{85}{255}\begin{pmatrix}0\\0\\255\end{pmatrix}\\
    \\
    &=\begin{pmatrix}255\\52\\85\end{pmatrix}
\end{aligned}
```

# ベクトル組
**同じ次元数**のベクトル$a_1,a_2,a_3...a_m$で構成された集合$\mathcal{A}$が**ベクトル組**と呼ばれます。
```math
\mathcal{A}:\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\quad または \quad \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\}
 ```


# 線形結合

線型結合（せんけいけつごう、英: linear combination）は、線型代数学およびその関連分野で用いられる中心的な概念の一つで、平たく言えば、**ベクトルの定数倍と加え合わせのこと**である。
例えば、上記のベクトル組$\mathcal{A}$に対して、ベクトル$b$、及び実数の$k_1,k_2,k_3..k_m$があります、且つ

```math
\boldsymbol{b_{}}=k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+...+k_m\boldsymbol{a_m}
```
が満たせられています、すると、ベクトル$b$はベクトル組$\mathcal{A}$の**線形結合**として表現できると言い、また、ベクトル$\boldsymbol{b}$はベクトル組$\mathcal{A}$の**線形結合**とも言います。

再度以下の例で見てみると：$\color{pink}{ピンク色}=R+\frac{52}{255}G+\frac{85}{255}B$ になっているので、$k_1=1$、$k_2=\frac{52}{255}$、$k_3=\frac{85}{255}$、よって、ベクトル$\color{pink}{ピンク色}$がベクトル組${R,G,B}$の**線形結合**です。

```math
\color{pink}{ピンク色}=R+\frac{52}{255}G+\frac{85}{255}B=k_1\cdot R+k_2\cdot G+k_3\cdot B\
```

<img src = "https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/ce8fbd25-f3d4-40bc-7b9d-53c53966759e.png" width = 600>

ベクトル赤いRがベクトル組${R,G,B}$の**線形結合ではない**です。
```math  
\begin{pmatrix}255\\0\\0\end{pmatrix}\ne k_1\begin{pmatrix}0\\255\\0\end{pmatrix}+k_2\begin{pmatrix}0\\0\\255\end{pmatrix},\quad (k_1,k_2\in\mathbb{R})
```

## 零ベクトルについて

零ベクトルは、必ず任意のベクトル組$\mathcal{A}$の線形結合です。$k_1=0,k_2=0,\cdots,k_m=0$の場合は、必ず$\boldsymbol{0}=0\boldsymbol{a_1}+0\boldsymbol{a_2}+...+0\boldsymbol{a_m}$が存在しています。

:::note info
参照：
[ベクトルの加算](https://qiita.com/Junlee/items/1fb984bb55291c7f771d#%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E3%81%AE%E5%8A%A0%E7%AE%97)
[ベクトルのスカラー倍](https://qiita.com/Junlee/items/1fb984bb55291c7f771d#%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E3%81%AE%E3%82%B9%E3%82%AB%E3%83%A9%E3%83%BC%E5%80%8D)
:::

# 線形独立と線形従属
与えられたベクトル組$\mathcal{A}$に対して、
```math  
\quad \mathcal{A}=\{\boldsymbol{a_1},\boldsymbol{a_2},...,\boldsymbol{a_m}\}
```
以下のような**すべてゼロでない実数**$k_1,k_2,...,k_m$が存在する場合、
```math  
k_1\boldsymbol{a_1}+k_2\boldsymbol{a_2}+...+k_m\boldsymbol{a_m}=\boldsymbol{0}
```

ベクトル組$\mathcal{A}$を**線形従属**と呼び、そうでなければ**線形独立**と呼びます。
- **線形独立**:
```math  
\quad \mathcal{A}=\{R,G,B\}
```
- **線形従属**:
```math  
\quad \mathcal{A}=\{R,G,B,ピンク色\}
```
ピンク色はR/G/Bベクトルの組み合わせ(スカラー倍、加算)で計算されますので、その$スカラー倍$を$-1$にしておけば、以下のが成立しますので、**線形従属**になります。

```math
\color{pink}{ピンク色}=R+\frac{52}{255}G+\frac{85}{255}B
    \\
 👇 \\
(-1)\color{pink}{ピンク色}+R+\frac{52}{255}G+\frac{85}{255}B=0
```

## 線形独立の例
- 以下の図のような、ベクトル$a$と$b$が線形独立です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/404f65be-bbd8-743c-0b70-a3fdda7f7690.png)

$a$は$b$の基本計算から得られないので、ベクトル組{$a$,$b$}が線形独立です。
```math  
\boldsymbol{a}\ne k\boldsymbol{b},\quad k\in\mathbb{R}
```

## 線形従属の例
- 以下の図のような、ベクトル$a$と$b$が線形従属です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/f5d33547-ff8b-41ea-3ce8-b0472dacb5c6.png)
```math  
\boldsymbol{a}=\begin{pmatrix}-2\\-2\end{pmatrix},\quad \boldsymbol{b}=\begin{pmatrix}1\\1\end{pmatrix}
```

$a = -2*b$ が成り立つので、ベクトル$a$と$b$が線形従属です。

:::note info
- 二つの二次元ベクトルが線形従属の場合、これらのベクトルは**同じ直線上**にあることを意味します。
- 三つの三次元ベクトルが線形従属の場合は、これらのベクトルが**同じ平面上**にあることを意味します。
:::


# 次数上げと次数下げ

n次元のベクトルの集合$\mathcal{A}$について、以下のことが言えます：

- $\mathcal{A}$が線形独立であれば、ベクトルのそれぞれに$n+1$番目の成分を追加しても、ベクトルの集合は依然として線形独立です。簡潔に言えば、「**線形独立なベクトル集合は、次数を上げても線形独立である**」ということです。
以下ような図を参照してください。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/22db4eb1-3cd0-0901-f5e0-b9bfc4680020.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3327130/a904b25e-7304-c6e8-3140-52942b4c468c.png)


- $\mathcal{A}$が線形従属であれば、ベクトルのそれぞれから$n$番目の成分を取り除いても、ベクトルの集合は依然として線形従属です。簡潔に言えば、「**線形従属なベクトル集合は、次数を下げても線形従属である**」ということです。

| 線形独立・従属 | 次数上げ | 次数下げ |
|:-:|:-:|:-:|
| 独立  | 独立  | 独立、**従属**<sup>注1</sup>  |
| 従属  | **独立**<sup>注2</sup>、従属  | 従属  |

:::note info
- 注1: 次数下げたら、独立になる要因の邪魔者を除いたので、**従属**になった
- 注2: 次数上げたら、邪魔者を入れたので、従属が成立しなくなって、**独立**になった
:::

# 参考

https://wakame-msds.com/linear_ind_dep/

https://takun-physics.net/13598/


https://ja.wikipedia.org/wiki/%E7%B7%9A%E5%9E%8B%E7%B5%90%E5%90%88#:~:text=%E7%B7%9A%E5%9E%8B%E7%B5%90%E5%90%88%EF%BC%88%E3%81%9B%E3%82%93%E3%81%91%E3%81%84%E3%81%91%E3%81%A4,%E3%81%82%E3%82%8B%E3%81%84%E3%81%AF%E7%B7%9A%E5%9E%8B%E5%92%8C%E3%81%A8%E3%82%82%E5%91%BC%E3%81%B6%E3%80%82&text=%E3%81%84%E3%81%8F%E3%81%A4%E3%81%8B%E3%81%AE%E3%83%99%E3%82%AF%E3%83%88%E3%83%AB%E3%82%92,%E3%82%92%E4%BD%9C%E3%82%8B%E3%81%93%E3%81%A8%E3%81%8C%E3%81%A7%E3%81%8D%E3%82%8B%E3%80%82