統計検定準１級の勉強部屋：主成分得点と主成分負荷量

# 1 はじめに
本稿では線形変換の観点から眺めた主成分分析を解説し、主成分得点と主成分負荷量がどのような意味を持つのか、そしてそれらの関係がどのように導かれるのかを考察する。
なお、本稿の記事は「統計学実践ワークブック」の23章「主成分分析」の内容に基づき、著者が考察を行った結果をまとめたものである。

# 2 主成分の意味
主成分とは、データ $\boldsymbol{x}$ を固有ベクトル $\boldsymbol{u}\_{j}$（方向の直線） に降ろした足、すなわち新基底 $\boldsymbol{u}\_{j}$ から見た特徴量のことで、$j$ 番目の固有値 $\lambda\_{j}$ に対応する固有ベクトル $\boldsymbol{u}\_{j} (\in \mathbb{R}^{p})$ と$p$個の特徴量からなる元の変数 $\boldsymbol{x} = \left( x_{1}, \cdots ,x_{p} \right)^T$ との内積を変数 $y\_{j}$ で表し、第 $j$ 主成分 (principal component) という。

```math
y_{j} = \langle \boldsymbol{x}, \boldsymbol{u}_{j} \rangle
= x_{1} u_{1,j} + \cdots x_{p} u_{p,j}
\quad・・・\quad(1)
```

Fig.1 に示すように、データ $\boldsymbol{x}$ は、特徴量空間の一点で表される。特徴量空間の各座標軸は、データを特徴づける $p$ 個の特徴量（特徴量$1$～特徴量$p$）の値を示す座標軸である。たとえば、データ $\boldsymbol{x}$ を学生、特徴量を国語 ($x_1$) 、数学 ($x_2$) 、理科 ($x_3$) 、社会($x_4$) の点数とする（学生を各教科の点数で特徴づけた訳である）と、特徴量空間の各座標軸はそれぞれ国語、数学、理科、社会（の点数）である。

![Fig1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/aff03992-16e5-ada1-efef-6ffd229e9e0e.png)

$\boldsymbol{u}\_{j} (j=1, \cdots, p)$ を $j$ 番目の固有ベクトル（固有ベクトルは、中心化された元データ行列 $X_C$ から作られる共分散行列 $S$ を固有値分解することで得られる）とすると、 $\boldsymbol{u}\_{j}$ 方向の直線に、データ $\boldsymbol{x}$ から降ろした足（Fig.1 の緑色の点）の原点 $O$ からの距離（長さ）を主成分（正確には第 $j$ 主成分）という。図から分かるように、主成分はデータ $\boldsymbol{x}$ を固有ベクトル（方向の直線）に正射影したものである。

特徴量空間の各座標軸方向に単位ベクトルをとり、それらを $\boldsymbol{f}\_{1}, \cdots, \boldsymbol{f}\_{p}$ とする。つまり、 $\boldsymbol{f}\_{1}$ は特徴量$1$方向にとった単位ベクトル、 $\boldsymbol{f}\_{2}$ は特徴量$2$方向にとった単位ベクトル、・・・である。これら $\boldsymbol{f}\_{1}, \cdots, \boldsymbol{f}\_{p}$ を基底ベクトル（あるいは単に基底）と呼ぶ。各基底ベクトルは、各特徴量の方向を表しており、データ $\boldsymbol{x}$ と $j$ 番目の基底 $\boldsymbol{f}\_{j}$ の内積 $\langle \boldsymbol{x}, \boldsymbol{f}_{j} \rangle$ はデータの $j$  番目の特徴量を表している。

いま、特徴量空間の基底を $\boldsymbol{f}\_{1}, \cdots, \boldsymbol{f}\_{p}$ から、共分散行列 $S$ の固有ベクトル $\boldsymbol{u}\_{1}, \cdots, \boldsymbol{u}\_{p}$  に変更することを考えてみよう（基底変換）。そうすると、データ $\boldsymbol{x}$ はどのように見えるだろうか。基底を変えても $\boldsymbol{x}$ は $\boldsymbol{x}$ なので、向きも長さも変わらない。しかし、データ $\boldsymbol{x}$ の成分表示（特徴量の値）は変わる。なぜなら、基底が $\boldsymbol{f}\_{1}, \cdots, \boldsymbol{f}\_{p}$ の場合はデータ $\boldsymbol{x}$ の第 $j$ 成分は、データ $\boldsymbol{x}$ と第 $j$ 基底 $\boldsymbol{f}\_{j}$ の内積 $\langle \boldsymbol{x}, \boldsymbol{f}\_{j} \rangle$ であったものが、基底が $\boldsymbol{u}\_{1}, \cdots, \boldsymbol{u}\_{p}$ になると、データ $\boldsymbol{x}$ の第 $j$ 成分は、データ $\boldsymbol{x}$ と変更後の第 $j$ 基底 $\boldsymbol{u}\_{j}$ の内積 $\langle \boldsymbol{x}, \boldsymbol{u}\_{j} \rangle$ に変わるからである。このように考えると、主成分は変換後の新しい基底からデータを眺めているという描像が描けるだろう。なお、新しい基底は旧基底の合成になっていることに注意したい。旧基底は、たとえば国語が第１基底、数学が第２基底、・・・といった具合に特徴量が明確であったが、新基底は、たとえば第１基底である $\boldsymbol{u}\_{1}$ は国語が20%、数学が40％、・・・などと、旧基底が混ざり合っている。

# 3 主成分得点

データ行列 $X$ の第 $i$ 行ベクトル  $\boldsymbol{x}\_{i} = \left( x\_{i,1}, \cdots, x\_{i,p} \right)^{T}$ を前頁の(1)式に代入した

```math
y_{i,j} = \langle \boldsymbol{x}_{i}, \boldsymbol{u}_{j} \rangle
= x_{i,1} u_{1,j} + \cdots x_{i,p} u_{p,j}
\quad・・・\quad(2)
```
を、（$i$ 番目のデータ $\boldsymbol{x}\_{i}$ の $j$ 番目の特徴量に対する）主成分得点 ( *principal component score* ) という。

![Fig2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/3ed48101-46b4-211d-2b2f-696afb0b43d4.png)


# 3.1 主成分得点の意味

主成分得点は、前頁で説明した主成分を具体的な観測データに対して求めた値である。前頁の(1)式を

```math
y_{j} = g(\boldsymbol{x}) = \langle \boldsymbol{x}, \boldsymbol{u}_{j} \rangle
\quad・・・\quad(3)
```

と関数表記した場合、関数の引数である $\boldsymbol{x}$ に具体的なデータ（例えば $i$ 番目のデータ $\boldsymbol{x}\_{i}$ ）を代入したものが（データ $\boldsymbol{x}\_{i}$ の）主成分得点である。(2)式で $y$ の添え字が $i, j$ となっているのは、$i$ 番目のデータの特徴量 $j$ に対する主成分得点を意味する。
全データ $\boldsymbol{x}\_{1}, \cdots, \boldsymbol{x}\_{n}$ に対する特徴量 $j$ の主成分得点を並べたベクトルを $\boldsymbol{y}\_{j}$ とおく。すなわち

```math
\boldsymbol{y}_{j} = \left( y_{1,j}, \cdots, y_{n,j} \right)^{T} 
= \left( 
\langle \boldsymbol{x}_{1}, \boldsymbol{u}_{j} \rangle, \cdots, 
\langle \boldsymbol{x}_{n}, \boldsymbol{u}_{j} \rangle
\right)^{T} 
=X_{C} \boldsymbol{u}_{j}
\quad・・・\quad(4)
```

ここで、 $X_C$ は中心化されたデータ行列である（Fig.3）。

```math
X_C = \left[ \boldsymbol{x}_{1} \cdots \boldsymbol{x}_{n} \right]^{T} 
= \left[ \boldsymbol{\breve{x}}_{1} \cdots \boldsymbol{\breve{x}}_{p}
\right]
\quad・・・\quad(5)
```
![Fig3.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/d242baf4-e04d-4858-1ae8-a5395ed803e5.png)

# 4 線形変換から見た主成分分析

(4)式は、$\boldsymbol{u}\_{j}$ から $\boldsymbol{y}\_{j}$ への線形変換とみなせる。ここで、線形変換に対応する行列は $X_C$ である（Fig.4参照）。

![Fig4.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/578e4edd-540d-d432-8418-8bb94949161a.png)

共分散行列 $S$ は、中心化された元データ $X_C$ を使って次式のようにあらわされる。

```math
S = \frac{1}{n-1} X_{C}^{T} X_{C}
\quad・・・\quad(6)
```

$S$ の $j$ 番目の固有値を $\lambda\_{j}$、 対応する固有ベクトルを $\boldsymbol{u}\_{j}$ とすると、

```math
S \boldsymbol{u}_{j} = \lambda_{j} \boldsymbol{u}_{j}
\quad・・・\quad(7)
```

となるが、(6)式と(4)式を用いると次のように変形できる。

```math
\begin{equation}
\begin{split}

\lambda_{j} \boldsymbol{u}_{j}
&=
S \boldsymbol{u}_{j}
=
\left( \frac{1}{n-1} X_{C}^{T} X_{C} \right) \boldsymbol{u}_{j} \\
&=
\frac{1}{n-1} X_{C}^{T} \left( X_{C} \boldsymbol{u}_{j} \right)
=
\frac{1}{n-1} X_{C}^{T} \boldsymbol{y}_{j}

\quad・・・\quad(8)
\end{split}
\end{equation}
```

Fig.4a は(4)式を図示したもので、Fig.4b は(4)式を $\boldsymbol{u}\_{j}$ から $\boldsymbol{y}\_{j}$ への線形変換とみなして、特徴量空間上の固有ベクトル $\boldsymbol{u}\_{j}$ をデータ空間上の主成分得点ベクトル $\boldsymbol{y}\_{j}$ に写像している様子を描いたものである。そして、この線形変換に対応する行列はデータ行列  $X_C$ である。

Fig.5a は(8)式を図示したもので、Fig.5b は(8)式を $\boldsymbol{y}\_{j}$ から $\lambda_{j} \boldsymbol{u}\_{j}$ への線形変換とみなして、データ空間上の主成分得点ベクトル $\boldsymbol{y}\_{j}$ を、特徴量空間上の固有ベクトル $\boldsymbol{u}\_{j}$ を（対応する固有値である）$\lambda_{j}$ 倍したベクトル $\lambda_{j} \boldsymbol{u}\_{j}$ に写像している様子を描いたものである。そして、この線形変換に対応する行列はデータ行列 $X_C$ を転置したものを $n−1$ で割った $\frac{1}{n-1}X_{C}^{T}$ である。

![Fig5.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/fb74c6a2-a6b7-ee87-9969-85261729e164.png)

![Fig5b.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/9846052a-a098-d81e-da59-d59c5f2f8714.png)

# 5 主成分負荷量

元の変数（と言ってもデータベクトル $\boldsymbol{x}\_{i} = \left( x\_{i,1}, \cdots, x\_{i,p} \right)\^{T} \in \mathbb{R}\^{𝑝} \quad (i=1, \cdots, 𝑛)$  ではなく、特徴量ベクトル $\boldsymbol{\breve{x}}\_{k} = \left( x\_{1,k}, \cdots, x\_{n,k} \right)\^{T} \in \mathbb{R}\^{n} \quad (k=1, \cdots, p)$ であるが）と第 $j$ 主成分 $\boldsymbol{y}\_{j}$ との相関係数（$r\_{y\_{j},x_{k}}$）を主成分負荷量（ *principal component loading* ）という。
この主成分負荷量を求めるには、(8)式を使う。
$X\_{C}\^{T} = \left[ \boldsymbol{x}\_{1} \cdots \boldsymbol{x}\_{n}  \right]$ を(8)式の最後の項に代入すると

```math
\begin{equation}
\begin{split}

\lambda_{j} \boldsymbol{u}_{j}
&=
\frac{1}{n-1} X_{C}^{T} \boldsymbol{y}_{j}
=
\frac{1}{n-1}  
\left[ \boldsymbol{x}_{1} \cdots \boldsymbol{x}_{n} \right]
\boldsymbol{y}_{j} \\

&=

\frac{1}{n-1}

\begin{pmatrix}
x_{1,1} & \cdots & x_{n,1} \\
\vdots & \ddots & \vdots \\
x_{1,p} & \cdots & x_{n,p} \\
\end{pmatrix}

\begin{pmatrix}
y_{1,j} \\
\vdots  \\
y_{n,j} \\
\end{pmatrix}

=
\frac{1}{n-1}
\begin{pmatrix}
\sum_{i=1}^{n} x_{i,1} y_{i,j} \\
\vdots  \\
\sum_{i=1}^{n} x_{i,p} y_{i,j} \\
\end{pmatrix} \\

&=
\frac{1}{n-1}
\begin{pmatrix}
\langle \boldsymbol{\breve{x}}_{1}, \boldsymbol{y}_{j} \rangle \\
\vdots  \\
\langle \boldsymbol{\breve{x}}_{p}, \boldsymbol{y}_{j} \rangle \\
\end{pmatrix}

=
\frac{1}{n-1}
\begin{pmatrix}
Cov \left[ \breve{x}_{1}, y_{j} \right] \\
\vdots  \\
Cov \left[ \breve{x}_{p}, y_{j} \right] \\
\end{pmatrix}

\quad・・・\quad(9)
\end{split}
\end{equation}
```

となる。(9)式の第 $k$ 行に注目すると

```math
\lambda_{j} u_{k,j} = Cov \left[ \breve{x}_{k}, y_{j} \right]

\quad・・・\quad(10)
```

となる。したがって、特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ と（第 $j$ ）主成分 $\boldsymbol{y}\_{j}$ の相関係数は

```math
r_{y_{j},x_{k}} 
=
\frac{Cov \left[ \breve{x}_{k}, y_{j} \right]}
{\sqrt{V \left[ \breve{x}_{k} \right] V \left[ y_{j} \right] }}

\quad・・・\quad(11)
```

となるが、

```math
V \left[ \breve{x}_{k} \right]
=
\frac{1}{n-1} \boldsymbol{\breve{x}}_{k}^{T} \boldsymbol{\breve{x}}_{k} = s_{k,k}

```

```math
\begin{equation}
\begin{split}

V \left[ y_{j} \right]
&=
\frac{1}{n-1} \boldsymbol{y}_{j}^{T} \boldsymbol{y}_{j}
=
\frac{1}{n-1} \left( X_{C} \boldsymbol{u}_{j} \right)^{T} X_{C} \boldsymbol{u}_{j}
=
\frac{1}{n-1} \boldsymbol{u}_{j}^{T} X_{C}^{T} X_{C} \boldsymbol{u}_{j} \\
&=
\boldsymbol{u}_{j}^{T} \left( \frac{1}{n-1}  X_{C}^{T} X_{C} \right) \boldsymbol{u}_{j}
=
\boldsymbol{u}_{j}^{T} S \boldsymbol{u}_{j}
=
\boldsymbol{u}_{j}^{T} \lambda_{j} \boldsymbol{u}_{j}
=
\lambda_{j} \boldsymbol{u}_{j}^{T} \boldsymbol{u}_{j} \\
&= \lambda_{j} 
\end{split}
\end{equation}

```

なので、これらと(10)式を(11)式に代入すると主成分負荷量（特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ と第 $j$ 主成分 $\boldsymbol{y}\_{j}$  の相関係数）は次のようになる。

```math
r_{y_{j},x_{k}} 
=
\frac{Cov \left[ \breve{x}_{k}, y_{j} \right]} {\sqrt{s_{k,k} \lambda_{j} }}
=
\frac{\lambda_{j} u_{k,j}} {\sqrt{s_{k,k} \lambda_{j} }}
=
\frac{\sqrt{ \lambda_{j} } u_{k,j}} {\sqrt{s_{k,k}}}
\quad・・・\quad(12)
```

# 5.1 主成分負荷量の意味

主成分負荷量の意味を考察する。主成分負荷量は、特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ と第 $j$ 主成分 $\boldsymbol{y}\_{j}$ の相関係数であった。
特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ はデータ行列 $X_{C}$ の第 $k$ 列の列ベクトルで、その成分表示は

```math

\boldsymbol{\breve{x}}_{k}
=
\left(
x_{1,k}, \cdots, x_{n,k}
\right)^{T}

```

である（Fig.6 参照）。

![Fig6.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/1a238900-895e-a311-1a42-95a4cbb04669.png)

![Fig4a（再掲）.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/32b91b09-541e-0c4c-5a47-8017e6ba130f.png)


これは、Fig.1 に示す特徴量空間の $k$ 番目の基底（座標軸方向の単位ベクトル）$\boldsymbol{f}\_{k} = \left( 0,\cdots,1,\cdots, 0 \right)\^{T}$ をデータ行列 $X_{C}$ の右から掛けることによって取り出すことができる。すなわち

```math
\boldsymbol{\breve{x}}_{k}
=
X_{C} \boldsymbol{f}_{k}
\quad・・・\quad(13)
```

一方、第 $j$ 主成分 $\boldsymbol{y}\_{j}$ は全データ $\boldsymbol{x}\_{1},\cdots,\boldsymbol{x}\_{n}$ の特徴量 $j$ の主成分得点を並べたベクトルで、(4)式で与えられる。

(13)式と(4)式を線形変換の観点から眺めると、特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ は、特徴量空間の $k$ 番目の基底 $\boldsymbol{f}\_{k}$ を行列 $X_\{C}$  で線形変換した写像で、第 $j$ 主成分 $\boldsymbol{y}\_{j}$ は、特徴量空間上の $j$ 番目の固有ベクトル $\boldsymbol{u}\_{j}$ を行列 $X\_{C}$ で線形変換した写像であることがわかる。
すなわち、主成分負荷量（特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ と第 $j$ 主成分 $\boldsymbol{y}\_{j}$ の相関係数）は、新旧基底間の相関（$u\_{k,j}$）をデータ空間に写像して眺めたものという描像を描くことができる（Fig.7）

![Fig7.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/6da2e20d-1006-4fe2-dfe2-df775a270307.png)

# 6 まとめ
## 6.1 固有ベクトルと主成分ベクトルの関係
$\boldsymbol{u}\_{j}$ と $\boldsymbol{y}\_{j}$ は座標変換を通して出会う。

![まとめFig5b（再掲）.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/1bfb160d-c0b3-baa3-127f-f24ccf3af249.png)

## 6.2 共分散行列は *Self-Attention* に似ている

![Fig8.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/b8a3ce90-f7c3-9185-a7c2-b2aadc3e9732.png)

データ行列 $X_C$  の列ベクトル $\boldsymbol{\breve{x}}\_{k}$  は、特徴量 $k$ の埋め込みベクトルとみなせる。$\boldsymbol{\breve{x}}\_{k}$ と $\boldsymbol{\breve{x}}\_{j}$ の内積は特徴量 $k$ と特徴量 $j$ の類似度を表している。したがって、共分散行列 $S$ の $k$ 行 $j$ 列の成分 $s_{k,j}$ は、*Transformer* の *Attention* 機構の類推から特徴量ベクトルの *Self-Attention* 重みとみなすことができる。

共分散行列 $S$ の第 $k$ 行ベクトルを $\boldsymbol{s}\_{k} = \left( s\_{k,1}, \cdots, s\_{k,p} \right)\^{T}$ とおくと、特徴量ベクトルの加重平均

```math
s_{k,1} \boldsymbol{\breve{x}}_{1} + \cdots + s_{k,p} \boldsymbol{\breve{x}}_{p}
=
\sum_{j=1}^{p} s_{k,j} \boldsymbol{\breve{x}}_{j}
=
\boldsymbol{s}_{k}^{T} X_{C}^{T}
=
\left( X_{C} \boldsymbol{s}_{k} \right)^{T}
```
は、*Transformer* の類推から他の特徴量との関連を反映した「潜在空間」における $k$ 番目の特徴量を表しているものと考えられる。ただし、主成分分析の場合、これが何を意味しているのか、今のところわからない。
これについてさらに深く知りたい人は「[主成分分析と自己注意機構](https://qiita.com/mtanaka-kumw/items/84a8e35cecd4aadefb71)」をご覧いただきたい。

## 6.3 主成分得点ベクトルは観測データを固有ベクトル方向に射影して得られる
### 主成分得点ベクトル

```math
\boldsymbol{y}_{j} = 
\begin{pmatrix}
\boldsymbol{x}_{1}^{T} \boldsymbol{u}_{j} \\
\vdots \\
\boldsymbol{x}_{n}^{T} \boldsymbol{u}_{j} \\
\end{pmatrix}
=
\begin{pmatrix}
\boldsymbol{x}_{1}^{T}  \\
\vdots \\
\boldsymbol{x}_{n}^{T}  \\
\end{pmatrix}
\boldsymbol{u}_{j}
=
X_{C} \boldsymbol{u}_{j}

\quad・・・\quad(15)
```
![まとめFig2（再掲）.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/e4c4e7f2-6cdc-4ad9-8501-44340eb6c7ea.png)

![まとめFig4b（再掲）.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/6ef854a4-afaa-f860-050e-a5a29c82c9d5.png)

## 6.4 主成分負荷量は新旧基底間からみた特徴量ベクトルの相関だった

### 主成分負荷量

```math
r_{y_{j},x_{k}} 
=
\frac{Cov \left[ \breve{x}_{k}, y_{j} \right]} {\sqrt{s_{k,k} \lambda_{j} }}
=
\frac{\lambda_{j} u_{k,j}} {\sqrt{s_{k,k} \lambda_{j} }}
=
\frac{\sqrt{ \lambda_{j} } u_{k,j}} {\sqrt{s_{k,k}}}
\quad・・・\quad(12)
```

### 【この観点からの主成分負荷量の導出】（別解）

```math
\boldsymbol{y}_{j} = X_{C} \boldsymbol{u}_{j}
\quad・・・\quad(16)
```
```math
\boldsymbol{\breve{x}}_{k} = X_{C} \boldsymbol{f}_{k}
\quad・・・\quad(17)
```

これらを使うと、 $k$ 番目の特徴量ベクトル $\boldsymbol{\breve{x}}\_{k}$ と第 $j$ 主成分得点ベクトル  $\boldsymbol{y}\_{j}$ の内積は次のように計算できる。

```math
\begin{equation}
\begin{split}
\boldsymbol{\breve{x}}_{k}^{T} \boldsymbol{y}_{j} 
&= \left( X_{C} \boldsymbol{f}_{k} \right)^{T} X_{C} \boldsymbol{u}_{j}
= \boldsymbol{f}_{k}^{T} X_{C}^{T} X_{C} \boldsymbol{u}_{j}
= \boldsymbol{f}_{k}^{T} (n-1) S \boldsymbol{u}_{j} \\
&= (n-1) \boldsymbol{f}_{k}^{T} \lambda_{j} \boldsymbol{u}_{j}
= (n-1) \lambda_{j} \boldsymbol{f}_{k}^{T} \boldsymbol{u}_{j}
= (n-1) \lambda_{j} u_{k,j}
\quad・・・\quad(18)
\end{split}
\end{equation}
```

ここで、(6)式と(7)式を使った。
(18)式を使うと

```math
Cov \left[ \breve{x}_{k}, y_{j} \right]
=
\frac{1}{n-1}
\boldsymbol{\breve{x}}_{k}^{T} \boldsymbol{y}_{j}
=
\frac{1}{n-1} (n-1) \lambda_{j} u_{k,j}
=\lambda_{j} u_{k,j}
```

となり、(12)式の２項目から３項目の導出ができた。

![まとめFig7（再掲）.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3538461/cac5f989-b9b0-08f4-8779-9b13001f0d2a.png)

# 8 おわりに

主成分分析を線形変換からの観点から考察を行い、主成分得点や主成分負荷量の意味を考え、それらの関係を導いた。

# 参考文献
1. 日本統計学会 (編集)：日本統計学会公式認定 統計検定準1級対応 統計学実践ワークブック. 学術図書出版社, 2020.