【ラビットチャレンジ】 機械学習 第4章 主成分分析

#主成分分析
- 多変量データをより少数個の指標にまとめる．
    - 学習データの分散が最大になる方向への線形変換を求める手法．
        - 情報の損失はなるべく小さくする．
        - 少数変数にすることによって可視化が可能になる（100次元→2,3次元）．

##数式化
- 学習データ
$$\boldsymbol{x} = (x_1,x_2,\cdots,x_m)^T \in \mathbb{R}^m$$
- 平均ベクトル
$$\bar{\boldsymbol{x}} = \frac{1}{n} \sum_{i=1}^{n}\boldsymbol{x}_i$$
- データ行列を平均ベクトルとの差分で作成
$$\bar{\boldsymbol{X}}=(\boldsymbol{x}\_1-\bar{\boldsymbol{x}},\cdots,\boldsymbol{x}_n-\bar{\boldsymbol{x}})^T$$
- $n$個のデータを係数ベクトルを用いて線形変換する．
$$ \boldsymbol{s}\_j = (s\_{1j},\cdots,s\_{nj})^T = \bar{\boldsymbol{X}}\boldsymbol{a}_j $$
変換後の分散が最大となる射影軸（線形変換）を探索する．

変換後の分散は，下記の通りで，これを最大化する係数ベクトル$\boldsymbol{a}_j$を求める．

```math
\begin{align}
Var(\boldsymbol{s}_j) &= \frac{1}{n}\boldsymbol{s}_j^T\boldsymbol{s}_j \\
&= \frac{1}{n}(\bar{\boldsymbol{X}}\boldsymbol{a}_j)^T(\bar{\boldsymbol{X}}\boldsymbol{a}_j)\\
&= \frac{1}{n}\boldsymbol{a}_j^T\bar{\boldsymbol{X}}^T\bar{\boldsymbol{X}}\boldsymbol{a}_j\\
&= \boldsymbol{a}_j^T Var(\bar{\boldsymbol{X}})\boldsymbol{a}_j\\
\end{align}
```

ノルムに制約を入れないと無限に解があるので，ノルムに制約を入れる．

```math
\arg \max_{{a}\in \mathbb{R}^m}\boldsymbol{a}_j^T Var(\bar{\boldsymbol{X}})\boldsymbol{a}_j \hspace{10pt} s.t. \hspace{5pt}\boldsymbol{a}_j^T \boldsymbol{a}_j=1
```
- 上記の制約付き最適化問題はラグランジュ関数を最大にする係数ベクトルを見つければ良い．
    - 係数ベクトルで微分して$0$と置き解を求める． 
    - 分散共分散行列の固有ベクトルが解となる．→固有値問題に帰着する．<br>
<br>

- ラグランジュ関数
$$E(\boldsymbol{a}\_j)=\boldsymbol{a}\_j^T Var(\bar{\boldsymbol{X}})\boldsymbol{a}\_j -\lambda(\boldsymbol{a}\_j^T \boldsymbol{a}\_j-1)$$

$$\frac{\partial E(\boldsymbol{a}\_j)}{\partial\boldsymbol{a}\_j} =  2Var (\bar{\boldsymbol{X}}) \boldsymbol{a}\_j-2\lambda\boldsymbol{a}_j=0$$$$\Leftrightarrow Var(\bar{\boldsymbol{X}}) \boldsymbol{a}\_j = \lambda \boldsymbol{a}\_j$$

分散の値は固有値と一致する
$$Var(\boldsymbol{s}_1)=\boldsymbol{a}\_j^T Var(\bar{\boldsymbol{X}})\boldsymbol{a}\_j = \lambda\_1\boldsymbol{a}\_j^T \boldsymbol{a}\_j=\lambda\_1 $$
分散共分散行列は実対象行列なので，固有ベクトルはすべて直行する．
<br>

- 主成分
    - 最大固有値に対応する固有ベクトルで線形変換された特徴量を第一主成分と呼ぶ．
    - $k$番目の固有値に対応する固有ベクトルで変換された特徴量を第$k$主成分と呼ぶ
- 寄与率
    - $k$番目の分散の全分散に対する割合を第$k$主成分の寄与率という．


#ハンズオン


```python:skl_pca.ipynb
#https://ohke.hateblo.jp/entry/2017/08/11/230000を参考に利用しています。
```


```python:skl_pca.ipynb
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegressionCV
from sklearn.metrics import confusion_matrix
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
%matplotlib inline
```


```python:skl_pca.ipynb
cancer_df = pd.read_csv('../data/cancer.csv')
```


```python:skl_pca.ipynb
print('cancer df shape: {}'.format(cancer_df.shape))
```

    cancer df shape: (569, 33)



```python:skl_pca.ipynb
cancer_df
```



<div class="scroll">
<style scoped>
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
</style>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>id</th>
      <th>diagnosis</th>
      <th>radius_mean</th>
      <th>texture_mean</th>
      <th>perimeter_mean</th>
      <th>area_mean</th>
      <th>smoothness_mean</th>
      <th>compactness_mean</th>
      <th>concavity_mean</th>
      <th>concave points_mean</th>
      <th>...</th>
      <th>texture_worst</th>
      <th>perimeter_worst</th>
      <th>area_worst</th>
      <th>smoothness_worst</th>
      <th>compactness_worst</th>
      <th>concavity_worst</th>
      <th>concave points_worst</th>
      <th>symmetry_worst</th>
      <th>fractal_dimension_worst</th>
      <th>Unnamed: 32</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>842302</td>
      <td>M</td>
      <td>17.990</td>
      <td>10.38</td>
      <td>122.80</td>
      <td>1001.0</td>
      <td>0.11840</td>
      <td>0.27760</td>
      <td>0.300100</td>
      <td>0.147100</td>
      <td>...</td>
      <td>17.33</td>
      <td>184.60</td>
      <td>2019.0</td>
      <td>0.16220</td>
      <td>0.66560</td>
      <td>0.71190</td>
      <td>0.26540</td>
      <td>0.4601</td>
      <td>0.11890</td>
      <td>NaN</td>
    </tr>
    <tr>
      <th>1</th>
      <td>842517</td>
      <td>M</td>
      <td>20.570</td>
      <td>17.77</td>
      <td>132.90</td>
      <td>1326.0</td>
      <td>0.08474</td>
      <td>0.07864</td>
      <td>0.086900</td>
      <td>0.070170</td>
      <td>...</td>
      <td>23.41</td>
      <td>158.80</td>
      <td>1956.0</td>
      <td>0.12380</td>
      <td>0.18660</td>
      <td>0.24160</td>
      <td>0.18600</td>
      <td>0.2750</td>
      <td>0.08902</td>
      <td>NaN</td>
    </tr>
    <tr>
      <th>2</th>
      <td>84300903</td>
      <td>M</td>
      <td>19.690</td>
      <td>21.25</td>
      <td>130.00</td>
      <td>1203.0</td>
      <td>0.10960</td>
      <td>0.15990</td>
      <td>0.197400</td>
      <td>0.127900</td>
      <td>...</td>
      <td>25.53</td>
      <td>152.50</td>
      <td>1709.0</td>
      <td>0.14440</td>
      <td>0.42450</td>
      <td>0.45040</td>
      <td>0.24300</td>
      <td>0.3613</td>
      <td>0.08758</td>
      <td>NaN</td>
    </tr>
  </tbody>
</table>
以下省略
<p>569 rows × 33 columns</p>
</div>

```python:skl_pca.ipynb
cancer_df.drop('Unnamed: 32', axis=1, inplace=True)
cancer_df
```




<div>
<style scoped>
    .dataframe tbody tr th:only-of-type {
        vertical-align: middle;
    }

    .dataframe tbody tr th {
        vertical-align: top;
    }

    .dataframe thead th {
        text-align: right;
    }
</style>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>id</th>
      <th>diagnosis</th>
      <th>radius_mean</th>
      <th>texture_mean</th>
      <th>perimeter_mean</th>
      <th>area_mean</th>
      <th>smoothness_mean</th>
      <th>compactness_mean</th>
      <th>concavity_mean</th>
      <th>concave points_mean</th>
      <th>...</th>
      <th>radius_worst</th>
      <th>texture_worst</th>
      <th>perimeter_worst</th>
      <th>area_worst</th>
      <th>smoothness_worst</th>
      <th>compactness_worst</th>
      <th>concavity_worst</th>
      <th>concave points_worst</th>
      <th>symmetry_worst</th>
      <th>fractal_dimension_worst</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>842302</td>
      <td>M</td>
      <td>17.990</td>
      <td>10.38</td>
      <td>122.80</td>
      <td>1001.0</td>
      <td>0.11840</td>
      <td>0.27760</td>
      <td>0.300100</td>
      <td>0.147100</td>
      <td>...</td>
      <td>25.380</td>
      <td>17.33</td>
      <td>184.60</td>
      <td>2019.0</td>
      <td>0.16220</td>
      <td>0.66560</td>
      <td>0.71190</td>
      <td>0.26540</td>
      <td>0.4601</td>
      <td>0.11890</td>
    </tr>
    <tr>
      <th>1</th>
      <td>842517</td>
      <td>M</td>
      <td>20.570</td>
      <td>17.77</td>
      <td>132.90</td>
      <td>1326.0</td>
      <td>0.08474</td>
      <td>0.07864</td>
      <td>0.086900</td>
      <td>0.070170</td>
      <td>...</td>
      <td>24.990</td>
      <td>23.41</td>
      <td>158.80</td>
      <td>1956.0</td>
      <td>0.12380</td>
      <td>0.18660</td>
      <td>0.24160</td>
      <td>0.18600</td>
      <td>0.2750</td>
      <td>0.08902</td>
    </tr>
    <tr>
      <th>2</th>
      <td>84300903</td>
      <td>M</td>
      <td>19.690</td>
      <td>21.25</td>
      <td>130.00</td>
      <td>1203.0</td>
      <td>0.10960</td>
      <td>0.15990</td>
      <td>0.197400</td>
      <td>0.127900</td>
      <td>...</td>
      <td>23.570</td>
      <td>25.53</td>
      <td>152.50</td>
      <td>1709.0</td>
      <td>0.14440</td>
      <td>0.42450</td>
      <td>0.45040</td>
      <td>0.24300</td>
      <td>0.3613</td>
      <td>0.08758</td>
    </tr>
  </tbody>
</table>
以下省略
<p>569 rows × 32 columns</p>
</div>



・diagnosis: 診断結果 (良性がB / 悪性がM)
・説明変数は3列以降、目的変数を2列目としロジスティック回帰で分類


```python:skl_pca.ipynb
# 目的変数の抽出
y = cancer_df.diagnosis.apply(lambda d: 1 if d == 'M' else 0)
```


```python:skl_pca.ipynb
# 説明変数の抽出
X = cancer_df.loc[:, 'radius_mean':]
```


```python:skl_pca.ipynb
# 学習用とテスト用でデータを分離
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)

# 標準化
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

# ロジスティック回帰で学習
logistic = LogisticRegressionCV(cv=10, random_state=0,max_iter=100000) #Warning対策でmax_iterを設定
logistic.fit(X_train_scaled, y_train)

# 検証
print('Train score: {:.3f}'.format(logistic.score(X_train_scaled, y_train)))
print('Test score: {:.3f}'.format(logistic.score(X_test_scaled, y_test)))
print('Confustion matrix:\n{}'.format(confusion_matrix(y_true=y_test, y_pred=logistic.predict(X_test_scaled))))
```

    Train score: 0.988
    Test score: 0.972
    Confustion matrix:
    [[89  1]
     [ 3 50]]


・検証スコア97%で分類できることを確認


```python:skl_pca.ipynb
pca = PCA(n_components=30)
pca.fit(X_train_scaled)
plt.bar([n for n in range(1, len(pca.explained_variance_ratio_)+1)], pca.explained_variance_ratio_)
```




    <BarContainer object of 30 artists>


![output_11_1.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/375106/e4353ca3-73c3-dff1-23b5-4d74717bfe65.png)


```python:skl_pca.ipynb
# PCA
# 次元数2まで圧縮
pca = PCA(n_components=2)
X_train_pca = pca.fit_transform(X_train_scaled)
print('X_train_pca shape: {}'.format(X_train_pca.shape))
# X_train_pca shape: (426, 2)

# 寄与率
print('explained variance ratio: {}'.format(pca.explained_variance_ratio_))
# explained variance ratio: [ 0.43315126  0.19586506]

# 散布図にプロット
temp = pd.DataFrame(X_train_pca)
temp['Outcome'] = y_train.values
b = temp[temp['Outcome'] == 0]
m = temp[temp['Outcome'] == 1]
plt.scatter(x=b[0], y=b[1], marker='o') # 良性は○でマーク
plt.scatter(x=m[0], y=m[1], marker='^') # 悪性は△でマーク
plt.xlabel('PC 1') # 第1主成分をx軸
plt.ylabel('PC 2') # 第2主成分をy軸
```

    X_train_pca shape: (426, 2)
    explained variance ratio: [0.43315126 0.19586506]





    Text(0, 0.5, 'PC 2')


![output_12_2.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/375106/5a91ffca-57c3-3fa7-f4cf-fee213ee6e31.png)

## 考察
- 第一主成分および第二，第三主成分により２〜３次元に落とすことで，グラフなどに可視化できるのば便利．
- さらに，ハンズオン内であるように寄与率を可視化することで，なぜその変数を選んだかの根拠を示せる．

<br>
<br> 

[DeepLearning ラビットチャレンジ](http://ai999.careers/rabbit/　"ラビットチャレンジリンク")
<img src="http://ai999.careers/tools/wp/wp-content/uploads/2018/12/card.png" width=50%>