総合実験（３日目）Jupyter Notebookを使った多変量解析


2016年に作った資料を公開します。もう既にいろいろ古くなってる可能性が高いです。

### Jupyter Notebook (IPython Notebook) とは
* Python という名のプログラミング言語が使えるプログラミング環境。計算コードと計算結果を同じ場所に時系列で保存できるので、実験系における実験ノートのように、いつどんな処理を行って何を得たのか記録して再現するのに便利。

* 本実習では多変量解析のうち主成分分析（PCA; Principal Component Analysis）を行ないます。
   * 主成分分析を知らない人は、右記のリンク参照→ [10分でわかる主成分分析(PCA)](http://www.slideshare.net/takanoriogata1121/10pca-49324044) ・ [主成分分析](http://www.yasunaga-lab.bio.kyutech.ac.jp/EosJ/index.php/%E4%B8%BB%E6%88%90%E5%88%86%E5%88%86%E6%9E%90)
* 各自の画面中の IPython Notebook のセルに順次入力して（コピペ可）、「Shift + Enter」してください。
* 最後に、課題を解いてもらいます。課題の結果を、指定する方法で指定するメールアドレスまで送信してください。

### まずは基本統計量を計算する関数の作成から


```python
# 平均値を求める関数
def average(data):
    sum = 0.0
    n = 0.0
    for x in data:
        sum += x
        n += 1.0
    return sum / n
```


```python
# 分散を求める関数
def variance(data):
    ave = average(data)
    accum = 0.0
    n = 0.0
    for x in data:
        accum += (x - ave) ** 2.0
        n += 1.0
    return accum / n
```


```python
# 標準偏差を求める関数
import math
standard_deviation = lambda data: math.sqrt(variance(data))
```


```python
# リストの正規化をする（Z値に変換する）関数
def normalize(data):
    ave = average(data)
    std = standard_deviation(data)
    list = []
    for x in data:
        list.append((x - ave) / (std / float(len(data))))
    return list
```


```python
# リストのリストの正規化をする（Z値に変換する）関数
def normalize2(data):
    list = []
    for x in data:
        list.append(normalize(x))
    return list
```

### 計算に必要ないろんなライブラリのインポート


```python
# 図やグラフを図示するためのライブラリをインポートする。
import matplotlib.pyplot as plt
%matplotlib inline
```


```python
import pandas as pd # データフレームワーク処理のライブラリをインポート
from pandas.tools import plotting # 高度なプロットを行うツールのインポート
```


```python
import sklearn #機械学習のライブラリ
from sklearn.decomposition import PCA #主成分分析器
```


```python
import numpy as np #数値計算用ライブラリ
```


```python
# URL によるリソースへのアクセスを提供するライブラリをインポートする。
import urllib
```

### 実データ解析開始
* データをダウンロードし、まずはデータの全体像を把握します。


```python
# ウェブ上のリソースを指定する
url = 'https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/sake_dataJ.txt'
# 指定したURLからリソースをダウンロードし、名前をつける。
urllib.urlretrieve(url, 'sake_dataJ.txt')
```




    ('sake_dataJ.txt', <httplib.HTTPMessage instance at 0x1164e9ab8>)




```python
df = pd.read_csv('sake_dataJ.txt', sep='\t', na_values=".") # データの読み込み
pd.DataFrame(df).head() # 先頭N行を表示する。カラムのタイトルも確認する。
```




<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>Pref</th>
      <th>Sake</th>
      <th>Shochu</th>
      <th>Bear</th>
      <th>Wine</th>
      <th>Whisky</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>Hokkaido</td>
      <td>46476000</td>
      <td>50642000</td>
      <td>315300000</td>
      <td>10488000</td>
      <td>9749000</td>
    </tr>
    <tr>
      <th>1</th>
      <td>Aomori</td>
      <td>17273000</td>
      <td>11503000</td>
      <td>83164000</td>
      <td>1774000</td>
      <td>3122000</td>
    </tr>
    <tr>
      <th>2</th>
      <td>Iwate</td>
      <td>17120000</td>
      <td>10220000</td>
      <td>67803000</td>
      <td>1458000</td>
      <td>1870000</td>
    </tr>
    <tr>
      <th>3</th>
      <td>Miyagi</td>
      <td>27859000</td>
      <td>11768000</td>
      <td>109850000</td>
      <td>2824000</td>
      <td>5049000</td>
    </tr>
    <tr>
      <th>4</th>
      <td>Akita</td>
      <td>24153000</td>
      <td>6240000</td>
      <td>67894000</td>
      <td>1242000</td>
      <td>2099000</td>
    </tr>
  </tbody>
</table>
</div>




```python
# 下記の関数にカラム名を入力すれば、Scatter Matrix が表示されます。
#plotting.scatter_matrix(df[['Sake', 'Shochu', 'Bear', 'Wine', 'Whisky']], figsize=(10, 10)) 
plotting.scatter_matrix(df[['Sake', 'Shochu', 'Bear', 'Wine', 'Whisky']], figsize=(10, 10), diagonal='kde') 
plt.show()
```


![output_20_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/1b3f06dd-fc2c-2739-3356-dd18f5c90ce9.png)


上図を「図1」と呼ぶことにします。課題1と4で、似たような図を作成してもらいます。

### 主成分分析
#### 行をエントリとし、列を説明変数とする場合。


```python
# 表形式のデータを、PCAにかけられる形に整形する。
# 行をエントリとし、列を説明変数とする場合。
x_labels = []
y_labels = []
data1 = []
for i, line in enumerate(open('sake_dataJ.txt')):
    if i == 0:
        a = line.strip().split("\t")
        x_labels = []
        for j, val in enumerate(a):
            if j == 0:
                continue
            else:
                x_labels.append(val)
    else:
        a = line.strip().split("\t")
        b = []
        for j, val in enumerate(a):
            if j == 0:
                y_labels.append(val)
            else:
                b.append(float(val))
        data1.append(b)
data1 = normalize2(data1)
```


```python
#主成分分析の実行
pca = PCA()
pca.fit(data1)
```




    PCA(copy=True, n_components=None, whiten=False)




```python
# 因子負荷量の確認。左から順に第一変数、第二変数、、、
# 上から順に因子1、因子２、、、
pd.DataFrame(list(pca.components_), columns=x_labels)
```




<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>Sake</th>
      <th>Shochu</th>
      <th>Bear</th>
      <th>Wine</th>
      <th>Whisky</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>0.665066</td>
      <td>-0.745030</td>
      <td>0.020380</td>
      <td>0.015191</td>
      <td>0.044392</td>
    </tr>
    <tr>
      <th>1</th>
      <td>0.595199</td>
      <td>0.492514</td>
      <td>-0.291951</td>
      <td>-0.423517</td>
      <td>-0.372246</td>
    </tr>
    <tr>
      <th>2</th>
      <td>-0.033083</td>
      <td>-0.000164</td>
      <td>-0.030030</td>
      <td>-0.674053</td>
      <td>0.737331</td>
    </tr>
    <tr>
      <th>3</th>
      <td>0.048279</td>
      <td>0.048577</td>
      <td>-0.844658</td>
      <td>0.407499</td>
      <td>0.340303</td>
    </tr>
    <tr>
      <th>4</th>
      <td>0.447214</td>
      <td>0.447214</td>
      <td>0.447214</td>
      <td>0.447214</td>
      <td>0.447214</td>
    </tr>
  </tbody>
</table>
</div>




```python
# それぞれの因子にどの説明変数がどの程度用いられているか図示する
plt.figure(figsize=(5, 5))
for x, y, name in zip(pca.components_[0], pca.components_[1], x_labels):
    plt.text(x, y, name, alpha=0.8, size=15)
plt.scatter(pca.components_[0], pca.components_[1])
plt.title("Factor loadings")
plt.xlabel("Factor 1")
plt.ylabel("Factor 2")
plt.show()
```


![output_26_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/7ff14c63-d5fe-9835-4aa7-82ea6c95e6a9.png)



```python
# 主成分に対する因子の寄与率を確認。左から順に第一主成分、第二主成分、、、
list(pca.explained_variance_ratio_)
```




    [0.84883499643508986,
     0.13109085939363213,
     0.013441153902092553,
     0.006632990269185365,
     1.097158765092042e-31]




```python
# 累積寄与率を図示する
import matplotlib.ticker as ticker
plt.gca().get_xaxis().set_major_locator(ticker.MaxNLocator(integer=True))
plt.plot([0] + list( np.cumsum(pca.explained_variance_ratio_)), "-o")
plt.xlabel("Number of principal components")
plt.ylabel("Cumulative contribution ratio")
plt.show()
```


![output_28_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/195f2e71-6c6d-c366-7cda-184773b13fe8.png)



```python
# データを主成分空間に写像 = 次元圧縮
feature = pca.transform(data1)
```


```python
# 次元圧縮後のデータ。左から順に第一主成分、第二主成分、、、
pd.DataFrame(feature, index=y_labels)
```




<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>0</th>
      <th>1</th>
      <th>2</th>
      <th>3</th>
      <th>4</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>Hokkaido</th>
      <td>-1.110409</td>
      <td>-0.360847</td>
      <td>-0.005956</td>
      <td>-0.081387</td>
      <td>-1.848328e-16</td>
    </tr>
    <tr>
      <th>Aomori</th>
      <td>-0.333849</td>
      <td>0.009345</td>
      <td>0.142182</td>
      <td>-0.121610</td>
      <td>-3.301751e-16</td>
    </tr>
    <tr>
      <th>Iwate</th>
      <td>-0.056292</td>
      <td>0.503782</td>
      <td>0.018778</td>
      <td>-0.158425</td>
      <td>-6.492096e-16</td>
    </tr>
    <tr>
      <th>Miyagi</th>
      <td>0.408308</td>
      <td>0.103275</td>
      <td>0.165782</td>
      <td>-0.058181</td>
      <td>-6.292635e-16</td>
    </tr>
    <tr>
      <th>Akita</th>
      <td>1.443781</td>
      <td>0.962598</td>
      <td>0.042480</td>
      <td>0.048677</td>
      <td>-3.417578e-16</td>
    </tr>
    <tr>
      <th>Yamagata</th>
      <td>1.231049</td>
      <td>0.744283</td>
      <td>0.052815</td>
      <td>0.017058</td>
      <td>-1.316482e-16</td>
    </tr>
    <tr>
      <th>Fukushima</th>
      <td>0.860825</td>
      <td>0.674256</td>
      <td>0.124998</td>
      <td>-0.052539</td>
      <td>-2.086859e-16</td>
    </tr>
    <tr>
      <th>Ibaraki</th>
      <td>0.068851</td>
      <td>0.176213</td>
      <td>0.015612</td>
      <td>-0.105348</td>
      <td>-4.502962e-16</td>
    </tr>
    <tr>
      <th>Tochigi</th>
      <td>-0.042050</td>
      <td>0.188377</td>
      <td>0.022389</td>
      <td>-0.118697</td>
      <td>-4.399736e-17</td>
    </tr>
    <tr>
      <th>Gunma</th>
      <td>-0.635379</td>
      <td>0.424675</td>
      <td>-0.061466</td>
      <td>-0.186559</td>
      <td>-5.561106e-16</td>
    </tr>
    <tr>
      <th>Saitama</th>
      <td>-0.701716</td>
      <td>-0.169577</td>
      <td>-0.010401</td>
      <td>-0.107353</td>
      <td>-1.087064e-16</td>
    </tr>
    <tr>
      <th>Chiba</th>
      <td>-0.615565</td>
      <td>-0.209105</td>
      <td>-0.018429</td>
      <td>-0.096634</td>
      <td>-7.202464e-16</td>
    </tr>
    <tr>
      <th>Tokyo</th>
      <td>-0.487767</td>
      <td>-0.841145</td>
      <td>-0.121137</td>
      <td>0.043356</td>
      <td>-7.148378e-16</td>
    </tr>
    <tr>
      <th>Kanagawa</th>
      <td>-0.645375</td>
      <td>-0.484661</td>
      <td>0.043345</td>
      <td>-0.049275</td>
      <td>-8.301455e-16</td>
    </tr>
    <tr>
      <th>Niigata</th>
      <td>2.266970</td>
      <td>1.107016</td>
      <td>-0.038925</td>
      <td>0.271340</td>
      <td>-7.217689e-16</td>
    </tr>
    <tr>
      <th>Toyama</th>
      <td>1.449565</td>
      <td>0.205898</td>
      <td>0.014282</td>
      <td>0.128808</td>
      <td>-2.186333e-17</td>
    </tr>
    <tr>
      <th>Ishikawa</th>
      <td>1.233966</td>
      <td>-0.036312</td>
      <td>0.013812</td>
      <td>0.115745</td>
      <td>-4.581391e-16</td>
    </tr>
    <tr>
      <th>Fukui</th>
      <td>0.949785</td>
      <td>-0.276469</td>
      <td>0.053900</td>
      <td>0.097084</td>
      <td>-4.603907e-16</td>
    </tr>
    <tr>
      <th>Yamanashi</th>
      <td>-0.498276</td>
      <td>-0.141691</td>
      <td>-0.971316</td>
      <td>-0.018632</td>
      <td>-5.392369e-16</td>
    </tr>
    <tr>
      <th>Nagano</th>
      <td>0.663382</td>
      <td>0.499552</td>
      <td>-0.184689</td>
      <td>-0.054813</td>
      <td>-4.997498e-16</td>
    </tr>
    <tr>
      <th>Gifu</th>
      <td>0.831055</td>
      <td>-0.194526</td>
      <td>0.005190</td>
      <td>0.062385</td>
      <td>-4.194302e-16</td>
    </tr>
    <tr>
      <th>Shizuoka</th>
      <td>-0.154502</td>
      <td>0.047311</td>
      <td>-0.024293</td>
      <td>-0.106965</td>
      <td>-4.391609e-16</td>
    </tr>
    <tr>
      <th>Aichi</th>
      <td>0.032203</td>
      <td>-0.861350</td>
      <td>0.024752</td>
      <td>0.083958</td>
      <td>-3.969445e-16</td>
    </tr>
    <tr>
      <th>Mie</th>
      <td>0.688121</td>
      <td>-0.134592</td>
      <td>0.041857</td>
      <td>0.025899</td>
      <td>-1.808552e-16</td>
    </tr>
    <tr>
      <th>Shiga</th>
      <td>0.976152</td>
      <td>-0.043429</td>
      <td>0.004308</td>
      <td>0.064238</td>
      <td>-8.465224e-16</td>
    </tr>
    <tr>
      <th>Kyoto</th>
      <td>0.399057</td>
      <td>-0.759579</td>
      <td>-0.001051</td>
      <td>0.106776</td>
      <td>-7.035925e-16</td>
    </tr>
    <tr>
      <th>Osaka</th>
      <td>-0.070228</td>
      <td>-1.072591</td>
      <td>0.053289</td>
      <td>0.124451</td>
      <td>-5.013381e-16</td>
    </tr>
    <tr>
      <th>Hyogo</th>
      <td>0.285716</td>
      <td>-0.694121</td>
      <td>0.046409</td>
      <td>0.074852</td>
      <td>-3.553832e-16</td>
    </tr>
    <tr>
      <th>Nara</th>
      <td>0.354718</td>
      <td>-0.663109</td>
      <td>0.020464</td>
      <td>0.078267</td>
      <td>-9.422215e-16</td>
    </tr>
    <tr>
      <th>Wakayama</th>
      <td>0.803013</td>
      <td>-0.297697</td>
      <td>0.065230</td>
      <td>0.073463</td>
      <td>-6.015682e-16</td>
    </tr>
    <tr>
      <th>Tottori</th>
      <td>1.122545</td>
      <td>0.279755</td>
      <td>0.028076</td>
      <td>0.045588</td>
      <td>-5.874166e-16</td>
    </tr>
    <tr>
      <th>Shimane</th>
      <td>1.079170</td>
      <td>0.825695</td>
      <td>-0.189601</td>
      <td>-0.009561</td>
      <td>-3.303743e-16</td>
    </tr>
    <tr>
      <th>Okayama</th>
      <td>0.552460</td>
      <td>0.067643</td>
      <td>0.022446</td>
      <td>-0.027014</td>
      <td>-5.810430e-16</td>
    </tr>
    <tr>
      <th>Hiroshima</th>
      <td>0.030436</td>
      <td>-0.419868</td>
      <td>0.024179</td>
      <td>-0.011057</td>
      <td>-1.522397e-16</td>
    </tr>
    <tr>
      <th>Yamaguchi</th>
      <td>-0.260092</td>
      <td>-0.137450</td>
      <td>0.073770</td>
      <td>-0.090442</td>
      <td>-1.754969e-16</td>
    </tr>
    <tr>
      <th>Tokushima</th>
      <td>0.601511</td>
      <td>-0.179480</td>
      <td>0.040923</td>
      <td>0.019526</td>
      <td>-7.212218e-17</td>
    </tr>
    <tr>
      <th>Kagawa</th>
      <td>0.489876</td>
      <td>-0.310648</td>
      <td>0.031411</td>
      <td>0.026189</td>
      <td>-1.727164e-16</td>
    </tr>
    <tr>
      <th>Ehime</th>
      <td>0.243787</td>
      <td>-0.197108</td>
      <td>0.034806</td>
      <td>-0.027773</td>
      <td>-4.798676e-16</td>
    </tr>
    <tr>
      <th>Kochi</th>
      <td>0.419732</td>
      <td>-0.297082</td>
      <td>0.072960</td>
      <td>0.011976</td>
      <td>-5.649252e-16</td>
    </tr>
    <tr>
      <th>Fukuoka</th>
      <td>-0.725140</td>
      <td>-0.283917</td>
      <td>0.034624</td>
      <td>-0.090111</td>
      <td>-2.988795e-16</td>
    </tr>
    <tr>
      <th>Saga</th>
      <td>0.469455</td>
      <td>0.381240</td>
      <td>-0.003591</td>
      <td>-0.080336</td>
      <td>-1.830035e-17</td>
    </tr>
    <tr>
      <th>Nagasaki</th>
      <td>-0.760055</td>
      <td>0.067560</td>
      <td>0.052436</td>
      <td>-0.149444</td>
      <td>-4.453860e-16</td>
    </tr>
    <tr>
      <th>Kumamoto</th>
      <td>-2.273080</td>
      <td>-0.047393</td>
      <td>0.017080</td>
      <td>-0.075858</td>
      <td>-1.269966e-16</td>
    </tr>
    <tr>
      <th>Oita</th>
      <td>-1.734213</td>
      <td>0.448740</td>
      <td>0.144752</td>
      <td>-0.190635</td>
      <td>-3.334187e-16</td>
    </tr>
    <tr>
      <th>Miyazaki</th>
      <td>-4.282241</td>
      <td>0.738680</td>
      <td>0.026392</td>
      <td>0.226628</td>
      <td>-3.211087e-17</td>
    </tr>
    <tr>
      <th>Kagoshima</th>
      <td>-4.569257</td>
      <td>0.657853</td>
      <td>0.055128</td>
      <td>0.322384</td>
      <td>1.821382e-16</td>
    </tr>
  </tbody>
</table>
</div>




```python
# 第一主成分と第二主成分でプロットする
plt.figure(figsize=(10, 10))
for x, y, name in zip(feature[:, 0], feature[:, 1], y_labels):
    plt.text(x, y, name, alpha=0.8, size=15)
plt.scatter(feature[:, 0], feature[:, 1], alpha=0.8)
plt.title("Principal Component Analysis")
plt.xlabel("The first principal component score")
plt.ylabel("The second principal component score")
plt.show()
```


![output_31_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/391e1165-77ff-1e45-4789-d2870ebfb3bb.png)


上図を「図2」と呼ぶことにします。課題2と5で、似たような図を作成してもらいます。
#### 列をエントリとし、行を説明変数とする場合。


```python
# 表形式のデータを、PCAにかけられる形に整形する。
# 列をエントリとし、行を説明変数とする場合。
x_labels = []
y_labels = []
data2 = []
for i, line in enumerate(open('sake_dataJ.txt')):
    if i == 0:
        a = line.strip().split("\t")
        y_labels = []
        for j, val in enumerate(a):
            if j == 0:
                continue
            else:
                y_labels.append(val)
                data2.append([])
    else:
        a = line.strip().split("\t")
        b = []
        for j, val in enumerate(a):
            if j == 0:
                x_labels.append(val)
            else:
                data2[j - 1].append(float(val))
data2 = normalize2(data2)
```


```python
#主成分分析の実行
pca = PCA()
pca.fit(data2)
```




    PCA(copy=True, n_components=None, whiten=False)




```python
# 因子負荷量の確認。左から順に第一変数、第二変数、、、
# 上から順に因子1、因子２、、、
pd.DataFrame(pca.components_, columns=x_labels)
```




<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>Hokkaido</th>
      <th>Aomori</th>
      <th>Iwate</th>
      <th>Miyagi</th>
      <th>Akita</th>
      <th>Yamagata</th>
      <th>Fukushima</th>
      <th>Ibaraki</th>
      <th>Tochigi</th>
      <th>Gunma</th>
      <th>...</th>
      <th>Kagawa</th>
      <th>Ehime</th>
      <th>Kochi</th>
      <th>Fukuoka</th>
      <th>Saga</th>
      <th>Nagasaki</th>
      <th>Kumamoto</th>
      <th>Oita</th>
      <th>Miyazaki</th>
      <th>Kagoshima</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>0.275489</td>
      <td>0.039741</td>
      <td>0.037039</td>
      <td>-0.039969</td>
      <td>-0.059777</td>
      <td>-0.040114</td>
      <td>-0.055869</td>
      <td>0.000841</td>
      <td>0.022621</td>
      <td>0.091066</td>
      <td>...</td>
      <td>-0.016326</td>
      <td>-0.017543</td>
      <td>-0.014956</td>
      <td>0.128462</td>
      <td>0.008461</td>
      <td>0.076744</td>
      <td>0.233482</td>
      <td>0.136635</td>
      <td>0.306588</td>
      <td>0.432275</td>
    </tr>
    <tr>
      <th>1</th>
      <td>-0.116942</td>
      <td>0.040067</td>
      <td>0.022673</td>
      <td>0.024537</td>
      <td>-0.008161</td>
      <td>0.062057</td>
      <td>-0.066715</td>
      <td>-0.093032</td>
      <td>-0.003837</td>
      <td>-0.024243</td>
      <td>...</td>
      <td>0.100946</td>
      <td>0.024591</td>
      <td>0.084554</td>
      <td>-0.276205</td>
      <td>0.068738</td>
      <td>0.005495</td>
      <td>-0.053999</td>
      <td>0.027990</td>
      <td>-0.025145</td>
      <td>-0.120296</td>
    </tr>
    <tr>
      <th>2</th>
      <td>-0.046757</td>
      <td>-0.028055</td>
      <td>0.040584</td>
      <td>0.060954</td>
      <td>0.147034</td>
      <td>0.100469</td>
      <td>0.164137</td>
      <td>0.094025</td>
      <td>0.026149</td>
      <td>0.056845</td>
      <td>...</td>
      <td>-0.050275</td>
      <td>-0.029234</td>
      <td>-0.057383</td>
      <td>-0.037363</td>
      <td>-0.007293</td>
      <td>-0.041365</td>
      <td>-0.130533</td>
      <td>-0.056618</td>
      <td>-0.114217</td>
      <td>-0.159604</td>
    </tr>
    <tr>
      <th>3</th>
      <td>0.149324</td>
      <td>0.223728</td>
      <td>0.034813</td>
      <td>0.428843</td>
      <td>0.075589</td>
      <td>0.152153</td>
      <td>0.254214</td>
      <td>-0.019647</td>
      <td>-0.001778</td>
      <td>-0.096611</td>
      <td>...</td>
      <td>-0.002780</td>
      <td>-0.045749</td>
      <td>0.013399</td>
      <td>-0.059985</td>
      <td>-0.036428</td>
      <td>-0.002992</td>
      <td>-0.148868</td>
      <td>0.124259</td>
      <td>-0.102680</td>
      <td>-0.163846</td>
    </tr>
    <tr>
      <th>4</th>
      <td>-0.172858</td>
      <td>-0.207267</td>
      <td>-0.054197</td>
      <td>-0.083138</td>
      <td>-0.030749</td>
      <td>0.071060</td>
      <td>-0.057463</td>
      <td>-0.006176</td>
      <td>-0.013600</td>
      <td>0.038431</td>
      <td>...</td>
      <td>-0.129569</td>
      <td>0.279367</td>
      <td>-0.017207</td>
      <td>0.214137</td>
      <td>-0.035018</td>
      <td>-0.128023</td>
      <td>-0.260437</td>
      <td>-0.016798</td>
      <td>0.032803</td>
      <td>0.069383</td>
    </tr>
  </tbody>
</table>
<p>5 rows × 46 columns</p>
</div>




```python
# それぞれの因子にどの説明変数がどの程度用いられているか図示する
plt.figure(figsize=(5, 5))
for x, y, name in zip(pca.components_[0], pca.components_[1], x_labels):
    plt.text(x, y, name, alpha=0.8, size=10)
plt.scatter(pca.components_[0], pca.components_[1])
plt.title("Factor loadings")
plt.xlabel("Factor 1")
plt.ylabel("Factor 2")
plt.show()
```


![output_36_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/030e537e-c407-72f5-1ba4-9f074d21abf3.png)



```python
# 主成分に対する因子の寄与率を確認。左から順に第一主成分、第二主成分、、、
list(pca.explained_variance_ratio_)
```




    [0.65580254639595692,
     0.22004551664752053,
     0.089448901881823112,
     0.034703035074699393,
     1.962690226154014e-32]




```python
# 累積寄与率を図示する
import matplotlib.ticker as ticker
plt.gca().get_xaxis().set_major_locator(ticker.MaxNLocator(integer=True))
plt.plot([0] + list(np.cumsum(pca.explained_variance_ratio_)), "-o")
plt.xlabel("Number of principal components")
plt.ylabel("Cumulative contribution ratio")
plt.show()
```


![output_38_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/11de17d3-886c-6340-7092-958b7d0fee11.png)



```python
# データを主成分空間に写像 = 次元圧縮
feature = pca.transform(data2)
```


```python
# 次元圧縮後のデータ。左から順に第一主成分、第二主成分、、、
pd.DataFrame(feature, index=y_labels)
```




<div>
<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>0</th>
      <th>1</th>
      <th>2</th>
      <th>3</th>
      <th>4</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>Sake</th>
      <td>-83.478816</td>
      <td>-41.240646</td>
      <td>38.205369</td>
      <td>-3.137163</td>
      <td>-9.606462e-15</td>
    </tr>
    <tr>
      <th>Shochu</th>
      <td>139.596385</td>
      <td>-32.110658</td>
      <td>6.807571</td>
      <td>-1.155559</td>
      <td>8.106997e-15</td>
    </tr>
    <tr>
      <th>Bear</th>
      <td>-42.598445</td>
      <td>-23.181311</td>
      <td>-46.321043</td>
      <td>-14.139350</td>
      <td>-1.285136e-13</td>
    </tr>
    <tr>
      <th>Wine</th>
      <td>5.375823</td>
      <td>77.307076</td>
      <td>11.970727</td>
      <td>-14.610832</td>
      <td>-1.034849e-13</td>
    </tr>
    <tr>
      <th>Whisky</th>
      <td>-18.894947</td>
      <td>19.225538</td>
      <td>-10.662626</td>
      <td>33.042904</td>
      <td>2.958189e-13</td>
    </tr>
  </tbody>
</table>
</div>




```python
# 第一主成分と第二主成分でプロットする
#plt.figure(figsize=(10, 10))
for x, y, name in zip(feature[:, 0], feature[:, 1], y_labels):
    plt.text(x, y, name, alpha=0.8, size=15)
plt.scatter(feature[:, 0], feature[:, 1], alpha=0.8)
plt.show()
```


![output_41_0.png](https://qiita-image-store.s3.amazonaws.com/0/211162/f8e2e553-4aa3-69e9-323a-95f83fd8c646.png)


上図を「図3」と呼ぶことにします。課題3で、似たような図を作成してもらいます。

----------
## 課題
新しいノートを開いて、以下の課題を解いてください。

* __課題1__：下記リンクのデータを用い、図1のような Scatter Matrix を描いてください。
   * https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/sports_dataJt.txt
   
   ここでは、以下の列を使います。
       * 'Student' : 学生のID番号
       * '50mRun' : 50m走
       * 'longjump': 走り幅跳び
       * 'handball': ハンドボール投げ
       * 'chinning': 懸垂
       * 'sidestep': 反復横跳び
       * 'vertump': 垂直跳び
       * 'back': 背筋力
       * 'grip': 握力（両手平均）
       * 'backward': 上体そらし
       * 'forward' : 立位体前屈
       * 'stepping': 踏み台昇降

* __課題２__：上記データの主成分分析を行ない、図2のような散布図を作成し、特徴的な成績を残している学生のIDを述べてください。また、その特徴についても考察してください。

* __課題３__：同様に、上記データの主成分分析を行ない、図３のような散布図を作成し、各項目（50m走など）間の関係について考察してください。

* __課題４__：下記リンクのデータを用い、図1のような Scatter Matrix を描いてください。
   * https://raw.githubusercontent.com/maskot1977/ipython_notebook/master/toydata/sbnote_dataJt.txt
   
      ここでは、以下の列を使います。
       * 'Note' : スイスフラン紙幣のID番号
       * 'length' : 横幅長
       * 'left': 左縦幅長
       * 'right': 右縦幅長
       * 'bottom': 下枠内長
       * 'top': 上枠内長
       * 'diagonal': 対角長

* __課題５__：上記データの主成分分析を行ない、図2のような散布図を作成し、分布の特徴について考察してください。

# 総合実験（Pythonプログラミング）４日間コース

本稿は「総合実験（Pythonプログラミング）４日間コース」シリーズ記事です。興味ある方は以下の記事も合わせてお読みください。
* <a href="https://qiita.com/drafts/02841501f1fe1cbbd9ad">総合実験（１日目）Jupyter Notebook を使った基本統計量の計算と可視化</a>
* <a href="https://qiita.com/maskot1977/items/44639231bed5fedfb4c9">総合実験（２日目）Jupyter Notebook を使った大規模データの可視化</a>
* <a href="https://qiita.com/maskot1977/items/ba4030c0c909b665278c">総合実験（３日目）Jupyter Notebookを使った多変量解析</a>
* <a href="https://qiita.com/maskot1977/items/849090dac7fd906faab6">総合実験（４日目）Jupyter Notebookを使った機械学習</a>