単回帰分析を利用して、時価総額を求めてみる

あまり、実用的ではありませんが単回帰分析を利用して予測を行ってみたいと思います。

## 単回帰分析の目的とは
単回帰分析では、以下の数式（モデル）で予測できると仮定して、
予想値と実測値との差分が一番小さくなるような変数a、変数bの値を求めます。

$$ 予測値 = a * 入力値x + b $$


比例の関係であることが前提ですので、相関関係が高い値同士でのみ単回帰分析が可能です。
例えば、営業利益と時価総額、部屋の広さと家賃等です。

## 中心化
データの中心化というテクニックがあります。中心化とは、その名の通りデータを中心に集めることを言います。具体的には、データを全て、平均値で引いた状態にします。
こうすることによって、どんなメリットがあるのでしょうか。

もともと、「$ 予測値 = a * 入力値x + b $」で予測していたモデルを「$ 予測値 = a * 入力値x $」で考えることができるようになります。


## 式変形
単回帰分析では、予測値と実測値の差分が一番小さくなるような変数aの値を求めます。
それは、以下の式の値が最小化するような a の値を求めることを言います。

```math
\sum_{n=1}^{N} (実測値_n - 予測値_n)^2
```

この式では、実測値と予測値の差分の２乗の合計を求めています。
なぜ２乗するのかというと、２つの理由があります。

- 実測値と予測値の差分がマイナスの可能性もあること。
- ２乗することによって式が二次関数で表せるようになり最小となる値を微分することによって簡単に求めることができるようになる。

では、上記の式を変形していきます。
$ 予測値_n $は、$ a * 入力値x_n $ とも表示できます。
そのため以下のようにも表せます。

```math
\sum_{n=1}^{N} (実測値_n - a * 入力値x_n)^2
```

また、展開するとこうなります。

```math
\sum_{n=1}^N (実測値_n^2 - 2 * 実測値_n* a * 入力値x_n   + a^2 * 入力値x_n^2)
```

また、シグマの足し算は展開できるので

```math
\sum_{n=1}^N (実測値_n^2) - 2 * \sum_{n=1}^N (実測値_n * 入力値x_n)* a  + a^2  * \sum_{n=1}^N (入力値x_n^2)
```

この式を微分したものが0になるようなaを求めると最適解となります。

```math
\frac{\partial}{\partial a}(\sum_{n=1}^N (実測値_n^2) - 2 * \sum_{n=1}^N (実測値_n * 入力値x_n)* a  + a^2  * \sum_{n=1}^N (入力値x_n^2)) = 0
```

aで微分するので、aが含まれない個所は、0になります。
aをaで微分すると1、$ a^2 $をaで微分すると2aなので

```math
- 2 * \sum_{n=1}^N (実測値_n * 入力値x_n)  + 2 * a  * \sum_{n=1}^N (入力値x_n^2) = 0
```

```math
a  = \frac{\sum_{n=1}^N (実測値_n * 入力値x_n)}{\sum_{n=1}^N (入力値x_n^2)}
```

となります。
これは、あくまでもデータが中心化されていることが前提なので注意してください。


## 実装をしてみる
では、今回は、株価（時価総額）を予測するための変数aを求めたいと思います。


```python
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
```

### データの読み込み
今回使用するデータは、時価総額があるCSVと経常利益があるCSVが別々なのでそれぞれ別に読み込みます。


```python
df1 = pd.read_csv(filepath_or_buffer="~\japan-all-stock-data.csv", encoding="ms932", engine="python", sep=",")
df2 = pd.read_csv(filepath_or_buffer="~\japan-all-stock-financial-results.csv", encoding="ms932", engine="python", sep=",")

```


```python
df1.head(3)
```




<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>SC</th>
      <th>名称</th>
      <th>市場</th>
      <th>業種</th>
      <th>時価総額(百万円)</th>
      <th>発行済株式数</th>
      <th>配当利回り</th>
      <th>1株配当</th>
      <th>PER（予想）</th>
      <th>PBR（実績）</th>
      <th>EPS（予想）</th>
      <th>BPS（実績）</th>
      <th>最低購入額</th>
      <th>単元株</th>
      <th>高値日付</th>
      <th>年初来高値</th>
      <th>安値日付</th>
      <th>年初来安値</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>1</td>
      <td>日経225（日経平均株価）</td>
      <td>東証</td>
      <td>株価指数</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
    </tr>
    <tr>
      <th>1</th>
      <td>2</td>
      <td>TOPIX（東証株価指数）</td>
      <td>東証</td>
      <td>株価指数</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
      <td>-</td>
    </tr>
    <tr>
      <th>2</th>
      <td>1301</td>
      <td>極洋</td>
      <td>東証一部</td>
      <td>水産・農林</td>
      <td>42948</td>
      <td>10928283</td>
      <td>1.53</td>
      <td>60.00</td>
      <td>15.29</td>
      <td>1.49</td>
      <td>257.01</td>
      <td>2644.98</td>
      <td>393000</td>
      <td>100</td>
      <td>2018/1/10</td>
      <td>4460</td>
      <td>2017/1/18</td>
      <td>2681</td>
    </tr>
  </tbody>
</table>




```python
df2.head(3)
```


<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>SC</th>
      <th>名称</th>
      <th>決算期</th>
      <th>決算発表日(本決算)</th>
      <th>売上高(百万円)</th>
      <th>営業利益(百万円)</th>
      <th>経常利益(百万円)</th>
      <th>当期利益(百万円)</th>
      <th>総資産(百万円)</th>
      <th>自己資本(百万円)</th>
      <th>資本金(百万円)</th>
      <th>有利子負債(百万円)</th>
      <th>自己資本比率</th>
      <th>ROE</th>
      <th>ROA</th>
      <th>発行済株式数</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>2788</td>
      <td>アップルインターナショナル</td>
      <td>2017/12</td>
      <td>2018/02/19</td>
      <td>13634</td>
      <td>325</td>
      <td>335</td>
      <td>204</td>
      <td>8230</td>
      <td>7357</td>
      <td>4322</td>
      <td>1476</td>
      <td>89.40</td>
      <td>2.86</td>
      <td>2.58</td>
      <td>13841400</td>
    </tr>
    <tr>
      <th>1</th>
      <td>5101</td>
      <td>横浜ゴム</td>
      <td>2017/12</td>
      <td>2018/02/19</td>
      <td>668049</td>
      <td>51933</td>
      <td>52887</td>
      <td>35217</td>
      <td>929029</td>
      <td>383925</td>
      <td>38909</td>
      <td>315916</td>
      <td>41.30</td>
      <td>9.61</td>
      <td>3.84</td>
      <td>169549081</td>
    </tr>
    <tr>
      <th>2</th>
      <td>6278</td>
      <td>ユニオンツール</td>
      <td>2017/12</td>
      <td>2018/02/19</td>
      <td>23188</td>
      <td>3698</td>
      <td>3718</td>
      <td>2655</td>
      <td>57605</td>
      <td>52440</td>
      <td>2998</td>
      <td>-</td>
      <td>91.00</td>
      <td>5.22</td>
      <td>4.81</td>
      <td>20788590</td>
    </tr>
  </tbody>
</table>



### データの結合
まず、別々に読み込んだデータフレームを結合します。
結合するためには、データフレームのmerge関数を利用します。
merge関数では、SQLの外部結合みたいな指定もできます。今回は、SQLでいう内部結合で結合キーはSCになります。


```python
df_merged = pd.merge(df1, df2, how='inner', on='SC')
df_merged.head(3)
```



<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>SC</th>
      <th>名称_x</th>
      <th>市場</th>
      <th>業種</th>
      <th>時価総額(百万円)</th>
      <th>発行済株式数_x</th>
      <th>配当利回り</th>
      <th>1株配当</th>
      <th>PER（予想）</th>
      <th>PBR（実績）</th>
      <th>...</th>
      <th>経常利益(百万円)</th>
      <th>当期利益(百万円)</th>
      <th>総資産(百万円)</th>
      <th>自己資本(百万円)</th>
      <th>資本金(百万円)</th>
      <th>有利子負債(百万円)</th>
      <th>自己資本比率</th>
      <th>ROE</th>
      <th>ROA</th>
      <th>発行済株式数_y</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>0</th>
      <td>1301</td>
      <td>極洋</td>
      <td>東証一部</td>
      <td>水産・農林</td>
      <td>42948</td>
      <td>10928283</td>
      <td>1.53</td>
      <td>60.00</td>
      <td>15.29</td>
      <td>1.49</td>
      <td>...</td>
      <td>3709</td>
      <td>2422</td>
      <td>97391</td>
      <td>24976</td>
      <td>5664</td>
      <td>50919</td>
      <td>25.60</td>
      <td>10.19</td>
      <td>2.52</td>
      <td>10928283</td>
    </tr>
    <tr>
      <th>1</th>
      <td>1332</td>
      <td>日本水産</td>
      <td>東証一部</td>
      <td>水産・農林</td>
      <td>171524</td>
      <td>312430277</td>
      <td>1.46</td>
      <td>8.00</td>
      <td>8.55</td>
      <td>1.22</td>
      <td>...</td>
      <td>24884</td>
      <td>14216</td>
      <td>451876</td>
      <td>120973</td>
      <td>30685</td>
      <td>207749</td>
      <td>26.80</td>
      <td>13.17</td>
      <td>3.17</td>
      <td>312430277</td>
    </tr>
    <tr>
      <th>2</th>
      <td>1333</td>
      <td>マルハニチロ</td>
      <td>東証一部</td>
      <td>水産・農林</td>
      <td>169292</td>
      <td>52656910</td>
      <td>1.24</td>
      <td>40.00</td>
      <td>10.92</td>
      <td>1.46</td>
      <td>...</td>
      <td>27874</td>
      <td>15446</td>
      <td>501303</td>
      <td>100664</td>
      <td>20000</td>
      <td>272208</td>
      <td>20.10</td>
      <td>16.62</td>
      <td>3.13</td>
      <td>52656910</td>
    </tr>
  </tbody>
</table>



### 欠損値の削除
次は、欠損値を削除していきます。また、時価総額に比例する変数xを何にするか決めていないので、まずは、「経常利益(百万円)」、「営業利益(百万円)」、「当期利益(百万円)」の3つを候補にしてこの3つのカラムで欠損値がないデータを対象にしようと思います。
まずは、欠損値がある行を含む行数を確認します。


```python
len(df_merged)
```




    3695




```python
# 欠損値を削除していきます。
# 対象のデータでは、欠損値が「-」で登録されているので「-」以外の行を対象にします。
df_removed = df_merged[df_merged['経常利益(百万円)'] != '-']
df_removed = df_removed[df_removed['営業利益(百万円)'] != '-']
df_removed = df_removed[df_removed['当期利益(百万円)'] != '-']
len(df_removed)
```




    3594



これで約100行を削除できました。

### 型の変換
カラムの型を確認します。


```python
df_removed.dtypes [['経常利益(百万円)', '営業利益(百万円)', '当期利益(百万円)', '時価総額(百万円)']]
```




    経常利益(百万円)     int32
    営業利益(百万円)     int32
    当期利益(百万円)     int32
    時価総額(百万円)    object
    dtype: object



型を確認してみると、objectとなっています。
これは、欠損値として「-」が登録されていたので数値と文字が混じっていると判断され何でもという意味のobjectになっています。
これを、数値型に変換します。


```python
# 各カラムを数値に変換します。
df_removed = df_removed.astype({'SC':'object', '経常利益(百万円)':'int', '営業利益(百万円)':'int', '当期利益(百万円)':'int', '時価総額(百万円)':'int'})
df_removed.dtypes [['経常利益(百万円)', '営業利益(百万円)', '当期利益(百万円)', '時価総額(百万円)']]
```




    経常利益(百万円)    int32
    営業利益(百万円)    int32
    当期利益(百万円)    int32
    時価総額(百万円)    int32
    dtype: object



### 相関関係を見てみる
相関関係をみて、時価総額を求めるために最も関連のあるカラムを選択します。
相関関係を判定するために相関係数を使用すると良いです。1に近いほど関係性があり、0に近いほど関連がありません。
DataFrameでは、corrというメソッドを使用するとみることができます。


```python
df_target = df_removed [['SC', '名称_x', '市場', '業種', '経常利益(百万円)', '営業利益(百万円)', '当期利益(百万円)', '時価総額(百万円)']]
df_target.corr()
```




<table border="1" class="dataframe">
  <thead>
    <tr style="text-align: right;">
      <th></th>
      <th>経常利益(百万円)</th>
      <th>営業利益(百万円)</th>
      <th>当期利益(百万円)</th>
      <th>時価総額(百万円)</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <th>経常利益(百万円)</th>
      <td>1.000000</td>
      <td>0.989025</td>
      <td>0.893595</td>
      <td>0.908569</td>
    </tr>
    <tr>
      <th>営業利益(百万円)</th>
      <td>0.989025</td>
      <td>1.000000</td>
      <td>0.895535</td>
      <td>0.906487</td>
    </tr>
    <tr>
      <th>当期利益(百万円)</th>
      <td>0.893595</td>
      <td>0.895535</td>
      <td>1.000000</td>
      <td>0.842074</td>
    </tr>
    <tr>
      <th>時価総額(百万円)</th>
      <td>0.908569</td>
      <td>0.906487</td>
      <td>0.842074</td>
      <td>1.000000</td>
    </tr>
  </tbody>
</table>



この値を見てみると時価総額(百万円)に対して、経常利益(百万円)が一番相関関係が高いので経常利益(百万円)から時価総額を予測するための変数aを求めたいと思います。


```python
# センタリングを実施
# mean関数を使用することで平均値を求めることができます。
df_target.mean()
```




    SC             5732.019755
    経常利益(百万円)     14613.265442
    営業利益(百万円)     14226.430161
    当期利益(百万円)      9506.916249
    時価総額(百万円)    183635.331107
    dtype: float64




```python
# dataFrame同士を引き算するだけで、各行づつ自動で計算してくれます。
x = df_target['経常利益(百万円)']
y = df_target['時価総額(百万円)']
xc = x - x.mean()
yc = y - y.mean()
```

```math
a  = \frac{\sum_{n=1}^N (実測値_n * 入力値x_n)}{\sum_{n=1}^N (入力値x_n^2)}
```

なので、aは以下で求められます。


```python
a = (yc * xc).sum()/(xc * xc).sum()
a
```




    9.3824176098557999




```python
# matplotlibを使用して、計算した結果を表示します。
# 実際のデータの位置を散布図で表示します。
plt.scatter(x, y, label='actual')
# 変数aに基づき、予測値の一次関数のグラフを表示します。
plt.plot(x, a*x, label='predict', color='red')
# 判例をグラフにプロット
plt.legend()
plt.show()

```

![output_26_0.png](https://qiita-image-store.s3.amazonaws.com/0/159893/a8f9b496-76a0-ba31-b5f5-c1e01890333b.png)

このように赤線が予測のラインです。

以下の計算で実際の時価総額を予測できます。
業種を絞って、計算してみるとか、もっと工夫しないと全然精度の高い予測はできませんが、ひとまずこんな感じで予測できました。

```py
predict = a * (df_target['経常利益(百万円)'] - df_target['経常利益(百万円)'].mean()) + df_target['時価総額(百万円)'].mean()
```

次は、重回帰分析を勉強していきたいと思います。