The Vision/統計・機械学習日誌～斯くして、私はデータサイエンティストになるのか～

#　統計学を学びはじめる　#2

Hi!

2回目データサイエンス活動、略して”デーかつ”。いっきまーす☆


本日の内容は、、、、、、


記述統計


⑴前回紹介した

[大学4年間の統計学が10時間でざっと学べる](https://www.amazon.co.jp/%E5%A4%A7%E5%AD%A64%E5%B9%B4%E9%96%93%E3%81%AE%E7%B5%B1%E8%A8%88%E5%AD%A6%E3%81%8C10%E6%99%82%E9%96%93%E3%81%A7%E3%81%96%E3%81%A3%E3%81%A8%E5%AD%A6%E3%81%B9%E3%82%8B-%E5%80%89%E7%94%B0-%E5%8D%9A%E5%8F%B2/dp/4046020008)(以降は”大学4年間”と略)


のP.75まで。



[マセマ](https://www.amazon.co.jp/%E3%82%B9%E3%83%90%E3%83%A9%E3%82%B7%E3%82%AF%E5%AE%9F%E5%8A%9B%E3%81%8C%E3%81%A4%E3%81%8F%E3%81%A8%E8%A9%95%E5%88%A4%E3%81%AE%E7%B5%B1%E8%A8%88%E5%AD%A6%E3%82%AD%E3%83%A3%E3%83%B3%E3%83%91%E3%82%B9%E3%83%BB%E3%82%BC%E3%83%9F%E2%80%95%E5%A4%A7%E5%AD%A6%E3%81%AE%E6%95%B0%E5%AD%A6%E3%81%8C%E3%81%93%E3%82%93%E3%81%AA%E3%81%AB%E5%88%86%E3%81%8B%E3%82%8B-%E5%8D%98%E4%BD%8D%E3%81%AA%E3%82%93%E3%81%A6%E6%A5%BD%E3%81%AB%E5%8F%96%E3%82%8C%E3%82%8B-%E9%A6%AC%E5%A0%B4-%E6%95%AC%E4%B9%8B/dp/4944178778)なら講義6。



[統計学基礎](https://www.amazon.co.jp/%E6%94%B9%E8%A8%82%E7%89%88-%E6%97%A5%E6%9C%AC%E7%B5%B1%E8%A8%88%E5%AD%A6%E4%BC%9A%E5%85%AC%E5%BC%8F%E8%AA%8D%E5%AE%9A-%E7%B5%B1%E8%A8%88%E6%A4%9C%E5%AE%9A2%E7%B4%9A%E5%AF%BE%E5%BF%9C-%E7%B5%B1%E8%A8%88%E5%AD%A6%E5%9F%BA%E7%A4%8E-%E7%94%B0%E4%B8%AD%E8%B1%8A/dp/4489022271/ref=pd_lpo_sbs_14_img_1?_encoding=UTF8&psc=1&refRID=8PEZDYY9GTP1QJ11WK79)なら大体P.35ぐらい。



⑵目的は
各用語の整理、共分散(covariance)、標準偏差(S.D. or standard deviation)
盲点ついてくぜ

良し行くぞ




#＜＜＜用語の整理＞＞＞

・記述統計(descriptive statistics)→データ集団の性質を統計的記述方法で理解する方法。
もう一個は推測統計(inferential statistics)っていって、母集団についての情報の推測をする。

！「母集団」＝「データの元集団」

⇒つまり、
[記述統計：データの特徴を理解]⇔[推測統計：データの母集団について考察]


一般的に世間で言われる「統計～調査」とかは推測統計のことをさすことが多い。


・データ

観測とかして数値的なデータ→量的データ
属性、項目、カテゴリー→質的データ

の2種類


・名義尺度、順序尺度、間隔尺度、比尺度 とかってあるんだけど重要なのは、比尺度には原点があるということ。

名義尺度、順序尺度が質的変量で、間隔尺度、比尺度が量的変量。

・量的データを表現するのにあたって、"度数分布表"と"ヒストグラム"は超重要。


・平均(mean)

```math
\overline {x}=\dfrac {1}{n}\sum ^{n}_{i=1}x_{i}
```

・平均からの偏差(deviation：平均からどんだけ離れてるか)を分散(variance)っていう


```math
s^{2}=\dfrac {1}{n}\sum ^{n}_{i=1}\left( x_{i}-\overline {x}\right)^{2} = \dfrac {1}{n}\sum ^{n}_{i=1}x^{2}_{i} - \overline{x}^{2}
```

こうすることで、データがどのくらいの割合で分布しているか見れる。<font color="DeepPink">"右端の式は今後よく出てくるから覚えておくように！"</font>計算はマセマのP.145よんでね。





分散の値のままだと、次元(単位)が2乗のまんまだから、平方根をとって標準偏差(S.D.)とする

```math
S.D=s=\sqrt {s^{2}}=\sqrt {\dfrac {1}{n}\sum ^{n}_{i=1}\left( x_{i}-\overline {x}\right) ^{2}}
```

こうすりゃ、元データとの単位もあいますと。


・メディアンはデータを大きさ順に並べた時、中間の位置にある値。
・モードは最頻値のことで、要は度数の一番高いやつ
#ヒストグラムる


まずはExcelでつくってみる

![スクリーンショット (113).png](https://qiita-image-store.s3.amazonaws.com/0/377205/f8195c4b-b01e-c9b4-18e5-be2cd2b0651c.png)
・
・
・
![スクリーンショット (112).png](https://qiita-image-store.s3.amazonaws.com/0/377205/0db9da44-0554-cf85-a0a0-435c4885f98a.png)


こんなデータがありますと。


度数分布表は最大値(MAX)と最小値(min)の間をいくつかの階級(class)に分けて、それぞれの階級に含まれる度数(frequency)をカウント。
今回はMAXが150000で、minが68000。俺の家賃は最小値笑

実際、こんな風にして、
![スクリーンショット (116).png](https://qiita-image-store.s3.amazonaws.com/0/377205/5efcd3d6-0702-620f-0d05-d234b638cdec.png)


[度数分布表](https://bellcurve.jp/statistics/blog/15352.html)ができまして、

ヒストグラムがこんな感じ。

![スクリーンショット (118).png](https://qiita-image-store.s3.amazonaws.com/0/377205/14ac859f-639a-ba29-8624-4834ca4f7197.png)

こういう基礎は、後々習えなくなるもんだから、今のうちに習熟しておこうね。


次回はいよいよ、最小二乗法！！

乞うご期待！


Go Beyond the limits