記述統計超入門


# 記述統計とは？
統計は主に記述統計と推測統計に分類できます。
* 記述統計：データの集団（母集団）の特徴を把握
* 推測統計：一定数のデータ（標本）をもとにデータの集団（母集団）について推測する

今回は主に、記述統計を取り扱っていきます。
また、データの集合のことを統計学で一般的に用いられる**母集団**で呼んでいきます。

記述統計についてですが、「母集団の特徴を把握する」方法として様々な値があります。
「平均値、四分位数、中央値、最小・最大値、分散、標準偏差・・・」
これらを合わせて**母集団を要約した統計量**という意味の**要約統計量**といいます

要約統計量を用いて、以下のようにして母集団の特徴を掴みます。

![記述統計イメージ図.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/945f3671-09c3-a1fb-ddab-95d613e54814.png)


今回は
* 要約統計量の重要な値である平均値と分散、標準偏差。
* 統計学の大前提である標準正規分布と正規分布

の大きく分けて二点について説明していきます。

# 平均値について
平均にも様々な種類があり、

1. 算術平均
1. 幾何平均
1. 調和平均

有名なものとして以上の3つがあります。

## 1 算術平均
算術平均は平均といわれたら真っ先に思い浮かべるデータを足し合わせていき最後にデータ数で割って求められる値のことです。
式にすると以下の通りになります。
```math
\mu = \frac{1}{n}\sum_{i=1}^nx_i　
```

## 2 幾何平均
幾何平均はパーセンテージ（％）の平均を求めます。
変化率の平均ともいわれ、成長率などを求めるのによく使用されます。
計算方法はn個の数の積のn乗根で計算します
```math
 \mu =　^n\sqrt{x_i  \times  x_{i+1} ・・・x_n }
```

## 3 調和平均
データの逆数の平均のそのまた逆数を計算したものです
有名なのは速度の問題で「〇〇kmを行きは時速△△km、帰りは時速◇◇kmで往復した場合の平均の速さはいくつでしょうか？」などのような問題で使用されます。
計算方法はデータの逆数のそのまた逆数を計算します。
```math
 \mu =　\frac{n}{\frac{1}{x_i} + \frac{1}{x_i+1} ・・・\frac{1}{x_n}}
```

# 分散、標準偏差について
平均値付近にデータがどれくらい固まっているかを把握するために分散を、
その値が母集団においてどの程度特殊なのかを把握するために標準偏差が使用されます。
1. 偏差
2. 分散
3. 標準偏差

の順番で説明していきます。

## 1 偏差<br>
偏差は**平均 - データ**で求めることができます。
数式は以下になります
```math
x_i - \mu
```
偏差によって、
* データが平均値からどの程度離れているか
* 偏差 < 0 の場合、平均よりどのくらい小さい
* 偏差 > 0 の場合、平均よりどのくらい大きい

などを掴むことができます

## 2 分散
分散は**偏差の二乗の合計**で求めることができます。
二乗することによって偏差のマイナスの値を打ち消し、
単位は異なってしまいますが、平均からの相対的な距離はたもつことができます。
数式は以下になります。
```math
σ^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \mu)^2　
```
分散によって、
* データが平均値周辺にどの程度集まっているか
* 分散が大きい場合、データが広く分布している
* 分散が小さい場合、データが平均値付近に多く分布している

などを掴むことができます。
しかし、分散の場合には二乗するため**単位が異なってしまう**という問題点もあります。

## 3 標準偏差
標準偏差は**分散に対して平方根をもとめたもの**です。
分散は符号の違いを打ち消してくれますが、二乗によって単位が変わってしまいます。
そこで、今度は二乗を打ち消すために平方根をとります。
数式は以下になります。<br>
```math
σ = \sqrtσ^2
```
これにより、分散の問題点であった単位が異なるという問題を解決することができます。

また、標準偏差を使用して**ある値が母集団から見て特殊な値であるか否か**を確認することができます。
以下の法則をもとに、平均値と標準偏差には以下の法則があります。

![68.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/e437175b-f54a-217b-d6fa-05a25098fdb6.png)
1. 平均値-標準偏差 > 平均 < 平均+標準偏差 の範囲内にデータの **約68%** が集まります。


<br>
<br>

![95.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/76806d8d-73cb-6a3c-6271-6efe67d8b494.png)
2. 平均値-(標準偏差×2) > 平均 < 平均+(標準偏差×2) の範囲内にはデータの **約95%** が集まります。

<br>


以上の二つ別の角度から解釈してみると<br>

![32.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/e2430970-1336-3ec2-0be5-a29cd03358c6.png)

1. 平均値-標準偏差 > 平均 < 平均+標準偏差 の範囲外にデータの **約32%** が集まります

<br>
<br>

![5.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/4eb3c8b0-ae0e-9370-acb2-7ae5f284b36b.png)

2. 平均値-(標準偏差×2) > 平均 < 平均+(標準偏差×2)の範囲外にはデータの **約5%** が集まります

<br>

というようにも解釈することができます。

以上の法則を用いることで、あるデータが
* 普通の値なのか（約68%の確率で発生）
* 少し珍しいのか（約32%の確率で発生）
* かなり珍しいのか（約5%の確率で発生）

など大まかな値の特殊性を確認することができます


# 標準正規分布

標準正規分布について説明するために、

1. 標準化
2. 標準正規分布

の順番で説明していきます。


## 1.標準化

標準化は**偏差÷標準偏差**で求めることができます。
元々の母集団がどのような分布をしていても、標準化を行うと
* 平均：0
* 標準偏差：1

の特徴を持ったデータ分布になります。
ここで重要なのは、**元々の母集団がどのような分布をしていても**の部分です。
そのため、元々のデータの単位や平均値を知らなくとも標準化された値を見ることで大体のデータの特殊性を見抜くことができます。


## 2.標準正規分布
標準化された値の相対度数分布を取り、グラフ化したら以下のようになります。
![正規分布.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/b6cc6153-a29d-ee2a-ece2-d8c2ed371c8b.png)
標準正規分布のグラフのX軸は標準偏差の相対度数、Y軸は確率を表す確率密度となっています。
この形状は、標準化することで元々の母集団の分布がどのような形状をしていても平均が0で標準偏差が1の値の特徴を持った母集団に変換されるため、非常に似た形状のグラフになります。
特に元々の母集団の分布が一峰性であれば、形までほぼ一致します。
このような平均0、標準偏差1の分布形態を標準正規分布と呼びます。

標準正規分布では以下のように、**ある地点で区切って求めた面積はその区間内のデータが発生する確率**とすることができます。
![標準正規分布の活用方法.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/670347/82071d41-5daa-d40c-2469-1a47e2424586.png)

以上のように、標準正規分布を使用することで標準偏差よりもより詳しい値の発生確率についての考察が可能です。

# 補足（標準化と機械学習）
機械学習などにおいて、予測で扱うための量的データ（足したり割ったりすることができるデータ）に対して標準化することが非常に多いです
理由としては、機械学習はベイズ統計など統計学をもとにした学問のためです。

例を交えて言うと、「80」という数字は大きいでしょうか？小さいでしょうか？それとも平均的な値なのでしょうか？
80という数字だけでは、読み取れないと思います
なぜなら、80という数字だけでは点数なのかお金なのか、距離なのかなどの単位がありません。
また円などの単位があっても、大人からすると80円は少額ですが、幼稚園や小学校低学年の子供からしたらきっと大金でしょう。
このように量的データをもとに予測しようとしても単位や客観的視点の基準となる代表値がわからないため、80という数値をどのようにして判断してよいか迷ってしまいます。
そこで標準化を行うのです。
80を標準化し2.2という値になったとしましょう。
そうすると2.2は標準偏差の2倍以上なため全体の5%以内に入る特殊な値だとわかります。
機械学習などでデータをプログラムに読み込ませる際には単位や代表値などの情報渡すことができません。標準化した値を渡すことでその値が平均的なのか、特殊なのかを簡単に理解できます。
これらのことから、**機械学習では予測に使用する量的データは標準化して渡すことが多い**です。

予測で扱うための量的データを標準化することで
* 学習速度が速くなる
* より高精度の人工知能モデルを作成できる

などのメリットがあります。