統計のアウトプット

機械学習エンジニアになるために、統計について勉強した分をまとめてアウトプットします。アウトプットがあれば随時更新します。
11/27更新

# 統計とは
記述統計と推測統計の２つに分類できる。

記述統計：手元のデータから、そのデータの特徴を説明するための統計。平均や分散、散布図、ヒストグラム（いわゆる、数値要約する）など人にわかりやすく、かつデータの特徴を掴めるようにデータを可視化する。

推測統計：手元のデータ（サンプル）から、手元のデータが取れた元となる集団（母集団のこと）を推測する統計。

母集団：統計屋が知りたい集団のこと。基本的には完全に知ることができないので、サンプルからどのような集団になっているのかを推測する。

サンプリング：母集団からデータを取得すること

サンプル：母集団からサンプリングしたデータのこと。標本のこと

確率分布：後程


### 統計でよく出る考え方
「母集団からサンプリングし、サンプルを作成し、そのサンプルがどのような確率分布に従うか」
というものがある。統計の用語や考え方を抑えるには、今自分がどの段階にいるのか（母集団やサンプリング、サンプル、サンプルが従う確率分布）を明確にしていくと理解が捗る。

順を追って説明すると、
①下写真のように母集団からサンプルを作成し、サンプルから母集団のパラメータ（今回は母平均）を推測したいとする。
![計算メモラ-99.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2707093/93481d8c-c9f8-228b-2f23-7b4d1d6c382c.jpeg)
②急な話の展開になるが、このときxbar(標本平均)が従っている確率分布を考える。xbarの確率分布を考えるには、仮に何度もサンプルを作成し、各サンプルのxbarをとったとき、そのxbarがどのような確率分布に従うかを考える。イメージは下写真の通りになる。
![計算メモラ-99.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2707093/d2be4800-e100-9c79-ee05-716ac9e61e8b.jpeg)
③この確率分布は実は計算することができ、計算結果によって出てきた確率分布を元に、パラメータを推測するというのが統計のやっていること。


# 確率分布
確率変数：ランダムな値をとる変数のこと

確率分布：確率変数が従う分布のこと。サイコロの目のような離散型確率分布と、正規分布のような連続型確率分布がある。

確率分布の代表例
正規分布：一番有名なやつ。人の身長などをデータとして取ると正規分布に従う。
２項分布：コイン投のような裏・表の２通りの結果しか出ないような試行において、その結果が従う確率分布
ポアソン分布：２項分布の試行回数を大きくして、調べたい確率を小さくしたときに従う分布。工場での不良品検出などで利用できる。
カイ２乗分布：標準正規分布からランダムに値をとる（x１、x２、x３、、、）。このときZ＝（x１）＾２＋（x２）＾２＋（x３）＾２・・・とすると、Zは自由度n-1のカイ２乗分布に従う。
・
・
・
とたくさんあります。スーパーマンは自分自身で確率分布を作ることができるらしいですが、ひとまず、よく使う分布を覚える。

# 平均、分散、標準偏差
記述統計での代表的なもの。離散型確率分布と連続型確率分布で計算式が変わってくる。

![計算メモラ-99.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2707093/5736829f-42b4-5bff-1139-b73165587413.jpeg)
分散の別の計算方法として、２乗の期待値から期待値の２乗を引くと求めることができる。
個人的なアウトプットのために導出の過程を記述。
![計算メモラ-99 2.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2707093/815fc3e0-8d37-26bb-db01-56d9ddffc47b.jpeg)

# 相関係数、共分散
２つの変数間の値にどのような相関があるかを数値化したもの。
注意点として、
・因果関係と混同しないこと。
・相関係数だけではなく、散布図も一緒に確認すること。
![計算メモラ-99 3.jpg](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2707093/af9b5018-9788-4e8e-219a-5e302fafe3b3.jpeg)
共分散

相関係数
量的変数同士の相関を求める

相関比
質的変数と量的変数の相関を求める
平方和分解の考え方について
https://rikunora.hatenablog.com/entry/20131202/p1

クラメールの連関相関
２つの量的変数の結びつきの強さを示す指標
クロス集計表

押さえておきたい分布

ベルヌーイ分布


二項分布
X〜B（n,p）
平均値、分散

ポアソン分布
X~P(n,p)
平均値、分散

標本分布
パラメータを推定する際に、サンプルを作る。サンプリングが全数調査でない場合、パラメータは推定量となる。
推定量になるということは、推定量はある確率分布からランダムに取れた値と考えることができる。
また、この推定量が持つ確率分布のことを標本分布と呼ぶ。この考え方が中心極限定理につながる。

中心極限定理
サンプリングで得た推定量xがx~N(μ,σ＾２/n)の確率分布に従う。
母集団に平均と分散が存在することが前提だが、その２つを持ってさえすれば、母集団がどんな分布だろうが、推定量は正規分布に従う。

（証明）
母集団からX1,X2・・・,Xnとサンプルを得られたと仮定したとき、X1,X2,・・・Xnの確率分布は

コーシー分布は中心極限定理が成立しない。

# 推定量
パラメータを推定するにあたって、どのような推定量を利用すると妥当なのか。基本的に以下２つの性質を満たすのが望ましい。
・不偏性＝標本の推定量とパラメータの期待値が一致する性質。例えば、標本平均と母平均とか。
```math
    E[\hat{\theta}] = \theta　(\hat{\theta}は推定量、\thetaは母集団の何らかのパラメータ)
```
・一致性＝サンプルサイズ（n）を無限大まで増やした時、パラメータと推定量が一致する性質。
```math
\hat{\theta} = \theta (n→∞)
```

# 不偏分散
（証明）

他、最小分散性（効率性）、漸近正規性、十分性、線形推定量などの満たすべき性質がある。

推定

母平均の推定（t検定）
母分散がわかる時
統計検定量＝

標本の不偏分散を使う時
統計検定量＝t分布（df＝n-1）

母平均の差の検定
検定統計量は？
ウェルチの検定

母分散の推定
かい＾２分布（df=n-1）に従う。

母比率の推定
標本比率の確率分布p

ディズニーの支持率を９５％信頼区間が幅0.１以下になるようなサンプルサイズを求めたい。

統計的仮説検定
手順

type１errorとtype２error

検出力

母平均の差の検定（2-sample-t-test）
帰無仮説：２つの母平均に差はない。
利用する検定統計量：t分布

母平均の差の検定２（独立性の検定、かい２乗検定）
クロス集計表で２つの集団に差があるか確認するために利用する。
帰無仮説：２つの集団に差はない
利用する統計量：かい２乗分布

母分散の差の検定


母比率の差の検定

分散分析
３群以上の平均に差がないか検証するために利用する。
帰無仮説：各クラスで平均に差がない
利用する分布：F分布（自由度：クラスの自由度(クラスの数-1),残差の自由度(データ全体の自由度-(クラスの数-1))）
わかりやすいサイト
https://bellcurve.jp/statistics/course/10006.html

各水準の母平均の信頼区間を求める場合はt分布を利用する。利用するのはクラス内平均、残差の自由度、残差の平均平方（残差/残差の自由度）。