統計学 メモ

# 統計学

### 標本

母集団の中の一部のデータ

### 標本平均

標本の平均

### 標本分散

それぞれのデータの標本平均からのズレの２乗の平均
{(A-平均)^2+(B-平均)^2}/個数

### 標本標準偏差

s
√標本分散
るーとになると絶対値になる

### 標本不偏分散

標本のデータのばらつきだが、より母分散に近い値。
u^2 = 標本分散*データの個数/データの個数-1

### 標本不偏分散の標準偏差（標本不偏標準偏差）

u = √標本不偏分散
るーとになると絶対値になる

### 母集団

ターゲット集団全体。
この中の一部が標本。

### 母平均

母集団の平均。

### X

主題

### x

データ一つ

### 確率変数

X=x

### 密度関数

統計データを曲線にする関数

### 確率分布

密度関数によってあらわされる図

### 確率分布の面積（積分）

実際の確率

### ガウス分布

もっとも有名でよく使われる密度関数
N(μ, σ^2)

### 母平均

ガウス分布の中央値
μ

### 分散

σ^2 = {(A-母平均)^2+(B-母平均)^2}/個数
ガウス分布における中央値からのズレ
x = μ+σの時に曲線の角度が90度になる（積分が0）

### 標準偏差

σ = √母分散

### x = μ+3σの時のy

ほとんど0

### 標準正規分布

ガウス分布が複雑すぎて積分できないので、シンプルにした密度関数。
μを0、σを1としたガウス分布。
ガウス分布のxを標準正規分布のzとする。
z = x - μ / σ
これを標準化という。

### -3σから+3σまでの範囲でほとんど100%になる。（実値：0.997）

それを外れると「外れ値」と呼ばれることになる。
-5σから+5σを外れると「異常値」と呼ばれることになる。

### 人間が決めた誤差を「仕様」という。

仕様を外れた商品は販売できない。

### 仕様は人間が決める

仕様(SP) = μ-+ERROR (ERRORは人が決める)

### 自然なばらつき：μ-+3σ (正方向の3σと負方向の3σでシックスシグマと呼ばれる)

### SPがシックスシグマより外にある場合には、

シックスシグマを出ても外れ値にも異常値にもならない。

### X~N(μ, σ^2)のとき

avg(X)~N(μ, σ^2/n)

### (x1 + x2 + ... + xn) / n == avg(x)

x1 + x2 + ... + xn を めもりにするとき、山形になる。
写真参照

### パーソナルデータ

個人データ。
その個人の過去データがビッグデータになる。

### projection(射影)

2次元から1次元には落とせるが逆は不可

### F={1,2}, X={1,2} のとき P(F=1) の確率は P(X=1, F=1)+P(X=2, F=1)

### 条件付き確率

F=1という条件の下で（F=2という可能性を排除した世界で）、P(X=1) である可能性を P(X=1|F=1) と書く。これを条件付き確率という。
そのとき、 P(X=1|F=1) = P(X=1, F=1)/P(F=1)。
パーソナルデータを統計するときに条件付き確率はよく使われる。

### データ同化

モデルをデータに近づけること
世界の統計結果と自分の体験知識をくっ付ける

### ベイズの定理

DのもとでHである確率 = HのもとでDである確率 / Dである確率

### ベイズ更新

ベイズの定理を利用して出した確率を、「事前確率」として更にベイズの定理を計算すること。
これを繰り返せば繰り返すほど、精度が上がっていく。

### ニューラルネットワーク

統計学によく使われる、人間の脳と似た構造のネットワーク。
その中にベイジアンネットという、ベイズ統計学によく使われる考え方がある。

### 統計学とベイズ統計学

母集団 = ターゲット集団
母集団の平均を母平均という。
母平均は統計学では一つの固定した値。
母平均はベイズ統計学では確率変数で、確率分布に従う。
統計学：設備の温度の平均は時によってまばらだが、「確率1で100度」というように（月に毎週朝、温度を測って）仮定して、その仮定の集まり（標本）を使用して推定する。
ベイズ統計学：設備の温度は確率変数で100度である確率は90%、100度でない可能性も存在する。標本を取り、温度を推定するのではなくて、温度と確率密度関数のセット"確率分布"(x%でy度)を使用して推定する。

# ベイズ統計学の基礎

データをD、モデルmにおけるパラメータをwとする。
モデル：統計の主題。例えば「浮気の確率について」など。
パラメータ：モデルのパラメータ。例えば浮気をしてるかしてないか。

### 事前分布

p(w|m)。
証拠が見つかる前の浮気してる確率。

### 尤度

p(D|w,m)。
あるパラメータにおけるデータの尤も（もっとも）らしさ。

### 事後分布

p(w|D,m)。
証拠が見つかった後の浮気してる確率。

### エビデンス

p(D|m)。
データの周辺尤度。
データに対するモデルの尤もらしさ。

### ベイズの定理

事後分布 = (尤度*事前分布)/エビデンス

### 推定

統計学（ベイズは含めない）でよく使われる。
白黒つけたがる。

### 最尤推定

あるデータからパラメータを推定すること。
データから浮気をしてるかしてないかを推定すること。

### MAP推定

最大事後確率推定。
事後確率の高い方の確率をとるということ。

### 予測分布

新たなデータ（新たな浮気の証拠の存在）を予測する分布。

### ベイズ推定

事前分布を考えて事後分布を推定すること。

### ニューラルネットとベイジアンネットの違い

NNは一つ一つのニューロンに対して数値が設定されるが、
BNは数値ではなく、確率分布が設定される。
BNはパラメータの事前分布を考えるNN。

### ライブラリ

https://github.com/blei-lab/edward

### クロス集計は

棒グラフ

### 変化の様子もみたいときは

面グラフ
帯グラフ

### 結果が1種類の時は

比較が目的->棒グラフ
変化の様子（トレンド）->折れ線グラフ

### 結果が複数種類の時は

比較が目的 -> 折れ線グラフ（多分）（もしかしたら棒グラフかも？）
変化の様子（トレンド）-> 帯グラフ（|面グラフ）

### 回帰直線

散布図に線を引いたやつ

### 無作為標本抽出

無作為に取り出したデータ

### 母平均や母分散は一般には測定不可能（未知）。

標本平均や(標本分散|標本不偏分散)から推定する。

### 根源事象

サイコロの確率で例えれば
1,2,3,4,5,6。

### 標本空間

サイコロの確率で例えれば
U={1,2,3,4,5,6}

### 事象

Uの一部
例：偶数の出目

### 数学的確率

Uのうちの何％か。

### 統計的確率

サイコロを何回も投げて偶数が何回出たか数える

### 確率の公理

0以上1以下、ある事象が起きる確率は重複しない事象の要素の確率の和

### 確率平均・期待値（母平均の近似）

U = {1,2,3,4,5,6}のとき
P(1) = 1/6
P(2) = 1/6
...
P(6) = 1/6
で、そのときの母平均の近似（確率平均/期待値）は
1*P(1)+2*P(2)+3*P(3)+...6*P(6)

###