「統計分析」

九州⼤学 ⼤学院システム情報科学研究院
情報知能⼯学部⾨
データサイエンス実践特別講座
備瀬⻯⾺, Diego Thomas, 正井克俊

本⽇の内容 統計分析
確率と確率分布
信頼区間
平均の差の検定（ t 検定）
分散分析
その他の統計分析

2

確率と確率分布

頻度〜わかりやすい場合
 さいころを1000回振って出た⽬の回数
 「1」が168回，「2」が164回， ...， 「6」が164回

 5段階アンケートの回答結果の集計
 「⾮常によい」が103名，「よい」が30名，...,「⾮常に悪い」が0名
 今⽇のメニュー注⽂者数
 「かつ丼」が58⾷，「ラーメン」が102⾷, ...,
「⾼菜めし」が21⾷

ヒストグラムによる頻度分布の可視化:
さいころを1000回振って出た⽬のヒストグラム
頻度
164回

4の⽬が出た回数
それぞれの値のことを「ビン」と呼ぶ

頻度〜そのままでは計りにくい場合(2/2)→ 区間を考えればOK あるクラスの学⽣の⾝⻑「140cm未満」が1⼈，「140-145cm」が2⼈，...,「160-165cm」が9⼈, ...

 ある交差点での1⽇の⾞の通過台数
「1500台未満」が0⽇，「1500-1600台」が3⽇，....

頻度がよくわかるように︕（ただし区間幅の設定によって集計結果が変わることに注意）ヒストグラムの場合と同じ︕
頻度

160cm
〜165cm これも「区間を考えた」から頻度が定義できたんです︕

ヒストグラムの出⼒⽅法（前回の復習も兼ねて） “height_weight.csv”を読み込んで、⾝⻑のヒストグラムを作成

⾝⻑8

ヒストグラムの出⼒⽅法
 “height_weight.csv”を読み込んで、⾝⻑のヒストグラムを作成、ビンの数（範囲）を変更

⾝⻑ ＃bin=30

⾝⻑＃bin=509

練習１
 height_weight.csv を読み込んで，体重のヒストグラムを作成せよ

 ビンの数（範囲）を変更せよ

10

確率と確率分布①

そもそも確率・確率分布とは︖

(⼼が折れない)

確率って何だ︖
 確率＝「出やすさ」
 ただそれだけ．これを理解しておけば，まずは⼤丈夫

 「出やすさ」なので，ヒストグラム(頻度)と似ている
 データ𝑥が取りうる値が「有限個」と「無限個」で扱いが違う点も，ヒストグラムと似ている (後述)

「データ𝑥が取りうる値が有限個」の場合の確率分布(頻度分布にそっくり...) 例１:さいころの⽬ 取りうる値=6通り
 離散分布 𝑝(𝑥)
 𝑝(𝑥)は確率密度
確率

本講義では
⼩⽂字の𝑝
全部⾜せば1になる

1/6

1

2

3

4

5

6

これを「連続分布」と呼びます
データ𝑥が取りうる値が無限個の場合
 ある区間を考えれば確率 ⾯積が確率を表す
 従って「値𝑥がドンピシャで出る
確率はゼロ」(わかりにくいですが...) 全部の範囲を考えれば1になる ∫ 𝑝 𝑥 𝑑𝑥 = 1

確率
密度

𝑥
確率
密度

𝑥

𝑥

(離散・連続以外の)もう⼀つの分類︓
パラメトリックとノンパラメトリック
 パラメトリックな確率分布
 少数のパラメータで形状が定まる分布 ex. 正規分布 → 平均・分散
 ex. ⼀様分布 → 分布範囲
平均

 ノンパラメトリックな確率分布
 任意形状の分布 「○○分布」というような名前はない ヒストグラムもその⼀種

分散

𝑎

𝑏

確率分布がわかると何がウレシイのか︖ (1/2)
 データの分布を少数のパラメータを持つ「数式」で表せる
 多くのデータは，パラメトリックな確率分布に従うことが多い では，数式で表されると，何がウレシイ︖
 様々な数学的演算(微分や積分など)を式の上で⾏えたり，⽐較が容易に 全データを覚えておかなくても，その数式(のパラメータ)があればOK
分散

平均

確率分布がわかると何がウレシイのか︖
(2/2)
 他にも
 信頼区間や検定，回帰，認識など，様々な統計解析の基礎と
なっている
分散

条件Aでの
データ
平均

条件Bでの
データ

差がある︖ 差がない︖
分散

平均

 頻度に⽐べ，「合計=1」に正規化されているので扱いやすい確率と確率分布②正規分布「連続」なパラメトリック確率分布の代表格︕

(1次元)正規分布:
ガウス分布とも呼ばれます𝑝 𝑥 = 𝜎 $ : 分散
 𝜇: 平均

!
)(* !
%&' (
!
!
"$
"#$

分散が⼤きいと⼭のすそ野が広い𝑥𝜇 exp{x}平均は、⼭の頂上の場所

 関数形は複雑に⾒えるが，落ち着いて考えてみよう︕

1次元正規分布の分散(1/2)
!

𝜎 →⼤

!

𝜇

𝑥

𝜇

𝑥

1/𝜎 ! 倍1/𝜎 ! 倍

前⾝の
⼆次関数

𝜎 →⼩

𝜇

𝑥

𝜇

𝑥
20

正規分布の分散「⾃分がどれぐらい外れているか」がわかる
𝜇 ± 1.96 𝜎 $

95%が
この中に

68%が
この中に

𝜇 ± 𝜎$𝑥
𝜇 − 1.96 𝜎 %𝜇 − 𝜎%

𝜇

𝜇 + 𝜎%

𝜇 + 1.96 𝜎 %𝜇 ± 2.57 𝜎 $ →99%

式はわからなくてもＯＫ．それより⼤事な「正規分布の性質」のまとめ
 平均付近の値が⼀番出やすい 平均から離れた値ほど出にくくなる
出にくくなるスピードは分散に関係𝑥 平均を中⼼に左右対称𝜇 すそ野は，𝑥 = −∞から+∞まで広がっている出やすさはゼロに限りなく近いがゼロではない正規分布によるデータ表現
 “height_weight.csv”を読み込んで、⾝⻑のヒストグラムを正規分布で表現

まずは、データの平均、分散を求める

平均︓180.103960396
分散︓94.291271444
標準偏差︓9.71036927434
23正規分布によるデータ表現
 求めた平均、分散を⽤いて、正規分布を表現
ヒストグラムの頻度を⾜して１になるように正規化

正規分布の確率を求める関数確率⾝⻑

パラメトリックなモデル
正規分布の場合、平均と分散の2つのパラメータだけで分布を表現

24

練習２
 height_weight.csv を読み込んで，体重のヒストグラムを正規分布で表現してみよう25

信頼区間

お世話になった参考書︓
栗原伸⼀，⼊⾨統計学，オーム社
スライド作成でお世話になった⽅︓早志英朗先⽣＠元九⼤情報知能この「信頼区間」で学ぶこと存在しうるすべてのデータ
実際に⼿に⼊ったデータ

例えば「平均値」

あなた，この平均値，真の平均値と同じと思います︖
いや，ある程度近いとは思うけど，多少違うかも...
※なお以下では平均の信頼区間について論じますが，分散の信頼区間もありますこういう状況と少し似ている
こないだのテスト，みんな40点ぐらいだよ〜
みんなって誰よ︖名前⾔ってみなさい︕
AちゃんとB君とCさんが40点だよぉ
それじゃみんなじゃないでしょ︕
じゃぁ，平均は30点から60点ぐらいだよぉ
ウソ⾔いなさい︕平均90点なんじゃないの︖
90点はあり得ないよぉ〜
28

真の平均点を求めたい︓例題
 お⺟さんは，⼦供が受けたテストの真の平均点を知りたくなった しかし，テストを受けた⽣徒は相当多いので，全員のテストの点数を聞くのは無理っぽい数⼈なら聞けるかも...

 真の平均点はわかるのだろうか︖

ウソ⾔ってないよ〜もちろん，ありとあらゆる⽣徒にテストの点数を聞けば，真の平均はわかるだろう
ありとあらゆる⽣徒にテストの点数を聞いて回る

さすがに
それは無理

30

すべてのデータの集合＝⺟集団︓⺟集団全体は⾒えないことが多い
想定される
数が多すぎ

データ取得中に増減が起こりうる
全員は無理

コストが
かかる

31

全部が無理なら⼀部だけ︓標本
⺟集団︓ありとあらゆる⽣徒

無作為抽出(ランダムサンプリング) 標本

81点
77点

知りようが
ない

𝜇: ⺟平均知りようが（ありとあらゆる⽣徒の平均点)ない%
𝜎 : ⺟分散（ありとあらゆる⽣徒の平均点からのばらつき)

67点

こちらは
わかる

𝑥:
0 標本平均= (81 + 67 + 77)/3 = 75

𝑠 %: 標本分散= (6! + 8! + 2!)/3 ≈ 34.7

𝑁: 標本サイズ = 332

やりたいこと︓
標本平均から⺟平均を推定したい
⺟集団︓ありとあらゆる⽣徒

無作為抽出(ランダムサンプリング)

標本①これを知りたいのだが，全⽣徒(⺟集団)が不可知なので知りようがない②標本を測れば計算できます𝜇: ⺟平均③なるべく（ありとあらゆる⽣徒の平均点)
正確に𝜎 %: ⺟分散
推定したい（ありとあらゆる⽣徒の平均点からのばらつき)

𝑥:0 標本平均𝑠 %: 標本分散
𝑁: 標本サイズ33

この「信頼区間」のスライドでの仮定︓
⺟集団の分布は正規分布
⺟集団: ありとあらゆる⽣徒

頻度

きっとこんな形!

⺟平均付近の点数が多く，そこからずれるとどんどん少なく

⺟平均

点数

(不明)

 この仮定により以下の議論がずいぶん簡潔に︕
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

異なる標本からは異なる標本平均が出る→ 𝑇回標本抽出すると𝑇個の標本平均が出る
⺟集団: ありとあらゆる⽣徒

標本１
標本平均 64点

標本２
標本平均 71点…

うーむ，どれが⺟平均に近いのか!?
(⺟平均はわからないのだけど...)九州⼤学 数理・データサイエンス教育研究センター／

標本𝑇
標本平均 95点

とりあえず「標本平均の分布」を考えてみる︓「分布の平均」じゃなくて「平均の分布」
⺟集団: ありとあらゆる⽣徒

標本１
標本平均 64点

標本２
標本平均 71点

頻度
どんな分布と
思います︖

…

の

平均
本
標 分布

標本𝑇

標本平均𝑥̅
九州⼤学 数理・データサイエンス教育研究センター／

標本平均 95点

ここでもし，⺟集団の分布が(⺟平均は不明だが)正規分布とわかってるなら…
⺟集団: ありとあらゆる⽣徒

きっとこんな形!

頻度

⺟平均付近の点数が多く，そこからずれるとどんどん少なく

⺟平均
(不明)

頻度
の

どんな分布と
思います︖

平均
本
標 分布

標本平均𝑥̅
九州⼤学 数理・データサイエンス教

点数なんと「標本平均の分布」も，
⺟平均を中⼼とした正規分布に︕
⺟集団: ありとあらゆる⽣徒

きっとこんな形!

頻度

⺟平均付近の点数が多く，そこからずれるとどんどん少なく

⺟平均
(不明)

頻度
の

平均
本
標 分布

⺟平均

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／

点数皆さんがうっすら考えていることと⼀致しませんか︖
 何⼈か選んで平均(=標本平均)をとる
 それは真の平均(=⺟平均)ではないはず 運が悪ければ，真の平均と全く違うこともあるだろう でも，真の平均と全く違うことは珍しいだろう どちらかと⾔えば真の平均に近いことのほうが多そう ということは，標本平均の分布はこんな感じ→
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

疑問︓どちらも⺟平均を中⼼とした正規分布だが，同じものなのか︖
⺟集団: ありとあらゆる⽣徒

きっとこんな形!

頻度

⺟平均付近の点数が多く，そこからずれるとどんどん少なく

⺟集団の分布
⺟平均
(不明)

頻度

同じもの?

標本平均の分布
⺟平均

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／

点数答︓分散(ばらつき)が違います
⺟集団: ありとあらゆる⽣徒

きっとこんな形!

頻度

⺟平均付近の点数が多く，そこからずれるとどんどん少なく

⺟集団の分布⺟平均(不明)

分散(ばらつき)は「あるもの」によって変わります

頻度

分散が
違うのか︕

標本平均の分布
⺟平均

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／

点数

「標本平均の分布」のばらつきは
標本サイズ𝑁に依存 (1/3)
標本サイズ⼩⺟集団: ありとあらゆる⽣徒

標本平均
64点

標本サイズ⼤⇒
標本平均の
ばらつき⼩

標本サイズ⼤

標本平均
71点

標本平均
95点

標本サイズ⼤標本サイズ⼩⺟平均

標本平均 𝑥̅

標本平均
72点

標本平均
70点

標本平均
68点

まぁ確かに標本サイズが無限⼤になれば「⺟平均」からブレないだろう
九州⼤学 数理・データサイエンス教育研究センター／

「標本平均の分布」のばらつきは
標本サイズ𝑁に依存 (2/3)

「標本サイズを⼤きくして平均を求めれば，⺟平均に近づく(=⺟平均からのブレは少なくなる)」
この⼀⾒アタリマエにも⾒える傾向を，「⼤数の法則」と呼ぶ

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

「標本平均の分布」のばらつきは
標本サイズ𝑁に依存 (3/3)
 標本平均の分散（標本平均のばらつき）

#

𝜎
#
𝜎"̅ =
𝑁

標本サイズ𝑁が⼤きくなるほど，
ばらつき𝜎(%̅ はどんどん⼩さくというわけで，基本的にはデータは多いほうがよい

𝜎 ! : ⺟分散
𝑁: 標本サイズ
標本サイズ⼤𝜎#!̅

標本サイズ⼩⺟平均

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

ここまでわかったこと
 全データ(⺟集団)から真の平均を求めたい 全データ調査は⾮現実的．普通は限られた標本しかない
 残念ながら，標本平均は，毎回変わり，真の値ではない
 ただし，⺟集団が正規分布ならば，標本平均は，平均＝「⺟平均𝜇」，分散＝「⺟分散𝜎 %⁄𝑁」の正規分布に従う
参考︓⺟集団が正規分布でなくても，𝑁が⼤きくなれば，標本平均の分布は正規分布に近づきます︕→【付録1】中⼼極限定理
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

ちなみに元の分布がどんな形 でも，「標本平均の分布」は正規分布になる※

⺟集団: ありとあらゆる⽣徒
頻度

…

元の分布:
全然正規分布
じゃない

⺟平均

点数

頻度

標本サイズが⼗分⼤きくなれば

標本平均の分布:
⺟平均まわりの正規分布

標本平均𝑥*

⺟平均
この関係を「中⼼極限定理」と呼びます※例外ありこの事実をなんとか使いたい

平均90点
ぐらいでしょ︕

 全データ(⺟集団)から真の平均を求めたい 全データ調査は⾮現実的．普通は限られた標本しかない
 残念ながら，標本平均は，毎回変わり，真の値ではない
 ただし，⺟集団が正規分布ならば，標本平均は，平均＝「⺟平均𝜇」，分散＝「⺟分散𝜎 %⁄𝑁」の正規分布に従う
みんなの平均も30〜60点だよう この事実を使って，「この範囲に真の平均はありそう」

ぐらいは⾔えないか︖

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

プログラム︓標本平均の分布
 標準正規分布(平均︓０、分散︓１)からランダムで100個の標本

サンプリングを100回繰り返して、その平均を求めよう︕
 まずは、標本を繰り返し、その標本平均をリストに保存

プログラム︓標本平均の分布
 標準正規分布(平均︓０、分散︓１)からランダムで100個の標本

サンプリングを100回繰り返して、その平均を求めよう︕
 その標本平均の分布をみる

平均︓-0.0266
標準偏差︓ 0.0873

練習３︓
標本平均の分布 標本数Nを100,1000,10000と変えてみよう︕
 分布の形がどう変わるか観察せよ

 標本数Nが⼤きいほど、平均は0に近くなり、分散(標準偏差)は⼩さくなるのがわかる（中⼼極限定理）

信頼区間

真の平均，ピッタリ答えるのは無理なので，「この範囲に(ほぼほぼ)ある︕」と答える

さぁ，いま標本平均と標本分散は分かった︕
これからどうする︖
⺟集団︓ありとあらゆる⽣徒

無作為抽出(ランダムサンプリング)

標本

とりあえず
わかっていること
九州⼤学 数理・データサイエンス教育研究センター／

標本平均 64点
標本分散 78
標本サイズ𝑁 = 3

⺟平均(真の平均)はどの範囲にある︖︓
さらに⺟分散も(なぜか)わかっているなら（1/4）
 ⺟分散𝜎 ! ＝すべての⽣徒のテストの点数の分散
 ふつうはこれが既知ということはないのだが...

#
𝜎𝜎"#̅ =𝑁

⺟分散(𝜎 # )がわかっているなので，広がり(= 𝜎"#̅ )もわかる

⺟平均

標本平均𝑥̅

⺟集団分布が正規分布ならば

⺟平均を中⼼とした正規分布にもちろん，⺟平均がわかっていないので，上の分布がどこを中⼼としているのかは「まだ」不明

⺟平均(真の平均)はどの範囲にある︖︓
さらに⺟分散も(なぜか)わかっているなら（2/4）
 ところで正規分布の性質から…
𝜇 ± 𝟏. 𝟗𝟔

95%
⺟平均𝜇

標本平均𝑥̅

𝜎#!̅ = 𝜇 ± 𝟏. 𝟗𝟔

𝜎!
𝑁

⺟平均(真の平均)はどの範囲にある︖︓
さらに⺟分散も(なぜか)わかっているなら（3/4）
 さて，いま⼀つの標本平均𝑥が求まったとしましょう̅
𝜇 ± 𝟏. 𝟗𝟔

95%
⺟平均𝜇

標本平均𝑥̅

𝑥=71点
̅

𝜎#!̅ = 𝜇 ± 𝟏. 𝟗𝟔

𝜎!
𝑁

⺟平均(真の平均)はどの範囲にある︖︓
さらに⺟分散も(なぜか)わかっているなら（4/4）
 これをデータから定まる95%信頼区間を⾔います︕

𝜇 ± 𝟏. 𝟗𝟔

𝜎#!̅ = 𝜇 ± 𝟏. 𝟗𝟔

𝜎!
𝑁

95%
⺟平均𝜇

標本平均𝑥̅

95%信頼区間𝜎!
71 ± 1.96
𝑁
ちゃんと区間として書くと71 − 1.96!!
!!
, 71 + 1.96""

標本平均(ex. 71点)から，95%信頼区間をどうやって定めた??
幅は同じ

𝜇 ± 𝟏. 𝟗𝟔 𝜎#$"= 𝜇 ± 𝟏. 𝟗𝟔

%!
&

95%
⺟平均𝜇

95%
標本平均𝑥̅

⺟平均𝜇71 ± 1.96なのでなので確率95%で次が成り⽴つ
⺟平均−1.96!!
"≤標本平均≤ ⺟平均 + 1.96𝜎#𝑁

標本平均𝑥が71点なら，̅
この範囲がデータから定まる
95%信頼区間に確率95%で次が成り⽴つ!!

標本平均−1.96

"

単なる
移項

!!
"

≤ ⺟平均≤ 標本平均 + 1.96!!
"

𝑝%信頼区間の意味︓ 何度も標本平均を求め，その度に信頼区間を求めたら，それらのうち𝑝%は⺟平均を含む
 𝑝 = 95%の場合
𝜇 ± 𝟏. 𝟗𝟔

𝜎#!̅ = 𝜇 ± 𝟏. 𝟗𝟔

𝜎!
𝑁

95%
⺟平均𝜇

…

100回に約5回はハズレがある

標本平均𝑥̅

100回のうち約95回は信頼区間に⺟平均が⼊る𝑝%信頼区間の意味︓ 何度も標本平均を求め，その度に信頼区間を求めたら，それらのうち𝑝%は⺟平均を含む
 𝑝 = 95% → 99%信頼区間にすると…
95%

𝜇 ± 2.57

99%
100回に約1回しかハズレない!

⺟平均𝜇𝜎#!̅ = 𝜇 ± 2.57𝜎!
𝑁

標本平均𝑥̅

…

100回のうち約99回は信頼区間に⺟平均が⼊る信頼区間は狭いほうが嬉しそう．
では，どうすれば信頼区間を狭くできる︖
 𝑝の値を⼩さくするのは，本末転倒…
 ならば標本サイズ𝑁を増やせばよい︕
95%信頼区間の幅＝2×1.96

95%信頼区間の幅＝2×1.96

𝝈𝟐
𝑵

𝑁→⼤

𝑁 →⼩
95%

95%

⺟平均

𝝈𝟐
𝑵

標本平均𝑥̅

⺟平均

95%信頼区間

95%信頼区間

より広い(bad)より狭い(good)

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

Q:普通は⺟分散がわからない．どうするか︖
A: 標本サイズ𝑁が⼤きいなら標本分散で代⽤
標本サイズ𝑁= 例えば 100

標本平均 72点
標本分散𝜎(%* 78 ≒ ⺟分散𝜎 %と「みなす」
あとは「⾍のよいケース」と同じでも...標本平均はそのまま信じないのに(信頼区間つきで答える)，
標本分散は「≒⺟分散」とみなす．ちょっと気持ち悪いなぁ...
気持ち悪いなら，次スライドの⽅法も使えますよQ:⺟分散は不明，𝑁も⼩さい．さて，どうする︖
 95%信頼区間なら，標本分散を使う代償に，1.96をもう少し⼤きくして，勘弁してもらう︕
標本平均 ± 1.96

⺟分散

𝜎 %⁄𝑁
標本分散

※

𝑠 %⁄(𝑁 − 1)

※ここの定数は𝑁によってかわります．
𝑁 = 10の時，2.262

標本平均64点

𝑁 = 5の時，2.776
𝑁 = 20の時，2.093
𝑁 = 50の時，2.010
𝑁 = ∞の時，1.960

定数

標本平均 ± 2.262

なぜこうなる
かは後述

15
10
5

𝑁

0
0

100

200

300

「⺟分散も不明，𝑁も⼩さい」場合の95%信頼区間と99%信頼区間 標本分散
 95%信頼区間
⺟平均𝜇※

標本平均 ± 2.262 𝑠 %⁄(𝑁 − 1)
標本平均𝑥̅

1.96よりも⼤きい
2.262を使う※ ここの定数は𝑁によって変わります．
𝑁 = 10のときが2.262. 𝑁 = ∞で1.96※※

標本平均 ± 3.250 𝑠 %⁄(𝑁 − 1)

 99%信頼区間

⺟平均𝜇

標本平均𝑥̅

2.57よりも⼤きい
3.250を使う※※ ここの定数も𝑁によって変わります．
𝑁 = 10のときが3.250. 𝑁 = ∞で2.57

平均90点
ぐらいでしょ︕

ここまでのまとめ

90点は
信頼区間の
外側だよぉ

 標本平均から「𝑝%の確率で⺟平均が含まれる区間」がわかる
 「𝑝%信頼区間」と呼ぶ

 100回標本抽出すると，約𝑝回はその区間内に⺟平均がある
 ⺟分散𝜎 # がわかっているのなら信頼区間は 標本平均 ± 定数&0'

 𝑝 = 95(%)なら，定数=1.96
 ⺟分散𝜎 # がわからないときは，標本分散𝑠 # を代わりにつかう 標本平均 ± 定数(0')*

 𝑝 = 95(%)なら，定数=2.262 (𝑁 = 10のとき)
 𝑁が⼩さいほど定数は⼤きく→範囲は広くなる．逆に𝑁 → ∞で定数→

1.96

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

標準正規分布と標準化
 平均0で分散1の正規分布を「標準正規分布」と呼ぶ
 𝑥が平均𝜇で分散𝜎 % の正規分布

→ 𝑧=

(67
8*

とすれば標準正規分布に︕

任意の正規分布

標準正規分布

平均𝜇で分散𝜎 ! の正規分布

平均0で分散1の正規分布

分散𝜎 #

0

𝜇

𝑧=

𝑥−𝜇

𝑥

分散1

𝜎%
0

𝑧𝑧

 この変換を「(𝑥の)標準化」と呼ぶ
 𝑥のスケールや単位に依存しない分布となる

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

標本平均𝑥̅ の分布の標準化
 「標本平均𝑥の分布」＝「平均𝜇で分散̅
𝜎 # ⁄𝑁の正規分布」
 なので，𝑧 =

̅
")+
&0 ⁄'

とすれば標準正規分布に

標本平均の分布
平均𝜇で分散𝜎 ! ⁄𝑁の正規分布

分散𝜎 # ⁄𝑁0𝜇

𝜎 ! を⽤いて𝑥̅ を𝑧に変換(標準化)𝑧=

標本平均𝑥̅

⺟分散𝜎 # を𝑁で割ったもの

𝑥̅ − 𝜇標準正規分布

分散1

𝜎 %⁄𝑁
0

𝑧𝑧

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

標準正規分布から
⺟平均𝜇の信頼区間を求める
標本平均の分布
平均𝜇で分散𝜎 ! ⁄𝑁の正規分布

分散𝜎 # ⁄𝑁𝑧=𝜇𝑥̅ − 𝜇標準正規分布

分散1

𝜎 %⁄𝑁
95%

95%

0

𝜎 ! を⽤いて𝑥̅ を𝑧に変換(標準化)

標本平均𝑥̅

0𝑧𝑧

𝜇の95%信頼区間は𝑥̅ ± 1.96 𝜎 !⁄𝑁
ある標本から得た
標本平均𝑥̅

𝑧が ± 1.96の範囲内にある
確率が95%

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

というわけで，信頼区間の求め⽅をまとめると(⺟分散𝜎 ! がわかっている場合)
𝑧=

̅
")+
&0 ⁄'

で標準化したと考える

 𝑧が𝑝%⼊る範囲を，「標準正規分布表」で調べる

標準化されているので𝜎 !や𝑁によらず
いつも同じ表が使える(標準化のメリット) 𝑝 = 95%なら±1.96と書かれている

Wikipedia “正規分布”より

𝑧 =

̅
")+

が[−1.96, 1.96]に95%の確率で⼊ることがわかる&0 ⁄' 𝑥̅ − 𝜇 が[−1.96 𝜎 # ⁄𝑁 , 1.96 𝜎 # ⁄𝑁]に95%の確率で⼊ることがわかる
 ⺟平均𝜇 の95%信頼区間が[𝑥̅ − 1.96 𝜎 # ⁄𝑁 , 𝑥̅ + 1.96 𝜎 # ⁄𝑁]とわかる

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

さてさて，⺟分散𝜎 ! が不明な場合，(𝑧への標準化ではなく) 𝑡へのスチューデント化を⾏う スチューデント化︓ 𝑡 =̅
(67𝑠 ! を⽤いて𝑥̅ を𝑡に変換

平均𝜇で分散𝜎 !⁄𝑁の正規分布(スチューデント化)𝑡=

⺟分散は不明0𝜇と似てる=* ⁄(?6@)

標本平均の分布分散𝜎 # ⁄𝑁

何となく標準化𝑥̅ − 𝜇𝑠 %⁄(𝑁 − 1)

標本平均𝑥̅

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

さてさて，⺟分散𝜎 ! が不明な場合，(𝑧への標準化ではなく) 𝑡へのスチューデント化を⾏う 𝑡は（正規分布によく似た）𝑡分布に従うことが知られている
𝑠 ! を⽤いて𝑥̅ を𝑡に変換

標本平均の分布
平均𝜇で分散𝜎 !⁄𝑁の正規分布

分散𝜎 # ⁄𝑁𝜇※(スチューデント化)𝑡=

⺟分散は不明0𝑡分布

標本平均𝑥̅

𝑥̅ − 𝜇𝑠 %⁄(𝑁 − 1)正規分布に似てる
けど，ちょっと違う𝑡※正確には「⾃由度𝑁 − 1の𝑡分布」と呼ぶ

九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

参考︓t分布
以下の点だけ抑えておけば⼗分=標本サイズ𝑁 − 1=正規分布①標本サイズ𝑁 →⼤で正規分布に近づく②正規分布よりつぶれている →同じ信頼度なら
区間は広がる
wikipedia

𝑡分布で求めた⺟平均𝜇の信頼区間

𝑠 ! を⽤いて𝑥̅ を𝑡に変換

標本平均の分布
平均𝜇で分散𝜎 !⁄𝑁の正規分布

分散𝜎 # ⁄𝑁𝜇※(スチューデント化)𝑡=

⺟分散は不明0𝑡分布

標本平均𝑥̅

𝑥̅ − 𝜇𝑠 %⁄(𝑁 − 1)正規分布に似てる
けど，ちょっと違う𝑡

95%信頼区間は𝑥̅ ± 2.262 𝑠 !⁄(𝑁 − 1)
ある標本から得た
標本平均𝑥̅

𝑁 = 10のとき，𝑡が0 ± 2.262の範囲に⼊る確率は95%
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

というわけで，信頼区間の求め⽅をまとめると(⺟分散𝜎 ! が不明の場合)
𝑡=

̅
")+

でスチューデント化したと考える(0 ⁄(')*)

 標本数𝑁のとき = ⾃由度𝑁 − 1のとき

𝑡が𝑝%⼊る範囲を「𝑡分布表」で調べる
 𝑁 = 10, 𝑝 = 95%なら±2.262と書かれている

 𝑡=

̅
#$%
' 5⁄()$*)

𝑁−1

Wikipedia “Student's t-distribution”よりが[−2.262, 2.262]に95%の確率で⼊ることがわかる

 𝑥̅ − 𝜇 が[−2.262 𝑠 ! ⁄(𝑁 − 1) , 2.262 𝑠 ! ⁄(𝑁 − 1)]に95%の確率で⼊ることがわかる
 ⺟平均𝜇 の95%信頼区間が[𝑥̅ − 2.262 𝑠 ! ⁄ 𝑁 − 1 , 𝑥̅ + 2.262 𝑠 ! ⁄(𝑁 − 1)]とわかる
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

プログラム︓⺟平均の推定
 成績データ“grade_data1.csv”を読み込んで、Englishの⺟平均の95％信頼区間を推定してみよう︕

信頼区間の下限: 55.0903702599
信頼区間の上限: 81.9096297401

練習４
 成績データ“grade_data1.csv”を読み込んで、Mathematicsの⺟平均の95％信頼区間を推定せよ

75

統計的検定“testing”

お世話になった参考書︓
栗原伸⼀，⼊⾨統計学，オーム社
スライド作成でお世話になった⽅︓早志英朗先⽣＠元九⼤情報知能統計的検定とは何で，いつ使うのか︖
 「AとBは差がある」と統計的に⾔いたいときに使う
 事例
 東京と福岡で平均所得に差があるか︖
 あるトレーニングを⾏った前後で能⼒に差が出たか︖
 あるダイエット⾷品に効果があるか︖• ダイエット⾷品と⾷べた群と⾷べなかった群に差があるか︖
 ある遺伝⼦がある病気の原因になるか︖• 「野⽣型」と「その遺伝⼦をノックアウトした型」で，病気の罹患率に差があるか︖

シンプルな検定の例
九⼤⽣デス

 九⼤⽣と名乗る学⽣𝑁名がやってきた
 怪しいので，あるテストを受けさせたら，平均点は𝑥だった
5

差があるか︖
 過去に同じテストを九⼤⽣全員に実施したところ，点数は平均𝜇，分散𝜎 $ の正規分布を成した 彼らは九⼤⽣なのかニセモノかを検定せよ

全九⼤⽣

統計的検定の基本⼿順 (1/3)
 帰無仮説の設定
 ⾔いたいことと反対の仮説(「AとBに差はない」)を⽴てる

九⼤⽣と考える 仮説の下で⽭盾が起こることを証明
 ＝そもそも仮説が間違っていた

九⼤⽣ならそんな点数とるはずがない

 対⽴仮説(「AとBに差はある」)を採択
なんかすごく回りくどく⾒える
最初から「差がある」ことを⽰せばいいのでは︖

九⼤⽣ではない

統計的検定の基本⼿順 (2/3)
回りくどく⾒えますが...
 「差がある」ことを直接証明するよりも 「差がない」ことを前提にして⽭盾を導くほうが楽 いわゆる「背理法」
 「 2が有理数でない」ことを直接証明するよりも 「 2が有理数である」ことを前提にして⽭盾を導くほうが楽 1つでも⽭盾が⾒つかれば，それで否定できる点がありがたい︕

正⾯から試⾏錯誤しながら追及するより，容疑者に⾃分の正しさを証明させながら，
そのほころびを(1つでも)⾒つけたほうが早い

統計的検定の基本⼿順 (3/3)
もうちょっと詳細
 帰無仮説の設定
 ⾔いたいことと反対の仮説(「AとBに差はない」)を⽴てる 検定統計量の計算
 例えば標本平均

 確率の計算
 その統計量が「どの程度起こりうるものなのかどうか」
 仮説の判定 そもそも仮説が間違っていた

九⼤⽣と考える九⼤⽣としてのテストを受験させる「九⼤⽣ならとるはずがない」点数をとった

 対⽴仮説(「AとBに差はある」)を採択
厳密には、統計モデルの仮定（帰無仮説もその１つ）のうち、どれかが間違っているので、研究デザインやサンプリング⽅法、サンプリングサイズなども考慮する⇨サンプリングサイズに依存しない効果量という指標も⽤いることも。

九⼤⽣と考えたのが間違いだった

九⼤⽣ではない帰無仮説の⽭盾が⾒つからなかった(=棄却できなかった)場合の考え⽅
𝐻,

帰無仮説𝐻K︓差はない
棄却できなかった

棄却できた(「差はない」という仮説の⽭盾を⾒つけた)
𝐻$ だとすればここはどうなってんだ︖

う︕そ，それは...

すみません，
𝐻$ はウソでした

対⽴仮説𝐻@「差がある」を採択(「差はない」という仮説が間違っていると⾔えるほどの根拠がない)
うーむ，𝐻$ を突き崩すための⼗分な証拠がない...

「差がある」とも「ない」とも⾔えない(要は「フリダシに戻る」)

平均の差の検定

平均の差の検定（t 検定）
A⼤学の⺟集団

B⼤学の⺟集団平均に差があるか︖

 先に述べた以下の検定課題は，すべてこのタイプ
 東京と福岡で平均所得に差があるか︖
 あるトレーニングを⾏った前後で能⼒に差が出たか︖
 あるダイエット⾷品に効果があるか︖
 ある遺伝⼦がある病気の原因になるか︖

平均の差の検定〜実際の攻め⽅
A⼤学の⺟集団

B⼤学の⺟集団
⺟平均は異なる＝⺟集団の平均には差がある

この差以上は「⺟平均が等しい」という仮説下では起こりにくい

標本

𝑥M̅ と𝑥̅N の差
標本平均𝑥/̅

標本平均𝑥̅0標本

話を簡単にするための仮定 これまでと同様，「⺟集団𝐴, 𝐵の点数は，共に正規分布」

「正規性の仮定」と呼ばれる

 さらに，⺟集団𝐴, 𝐵からの標本数は共に𝑁で等しい さらに，⺟集団𝐴, 𝐵の分散は共に𝜎 ! で等しい$
 すなわち，𝜎/# = 𝜎F = 𝜎 #「等分散性の仮定」と呼ばれる
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

ここでは，「⺟分散𝜎 ! の値は既知」
単に等しいことだけじゃなく，具体的な値までわかっている

A⼤学の⺟集団

B⼤学の⺟集団

⺟平均𝜇/ は未知だが⺟分散𝜎 # は既知

⺟平均𝜇0 は未知だが⺟分散𝜎 # は既知

九州⼤学 数理・データサイエンス教育研究センター／

先述の通り，標本平均の分布は正規分布
A⼤学

⺟分散𝜎 #

B⼤学

⺟分散𝜎 #

⺟集団

⺟集団

標本

標本

標本平均の
分布
(正規分布)

標本平均の分布(正規分布)

標本平均の分散
⺟分散𝜎 !
＝
標本サイズ𝑁
標本平均𝑥-̅

⺟平均(未知)𝜇M

標本平均の分散
⺟分散𝜎 !
＝
標本サイズ𝑁

標本平均𝑥̅.
⺟平均(未知)𝜇N
九州⼤学 数理・データサイエンス教育研究センター／ 2023年9⽉版

標本平均の分布から
標本平均の「差」の分布もわかる
A⼤学
扱いやすい正規分布で助かったー

B⼤学

標本平均の
差の分布
(正規分布)

2𝜎 $ ⁄𝑁
𝜇M − 𝜇N 標本平均の差𝑥/̅ − 𝑥̅0

標本平均の
分布
(正規分布)

𝜎 ! ⁄𝑁

標本平均𝑥-̅
⺟平均(未知)𝜇M

𝑥M̅ と𝑥̅N の差

𝜎 ! ⁄𝑁

標本平均の分布(正規分布)

標本平均𝑥̅.
⺟平均(未知)𝜇N

ちょっと解説︓
差の分布，分散は⼤きくなります
A⼤学

標本平均の
差の分布
(正規分布)

分散2倍になった

B⼤学

2𝜎 $ ⁄𝑁
𝜇M − 𝜇N 標本平均の差𝑥/̅ − 𝑥̅0

なぜ差の分散は⼤きくなる︖(⼀様分布を⽤いた，⾮常に)直観的な説明
分布Aの範囲(幅23)

-10

2

13

27

分布Bの範囲(幅25)A-Bの最⼩値=-10-27=-37, A-Bの最⼤値=13-2=11, なので-37

A-Bの範囲(幅48=23+25)

11

さぁ，いよいよ帰無仮説︓「2⼤学の⺟平均には差がない」＝⺟平均は等しい!
A⼤学

帰無仮説下での

B⼤学

標本平均の
差の分布
(正規分布)

2𝜎 $ ⁄𝑁0

標本平均の差𝑥/̅ − 𝑥̅0

⺟平均は等しい，すなわち𝜇$ = 𝜇% という仮説の下では
𝜇$ − 𝜇% = 0(ちょうどいい具合に未知項𝜇/ , 𝜇0 がなくなった!)

実際の差が分布のどこに来るかをテスト︕
果たして帰無仮説は棄却されるか︖
帰無仮説(𝜇$ − 𝜇% =0)下の標本平均の差の分布

A⼤学

B⼤学

(平均0, 分散2𝜎 $ ⁄𝑁 の正規分布)

⺟集団

⺟集団

95%
標本

標本

0
標本平均𝑥/̅
Ex.90点差
標本平均𝑥̅0𝑥/̅ − 𝑥̅0
Ex.40点

上図のようになれば(めったに起きない程度の差が⽣じているので)
帰無仮説「差はない」は棄却，有意⽔準5%で「差がある」

どういう場合に「『差はない』帰無仮説」は棄却されやすいか︖
帰無仮説(𝜇$ − 𝜇% =0)下の標本平均の差の分布

A⼤学

B⼤学

(平均0, 分散2𝜎 $ ⁄𝑁 の正規分布)

⺟集団

⺟集団

95%
標本

標本

0
標本平均𝑥/̅
Ex.90点差
標本平均𝑥̅0𝑥/̅ − 𝑥̅0
Ex.40点 場合1: 𝑥$̅ と𝑥̅% の差(の絶対値)が⼤きい
 場合2: ⺟分散𝜎 %が⼩さい
 場合3: 標本サイズ𝑁が⼤きい有意⽔準はどうやって決める︖
10%有意⽔準ならこの外側に来ないと5%有意⽔準ならこの外側に来ないと1%有意⽔準ならこの外側に来ないと条件クリアはより厳しい

0

標本平均の差𝑥2̅ − 𝑥̅3

例えば命に係わるような話で，絶対安⼼して「差がある」と⾔いたい
場合ほど，厳しく（有意⽔準を⼩さく．5%とかじゃなく，1%，もし
くはそれ以下） 厳しくなるほど，⼤きな差が要求される
 分野によっては，ある程度定められている場合も少し⼀般的な状況を踏まえた仮定
 これまでと同様，「⺟集団𝐴, 𝐵の点数は，共に正規分布」
 「正規性の仮定」と呼ばれる
 さらに，⺟集団𝐴, 𝐵からの標本数は共に𝑁で等しい さらに，⺟集団𝐴, 𝐵の分散は共に𝜎 % で等しい
 すなわち，𝜎M% = 𝜎N% = 𝜎 % 「等分散性の仮定」と呼ばれる
 さらに，ここ③では，⺟分散 𝜎 % の値がわかっていることも仮定

次は，⺟分散の値まではわからないという，より⼀般的な状況

⺟分散がわからない．ピンチか︖ (1/3)
A⼤学の⺟集団

B⼤学の⺟集団標本

⺟平均𝜇/ は未知
⺟分散𝜎 # も未知

⺟平均𝜇0 は未知
⺟分散𝜎 # も未知⺟分散がわからない．ピンチか︖ (2/3)
A⼤学の⺟集団

B⼤学の⺟集団標本
⺟平均𝜇% は未知
⺟分散𝜎 # も未知

⺟平均𝜇& は未知
⺟分散𝜎 # も未知

標本平均の分布

標本
標本平均

標本平均の分散
⺟分散𝜎 !
＝
標本サイズ𝑁

この⺟分散わからない→
標本平均の分布(揺らぎ)がわからない(=ピンチ!?)

標本平均𝑥-̅

⺟分散がわからない．ピンチか︖ (3/3)
A⼤学の⺟集団

B⼤学の⺟集団標本
⺟平均𝜇% は未知
⺟分散𝜎 # も未知

⺟平均𝜇& は未知
⺟分散𝜎 # も未知

標本平均の分布

標本

標本分散𝑠 # でなんとかしたい

標本平均
標本分散
標本平均𝑥-̅

ん︖ 似た話，どっかで聞いた︕︖

⺟分散不明でも，⺟平均に差があるかを検定したい︓

𝑡分布を使えば検定可能︕ (𝑡検定)

⺟
分
散
$
%
&
*
+
,
場
合

⺟
分
散
$
%
&
'
場
合

帰無仮説(𝜇$ − 𝜇% =0)下のtの分布信頼区間と同様に𝑡分布が使えてよかったー(⾃由度2𝑁 − 2の𝒕分布)

群𝐴と𝐵の各標本分散 𝑠2! と 𝑠3! を併合した標本分散
1
𝑠 ! = (𝑠2! + 𝑠3! )
2

𝑡=

０

帰無仮説(𝜇$ − 𝜇% =0)下の標本平均の差の分布

𝑥-̅ − 𝑥̅.
2𝑠 ! ⁄(𝑁 − 1)

スチューデント化(平均0, 分散2𝜎 $ ⁄𝑁 の正規分布)

2𝜎 # ⁄𝑁０

標本平均の差𝑥/̅ − 𝑥̅0というわけであとは⺟分散既知の場合と同様，
帰無仮説を棄却できればOK
帰無仮説(𝜇$ − 𝜇% =0)下のtの分布

A⼤学

B⼤学

(⾃由度2𝑁 − 2の𝒕分布)

⺟集団

⺟集団

95%
標本

𝑡

0
𝑡=

標本平均𝑥/̅
Ex.90点標本

𝑥-̅ − 𝑥̅.
2𝑠 ! ⁄(𝑁 − 1)

差
標本平均𝑥̅0𝑥/̅ − 𝑥̅0
Ex.40点

上図のようになれば(めったに起きない程度の差が⽣じているので)
帰無仮説「差はない」は棄却，有意⽔準5%で「差がある」※𝑡分布は標準正規分布よりつぶれているので，同じ有意⽔準のためには⺟分散既知の場合より⼤きな差が必要(特に𝑁が⼩さいとき)Python で t 検定
 Python で実⾏するのはとても簡単︕
1.
2.
3.
4.
5.

差があるか確認したいデータを２つ⽤意
有意⽔準を決定︓5%
2つのデータを関数に放り込む
t, p値が出る
p値が0.05(5%)以下なら、有意に差がある

ウェルチのt検定の場合

t分布

t値

95%
p値
⾚い区間に⼊る確率︓p値

0
102

具体例
 仮説︓福岡は東京より暑い︕（福岡と東京は気温に差がある）
福岡のほうが若⼲
南だし，きっと暑い

九州だし
暑いに決まっている︕

 データから有意性が⾔えるか︖
Python なら楽勝です103プログラム まず，データを読み込んでみよう temperature_FT_August.csv（福岡と東京の2016年8⽉ の気温）
 ただし、⽇付は残っていなかった（８⽉何⽇の記録かわからないが、31個サンプルが残っている場合を考えます）

104

プログラム︓可視化（ヒストグラム）
 まずは様々な可視化

ー 福岡
ー 東京
頻度

気温

105

プログラム︓統計値
 統計値（平均、分散）を求めて、その統計値のガウス分

布をフィッティングしてみよう︕

頻度

東京の気温分布気温106

プログラム︓ｔ検定
 帰無仮説は「福岡と東京の８⽉の気温に差はない」
 t 検定︕（たった２⾏︕）

t値︓4.42853766713
p値︓4.37071161374e-05

2つの集団の分散が同じだと仮定できない(しない)場合、equal_val = False
オプションをつける。
基本はこれを使う。

P < 0.05 で有意性あり︕（福岡と東京に気温差はある︕）
107

アイリスデータ
 アイリスデータ
 3クラス
 Iris-setosa Iris-versicolor
 Iris-virginica
 指標
 sepal length sepal width

https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data 108

練習５︓irisデータ
 Sepal length と sepal widthの平均の差に有意差があるかを調べよまずは、ヒストグラムで可視化せよ
t 検定で t 値，p 値を求めよ

109

平均の差の検定（t 検定）︓対応なし
K⼤学の⺟集団

L⼤学の⺟集団平均に差があるか︖

 対応のない異なる集団を⽐較 K⼤学とL⼤学のテストの点数差を⽐較• K⼤学のA君とL⼤学のB君は全く対応関係のない別⼈
 東京と福岡で平均所得に差があるか︖

平均の差の検定（t 検定）︓対応あり
東京

福岡

1/1

7℃

9℃

80点

1/2

8℃

9℃

60点

12/31

12℃

13℃

英語

Aさん

70点

90点

Bさん

70点

60点

・・・

・・・

数学

 対応ある項⽬を⽐較 同じ学⽣が複数の科⽬を受験• 英語と数学の平均点

東京と福岡の気温に差があるか︖• 同じ⽇の気温で対応付けて、東京、福岡で差があるか︖

平均の差の検定（t 検定）︓対応あり
K⼤学の⺟集団

英語

点数の差

Aさん

70点

90点

20

Bさん

70点

80点

10

60点

80点

・・・

数学

・・・

⺟集団で、⽣徒ごとの英語と数学の点数に差がないなら、点数の差の平均は0になるはず。

標本0

平均の差の検定（t 検定）︓対応あり
K⼤学の⺟集団

𝜇O6P = 0差の⺟平均(未知)標本20

70点 80点

10

点数の差の標本平均︓
𝑥0O6P = 10
これはめったに起きないこと︖

・・・

70点 90点・・・

数学 英語 点数の差

60点 80点

0平均の差の検定（t 検定）︓対応あり
 対応ある検定では差があるか確認したい対応があるデータを２つ⽤意
2. 有意⽔準を決定︓5%
3. 2つのデータを関数に放り込む
1.

関数の中で、⾃動で対応あり検定を⾏ってくれている

t, p値が出る
5. p値が0.05(5%)以下なら、有意に差がある
4.

t値

t分布

95%
p値
⾚い区間に⼊る確率︓p値

0
114

具体例
 仮説︓福岡は東京より暑い︕（さっきと同じ）
 ただし今度のデータは

 temperature_FT_August_pairs.csv（福岡と東京の2016年8⽉ の気温）
 ⽇付の対応が取れている115

プログラム︓可視化（プロット）
 まずは可視化（⽇付の対応があるので折れ線も有効）
気温
ー 福岡
ー 東京

⽇にち

116

対応あり︓プログラミング stats.ttest_rel︓対応あり
 ⽇にちが対応している stats.ttest_ind︓対応なし
 ⽇にちが対応してない場合
今回は対応あり︕ 帰無仮説は「福岡と東京の８⽉の気温に差はない」

5.977020238021845
1.4868011795091875e-06

p < 0.05 で有意性あり︕（福岡と東京に対応ありで気温差はある︕）
117

練習６
ｔ検定（対応あり）
 アメリカの都市ごとの⼥性の労働率の平均の差に対する検定︓72年と68年で差はあるか︖

NYC
1972年、1968年
0.45
0.42
118

対応あり，なしの例
 成績データ対応あり︓同じ10⼈で国語と数学の平均を⽐較
対応なし︓違う10⼈で国語と数学の平均を⽐較

 効果測定（薬など）対応あり︓被験者10⼈に⾼⾎圧症薬Aを与えて、投薬前と投薬後で⾎圧の違いを⽐較
対応なし︓薬Aを与えた被験者10⼈と，薬Bを与えた被験者10⼈に分けて⽐較

119

平均の差の検定（t 検定）︓⽚側検定
 帰無仮説は「平均が同じ」⇒棄却 あくまで、「平均は違う」ということしか⾔っていない ⼤⼩関係を⾔いたい場合は、⽚側検定でよい
t分布
両側
検定

t値
0.025

0.025

95％信頼区間
両側⾜して5%

t値
⽚側
検定

0.05

0

⽚側だけで5%120

分散分析(ANOVA)の必要性
 ３群以上（例えば⼯学部，理学部，経済学部で英語の点数に差があるか︖）の場合、各組合せでt検定を⾏ってよい︖
⺟集団
⺟集団
差がないと仮定すると⺟集団の分布は同じ

標本A

標本B

標本C

たまたま点数が偏って標本されたかもしれない
群数が多いと、偏って標本される可能性が増える︕

標本
分布A

の分布

標本
分布B

標本
分布C

群間同⼠の分散を考慮した検定(分散分析)が必要︕

121分散分析︓プログラミング
 ３群以上（例えば福岡，東京，京都の3地点の気温に差があるか︖）の場合は分散分析が必要です 次のデータを使って考えてみます temperature_FTK_August.csv（福岡，東京京都の2016年8⽉ の気温）122

分散分析︓プログラム︓可視化
 分布を箱ひげ図（boxplot）で可視化

第三四分位

最⼤

第⼆四分位
第⼀四分位

最⼩

福岡

東京

京都

123

分散分析︓プログラム
 帰無仮説︓東京、京都、福岡の8⽉の気温に差はない

f値︓11.8908068734
p値︓2.61618782054e-05
P < 0.05 で有意性あり︕（福岡と東京、京都の8⽉の気温に差はある︕）

124

多重⽐較
 どの項⽬とどの項⽬に差があるのか⽐較
 Tukey-Kramerの検定を利⽤

125

多重⽐較結果例
 どの項⽬とどの項⽬に差があるのか⽐較
 Tukey-Kramerの検定を利⽤ 結果 福岡ー東京間に差がある 福岡ー京都間に差がない 東京ー京都間に差がある============================================
group1 group2 meandiff lower upper reject
０︓福岡-------------------------------------------１︓東京
0.0 1.0 -2.1935 -3.3511 -1.036 True
２︓京都
0.0 2.0 -0.3226 -1.4802 0.835 False
1.0 2.0 1.871 0.7134 3.0286 True-------------------------------------------126

⽐率の検定︓カイ⼆乗検定
 喫煙者と⾮喫煙者で肺癌の割り合いを調査
 喫煙者と⾮喫煙者で肺癌になる割合が異なるように⾒える 喫煙者で肺癌になる割合︓40％
 ⾮喫煙者で肺癌になる割合︓20％
 この⽐率の差は、標本時にたまたま偏ってうまれた差︖⇒⽐率の検定︓カイ⼆乗検定
正常

肺癌

合計

喫煙者

60

40

100

⾮喫煙者

120

30

150

合計

180

70

250
127

⽐率の検定︓カイ⼆乗検定
 帰無仮説︓「喫煙者と⾮喫煙者で肺癌になる割合に差はない」
 実際の標本調査の数︓観測度数
 ⽐率に差がないとしたときの期待される数︓期待度数
 観測度数と期待度数を⽐べる カイ⼆乗値

正常

肺癌

合計

喫煙者

60(72)

40(28)

100

⾮喫煙者

120(108)30(42)

150

合計

180

70

250

(観測度数 − 期待度数)# (72 − 60)#
(42 − 30)#
G
=
+ ⋯+
72
42
期待度数
128

⽐率の検定︓カイ⼆乗検定
 観測度数と期待度数を⽐べる カイ⼆乗値(観測度数 − 期待度数)# (72 − 60)#
(42 − 30)%
G
=
+ ⋯+
72
42
期待度数
 カイ2乗値を⽤いて、カイ⼆乗分布よりp値を算出

正常

肺癌

合計

喫煙者

60(72)

40(28)

100

⾮喫煙者

120(108)30(42)

150

合計

180

70

250
129

⽐率の検定︓カイ⼆乗検定
 観測度数と期待度数を⽐べる カイ⼆乗値(観測度数 − 期待度数)# (72 − 60)#
(42 − 30)%
G
=
+ ⋯+
72
42
期待度数
 カイ2乗値を⽤いて、カイ⼆乗分布よりp値を算出
⾃由度︓df = (r-1)(k-1) #r = 表の⾏の数,k = 表の列の数

正常

肺癌

合計

喫煙者

60(72)

40(28)

100

⾮喫煙者

120(108)30(42)

150

合計

180

70

250
130

⽐率の検定︓カイ⼆乗検定

カイ⼆乗値︓11.9047619048
p値
︓0.00771662938674
有意差あり
131

その他注意事項
 順序尺度（５段階アンケートなど）は通常の t 検定で分析してはいけませんノンパラメトリック 検定をやるのが⼀般的ただし、許されている分野もある。。。

 検定⽅法は⾊々な⽅法があります 効果量や検定⼒という概念も調べてみましょう 不安な場合は調べましょう(webで検索すれば良いサイトがたくさんあります）
132

演習問題

演習１︓アイリスデータ分析
 アイリスデータ
 Iris_2metrics2.csv
 3クラス
 Iris-setosa Iris-versicolor
 Iris-virginica
 指標
 sepal length petal length
https://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data 134

演習１-1︓ヒストグラム
 “iris_2metrics2.csv”を読み込んで、sepal-lengthとpetal-

lengthそれぞれのヒストグラムを作成してみよう ヒント
 データ読み込み︓
 import pandas as pd pd.read_csv(ʻʼ)
 ヒストグラム Import matplotlib.pyplot as plt
 plt.hist()

135

演習１-2︓正規分布での表現 sepal-lengthとpetal-lengthそれぞれのデータ分布に対して、正規分布で表現 ヒント
 各項⽬の平均、分散を求めて、その2つのパラメータで正規分布を作成
 x = np.arange(min,max,0.01)
 plt.plot(x,norm.pdf(x,loc=mu,scale=sigma),lw=3,color="r")136演習１-3︓クラスごとに可視化 petal-lengthは、2つの分布があるように⾒える⇒クラスに分けてヒストグラム及び正規分布で表現

 ヒント
 クラスごとに分類
 irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa']
 irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor']
 irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']137演習1-4︓⺟平均の信頼区間の推定
 “iris_2metrics2.csv”を読み込んで、sepal-lengthの⺟平均の95％信頼区間を推定せよ

 ヒント
 信頼区間の求め⽅
 alpha = 0.95 # 信頼係数95%
 n = len(iris['sepal-length']) # sample数
 t = stats.t.ppf(1-(1-alpha)/2, n-1) # t分布を⽤いて確率変数tを計算
 t_min = mu - t * sigma / np.sqrt(n-1) # 下限
 t_max = mu + t * sigma / np.sqrt(n-1) # 上限138

演習1-５︓平均の差の検定
 “iris_2metrics2.csv”を読み込んで、sepal-lengthとpetal-

lengthの平均の差を棄却域5%で検定せよ

 ヒント
 検定
 from scipy import stats t, p = stats.ttest_ind(データA, データB, equal_var=False)139演習1-6︓平均の差の検定
 クラスを分けて、それぞれsepal-lengthとpetal-lengthの差を

棄却域5%で検定せよ ヒント from scipy import stats t, p = stats.ttest_ind(データA, データB, equal_var=False) クラスごとに分類
 irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa']
 irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor']
 irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']140

演習1-７︓分散分析
 “iris.csv”を読み込んで、sepal-length,sepal-width,petal-

length,petal-widthの平均に差があるかを検定せよ

 ヒント
 分散分析
 from scipy import stats t, p = stats.f_oneway(データA,データB,データC,データD)

141

演習２
 以下のデータに対し，仮説で t 検定もしくは分散分析を⾏い，平均の差に有意性はあるか，ないか答えよ• 有意⽔準は 0.05 とする• ヒント︓対応あり，なし．2群，3群以上

 分散分析で差がある場合は，多重⽐較を⾏い，どの科⽬間で差があるかを答えよ ⽣徒A~Jの成績データ• grade1.csv• grade2.csv• grade3.csv: English，Mathematicsの成績
︓ English，Mathematics，Chemistry︓ English，Mathematics，Chemistry，Physics
142