1

情報科学【AI・データサイエンス】
第7回
相関と検定

相関
統計的検定

九州大学 数理・データサイエンス教育研究センター

2

相関データの広がりと分散
相関九州大学 数理・データサイエンス教育研究センター

3「相関」を一言で！
2つの量の関係性を説明する方法
 2つの量の関係性
 科学的な分析では因果関係を知りたいことが多い
 因果とまでいかなくても，関係性の有無が分かると嬉しい例 気温とアイスの売り上げ高の関係性
 大気中の二酸化炭素濃度と海水面の高さの関係性
 読書量と試験の点数の関係性
 土壌の微生物数と作物の成長度合いの関係性
 年収額と幸福度の関係性
九州大学 数理・データサイエンス教育研究センター

4

データの広がりと分散

データの分布
九州大学 数理・データサイエンス教育研究センター

5

データと分布 データ(デジタル大辞泉より)
1. 物事の推論の基礎となる事実
また，参考となる資料・情報「―を集める」「確実な―」
2. コンピューターで，プログラムを使った処理の対象となる記号化・数字化された資料第2次元(身長) 分布 = どんなデータが，どのくらいあるか？
 身体測定結果の分布
 年齢別人口分布
 成績の分布 顧客の分布 生産物の分布

第1次元
(体重)

九州大学 数理・データサイエンス教育研究センター
年齢別人口分布6

分布から分かること
最小

平均

最大分散

どんな事が見えてくるか？
 最小，最大 平均，分散

分布から分かること = 集団の性質
 どのような個体から構成されてるか 例）3年1組の特徴，3年3組の特徴
 例）日本人口の特徴，中国人口の特徴
九州大学 数理・データサイエンス教育研究センター

7

分散＝データの広がり具合
青はクラスA狭い
身長

赤はクラスB同程度

体重非常に広がっている 分散＝広がり具合を数値で表現(=定量化)したもの
 体重の分散は「青 > 赤」
 身長の分散は「青 ≒ 赤」
定量化することで集団の比較が可能に
九州大学 数理・データサイエンス教育研究センター

8

分散だけで十分か？
身長ケースA

身長分散小分散小同分散

体重同分
散

ケースC

身長

体重分散大ケースD
分散小分散小同分散

体重分散大分散大身長

ケースB同分散

体重分散大九州大学 数理・データサイエンス教育研究センター

9

相関Xが大きくなると，Yも大きくなる
Xが大きくなると，Yは小さくなる
九州大学 数理・データサイエンス教育研究センター

10

相関：二つの量の間の関係
 Case 1：無相関 𝑥 →大，𝑦 →特段の傾向無し
 要するに，𝑥と𝑦は無関係
 身長と数学の点数𝑦𝑥𝑦 Case 2：正の相関 𝑥 →大，𝑦 →大 身長と体重 Case 3：負の相関 𝑥 →大，𝑦 →小 身長とバレーボール攻撃失敗率𝑥
二人三脚的

𝑦𝑥
シーソー的
九州大学 数理・データサイエンス教育研究センター

11

相関を数値で表現する(定量化する)
 相関係数 𝜌 = 相関の度合いを-1〜+1の範囲の実数で表したもの
 𝜌が負: 負の相関
 𝜌が0: 無相関 𝜌が正: 正の相関
𝜌 = -0.98

𝜌 = -0.7

𝜌=0𝜌 = +0.7𝑥2

𝜌 = +0.98

𝑥1𝑥1

九州大学 数理・データサイエンス教育研究センター

12

相関係数ρの定義
 𝑥と𝑦の相関を考える
 簡単のために𝑥も𝑦も平均ゼロとする = 原点周りに散らばっている𝑦𝑥
それぞれx座標, y座標がある この時，相関係数を(なるべく簡単な言葉で)定義すると…

𝜌=

𝑥𝑦 の平均値𝑥の分散 ∙ 𝑦の分散分子で符号が決まる
分母は正規化の役目(大きさを調整するだけ)相関係数ρの分子=𝒙𝒚の平均値

13𝑦
第2象限 第1象限
第3象限 第4象限𝑥

 この分子の意味を3つの場合で考えてみる
負の相関

無相関

正の相関

𝑦𝑦𝑦𝑥𝑥 と 𝑦 の符号は反対になり易い場合．
つまり 𝑥𝑦 の符号は負になる場合が多数．
平均すると負になるはず．

𝑥
相関が無い場合なので，𝑥 によらず，𝑦 が正の場合と負の場合は同程度存在するはず．
つまり 𝑥𝑦 も正と負が同程度存在し，平均して 0 に近くなるはず．

𝑥𝑥 と 𝑦 の符号は同じになり易い場合．
つまり 𝑥𝑦 の符号は正になる場合が多数．
平均すると正になるはず．
九州大学 数理・データサイエンス教育研究センター

14

相関係数ρと分布の形
 相関係数ρが分かれば，分布の形を少し想像することができる
𝑦𝑥

傾きが分かるわけではない

形状が分かるわけではない

Wikipedia“相関係数”より
九州大学
数理・データサイエンス教育研究センター

15

補足: データが原点周りに無い場合
 データを並行移動してから計算すればよい

𝑦𝝁

並行移動してもデータの広がり(相関)には影響がない

𝑥x座標，y座標からそれぞれの平均を引き算

𝑦𝑥𝝁=𝟎
九州大学 数理・データサイエンス教育研究センター

16

統計的検定

森Aの出身

森Bの出身

その差，本当に意味ありますか？
たまたまじゃないですか？

九州大学 数理・データサイエンス教育研究センター

17「統計的検定」を一言で！
統計的に差を評価する枠組み
 統計的な評価
 観察して得られるデータは数量的に不十分なことが多い
 データが限られた状況でも「差がある」ことを示したい例 東京と福岡で平均所得に差があるか？
 あるトレーニングを行った前後で能力に差が出たか？
 あるダイエット食品に効果があるか？
 ダイエット食品と食べた群と食べなかった群に差があるか？
 ある遺伝子がある病気の原因になるか？
九州大学 数理・データサイエンス教育研究センター

18

あなたは本当に大学生？
大学生デス

大学生と名乗る 違う？同じ？
Aさん

全大学生

 Aさんの主張は本当だろうか？どの程度信頼できるだろうか？
 テストの点数で判断してみよう 試しにAさんにあるテストを受けてもらう 最近の大学1年生の平均点と比べて，大学生っぽい点数なら信じる では「大学生っぽい」とは?

統計的検定の出番
九州大学 数理・データサイエンス教育研究センター

19

どんな点なら大学生っぽい？
過去の大学生の点数の確率分布（正規分布）

ケース１

ケース２

大学生っぽい = 確率が十分に高い0点

平均点

100点点数0点

 ケース1
 大学生として考えると，平均よりは低い
 しかし，確率的には十分起こりそう ケース2
 ケース1と比べ確率は格段に低い
 こんな点数をとる大学生が存在するだろうか？

平均点

100点 点数

否定は難しい否定しても問題なさそう
九州大学 数理・データサイエンス教育研究センター

20

統計的検定の基本アイディア
帰無仮説の反対は対立仮説と呼ぶ

1.「差がない」という仮説 (帰無仮説) を考える
 Aさんは大学生である (Aさんと大学生に差がない)
2.仮説を信じてみる Aさんが大学生だと仮定する
3.信じた上でそれが起きる確率を過去のデータから計算する
4.基準とする確率 (有意水準) と比較する
 基準より低い• → 基準から考えるとあり得ないことが起きている• → そんなはずはない，仮定した仮説がそもそも間違ってたのでは?
• → 帰無仮説を棄却する (大学生とは言えない) 基準より高い• → 基準から考えると起きてもおかしくないことが起きている• → どこにも問題はなく，帰無仮説を棄却できない• → 大学生でないとは言い切れない (大学生とも言い切れない)21

確率分布の仮定 母集団（過去のテストを受けた大学生達）の分布は（母平均𝝁 ，母分散𝝈𝟐 ）はわかっているとする
 あまり現実にはないが，今回はシンプルな例ということで

 成績の分布は正規分布と仮定する
 データの種類に合わせて，適切な分布を使う
正規分布の確率密度関数
母分散𝝈𝟐
曲線下の面積は1（つまり100％に対応）

𝜇

母平均

点数
九州大学 数理・データサイエンス教育研究センター

22「よくあること」の範囲
 平均からどのくらい離れているかを考える
平均の周りが最も起こり得る点数（=起きてもおかしくない点数）

点数がこの辺でも受け入れ可能

Aさんの点数がこの辺なら流石に受け入れたくない𝜇母平均（既知）
九州大学 数理・データサイエンス教育研究センター

23

有意水準5％による判定
 端っこだったら（間違いの可能性も少々あるが）棄却してしまう！

「大学生である」という帰無仮説を有意水準5%で棄却できる(この帰無仮説下で)大学生でない！と結論しても，それが過ちである可能性は高々5%

大学生じゃないでしょ！

95%

ヤバイ，バレタ！

母平均𝜇𝜇 − 1.96 𝜎Τ 𝑁

𝜇 + 1.96 𝜎Τ 𝑁
九州大学 数理・データサイエンス教育研究センター

24

有意水準1％による判定
 もっと端っこなら，もっと自信をもって棄却できる「大学生である」という帰無仮説を有意水準1%で棄却できる大学生でない！と結論しても，それが過ちである
可能性は高々1%99%
母平均𝜇𝜇 − 2.57 𝜎Τ 𝑁

𝜇 + 2.57 𝜎Τ 𝑁
九州大学 数理・データサイエンス教育研究センター

25

この考えをさらに広げると，2つの集団に差があるかどうかの検定もできる
 効果の有無等を検証する際に，極めてよく用いられるテクニック

サプリ飲んだ人々差があるか？
サプリ飲んでない人々

体重九州大学 数理・データサイエンス教育研究センター

26

まとめ データのもつ様々な性質
 分布
 平均，分散(広がり) 相関 統計的検定
 確率に基づいて差の有無を論じる手法
 帰無仮説，対立仮説
 データが得られる確率を評価

九州大学 数理・データサイエンス教育研究センター