データサイエンス概論I & II平均・分散・相関九州大学数理・データサイエンス教育研究センター 1
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
データの「代表値」の一つ22九州大学数理・データサイエンス教育研究センター／ 2022年9月版
• Q: 3年10組の体重データを一言でいうとどんな感じ？
• A1:最も重たいのは64.7kg • A2:最も軽いのは32.5kg • A3:平均すると約49.4kgそんな極端なケースを言われてもなあ..ああ，それぐらいの体重の人が多いのね州大学数理・データサイエンス教育研究センター／ 2022年9月版
●各国の平均寿命。 •もちろん各国にはもつと短命・長命の人もいるが，傾向はわかるhttps://ja.wikipedia.org/wiki/平均寿命#/media/ファイル:2018年の国・地域別平均寿命（CIAファクトブックより） .png ●他にも色々●平均年収●英語テストの平均点●平均身長
• N個のデータがあれば，基本は｢全データを合計して｣｢ Nで割る｣ •正式には｢算術平均｣とか｢相加平均｣という名前がついている●例： N = 5人の体重{62, 50, 49, 53, 73}の場合●平均＝(62+50+49+53+73)/5
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●要素ごとに足して，足した個数(＝データ数N )で割るだけそれぞれ合計して個数Nで割るだけ●何次元でも同じ●例： N = 5人の[(体重,身長)の組]の場合•平均= [( 62 ) + ( 50 ) + ( 49 ) + ( 53 ) + ( 73 )] /5 (62 + 50 + 49 + 53 + 73)/5 ll \ (173 + 162 + 158 + 156 + 176)/5 /
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

1 XX
/ 2022年9月版
九州州大学数理・データサイエンス教育研究センター

身長長身長の平均88
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
平均は分布の形を探る「第一歩」:データは平均を中心として広がっている！平均均＝ (分布の真ん中(重心) ol九州大学数理・データサイエンス教育研究センター／ 2022年9月版ちよっと凝った平均：加重平均(1/3) ●重みを付けて算術平均
W1X1 + W2X2 + W3X3 + …. + WNXN L' WiXi L Wi X = W1 + W2 + W3 + …. + WN 1.0
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●算術平均は加重平均の特殊な場合11 W1X1 + W2X2 + W3X3 + …… WNXN 1 ∑ x i x = W1 + W2 + W3 + …… + WN 1がN個九州大学数理・データサイエンス教育研究センター／ 2022年9月版1.1.
•全員[あてにならない]場合も，普通の加重平均に
0.1 W1X1 + W2X2 + W3X3 + …. + WNXN 1 ∑ x i x = W1 + W2 + W3 + …… + WN 0.1がN個九州大学数理・データサイエンス教育研究センター／ 2022年9月版12
約154.7cm 13九州大学数理・データサイエンス教育研究センター／ 2022年9月版
なので，この話はいつもそうとは限らない●A3:平均すると約49.4kgああ,それぐらいの体重の人が多いのね14
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●はずれ値＝例外的なデータ(次スライド) 1人は巨大口ボだった…. ●例: N = 5人の体重{62, 50, 49, 53, 550000} ●平均でおよそ110043kg (!?) • [平均]を悪用•ウソではないかもしれないが，ごく少数の人だけが莫大な利益を上げ,残り大多数は大損している可能性も九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●一般的なデータと著しく異なる値を持つデータ●結構よくある●はずれ値は色々な原因で発生する•測定ミス●測定機器の故障●イイカゲンな回答者●異常現現象●希少現象(めったに起きない現象) ●想定外の現象・初めて発生した現象
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

本ぶF厚生労働省2009年調査https://www.mhlw.go.jp/toukei/saikin/hw/k-tyosa/k-tyosa09/2-2.html 17
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
平均以外の「代表値」平均だけじゃない18九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●数値の大きさの順に並べた時に，真ん中に来る値●順位データ（ex.アンケート結果）にも使える•しかし(2次元以上の)ベクトルデータには使えない•例： N = 5人の体重{62, 50, 49, 53, 73}の場合●並べ替えると, 49, 50, 53, 62, 73 ●なのでメディアン¥ = 53 •メディアンのよいところ……極端な｢はずれ値｣の影響を受けない• {62, 50, 49, 53, 185}となっても,  ¥ = 53 • {62, 50, -2, 53, 73}となっても,  ¥ = 53 ●困ったところ（？） • {1, 2, 3, 200, 201}ならば,  ¥ = 3
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●例： N = 5人の体重{62, 50, 49, 53, 550000}の場合●並べ替えると,  49, 50, 53, 62, 550000 ●なので，中央値は53並みはずれた体重●はずれ値に全く影響されていない!
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●中央値のほうがはずれ値に影響されにくそう厚生労働省2009年調査https://www.mhlw.go.jp/toukei/saikin/hw/k-tyosa/k-tyosa09/2-2.html 21九州大学数理・データサイエンス教育研究センター／ 2022年9月版
•最も頻度が高い=最も出やすいデータ=ヒストグラムのピーク●ズルいサイコロの最頻値は“4”頻度(回数) •カテゴリデータ( ex.バスの番号)にも使える！ 22
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

以厚生労働省2009年調査https://www.mhlw.go.jp/toukei/saikin/hw/k-tyosa/k-tyosa09/2-2.html 23九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●はずれ値でも「本当のデータ」の場合もある24
●「はずれ値」として見捨てていいかは場合による• ex.毎月のインフルエンザ死亡者数（10万人あたり）
小→大の順に並べ替え
中央値0.5 or 1.4 ※データが偶数個なので2つあるはずれ値として中央値に影響なし→いいのか？平成21年人口動態調査月別にみた死因簡単分類別死亡率（人口10万対） https://www.e-stat.go.jp/dbview?sid=0003214726九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●似たピークが複数ある場合，わずかな差異で全く異なる最頻値に•最頻値は13だけど，わずかな頻度の差異で3にもなりうる26
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●もし，全部がだいたい同じなら●はずれ値があまりない●ヒストグラムで書くと，左右対称な山が一つ●値が結構違うなら●はずれ値がある●ヒストグラムで書くと山が複数•そもそも「1つの代表値」だけで表すべきでないデータの可能性あり•以上に加え，分散(後述)を出してみるのも効果的27
九州大学数理・データサイエンス教育研究センター ,
分布(＝データ集合)の性質を記述する第二歩. 28九州大学数理・データサイエンス教育研究センター／ 2022年9月版データのばらつき：体重データの場合•ばらつき＝データの広がり具合＝データの変動具合● 3年10組のほうが体重が「ばらついて」いる！ ●平均体重はどちらも同じぐらい(約50kg)
/ 2022年9月版
九州大学数理・データサイエンス教育研究センター

●福岡県の牛肉価格だけ取り出してみた

↓全データはこちらから入手可能https://www.e-stat.go.jp/dbview?sid=0000100087 ↓最新の物価統計調査も手に入りますよhttp://www.stat.go.jp/data/kouri/doukou/index.htmlはらつき筑豊のスーパー,国産牛肉の価格の店ごとの「ばらつき」が他地域より大きい！でも輸入牛肉については他地域より小さい..不思議…九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●代表値（平均・中央値・最頻値）に加えて,データの「ばらつき」を知りたいことは多い•例1:アンケート「この曲好きですか？ 1(大嫌い),2,3,4,5(大好き)」 • [平均3で，ばらつき小」→大多数が3 →みんな普通→あまり売れなそう• [平均3で，1から5までばらつく]→好みの別れる曲・↑平均は同じでもばらつきが違えば，状況は全然違う●例2：あるダイエット食品で減った体重• 「平均ゼロ，ばらつき小」→大多数がゼロ→多くの人には効果なし• [平均ゼロ,  -10kgから+10kgまでばらつく]→非常に効果ある人もいるが,逆効果大の人もいる（効果に個人差がありすぎて危険） • [平均-5kg，ばらつき小」→大多数が-5kg → 多くの人に効果あり
九州大学数理・データサイエンス教育研究センター／ 201

●思い出そう：「平均」を悪用•ウソではないかもしれないが，ごく少数の人だけが莫大な利益を上げ，残り大多数は大損している可能性も儲けの「ばらつき」を確認すれば「悪用」がわかる！全員が1千万円儲けているわけではない！
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●数の集合x 1 , x 2 , …, x Nの分散●＝「 (算術)平均値との差の二乗」の平均ベクトルではない[x] x)² + ··· + (xn算術平均x)² σ² N •分散が大きい→平均値と大きく違う数が多い→広がっている九州大学数理・データサイエンス教育研究センター／ 2022年9月版
x)² X)² + ··· + (XN (X1 σ² N分散＝全データが平均的に「平均〆とどれぐらい離れているか？」 ※ただし離れ具合は「二乗距離」で評価.なお，「距離」については後述． 34九州大学数理・データサイエンス教育研究センター／ 2022年9月版式だけ見せられてもわからない！ →分散の意味を確認するx)² + ··· + (xn ー x)² (X1 σ² : Nなんで二乗？その素晴らしい疑問に対する答えは，付録に35
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
純留● 1, 1, 1, 1, 1の分散は？ • 1, 5, 4, 2, 8の分散は? 36九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●全部の数が一様にΔだけプラスされても，分散は同じ●値がx įからx į + Δになったとすると，平均はxからx + Δになるので, N 1 ((xi + Δ) − (x + Δ))² : N
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●では全部の数が一様にα倍なったらどうなる？ ●値がx iからαx iになったとすると，算術平均はxからαxになるので， N 1 . ) (αχ i — α x )² = Nムi=1 (xi — x)² = α² σ² N o O O C 38
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
● 1, 1, 1, 1, 1の分散は? ● 1, 5, 4, 2, 8の分散は? +1000 • 1001, 1005, 1004, 1002, 1008の分散は？ ×10 ♂ 10, 50, 40, 20, 80の分散は?
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
標準偏差は分散よりもわかりやすい40九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●例●分散が100なら，標準偏差は10 ●分散が2なら，標準偏差は√2 ●分散が0なら，標準偏差も0 ●なので，標準偏差を二乗したら分散●標準偏差が10なら，分散は100 ●標準偏差が√2なら，分散は2
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●分散が大き（小さ）ければ標準偏差も大きい（小さい） •よって，分散と同じように，全データの「ばらつき」を表す値●標準偏差は分散よりもわかりやすい●分散を求める際，二乗して「ずれ」を求めていた•体重のデータや平均には50kgのように単位kgがつく•しかし分散を求めるときには二乗したので， 62.0㎏²のような妙な単位に●標準偏差は，その平方根なので，より「ずれ」をシンプルに表す•単位は再びkgに戻る （ 62.0kg² → √62.0kg ） •なので，50kg ± √62.0kgのような感じで，ばらつきの範囲を使う際にも使える!なお，標準偏差≠偏差値．偏差値については付録に
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

• 3年10組の方が，身長も体重もばらつきが大きい… ●平均体重・平均身長はどちらも同じぐらい(約50kg, 155cm) 43
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

第2次元•上図では,「第1次元の分散>第2次元の分散」 44
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

•このように各軸での分散を見ることで，各軸でデータがどれぐらい広がっているかがわかるこの軸のバラつき小この軸のバラつき大45
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
「軸ごとの分散でいいのか？」と魔間に思った人は大正解•斜め方向（例えば，分布が最も広がっている方向）の分散を見るべき場合もあります！第2次元●そこで次は「相関」について考えましよう46
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
相関「身長が高ければ，体重も重い」傾向九州大学数理・データサイエンス教育研究センター／ 2022年9月版47データの広が方(=分散)に潜む関係～相関身長と体重は？身長と数学の点数は？身長と400m走のタイムは？
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
48
● Case 1:無相関• x 1 →大，x 2 →特段の傾向無し●要するに，x 1とx 2は無関係●身長と数学の点数● Case 2:正の相関• x 1 →大, x 2 →大●身長と体重● Case 3:負の相関• x 1 →大，x →小●身長と400m走のタイム「収入vsエンゲル係数」も
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●データの要素間の関係・傾向● Ex. x 1 →大ならx 2 →大,とか•これは平均では記述できない●各軸独立の分散では記述できない•各軸独立でみると… •いずれ解説する「主成分分析や回帰分析」も，ある意味で相関を見つけてくれます
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●もちろん同じようなことがわかる●関係はより複雑になりうる•右図ではx1 →大, x2 →大, x3 →小●こういう相関係をどうやって見つけるか？ ●主成分分析(後述)が便利です！
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
相関の程度を測る九州大学数理・データサイエンス教育研究センター／ 2022年9月版52
●以下では，簡単のためにx1もx2も平均ゼロと仮定● ＝分布をずらしただけ●この時，相関係数ρは次式！ (x 1・x 2 )の平均値√x₁の分散・x₂の分散●次スライドでもう少し詳しく！分子が大事分母は正規化，すなわちρの範囲を−1 ≤ ρ ≤ 1に限定しているだけ
九州大学数理・データサイエンス教育研究センター ,

●では分子を見てみよう(x 1 ・x 2 )の平均値√x₁の分散・x₂の分散● x₁とx₂が同じ符号( +と−)になりがち→ x 1・x 2は正になりがち→その平均(分子)は正● x 1とx 2が逆の符号になりがち→ x 1・x 2は負になりがち→その平均(分子)は負● x 1とx 2の符号は同じだったり逆だったり→ x 1・x 2も正だったり負だったり→その平均(分子)は0 54九州大学数理・データサイエンス教育研究センター／ 2022年9月版
●例によって「極端な場合」で考えてみようこの直線上にしかデータがない！ ●これはx = ax 1という状況！ •すなわちx₁が決まればx₂の値はαx₁に一意に決まる状況！ ●相関を計算すると… (x 1·x 2 )の平均値0 = √x₁の分散·x₂の分散a(x 1 × 1 )の平均値|a|(x₁·x₁)の平均値la (x 1 ·ax 1 )の平均値a(x1·x1)の平均値|a|(x1の分散) x1の分散·ax1の分散a > 0 α < 0九州大学数理・データサイエンス教育研究センター／ 2022年9月版
•相関ρは「x₁が定まるとx₂がどれぐらい定まるか」の指標でもある• χ₁とχ₂の相関ρが±１ (先ほどの状況) ● →どちらかが決まれば他方は一意に定まる● ±1でもなく0でもない● →緩やかに影響しあっている● x 1とx 2の相関ρが0 ● →両者は無相関.一方の値は他方に影響せず九州大学数理・データサイD元数青研究センター／ 2022年9月版
•以上より，相関係数ρがわかると，分布の形をある程度想像できる57九州大学数理・データサイエンス教育研究センター／ 2022年9月版だまされないように！だまされないように！擬似相関58
身長と年収の間には特別の傾向は見られない(相関ゼロ＝最も相関が弱い)身長
●考えてみよう
• 「勉強時間」と「テストの点数」は {正の相関，負の相関，無相関} ? •動画の「長さ」と「データ量」は {正の相関，負の相関，無相関} ? •カレーライスの「分量」と「値段」は {正の相関，負の相関，無相関}？？？
B (ex.体重)傾向が強い= AをわかるとBも結構わかる(相関が強い) B ↑ 160cm傾向が弱い= AがわかってもBを知るのにはあまり役に立たない(相関が弱い) B ↑ 70〜 40kg九州大学数理\ 60
だまされないように気を付けよう！身長「身長」と「算数の学力」には正の相関があった！ (背が高いほうが数学得意！) 「学年」という要因のために「見かけ上」相関しているだけ九州大学数理・データサイエンス教育研究センター／ 2022年9月版
[Messerli, Chocolate Consumption, Cognitive Function, and Nobel Läureates, the New England Jöurnal of Medicine, 2012] [IC 62
1.同じような（年齢，健康状態，食生活，住所，成長過程などが似た）人々を集め，ランダムに2群に分ける2.第一ー群はチョコレートを食べる，第二群は食べないという条件以外は，極力同じような状況で過ごしてもらう． 3.数年後に，2群の間で，頭脳に差が出るかどうかをテストする(集めた人々のノーベル賞の数で評価してもよい)
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

だまされないように気を付けよう！ •因果関係＝「こういう原因だから，こういう結果になった」 • AとBに相関関係があっても，AとBのどちらが原因・結果かは不明●さらには擬似相関の可能性もあるので要注意サプリ摂取量「サプリ摂取量」と「寿命」には正の相関があった！四見催論と効果検証については→何顧健康意識が高いからサプリも飲むし長寿命どれが本当かは不明九州大学数理・データサイエンス教育研究センター／ 2022年9月版64 【付鍍１】なぜ「ぼらつき」を「分散」で測るのか？なぜ「分散」では「差の二乗」を使うのか？そういう疑問を持つことは正しい
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
なぜ「ばらつき」を「分散」で測るのか？もっと簡単に「最大一最小」ではどうか？ ●3年10組の「最大ー最小」＝ 64.7 - 32.5 = 32.2悪くなさそうだけど,実は「ばらつき」を適切に表現できないケースも
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●3年Z組の｢最大ー最小｣ = 64.7 - 32.5 = 32.2 < • 30人中28人が50kg付近＝ほとんどばらついてないのに… 「最大一最小」ではなぜちまくいかないか,そして解決へのアイディア●「最大－最小」がうまく行かないのは，たった2つの値(最大値,最小値)だけで全データのばらつきを表そうとしているため●それら2つが例外的な値であれば，問題が発生•さらに悪いことに，最大値・最小値は「例外的」な値になりやすい●そこで，全データを使って「ばらつき」を計算したい●→ [各]データついて「ばらつき」の程度が計算できれば… ●→そこで「分散」登場！
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

● 1年Q組→分散はそう大きくならない• 3年Z組→分散はゼロに近い! →ばらつきは非常に小さい
()分散= ((1 − 5)² + (2 − 5)² + (7 − 5)² + (10 − 5)² )/4 = (16 + 9 + 4 + 25)/4 = 13.5
テータサイエンス教育研究センター／ 2022年9月版70
● [平均との差]をそのまま平均すると，必ずゼロになるそりやそうか…これじゃばらつきは測れない(1 − 5  + 2 − 5  + 7 − 5  + 10 − 5 )/4 = (−4 − 3 + 2 + 5)/4 = 0 71
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
なぜう散」では「差の二乗」を使うのか？ (2/4)ならば，「楚の絶対便」では？　11-6　r (|1 − 5|  + |2 − 5|  + |7 − 5|  + |10 − 5| )/4 = (4 + 3 + 2 + 5)/4 = 3.5 ●別にこれでもOK（「平均偏差」という名前がついている） ●でも，どうして，平均偏差はあまり使われないのだろう●次スライドにその理由がいくつか'九州大学数理･データサイエンス教育研究センター／ 2022年9月版72なぜか散」では「差の二乗」を使うのか？ (3/4)平均偏差はなぜあまり使われない？ ● [平均より大]のデータと「小」のデータが同数の場合，「平均が移動しても変わらない」ので，やや解釈がむずかしい●絶対値だと扱いづらい（微分不可能だし）これはちょっと(今は)よくわからない●正規分布の分散値を最尤推定すると，二乗の式が出てくる
i = 1 ●さらにもう一73
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
なぜT分散」では「差の二乗」を使うのか？ (4/4)分散と平均の鎮しい関係が導かれる•分散（バラつき）の基準点，本当はどこがいいのか？
●バラつきが小さくなるような基準点を求めるとすると... d f(a) =  d [1 ∑ ′=1(xi − a)²]= − 2 ∑ ′=1(xi − a) = 0 ⇒ ∑ i =1(x i − a) = 0  ⇒  Na = ∑ i =1 x i  ⇒ a =  = ∑ i =1 x i =平均! •というわけで「『平均』が分散の基準点としてふさわしい」ことも保証！ •差の二乗で測ったからからこそ導かれる，平均と分散の美しい関係●平均偏差≒ ∑ ≒ 1 × i − α |にこのような関係はない
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
【何❀ 2 】儒嘉価状況が違っても，どれぐらいずれているかを比べたい75
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
A君は○○模試で80点，B君が△△模試で80点，どちらも自分がむれぐらいスゴイのが知りたい• A君の受けた○○模試の平均点=60点•B君の受けた△△模試の平均点=70点●そうすると平均より20点上だった，A君のほうがスゴそう●でも，もし，△△模試のほぼ全員が70点ぐらいだったら，その状況で80点とったB君のほうがすごくない？
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●B君の受けた△△模試0 ●確かに，B君のほうがスゴイかも… 77
九州大学数理・データサイエンス教育研究センター

●平均との差だけではダメっぽい●そこで，「ばらつき」具合を使う！ ● ○ ○模試のように，「ばらつき」が大きい→平均との差を小さめに評価=平均と結構違っても「あまり違わない」 • △△模試のように，「ばらつき」が小さい→平均との差を大きめに評価=平均と少しでも違えば「すごく違う」 o 20
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
真際にはどうする？ 「平均からのずれ」を標準偏差で割ればOK ● ○ ○模試の標準偏差=20 (ばらつき大) • △△模試の標準偏差=5 (ばらつき小) • A君の値= (80-60)/20  = 1 ●B君の値= (80-70)/5＝2 → B君のほうが，より平均から離れている!
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
偏差値偏差値=10× + 50 ● ○ ○模試の標準偏差=20 (ばらつき大) • △△模試の標準偏差=5 (ばらつき小) B君のほうが●A君の値= 10×(80-60)/20 + 50 = 60偏差値高い●B君の値= 10×(80-70)/5 + 50 = 70 1 80
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
偏差値の性質+ 50偏差値=10× ●平均点と同じなら偏差値50 ●標準偏差が小さい(ばらつきが小さい)ほど，データの少しの変化が大きく影響する81
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
因果推論と効果検証の基礎ダイエットでやせたのは，本当にそのサプリのおかげ？ 82
九州大学数理・データサイエンス教育研究センター／ 2022年9月版

●因果推論• [ある原因がある結果を引き起こしているのかどうか」を明らかにする
●効果検証
●「意図的に与えた原因」の結果への影響（効果）を明らかにする●例：「サプリを飲んだら」（意図的に与えた原因）→「体重が減った」（結果） ●基本的考え方●原因の有無で結果がどう変わるかをチェック
●効果検証の方法
●原因の有無を積極的に作る方法→ランダム化比較試験とA/Bテスト●勝手にできた「原因の有無」を利用する方法→自然実験|原因の有無を積極的に作るラングム化比較振戦Randomized Controlled Trial (RCT) •検証したい要因以外は公平になるように，対象の母集団を無作為にグループに分け，その検証したい要因の影響や効果を明らかにするための比較方法•具体的には「介入グループ」と「比較グループ」の2種類に分け，その試験的要素の影響を測定
•電力価格を上げると本当に節電につながるのか？ ●参加者:北九州市内の一般参加世帯●介入群:電力の需給が特にひっ迫する数時間の間，節電を促すための価格上昇を経験•明らかにしたい因果関係:電力消費量に差が出れば,電力価格の上昇が電力消費量に影響を及ぼす●実験結果から。電力価格の上昇は節電を促すという因果関係が分かった料金を上げるほど，価格の上昇に応じて節電が進む.参考：依田高典田中誠伊藤公一朗,「スマートグルッド・エコノミクスフィールド実験・行動経済学・ビッグデータが拓くエビデンス政策」 http://www.iwafunelab.iis.u-tokyo.ac.jp/crest/20161121/20161121-4.pdf
• 2通り(以上)のパターンを用意し，どちらがより効果が高い成果が出るのかを検証する方法●インターネットのマーケティング分野で主に使われる•ランダム化比較試験の考え方を基礎にしている•オバマ氏も大統領選挙でより多くの支援者を獲得するために活用した手法●例)どのように広告を掲載すると（原因），クリック率が上がる？（結果）どちらの広告配置がより多くの人にクリックされたか(広告商品の売り上げに貢献したか)を調査ランダム化比較試験（A/Bテスト）の問題点と、解決続としての「自然実験」 ●実験に必要となる費用や労力などが膨大●各グループに十分な数の調査対象が必要●状況によっては，ランダム化比較試験を実施できない•医療費の自己負担額を変化させると，医療サービスの利用頻度にどのような影響があるか•所得税を低くすると，その国(地域)に移住する人は増えるのかこんな実験は倫理的にも社会的にも難しい●自然実験を利用•自然実験＝「自然に（＝勝手に），比較実験と同じような状況ができた」 ●その状況を「うまく」見つけて使って，効果検証する
九州大学数理・データサイエンス教育研究センター／ 2022年9月版
「自然実験」による秘民検証の例： RDデザインRegression Discontinuity (RD) design ●世の中に(調査とは無関係に)発生した「不連続」を用いた効果検証•例：「国が医療費の自己負担率を下げた」ことを利用して, •医療費負担率（原因）と医療サービス利用頻度（結果）の関係を調査負担率が下がると利用頻度が急に(不連続に)増加→ 負担率は利用頻度に影響する！ Hitoshi Shigeoka, 2014. "The Effect of Patient Cost Sharing on Utilization, Health, and Risk Protection," American Economic Review, American Economic Association, vol. 104(7), pages 2152-84 88