回帰分析と因果効果分析
Regression analysis and Causal effect analysis
2018年5月1日

東京工業大学 福田研究室
鈴木 新

はじめに・目次(contents)
はじめに回帰分析の理論や基本について学習．

ところどころプログラミングで練習（Ｒ）
目次
回帰分析とは• First, we study theory and basis ofRegression analysis• And then, we try programming (R)単回帰式の導出
プログラミング（単回帰）結果の整合性重回帰分析の導出
プログラミング（重回帰）
練習問題

2

回帰分析とは(what is regression analysis?)
目的変数yを説明変数xでどのくらい説明できるか・・・結果と原因の関係式を作る． Formularize relationship between result &factor

アイスがたくさん売れた
Many ice
目的変数
cream was soldObjective variable

暑かったから…？ That’s
because it
説明変数was hot.
Response variable

𝑌（アイスの売り上げ本数） = 𝑎 + 𝑏𝑋（気温） + 𝑒

𝑒：誤差項
Error term

気温とアイスの売れ行きがどのくらい関係しているのか調べる
Try to estimate the relationship between # sold ice cream and the temperature3

回帰分析とは(what is regression analysis?)
目的変数yを説明変数xでどのくらい説明できるか・・・結果と原因の関係式を作る．
説明変数1個・・・単回帰分析
Single regression analysis

𝑌 = 𝑎 + 𝑏𝑋 + 𝑒
Constant term 定数項

回帰係数 Regression coefficient（気温に関係なく（気温がアイスの売り上げに売れるアイスの本数） どのくらい影響与えるのか）

説明変数2個以上・・・重回帰分析
Multiple regression analysis

𝑌 = 𝑎 + 𝑏𝑋1 + 𝑐𝑋2 + 𝑑𝑋3 + 𝑒
気温料金

日照時間temperature

price

hours of sunlight

どのようにして回帰式を求めるのか？
4単回帰式の導出(derivation of regression model)
アイスの売り上げ本数とその日の気温の関係図をプロット
Write Scatter plot between # sold ice cream & temperature.

目的変数yと説明変数xの間に線形の関係があると仮定
Make assumption “liner relationship” Between objective variable & response variable

𝑌 = 𝑎 + 𝑏𝑋 + 𝑒 単回帰モデル
𝑌 = 𝑎 + 𝑏𝑋 単回帰式
5

単回帰式の導出(derivation of regression model)
最小二乗法にて，残差平方和が最小となる回帰直線を算出
Calculate regression line by least squares method “minimizing residual sum of squares”

𝑌 = 𝑎 + 𝑏𝑋 + 𝑒 単回帰モデル 𝑌 = 𝑎 + 𝑏𝑋 単回帰式
𝑚𝑖𝑛𝑖

𝑒𝑖 2 = 𝑚𝑖𝑛𝑖

(𝑌𝑖 − 𝑌𝑖 )2

実測値𝑌𝑖
actual value𝑒𝑖𝑒𝑖𝑒𝑖

予測値𝑌𝑖
predictive value

𝑌 = 𝑎 + 𝑏𝑋
𝑒𝑖 の平方和が最小になるような直線の傾き𝑏とy切片𝑎を求める
Calculateslope 𝑏 &intercept 𝑎6

単回帰式の導出(プログラミングで)統計ソフトＲでやってみましょう （try programing R）●ソースコードを開く Open source code by clicking source file・・・コードファイルをダブルクリックかCtrl+Oでファイル選択・データの読み込み Read csvfile
CSVファイルの読み込み

・散布図の記入
縦軸

ファイルが保存されているフォルダに（もしくはsessionから選択）

横軸

名前はcsv
ファイルのここに対応
7

単回帰式の導出(プログラミングで)統計ソフトＲでやってみましょう （try programing R）
・回帰分析～lm()～ Regression Analysis
線形モデルによる回帰を行う

使用するデータ

説明変数
目的変数
Objective variable Response variable

𝑌（アイスの本数）= 𝑎 + 𝑏𝑋（気温） + 𝑒
分析結果をresultの中に収納
名前はここに対応
8

単回帰式の導出(プログラミングで)・結果の出力プロット図に結果を記入・・・abline()
結果の詳細・・・summary()

切片，回帰係数の結果
Estimate・・・推定値（interceptがy切片𝑎 ）（temperatureが傾き𝑏 ）𝑌 = 2.95 + 4.349𝑋 という単回帰式が得られた！

9

結果の整合性算出した式はどのくらいの精度で予測しているのか，⇒決定係数𝑅2 （「予測の当てはまりの良さ」を表す指標）

気温はどのくらいアイスの売り上げに影響しているのか⇒t値t-value（説明変数の影響力）
tvalue・・・t値

決定係数

10

結果の整合性●決定係数（R-square, 𝑅2 ）・・・「予測の当てはまりの良さ」を表す指標．
0~1の値をとり，1に近ければ近いほどモデルの当てはまりが良い（何％説明変数で説明できてるのか）𝑛𝑛(𝑦𝑖 − 𝑦)2 =𝑖=1(𝑦𝑖 − 𝑦)2 +𝑖=1

全変動

𝑅2 =𝑛

回帰変動

𝑛2𝑖=1(𝑦𝑖 − 𝑦)𝑛2 =1−(𝑦−𝑦)𝑖=1 𝑖(𝑦𝑖 − 𝑦𝑖 )2𝑖=1

残差変動𝑛
2𝑖=1(𝑦𝑖 − 𝑦𝑖 )𝑛2𝑖=1(𝑦𝑖 − 𝑦)https://bellcurve.jp/statistics/course/9706.html●自由度調整済み決定係数（adjusted R-square, Adjusted 𝑅2 ）・・・サンプルサイズや説明変数の数に左右されないよう修正した決定係数
https://mathtrain.jp/sanhendo11結果の整合性
t値・・・各説明変数が目的変数にどのくらい影響を与えるのかを示す．
大きさ1.96以上なら優位水準５％を満たす（右図の赤い部分内）
𝑏𝑡値 =𝜎パラメーター𝑏を標準誤差𝜎で割ったもの，t値が大きいほど標準誤差が小さいEx)パラメーター𝒃 =4, 標準誤差𝝈 = 𝟐の時

http://www.geisya.or.jp/~mwm48961/statistics/bunsan1.htm

パラメーターはb ± 𝜎の値（2~6）をとる可能性95%以上⇒ 0や負の値になる可能性もなくはないけどほぼないEx)パラメーター𝒃 = 𝟒, 標準誤差𝝈 = 𝟑の時
パラメーターはb ± 𝜎の値（1~7）をとる可能性約95%以下⇒ 0や負の値になる可能性高い

http://sorb.co.jp/blog/1654/12重回帰式の導出
アイスの売り上げ本数はその日の気温とアイスの価格に関係するのでは…?

y（アイス売上本数）

Scatter plot
𝑌 = 𝑎 + 𝑏𝑋1 + 𝑐𝑋2

X2（料金）
X1(気温)
http://xica.net/magellan/marketing-idea/stats/about-coefficient-of-determination/

最小二乗法によって残差の二乗和が最も小さくなる回帰式を求める

𝑌 = 𝑎 + 𝑏𝑋1 + 𝑐𝑋2 重回帰式

13

重回帰式の導出(プログラミングで)統計ソフトＲでやってみましょう （try programing R）
・データの読み込み使用するデータ・重回帰分析 Regression Analysis
目的変数
説明変数
Objective variable Response variable

・結果の出力グラフに記入・・・abline()
結果の詳細・・・summary()14

重回帰式の導出(プログラミングで)・結果の出力結果の詳細・・・summary()

切片，回帰係数の結果
Estimate・・・推定値
Std.Error・・・標準偏差tvalue・・・t値

決定係数

𝑌 = 80.48 + 2.88𝑋1 − 0.278𝑋2 という重回帰式が得られた！
「temperature」のt値の絶対値＞ 「price」のt値の絶対値⇒価格よりも気温の方がアイスの売り上げに与える影響は大きい
15

練習問題
知名度のない東工大，東工大の人気を上げるためにはどうすればいいのか！？
⇒回帰分析を使って調べてみよ～

16

練習問題
・使用するデータ・・・大学別〇〇のデータ（2018）
Applicant：志願者数（人気度，千人）
Prof_student：教員一人当たりの学生数（面倒見の良さ，人）
Area：大学敷地面積（*1000𝑚2 ）Circles：サークル数(個)Girlsratio：女子率(%)
Age： 大学の歴史の長さ(年)

17

練習問題
・重回帰式（今回は面倒見の良さ，敷地面積，女子率を採用）

𝑌(𝐴𝑝𝑝𝑙𝑖𝑐𝑎𝑛𝑡) = 𝑎 + 𝑏𝑋1(𝑃𝑟𝑜𝑓_𝑠𝑡𝑢𝑑𝑒𝑛𝑡) + 𝑐𝑋2(𝐴𝑟𝑒𝑎) + 𝑑𝑋3(𝑔𝑖𝑟𝑙𝑠𝑟𝑎𝑡𝑖𝑜)%%%に文字を入れて，プログラムを回してみてください←うまくいけばこんな結果が出てきます

18

練習問題

t値から分かったこと→敷地面積を広くして，教員一人当たりの学生を増やせば（放任気味），
理論上大学の人気は上がる（大学の女子率はそんな関係ない←）19

最後に説明変数変えたりすると結果もいろいろ変わるので時間あるときにやってみてください

20

参考文献
実証分析のための計量経済学
http://blog.livedoor.jp/pcclgk2/archives/52195523.html
http://www.keinet.ne.jp/dnj/result/ippan/2279.html
https://gakucir.com/search/?university=653
https://bellcurve.jp/statistics/course/9700.html
https://atarimae.biz/archives/12142
http://r-office-room.jugem.jp/?eid=124
http://cogpsy.educ.kyotou.ac.jp/personal/Kusumi/datasem13/shinya.pdf
www.eco.nihon-u.ac.jp/eco_kyouin/go/Go_seminar//2010/3.pps
http://sorb.co.jp/blog/1654/

21