線形回帰分析
渡邊直樹

2021 年 9 月 22 日

線形回帰モデル
線形回帰（linear regression）とは，分析対象として設定された変数の散らばりや変動を他のいくつかの変数の加重和によって説明し，それらの変数（被説明変数と説明変数）の関係に関する仮説を検証するための統計手法である．回帰分析は，推定されたそれら変数の関係（モデル）における仮説の検定を通して，より説得的なモデルを探す作業を伴う．説
得的なモデルが確定すれば，そのモデルに基づいて，簡便な予測を行うこともできる．

• たとえば，一国全体での当該期 t の消費 Ct と可処分所得 Yt の間にC t = α0 + α1 Yt(1)という関係を想定するならば，過去に観察された消費と可処分所得のデータ (C1 , . . . , Cn ) と (Y1 , . . . , Yn ) からパラメータ α0 と α1 の値を推定し，その推定値を信用してよいかをいくつかの検定を行うことで検証する．式の左辺の変数を被説明変数（explained variable）といい，右辺の変数を説明変数（explanatory variable）という．

• 消費 C は，可処分所得だけではなく，当該期 t の国債発行残高 Dtや対外資産 Wt の影響も受けると想定するならば，
Ct = β0 + β1 Yt + β2 Dt + β3 Wt(2)という式を立て，パラメータ β0 ，β1 ，β2 ，β3 の値を推定し，その推定値が信用するに足るものがどうかを検討する．このように，式の右辺1

に複数の説明変数がある場合の回帰分析を重回帰（multiple regression）といい，説明変数が一つしかない回帰分析を単回帰（simpleregression）という．線型単回帰モデルのよく知られた（実務上の）応用例の一つは資本資産価格モデル（CAPM）である．

• (1) と (2) のうち，(1) の方が妥当な式であると判断するには，β0 とβ1 は信頼するに足る推定値であり，β2 と β3 の推定値はそうではないことを立証すればよい．

標準的線形回帰モデルの仮定
m 個の説明変数について，1 期から t 期までのデータがあるとする．このときの線形回帰モデルは
Yt = β0 + β1 X1t + β2 X2t + · · · + βm Xmt + utと書ける．ここで，ut は誤差項であり，説明変数の加重和では説明できない Yt の変動は確率的な変動によるものであるとみなす．また，必ず満たされなければならない仮定ではないが，各期の ut は正規分布に従うと仮定されることが多い．
（分析者が他の分布を指定しない限り，各種ソフトウェアが算出する統計量はこの仮定の下で導出されている．
）
パラメータの推定値を β̂k （k = 1, . . . , m）とすると，

et = Yt − (β̂0 + βˆ1 X1t + βˆ2 X2t + · · · + β̂m Xmt )（Ŷt = β̂0 + βˆ1 X1t + βˆ2 X2t + · · · + β̂m Xmt を理を残差（residual）という．
論値（当てはめ値，fitted value ともいう）という．なお，t + 1 期の変数が与えられたとき，Ŷt+1 = β̂0 + βˆ1 X1t+1 + βˆ2 X2t+1 + · · · + β̂m Xmt+1 を予）測値（predicted value）という．
2
平均 µ，分散 σ の正規分布を N (µ, σ 2 ) と書く．標準的線形回帰分析における仮定は次のとおりである．

(1) ut の期待値は 0：(µ =)E[ut ] = 0(2) ut の分散は一定：E[(ut − µ)2 ] = E[u2t ] = σ 2 （分散の均一性）(3) 任意の ut と us（t ̸= s）は互いに相関しない：E[(ut − µ)(us − µ)] = 0（系列相関なし）
2

(4) 各説明変数 Xkt （k = 1, . . . , m）と誤差項 ut は相関しない．
• (1) は重要な仮定ではない．E[ut ] = µ のとき，µ は定数項に反映されるだけである．
• (2) と (3) はまとめて spherical errors とも呼ばれ，これらが満たされない場合には，パラメータの推定値に対する信用の度合いを低下させる．spherical errors の有無を検定する方法はいくつも開発されており，その補正方法も確立されている．まずは，残差をプロットしてみてほしい• (4) は非常にシリアスな仮定である．これが満たされない場合には，パラメータの推定値が偏っていないことを保証できない．この仮定が満たされるかを検定するには残差と説明変数の相関を調べる．まずは，それらの値をプロットしてみてほしい．

推定方法の評価基準
線形回帰モデルのパラメータ推定方法に対する評価基準は次のとおりである．
（パラメータ β の推定値を計算する式を推定量 β̂ という．推定値とは変数の具体的な値がその式に代入されたもののこと．
）

1. 不偏性（unbiasedness）：推定量の期待値はパラメータの真の値であるという性質．E[β̂] = β ．
（E[β̂] − β をバイアスという．
）
2. 効率性（eﬃciency）：推定量の分散が，他の推定量と比較して，最も小さいという性質．E[(β̂ − β)2 ] ≤ E[(β̂ ′ − β)2 ]3. 一致性（consisitency）：サンプル数が無限に大きくなると推定量がパラメータの真の値に（確率的に）収束する性質．サンプル数が n のときの推定量を β̂n と表すと，任意の実数 ϵ > 0 について，limn→∞ P (|β̂n − β| > ϵ) = 0∑• 最小二乗法（least squares）：残差二乗和 t e2t を最小にするようにパラメータ β を決定する推計方法．標準的線形回帰モデルの仮定の下では，上記 3 つの評価基準をすべて満たす．

3

• 決定係数 R2 と自由度調整済決定係数 R̃2：データの実現値を理論値で説明できる割合を表す．線形回帰モデルの場合にのみ前述のような意味を持つことには注意が必要である．説明変数が多くなるほど，R2 の値は大きくなる傾向があるので，データ解析においては，それを割り引いた R̃2 を参照する．ただし，線形回帰モデル自身の「性能」を表すものではないことには注意が必要．
• t 検定：各パラメータの推定値 β̂k に対する信用の度合いを検定する．
多くのソフトウェアにおいて，帰無仮説は H0 : β̂k = 0• F 検定：設定された線形回帰モデルに意味があるかどうかを検定する．
多くのソフトウェアにおいて，帰無仮説は H0 : β̂1 = · · · = β̂m = 0．
（定数項 β0 を除く．
）決定係数と自由度調整済決定係数は便利な数値ではあるが，それらではモデルの当てはまりを検定することはできない．そこで，F 検定を行う．
重回帰分析では次の 2 点に注意して分析を進める必要がある．

1. 多重共線性（multicollinearity）：説明変数間に相関があるとき，それらの変数を区別し難くなる．そのような変数のパラメータの推定量に対する信用の度合いは低下する．
（t 検定における帰無仮説を棄却し難くなる．
）
2. 誤った定式化：必要な説明変数が線形回帰モデルから抜け落ちた場
合には，パラメータの推定量は偏りを持つ．不必要な説明変数が加えられた場合には，その他の説明変数のパラメータの推定量の分散が大きくなり，推定値に対する信用の度合いが低下する．
（t 検定における帰無仮説を棄却し難くなる．
）
多重共線性や誤った定式化を考慮して，説明変数の選択を行わなければならない．いくつかの変数の組み合わせを試してみて，赤池情報量基準（AIC）の値が低い線形回帰モデルを選択することが多いが，第１節末尾で言及した (1) と (2) のモデル選択の背後に想定する論理そのものの検証を行うことがデータ解析の目的であれば，たとえ，AIC が低くても，論理的に必要な説明変数を線形回帰モデルから落としてはならない．

4

（練習問題）表 1 にまとめられている練習用データにおいて，Lt = β0 +β1 Wt + β2 Xt + ut と Lt = β0 + β1 Wt−1 + β2 Xt + ut では，どちらの線形回帰モデルがより妥当（説得的）だといえるか？生産者の利潤最大化問題における理論上の符号条件は β1 < 0，かつ，β2 > 0 である．
表 1: 練習用データ：11 年を基準に指数化してある．
年
t123
45678910111213141516

雇用者数
Lt93969697979595979799100102103103104106

実質賃金Wt60698184818996102113111100104107113118123

生産量
Xt67697485817280848996100101101105116122

Excel のアドインに組み込まれている分析ツール「回帰分析」には各係数の推定値の p 値は表示されるが，AIC の値や sperical error の有無を検定するための数値は計算されず，当然ながら，表示もされない．easy Rには，それらを表示するオプションがついている．ここでは，練習問題で提示されているモデル j の赤池情報量基準（AICj ）を次の式に従って計算してみよう．
∑ 2
etAICj = T ln() + 2kj .
(3)T
ここで，T は t の個数（つまり，T = 16），kj はモデル j において推定される係数の数であり，ln は自然対数を表している．前述のように，et は t 期における残差である．Excel の分析ツール「回帰分析」には残差を計算す5るオプションはついており，該当するチェックボックスにチェックを入れることで計算結果が出力される．それを使って残差自乗和を計算し，自然対数を取るとよい．セルに = 16 ∗ LN(モデル j の残差自乗和/16) + 2 ∗ kjと入力すると，AICj が計算される．
練習問題では，たとえば，2 変数のうち，どちらか 1 つを説明変数から外して推定してみてもよい．また，16 年分あるデータを 2 分割してみて，16 年分のデータで推計するよりも「好ましい」結果が出る場合，分割した年を境にして経済の構造変化が起こったと考えることもできる．サン
プルサイズは極めて小さいが，色々試してみよう．

予測
変数間の関係を表すモデルとデータが与えられたとき，被説明変数が将来とる値を予測する問題を設定してみよう．ここでは，m 個の説明変数について，線形モデル

Yt = β0 + β1 X1t + β2 X2t + · · · + βm Xmt + ut
各説明変数 Xm について，1 期から t 期までのデータ（Xm1 , . . . , Xmt ）とXmt+1 ，および，1 期から t 期までの被説明変数のデータ（Y1 , . . . , Yt ) が手許にあるとして，予測値 Ŷt+1 をどのように計算するかという問題に限定して，予測に関する簡単な説明を付しておく．
具体的には，次の手続きをとる．

(1) t 期までのデータを用いて，回帰分析を行い，パラメータの推定値
β̂0 , β̂1 , . . . , β̂m を求める．
(2) それら推定値を用いて，Ŷt+1 = β̂0 + β̂1 X1t+1 + β̂2 X2t+1 +· · ·+ β̂m Xmt+1を求める．
(3) 予測誤差 et+1 = Yt+1 − Ŷt+1 の標準偏差を求め，予測域を定める．
予測域は Ŷt+1 が 95%ほどの確率でその領域に値をとるように設定されることが多い．大凡の目安としては，予測域の上限値と下限値をŶt+1 ± 2 ×（予測誤差の標準偏差）6(4)と目算すると便利である．標準的線形回帰分析の仮定の下での単回帰の場合，予測誤差の分散は

σ 2 [1 +1(Xt+1 − X̄)2+ ∑t]
2t
1 (Xt − X̄)(5)で与えられる．ここで，X̄ は説明変数 X の平均を表す．
(5) から判るように，Xt+1 が X̄ から大きく離れた値をとるほど予測誤差の分散は大きくなる．予測誤差の標準偏差とはその分散の正の平方根である．また，予測誤差の分散は標本数が大きくなるほど小さくなる．
推定方法の評価基準と同様に，予測方法の評価基準もいくつかあり，上記手続きで求めた予測値は次の 2 つの性質を持つことが知られている．ここで，t 期の予測量を，一般に，Y̌t+1 = E(Yt+1 : t 期において利用可能な情報)とし， 予測誤差を et+1 = Yt+1 − Y̌t+1 と定義する．線形回帰を使って予測を行う場合は Y̌t+1 = Ŷt+1 となっている．

1. 不偏性（unbiasedness）：予測誤差の期待値はパラメータの真の値であるという性質．つまり，予測誤差は平均的にはゼロ．E[et+1 ] = 0．
2. 効率性（eﬃciency）：予測量の分散が，他の予測量と比較して，最も小さいという性質．他の任意の予測量による予測の誤差を e∗t+1 とすると，E[(e2t+1 ] ≤ E[e∗2t+1 ]．

7