回帰分析の理論とその応用に関する研究−リッジ回帰と多重共線性−

2009SE067 今枝建史郎
指導教員：木村美善

1

はじめに

4.2

リッジ回帰における SSE と MSE少なかった．つまり、結果が得られる仮定，仕組みに関し2 乗推定量とリッジ回帰推定量を比べるときに用いられる指標の中に残差平方和 SSE と平均 2 乗誤差 MSEの２つがある．リッジ回帰推定量の SSE と MSE を求める
際は最小 2 乗推定量のときとは異なる計算式になる．リッては理解できていない所が多かったと言える．この背景か

ジ回帰推定量のときのそれぞれの計算式は以下の通りと卒業研究を始めるまではデータ分析の勉強が中心であったため分析の方法や分析の多様な手法は理解することができたが，統計学に関する数学的理論については学ぶ機会が最小ら統計学についてより理解していきたいと思ったことと， なる．
理解を深めることで得られた数値結果からデータをより上手に活用したいと思い，この研究課題を選んだ．本研究の目的は多重共線性とリッジ回帰の理論を理解することであSSE(β̂ k ) = (Y − X β̂)′ (Y − X β̂)R+ (β̂ k − β̂)′ X ′ X(β̂ k − β̂)る．また，データ解析は統計解析ソフト「 」を使用する．

2(4)線形回帰モデルn 個の観測値が与えられた場合，目的変数を y , 説明変数を xj とすると，回帰式はyi = β0 + β1 x1i + · · · + βp xpi + εi , i = 1, · · ·, n.

M SE(β̂ k ) = σ 2p∑

λj (λj + k)−2j=1(1)+ k 2 β ′ (X ′ X + kI)−2 β(5)(5) 式の右辺の第一項は β̂k の成分の分散の和（総と表される．ただし，β0 , β1 , · · ·, βp は回帰係数 εi は誤差

ここで項を示す．また目的変数 yi の n × 1 ベクトルをY ，定数項分散），第二項は偏りの２乗を表す．正定数 k の値に対しと説明変数 x1i , x2i , · · · , xpi の n × (p + 1) ベクトルを X ， て，右辺の第一項は単調減少し，第二項は単調増加するこ
回帰係数 β0 , β1 , · · · , βp の (p + 1) × 1 ベクトルを β ，誤差項 εi の n × 1 のベクトルを ε とすると

(2)

Y = Xβ + ε.のように行列で書くことができる．

4.3

実行例

R

この節では，統計ソフト「 」の組み込みデータである

longley データをリッジ回帰で分析する．

最小 2 乗 (OLS) 推定量

であり，このとき，残差平方和は最小の値になる．最小2乗推定量は最良線形不偏推定量であり，さらに正規分布でリッジ回帰

4.1

リッジ回帰 (ORR) 推定量−0.54([7] 参照)0.0ある場合は最良不偏推定量となる．

1.01.5X ′Y
Ridge estimates−1β̂ = (X ′ X)

2.0(2) 式における β = (β0 , β1 , · · ·, βp ) の最小 2 乗推定量は

0.53([2] 参照)([1], [3] 参照)とがわかる．

それぞれの説明変数の間に多重共線性が存在する場合，最小2 乗推定量 β̂ を縮小し安定化を図るため X ′ X の対0.00

角要素にリッジ・パラメータと呼ばれる正定数 k を加え，推定量の平均X ′Y(3)とする方法をリッジ回帰という．そして，(3) 式をリッジ推定量という．

([5] 参照)−10.040.06

0.080.10

Ridge parameter (k)2 乗誤差が小さくなるように
β̂ k = (X ′ X + kI)

0.02

図1 longley データのリッジ・トレース

この分析結果よりそれぞれの変数の係数は k = 0.01 でほぼ安定状態に入ることが分かった．よって，最小2乗推定量である k = 0 の結果と k = 0.01 の結果を比較し表ていく．β̃ は標準化した場合の回帰係数ベクトルであり

x1

β̂ i = β̃ i (sy /sxi ) となっている．SSE，MSE の値は β̃ を真の係数値

k=0k=0.02用いて計算されている．
表

変数Intercept
x1x2x3x4x5SSE
MSE

1 longley データの回帰分析結果
OLS (k = 0)
ORR (k = 0.01)
β̃β̂092.4613−0.1489−0.0485−0.1075−0.1111−0.7992−0.0040−0.0056−0.4035

2.03780.07200.189319.3152β̃00.36390.5685β̂−0.2516−0.099335.16460.11840.0201−0.0095−0.00500.2471 0.1248
0.24261.3662

2 OLS との比較

5.2x2x3x4

1233
1.0100 1.2237 3.1489 2.5801
1.1868 7.1269 1.9221 3.0198

実行例

結果を見ると k = 0.02 のときの値は最小2 乗推定量で求めたものと比べ真の係数値に近づいた係数値もあるが，ほとんどの係数が大きく離れてしまっている．特に多重共線性を持っている変数 x2 の係数値は他の変数の係数値と比べ特異に大きく変化している．これはダミー変数である x4 のような変数がないときには見られない結果であり，MSE は k = 0 のときとは 0.1589 から 0.0135 に小さくなっているが，係数値が大きく異なることを考えると満足に分析することができていないと言える．また，別の乱数

表

1 の結果より，k = 0.01 のモデルはを用いて行なっても，結果は同じように多重共線性を持つ変数一つが特異に大きくなり同じような結果が得られた．
以上の結果より，説明変数にダミー変数などの質的変数を

y = 35.1646 + 0.1184x1 + 0.0201x2− 0.0095x3 − 0.0050x4 + 0.1248x5となる．k = 0 と k = 0.01 のときの β̃ の(6)SSE と MSE含むときにリッジ回帰を用いる場合は注意が必要である．

6

おわりに数学的観点から見る統計学の研究は大変勉強になったと

SSE は 0.1893 なのに対し， 感じる．回帰モデル，特にリッジ回帰についての勉強は参k = 0.01 のときは 0.2426 と値が大きくなっている．SSE 考にする資料のほとんどが海外の文献であったため英語をとは本来モデルの誤差を表すものなので MSE と同じく小 訳しながらの研究となり時間がかかったが，これにより，さい方が望ましいが，この結果からは SSE が大きくなっ より理解を深めることができたと思う．それに加え，リッてしまっている．しかし，その増加量は微小であり影響力 ジ回帰分析，SSE と MSE を導くプログラムを書いたことの小さいものであると考えることができる．次に MSE に もリッジ回帰に対し理解を深めることに繋がった．全体的ついて考える．MSE は k = 0 のとき 19.3152 であるのに に見て予測していた以上に研究することができ，自分ではについて見ると，k = 0 の対し，k = 0.01 のときは 1.3662 まで大きく減少している． 納得し満足している．
この大きな減少は推定量に大きく影響を与えるものであSSE，MSE の値を総合的に考 参考文献
察すると，データに多重共線性が存在する場合は，最小 2 [1] Grob,J.：Linear Regression，Springer, 2003．
乗法よりリッジ回帰を用いて分析を行う方が良い結果が得 [2] Rencher A.C. and Schaalje G.B: Linear Models in
られることがわかる．([4], [6] 参照)
Statistics，John Wiley & Sons,Inc, 2008．
[3] S. チャンジー・B. プライス（佐和隆光・加納悟 訳）：
5 ダミー変数を含むデータのリッジ回帰
回帰分析の実際，朝倉書房，2011．
5.1 多変量データ[4] Shewhart A.C. and WILKS S.S.：Regression Analysis
longley データは最小 2 乗法よりリッジ回帰の方が優れ
by Example，John Wiley & Sons,Inc, 2006．
た推定量を求めることができた。しかし、リッジ回帰は必[5] 佐和隆光：回帰分析，朝倉書房，2011．
ずしも最小 2 乗法より優れた推定量を求めることができる[6] 武山嵩弘：回帰分析の理論とその応用−リッジ回帰をわけではない。ここではその一例を見ていく。統計ソフト
中心に−，南山大学数理情報学部数理科学科卒業論文，
R を用いて，独自に正規分布に従うデータを作成した．た2006．
だし，変数 x2 と x3 には多重共線性が現れるよう共線関係をもたせてある．本章では乱数を用いて作成したダミー変 [7] 武山嵩弘・木村美善：ロバストリッジ回帰推定量とそる．以上より，係数推定値，数を持つデータを分析し，ダミー変数をデータに含んでいのシミュレーション評価，南山大学紀要『アカデミア』

る場合にリッジ回帰で満足する推定量を導くことができる

数理情報編，第かを考察していく．

8 巻， pp. 35-46，2008．