回帰分析の研究—検定を中心に—2010SE217 高田貴文
指導教員：木村美善
・帰無仮説 H0：β2 = … = βp = 0 の対立仮説 H1：

はじめに1

本研究の目的は回帰分析における仮説検定の理解をする

β2 ̸= · · · ̸= βp ̸= 0 に対する検定統計量
RSS0 − RSSp−1÷
RSS
n−pR2p−1=÷
1 − R2n−pことである．理論的内容の学習については [3] を参考とし，

W0 =[1] と [2] は補助的に利用した．さらに理論の内容をより深く理解するために [4] のデータを用いて検定を行った．そして，線形制約のある基本的な検定モデルと特殊な形のモデルに対して実際のデータを適用することによって，検定の有用性について考察を行った．

1.1

(7)

は H0 のもとで自由度 (p − 1, n − p) の F 分布に従う．

(c) 一部の回帰式の同等性の検定

回帰モデル

目的変数を y ，説明変数を xj

yi = β0 + β1 xi1 + · · · + βp xip + εi ,(1)

(1)

(1)

(8)(2)

(2)

(2)

(9)

y(1) = X1 β1 + X2 β2 + ε(1)(j = 1, ....., p) とし，y(2) = X1 β1 + X2 β2 + ε(2)i = 1, 2, · · · , nを考える．ただし，β0 , β1 , · · · , βp は回帰係数を表し，εi(1)・帰無仮説 H0 : β2(2)(1)= β2 の対立仮説 H1 : β2(2)̸= β2は誤差項である．以下，これを行列，ベクトル表記する． に対する検定統計量
目的変数からなる n × 1 行列を y, 定数項と説明変数からなる n × (p + 1) 行列を X ，回帰係数の (p + 1) × 1 ベクト

W0 =ルを β とすると

y = Xβ + ε(1)と表せる．ここで，E(ε) = 0,V (ε) = σ 2 I(2)を仮定する．(2) に対して，次の β に関する線形制約条件′

H β = ξ0(3)RSS0 − RSSr÷
RSSn−p−r(10)は H0 のもとで自由度 (r, n − p − r) の F 分布に従う．

2

データ分析

2.1

データ

実際に [4] より収集した企業データ (四季報 2013 年度)を使用し，企業情報から平均年収を知るための回帰式を導き出すことを目的とし分析を行う．データは，四季報に載っている東証一部上場で正確な企業データが公表されてが満たされる場合を考える．H は既知の定数を要素とする p × r 行列であり，r 個の列は１次独立，すなわちrankH = r(< p) と仮定する．

いるものを四季報掲載順に使用する．設立年数 (x1 )，資本金 (x2 )，従業員数 (x3 )，売上高 (x4 )，平均年収 (x5 )，平均年齢 (x6 )，平均勤続年数 (x7 )，純利益 (x8 )，採用人数

一般的な回帰モデルの特殊な場合として次の 3 種類の検定問題を考える．

(x9 ) を取り上げ，目的変数を x5 とし，残りの 8 個を説明変数とした．サンプルデータ数は 55 個である．

(a) 回帰式の同等性の検定
2.2

データ全体の分析と分類

y(1) = X(1) β(1) + ε(1) , ε(1) 〜N (0, σ 2 I)

(4)まず，収集した全データに対して回帰式を求める分析を

y(2) = X(2) β(2) + ε(2) , ε(2) 〜N (0, σ 2 I)(5)

行った．しかし，分析結果を見てみると決定係数は 0.503

・帰無仮説 H0 : β(1) = β(2) (= β) の対立仮説 H1 : β(1) ̸=β(2) に対する検定統計量
W0 =p
RSS0 − RSS÷RSSn − 2p

は H0 のもとで自由度 (p, n − 2p) の F 分布に従う．

(b) 回帰式の有意性の検定
一般的な回帰モデル (2) を使用する．と低く，全データから分析を行うことはよくないようである．よい分析が出来ない原因として「企業データの中に明らかな偏りを持つ企業がある」ことが考えられるので，次(6)の基準より企業データの分類を行った．

• 企業の分野によって業界分けを行う• 企業規模を売上高 (1000〜3000 億円) で制限する
この分類より，自動車部品業界 (データ数 15 個)，IT シス
テム業界 (データ数 15 個) の 2 つのグループとした．

2.3

これらのことからダミー変数の影響は大きく，2 つのグモデル (a) による分析

ループに業界の差がみられることがわかった．

業界の差があるかを調べるために回帰式の同等性の検定

2.6を行う．

ここでの目的はダミー変数に対して同等性の検定を行う

X(1) を自動車部品業界に対応する説明変数のデータ
X(2) を IT システム業界に対応する説明変数のデータとして検定統計量の値を求める．各 RSS0 と RSS は
RSS0 = 81036.9，RSS = 15636.6

モデル (c) による分析

ことにより，前述の方法とは異なる形で業界間の差を検証することである．使用する変数は 2 つの回帰式で共通して残った従業員数，平均年齢，採用人数とし，これをそれ(11)n = n1 + n2 = 30，p = 9

ぞれのグループに使用して検定を行う．ここでは採用人数(x9 ) を使用した場合のみを記載する．(c) のモデルに以下となり，各値を代入すると，W0 = 5.57 が得られる．p 値の前提を加える．
(1)

(2)

は 0.0037 となる．よって 2 つの業界の間には差があると• β1 = β1 (= β1 )いう仮説はデータより確認された．

• X1

2.4(1)

を自動車業界の説明変数 x10(2)• X1 を自動車業界のダミー変数(1)• X2 を IT システム業界の説明変数 x10(2)• X2 を IT システム業界のダミー変数

モデル (b) による分析

分類した各グループに対して分析を行い，得られた回帰式に対して検定を行う．
・自動車部品業界の分析，検定を行う．step による変数選

これに基づき検定統計量の値を求める．各 RSS0 と RSS択を行い，変数 x1 , x3 , x6 , x9 が残った．この結果に対しては検定統計量の値を求める．
2

R = 0.7807，n = n1 + n2 = 15，p = 5

RSS0 = 302265.9，RSS = 261588.6(14)n = n1 + n2 = 30，p = 2，r = 1(12)は 0.0025 となり，帰無仮説は有意水準 1 ％ において棄却となり，各値を代入すると，W0 = 4.2 となる．p 値は0.0503 となり，帰無仮説は有意水準 5 ％において棄却されされる．得られた回帰式は有意であるといえる．

るかされないかというところである．また，他の共通の変となり，これを代入すると W0 = 8.9 が求められる．p 値

・IT システム業界も同様に分析，検定を行う．step に数，従業員数，平均年齢を使用した場合の検定も行った．

よる変数選択を行い，変数 x3 , x6 , x7 , x8 , x9 が残った．こ検定の結果から両方の変数とも有意水準 1 ％で帰無仮説がの結果に対して検定統計量の値を求める．

棄却され，業界間の差があることが分かった．

R2 = 0.9693，n = n1 + n2 = 15，p = 6(13)これを代入すると W0 = 56.83 が求められる．p 値は1.6 × 10−6 となり，帰無仮説は有意水準 1 ％ において棄却される．得られた回帰式は有意であるといえる．

2.5

ダミー変数を使った業界間の分析

3

おわりに研究の実施内容として，当初予定していた通り回帰分析の基本的な理論の学習を進め，仮説検定についても多くの線形制約を持つ場合に対応した理論を理解をすることが出来た．しかし，実際にデータを使用した分析と検定においては予定していたところまで進むことが出来なかった．

得られた分析結果を参照しながら企業の業界におけるデータの解析と各検定は [1] を参考にしながら行ったが，差異について考える．第一段階としてダミー変数を用いて[4] のデータを使用したグループの分類と得られた回帰式

業種間に違いがあるかどうかを検証する．各グループに新の有意性については確認できた．ただし，同等性検定につたにダミー変数を自動車部品業界 → 1，IT システム業界

いては 2 変数の場合のみの検定になってしまった．3 個以→ 0 として追加し，回帰分析を行う．分析の中でダミー変数の係数値，p 値などから回帰式にどれぐらい影響しているかを見る．p 値が低い場合，ダミー変数の影響が大きい(業界の差が大) ということになる．分析の結果は次の通りである．

• 変数選択前の分析から変数全てを使用した場合でもダミー変数の p 値はかなり低い．
• 得られた回帰式からダミー変数は他の変数よりも大きな影響力を持っていることがわかる．

• 変数選択後も決定係数は 0.87 と高く回帰式の信頼性は高い．

上の変数を使用した場合の検定を行うことが出来なかったのは残念である．

参考文献[1] Chatterjee，S．and Price，B．：回帰分析の実際，
新曜社，1981(加納悟・佐和隆光，原著 1977)．

[2] Rencher，A．C．and Schaalje，G．B．：
Linear Models in Statistics，John Wiley，2008．
[3] 佐和 隆光：回帰分析，朝倉書店，1979．
[4] 就活四季報，東洋経済，2013，