回帰分析の理論の研究—ロジスティック回帰を中心に—2010SE045 平野佑馬
指導教員：木村美善

2.2

はじめに

1

誤差項の諸仮定

重回帰モデルでは，以下の性質を仮定する．

3 年次に学んだ重回帰分析の基本は，目的変数が量的変仮定 1数の場合であり，誤差項には正規性を仮定することが多i = 1, 2, · · · , nE(εi ) = 0,2i = 1, 2, · · · , n(不偏性)

かった．しかし，実際問題の分析では，目的変数が質的変仮定 2var(εi ) = σ ,数や事象の確率，割合の場合が多く，この場合は誤差項に仮定 3cov(εi , εj ) = 0,i ̸= j

仮定 4εi ∼ N (0, σ I),i = 1, 2, · · · , n (正規性)

正規性は仮定されない．ロジスティック回帰はこのようなデータを中心にロジット変換や 2 項分布に従う確率分布を用いて，一般化線形モデルで分析することができる．本研
究の目的はロジスティック回帰分析を中心に回帰分析の理論と応用について研究することである．またモデルの適合度やモデル（変数）の有意性を考慮して回帰分析を学ぶ．
なお，解析にはフリーソフト「R」を用いた．

2

回帰分析

2.1

回帰モデルについて

2(等分散性)(無相関性)

仮定 1〜3 を満たすモデルを「線形回帰モデル」，仮定 1〜4 を満たすモデルを「線形正規回帰モデル」という．
この線形回帰モデルにおいては，目的変数 y の分布の変化を適切に捉える説明変数の組を求めることが最も重要な問題であり，変数選択の問題といわれる ([4] 参照)．

3

変数選択について

3.1

情報量規準 AIC

実際のデータを分析する際の有効なモデル選択規準が，目的変数を Y ，p 個の説明変数を X1 , · · · , Xp とすると， 情報量規準 AIC である．情報量基準 AIC は

Y と X1 , · · · , Xp の関係は，回帰モデルにより次のように近似される．

AIC = −2(最大対数尤度) + 2(モデルの自由パラメータ数)で与えられる．
最大対数尤度とはそのモデルでの対数尤度の最大値であY = f (X1 , · · · , Xp ) + ε

り，自由パラメータとは，そのモデルの含む未知母数の個数である．モデルの尤度関数が適切に定義されているかぎ
関数 f (X1 , · · · , Xp ) は Y と X1 , · · · , Xp の関係を表し， り，どんな統計的問題にも適用可能である．しかしその反ε は近似によって生じる確率誤差を示している．回帰分析 面，モデルの分布型を特定化しなくてはならない，というは関数 f を求める手法であり，特に f が X1 , · · · , Xp の一次式で表される次式のような線形回帰モデルを仮定したものが一般に広く用いられている．

Yi = β0 + β1 Xi1 + · · · + βp Xip + εi ,i = 1, · · · , n

回 帰 分 析 の 主 な 目 的 は ，未 知 な 値 で あ る 回 帰 係 数

β0 , β1 , · · · , βp を推測することであり，係数を確定し回帰式を求めることによって，説明変数の変化が結果に対し欠点もある ([2]，[4] 参照)．

4

ロジスティック回帰

4.1

ロジスティック回帰モデル

重 回 帰 分 析 と 同 様 に g(xi ) = β0 + β1 xi1 + · · · +βk xip + εi （ ロ ジ ッ ト ）の モ デ ル を 考 え る ．た だ し ，xi = (xi1 , · · · , xip )t ．p(xi ) = P (Yi = 1|xi ) を xi のもとでの Y = 1 となる条件付き確率とすると，ロジスティック回帰モデルはてどの程度の影響を及ぼすかを予測することができる．上p(xi ) =式のモデルを，行列とベクトルで1exp(g(xi ))=1 + exp(g(xi ))1 + exp(−g(xi ))である ([1]，[4]，[5] 参照)．

Y = Xβ + ε

4.2

対数オッズ (ロジット)

2 水準の場合，p を確率として p/(1 − p) をオッズといと書き換えることができる．ただし，Y は目的変数からう．これは片方がもう片方の何倍起こりやすいかを意味すなる n × 1 ベクトル，X は定数項と説明変数からなるる．この対数をとった log p/(1 − p) = log p − log (1 − p)n × (p + 1) 行列，β は回帰係数からなる (p + 1) ベクトル， を対数オッズという. オッズの対数をとることをロジット変換という ([1] 参照)．
ε は誤差からなる n × 1 ベクトル ([3] 参照)．

4.3

メディアン有効レベル

ロジスティック回帰モデルは反応のレベルを調べることができる．特に反応の半分のレベルはメディアン有効レベ

5

分析

5.1

データ

Springfield の Baystate 医療センターの 189 人の出生にルと呼ばれる．説明変数が 1 つのとき，メディアン有効ついてのデータであり，低体重出生とそのリスク因子の関レベルは回帰曲線から x を逆推定することができる ([1]連を調べた．目的変数を「低体重出生の有無」，説明変数参照)．

を「年齢」，「最終月経時体重（ポンド)」，「人種」，「喫煙の1β0exp(β0 + β1 x1 )= =⇒ x0.5 = −1 + exp(β0 + β1 x1 )
2
β1
4.4

有無」，「非熟練労働経験数」，「高血圧の既往」，「子宮神経過敏の有無」，「妊娠の最初の 3 ヶ月の受診回数」，「児の出生時体重 (g)」とし，AIC が最小となる変数を選択した．

尤度

β の推定のために，独立な n 個の標本を収集したとする．Y = (Y1 , Y2 , · · · , Yn )t ，y = (y1 , y2 , · · · , yn )t ，xi =(xi1 , xi2 , · · · , xip )t とする一般モデルのもとで，確率変数
Y の観測値が y となる確率はn∏L(β) ==i=1n∏i=1p(xi )exp(g(xi ))( 1+exp(g(x)i ))であり，この L(β) を尤度または尤度関数という．L(β) を最大にする最尤推定値は，対数をとり対数尤度を求め，加データは「R」の MASS ライブラリより引用した．

5.2

分析結果
表 1 変数選択後の分析結果 (ロジスティック)

Estimate Std.Error z-value Pr(> |z|)−0.087
0.952−0.091
0.928
最終月経時体重−0.016
0.007−2.320
0.020
黒人
1.326
0.522
2.539
0.011
他の有色人種
0.897
0.434
2.068
0.039
喫煙あり
0.939
0.399
2.354
0.019
非熟練労働経験数
0.503
0.341
1.475
0.140
高血圧既往あり
1.855
0.695
2.669
0.008
子宮神経過敏あり
0.786
0.456
1.721
0.085
(Intercept)

法形式にした上で Newton-Raphson 法などのアルゴリズムにより反復計算をして推定する ([5] 参照)．

4.5

表 2 Baystate 医療センターにおける低体重出生リスクの逸脱度 (デビアンス)

最尤推定に基づくロジスティック回帰モデルでは次に示す尤度の比（尤度比）の対数の −2 倍の量

D = −2log(モデルの尤度)
完全にフィットしたモデルの尤度を利用する．これは逸脱度 (デビアンス) と呼ばれ，モデルの適合度を総合的に要約して評価する尤度比検定統計量でロジスティック回帰分析結果
95% 信頼区間
独立変数
人種（白人）
黒人
他の有色人種
喫煙あり（なし）
高血圧既住あり（なし）
子宮神経過敏あり (なし)

オッズ比

下限

上限

3.765
2.452
2.557
6.392
2.194

1.355
1.062
1.185
1.693
0.888

10.68
5.878
5.710
27.3
5.388

ある．逸脱度を重回帰モデルで計算すると残差平方和 SSEに一致する．逸脱度は現在のモデルが正しいという仮説のNagelkerke の R2 : 0.223，AIC: 217.99，Dnull :もとで漸近的に χ 分布の上側 100α% 点より小さければ， 234.67(自由度 188)，D : 201.99(自由度 181)
有意水準 α で適合度が良くないと判断する根拠が乏しくな
6 おわりにる ([5] 参照)．
2

4.6

本研究では回帰分析を中心に，ロジスティック回帰分析

Nagelkerke の R2の理論について理解を深めることができた．

モデルの当てはまりについては，3.1 節の情報量規準

AIC の他，Nagelkerke の R2 という値が使われることがある．これは線型回帰の場合に使われる自由度調整済重相関

参考文献[1] 粕谷英一：一般化線形モデル，共立出版，2012.

係数の二乗（いわゆる決定係数）を一般化したものである． [2] 小西貞則・北川源四郎：情報量基準，朝倉書店，2004.

R2 =

1 − (Lˆ0 /L̂)2/n
1 − Lˆ02/n=

1 − exp((D − Dnull )/n)1 − exp(−Dnull /n)

L は尤度（L0 は帰無仮説の下での尤度）を示し，D は逸脱度（線型回帰における残差平方和のようなもの），Dnullは帰無仮説の下での逸脱度である．n はサンプルサイズである．決定係数と同じく 0 から 1 の間の値をとり，モデルがデータのどれくらいの割合を説明しているかを表す指標である ([6] 参照)．

[3] 宮川公男：基本統計学，有斐閣出版，1977.
[4] 佐和隆光：回帰分析，朝倉書店，1979.
[5] 丹後俊郎・山岡和枝・高木晴良：ロジスティック回帰分
析 ― SAS を利用した統計解析の実際―，朝倉書店，
1996.
[6] http://www.iic.tuis.ac.jp/edoc/journal/ron/r8-12/r8-1-2.pdf