論 文

リッジ回帰における尤度距離による影響力評価
竹

内 秀

一

Assessment of Inﬂuence Based on Likelihood Distance in Ridge Regression
Hidekazu TAKEUCHI
Some inﬂuence measures based on the case deletion procedure are proposedin linear regression.Several of them are applied to ridge regression.An inﬂuence
measure based on the log-likelihood is taken up in this paper. It is called thelikelihood distance.The deﬁnition of the likelihood distance in ridge regression
is given by the same way as in linear regression.Then the likelihood distance inridge regression is reduced to an appropriate expression for the sake of assessment of the inﬂuence with the case deletion procedure.Some characteristics ofthe likelihood distance are investigated in contrast to Cookʼs distance both inlinear regression and in ridge regression. The likelihood distance in ridge
regression has a peculiar characteristic on the change of the ridge parameter.
Furthermore a numerical example for a real data set shows that the likelihood
distance in ridge regression is eﬀective for the assessment of the inﬂuence of theobservation(s).

1 はじめに線形回帰分析における観測値の影響力評価を，Hoerl and Kennard［6］によって提案されたリッジ回帰（ridge regression）へ応用することを考える。リッジ回帰における影響力評価（竹内［12］を参照）のための診断統計量（inﬂuence measure）として，ノルム化診断統計量である Cook の距離（Cookʼs distance）や行列式型診断統計量である一般化分散比（covariance ratio）などを取り上げてきた。本研究では，これらに加えて，回帰係数の対数尤度規準に基づく診断統計量である尤度距離（likelihood distance）をリッジ回帰へ応用することを検討する。また，これまで明確に示されていなかった尤度距離と Cook の距離との係についても言及する。なお，観測値の影響力評価については，個々に観測値を除去する方法（以―3―リッジ回帰における尤度距離による影響力評価

下，観測値除去法）に基づく場合，つまり single-case のみを考える。複数個の観測値を同時に除去する方法に基づく場合，つまり multiple-case については，リッジ回帰においては複雑なベクトルあるいは行列表現になるので取り上げない。
尤度距離を線形回帰に適用したときの性質については，竹内［13］において数値実験により検証されている。本研究においては，尤度距離をリッジ回帰に適用した場合の性質について，実 のデータ解析に基づいた検討をする。この結果から，リッジ回帰の特性であるリッジパラメータの変化（増加させること）に対して，観測値により尤度距離が減少してから増加する場合と，増加のみを続ける場合があることがわかる。前者の場合は，リッジ回帰を適用することにより観測値の影響力を小さくする（縮小する）ことが可能であるが，後者の場
合は，観測値の影響力がより大きくなるのでリッジ回帰の適用に注意を要することが特徴として挙げられる。
また，尤度距離と Cook の距離との 係はこれまであまり研究されてこなかったが，本研究においてある一つの 係式の導出を試みる。これにより通常の線形回帰とリッジ回帰の両方の場合について同様な 数 係を示すことができる。この 数係により，観測値の影響

力評価においては尤度距離と Cook の距離は同じような傾向を示すことがわかる。さらに，
リッジ回帰においては，リッジパラメータの変化に対しても，尤度距離と Cook の距離は似通った傾向があることを，実 のデータ解析に基づいて示す。
本論文の構成は以下のとおりである。第 2 節では基本的な各種の統計量の定義を与える。
第 3 節において，リッジ回帰における尤度距離を定義し，さらに Cook の距離との係式を導く。第 4 節では，実 のデータに基づく数値例を示す。第 5 節は全体のまとめと今後の課
題である。

2 定義
本節では，線形回帰モデルにおけるリッジ推定量を導入し，診断統計量として Cook の距離の定義をする。また，個々の観測値の影響力を評価するために，観測値除去法に基づく基
本的な統計量を定義する。

2.1 線形回帰およびリッジ回帰
ここでは，線形回帰モデルとして，＝ Xβ＋εを考える。このとき， は ×1の目的変数ベクトル，X は × のフルランクの説明変数行
列，βは ×1の回帰係数ベクトル，そして εは ×1の誤差ベクトルであり，正規分布(0，σI )に従うものとする。ただし，I はの単位行列を表す。また，βの最小 2 乗推定―4―

東京経済大学

人文自然科学論集 第 123 号

量は β＝(X′
X) X′ として得られ，σ の不偏推定量は σ ＝ ′/( − )となる。ただし，「′」は行列あるいはベクトルの転置を表し， は残差ベクトルであり， ＝ −Xβ＝(I −H)である。このとき，H は説明変数行列 X から構成されるハット行列（hat matrix)H＝X(X′X) X′であり，その第 対角成分
らに，残差ベクトルの第 成分がてこ比である。ただし，1/

を 準化した ＝ /(σ 1−＜1とする。さ)を 準化残差（内的ス

チューデント化残差）と呼び， の定義式において， σの代わりに σ を用いた
σ

1−

の（ ）は

＝ /

をスチューデント化残差（外的スチューデント化残差）と呼ぶ。ここで，添字個の観測値の中から除去される観測値の番号を表す。

つぎに， を列ベクトルとして並べた 準化残差ベクトルを＝

1
diag(I −H)σとする。ただし，diag（A）は正方行列 A の対角成分のみを取り出し， 対角成分をすべて 0にした行列を表す。同様にスチューデント化残差
＝D

については

diag(I −H)とする。ただし，

D＝

σ
0
⁝
0

0
σ
⁝
0

…
…
…

0
0
⁝
σ

である。
ところで，σ および σ の 係式は，
σ ＝であり，また， および
＝

− −
σ
− −1

の 係式は，Weisberg［15］などから
−
− −1＋

または

＝

− −1
− −

(2.1)

である。
線形回帰の一つの代替的方法としてリッジ回帰がある（Groβ［5］などを参照）。リッジ回
帰においては，回帰係数ベクトル βの推定量（以下，リッジ推定量）を，リッジパラメータ( 0)を使って，β ≡ (X′
X＋ I ) X′と定義する。すると，最小 2 乗推定量の場合と同じく，残差ベクトル

は， ＝ −Xβ ＝(I −H ) となる。このとき，ハット行列 H はH ＝X(X′
X＋ I ) X′であり，その第 対
角成分がリッジ回帰におけるてこ比である。ただし，0＜＜1である。

さらに，第 番目の観測値を除去したときの回帰係数ベクトル βの最小 2 乗推定量は β―5―リッジ回帰における尤度距離による影響力評価＝(X X ) X′と定義されるので，これと同様に，第 番目の観測値を除去したときのリッジ推定量を
β ＝ (X′X ＋ I ) X′とする。このとき，観測値除去に して，リッジパラメータは一定（独立）であると仮定する。この理由は，β における逆行列の部分の計算が大変困難になり複雑になるからである。 についてもとする場合については，Takeuchi［10］において一つの方法が試みられている。
以上から，特に， ＝0とすれば，β ＝β，β ＝β ，あるいは H ＝H など，リッジ回帰の統計量と通常の線形回帰の統計量が一致することがわかる。
実のデータ解析においては，この他にもリッジ推定量に基づく診断統計量を検討する場合に生じる固有の問題について考慮する必要がある。リッジ推定量は，説明変数を中心化（センターリング）したり，尺度化（スケーリング）したりすることにより導出されることがよくある。たとえば，Belsley, Kuh and Welsch［1］や Draper and van Nostrand［4］な
どでこうしたことは以前から議論されている。一般に，説明変数の尺度を変えたりする，あるいは （の推定量）が観測値除去に依存する，といったこととは無 係に影響力の大きさは変化する。けれども，ここでは，一般的なリッジ回帰において議論されているように，X′X
を相行列に変換することは必ずしも仮定しない。もし，線形回帰モデルに定数項が含まれている場合に相行列へ変換するときには， および I をそれぞれ ＋1および I換えて考える（あるいは， ＋1をあらためてと定義し直す）。ただし，Iに置きは，Walker andBirch［14］で行われている手法と同様に，第 1 対角成分が 0 である以外は単位行列 I と同じ行列を表すものとして扱う。

2.2 リッジ回帰における Cook の距離
この節では，通常の線形回帰における観測値の影響力評価を行うための Cook の距離を拡張して，リッジ回帰における観測値の影響力評価を行うための診断統計量としての Cook の距離を示す。第 3 節において，尤度距離を Cook の距離に基づいて表すことを考えるので，ここであらかじめ定義しておく。
通常の線形回帰における観測値の影響力評価を行うための Cook の距離 CD は，Takeuchi［9 ］からCD ≡と表現できる。ただし，(β−β )′X′
X(β−β )
＝
σ
は
＝

1

―6―

1

π

＝

(2.2)

東京経済大学

人文自然科学論集 第 123 号の第 成分であり，π は＝ diag(H) diag(I −H)の第 対角成分であり，π＝

/(1−

)となる。

リッジ回帰における観測値の影響力評価を行うための Cook の距離 CD を，（2.2）式を拡張することにより導入すると，Takeuchi［11］からCD ≡＝となる。ただし，(β −β )′
(X′
X＋ I )(X′
X) (X′
X＋ I )(β −β )
σ
1
1−

＝

σ 1−

( ＋ )

はリッジ回帰における残差ベクトル＝の第 成分であり，

(2.3)
は

1

の第 成分である。このとき，＝である。また，1diag(I −H)
σ

( − )

は
S ＝ diag(I −H) diag(I −H )の第 対角成分である。(2.3）式の第三表現は，Cook の距離に して 3 つの効果を測る部分に分けているので，分離表現と呼ばれる。
(2.3）式で与えられるリッジ回帰における Cook の距離 CD の導入においては，β −βの中に まれる行列の選び方によっていくつかの定義式が考えられるが，ここでは，β の分散共分散行列 Var(β )＝ σ(X′
X＋ I ) (X′
X)(X′
X＋ I ) の逆行列を選ぶものとする（たとえば，Walker and Birch［14］を参照）。

3 リッジ回帰における尤度距離
本節では，リッジ回帰における尤度距離を定義し，観測値の影響力評価における基本的な統計量に基づく計算式を導出する。また，導出された尤度距離と Cook の距離との係式についても検討する。

3.1 リッジ回帰における尤度距離の導出
Cook and Weisberg［3］から，通常の線形回帰における尤度距離 LD は，以下のように定義される。
LD ≡ 2 (β)− (β )
ただし，
―7―

(3.1)

リッジ回帰における尤度距離による影響力評価(β) βが β のときの対数尤度 および(β ) βが β のときの対数尤度である。詳しく言えば，尤度距離 LD とは，未知回帰係数ベクトル βが β のとき，つまり，すべての観測値を利用したときの対数尤度と，同様に βが β のとき，つまり，第 番目の観測値を除去したときの対数尤度の差を 2 倍した診断統計量である。この差の大きさから，その除去された第 番目の観測値の影響力を測定するのである。したがって，この差が大きい，つまり LD の値が大きい第 番目の観測値を影響力が大きいものとして評価するのである。
また，Chatterjee and Hadi［2］や竹内［13］で示されているように，（3.1）式をてこ比とスチューデント化残差
LD ＝を使って表すと，以下のように表現することができる。
− −1
− −1＋

(3.2)

この（3.2）式については，Chatterjee and Hadi［2］などでは，（2.1）式の係から 準化−1＋−1− −1 1−

−1

残差

log

を使って
LD ＝

log

− −
−

−1

−1
− −

＋

1−

−1

(3.3)

とも表現している。
(3.1）式の尤度距離の考え方をリッジ回帰の場合に適用して，以下のように定義する。
LD ≡ 2 (β )− (β )(3.4)

ただし，通常の線形回帰の場合である（3.1）式と同じく，(β ) βが β のときの対数尤度 および(β ) βが β のときの対数尤度とする（具体的な対数尤度については付録 1 を参照）。
（3.4）式の定義に基づいて，リッジ回
帰における尤度距離 LD を導入すると，付録 1 から
LD ＝

log

＋

−

1−
＋

( ＋ )＋2( ＋ )
1

−1

1＋

′
diag(I −H)
−

(3.5)

となる。ただし，
＝
であり，

−1

＝

−1

− −1
− −1＋

は
＝

の第 成分であり，それに
て，

− −
−

＝ I −(H )1diag(I −H)
σ

(

−

)

は（H ) の第 対角成分である。ここで，（3.6）式においである。

特に，リッジパラメータ(3.6)

が ＝0のとき，リッジ回帰における尤度距離LD は，―8―東京経済大学

LD＝ LD ＝

log

＋

1
−

人文自然科学論集 第 123 号

＋

1−

1

−1

(3.7)

として得られ，付録 2 から（3.3）式の尤度距離 LD と一致することがわかる。

3.2 尤度距離と Cook の距離との 係(3.7）式の尤度距離LD は，（2.2）式の Cook の距離 CD を利用すれば，以下のように表現することもできる。
LD ＝

log

＋

1
−

1

CD ＋

−1

(3.8)

なお，Chatterjee and Hadi［2］では，分散の推定について条件を付けた場合の尤度距離を提案し，それが Cook の距離と実質的に同一であることを示している。
(3.8）式と同様にして，リッジ回帰における尤度距離 LD も（2.3）式の Cook の距離
CD を利用して，以下のように表現することができる。
LD ＝

log

＋

1

CD ＋2 ( ＋ )

−

1

＋

′
diag(I −H)
−

−1 1＋

(3.9 )

さらに，（2.3）式で与えられるリッジ回帰における Cook の距離 CD を拡張して，（3.9 ）式
を変形すると
LD ＝

log

＋

1
−

CD ＋

1

−1

1＋

′
diag(I −H)−(3.10)と表現することもできる。ただし，（3.10）式において
CD

≡

π
π

( ＋ )＋と定義する。このとき，（3.11）式において，
＝

π

−

π

(3.11)

は
1の第 成分であり，π は＝ diag (H ) diag(I −H)の第 対角成分であり，π ＝/(1−)となる。特に， ＝ 0のとき，

CD

＝ CD

＝ CD

となる。
したがって，通常の線形回帰においてもリッジ回帰においても，尤度距離は Cook の距離の 数であるとみなすこともできる。

―9 ―リッジ回帰における尤度距離による影響力評価

4 数値例(3.9 ）式あるいは（3.10）式で与えられるリッジ回帰における尤度距離 LD の性質を調べるために，実 のデータに基づく数値計算を行う。また，リッジ回帰における代表的な診断
統計量である（2.3)式で与えられる Cook の距離CD との比 検討もする。
数 値 計 算 を す る た め の デ ー タ と し て は，Takeuchi［11］に お い て 例 示 さ れ て い る「Artiﬁcial Data」（データ数は ＝20であり，説明変数の数は定数項を含め ＝4＋1＝5）を利用する。数値例を示す前に，リッジ推定量に対してよく利用されるリッジパラメータの候補の中から，以下の 2 つのよって提案されている
提案されているを取り上げる。1 つは，Hoerl, Kennard and Baldwin［7］に＝ σ /β′β であり，もう 1 つは Lawless and Wang［8］によって＝ σ /β′X′
Xβ である。リッジパラメータは様々な観点を基にして数多く導かれているが，尤度距離の基本的な性質（挙動）を例示するために，代表的なこの 2 つの場合を取り上げる。
リッジ回帰における尤度距離 LD の計算結果は表 4.1 のとおりである。通常の線形回帰の場合の尤度距離 LD は LD において ＝0の場合の計算結果に相当する。竹内［13］において提案されている LD の一 近似に基づく打切り点を計算すると，
LD＞44 ＋ (− )4×20＋5×(20−5)＝ 4×20×( − )( − ＋4)(20−5)×(20−5＋4)2.901となる。つまり，LD の打切り点を 2.901 とみなす。これを使うと，観測値 No.10 およびNo.14 が影響力の大きい観測値であると判断できる。LD については，リッジパラメータの変化を考慮する必要があるので，打切り点を導くことが容易ではない。よって，LD の打切
表 4.1 尤度距離の計算結果
LD
観測値 ( ＝0)
No.

LD
＝
＝
＝0.073 ＝0.109

LD
観測値 ( ＝0)
No.

LD
＝
＝
＝0.073 ＝0.109

1
2
3
4
5

0.940
1.842
0.220
0.223
0.069

−0.7011.428−0.115−0.1640.277−1.052
1.466−0.210−0.296
0.370

11
12
13
14
15

0.247
0.047
0.079
6.251
0.028

−0.102−0.0440.063
10.5430.098−0.138−0.0740.030
12.007
0.113

6
7
8
9
10

0.619
0.433
0.032
0.029
13.5370.845−0.326
0.168
0.045
7.443

0.901
−0.417
0.205
0.096
6.256

16
17
18
19
20

0.273
0.246
0.281
0.092
0.156

0.619
0.832
0.249
0.096
−0.365

0.730
0.926
0.233
0.048
−0.440―10―

東京経済大学

人文自然科学論集 第 123 号

図 4.2 Cook の距離 CD のグラフ

図 4.1 尤度距離 LD のグラフ

り点を考慮しながら，LD の値が相対的に大きい観測値を影響力の大きいものとして判断することにする。すると，およびの両方の場合において，観測値 No.10 および No.14の LD の値が LD の打切り点よりも大きくなる。また，その打切り点よりも小さい値であるが観測値 No.2 の LD の値も他の 17 個の観測値の影響力に比べれば大きな値であると考えられる。したがって，これらの結果から影響力の大きい観測値としては，観測値 No.2，
No.10 それに No.14 の 3 個が挙げられる。その他の 17 個の観測値については，この 3 個の観測値に比べて影響力がかなり小さいものとみなせる。
さらに，影響力の大きい観測値であると判断される 3 個の観測値 No.2，No.10 それにNo.14 については， の値を 0 から 1 まで変化（増加）させて，尤度距離 LD の挙動を細かく調べる。その結果が図 4.1 である。参考までにリッジ回帰における Cook の距離 CD についても，同じ 3 個の観測値について挙動を調べたのが図 4.2 である。両図とも， の値を 1より大きくすることも考えられるが，通常のデータ解析では 01に設定することが多い

ので， ＞1の場合に広げることは現実的には想定しにくい。
図 4.1 から観測値 No.2 および No.10 については，リッジパラメータの値が 0 から少し増えたときに尤度距離 LD の値が最小になり，その後は徐々に増加する傾向が見られる。
また， の値が 1 に近づくにつれて観測値 No.2 と No.10 の LD の値が接近し，最後には逆転する（観測値 No.2 の LD の値が LD の打切り点を超える場合があることもわかる）。
これに対して，観測値 No.14 はの値が増加すると尤度距離 LD の値も単調に増加する傾向が見られる。通常の線形回帰における尤度距離 LD の値から観測値の影響力評価を行うと，観測値 No.10 が最も影響力が大きいと判断されるが，リッジ回帰を適用した場合には，その尤度距離 LD から観測値 No.14 の影響力の変化が最も大きく，なおかつ影響力の大き
さ自体もの値が大きくなるに従い増加する傾向にある。通常は，最小 2 乗推定量を縮小したものの 1 つがリッジ推定量であるので，あるについては，最小 2 乗推定量 β よりもリッジ推定量 β の方が影響力の大きさが小さくなることが期待される。けれども，観測値
No.14 については任意の (01)について影響力がより大きくなり，リッジ回帰の適用が芳しくない結果になったのである。その意味では，単に観測値の影響力の大小を比 検討―11―リッジ回帰における尤度距離による影響力評価

するだけではなく，リッジ回帰の適用についての是 についても検討することが重要であると考えられる。よって，図 4.1 のように，リッジパラメータについて，尤度距離 LD の変化を調べる必要性があるといえる。
なお，参考までに図 4.2 の Cook の距離 CD の挙動を調べると，尤度距離 LD の値ほどの変化は見られないが，増加や減少等の変化については，よく似た傾向を示している。リッジパラメータはの増加に伴い，観測値 No.2 は減少してから増加に転じるが，観測値 No.10

1までの範囲では単調減少している。これに対して，観測値 No.14 については，CDの値が単調に増加する傾向を示している。観測値 No.10 を除き，LD と CD における挙動についての差異はあまり見受けられない。観測値 No.10 の場合のような差異は，導出された（3.9 ）式の 係式から，LD には CD 以外にもリッジパラメータ
やに わる統計量として，などを含むので，挙動としては CD と異なる微小変動の部分が少なからずあるものと考えられる。

5 まとめと今後の課題
本論文では，リッジ回帰における尤度距離の定義を与えて，観測値の影響力評価における基本的な統計量に基づく計算式を導出した。その結果，Cook の距離との 連性（ 数 係）を見出すことができた。また，実 のデータを基にして，リッジパラメータの変化に対する
尤度距離 LD の挙動を調べることにより，観測値により

ね 2 種類の傾向があることがわかった。この傾向は Cook の距離 CD の挙動とよく似ているが，LD の方がより特徴がはっきりしているものと考えられる。
今後の課題としては，複数個の観測値の影響力評価を検討することと，リッジパラメータに対する尤度距離 LD の変化についてさらに検討を加える必要があるものと考えている。
実 のデータに対する個別研究も重要であるが，理論的に挙動の特徴を調べるためには，尤
度距離 LD のパラメータであるについての微分を検討することも重要である。この微分については計算結果を導出することはできているが，増加や減少などの理論的な特性を解明する段階までには至っていないので，今回の論文では取り上げていない。

付録 1：（3.5）式の導出
リッジ回帰における対数尤度の定義である（3.4）式から，対数尤度 (β )および

(β )を求める。このとき，σ の推定量としては，最小 2 乗推定量である σ ＝ ′/ を利用する。
通常の線形回帰における尤度距離の導出過程を示した竹内［13］の付録 1 の方法と同様にして，対数尤度は―12―

東京経済大学(β )＝ log

人文自然科学論集 第 123 号

β ，σ

＝ log

1
2πσ

＝−

log 2πσ −

2

exp −

( −Xβ )′
( −Xβ )2σ2σおよび(β )＝ log

：β ，σ

＝ log

1
2πσ

＝−

log 2πσ −

2

exp −

( −Xβ )′
( −Xβ )2σ

( −Xβ )′
( −Xβ )2σとなる。ただし，( −Xβ )′
( −Xβ )＝

−Xβ ＋X(β −β ) ′ −Xβ ＋X(β −β )＝ ( −Xβ )′( −Xβ )＋2(β −β )′X′( −Xβ )＋(β −β )′X′
X(β −β )＝＋2(β −β )′
X′ ＋

＝

＋2

＝

＋

2
1−

−(
1−
＋

)

＋

(X′
X＋ I ) X′
X(X′
X＋ I )

1−

′

1−
−2(1−

1−

)

である。このとき，2(β −β )′X′ ＝ 2
1−(X′
X＋ I ) X′(I −H )

＝2
1−

1′
Xβ −1′
(H )

＝2
1−

−( −

＝2
1−

−

＝2

)＋ −1′(H )＋1′I −(H )

＝2
1−

(−

＋

)

−( )
1−

であり，Takeuchi［11］の Appendix A から
β −β ＝ (X′
X＋ I )′
1−の 係を適宜利用している。ここで，1 は第 成分が 1 で他の成分が 0 の列ベクトルであり，は＝ β の第 成分であり，＝1′ と表すことができ，同様に
―13―

は

の第 成

リッジ回帰における尤度距離による影響力評価

分であり， ＝1′ と表すこともできる。また，

は X の第 行であり， ＝1 ′X である。

さらに，′と な る こ と は，(H )＝X(X′
X＋ I )＝ (X′
X＋ I ) X′
X(X′
X＋ I )X′
X(X′
X＋ I ) X′の第 対角成分であることから自明である。
したがって，以上のことから，
LD ＝ 2 (β )− (β )
＝

log

σ
σ
＋
σ
σ

1−
1−
＋

2
σ (1−

1
σ

1−

( )
＋
) σ (1− )

−2(1−
1−

)

σ
σ

となる。ここで，第一項および第三項においてσ( − −1) σ＝＝σ( −1)( − ) σ

− −
−

−1

＝

である。また，第二項において
σ
σ
＝
σ
σ

σ
1
＝
σ

−

と変形することもできる。
つぎに，第三項において，＝＋( − ) ′ ＋( − )＝ ′ 1＋2′( − ) ( − )′
( − )
＋
′
′

＝ σ 1＋′diag(I −H)−である。このとき， ′( − )＝0（直交性）を利用した。
第二項においても，＝ ＋( − )および

2
σ (1−

( )
＋
) σ (1− )＝ ＋( − )＋(

−2(1−
1−

＝ 2( ＋ )( ＋ ＋

−2(1−
1−

)

)＋ −2(1−1−))＋( ＋ )＝ 2( ＋ ) ＋( ＋ )

2(1−

1−

である。
以上から，最終的に（3.5）式として，

＋

log
1

＋

( ＋ )＋2( ＋ )

−

1−

−1 1＋

′
diag(I −H)−―14―)を利用して，)＝ 2( ＋ ) ＋( ＋ )

LD ＝

−

東京経済大学

人文自然科学論集 第 123 号

を導くことができる。

付録 2：（3.3）式と（3.7）式の同一性(3.3）式を式変形すると
LD ＝

log

＝

log

＋

＝

log

＋

＝

log

＋

＝

log

＋

＝

log

＋

＝

log

＋

− −
−

−1

＋

−

−1
− −

−1
− −

−
1
−
1
−

1−

−

1−

−

1−

−

1−

1＋

＋

1−

＋

1

−1

−( − )− −( −1)( − )− ( − − )
− −
−1

＋

1

1−

−1

−

＋

1

−1

1−

＋

1

−
− −

−1

−1

となり，(3.7）式と一致することがわかる。

参 考 文 献［1］Belsley, D.A., Kuh, E. and Welsch, R. E. (1980), Regression Diagnostics ; Identifying
Inﬂuential Data and Sources of Collinearity, New York : Wiley.
［2］Chatterjee,S.and Hadi,A.S.(1988),Sensitivity Analysis in Linear Regression,New York :Wiley.
［3］Cook, R. D. and Weisberg, S. (1982), Residuals and Inﬂuence in Regression, New York :Chapman and Hall.
［4］Draper, N. R. and van Nostrand, R. C.(1979 ), Ridge regression and James-Stein estimation : Review and comments, Technometrics, 21, 451‑466.
［5］Groβ, J. (2003), Linear Regression, Berlin : Springer.
［6］Hoerl,A.E.and Kennard,R.W.(1970),Ridge regression : biased estimation for nonorthogonal problems, Technometrics, 12, 55‑67.
［7］Hoerl, A. E., Kennard, R. W. and Baldwin, K. F.(1975), Ridge regression : some simulations, Communications in Statistics―Theory and Methods, 4, 105‑123.
［8］Lawless, J. F. and Wang, P.(1976), A simulation study of ridge and other regression
estimators, Communications in Statistics―Theory and Methods, 5, 307‑323.
［9 ］Takeuchi, H. (1991), Detecting inﬂuential observations by using a new expression of―15―

リッジ回帰における尤度距離による影響力評価
Cookʼ
s distance, Communications in Statistics―Theory and Methods, 20, 261‑274.
［10］Takeuchi, H.(1993), Inﬂuence analysis with an extension of covariance ratio in ridge
regression, 静岡県立大学経営情報学部報「経営と情報」，5, 9 ‑17.
［11］Takeuchi, H. (1994), Sensitivity analysis with an extension of Cookʼs distance in ridge
regression, Journal of the Japan Statistical Society, 24, 221‑236.
［12］竹内秀一（1997），リッジ回帰における診断統計量の代替表現，東京経大学会誌 203 号，5‑18。
［13］竹内秀一（2005），線形回帰分析における尤度距離による影響力評価，人文自然科学論集，119
号，19 ‑30。
［14］Walker,E.and Birch,J.B. (1988),Inﬂuence measures in ridge regression,Technometrics,
30, 221‑227 (Correction 30, 469 ‑470).
［15］Weisberg, S. (2005), Applied Linear Regression, 3rd edition, New York : Wiley.

―16―