回帰分析の理論とその応用− 外れ値とロバスト回帰 −2009SE009 安藤周平
指導教員：木村美善と表す．最小二乗推定量 (LS 推定量)β̂LS ははじめに1n∑分析を行う際に集められたデータはしばしば外れ値と呼ばれる観測値を含んでいる．このようなデータを用いた場
合，回帰分析で通常用いられる最小二乗法は外れ値によって非常に良くない影響を受けてしまう．ロバストなアプ
ローチは，データに外れ値が含まれる場合やデータが仮定された分布に近似的にしか従わないときにも信頼出来るパラメータの推定値を生み出す方法である．本研究の目的は

ri (β̂LS )2 = mini=1(5)

i=1により定義される．β̂LS は正規分布からの「ずれ」や「外あることが知られている．そして，外れ値からのこの影響のため外れ値を検出することは難しくなることがある．

3

ロバスト法

値の検出や外れ値が存在する場合の推定にロバスト推定法

3.1

ロバスト法とは解析には統計解析ソフト「R」を使用する．

ri (β)2れ値」に対して敏感であり，大きな影響を受けて不安定で最小二乗回帰推定量とロバスト回帰推定量を比較し，外れが有効な方法であることを示すことである．また，データ

βn∑

ロバスト法はデータが外れ値を全く含まないならば最小二乗法と近似的に同じ結果を与えるが，外れ値が含まれて2回帰モデルいるならば典型的なデータのみに適用された場合の最小2.1

線形回帰モデル

二乗法と近似的に同じ結果を与えることができる．すなわ

目的変数 y と p 個の説明変数 x1 , · · · , xp に関する n 個の観測値 yi , xi1 , · · · , xip ，i = 1, · · · , n が与えられているとして，次の線形重回帰モデルを考える．

ち，データ志向の特徴づけとしてロバスト法はデータの大部分にうまく当てはまるというものである．その結果として，高次元多変量の場合においても，外れ値を検出するための非常に信頼できる方法を与える．([1] 参照)

yi = β0 + β1 xi1 + · · · + βp xip + εi ，i = 1, · · · , n(1)ここで β0 , β1 , · · · , βp は回帰係数を表し，εi は誤差を表す．
このモデルを行列で表記すると

y = Xβ + ε(2)3.2LMS 推定量

LMS（Least Median of Squares）推 定 量 β̂LM S は ，Rousseeuw(1984) により提案されたロバスト回帰推定量であり，残差平方の中央値を最小にする

β̂LM S = arg min med(r1 (β)2 , · · · , rn (β)2 )となる．また，誤差 εi は次の性質を持つと仮定する．

β(6)として定義される．LMS 推定量はわかりやすく，破綻点

1.

E(εi ) = 0(i = 1, 2, · · · , n)

[不偏性]

2.

var(εi ) = σ 2(i = 1, 2, · · · , n)[等分散性]

3.

cov(εi ，εj ) = 0(i ̸= j)[無相関性](breakdown point) は ([n/2] − p + 2)/n であり，n → ∞のときに最大の破綻点である 0.5 を持つ．外れ値に対して強くて影響されにくいことから外れ値の検出に威力を発揮

これらは誤差 εi の平均が 0 であり，分散 σ を持ち，εi ̸= εjする．外れ値が存在しない場合には LS 推定量と LMS 推のとき互いに影響を受けないことを示している．([2] 参照)

定量の差は大きくならないが，差が大きくなる場合には外22.2

れ値の存在と LS 推定量の使用に注意すべきである．

最小二乗法

最小二乗法とは残差平方和が最小になるように

3.3

LTS 推定量

LTS（Least Trimmed Squares）推 定 量 β̂LT S は ，β = (β0 , β1 , · · · , βp )′ の推定量を β̂ = (β̂0 , β̂1 , · · · , β̂p )′ ， Rousseeuw(1984) により提案されたものであり，残差平222≤ r(2)≤ · · · ≤ r(n)のように昇順に並び替えた h
目的変数 y = (y1 , · · · , yn )′ の予測値を ŷ = (ŷ1 , · · · , ŷn )′ 方を r(1)回 帰 係 数 の 推 定 値 を 定 め る 方 法 で あ る ．回 帰 係 数番目までの和を最小にするとするとき，ŷ = X β̂

(3)β̂LT S = arg minと表すことができ，残差をri (β̂) = yi − ŷi ，i = 1, · · · , n，β(4)h∑r(i) (β)2(7)i=1として定義される．残差平方和の中に大きい残差が含まれないことにより，外れ値を避ける事ができるため影響を受けなくなる．また，LTS 推定量は h 番目以降を無視
4321191918 141011
61519 12220001771008115101913300

4005001007 1661518
12 148を満たし，σ̂n は等式
n∑1ρ0n i=1(yi − x′i β̂σ̂n (β)200=b(9)は指定された定数．

実データの分析

4.1

データについて

13300400500600fitted(y_MM)

図 4 MM の残差プロット

る．図 1 から観測値の 16 番が外れ値であるように思われる．16 番を取り除いて分析をすると，R2 は 0.9237 であり，R∗2 は 0.9074 という結果になった．外れ値だと思われた観測値を除いたため R2 ，R∗2 は上がっている．しか)を満たす最小のものとして定義される．ここで 0 < b < 14

図 3 LTS の残差プロット

172fitted(y_LTS)

MM 推定量は２つの損失関数 ρ0 ，ρ1 に基づいており，それぞれは破綻点と効率に関するものである．MM 推定量
β̂n は()n1 ∑ ′ yi − x′i β̂nxi = 0(8)ρn i=1 1σ̂nし，うまく外れ値を除けたかどうか判断できない．図 2 はLMS 推定量，図 3 は LTS 推定量，図 4 は MM 推定量による残差を標準偏差で割った値をプロットした図である．

LMS，LTS，MM は同じような結果を示しており，図 2，3，4 から観測値の 3，4 番が外れ値であることは明らかである．これらの外れ値を除いて得た最小二乗推定量による回帰直線が表 1 の LS*である．このとき R2 は 0.9612 であり，R∗2 は 0.9522 という結果になり，これは外れ値を除

エコカー減税対象車の値段に影響するデータ (2011 年度) を扱う．このデータは車会社であるトヨタ，ホンダ，ダイハツ，マツダ，日産，スバル，スズキのホームページから一部抜粋したものである．目的変数を y ：値段 [万]，説明変数を x1：燃費 [km/L]，x2：乗車定員 [人数]，x3：最高
出力 [PS] として 19 個の観測値を持つデータを分析する．

く前と比べて，より適合している．これらのことは，ロバスト推定は外れ値を持つデータに対して有効な方法であることを示している．また，いずれのロバスト推定量も 3，4が外れ値という結果であったが，次に大きな影響を与えている番号が LMS，LTS では 16 番であり，MM では 1 番で異なっている．3，4 番に加え 16 番を除いた場合の R2 は0.963，R∗2 は 0.9537 であるのに対して，1 番を除いた場合の R2 は 0.974，R∗2 は 0.9675 であることから MM 推定量の方が LMS，LTS 推定量よりも良い回帰式を与えて分析と考察

4.2

residuals_MM2

residuals_LTS

1165MM 推定量

3.4

3
30

([(n − p)/2] + 1)/n である．n → ∞ のとき，最大破綻点である 0.5 となる．([3]，[4] 参照)

43

した OLS 推定量であるという見方もできる．破綻点は

表 1 回帰直線いる．

手法回帰直線

LSLMSLTS
MMLS*ŷ = −185.332 + 4.397x1 + 14.675x2 + 2.00x3ŷ = 162.349 + 3.844x1 − 62.235x2 + 2.136x3ŷ = 138.226 + 4.108x1 − 58.352x2 + 2.128x3ŷ = 46.2798 + 2.839x1 − 27.681x2 + 2.058x3ŷ = 42.658 + 2.945x1 − 27.613x2 + 2.073x3

5

おわりに

ロバスト推定法の理論の理解については，M，LMS，LTS，MM 推定量について学習し，そして，それらを用いることで最小二乗推定量による問題点を論じ，ロバスト推定法の有効性を示すことができたと思う．

参考文献
43017718 1415 612132395

residuals_LMS191612−20516100200[1] Maronna R. A. , Martin R. D. and Yohai V. J. :Robust Statistics : T heory and M ethods, Wiley,
2011.

4111011−1rstandard(y_LS)

138300400500fitted(y_LS)

図 1 LS の残差プロット

6009718 61115101419 12100172200138300

400500fitted(y_LMS)

図 2 LMS の残差プロット

表 1 は LS，LMS，LTS，MM 推定量による回帰直線である．LS 推定量によって得られた寄与率 R2 は 0.896 であり，自由度調整済寄与率 R∗2 は 0.8752 となり，よく適合している．図 1 は最小二乗法による残差プロットであ[2] Rencher A. C. and Schaalje G. B. : Linear M odels
in Statistics, John Wiley & Sons, 2008.
[3] Rousseeuw P. J. and Leroy A. M. : RobustRegression and Outlier Detection，John Wiley &Sons, 1987.
[4] 武山嵩弘, 木村美善: ロバストリッジ回帰推定量とそのシミュレーション評価, 南山大学紀要「アカデミア」
数理情報編, 第 8 巻, 35-46, 2008.