統計数理（2005）
第 53 巻 第 2 号 189–200
c 2005 統計数理研究所


特集「計算推論―モデリング・数理・アルゴリズム―」［研究詳解］

正定値カーネルによる回帰問題における
次元削減法
福水 健次

†

（受付 2005 年 4 月 1 日；改訂 2005 年 6 月 30 日）

要旨

本論文は，Fukumizu et al.（2004）にしたがって，正定値カーネルを用いた，回帰問題における新しい次元削減法に関する著者らの研究を解説する．説明変数 X を用いて従属変数 Y を説明する回帰の問題設定において，X に含まれる Y の情報をすべて保持するような説明変数
空間の低次元部分空間を「有効部分空間」と呼ぶことにし，この部分空間を見つける次元削減の問題を考える．まず，この問題を条件付独立性を用いて定式化し，さらにこの条件付独立性が再生核ヒルベルト空間上の共分散作用素を用いて特徴づけられることを示す．この理論的事
実を用いて，与えられた有限サンプルから有効部分空間を推定するための方法を導き，実デー
タに適用した例を示す．本論文で解説する方法は，これまでに提案された同種の方法とは異なり，X や Y の条件付確率，周辺分布および次元などに強い制約を必要としないため，幅広いデータに適用可能である．
キーワード： カーネル法，正定値カーネル，ヒルベルト空間，次元削減，変数選択，
回帰．
1.

はじめに

さまざまな統計的データ解析において次元削減は重要な手法である．画像，テキスト，遺伝
子発現データなど極めて高次元なデータが溢れている今日の状況においては，データの説明や可視化，予測・決定の精度向上のためのノイズ削減，計算量の軽減などさまざまな目的のために次元削減が用いられ，その重要度は高まっている．本論文は，Fukumizu et al.（2004）に従い，
m 次元説明変数 X を用いて  次元従属変数 Y を説明する回帰の問題において，Y に関する情報を保持するような， X の低次元部分空間への射影を見つける次元削減の問題を論じる．
X が与えられたときの Y の条件付確率密度関数を pY |X (y|x) と書くことにする．本論文では，Êm の r 次元部分空間 S が存在して，(1.1)

pY |X (y|x) = pY |ΠS X (y|ΠS x)が成り立つと仮定する．ここで ΠS は部分空間 S への直交射影である．
（1.1）式を満たす部分空間 S のことを Li（1991）にならって有効部分空間と呼ぶ．これは Y の情報を完全に保持する部分空間である．本論文は，与えられた有限サンプルから有効部分空間 S を推定する手法を論じる．
†

統計数理研究所：〒 106-8569 東京都港区南麻布 4–6–7

190

統計数理 第 53 巻

第 2 号 2005

この問題に対し，分布 p(X, Y ) に関するモデルや制約をなるべくおかずに S を推定する，セミパラメトリックなアプローチをとる．回帰問題での次元削減に対する従来法としては，Sliced
Inverse Regression（SIR，Li, 1991）や Principal Hessian Directions（pHd, Li, 1992）などの手法が有名であるが，これらは X の周辺分布に楕円型などの強い制約を要する．また，Canonicalや Partial Least Square（PLS）なども用いられることがあるが，これCorrelation Analysis（CCA）
らはもちろん線形モデルを仮定している．また，射影追跡に基づく方法（Friedman and Stuetzle,
1981; Breiman and Friedman, 1985）なども使うことが可能であるが，これも additive model を回帰モデルに仮定している．こういった仮定を置かない本論文のアプローチは，これら従来法よりも一般的である．
セミパラメトリック推定を行う際には，無限自由度を表す関数空間を導入するのが標準的であるが，そのために正定値カーネルの定める再生核ヒルベルト空間を利用する．まず回帰問題における次元削減を条件付独立性の問題として定式化する．さらに，この条件付独立性が，再生核ヒルベルト空間によって特徴づけられることを示す．この条件付独立性の特徴づけは，再生核ヒルベルト空間上の条件付分散作用素という無限次元の線形写像を用いて与えられるが，
これは，X を S に射影してできた変数によって Y を推定した際の誤差を表していると考えることもできる．この作用素の最小化によって有効部分空間が特徴付けられる．
本論文は以下のような構成を持つ．まず第 2 章では，再生核ヒルベルト空間上の条件付共分散作用素を用いて，有効部分空間の特徴づけを行う．次に第 3 章で，有限サンプルが与えられたときの条件付共分散作用素の推定法を議論し，有効部分空間を数値的に求めるためのカーネ
ル次元削減法のアルゴリズムを説明する．第 4 章は，このアルゴリズムを実データに用いた結果を示し，第 5 章でさらに変数選択問題への拡張を論じる．最後に第 6 章で結論を述べる．
2.

再生核ヒルベルト空間を用いた次元削減

本論文では定理の証明などは省略するので，詳細は Fukumizu et al.（2004）を参照していた
だきたい．
2.1 次元削減と条件付独立以降では有効部分空間 S の次元 r は既知とする．S とその直交補空間 S ⊥ の正規直交基底を並べた行列を，それぞれ B ，C とおく． B と C はそれぞれ m × r ，m × (m − r) 行列であり，(B, C) は m 次元直交行列となる．S と S ⊥ への X の直交射影を U = B T X ，V = C T X であらわすことにする．(B, C) が直交行列であることから，確率密度関数に関して pX (x) = pU,V (u, v)，
pX,Y (x, y) = pU,V,Y (u, v, y) が成り立ち，これにより，（1.1）式は(2.1)

pY |U,V (y|u, v) = pY |U (y|u)と同値である．すなわち，S が有効部分空間であることと，U が与えられたときの Y と V の条件付独立性とは同値である（図 1）．
この条件付独立性は，相互情報量を通じて捉えることもできる．2 つの確率変数 X ，Y の相
互情報量 I(X, Y ) は



I(X, Y ) =pXY (x, y) log

pXY (x, y)
dxdy
pX (x)pY (y)により定義される．相互情報量に関して
(2.2)





I(Y, X) = I(Y, U ) + EU I(Y |U, V |U ) ,正定値カーネルによる回帰問題における次元削減法

Y

191

Y
Y
V

V |U
X= (U, V)

U

X

X

図 1. 回帰問題における次元削減のグラフィカル表現が成り立つことは容易に示せる．有効部分空間の条件（1.1）
式は I(Y, X) = I(Y, U ) を意味するので，
Y との相互情報量を減じない部分空間が S である．また，I(Y, X) = I(Y, U ) は I(Y |U, V |U ) = 0を意味し，これは再び，U が与えられたときの Y と V の条件付独立性である．
2.2 再生核ヒルベルト空間上の共分散作用素
以下では，条件付独立性を特徴付けるための関数空間として，再生核ヒルベルト空間を用いる．まず正定値カーネルとそれが定める再生核ヒルベルト空間について復習しておこう．詳し
くは Aronszajn（1950）や Schölkopf and Smola（2002）を参照していただきたい．
Ω を集合とするとき，k : Ω × Ω → Ê が正定値カーネルであるとは，任意の n 個の点 x1 , . . . , xn ∈
Ω と 実数 c1 , . . . , cn に対し，正定値性
(2.3)

n


ci cj k(xi , xj ) ≥ 0i,j=1が成り立つことをいう．Ω 上の正定値カーネル k に対し，集合 Ω 上の関数からなる（実）ヒルベルト空間 H が存在し，以下の 2 つの性質を満たす．
(i) 任意の x ∈ Ω に対して k(·, x) ∈ H であり，{k(·, x) ∈ H | x ∈ Ω} の張る線形空間は H の中で稠密である．
(ii) 任意の f ∈ H と x ∈ Ω に対し，再生性(2.4)

f, k(·, x)H = f (x),(∀x ∈ Ω, ∀f ∈ H)が成り立つ．ここで ·, ·H は H の内積を表す．
（ii）
このようなヒルベルト空間のことを再生核ヒルベルト空間といい，(H, k) であらわす．
の再生性は再生核ヒルベルト空間を用いる上で最も重要な性質であり，ヒルベルト空間内での
内積の計算を容易に計算可能にする．例えば f = ni=1 ai k(·, xi ) と g = m
j=1 bj k(·, yj ) に対し，
（ii）を用いると
f, g =mn 
ai bj k(xi , yj )i=1 j=1となり，k の値の評価に還元される．また，再生核ヒルベルト空間に属する関数に対しては，その「値」が意味を持つ点が，L2 のような関数空間とは大きく異なっている．これらの特徴
は，有限サンプルからデータ解析を行う際に有利な性質である．
ユークリッド空間 Êm 上の正定値カーネルの代表的な例は，通常の内積 k(x1 , x2 ) = xT1 x2 のほかに，多項式カーネル
k(x1 , x2 ) = (xT1 x2 + c)d192

統計数理 第 53 巻

第 2 号 2005（c ≥ 0，d ∈ Æ）や，ガウス RBF（Radial Basis Function）カーネル

k(x1 , x2 ) = exp −x1 − x2 22σ 2

（σ > 0）などである．本論文では後に述べる理由により，主にガウス RBF カーネルを用いる．
可測空間 (Ω1 , B1 )，(Ω2 , B2 ) 上に，有界かつ可測な正定値カーネルを持つ再生核ヒルベルト
空間 (H1 , k1 )，(H2 , k2 ) があるとする．Ω1 × Ω2 に値をとる確率変数 (X, Y ) に対し， H1 からH2 への相互共分散作用素 ΣY X は，任意の f ∈ H1 ，g ∈ H2 に対し
g, ΣY X f H2 = EXY [f (X)g(Y )] − EX [f (X)]EY [g(Y )](2.5)= Cov[f (X), g(Y )]を満たす有界作用素として定義される．存在および一意性は Riesz の表現定理による．共役作
用素に関して，Σ∗Y X = ΣXY が成り立つ．特に ΣXX は自己共役である．相互共分散作用素の一般的な理論は Baker（1973）に詳しい．
相互共分散作用素は，以下のように確率変数の独立性を特徴付ける．
定理 1. (H1 , k1 )，(H2 , k2 ) を，それぞれ Êm ，Ê 上のガウス RBF カーネルを持つ再生核ヒ
ルベルト空間とし，X ，Y をそれぞれ Êm ，Ê 上の確率ベクトルとする．このとき，
X⊥⊥Y

(2.6)

⇐⇒

ΣXY = O （零作用素）が成り立つ．ここで X⊥⊥Y は X と Y が独立であることを表す．
この定理は，特性関数を用いた確率変数の特徴づけ
(2.7)

X⊥⊥Y

⇐⇒

√

T

√

T

√

√

T

T

EXY [e −1u X e −1v Y ] = EX [e −1u X ]EY [e −1v Y ]√の類似とみなすことができる．実際，Êm 上の関数 k(x, y) = e −1x y は（複素数値）正定値カー
ネルとなっており，（2.6）（2.7）式の右辺は，これらカーネルの定義する再生核ヒルベルト空間に√T属する関数に対して X と Y の非線形共分散がゼロであることを意味する．e −1x y やガウス
RBF カーネルを持つヒルベルト空間は十分豊かな非線形関数を含んでおり，（2.6）（2.7）式の右辺は，それらの定める非線形共分散がすべて消えることを意味していることから，上の定理の主張は容易に納得できると思う．
（2.5）から，条件付期待値に関する以下の事実が示される．
T

定理 2. 可測空間 (Ω1 , B1 )，(Ω2 , B2 ) 上に，有界かつ可測な正定値カーネルを持つ再生核ヒ
ルベルト空間 (H1 , k1 )，(H2 , k2 ) があるとし，(X, Y ) を Ω1 × Ω2 に値をとる確率変数とする．
さらに，任意の g ∈ H2 に対し条件付期待値 EY |X [g(Y ) | X = · ] が Ω1 上の関数として H1 に属すると仮定する．このとき(2.8)

ΣXX EY |X [g(Y ) | X = · ] = ΣXY g,(∀g ∈ H2 )が成立する．
⊥
上の右逆作用素とすると，任意系 1. 定理 2 の仮定のもと，Σ̃−1
XX を ΣXX の (KerΣXX )⊥の f ∈ (KerΣXX ) ，g ∈ H2 に対し(2.9)

f, Σ̃−1
XX ΣXY gH1 = f, EY |X [g(Y ) | X = · ]H1

193

正定値カーネルによる回帰問題における次元削減法が成り立つ．
ΣXX が可逆であると（2.9）式 は
EY |X [g(Y ) | X = · ] = Σ−1
XX ΣXY g(2.10)を意味している．よく知られているように，X ，Y が有限次元ガウス確率ベクトルであるとき，任意のベクトル a に対し−1
EY |X [aT Y | X = x] = xT VXX
VXY a（ここでは VXX ，VXY は通常の分散共分散行列）が成り立つので，（2.10）式はガウス分布の条件
付平均の一般化とみなすこともできる．
2.3 共分散作用素による条件付独立性の特徴づけ
ここで条件付共分散作用素を定義する．可測空間 (Ω1 , B1 )，(Ω2 , B2 ) 上に，有界かつ可測な正定値カーネルを持つ再生核ヒルベルト空間 (H1 , k1 )，(H2 , k2 ) が与えられており，(X, Y ) はΩ1 × Ω2 に値をとる確率変数とする．このとき，X が与えられたときの Y の条件付共分散作
用素 ΣY Y |X とは
ΣY Y |X := ΣY Y − ΣY X Σ̃−1
XX ΣXY(2.11)

により定まる H2 上の半正定値自己共役作用素のことである．
系 1 を用いると次の定理は容易に示される．
定理 3. 定理 2 の仮定のもと，任意の f, g ∈ H2 に対し，
(2.12)g, ΣY Y |X f H2 = EY [f (Y )g(Y )] − EX EY |X [f (Y )|X]EY |X [g(Y )|X]

= EX Cov Y |X f (Y ), g(Y ) | X

が成り立つ．
（2.10）式の場合と同様に，（2.11），（2.12）式はガウス確率変数に関するよく知られた関係式−1
Cov[aT Y, bT Y |X] = aT (VY Y − VY X VXX
VXY )bの拡張と考えることができる．
定理 3 より，ΣY Y |U が自己共役作用素の半正定値性で定まる半順序に関して小さいほど，条件付分散 VarY |U [f (Y )|U ] は小さくなり，U は Y をよりよく説明することができる．この事実
を有効部分空間 S の特徴づけに用いることを考えるのは自然である．このアイデアを正当化するために次の定義をしよう．可測集合 (Ω, B) 上に，有界かつ可測な正定値カーネルを持つ再生核ヒルベルト空間 (H, k) があるとする．(Ω, B) 上のすべての確率分布からなる集合を M で表すとき，再生核ヒルベルト空間 H が確率決定性を持つとは，写像(2.13)

MP→(f → EX∼P [f (X)]) ∈ H∗

が単写であることをいう．ここで H∗ は H の双対空間を表す．このとき次の事実が成り立つ．
定理 4. 任意の σ > 0 に対し，ガウス RBF 関数 k(x, y) = exp(−x − y2 /2σ 2 ) を正定値カーネルに持つ再生核ヒルベルト空間は確率決定性を持つ．

194

統計数理 第 53 巻

第 2 号 2005

ガウス RBF カーネルの定める再生核ヒルベルト空間は十分に豊富な関数族を含むので，そこに属する関数に対する期待値をすべて調べれば，確率がひとつに決まるというのが定理の主張である．
集合 Ω1 ，Ω2 上の再生核ヒルベルト空間 (H1 , k1 )，(H2 , k2 ) の直積 H1 ⊗ H2 とは，値の積で定まる正定値カーネル k1 k2 を持つ Ω1 × Ω2 上の再生核ヒルベルト空間のことであった（Aronszajn，
1950）．以上の準備のもと条件付独立性は次のように特徴付けられる．
定理 5. (H11 , k11 )，(H12 , k12 )，(H2 , k2 ) をそれぞれ可測集合 Ω11 ，Ω12 ，Ω2 上の再生核ヒル
ベルト空間とし，正定値カーネルはすべて連続かつ有界と仮定する．(U, V, Y ) を Ω11 × Ω12 × Ω2に値をとる確率変数とし，X = (U, V ) および H1 = H11 ⊗ H12 と表すことにする．また，任意の g ∈ H2 に対し EY |U [g(Y )|U = · ] ∈ H11 と EY |X [g(Y )|X = · ] ∈ H1 を仮定する．このとき，自己共役作用素の半順序に関して
ΣY Y |U ≥ ΣY Y |X

(2.14)

が成立する．さらに H2 が確率決定性を持つとすると，(2.15)ΣY Y |X = ΣY Y |U⇐⇒

Y ⊥⊥V | Uの同値性が成立する．
証明の概略．条件付分散に関するよく知られた関係式









VarY |U [g(Y )|U ] = EV |U VarY |U,V [g(Y )|U, V ] + VarV |U EY |U,V [g(Y )|U, V ]を U に関して期待値をとると













EU VarY |U [g(Y )|U ] − EX VarY |X [g(Y )|X] = EU VarV |U [EY |X [g(Y )|X]] ≥ 0が得られ，（2.14）式が成り立つ．等号成立は，ほとんどすべての X に対して EY |X [g(Y )|X] =EY |U [g(Y )|U ] となる場合であるが，H2 の確率決定性より（2.15）式を得る．
線形回帰の場合から類推できるように，条件付分散 EX [VarY |X [g(Y )|X]] は，X を用いて
g(Y ) を推定したときの推定誤差を表すものと考えることができる．すると，（2.14）式は，情報が部分的になれば，Y を推定した際の誤差が増加するという当然の事実を表している．
（2.15）
式は，推定誤差が増加しなければ，X と U は Y に関して同じだけの情報量を持つことを意味しており，非常に自然な結果である．
定理 5 より，確率決定性を持つ再生核ヒルベルト空間を用いると，有効部分空間 S は次の最小化問題の解として与えられる．
(2.16)min ΣY Y |U ,S

subject to

U = ΠS X

次章では，これに基づいて有効部分空間を推定するため目的関数を導く．
3.

カーネル次元削減法（2.16）式から有限サンプルによる目的関数を導くためには，サンプルを用いて条件付共分散作用素を推定する必要がある．以降では，定理 4 にもとづいて，正定値カーネルとしてガウス
RBF 関数のみを考えることにする．

195

正定値カーネルによる回帰問題における次元削減法

Bach and Jordan（2002）に従って（相互）共分散作用素を以下のように推定する．n 個のサン
プル (X1 , Y1 ), . . . , (Xn , Yn ) が与えられているとする．k̃1 (·, Xi )，k̃2 (·, Yi ) をそれぞれ k̃1 (·, Xi ) =n1（2.5）式の期待値
k1 (·, Xi ) − n1 n
j=1 k1 (·, Xj )，k̃2 (·, Yi ) = k2 (·, Yi ) − n
j=1 k2 (·, Yj ) と定めよう．
をサンプル平均に置き換えると
1
f, k̃1 (·, Xi )H1 k̃2 (·, Yi ), gH2n i=1nに一致する．さらに，ヒルベルト空間 H1 ，H2 をそれぞれ {k̃1 (·, Xi )}ni=1 ，{k̃2 (·, Yi )}ni=1 の張る n − 1 次元空間に制限し，これらを冗長な基底として，作用素 ΣY X の制限を行列表示すると，再生性を用いて，
Pn GX Pn GY Pnが得られる．ここで射影行列 Pn は，1n = (1, . . . , 1)T として Pn = In − n1 1n 1Tn により定義され，GX,ij = k1 (Xi , Xj )，GY,ij = k2 (Yi , Yj ) はグラム行列と呼ばれる n × n 行列である．以上により，

 X = Pn GX Pn ,K

 Y = Pn GY Pn
Kと書くことにすると，

Y X = K
Y K
X
Σ

(3.1)

を共分散作用素の推定量として用いることができる．
 ZZ
条件付共分散作用素の推定量を得るためには，逆作用素を考える必要があるが，一般に Σは Pn を含むために非可逆である．そこで，自己共分散作用素 ΣZZ を推定する際には，正則化を用い，

 ZZ = (K Z + ε n I n )2Σ
（εn > 0）を推定量として使うことにする．ここで εn は正則化のための正定数で n → ∞ のとき
 Y Y |U をに εn → 0 となるように定める．以上により，条件付共分散作用素の推定量 Σ

 Y Y |U := ΣY Y − ΣY U Σ
 −1Σ
U U ΣU Y(3.2)

により定め，この正定値行列を最小化する．
正定値対称行列の半順序をはかるには，トレース，行列式，最大固有値などいろいろなものが考えられるが，まず行列式を考えよう．行列式の Schur 分解を用いると，

 [Y U ][Y U ] =
Σ

Y U
Σ
UU
Σ

Y Y
Σ
UY
Σ

=

 Y + ε n I n )2
(K
U K
Y
K

Y K
U
K

(KU + εn In )2

 [Y U ][Y U ] / det Σ U U となる．これにより，有効部分空間 S を推の記法のもと，det Σ̂Y Y |U = det Σ
定するための目的関数が
(3.3)

min
B

 [Y U ][Y U ]det Σ Y Y det Σ
UU
det Σ

,

ただし U = B T X

 Y Y は定数であるが，目的関数の対称性のために加えた．
により得られる．ここで det Σ
またトレースを用いると，（3.2）式の第 2 項のトレースの最大化を考えることにより(3.4)

max TrB

 Y + εn In
K−1

 U + εn In
Y K
U K
K

−2

 Y + εn In
U K
Y K
K

−1



196

統計数理 第 53 巻

第 2 号 2005

を用いることが可能である．
（3.3），（3.4）式を用いて，部分空間 S ないし行列 B を求める最適化問題を，カーネル次元削減法（Kernel dimensionality reduction, KDR）と呼ぶことにする．
（3.3）式は，ガウス確率変数の相互情報量（のマイナス）の一種の拡張とみなせる．Bach andJordan（2002）では，これを一般の確率変数の相互情報量の代用として提案し独立成分分析に用いたが，本論文では代用ではなく理論的な導出を行っている．
カーネル次元削減法を実行するためには，目的関数の最小化／最大化を行う必要があるが，この目的関数は非線形かつ非凸であり，非線形最適化手法が必要となる．以下では，直線探索を併用した最急勾配法を用いる．さらに局所解の問題を避けるために，ガウス RBF カーネルの分散パラメータを徐々に小さくしていく，一種のアニーリング手法を用いている．また，（3.3）
式からわかるように，最適化には n × n 行列の演算を数多く行う必要があり，サンプル数 n が Y などを低ランク
大きいと計算量が増大する．これに対し，不完全 Cholesky 分解によって K行列で近似すると演算量を削減することが可能である（Bach and Jordan, 2002）．
Y K
 U (K U + εn In )−1 ] の最大化を考え，さらにまた，（3.4）式の最大化を行う代わりに Tr[K−1
−1
(A + εI) A = I − ε(A + εI) であることを用いると，近似的に(3.5)

 U + εn In
Y K
min Tr K−1



Bの最小化を達成する B を見つける問題に変換される．この目的関数を用いると計算量は大幅に削減される．
4.

カーネル次元削減法の実データへの応用

カーネル次元削減法（KDR）を実データに応用し，結果を SIR，pHd，CCA，PLS といった従来法と比較した．予備的な実験では（3.4）式と（3.3）式の結果にあまり違いが見られなかった
ため，以下の実験では，目的関数として（3.3）式を用いた．
まずデータ可視化の能力を見る目的で，UCI machine learning repository（Murphy and Aha,
1994）の Wine データを用いた．このデータは 3 種類のワインに対する 13 次元の属性を 178 サ
ンプル集めたデータである．クラスの情報をなるべく保持するように，各手法で 2 次元部分空間を求めた結果が図 2 である．KDR が 3 クラスを最もよく判別しており，2 次元空間で完全な識別が可能なことがわかる．CCA も 3 クラスを完全に分けているが，他の手法の結果では判
別は不完全である．
第二の実験では，推定された部分空間の中に，クラス判別に必要な情報がどれぐらいよく残されているかを調べる目的で，UCI レポジトリの 3 種類の実データに対し，次元削減を行った
後，その部分空間へ射影したデータを用いてサポートベクターマシンによる識別器を構成し，訓練データとは別に用意されたテストデータに関する正答率を調べた．ところで，多くの次元削減の従来法は，判別問題，特に 2 クラス判別の問題に適用が難しいものが多い．SIR は，Yの空間をスライスに切り，各スライス内で X のサンプル平均を取るので，クラス数が小さいと適用するのが困難になる．また，線形手法である CCA や PLS では，クラス数以上の部分空間を見つけることはできない．この実験では，2 クラス識別にも適用可能な pHd との比較を行った．図 3 にさまざまな次元の部分空間における正答率を示した．KDR は pHd に比べて低次元でも高い正答率を保っていることが見て取れる．特に Ionosphere データに対しては，5，
10，20 次元の正答率は全次元を用いた場合の正答率を上回っている．これは KDR が判別に不要な成分を有効に取り除き，ノイズ除去の役割を果たしたためだと考えられる．

正定値カーネルによる回帰問題における次元削減法

図 2.

図 3.

Wine データの 2 次元射影．“+”，“•”，“2” が 3 クラスに対応．

次元削減後のテストデータに対する SVM の判別正解率．
（a）m = 13，N = 149，T = 148，（b）m = 34，N = 151，T = 200，（c）m = 30，N = 200，T = 369（m: 説明変数の次
元，N : 訓練データ数，T : テストデータ数）．

197

198

5.

統計数理 第 53 巻

第 2 号 2005

変数選択への応用

ここまで次元削減の方法として説明変数の線形和を求める方法を考えてきたが，KDR の手法は説明変数の部分集合を求める「変数選択」にも応用可能である．そのためには，（3.3）式の最小化問題の探索空間を，部分空間全体ではなく，説明変数の部分集合（の張る部分空間）全体に置き換えればよい．
この変数選択法を Boston Housing データ（Harrison and Rubinfeld, 1978）に適用した．このデータは 13 変数を用いて各地域の住宅価格の平均値を説明するもので，506 サンプルからな
る．4 個の説明変数を選んだところ，RM，LSTAT，PTRATIO，TAX が最も有効な変数として選ばれた．これは Breiman and Friedman（1985）が ACE という手法を用いて選んだものと同一である．
変数選択においては，m 個の説明変数の中から r 個選ぶ組み合わせは m Cr だけあり，m が大きいとすべての場合を調べ尽くすのは困難になる．その場合には何らかの最適化手法が必要となる．詳細は省くが，ある種のランダムサーチを用いて，遺伝子発現データ Leukimia（Golub
et al., 1999）からの遺伝子選択を行った．Leukimia は 2 種類の急性白血病を 7129 次元の遺伝子発現データから判別するためのマイクロアレイデータである．38 個の訓練用サンプルを用いて50 個の有効な変数（遺伝子）を選択した．その中の 25 遺伝子が， Golub et al.（1999）によって別の方法で選ばれたものと一致しており，意味のある遺伝子が選ばれていることがわかる．また，選ばれた 50 遺伝子を用いてサポートベクターマシンによる識別子を作ったところ，訓練
サンプルとは別に取られた 34 個のテストサンプルに対する正答数は 32 であった．Golub et al.
（1999）では，識別結果の信頼度に閾値を設けて判定不能（リジェクト）を許した場合，ある閾値において 5 個のリジェクトのほか 29 個すべてが正答であったと報告されているので，それと比較しても識別に対して有効な遺伝子が選択されていると言える．
6.

おわりに

本論文は，正定値カーネルで定まる再生核ヒルベルト空間を用いた，回帰問題における次元削減の方法を紹介した．この方法は，有効部分空間を求める問題を条件付独立性として捉え，それをヒルベルト空間上の共分散作用素を使って特徴付けることにより導かれた．
このカーネル次元削減法 KDR は，条件付確率や周辺分布にモデルや強い条件をおかずに導かれているため適用範囲が非常に広い．回帰における次元削減の従来法である SIR，pHd，CCA，
PPR などの方法は，条件付確率や周辺分布に強い制約があり，その適用範囲は KDR よりも限定されている．本論文では，KDR を実データに適用してその有効性を確認した結果や，変数選択問題への拡張も述べた．
KDR はモデルを仮定しない高い汎用性のかわりに，数値的な最適化にともなう困難さを持っており，次元やデータ数が大きくなると実用的な時間で解を求めることが難しくなる．本稿では数十次元程度のデータからの次元削減の例を示したが，数百を越えるような次元，1000 を越えるようなデータ数を持つようなデータに対しては，計算機の性能にもよるが，本稿で述べた方法をそのまま適用するのは難しいと思われる．この問題に対しては，（3.5）式の方法をさらに詳しく検討したり，もっと本質的な最適化の改良を考察したりする必要がある．また，十分に問題の構造を反映したモデルがある場合，そのモデルに依存した次元削減法がより有効なのは言うまでもないが，特に高次元のデータの場合には，データを生成する真の構造が明確にわかる場合は少ないと考えられるため，本稿のようなセミパラメトリックな方法論が有望であると考える．
KDR は理論的な背景に基づく手法であるが，その有効性の確認は実験的に行っており，得正定値カーネルによる回帰問題における次元削減法

199

られた推定量の統計的性質などの理論解析は今後の課題である．特に，本論文では有効部分空間の次元 r を固定して議論したが，言うまでもなくその次元の選択は重要な問題である．この問題に対しては，最終的な目的が予測精度で測られるのであれば，クロスバリデーションなどの方法を適用することも可能であるが，その正当性を理論検証するためにも推定量の性質を詳しく知ることは重要である．
本論文では，回帰問題における次元削減だけを述べたが，共分散作用素による条件付独立性の特徴づけは，もっと広い問題に適用することが可能であろう．特に，条件付独立性はグラフィカルモデルを定義する際の基本的な道具であり，本論文の方法論をもっと一般のグラフィカル
モデルへ拡張することは興味深い問題である．
謝辞

本研究の一部は科研費 15700241 により行われた．

参 考 文 献
Aronszajn, N.（1950）. Theory of reproducing kernels, Transaction of the American Mathematical（3）, 337–404.
Society, 69
Bach, F. R. and Jordan, M. I.（2002）. Kernel independent component analysis, Journal of Machine
Learning Research, 3, 1–48.
Baker, C. R.（1973）. Joint measures and cross-covariance operators, Transaction of the American
Mathematical Society, 186, 273–289.
Breiman, L. and Friedman, J. H.（1985）. Estimating optimal transformations for multiple regression
and correlation, Journal of the American Statistical Association, 80, 580–598.
Friedman, J. H. and Stuetzle, W.（1981）. Projection pursuit regression, Journal of the American
Statistical Association, 76, 817–823.
Fukumizu, K., Bach, F. R. and Jordan, M. I.（2004）. Dimensionality reduction for supervised learning（Jan）, 73–99.
with reproducing kernel Hilbert spaces, Journal of Machine Learning Research, 5Golub, T. R., Slonim, D. and Tamayo, P. et al.（1999）. Molecular classification of cancer: Class
discovery and class prediction by gene expression monitoring, Science, 286, 531–537.
Harrison, D. and Rubinfeld, D. L.（1978）. Hedonic housing prices and the demand for clean air,
Journal of Environmental Economics Management, 5, 81–102.
Li, K.-C.（1991）. Sliced inverse regression for dimension reduction（with discussion）, Journal of theAmerican Statistical Association, 86, 316–342.
Li, K.-C.（1992）. On principal Hessian directions for data visualization and dimension reduction:
Another application of Stein’s lemma, Journal of the American Statistical Association, 87,1025–1039.
Murphy, P. M. and Aha, D. W.（1994）．UCI repository of machine learning databases, Tech. Report, Department of Information and Computer Science, University of California, Irvine,
http://www.ics.uci.edu/˜learn/MLRepository.html
Schölkopf, B. and Smola, A.（2002）. Learning with Kernels, MIT Press, Cambridge, Massachusetts.

200

Proceedings of the Institute of Statistical Mathematics Vol. 53, No. 2, 189–200(2005)

Dimensionality Reduction in Regression with Positive Definite Kernels
Kenji Fukumizu
The Institute of Statistical Mathematics

This paper explains our recent research on dimensionality reduction in regression withpositive deﬁnite kernels, following Fukumizu et al. (2004). In regression problems, where
the response variable Y is explained by explanatory variables X, the best subspace within
the explanatory space to explain Y is called eﬀective subspace. Our goal of dimensionality
reduction in regression is to ﬁnd the eﬀective subspace. We formulate this problem asconditional independence of variables, and show that this conditional independence canbe characterized by using covariance operators on the reproducing Hilbert spaces, which
are given by positive deﬁnite kernels. Based on this theoretical result, we derive a methodof estimating the eﬀective subspace, given a ﬁnite number of samples. This dimensionality
reduction method is very general and applicable to a wide class of data, because we
do not need any strong assumptions on the conditional and marginal distributions, ordimension of variables. The experimental results on real data are shown to demonstrate
the eﬀectiveness of the method.

Key words: Kernel method, positive definite kernel, Hilbert space, dimensionality reduction, variableselection, regression.