特集「統計的機械学習」［研究詳解］

統計数理（2010）
第 58 巻 第 2 号 185–206
c 2010 統計数理研究所


正定値カーネルによるノンパラメトリック推論
福水 健次

†

（受付 2010 年 5 月 6 日；改訂 6 月 22 日；採択 6 月 29 日）

要旨

正定値カーネルないしは再生核ヒルベルト空間を用いたデータ解析の方法論である，いわゆ
る「カーネル法」は，データを再生核ヒルベルトに写像し，この空間（特徴空間）
において線形のデータ解析手法を適用する点に特徴があり，さまざまな手法のカーネル化が提案されてきた．
最近になって，再生核ヒルベルト空間において平均や分散といった基本的な統計量を考えることによって，分布の均一性，独立性，条件付独立性といった統計的概念が，カーネル法によって扱えることがわかってきた．本論文では，この新しいノンパラメトリック推論の方法論の基
本的な考え方を説明し，特に独立性や条件付独立性に関して今まで得られている結果の概要を解説する．
キーワード： 正定値カーネル，再生核，ヒルベルト空間，ノンパラメトリック，独立性，条件付独立性．
1.

はじめに

本論文は，正定値カーネルないしは再生核ヒルベルト空間を用いたデータ解析の方法論，いわゆる「カーネル法」の最近の展開である，正定値カーネルによって分布の性質をノンパラメ
トリックに推論する方法に関して紹介する．特に，分布の均一性，独立性，条件付独立性を議論するための正定値カーネルの方法に関する研究を解説する．
「カーネル」という用語は，カーネル密度推定をはじめとして，必ずしも正定値性を仮定しないカーネル関数を意味するものとして古くから統計学で用いられてきた．しかし「カーネル法」という呼び名が正定値カーネルによる方法を指すものとして既に広く普及しているため，
本稿でも「カーネル法」と呼ぶことにする．
カーネル法は，サポートベクターマシン（Boser et al., 1992）が注目された 1990 年代の半ばから，主として計算機科学の分野で急速に発展したデータ解析の方法論である．その後，主成分分析，Fisher 判別分析，正準相関分析など，さまざまな線形のデータ解析手法がカーネルにより非線形化され，カーネル法の研究が盛んとなった．
カーネル法の新規性は，カーネルの正定値性を積極的にデータ解析に応用し，系統的手法を構築した点にある．正定値カーネルは再生核ヒルベルト空間というクラスの関数空間を定め，データをこの関数空間に写像する標準的方法が定まる．さらに，この関数空間の特別な内積を用いてデータ解析アルゴリズムを構築することにより，効率的な計算によって高次元データの高次モーメントを扱うことが可能となる．計算機科学で発達した方法ではあるが，一方でカーネル法は古典的な多変量解析の自然な拡張という側面も持つ．本論文は後者の立場に立った解†

統計数理研究所：〒190–8562 東京都立川市緑町 10–3

統計数理

186

第 58 巻

第 2 号 2010

説を試みる．
本論文は，まず 2 章においてカーネル法全般の基本的考えを述べ，3 章で，再生核ヒルベル
ト空間における平均によって，確率分布を一意に定めることが可能であることを説明する． 4
章では 2 つの確率変数の独立性を特徴づけるための方法を紹介し，5 章で条件付独立性の特徴づけについて述べる．
2.

カーネル法の概要

カーネル法は，データを（非線形）写像することによってデータの高次モーメントを扱う方法論である．データに何らかの変換を施してから解析する手法は古くから存在するが，カーネル法の特徴は，特殊な内積を持つ関数空間への写像を用いることにより，写像後のデータに対す
る線形の処理が効率的に行える点にある．本論文ではカーネル法の一般的方法論に関しては簡単に触れるだけなので，より詳しく知りたい読者は，例えば Schölkopf and Smola（2002）や福水（2010）などを見ていただきたい．
2.1 正定値カーネルと再生核ヒルベルト空間
データの写像に用いる空間を導入するために，正定値カーネルとそれが定める再生核ヒルベ
ルト空間についてまとめておく（詳しくは Aronszajn, 1950 参照）．なお，以下では実数値カー
ネルの場合のみを説明する．
集合 Ω に対し，k : Ω × Ω → R が Ω 上の正定値カーネルであるとは，対称性 k(x, y) = k(y, x)を満たし，かつ任意の n 個の点 x1 , . . . , xn ∈ Ω と実数 c1 , . . . , cn に対し，
(2.1)

n


ci cj k(xi , xj ) ≥ 0i,j=1が成り立つことをいう．行列 (k(xi , xj )) はグラム行列と呼ばれる．
Ω 上の正定値カーネル k に対し，Ω 上の実関数からなる（実）ヒルベルト空間 H で，以下の2 つの性質を満たすものが一意的に存在する．
（i）任意の x ∈ Ω に対して k(·, x) ∈ H であり，{k(·, x) ∈ H | x ∈ Ω} の張る線形空間は H で稠密である．
（ii）任意の f ∈ H と x ∈ Ω に対し，再生性(2.2)

f, k(·, x)H = f (x)が成り立つ．ここで ·, ·H は H の内積を表す．
再生核ヒルベルト空間といい，(H, k) であら
このようなヒルベルト空間のことを（k が定める）
わす．（ii）の再生性は再生核ヒルベルト空間をデータ解析に応用する上で最も重要な性質であり，

ヒルベルト空間内での内積計算を容易にする．例えば f = ni=1 ai k(·, xi ) と g = m
j=1 bj k(·, yj )という 2 つの H の要素の内積はmn f, gH =ai bj k(xi , yj )i=1 j=1

で与えられ，k の値の評価に還元される．これは，内積計算に積分を必要とする 2 乗可積分関
数のなす関数空間などと大きく異なる点である．
kn（n = 1, 2, . . . ) を Ω 上の正定値カーネルとするとき，以下で定義される関数がまた正定値
カーネルとなることは，比較的容易に示される．
（i）
非負結合 c1 k1 + c2 k2（c1 , c2 ≥ 0）（，ii）
積 k1 k2 ，（iii）各点収束先 k(x1 , x2 ) = limn→∞ kn (x1 , x2 )（各点収束を仮定する）．

正定値カーネルによるノンパラメトリック推論

187

X 上の再生核ヒルベルト空間 (H1 , k1 ), (H2 , k2 ) に対し，k1 + k2 により定まる再生核ヒル
ベルト空間は，ベクトル空間として f + g（f ∈ H1 , g ∈ H2 ）の形の関数（f + g は関数値の和で定義する）からなることが知られている．これを H1 と H2 の直和といい，H1 + H2 で表す．
また，(H1 , k1 ), (H2 , k2 ) をそれぞれ X , Y 上の再生核ヒルベルト空間とするとき，積 k1 k2 の
定める X × Y 上の再生核ヒルベルト空間はテンソル積 H1 ⊗ H2 と一致し， ni=1 fi (x)gi (y)（fi ∈ H1 , gi ∈ H2 ）の形の関数集合は H1 ⊗ H2 で稠密である．
ユークリッド空間 Rm 上の正定値カーネルの代表的な例は，通常の内積 k(x1 , x2 ) = xT1 x2 のほかに，多項式カーネル
poly
kd,c
(x1 , x2 ) = (xT1 x2 + c)d（c ≥ 0, d ∈ N）や，ガウス RBF（Radial Basis Function）カーネル x − x 2 
1
2
kσG (x1 , x2 ) = exp −2σ 2（σ > 0）などである．これらが正定値であることは，上で述べた 3 つの性質を用いると比較的容
poly
易に証明できる．また，多項式カーネル kd,c（c > 0）の定める再生核ヒルベルト空間は，ベク
poly
により定まる．
トル空間として d 次以下の多項式全体と一致することが示される．内積は kd,c
ガウス RBF カーネルが定める再生核ヒルベルト空間は無限次元になることが知られている．
2.2 正定値カーネルによるデータ解析の方法論
正定値カーネルおよび再生核ヒルベルト空間をデータ解析に用いる方法について述べる．デー
タ x1 , . . . , xn が集合 Ω の点として与えられているとする．これに対して Ω 上の正定値カーネ
ル k とそれが定める再生核ヒルベルト空間 H を用意し，特徴写像(2.3)

Φ : Ω → H,

x → k(·, x)によって，関数データ {Φ(xi )}ni=1 = {k(·, xi )}ni=1 を作成する．例えば，ガウス RBF カーネル− 1 x−xi 2 nを用いると，{Φ(xi ) = e 2σ2}i=1 という関数データを得る．
カーネル法の方法論の核心は，Rm のベクトルデータに対して適用可能な手法を，関数デー
タ {Φ(xi )}ni=1 に拡張するというものである．この方法論は線形手法のカーネル化と呼ばれ，主成分分析，フィッシャー
（Fisher）判別分析，正準相関分析など様々な手法のカーネル化が行われてきた．SVM も，マージン最大化を尺度とする線形識別器のカーネル化として定義される（Schölkopf and Smola, 2002）．
近年になって，もっと基本的な平均や分散といった統計量を再生核ヒルベルト空間上で考えることによって，分布の同一性や独立性といった古典的な統計的概念を扱えることが明らかとなり，それに基づいたノンパラメトリックな統計的推論手法が開発されてきた．次章からそのような方法論に関して解説する．
3.

平均による確率分布の特徴づけ

まず再生核ヒルベルト空間上の平均を定義し，それによって確率分布を特徴づけることが可能であることを説明する．
3.1 再生核ヒルベルト空間における平均(X , BX ) を可測空間とし，以下 X 上のカーネル k は常に X × X 上の可測関数であると仮定す
る．k に対応する再生核ヒルベルト空間を Hk とし，Borel 集合族によって可測空間と考える．
いま，X を X に値をとる確率変数，すなわち，確率空間 (M, B, P ) があって X : M → X は可測写像とする．このときカーネル法の特徴写像 Φ : X → Hk ，x → k(·, x) が可測となることは容易に確認できる．したがって Φ(X) は再生核ヒルベルト空間 Hk に値を取る確率変数である．

統計数理

188

第 58 巻

第 2 号 2010

以下では，確率変数と再生核ヒルベルト空間に対し
E[ k(X, X)] < ∞を仮定する．特徴写像 Φ(x) = k(·, x) に対し Φ(X)2 = k(X, X) に注意すると，上の仮定はEΦ(X) < ∞ を意味する．このとき Φ(X) の平均 mkX ∈ Hk が存在して
f, mkX  = E[f, Φ(X)] = E[f (X)]

(3.1)(∀f ∈ Hk )が成り立つ．そこで mkX を X の Hk における平均と呼ぶ．上式から，任意の f ∈ Hk に対して
期待値 E[f (X)] が f と平均 mkX との内積で計算されるので，これは再生性の期待値版と考えられる．
平均 mkX の関数としての陽な表示を求めよう． mkX は Hk の元なので，再生性により，任意の y ∈ X に対してmkX (y) = mkX , k(·, y) = E[k(X, y)](3.2)

である．すなわち，平均 mkX はカーネル関数の期待値として与えられる．
R 上の d 次の多項式カーネル k(x, y) = (xy + c)d（c > 0）が定める再生核ヒルベルト空間 Hkは，ベクトル空間として d 次以下の多項式全体と一致するので，R 上の確率変数 X に対し，
その r 次モーメント µr = E[X r ]（0 ≤ r ≤ d）がµr = xr , mkX Hk

により計算される．これからわかるように，平均 mkX は X の分布の高次モーメントの情報を持っている．
次に再生核ヒルベルト空間における平均の推定量を考える．再生核ヒルベルト空間は一般に無限次元の関数空間であるが，以下でみるように，その上で定義された統計量の推定量が容易に構成でき，その統計的性質も比較的容易に調べられる点に長所がある．
X, X1 , . . . , Xn を P に従う i.i.d. サンプルとするとき，mkX の推定量 m
 k(n) をm k(n) =

(3.3)

n
n
1
1
k(·, Xi ) =Φ(Xi )n i=1
n i=1

により定義する．これが mkX = E[k(·, X)] = E[Φ(X)] の不偏推定量であることはすぐにわかるが，さらに次のような漸近的性質が導かれる．
定理 1. 上の仮定のもと，21
E[k(X, X)] − E[k(X, X̃)]Em
 k(n) − mkX H =kn（X̃ は X と独立で同一の分布 P に従う確率変数）が成り立つ．特にm k(n) − mkX H = Op (n−1/2 )(n → ∞).
k

証明．k(·, Xi ), mkX Hk = EX [k(X, Xi )] により
2
 n

 

1
k
k 2
k 
m
 (n) − mX H = k(·, Xi ) − mX 
k

n
i=1
=

n
n
1 

n2 i=1 j=1k(Xj , Xi ) −

n
1

n i=1

Hk

1
EX [k(Xi , X)] + E[k(X, X̃)]n i=1
n

EX [k(X, Xi )] −が成り立つことから第 1 の主張が得られる．第 2 の主張は Chebychev の不等式から従う．

正定値カーネルによるノンパラメトリック推論189

mk(n) − mkX  = supf ≤1 f, mk(n) − mkX  に注意すると，定理 1 の系として，Hk の単位球に対する一様な大数の法則が得られる．

系 1. 定理 1 と同じ仮定のもと
1
f (Xi ) − E[f (X)] = Op (n−1/2 )nf ∈Hk ,f H ≤1
i=1
n

sup

(n → ∞)kが成り立つ．
次に中心極限定理に関して考えよう．E[k(X, X)] < ∞ を仮定すると，任意の f ∈ Hk に対しE[f (X)2 ] = E|f, k(·, X)Hk |2 ≤ f 2 Ek(·, X)2Hk = f 2 E[k(X, X)] < ∞ により，f (X) は有限の分散 V (f ) を持つ．したがって中心極限定理√

1
f (Xi ) − E[f (X)] =⇒ N (0, V (f ))
n i=1
n

n

(n → ∞)

が成り立つ．これを内積によって書き換えると√
f, n(mk(n) − mkX )Hk =⇒ N (0, V (f ))(n → ∞)√
であるが，このことは Hk 上の確率変数 n(mk(n) − mkX ) が何らかのガウス確率変数に収束する可能性を示唆している．実際，次の定理が成り立つ．
√
定理 2. E[k(X, X)] < ∞ を仮定する．Gn = n(mk(n) − mkX ) は，Hk に値をとる確率変数として，n → ∞ のとき Hk 上のガウス確率変数 G に法則収束する．ここで G は平均 0，共分散関数 R(f, g) = Cov[f (X), g(X)] により定まる．

証明は省略する．例えば Berlinet and Thomas-Agnan（2004）第 4 章を見ていただきたい．
3.2 確率分布を特徴づける正定値カーネル
3.1 節で見たように，確率変数を再生核ヒルベルト空間に写像するとその平均は元の確率変数の高次モーメントの情報を含んでいる．直感的に言うと，確率変数に対してすべてのモーメントが表現できればその分布は決まるので，十分広いクラスの関数を含むような再生核ヒルベ
ルト空間における平均を考えれば，確率変数を一意的に定めることが期待できる．本節ではこのような正定値カーネルのクラスを議論する．このクラスは，正定値カーネルを用いた統計的推論において重要な役割を果たす．
(X , BX ) を可測空間，P をその上の確率測度全体とする． X 上の有界かつ可測な正定値カー
ネル k が特性的（characteristic）であるとは，写像
P → Hk ,P → mkP

が単写であることをいう．ここで mkP は分布 P を持つ確率変数の Hk における平均を表す．
正定値カーネルが特性的であるとき，それが定める再生核ヒルベルト空間は特性的であるという．上の定義は，EX∼P [f (X)] = EX∼Q [f (X)](∀f ∈ Hk )

=⇒

P =Q

と同値であり，特性的な正定値カーネルは，再生核ヒルベルト空間における平均によって P の確率分布を一意に定める．
{k(·, y) | y ∈ X } の線形結合が Hk で稠密であることより，条件 mkP = mkQ は，任意の y ∈ X
に対し EX∼P [k(X, y)] = EX∼Q [k(X, y)] が成り立つことと同値である．したがって特性的な正

190

統計数理

第 58 巻

第 2 号 2010

定値カーネルは(3.4)

EX∼P [k(X, y)] = EX∼Q [k(X, y)](∀y ∈ X )

⇐⇒

P =Q

を成立させる正定値カーネルである．

後で示すように，ガウス RBF カーネル kσG (x, y) = exp −x − y2 /(2σ 2 ) （σ > 0）
やラプラス


m
L
m
カーネル kλ (x, y) = exp −λ i=1 |xi − yi | （λ > 0）は R 上の特性的なカーネルである．
式（3.4）からわかるように，特性的な正定値カーネルは，
Rm 上の確率分布 P に対する特性√−1uT X
関数 EX∼P [e] と類似性を持つ．よく知られているように，特性関数は確率分布 P を一意に定める．特性的なカーネルは特性関数のこの性質を取り出して定義されている．ただし√T
e −1x y は Rn 上の正定値カーネルではない．
次の事実は，特性的な再生核ヒルベルト空間が L2 の意味で十分広い空間であることを示している．
補題 1. 正定値カーネル k が特性的であるための必要十分条件は，任意の確率分布 P ∈ P
に対し Hk + R が L2 (P ) で稠密なことである．ここで，Hk + R は再生核ヒルベルト空間としての直和を意味する．
証明．まず十分性を示す．P, Q ∈ P に対し，P = Q かつ mkP = mkQ として矛盾を導く．P − Qの全変動を |P − Q| で表すとき，仮定から Hk + R は L2 (|P − Q|) で稠密なので，X の任意の可測集合 A と任意の ε > 0 に対し，ϕ ∈ Hk + R があって
|ϕ(x) − IA (x)|d(|P − Q|)(x) < εが成り立つ．ここで IA は A の定義関数である．このとき(EX∼P [ϕ(X)] − P (A)) − (EX∼Q [ϕ(X)] − Q(A)) < εである．mkP = mkQ により EX∼P [ϕ(X)] = EX∼Q [ϕ(X)] なので，|P (A) − Q(A)| < ε であるが，ε > 0 は任意なので P (A) = Q(A) となり P = Q に反する．
次に必要性を示す．ある P ∈ P があって Hk + R が L2 (P ) で稠密でないと仮定する．このとき，0 でない f ∈ L2 (P ) を Hk + R の直交補空間からとると，
f ϕdP = 0 (∀ϕ ∈ Hk ),f dP = 0が成立する．c = 1/f L1 (P ) とおき，2 つの確率 Q1 ，Q2 をQ1 (E) ≡ c |f |dP,
Q2 (E) ≡ c (|f | − f )dP
EEにより定義する．f = 0 により Q1 = Q2 であるが，一方任意の ϕ ∈ Hk に対し
EX∼Q1 [ϕ(X)] − EX∼Q2 [ϕ(X)] = c f ϕdP = 0
により mkQ1 = mkQ2 である．したがって k は特性的でない．
Rn 上の連続で平行移動不変な正定値カーネル（k(x, y)= φ(x − y) と書けるもの）に関しては，ある非負測度 Λ の逆フーリエ変換，すなわち √Tφ(x − y) = e −1(x−y) ω dΛ(ω)

正定値カーネルによるノンパラメトリック推論

191の形に表される（Bochner の定理）．このクラスの正定値カーネルに対しては特性的であるための条件を簡潔に述べることが可能である．この際に重要なのは，平行移動不変な正定値カーネルに対して，確率測度 P の Hk における平均 mP が
mP (x) = k(x, y)dP (y) = φ(x − y)dP (y) = (φ ∗ P )(x)と φ と P の畳み込みとして表現できる点にある．したがって，特性的であることは，
φ∗ P =φ∗ Q

=⇒

P =Q

と同値である．ここで，畳み込みの Fourier 変換が Fourier 変換の積で与えられることを用いると，厳密性に多少目を瞑れば，上の条件はさらに
P = φ
Q

φ

=⇒

P =Q

と書き直せる．この条件は φ = Λ が全空間で正であれば成立することが予想されるが，実際以下に見るように，上の議論は厳密化することが可能である．
定理 3.（Sriperumbudur et al., 2010） φ を Rn 上の連続な実正定値関数とし， Λ を Bochnerの定理の表示√φ(x) =Te −1ω x dΛ(ω)

を与える有限非負測度とする．このとき，φ(x − y) が特性的な正定値カーネルであるための必要十分条件は Supp(Λ) = Rn である．
ここで Supp(Λ) は測度 Λ の台であり，Supp(Λ) = {x ∈ Rn | x を含む任意の開集合 U に対して Λ(U ) > 0}により定義される．定理 3 の証明は省略する．原論文または福水（2010）を参照のこと．
定理 3 を用いると，さまざまな平行移動不変な正定値カーネルが特性的であることがわか



2
2
る．φG
と φL (x) = exp −λ m
|xi | （λ > 0）の Fourier 変換
σ (x, y) = exp −x /(2σ ) （σ > 0）
 2 λ2
mi=1
は，それぞれ正の定数倍を除いて exp −σ ω /2 および i=1 1/(λ + ωi2 ) となり，Rm 上の
特性的なカーネルである．一方，sinc 関数 sinc(x) = sin(x)/x の Fourier 変換は（正の定数倍を除いて）区間の定義関数 I[−1,1] (ω) であるため，正定値関数であるが特性的ではない．これらの例からわかるように，特性的なカーネルは Fourier 変換がすべての周波数で正であり，すべての周波数成分を扱うことができる．一方，特性的でないカーネルは，ある周波数領域を表すことができないため，その周波数成分のみ異なる密度関数をもつ確率を区別できない．
3.3 2 標本問題への応用
特性的な正定値カーネル k を用いると，平均 mkX の推定量を用いて 2 標本の均一性検定が行える（Gretton et al., 2007, 2010）．
2 標本の均一性検定とは，2 つのサンプル (X1 , . . . , X ) と (Y1 , . . . , Yn ) を発生させた分布が同じかどうかを判定する問題である．以下では X1 , . . . , X と Y1 , . . . , Yn は可測空間 (X , B) に値をとり，それぞれ独立に確率分布 P および Q に従う i.i.d. サンプルと仮定する． P = Q を帰無仮説，P = Q を対立仮説として検定を行う．
k を X 上の（B に対して）特性的な実正定値カーネルとし，X ∼ P ，Y ∼ Q なる独立な変数
X ，Y に対して E[k(X, Y )2 ] < ∞ を満たすとする． P および Q による平均を mkP ，mkQ とする
とき，P と Q の距離の 2 乗
M 2 (P, Q) ≡ mkP − mkQ 2Hk

統計数理

192

第 58 巻

第 2 号 2010

が 0 か否かによって，P = Q であるかどうかを判定することができる． mkP および mkQ の推定量は，式（3.3）と同様
1k(·, Xi ),
 i=1


m
P =

(3.5)

1
k(·, Yi )
n i=1
n

m
Q =

で与えられるので，検定統計量として
P − m Q 2Hk =M̂,n = m

n


n
1 
1 
2 
k(X
,
X
)
+
k(Y
,
Y
)
−
k(Xa , Yc )
a
c
b
d
2
n2
n a=1 c=1
a,b=1

c,d=1

を用いることが可能である．また，これを不偏化してU,n =

 
n 

n


1
1
2 
k(Xa , Xb ) +k(Yc , Yd ) −k(Xa , Yc )( − 1) a=1 b=an(n − 1) c=1 d=cn a=1 c=1を用いてもよい．U,n はh(x1 , x2 ; y1 , y2 ) = k(x1 , x2 ) + k(y1 , y2 ) −1{k(x1 , y1 ) + k(x1 , y2 ) + k(x2 , y1 ) + k(x2 , y2 )}2というカーネルによる 2 標本 U -統計量になることが確認できる．
仮説検定を行うためには帰無仮説 P = Q のもとで検定統計量 U,n の分布を知る必要がある．
この場合，上の U,n は退化した 2 標本 U 検定統計量であり，その漸近分布は知られている．いま，総データ数を N =  + n とおき，

→ γ,
N

n
→1− γ
N

(N → ∞)

を仮定する．N を無限大としたときの漸近分布は以下のよう与えられる（詳しくは福水, 2010参照）．
定理 4. P = Q の帰無仮説のもと，(3.6)

N U,n⇒∞i=1λi Zi2 −1γ(1 − γ)(n → ∞)

1と法則収束する．ここで，Zi は平均 0 分散 1/γ(1 − γ) の正規分布 N (0, γ(1−γ)) に従う独立な∞確率変数であり，{λi }i=1 は(3.7)

k̃(x, y) = k(x, y) − E[k(x, X)] − E[k(X, y)] + E[k(X, X̃)]

（X̃, X は独立に P に従う確率変数）で定まる L2 (P ) 上の積分作用素の非零固有値を重複度だけ並べたもの，すなわち，ある単位ベクトル φi ∈ L2 (P ) に対して
(3.8)
k̃(x, y)φi(y)dP (y) = λi φi (x)を満たす非負実数 λi を重複度だけ考えたものとなる．
一方 k が特性的な場合，対立仮説 P = Q のもとでは M 2 (P, Q) = 0 であり，非退化な U 統計√量の一般的事実から， N (U,n − M 2 (P, Q)) は正の分散を持つ正規分布に法則収束する．した
がって N U,n による検定は一致性を持つ．

正定値カーネルによるノンパラメトリック推論
表 1.

193

正定値カーネルによる方法と Kolmogorov-Smirnov 検定による均一性検定の結果．有意水準を α = 5%，データ数を N = 200, 500, 1000 とし，500 回の実験のうち帰無仮説が受容された割合を示した．

以上により，漸近的な帰無分布を検定に用いる際には， λi（i = 1, 2, . . . ）が決定できれば棄却
域を決定することができる．式（3.7）の積分核は中心化された正定値カーネルに一致していることから，実は，固有値 λi の一致推定量が中心化グラム行列K̃ij = k(Xi , Xj ) −

n
n
n
1
1
1 
k(Xi , Xb ) −k(Xa , Xj ) + 2
k(Xa , Xb )
n
n a=1
n
b=1

a,b=1

の固有値によって与えられることがわかる（Gretton et al., 2010）．そこで，K̃ の固有値 λ̂1 , . . . ,λ̂n−1 を求め，カイ 2 乗分布に従う n − 1 個の独立なサンプルを発生させることによって，式（3.6）の極限分布の α-％点の近似値を計算機シミュレーションにより求めることができる．
数値実験として， P を正規分布 N (0, 1/3)，Qa を 区間 [−1, 1] 上の一様分布と N (0, 1/3) と
の混合分布

1
3 − 32 x2eQa :a+ (1 − a) I[−1,1] (x)2π2とし，a を変化させて，M̂ 2 (P, Q) による検定を行った結果を表 1 に示す．P と Qa は平均と分散が常に一致するため，2 次モーメントまでの情報ではこれらを識別できない．正定値
カーネルはガウス RBF カーネルを用い，分散に相当するパラメータ σ には，データ間の距
離の中央値を用いた．棄却域は上で述べた方法によって求めた．また比較のために，分布の均一性に対する Kolmogorov-Smirnov 検定を同じサンプルに行った結果も合わせて示している．
この例では，カーネル法による 2 標本検定は，ノンパラメトリック検定の標準的方法である
Kolmogorov-Smirnov 検定に遜色ない検出力を持っていることがわかる．
4.

正定値カーネルによる依存性・独立性

本章では，確率変数の独立性を正定値カーネルによって扱う方法について述べる．確率変数
を再生核ヒルベルト空間に写像しその分散を考えることによって高次の統計量を扱うのが基本的なアイデアである．本章では，ヒルベルト空間の間の作用素 T : H1 → H2 に対し，値域と零空間をそれぞれ R(T ) = {T f ∈ H2 | f ∈ H1 } と N (T ) = {f ∈ H1 | T f = 0} で表す．
4.1 再生核ヒルベルト空間上の共分散作用素
まず，Rn に値を取る確率ベクトルに対する通常の共分散行列の一般化として，再生核ヒル
ベルト空間における共分散作用素を定義する． (X , BX )，(Y, BY ) を可測空間，(X, Y ) を X × Yに値をとる確率変数とする．(X, Y ) の分布を PXY ，X, Y の周辺分布を PX , PY とおく．また，(HX , kX )，(HY , kY ) をそれぞれ X ，Y 上の可測な正定値カーネルと対応する再生核ヒルベルト空間とする．確率変数と正定値カーネルは，常に仮定（2 乗可積分条件）

E[kX (X, X)] < ∞,E[kY (Y, Y )] < ∞

統計数理

194

第 58 巻

第 2 号 2010を満たすとする． この仮定は正定値カーネルが有界であれば常に満たされる．
2 乗可積分条件を用いると， |E[f (X)g(Y )]| ≤ E|f, kX (·, X)g, kY (·, Y )| ≤ E[kX (·, X)kY
1/2(·, Y )]f  g ≤ E[kX (X, X)]E[kY (Y, Y )]
f  g を得るので，双線形写像 (f, g) → cov[f (X),k ,kg(Y )] は連続写像である．したがって Riesz の定理を用いると，有界線形作用素 ΣYYX X : HX → HY
があって
k ,k

g, ΣYYX X f  = cov[f (X), g(Y )] = E[f (X)g(Y )] − E[f (X)]E[g(Y )]

(4.1)

k ,k

が成り立つ．この線形作用素 ΣYYX X を相互共分散作用素と呼ぶ（相互共分散作用素の一般的な
k ,k理論は Baker, 1973 に詳しい）．特徴写像 ΦX : X → HX , ΦY : Y → HY を用いると，ΣYYX X はE[ΦY (Y ) ⊗ ΦX (X)] − E[ΦY (Y )]E[ΦX (X)]とみなすこともできる．以下では特に紛れが無い限り，簡単のため kY , kX を省略して ΣY X と表すことにする．特に Y = X の場合，ΣXX は正値な自己共役作用素であり共分散作用素と呼ぶ．
Rm , Rn に値をとる通常の確率ベクトル X, Y に対してユークリッド内積による正定値カーネルを用いると，上の相互共分散作用素は，通常の共分散行列の定める線形写像に一致することが容易に確認されるので，通常の共分散行列の拡張となっている．

|=

4.2 共分散作用素による独立性の特徴づけ
2 つの 1 次元確率変数 X, Y の関係を見るために共分散や相関を用いることは基本的であるが，これでは線形な関係しか考慮できない．一方，再生核ヒルベルト空間への特徴写像 ΦX (X), ΦY (Y )は高次の情報を含むため，これらの共分散を考えれば，もとの確率変数の高次の依存性を調べられる．以下ではこの考えに基づいて，特性的な正定値カーネルによる相互共分散作用素を用いて確率変数の独立性や依存性を扱う方法を述べる．以下では X と Y が独立であることをX Y で表す．

|=

定理 5.（Fukumizu et al., 2004） (X , BX )，(Y, BY ) を可測空間，(X, Y ) を X × Y 上の確率変数とし，(HX , kX )，(HY , kY ) をそれぞれ可測な正定値カーネルにより定まる X ，Y 上の再生核
ヒルベルト空間とし，2 乗可積分条件を仮定する．このとき，積 kX kY が X × Y 上特性的であ
るならば，
(4.2)

X

Y

⇐⇒

ΣXY = O （零作用素）の同値関係が成り立つ．
証明．(X, Y ) の同時分布を PXY ，また X ，Y と同じ周辺分布を持ち，互いに独立な確率分
布を PX ⊗ PY と書く．HX から HY への線形作用素をテンソル積 HX ⊗ HY の元とみなすと，
ΣY X は mPXY − mPX ⊗ mPY で表されるので，ΣY X = O は mPXY = mPX ⊗PY と同値である．
したがって定理の同値性は kX kY が特性的なことから従う．

|=

上の定理の特徴づけを言い換えると，
XY ⇐⇒ E[kX (x, X)kY (y, Y )] = E[kX (x, X)]E[kY (y, Y )](∀x ∈ X , y ∈ Y)

である．これは累積分布関数や特性関数を用いた通常の確率ベクトルの独立性の特徴づけと類似性を持つ．累積分布関数や特性関数による特徴づけでは，それぞれI(−∞,u] (x)（区間 (−∞, u]√Tの定義関数）と e −1x u（Fourier カーネル）を一種のテスト関数として PXY と PX ⊗ PY を比較しているのに対し，定理 5 では kX (x, X)kY (y, Y ) という正定値カーネル関数をテスト関数と

正定値カーネルによるノンパラメトリック推論

195

して比較を行っている．これらのアプローチを比べると，累積分布関数や特性関数が通常の確率ベクトルに対してのみ定義できるのに対し，カーネル法による特徴づけは，任意の可測空間に値をとる確率変数に適用可能である．また，以下に見るように，再生性により推定量の構成や解析が容易である．
有限サンプル (X1 , Y1 ), . . . , (Xn , Yn ) が与えられた場合の相互共分散作用素の推定量として，
経験相互共分散作用素を
(4.3)

n


 
 (n) = 1ΣY
X , · H
kY (·, Yi ) − mkX (·, Xi ) − m
YX
X
n i=1

により定義する．ここで1
kX (·, Xi ),
n i=1
n

m
X =

1
kY (·, Yi )
n i=1
n

m
Y =

i
i
である．簡単のため k̃X= kX (·, Xi ) − m
 X ，k̃Y= kY (·, Yi ) − m
 Y と表すことにすると，nii (n) = 1k̃X
, ·HX
Σ
k̃Y
YX
n i=1


i
i n
i n
とかける． ni=1 k̃X= 0 であるので，{k̃X}i=1 , {k̃Y}i=1 の張る部分空間をそれぞれ VX ，WY と (n) は HX から HY への作用素である
すると，これらは高々 n − 1 次元の部分空間である．Σ
YX
(n)
⊥

 (n)
が，上の表現から明らかなように，VX ⊂ N (ΣY X ) かつ R(ΣY X ) ⊂ WY であり，特にそのラン(n)
クは高々 n − 1 である．Σ
Y X を VX および WY に制約した有限次元作用素をグラム行列を使って表現してみよう．簡単な計算により
nn1 j j i
1 X ji (n) k̃X=ΣK̃ k̃k̃Y k̃X , k̃X HX =YX
n j=1
n j=1 ji Yを得る．ここで K̃ X は中心化グラム行列X= k(Xi , Xj ) −
K̃ij

n
n
n
1
1
1 
k(Xi , Xb ) −k(Xa , Xj ) + 2
k(Xa , Xb )
n b=1
n a=1
n a,b=1i ni nである．{k̃X}i=1 , {k̃Y}i=1 は線形独立ではないため正確には基底とはいえないが，この冗長基(n)1
底を用いると Σの行列表示がK̃ X により得られることがわかる．
YXn

4.3 正定値カーネルによる依存性の尺度
定理 5 に基づいて，相互共分散作用素のノルムを X と Y の独立性・依存性の尺度として用いることが可能である．このとき ΣY X のヒルベルト=シュミットノルムを用いると推定量の構成が容易である．ヒルベルト空間の間の作用素 T : H1 → H2 がヒルベルト=シュミットであるとは，H1 と H2 の正規直交基底 {φi }，{ψj } に対して i,j (T φi , ψj )2 < ∞ であることをいう．ヒル2 1/2
ベルト=シュミット作用素 T のヒルベルト=シュミットノルムは T HS =i,j (T φi , ψjにより定義される．有限次元の場合は行列のフロベニウスノルムと呼ばれることが多い．

定理 6. 2 乗可積分性条件のもと ΣY X はヒルベルト=シュミット作用素であり，ΣY X 2HS = E[kX (X, X̃)kY (Y, Ỹ )] − 2E E[kX (X, X̃)|X]E[kY (Y, Ỹ )|Y ]+E[kX (X, X̃)]E[kY (Y, Ỹ )]

統計数理

196

第 58 巻

第 2 号 2010

（ただし，(X̃, Ỹ ) と (X, Y ) は独立で同一の分布に従う）が成り立つ．また，ΣXX のトレースは有限でTr[ΣXX ] = E[kX (X, X)] − E[kX (X, X̃)]が成り立つ．
上式の第 1 式で，第 1，2，3 項はそれぞれ PXY ⊗ PX̃ Ỹ ，PX ⊗ PY ⊗ PX̃ Ỹ ，PX ⊗ PY ⊗ PX̃ ⊗ PỸ
による期待値である．
略証．ΣY X が HX ⊗ HY の元 mPXY − mPX ⊗ mPY とみなせることを用いると，ヒルベルト=シュミットノルムの定義により ΣY X 2HS = mPXY − mPX ⊗ mPY 2HX ⊗HY である．この平均の 2 乗ノルムを展開することにより前半を得る．
後半については，{ϕi }Ji=1（J ∈ N ∪ {∞}）を HX の完全正規直交系とするとき，定義により
 

 J

Tr[ΣXX ] = Ji=1 E ϕi , kX (·, X)2HX − Ji=1 ϕi , mX 2HX であるが，第 1 項は E
i=1 ϕi , kX (·,X)2HX = Ek(·, X)2HX に等しく，第 2 項が mX 2HX に一致することから得られる．
 (n) のヒルベルト=シュミットノル
有限サンプル (X1 , Y1 ), . . . , (Xn , Yn ) が与えられたとき，Σ
YX
ムは以下のように与えられる．
2Σ
Y X HS =
(n)

n
n
n
n

1 
2 
k
(X
,
X
)k
(Y
,
Y
)
−
k
(X
,
X
)
kY (Yi , Y )
X
i
j
Y
i
j
X
i
j
n2 i,j=1
n3 i=1 j=1
=1

+
=

n
n

1 
kX (Xi , Xj )kY (Y , Yr )4
n i,j=1
,r=1



1 
1 
Tr K̃X K̃Y = 2 Tr KX Qn KY Qnn2n

ここで K̃X , K̃Y は中心化グラム行列，Qn = In − n1 Jn（Jn はすべての成分が 1 である n × n 行列）であり，(1, . . . , 1)T の直交補空間への正射影行列である．
ΣY X 2HS = mPXY − mPX ⊗ mPY 2HX ⊗HY により，経験平均と平均に関して 3.1 節で示し (n) と ΣY X に対してそのまま成立する．例えば，た漸近的議論が，Σ
YX
(4.4)

−1/2

Σ
)
Y X − ΣY X HS = Op (n(n)(n → ∞)

 (n) 2HS は ΣY X 2HS に n−1/2 のオーダーで確率収が得られる．特に，経験的な独立性尺度 ΣYX束する．さらに 3.3 節と同様にして，特性的な正定値カーネルを用いて 2 つの確率変数の独立性を検定することが可能である．
以下では独立性検定の統計量として2

Tn = nΣ
Y X HS(n)を用いた数値例を示す． X 1 と Y 1 のデータを図 1 で示したように作成する．ここで左図は X 1 ，
Y 1 が独立になるように作成され，これを回転すると X 1 と Y 1 は独立でない．しかし相関は常に 0 である．さらに X 2 , . . . , X m ，Y 2 , . . . , Y m を X 1 ，Y 1 に独立なガウス性ノイズとして次元を m 次元に拡張したデータを作成した．このデータに対して，上の Tn を用いた独立性の検定を行った．棄却域は前章の 2 標本検定と同様にして決定することも可能であるが，以下の実験
では並べ替え検定を行った．比較としてパワーダイバージェンス（Ku and Fine, 2005）による検定も行った．X と Y が値をとる領域をそれぞれ L 個のセル JX , JY に分割するとき，パワーダ
イバージェンスは，
 p̂
λ


2
ij
n
p̂ij
−1
X
Y
λ(λ + 2)p̂i p̂j(ij)∈JX ×JY

正定値カーネルによるノンパラメトリック推論

図 1.

独立性・依存性の計算機実験に用いたデータの例．左は独立，右は π/4 だけ回転したもので，無相関であるが独立ではない．

表 2.

正定値カーネルによる方法とパワーダイバージェンスによる独立性検定の結果．X とY ともに同じ次元を用いた．有意水準を α = 5％，データ数を 100 とし，100 回の実験のうち帰無仮説が受容された割合を示した．並べ替え検定は 500 個のランダムな置換に
よった．

197

で定義される．ここで p̂ij は (X , Y )（ = 1, . . . , n）がセル (ij) ∈ JX × JY に含まれる割合であYり，p̂X
i と p̂j は，各変数がセル i ∈ JX および j ∈ JY に含まれる割合を表す． λ = 0 のとき相互情報量に，λ = 2 のとき χ2 ダイバージェンスに一致する．この実験では λ = 2/3 とし，各変数のセルは，各次元ごとに最小値から最大値までの区間を q 等分することにより作成した．帰
無仮説のもとでパワーダイバージェンスはある自由度の χ2 分布に法則収束することが知られているが，ここでは並べ替え検定によって棄却域を決定した．表 2 の結果をみると，カーネル法がより高い検出力を持っていることがわかる．特に，セル分割によるパワーダイバージェン
スは次元の増加による検出力の劣化が著しいが，カーネル法は次元による影響が少ないことがわかる．
4.4 χ2 ダイバージェンスの推定量
本節では，相互共分散作用素 ΣY X を正規化した
−1/2

−1/2

VY X = ΣY Y ΣY X ΣXX

統計数理

198

第 58 巻

第 2 号 2010

によって，X と Y の依存性尺度を構成する．ここで Σ1/2
XX は固有展開によって構成される 1/2−1/2
乗である．一般にその逆 ΣY Y が存在するとは限らないが，実は ΣY X に対して，作用素ノルムが 1 以下の有界作用素 VY X が存在して，
1/2

(4.5)

1/2

ΣY X = ΣY Y VY X ΣXX

かつ，R(VY X ) ⊂ R(ΣY Y )，N (VY X )⊥ ⊂ R(ΣXX ) となるものが一意に存在することが知られている（Baker, 1973, Theorem 1 参照）．上の VY X は正確にはこの意味である．
VY X がヒルベルト=シュミット作用素であるとき，そのヒルベルト=シュミットノルムは興味深い表示を持つ．
定理 7.（Fukumizu et al., 2008） kX と kY は特性的であるとし，(X, Y ) の確率分布 P はµX × µY に対して確率密度 pXY (x, y) を持つとする．上で定義した VY X がヒルベルト=シュ
ミット作用素であるとき，
2 
pXY (x, y)− 1 pX (x)pY (y)dµX dµY(4.6)
VY X 2HS =pX (x)pY (y)X ×Yが成り立つ．
証明．ΣXX は自己共役な正値コンパクト作用素なので，関数解析において知られているように，固有ベクトルからなる HX の正規直交基底 {φi } が存在し，対応する非負固有値 λi があって ΣXX φi = λi φi とできる．このとき R(ΣXX )⊥ = N (ΣXX ) = {f ∈ HX | f = const. a.e.-PX } であるので，補題 1 により，L2 (PX ) で {φi } の張る部分空間に対する直交補空間は高々定数関数のなす 1 次元部分空間である．したがって，正の固有値の添字集合を I = {i | λi > 0} とお
くと，{φi }i∈I ∪ {1} は L2 (PX ) の基底をなす．特に，i ∈ I のとき E[φi (X)] = 0 に注意すると
E[φi (X)2 ] = φi , ΣXX φi HX = λi ゆえ，
1φ̃i = √ φiλi(i ∈ I)と定義するとき，{φ̃i }i∈I ∪ {1} は L2 (PX ) の正規直交基底である．同様に {ψj } を ΣY Y の固有ベクトルからなる ΣY Y の正規直交基底，ΣY Y ψj = νj ψj ，J = {j | νj > 0} として，1ψ̃j = √ ψjνj(j ∈ J)と定めると，{ψ̃j }j∈J ∪ {1} は L2 (PY ) の正規直交基底となる．

R(VY X ) ⊂ R(ΣY Y ) と N (VY X )⊥ ⊂ R(ΣXX ) に注意すると VY X 2HS = i∈I,j∈J ψj , VY X φi 2となるので，
VY X 2HS =ψ̃j ，ΣY X φ̃i 2 =E[ψ̃j (Y )φ̃i (X)]2i∈I ，j∈J= i∈I ，j∈Ji∈I ，j∈Jp(x，y) 2ψ̃j φ̃i ，pX (x)pY (y) L2 (PY ⊗PX )が成り立つ．ここで PY ⊗ PX は周辺分布が PY ，PX で互いに独立な確率分布を意味する．
L2 (PY ⊗ PX ) の正規直交基底は {ψ̃j φ̃i }i∈I,j∈J ∪ {φ̃i }i∈I ∪ {ψ̃j }j∈J ∪ {1} からなるので，Parseval
の等式から



p(x, y) 2
 p(x, y) 2
VY X 2HS = 
−
φ̃i ,
 2
pX (x)pY (y) L (PY ⊗PX ) i∈IpX (x)pY (y) L2 (PY ⊗PX )

正定値カーネルによるノンパラメトリック推論199


p(x, y) 2p(x, y) 2− 1,
2
pX (x)pY (y) L (PY ⊗PX )pX (x)pY (y) L2 (PY ⊗PX )j∈J
 p(x, y) 2


=
−1

pX (x)pY (y) L2 (PY ⊗PX )
−



ψ̃j ,

を得る．末行は定理の主張の右辺に一致する．
この定理は，正定値カーネルによって定義された量 VY X 2HS が実は正定値カーネルに依存しないことを意味する．式（4.6）右辺の量は χ2 ダイバージェンスとしてよく知られており，依存性尺度として用いられる．一方，左辺は (n)−1/2 (n) (n)−1/2 2
 Σ




Σ
Y Y + εn In
Y X ΣXX + εn InHSによって推定することが可能で，これをグラム行列表示することも容易である．ここで εn > 0は逆作用素を取るための正則化定数である．したがって，定理 7 は，χ2 ダイバージェンスの正定値カーネルによる推定量を与えると考えることもできる．εn を適当なオーダーで 0 に近づけると，n → ∞ のときにこの推定量は χ2 ダイバージェンスの一致推定量となることも証明さ
れている．
5.

正定値カーネル法による条件付独立性の特徴づけ

条件付独立性の概念は，グラフィカルモデリングをはじめとする統計的モデリングにおいて重要な概念である．ここでは，正定値カーネルを用いて条件付独立性を議論する方法について概略を述べる．詳細は Fukumizu et al.（2004, 2009），福水（2010）を参照していただきたい．
5.1 条件付共分散作用素(X , BX ), (Y, BY ), (Z, BZ ) を可測空間，(X, Y, Z) を X × Y × Z に値を取る確率変数，(HX , kX ),(HY , kY ), (HZ , kZ ) をそれぞれ X , Y, Z 上の可測な正定値カーネルと対応する再生核ヒルベルト空間とする．正定値カーネルと確率変数はすべて 2 乗可積分条件を満たすとする．また，確率変数 X ，Y ，Z の周辺分布をそれぞれ PX ，PY ，PZ で表す．このとき，条件付相互共分散作
用素 ΣY X|Z : HX → HY を，(5.1)

ΣY X|Z = ΣY X − ΣY Z Σ−1
ZZ ΣZXにより定義する． Σ−1（4.5）の分解を
ZZ は一般に存在するとは限らないので，より正確には，式
用いて
(5.2)

1/2

1/2

ΣY X|Z = ΣY X − ΣY Y VY Z VZX ΣXXとして定義される．特に Y = X の場合，ΣY Y |Z = ΣY Y − ΣY Z Σ−1
ZZ ΣZY を単に条件付共分散作
用素と呼ぶ．
2 乗可積分条件のもと，ΣY X|Z はヒルベルト＝シュミット作用素であり，ΣY Y |Z は正値な自己共役作用素でそのトレースは有限である．このことは定義から容易に確認できる．
条件付相互共分散作用素は確率変数の条件付共分散と以下のように関係する．
定理 8. 2 乗可積分条件が成り立ち，kZ が特性的であるとき，
g, ΣY X|Z f HY = E[Cov[f (X), g(Y )|Z]]が成立する．

(∀f ∈ HX , g ∈ HY )

統計数理

200

第 58 巻

第 2 号 2010

証明は省略する．上の定理により ΣY X|Z が条件付共分散の期待値をあらわしていることがわかる．
次に，条件付共分散作用素と回帰の平均 2 乗誤差との関係について述べる．そのためにガウ
ス確率変数における線形回帰の平均 2 乗誤差に関して復習しておこう． (X, Y ) を有限次元ガウ
ス確率ベクトルとし，X を m 次元説明変数として  次元応答変数 Y を線形回帰により推定することを考える．ここでは確率変数を X̃ = X − E[X]，Ỹ = Y − E[Y ] と中心化し，
min EỸ − AX̃2

A∈R×m によってを達成する AX̃Ỹˆ = Aという予測を行う．このときよく知られているように Ỹ の予測の残差の分散共分散行列は−1
E(Ỹ − Ỹˆ )(Ỹ − Ỹˆ )T = CY Y − CY X CXXCXYにより与えられる．ここで CY X などは通常の分散共分散行列であり，右辺は条件付共分散行
列に他ならない．この事実の拡張が次の定理である．
定理 9. 2 乗可積分性を仮定し，kX は特性的とする．このとき
2
g, ΣY Y |X gHY = inf E g̃(Y ) − f˜(X)f ∈HX(∀g ∈ HY )が成り立つ．ただし f˜ = f − E[f (X)]，g̃ = g − E[g(Y )] である．
1/2

1/2

証明．ΣY X = ΣY Y VY X ΣXX を式（4.5）の分解とするとき，
E g̃(Y ) − f˜(X)2= Var[g(Y )] − 2Cov[g(Y ), f (X)] + Var[f (X)]= g, ΣY Y gHY − 2ΣXY g, f HX + f, ΣXX f HX
1/2

1/2

1/2

1/2

1/2

= ΣXX f − VXY ΣY Y g2HX + g, ΣY Y gHY − VXY ΣY Y g2HX= ΣXX f − VXY ΣY Y g2HX + g, ΣY Y |X gHY
1/2であるが，R(VXY ) = R(ΣXX ) = R(ΣXX ) であることから，第 1 項はいくらでも小さい値を取りえる．これは定理の主張を意味する．

|=|=

5.2 条件付独立性の特徴づけ
以下で，条件付（相互）共分散作用素を用いた条件付独立性の特徴づけを 2 通りの方法で行う．
以下では Dawid 記法に従い，Z が与えられたもとでの X と Y の条件付独立性を X Y | Z で表す．
よく知られているように，ユークリッド空間に値を持つ通常のガウス確率ベクトルに対する条件付独立性は
(5.3)

X

Y |Z

⇐⇒

CY X|Z = O

(5.4)

|=

−1
によって特徴づけられる．ここで CY X|Z = CY X − CY Z CZZCZY は条件付共分散行列である．
また，CXX|Z を可逆とするとき，次のような特徴づけも可能である．

X

Y |Z

⇐⇒

CY Y |(X,Z) = CY Y |Z

ここで，CY Y |(X,Z) は X, Z を与えたときの Y の条件付分散共分散行列である． CY Y |Z は Y を
Z によって線形予測したときの平均 2 乗誤差を，CY Y |(X,Z) は X と Z を用いて Y を線形予測

正定値カーネルによるノンパラメトリック推論

201

|=

したときの平均 2 乗誤差を表すので，第 2 の特徴づけは，Z に X を追加しても Y の線形予測が改善しないことを意味している．
以上のガウス変数に対する特徴づけの類似が，一般の確率変数に対しても成り立つ．まず条件付相互共分散作用素 ΣY X|Z を考えよう．ガウス確率ベクトルの場合と異なり，一般には
ΣY X|Z = O と X Y | Z は同値とは限らない．これは次のことから推察できる．ガウス確率変数の場合には Cov[Y, X|Z] が Z の値に依存せず CY X|Z に一致するのに対し，一般に Cov[Y, X|Z]
は Z に依存した値を持つ．一方，定理 8 からわかるように，g, ΣY X|Z f  は，Z に関する期待値を取った量しか表せない．したがって Z を固定したときの X と Y の独立性を議論することができない．
しかしながら，X を (X, Z) に置き換え，Z を条件付けの変数としてだけでなく，作用素の働く空間の変数として扱うというトリックを用いると，以下のように条件付独立性が特徴づけられる．
定理 10. 2 乗可積分性を仮定し， kZ は特性的とする．また，W = (X, Z) とし，X × Z 上の正定値カーネルとして kW = kX kZ を用いる．このとき積 kW kY が (X × Z) × Y 上特性的ならば
ΣY W |Z = O

⇐⇒

|=

(5.5)

X

Y |Z

の同値関係が成立する．
証明．一般に，任意の可測集合 A ∈ BX , B ∈ BY , C ∈ BZ に対し，
E[E[χA×C (X, Z)|Z] E[χB (Y )|Z]] − E[χA×C (X, Z)χB (Y )]= E[E[χA (X)|Z]χC (Z)E[χB (Y )|Z]] − E[E[χA (X)χB (Y )|Z]χC (Z)]
= {PX|Z (A|z)PY |Z (B|z) − PXY |Z (A × B|z)}dPZ (z)C|=が成り立つ．補題 1 を用いて集合の定義関数を再生核ヒルベルト空間の関数で近似することにより，ΣY W |Z = O という条件が上式第 1 行が 0 であることと同値であることがわかる．したがって
上式末行の積分が 0 であることと同値である．これは PX|Z (A|z)PY |Z (B|z) − PXY |Z (A × B|z) = 0
が Pz に関して確率 1 で成り立つこと，すなわち X Y | Z と同値である．
条件付き独立性は X と Y に関して対称な性質なので，上の定理で (X, Z) のかわりに (Y, Z)
を用いてもよく，また (X, Z), (Y, Z) をともに用いてもよい．
次に条件付共分散作用素 ΣY Y |X による特徴づけを見ておこう．
定理 11. 2 乗可積分条件を仮定し，kZ および積 kX kZ が特性的であるとするとき，HY 上の自己共役作用素の半順序に関して
ΣY Y |Z ≥ ΣY Y |(X,Z)

(5.6)

|=

が成立する．ここで ΣY Y |(X,Z) は (X, Z) に積 kX kZ を用いて定義された条件付共分散作用素である．さらに kY が特性的であるとき
X

Y |Z

⇐⇒

ΣY Y |(X,Z) = ΣY Y |Zの同値関係が成立する．
を見ていただきたい．定理 9 より，
この定理の証明は省略する．Fukumizu et al.（2004, 2009）式（5.6）
は，情報が部分的になれば Y の予測誤差が増加するという自然な事実を意味している．

202

統計数理

第 58 巻

第 2 号 2010

予測誤差が増加しなければ Z と (X, Z) は Y に関して同じだけの情報量を持つと解釈できるので，定理の同値性は自然で，かつ上で述べたガウス確率ベクトルの場合の拡張となっている．
5.3 条件付相互共分散作用素の推定量
次に，i.i.d. サンプル (X1 , Y1 , Z1 ), . . . , (Xn , Yn , Zn ) に対して，条件付相互共分散作用素 ΣY X|Zの推定量を考えよう．相互共分散作用素の推定量はすでに得ているのでそれを用いて構成すれ (n) はランクが高々 n − 1 であり逆作用素を持たないので，正則化を用いばよいが，Σ
ZZ−1(Σ
ZZ + εn I)(n)（εn > 0）を推定量として用いる．ここで εn は正則化のための正定数で n → ∞ のときに εn → 0
 (n) をとなるように定める．これを用いて，条件付相互共分散作用素の推定量 Σ
Y X|Z
(5.7)

 (n) := Σ (n) − Σ (n) (Σ
 (n) + εn I)−1 Σ
 (n)
Σ
YX
YZ
ZZ
ZX
Y X|Z

 (n) のヒルベルト=シュミットノル
により定める．相互共分散作用素の場合と同様にして，Σ
Y X|Zムのグラム行列表示が (n) 2HS = 1 Tr K̃ Y K̃ X − 2K̃ Y K̃ Z (K̃ Z + nεn In )−1 K̃ Z K̃ X
(5.8)
Σ
Y X|Z
n2

+K̃ Z (K̃ Z + nεn In )−1 K̃ Y K̃ Z (K̃ Z + nεn In )−1 K̃ Z K̃ Xのように得られる．
下の定理により推定量の一致性が得られる．
定理 12.（Fukumizu et al., 2008） 2 乗可積分性を仮定する．正則化定数 εn が εn → 0 かつ
ε2n n → ∞（n → ∞）を満たすとき (n)(n → ∞)
ΣY X|Z − ΣY X|Z HS → 0と確率収束する．
5.4 条件付独立性尺度の応用
本章で紹介した独立性・条件付独立性の尺度は，統計的な問題に多くの応用を持っている．
以下ではそのいくつかを簡単に紹介する．その他にも ΣY X 2HS を変数選択に用いた応用など
様々な方法が提案されている．

条件付独立性の検定
連続値を取る一般の確率変数に対する条件付独立性の検定は，特に多次元のデータの場合に必ずしも容易ではなく，セル分割やガウス性の仮定などに依る方法が用いられることが多い．
 (n) 2HS（ここで Ẍ = (X, Z)）
これに対し，5.2 節で述べたことから，Σを条件付独立性の検定
Y Ẍ|Z

統計量として用いることができる．しかしながら独立性検定に用いた Σ(n) 2HS と異なり，帰YX

無仮説のもとでの検定統計量の分布は今のところ知られていない．並べ替え検定を行うことは可能であるが，並べ替えによって条件付独立なサンプルを発生させるためには，条件変数 Z が同一の値をとるサンプル (Xi , Yi ) を並べ替える必要がある．しかし，条件変数 Z が連続値の場
合は，ある決まった Z に対して多数の (Xi , Yi ) が存在することを期待するのは難しいので，近い Z の値を持つサンプルをグループ化して，その中で並べ替えをするなどの工夫が必要となる．詳細は Fukumizu et al.（2008）を見ていただきたい．

正定値カーネルによるノンパラメトリック推論

203

因果推論への応用
実験を伴わないデータから変数間の統計的な因果関係を推論する問題は，さまざまな分野で重要な課題であるとともに，困難な課題のひとつでもある．因果性推論のための一つのアプローチとして，有向グラフの矢印の向きを因果の向きと考え，真の確率分布が有向非巡回グラフ
で記述される確率分布に従うと仮定して，データからそのグラフを推定する方法がある（Pearl,．このアプローチでは，グラフの構造を推定するために，変数の部分
2000; Spirtes et al., 2001）集合に対する条件付独立性の判定を利用する．従来よく用いられる因果推論の方法では，連続変数に対する条件付独立性の検定には，変数の離散化を行うか，ガウス性を仮定して χ2 検定を行う方法が主であった．Sun et al.（2007）
では，上で述べたヒルベルト=シュミットノルムによる条件付独立性検定を行い，変数間の因果関係の推論を行う方法を提案している．

(5.9)

Y

|=

カーネル次元削減法
高次元データを扱う際に，データの説明や可視化，予測・決定の精度向上のためのノイズ削減，計算量の軽減などさまざまな目的のために次元削減は重要な方法となっている．ここでは
m 次元説明変数 X を用いて従属変数 Y を説明する回帰の問題において，Y に関する情報を保持するような X の低次元部分空間への射影を見つける次元削減の問題を考える．r 次元部
分空間への射影を表す m × r 行列を B（B T B = Ir ）とするとき，回帰において Y を説明するのに十分な部分空間の条件は
X |U(U = B T X)という条件付独立性で与えるのが自然である．上式を満たす B の列ベクトルが張る部分空間を推定する問題に対し，正定値カーネルによる条件付独立性の特徴づけが適用可能である．射
影行列 B の推定関数として
 (n)


min Tr Σ
Y Y |B T X
B:B T B=Ir

を用いる方法を，カーネル次元削減法という（Fukumizu et al., 2004, 2009; 福水, 2005）．ただ (n) T を定義する際には，Y ，Rd に対して特性的な正定値カーネル kY , kd , を用意し，し，Σ
Y Y |B X
T
B Xi に対して kd (B T Xi , B T Xj ) を用いる．
カーネル次元削減法の導出には，周辺分布，条件付分布および可測集合に関する条件をほとんど必要としない．離散変数などを含んだ幅広い状況に応用可能である．類似の目的に対する従来の方法は，回帰曲線や周辺分布に強い条件が課されることが多く，それに比べてカーネル次元削減法は一般的な状況に適用可能である．
6.

おわりに

本論文では，正定値カーネルを用いたデータ解析の新しい流れとして，特徴写像によって再生核ヒルベルト空間に写像したデータの共分散や条件付共分散を考えることにより，もとのデータの独立性や条件付独立性を議論するための方法を紹介した．そのために重要な概念は，
3 章で導入した特性的な正定値カーネルであった．
特性的なカーネルと特性関数との類似性からわかるように，正定値カーネルを用いた独立性・条件付き独立性の議論は，特性関数によって独立性・条件付き独立性を扱う方法と類似的
であり，ともに確率分布 P を積分変換 k(x, x )dP (x ) によって表現する．特性関数を用いる
場合，Rm , R に値をとる確率ベクトル X, Y の独立性を特徴づけるためには√T

E[e −1(X ω+Y

T

η)

√

T

√

] − E[e −1X ω ]E[e −1Y

T

η

]=0

を判定すればよいが，左辺は (ω, η) の関数であるため，何らかの関数空間のノルムを導入して，

統計数理

204

第 58 巻

第 2 号 2010

その値が 0 かどうかを判定する必要がある．例えば適当な測度 µm , µ によって定義されるヒ
ルベルト空間 L2 (Rm+ , µm × µ ) を用いて

√
√
√
T
T
T
T
2
E[e −1(X ω+Y η) ] − E[e −1X ω ]E[e −1Y η ] dµm (ω)dµ (η)
を用いることは可能であるが，この積分を有限サイズのデータから推定することは特別な場合を除いて容易ではない．正定値カーネルの方法では，再生核ヒルベルト空間の特殊性によりこの積分の問題を回避することができる．また，特性関数と異なり任意の測度空間上に値をとる
確率変数を考えることができる．
本論文で議論した方法の原理は，再生核ヒルベルト空間で低次（1 次，2 次）の統計量を考えれば，確率変数の性質がすべて把握できるという考えに基づいており，ガウス確率変数に対する方法の拡張と考えることもできる．この立場に立って，再生核ヒルベルト空間によるノンパ
ラメトリック推定の方法論は，さらに幅広い手法に拡張可能であることが期待されており，筆者も含めさまざまな研究者がその研究を進めている．
謝

辞本研究の一部は科研費・基盤研究（B）22300098 による助成を受けた．また査読者によるコメントは本稿の改善に非常に有益であった．ここに感謝の意を表したい．

参 考 文 献
Aronszajn, N.（1950）. Theory of reproducing kernels, Transactions of the American MathematicalSociety, 68（3）, 337–404.
. Joint measures and cross-covariance operators, Transactions of the American
Baker, C. R.（1973）
Mathematical Society, 186, 273–289.
. Reproducing Kernel Hilbert Spaces in Probability andBerlinet, A. and Thomas-Agnan, C.（2004）
Statistics, Kluwer Academic Publishers, Boston, Massachusetts.
Boser, B. E., Guyon, I. M. and Vapnik, V. N.（1992）. A training algorithm for optimal margin clas,
siﬁers, Fifth Annual ACM Workshop on Computational Learning Theory（ed. D. Haussler）
144–152, ACM Press, Pittsburgh, Pennsylvania.
福水健次（2005）. 正定値カーネルによる回帰問題における次元削減法，統計数理，53（2）, 189–200.
福水健次（2010）. 『カーネル法入門 正定値カーネルによるデータ解析 』，朝倉書店，東京．
Fukumizu, K., Bach, F. R. and Jordan, M. I.（2004）. Dimensionality reduction for supervised learningwith reproducing kernel Hilbert spaces, Journal of Machine Learning Research, 5, 73–99.
Fukumizu, K., Gretton, A., Sun, X. and Schölkopf, B.（2008）. Kernel measures of conditional dependence, Advances in Neural Information Processing Systems 20, 489–496, MIT Press, Cambridge, Massachusetts.
Fukumizu, K., Bach, F. R. and Jordan, M. I.（2009）. Kernel dimension reduction in regression, Annalsof Statistics, 37（4）, 1871–1905.
. A kernel method
Gretton, A., Borgwardt, K. M., Rasch, M., Schölkopf, B. and Smola, A.（2007）
for the two-sample-problem, Advances in Neural Information Processing Systems 19（eds.
, 513–520, MIT Press, Cambridge, Massachusetts.
B. Schölkopf, J. Platt and T. Hoﬀman）
Gretton, A., Fukumizu, K., Harchaoui, Z. and Sriperumbudur, B.（2010）. A fast, consistent kernel
two-sample test, Advances in Neural Information Processing Systems 22（eds. Y. Bengio,, 673–681, MIT Press, Cambridge,
D. Schuurmans, J. Laﬀerty, C. K. I. Williams and A. Culotta）

正定値カーネルによるノンパラメトリック推論

205

Massachusetts.
Ku, C. -J. and Fine, T. L.（2005）. Testing for stochastic independence: Application to blind source（5）, 1815–1826.
separation, IEEE Transactions on Signal Processing, 53
Pearl, J.（2000）. Causality: Models, Reasoning and Inference, Cambridge University Press, Cambridge, U.K.
. Learning with Kernels, MIT Press, Cambridge, Massachusetts.
Schölkopf, B. and Smola, A. J.（2002）
Spirtes, P., Glymour, C. and Scheines, R.（2001）. Causation, Prediction and Search, 2nd ed., MIT
Press, Cambridge, Massachusetts.
. Hilbert space
Sriperumbudur, B., Gretton, A., Fukumizu, K., Schölkopf, B. and Lanckriet, G.（2010）
embeddings and metrics on probability measures, Journal of Machine Learning Research, 11,1517–1561.
Sun, X., Janzing, D., Schölkopf, B. and Fukumizu, K.（2007）. A kernel-based causal learning algo,rithm, Proceedings of the 24th International Conference on Machine Learning（ICML2007 ）855–862.

206

Proceedings of the Institute of Statistical Mathematics Vol. 58, No. 2, 185–206(2010)

Nonparametric Inference with Positive Definite Kernels
Kenji Fukumizu
The Institute of Statistical Mathematics

The methodology of data analysis with positive deﬁnite kernels or reproducing kernel
Hilbert spaces is called the “kernel method”, which has been developed in the machinelearning ﬁeld. The feature of this methodology is that data are mapped to reproducing
kernel Hilbert spaces given by the positive deﬁnite kernel, and linear methods of data
analysis are applied on the data mapped in the Hilbert spaces. Although the mapped
data may be inﬁnite dimensional, the special property of the inner product makes thecomputation eﬃcient. More recently, it has been revealed that more basic statistics suchas mean and covariance considered in reproducing kernel Hilbert spaces are useful inanalyzing statistical properties such as homogeneity, independence, and conditional independence of random variables. This paper explains the basic idea of this method for
new nonparametric inference, and gives a brief survey of results obtained so far, focusing
particularly on nonparametric methods for discussing independence and conditional independence of variables. In discussing the properties of variables, it is important to use
a class of kernels that determines a probability uniquely by the mean on the reproducing
kernel Hilbert spaces. This class of kernels is called characteristic, and some theoreticalanalysis is also shown. With a characteristic kernel, the squared distance of the means canbe applied to the two-sample test for homogeneity. If the joint probability and productof the marginals are compared, the distance is equal to the Hilbert-Schmidt norm of thecovariance operator, which can be used for independence test. It is also shown that theHilbert-Schmidt norm of the normalized covariance operator is equal to the chi-square
divergence, which is a well-known measure of dependence. In the last part of this paper,the method of discussing conditional independence with kernels is brieﬂy surveyed. The
method is based on extension of the characteristic of conditional independence of Gaussian random variables to general cases by mapping variables to reproducing kernel Hilbert
spaces. Some applications of conditional independence are also shown.

Key words: Positive deﬁnite kernel, reproducing kernel, Hilbert space, nonparametric, independence,
conditional independence.