情報論的学習理論テクニカルレポート 2009
Technical Report on Information-Based Induction Sciences 2009 (IBIS2009)

一次元正規分布のなす空間への曲線あてはめ

Curve fitting in the space of one-dimensional normal distribution
藤木 淳∗
Jun Fujiki

赤穂 昭太郎†Shotaro Akaho

Abstract: We propose a method for extracting a one-dimensional structure from a setof parameters of one-dimensional normal distributions. In this paper, the one-dimensional
structure is represented as a curve, which contains a linear parameter, on the manifold of
one-dimensional normal distributions. And the fitting error is measured by metric tensor,
which is the second order approximation of e-divergence and/or m-divergence. In thisformulation, the estimation of curve fitting is represented by the framework of Jacobiankernel principal component analysis, which is the extension of kernel principal component.
Keywords: information geometry, manifold fitting, Euclideanization, kernel principal
component analysis, Jacobian kernel

1概要

1 次元正規分布の平均と分散の組がが複数個与えられたとき，それらは 2 次元空間をなすが，この 2 次元空間の中から構造を抽出するという問題を考える．2 次元空
間の部分空間であるから，構造としては 0 次元空間である点及び 1 次元空間である曲線が考えられる．

0 次元構造は重心である．複数の 1 次元正規分布の重心として，複数の 1 次元正規分布から測った e-ダイバー
ジェンスの和または m-ダイバージェンスの和を最小にする m-重心及び e-重心が提案されている [3]．1 次元構
造は曲線であり，この構造を抽出する手法として，単純には主成分分析（principle component analysis；

PCA）などが適用可能と考えられるが，PCA には以下のような問題点がある． PCA は平均と分散の組が従う
分布がユークリッド（欧幾里得；欧氏） 空間中の正規分布，つまり 1 次元正規分布の平均と分散の組が与える
計量が一定であることを仮定しているが，1 次元正規分

り 1 次元構造を探すことを考える．その際，確率分布とあてはめ曲線の距離をダイバージェンスそのものではなく，ダイバージェンスを 2 次形式で近似したもので測る．このあてはめ問題は核主成分分析（kernel PCA；

KPCA）[9] におけるあてはめ誤差を入力空間の計量で近似したヤコビ核主成分分析（Jacobian kernel PCA；JKPCA） [8] の枠組みで捉えることができる．核関数
であてはめ問題を表現することにより多項式核に対応する直線や 2 次曲線等の多項式曲線だけでなく，ガウス核などの様々な核関数に対応する曲線があてはめ可能となる．また，この結果はダイバージェンスを最小化することによって e-平坦空間や m-平坦空間をあてはめる手法[3] を含めたダイバージェンスを最小化する曲線あてはめの初期値として利用することが可能である．

2

一次元正規分布のなす空間

2.1

4 つの座標系

布の平均と分散の組が与える自然な計量は，情報幾何学

本節では，一次元正規分布のなす多様体 S に 4 つの的には一定ではない [4, 5]．また，PCA は線型構造は抽

座標系を与える．最も基本的な座標系は，平均 µ，標準出できるが，非線型構造は抽出に不向きである．

偏差 σ （> 0）に対して µ = (µ, σ)⊤ となる座標系であ

そこで本稿では，1 次元正規分布の平均と分散をパラメータとする 2 次元空間の点列への曲線あてはめによ∗ 産業技術総合研究所 脳神経情報研究部門, 〒 305-8568 茨城県つくば市梅園 1-1-1 中央第 2, e-mail jun-fujiki@aist.go.jp,
The National Institute of Advanced Industrial Science and Technology (AIST) Neuroscience Research Institute, Central 2, 1-1-1
Umezono, Tsukuba, Ibaraki 305-8568† e-mail s.akaho@aist.go.jp

り，一次元正規分布は}{
1(x − µ)2p(x; µ) = √
exp −
2σ 2
2πσ

(1)

と表現できる．これは 2 次元平面の上半平面 σ > 0 が定義域である．
次の座標系は平均と分散の組 ξ = (µ, V )⊤ （V = σ 2 ）で定義される座標系であり，1 次元正規分布は{}
1(x − µ)2p(x; ξ) = √
exp −
2V
2πV

多様体 S の部分空間には平坦（flat）という概念が定義される．もちろん平坦さも双対な構造に応じて e-平(2)

坦と m-平坦の２種類が定義できる．e-平坦な部分空間と表され，定義域は 2 次元平面の上半平面 V > 0 である．

M とは M 上の任意の 2 点を結ぶ e-測地線が M に含まれるものであり，m-平坦も m-測地線に関して同様にさて，定義される．本稿では S の平坦な部分空間は測地線と

{
}
1 2
µ
µ2
p(x; µ) = √exp − 2 x + 2 x − 2
2σ
σ
2σ
2πσ 2
1

点に限られる．

θ1 = −

1
1
=−
,
2
2σ
2V

θ2 =

本稿の目的は複数の 1 次元正規分布に対して曲線あて

µ
µ
=
2
σ
V

はめにより 1 次元構造を抽出することであるが，その前に “重心” を求めることによって 0 次元構造を抽出するとおくと，θ = (θ1 , θ2 )⊤ に対して

方法 [3] について述べておく．ここで複数の 1 次元正規p(x; θ) = exp{θ1 F1 (x) + θ2 F2 (x) − ψ(θ)}(3)の形に表される．この θ は 1 次元正規分布のなす多様体

S の局所座標系を定める助変数で e-座標系と呼ばれる．
e-座標系の定義域は θ1 < 0 なる左半平面である．
一方，ηi = Eθ [Fi (x)] とおくと
η1 = µ2 + σ 2 = µ2 + V,

点のあてはめ3となるので，F1 (x) = x2 , F2 (x) = x とし，

η2 = µが成立し，η = (η1 , η2 )⊤ は θ に双対な座標系となり，こ分布の重心として，複数の 1 次元正規分布から測った eダイバージェンスの和を最小にする m-重心，及び複数の 1 次元正規分布から測った m-ダイバージェンスの和を最小にする e-重心の 2 通り考えることができる．

m-重心は e-ダイバージェンスの和を最小にすることから，θ 座標における算術平均となる．よって複数の 1
次元正規分布の θ 座標を {θ [d] }Dとし，m-重心の θ 座
∑Dd=1
m
m
1
標を θ とすると θ = D d=1 θ [d] となる．同様に，

e-重心は m-ダイバージェンスの和を最小にすることか

れは m-座標系と呼ばれる．m-座標系の定義域は放物線

ら，η 座標における算術平均となる．よって複数の 1 次の内部である η1 > η2 2 である．

元正規分布の η 座標を {η [d] }Dとし，e-重心の η 座標
∑D d=1ee
1を η とすると η = D d=1 η [d] となる1

今，θ と η は座標変換によって全射となるので，その変換を θ(η), η(θ) と書くことにすると，e-座標と m座標の間の座標変換は1
η2, θ2 (η) =,2(η1 − η2 2 )η1 − η2 2
(
)2
θ2
1
θ2
η1 (θ) =−, η2 (θ) = −
2θ1
2θ1
2θ1

θ1 (η) = −となる．他の座標変換も同様に計算できる．

2.2

測地線

るが，双対な座標系に対応して，双対な e-測地線と m測地線が定義できる．e-測地線は e-座標系 θ に対して線形な関係で結ばれる曲線であり，θ 1 ，θ 2 を通る e-測
地線は θ(t) = tθ 1 + (1 − t)θ 2 , t ∈ T ⊂ R と助変数表示
される．m-測地線は m-座標系 η に対して同様に定義される曲線 η(t) = tη 1 + (1 − t)η 2 である．本稿で考察する S は 2 次元多様体であるから，： aθ1 + bθ2 + c = 0,m-測地線 ： pη1 + qη2 + r = 0と表現できる．

1 次元曲線のあてはめ

4.1

他の座標系における測地線の表現

e-測地線は座標 θ における直線 aθ1 + bθ2 + c = 0 を表す．この直線の µ における表現は a − 2bµ − 2cσ 2 = 0であるから，これは µ 空間における放物線または直線を表わす．また，特徴写像e θ = (µ, σ 2 , 1)⊤µ 7→ µ

さて，多様体 S の中で真っ直ぐな線は測地線と呼ばれ

e-測地線

4

e θ = 0 に帰着できる．同様に
により線型あてはめ a⊤ µ
ξ 空間において e-測地線は直線を表わし，特徴写像
ξ 7→ eξ θ = (µ, V, 1)⊤
により線型あてはめ a⊤ eξθ = 0 に帰着できる．そして η
空間における e-測地線は放物線または直線で，特徴写像e θ = (η1 − η22 , η2 , 1)⊤
η 7→ ηe θ = 0 に帰着できる．
により線型あてはめ a⊤ η
1 Akaho[3] とは e-重心と m-重心の定義が逆であるが，e-平坦な空間へはデータから m-射影を行なうことが自然であるという観点から，
本稿のように定義する．

m-測地線は座標 η における直線 aη1 + bη2 + c = 0 を表わす．この直線の µ 空間における表現はを最小にする点 q となる．
このように，一般には e-ダイバージェンス，m-ダイ
バージェンスを用いた推定結果は異なる．しかし，微小a(µ2 + σ 2 ) + bµ + c = 0

距離に関しては 3 次以上の微小量を無視するとと，円または直線である．よって特徴写像

D(p||p + dq)⊤

e η = (µ, µ + σ , 1)
µ 7→ µ22=e η = 0 に帰着できる．同様に
により線型あてはめ a⊤ µ
ξ 空間において m-測地線は µ2 の係数が −1 の放物線，
または直線を表わし，特徴写像
ξ 7→ eξ η = (µ, µ2 + V, 1)⊤によって，特徴空間における線型あてはめ a⊤ eξη = 0 に帰着できる．そして θ 空間において m-測地線は二次曲線を表わし，特徴写像≈

1 ⊤dη Gη dη2
1 ⊤dθ Gθ dθ ≈ D(p + dp||p)2となり，e-ダイバージェンスと m-ダイバージェンスは等しくなる．本稿では，この 2 次形式をダイバージェンスの近似距離として用いることにする．

特徴空間における線型あてはめ

5

本節では，空間 ϕ における計量が Gϕ であるときに，線型助変数で記述される曲線群eη = (2θ1 − θ2 , θ1 θ2 , 1)⊤
θ 7→ θ
2f (ϕ; a) = a⊤ F (ϕ) = 0

⊤e

(4)

により線型あてはめ a θ η = 0 に帰着できる．
をあてはめる手法について述べる．

4.2

あてはめる曲線族

例えば，一次元正規分布の集合に e-測地線をあてはめ

以上，あてはめる曲線族は全て a⊤ F (ϕ) = 0 の形でるには，µ 空間において曲線族 aµ + bσ 2 + c = 0 をあある．よって以下，一般的に ϕ 空間において線型助変てはめれば良く，このあてはめを µ 空間の計量に基づ数で記述される曲線族 f (ϕ; a) = a⊤ F (ϕ) = 0 をあて

e θ において線型あてはめ a⊤ µeθ = 0 をいて特徴空間 µ

はめる手法について述べる．

行なえば良い．もちろん，ξ 空間の計量に基づいて特徴
空間 eξθ において線型あてはめを行っても良いし，η 空
間の推定，θ 空間の推定として考えても良い．

4.3

入力空間の計量µ，ξ ，θ ，η 空間における計量はそれぞれ，
(
)
(
)
2V 0
1 1 0
1
Gµ = 2, Gξ =
,
σ
2V 2
0 1
0 1
)
(
θ22 − θ1 −θ1 θ2
1,
Gθ = − 32θ1 −θ1 θ2
θ12
)
(
1/2
−η2
1
−1
Gη = G =θ(η1 − η22 )2 −η2 η1 + η22であることが簡単に計算できる [4]．

4.4ダイバージェンス

点 p を部分空間 M へ射影することを考える．射影方法として e-射影と m-射影が考えられる．
点 p から，M への m-射影を q とすると，q は m-ダ
イバージェンスD(p||q) = ψ(θ(p)) + ϕ(η(q)) − θ(p)⊤ η(q)を最小にする点 q となる．同様に，点 p から，M へのe-射影を q とすると，q は e-ダイバージェンス
D(q||p) = ψ(θ(q)) + ϕ(η(p)) − θ(q)⊤ η(p)5.1エネルギー関数

D 個の一次元正規分布が観測されたとし，それらの座b
標を {ϕ[d] }D
d=1 とする．そして ϕ[d] を ϕ[d] から式 (4) でb −表現される曲線へ下した垂線の足とする．また，ϕ[d]ϕ[d] = δϕ[d] とおく．このとき，
b ; a) ≈ f (ϕ; a) +
f (ϕ
[d]

∂f
(ϕ ; a) δϕ[d] = 0∂ϕ [d](5)が成立する．写像 F : ϕ 7→ F (ϕ) ヤコビ行列を JF = ∂F
∂ϕとし，ϕ[d] における JF の値を JF[d] とすると，∂f(ϕ ; a) = a⊤ JF[d] δϕ[d]∂ϕ [d]
により，式 (5) は a⊤ JF[d] δϕ[d] = −a⊤ F[d] ，つまり

[
]
]
[
⊤
⊤
⊤
F
F
J
a
=
a
a⊤ JF[d] δϕ[d] δϕ⊤[d] [d] a ,[d] F[d](6)と変形できる．ここで F[d] = F (ϕ[d] ) である．よって，データ点と曲線との距離 r[d] は G[d] = Gϕ

とおくと

[d]

⊤
δϕ[d] ⊤ G[d] δϕ[d] = δF[d]G[d] δF[d](7)

（G[d] = JF+⊤
G[d] JF+[d] ）2 の式 (6) の基での最小値とな[d]6

る．そしてそれはコーシー・シュワルツの不等式により，[]⊤a⊤ F[d] F[d]
a
2
r[d]
=
(8)
+
⊤
a G[d] a

氏化を述べる．Akaho[1] は通常の LS 解を初期値とした．

と計算でき，ϕ 空間の計量の基での曲線あてはめは，エ推定する．推定値は {λ[d] = 1}D
d=1 と置いたエネルギー

ネルギー関数

E(a) =[]⊤
D a⊤ FF∑[d] [d] a
d=1+a⊤ G[d]a

本節では提案手法の初期値としての計量の（0 階）欧通常の LS 解は計量の変換を考慮しない故，射影空間の計量テンソルが単位行列であるとの仮定の基で助変数を[0]関数の近似式 E(a) ≈ a⊤ [FF ⊤ ]a から求められる

b [1] = UnitMinEigenVec[FF ⊤ ]a(9)であり，これが通常の LS 解である．しかし通常の LSを最小化する a を求めることによって実現できる．

解法とアルゴリズム

5.2

計量のユークリッド化（欧氏化）

解は初期値として良くないことがある．そこで超球面
データに対する計量の欧氏化（Euclideanization of

式 (9) のようなレイリー商の和を最小化する問題はコ

metric） が提案された [7].
欧氏化の概念は入力空間の計量をなるべく保つため

ンピュータビジョンにおいて深く研究されており，多くの射影空間における計量の調整である．その意味で先にの手法が提案されている（例えば [6, 10]）．本稿で与え述べたで曲線のあてはめ手法も一種の計量の欧氏化でたレイリー商の和は 1 次元正規分布のなす空間のダイある．そこでこれらの欧氏化を区別するために，Fujiki

バージェンスの近似に基づくので，レイリー商の和の最小化を高精度に実現する必要がないため，Akaho[1] にand Akaho[7] によって提案された欧氏化を計量の 0 階
欧氏化と呼び，本稿で提案した欧氏化を計量の 1 階欧氏

よって提案された最小化手法を紹介する．

化と呼ぶことにする．

なお，ここで f (ϕ; a) は十分に滑らかであるとする，当初，計量の 0 階欧氏化は超球面の等方向射影（equidi-

つまり a が微小変化したとき，∂f /∂ϕ も十分小さいもrectional projection；EDP）の場合にのみ提案されのとする．

た [7] が，これは線分長の変化を体積要素の拡大率を利b が得られたとし，λ[d] 及び Λ を今，a の近似値 a+b ⊤ G[d]b,λ[d] = aaと定義し，F = (F[1]Λ = diag{λ[1] , . . . , λ[D] } ,···F[D] ) とおくと，エネルギー用して調整する手法であり，その概念は，写像により n次元体積要素が k 倍に拡大されたとすると，線分長は1k n 倍拡大されると期待できる．そこで入力空間の最小二乗法は射影空間における重み附き最小二乗法で近似できる．このとき各データに附する重みは k − n となる．
2

関数は

[
]
E(a) ≈ a⊤ FΛ−1 F ⊤ aと近似できるので，[]
a = UnitMinEigenVec FΛ−1 F ⊤が成立3 する．
次のアルゴリズムにおいて，右上の添字 [k] は k 番目

さて ϕ 空間をを射影した空間を F (ϕ) ∈ RN とし，その射影のヤコビ行列を JF = ∂F とする．このとき写像∂ϕ
ϕ 7→ F (ϕ) における 2 次元体積（面積）の拡大率は次のように計算される：

∂F
∂F
dϕ1 ∧
dϕ2
∂ϕ1
∂ϕ2

=

√
det (JF⊤ JF ) |dϕ1 ∧ dϕ2 |=√のステップにおける値を表す．特に初期値は [0] で表す．

1
Det G

初期値の与え方は後に述べる．

ここで G = JF+⊤ Gϕ JF+ であり，Det X は非負対称行(1) 初期値 {λ[d] }D
d=1 を計算．

[0]

列 X の非零固有値の積4 を表すものとする．よって 2 次(2) (a) 及び (b) を収束するまで繰り返し：(Det G)−1/4 倍拡大されると期待できる．よって入力空b [k+1] := UnitMinEigenVec[F(Λ[k] )−1 F ⊤ ]
(a) a
[k+1]

(b) λ[d]+:= (ba[k+1] )⊤ G[d](ba[k+1] ).

2 X + で X のムーア・ペンローズ逆行列を表わす．
3 UnitMinEigenVec[X] で X の最小固有値に対応する単位固有ベクトルを表わす．

元体積は (Det G)−1/2 倍拡大されるので線分の長さは間の LS 法は射影空間において，重み (Det G)1/2 を附した重み附き LS 法となる．
4 データが誤差を含む場合，零固有値が非零固有値となることがある．この場合は最大 2 固有値の積を計算すれば良い．何故なら，一般に G の階数は 2 だからである．

なお，この射影による微小距離の変化は既に述べたよ
うにル，というように n 次曲線のあてはめを n 次多項式カー
ネルを用いることによって実現できる．また，ガウスr2= dϕ⊤ Gϕ dϕ= dF ⊤ (JF+T Gϕ JF+ )dF = dF ⊤ G dF

だから 0 階欧氏化は微小距離の変換規則から簡単に計算

核（Gaussian kernel）を用いることにより，ヒルベ
ルト空間におけるあてはめも行なうことができる．このようなカーネルに基づいて定義される曲線族を核曲線（kernel curve）と呼ぶことにする．
なお，このあてはめ問題は標本特徴空間という空間できる．
ここで射影空間における 3 種類の距離を比較してみる．第一は普通の最小二乗法で用いられる距離であり，{f (ϕ; a)}2
{f (ϕ; a)}2
=
r =
⊤
a a
a⊤ IN a2を考えることにより，標本特徴空間という空間における線型あてはめ問題に帰着できることがわかり，カーネル
トリックとは，ヒルベルト空間を標本特徴空間へ射影することによって有限次元の問題に帰着していることがわ
かる．

である．第二の距離は 0 階欧氏化であり，

r2{f (ϕ; a)}2,⊤
a {(Det G + )1/n IN }a=である．そして最後の距離は本稿で提案する 1 階欧氏化であり，{f (ϕ; a)}2r =a⊤ G + a

7.1

ヤコビ核主成分分析

本小節では，ヤコビ核主成分分析 [8] の枠組みであてはめ問題を核関数で表現する．
本稿では微分可能な核関数 k(x, y) = F (x)⊤ F (y) 及
びその微分であるヤコビ核（Jacobian kernel）[8]2である．この 3 種類の距離において分子は共通であり分母のみが異なることに注意する．普通の最小二乗法における射影空間の計量行列は単位行列である．0 階欧氏化における射影空間の計量行列はスカラー行列（比率は場
所によって異なる）である．そして 1 階欧氏化において射影空間の計量行列は一般的な非負対称行列である．な
お 0 階欧氏化は 1 階欧氏化の近似として捉えることができ，n 次元超曲面5 F (ϕ) ∈ RN においてG + ≈ (Det G + )1/n IN

k(x, y)(m×1)

を用いる．また a の存在範囲として F[d] の線型結合∑a=α[d] F[d] = F
α(n×1)

だけを考える6 ．ここで D × D 行列 K を()(K)ij = k(x[i] , x[j] ), K = K[1] · · · K[D]で定義し，また，D × m 行列 K[d] を=以上のことから，0 階欧氏化は，特徴空間の LS より

K[d]

=

も提案手法である 1 階欧氏化に近い近似であると考えるで定義すると，ことができ，1 階欧氏化の初期値としてより適切であると考えられる．

7

核関数による表現
以上に述べたあてはめ手法は特徴空間がリーマン空間

である場合の手法であるが，近年，核関数を利用することによって，リーマン空間の手法をヒルベルト空間に拡張することが行なわれている [9, 11]．
核関数を用いた表現により，直線あてはめは 1 次多項式カーネル，2 次曲線あてはめは 2 次多項式カーネ
5 F (ϕ) は S n の像であるから，F (ϕ) は射影空間上の n 次元超曲面を表す．よって式 (10) の正確な表現は次のようになる：rank G + = n であるから，非負対称行列 G + の特異値分解は U diag {d1 , · · · , dn }U ⊤となり，0 階欧氏化による G + の近似は (d1 · · · dn )1/n U U ⊤ となる．
つまり F (ϕ) の接空間への正射影と拡大の合成変換となる．

(n×D) (D×1)

pk[i][j]と近似されている．

∂k(x, y)= JF (x)⊤ F (y)∂x⊤=k(x[i] , x[j] ),(k[d][1] · · ·K[d] = F ⊤ F[d] ,)⊤k[d][D]K[d] = F ⊤ JF[d]が成立する．このとき，式 (9) について[]⊤⊤a = α⊤ K[d] K[d]α,a⊤ F[d] F[d]+a⊤ G[d]a⊤= α⊤ K[d] G−1[d] K[d] αである．このとき式 (9) は，写像 F を含まない

E ′ (α)=

6 赤穂 [2] は a = Φα +D∑⊤
α⊤ K[d] K[d]
α

d=1

⊤
α⊤ K[d] G−1[d] K[d] α

D
∑
d=1

β⊤
[d]

(

∂F (x)∂x(10))⊤の範囲で a を探索[d]

し，そのため K(x, y) = JF (x)⊤ JF (y) も定義される．この核関数
を計量核（metric kernel）と名付ける．

となり，これを最小にする α を求めることとなる．

が 0 階欧氏化となる．

この最小化問題は式 (9) の最小化と同様に解ける．

b が得られたとし，λ[d] 及び Λ を今，α の近似値 α⊤b ⊤ K[d] G−1b= α[d] K[d] α ,

λ[d]

Λ =

これらを初期値としてレイリー商の和を最小とする αを求めれば良い．

9diag{λ[1] , . . . , λ[D] } ,おわりに
本稿では，一次元正規分布の集合に線型助変数で記述と定義すると，エネルギー関数はされる曲線群をダイバージェンスの和の近似値を最小化[]
E ′ (α) ≈ α⊤ KΛ−1 K α

するようにあてはめる手法を提案した．提案手法は近似
距離の最小化であるから，データの構造，すなわちあて
はめるべき曲線族を決定する特徴写像 F (ϕ) がデータにと近似できるので，[]
α = UnitMinEigenVec KΛ−1 K

相応しくない場合はあてはまりが悪くなるため，（非線
型 PCA 一般に言えることであるが）特徴写像の選び方が成立する．よってアルゴリズムは以下の通り：が重要な問題となる．

[0]

7(1) 初期値 {λ[d] }D
d=1 を計算 ．

References(2) (a) 及び (b) を収束するまで繰り返し：
b [k+1] := UnitMinEigenVec[K(Λ[k] )−1 K]
(a) α
[k+1]

(b) λ[d]8⊤b [k+1] )⊤ K[d] G−1b [k+1] ).
:= (α[d] K[d] (α核関数と標本特徴空間· · · F[D] ) と特徴写像 ϕ 7→ F (ϕ)
を用いて標本特徴写像（sample feature map）を
先程の F = (F[1]K : ϕ 7→ K(ϕ) = F ⊤ F (ϕ) ∈ RD
によって定義し，K(ϕ) の属する空間 RD を標本特徴空間（sample feature space）と呼ぶことにする．このとき，標本特徴写像のヤコビ行列が K = F ⊤ JF となることに注意すると，標本特徴空間での SLS 基準による
超平面 α⊤ K(ϕ) = 0 のあてはめ問題は式 (10) の最小化となる．
つまり，核関数を用いたあてはめ問題の書換えは，特徴空間におけるあてはめ問題を標本特徴空間におけるあてはめ問題へと書換えたことに対応することがわかる．
この書換えによってヒルベルト空間の問題を，標本数で定まる有限次元の問題に帰着していることがカーネルトリックの一つの意味であると考えることができる．
なお，標本特徴空間における欧氏化が核関数を用いた
場合の欧氏化に対応することとなり，1 階欧氏化である

r2 =(α⊤ K[d] )2⊤α⊤ K[d] G−1[d] K[d] αをスカラー行列で近似した

r2 =

⊤

(α K[d] )α⊤ {(Det K

2−1 ⊤ 1/nID }α[d] G[d] K[d] ),7 この結果は核主成分分析 [9] を行なったことに相当する．

[1] S. Akaho, “Curve fitting that minimizes the meansquare of perpendicular distances from sample points,”
In Proc. of SPIE93, Vision Geometry II, Vol.2060,(1993).
[2] 赤穂昭太郎, “入力空間でのマージンを最大化するサポートベクタマシン,” 信学論 D-II, vol. J86-D-II, no. 7, pp.
934-942, 2003.
[3] S. Akaho, “The e-PCA and m-PCA: dimension reduction by information geometry,” In Proc. of Int. Joint
Conf. on Neural Networks (IJCNN2004), pp. 129-134,
2004.
[4] S. Amari, Diﬀerential Geometrical Methods in Statistics, Springer-Verlag, 1985.
[5] S. Amari, H. Nagaoka, Methods of Information Geometry, AMS and Oxford university press, 2000.
[6] W. Chojnacki, M. J. Brooks, A. van den Hengel and
D. Gawley, “On the fitting of surfaces to data withcovariances,” IEEE Trans. Patt. Anal. Mach. Intell.,vol.22, no.11, pp.1294.1303, Nov. 2000.
[7] J. Fujiki and S. Akaho, “Small hypersphere fittingby Spherical Least Square,” In Proc. of ICONIP05,
pp.439-444, (2005).
[8] 藤木淳，赤穂昭太郎, 入力空間での計量に基づいた核主
成分分析, 信学技報, vol. 108, no. 327, pp. 69-74, Nov.
2008.
[9] B. Schölkopf, A. Smola and K.-R. Müller, “Nonlinear
component analysis as a kernel eigenvalue problem,”
Neural Computation, vol. 10, pp. 1299-1319, 1998.
[10] G. Taubin, “Estimation of planar curves, surfaces and,non-planar space curves defined by implicit equations
with applications to edge and rage image segmentation,” IEEE Trans. Patt. Anal. Mach. Intell., vol.13,
no.11, pp.1115.1138, 1991.
[11] 津田宏治, “ヒルベルト空間における部分空間法,” 電子情報通信学会論文誌 D-II, vol.J82-D-II, no.4, pp.592-599,
Apr. 1999.