Vol. 46

情報処理学会論文誌

No. 9

Sep. 2005

パラメトリック埋め込み法によるクラス構造の可視化
岩 田

具

治†

斉 藤

和

巳†

上 田

修

功†

データをそのクラス構造とともに低次元の可視化空間へ埋め込む非線形手法，パラメトリック埋め込み法 (PE) を提案する．PE は，可視化空間において混合正規分布を仮定し，原空間における事後確率と可視化空間における事後確率の Kullback-Leibler ダイバージェンスができるだけ小さくなるようにデータとクラスを埋め込む．PE は，データ間距離 (非類似度) を直接計算しないため，従来法に比べ計算効率がよい．分類済 Web ページを用いたクラスラベル付きデータの可視化，手書き文字を用いた分類モデルの可視化，単語群を用いたラベルなしデータの可視化を行い，PE の有効性を示す．

Class Structure Visualization by Parametric Embedding
Tomoharu Iwata,† Kazumi Saito† and Naonori Ueda†
We propose a nonlinear method, Parametric Embedding (PE), that embeds objects with theclass structure into a low dimensional visualization space. We assume a spherical Gaussian
mixture in the embedding space, and embeds objects and classes simultaneously by minimizing the Kullback-Leibler divergences between posteriors in the original space and posteriors
in the embedding space. PE does not calculate the objects’ pair-wise distance directly, therefore, PE has a computational advantage over the conventional embedding methods. In theexperiments, we show the validity of PE by visualizing classified web pages, classifiers ofhandwritten digits, and latent topics of words.

空間における事後確率は，与えられたデータに適した

1. は じ め に

確率モデルを仮定し得られる．

近年，膨大な電子情報が蓄積されつつある．データ

直感的には，事後確率が高ければそのデータとクラ可視化は，こうしたデータの構造を直感的に理解す

スの可視化空間における距離を近くし，低ければ距離ることを可能にし, さらに知識発見のツールとして有を遠くするように埋め込む．これにより，クラスラベ用である．古典的な可視化法として，多次元尺度法

ル付きデータを直接的に可視化することができ，その(MDS)19) や主成分分析 (PCA)12) が著名であるが，クラス構造が明らかになる．また，クラスラベルが与線形射影に基づく手法ゆえの限界がある．近年，非線

えられていない場合でも，応用例で示す様に，潜在ク形構造が抽出可能なより高度な埋め込み法も幾つか提ラスを導入することにより可視化することが可能で案されている (例えば文献 11)18)20))．

ある．

本論文では，これらの従来法とは異なり，データを提案法は，原空間で仮定された確率モデルを低次元

そのクラス構造とともに埋め込む問題を考える．すの混合正規分布に変換するものとも言える．従来の可なわち, データ間の関係ではなく，データのクラス帰視化法は，可視化空間においてクラス構造を持つ確率

属確率 (事後確率) を保存する新たな可視化手法を提モデルを明示的に仮定することなく，データ間の関係

案する．具体的には, 可視化空間において等方等分散(距離や近傍関係など) を基にデータを埋め込むノンパの混合正規分布 (各正規分布の平均ベクトルがクラス

ラメトリックな方法であった．一方, 提案法はデータ情報に相当) を仮定し, 原空間におけるクラス事後確のモデルを考えた可視化法ゆえ, パラメトリック埋め率と可視化空間におけるクラス事後確率の Kullback-込み法 (Parametric Embedding:PE) と呼ぶこととす

Leibler(KL) ダイバージェンスができるだけ小さくな

る．PE はモデル変換という枠組みを可視化に新たにるようにデータとクラスを同時に埋め込む．ここで原組み込んだ手法であり，それゆえ，• データとクラスの非線形埋め込み可能† 日本電信電話株式会社
NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories• 背景知識を確率モデルの形で取り入れ可能• 計算効率が従来法に比べ高い (後述)
1

情報処理学会論文誌

2

Sep. 2005という特長をもつ．

E(R, Φ) =−以下の本文では，まず 2 節で提案法 PE について

N
K
X
X
n=1 k=1

詳述する．3 節では，関連研究について述べる．4 節

P (ck |xn ) log P (ck |r n )(2)では，分類済 Web ページ群を用い，ラベル付きデー

特筆すべきは，次式で表される E の r n に関するヘタの可視化において PE が従来法に比べ有効であるこシアンは，分散共分散行列の形になることから分かるとを実証する．5 節では，学習サンプル数の異なる 2

ように，半正定値行列となる．

つの分類モデルで手書き文字の可視化を行い，PE はX∂2E=
P (ck |rn )φk φ0k∂rn ∂r0n
K

データとともに仮定したモデルの特徴も可視化することを示す．6 節では，単語群に教師なし学習モデルをÃKX

適用することで，PE はラベルなしデータの潜在クラ−ス構造を可視化することが可能であることを示す．7

2. 提案法: Parametric Embedding
可視化対象のデータの集合を X = {xn }N
n=1 ，クラスの集合を C =P(ck |rn)φk

!Ã K
X
k=1

P(ck |rn)φk

!0

(3)

ここで 0 は転置を表す．E に正則化項を付け加えた

節では，結論と今後の課題を述べる．

{ck }K
k=1

k=1

k=1

J = E + ηr

N
X
n=1

k rn k2 +ηφ

K
X
k=1

k φk k2 (4)とする．我々の目

を目的関数とすると，J の r n に関するヘシアンは正

的は，データのクラス帰属確率 (事後確率) P =定値行列となる．ここで ηr , ηφ > 0 である．それゆ{(P (c1 |xn ), . . . , P (cK |xn ))}N
n=1 をできるだけ保存しえ，Φ が与えられたとき，J は R に関して厳密に下スの座標の集合 Φ = {φk }Kk=1 を求めることである．

が保証されるという好ましい性質を持つ13) ．

れているものとする．xn は連続値, 離散値のみならず(1)ているデータの座標の集合 R = {r n }N
n=1 およびクラ

以後，事後確率は与えられている，もしくは，推定さD非整数値でもよい．また r n ∈ R ,φk ∈ R

D

(D は可

視化空間の次元で通常 D = 2 or 3) である．
可視化空間においても確率モデルを仮定することにより，座標が与えられたときの事後確率 P (ck |r n ) をに凸となり，Φ が与えられたとき R の大域的最適性
最適化は以下のアルゴリズムにより行う．

R および Φ を適当に初期化(2)Φ を固定し，R に関する J の最適化

(3)

R を固定し，Φ に関する J の最適化

(4)

もし収束していれば終了，さもなければステッ
プ (2) へ戻る

推定することができる．ここで，各データの座標は，ステップ (1) における Φ の初期値として，クラスに関

平均 φk ，分散共分散行列 I の混合正規分布 (混合数する情報がある場合，MDS などの次元圧縮法の結果

K) に従うと仮定すると，座標 R，Φ から推定されるを用いることも可能である．情報がない場合は，R, Φ

事後確率は，ベイズの定理より

ともにランダムに初期化する．ステップ (2) および (3)P (ck ) exp(− 12 k rn −φk k2 )(1)
P (ck |rn ) = PK
P (cl ) exp(− 21 k rn −φl k2 )l=1となる．ここで k · k は可視化空間におけるユークリッにおける最適化はニュートン法13) により行う．このとき，J が増大することはなく，(局所) 最適解に収束する．ステップ (3) は複数の局所最適解が存在する非ドノルムを表す. 事前確率 P (ck ) が与えられていない

線形最適化問題であるが，ステップ (2) では上述のよ

場合は全クラス一様と仮定する．上式から明らかなよ

うに唯一最適解が求まるため，最適化過程全体での実

うに，この分布を仮定することにより，データの座標

質的なパラメータ数は Φ の要素数，つまりクラス数

r n とクラスの座標 φk のユークリッド距離が近けれK と可視化空間の次元 D の積である．一方，従来のばその事後確率 P (ck |r n ) は高くなり，直観と一致す

非線形可視化法の場合のパラメータ数は N D となる．

る可視化結果が得られると期待できる．

この可視化空間における事後確率 P (ck |r n ) が原空

間における事後確率 P (ck |xn ) の良い近似となっていればよい．この近似は，全データに対する両確率分布
間の KL ダイバージェンスを最小化するように R お
よび Φ を最適化することで実現することができる．Pは既知であるため，最小化すべき目的関数 E は次式となる．

一般に K ¿ N であるため，従来法と比べ PE は安定した最適化が期待できる．

J の勾配ベクトルは，X∂J
αnk (rn − φk ) + ηr r n ,
=
∂rn
K

k=1

(5)

Vol. 46

パラメトリック埋め込み法によるクラス構造の可視化

No. 9

X
∂J
=
αnk (φk − rn ) + ηφ φk ,∂φk3

空間における) クラス間分散が最大かつクラス内分散が

N

(6)

n=1

となる．ここで αnk = P (ck |xn ) − P (ck |rn ) である．
興味深い事に，上記学習則は両空間の事後確率の差に最小になるようにデータを埋め込む．FLDA，KDA ともに，データとクラスの対の集合 {xn , c(n)}N
n=1 (c(n)はデータ xn のクラスラベル) が与えられたときの次元圧縮法であり，事後確率ベクトル集合 P が与えら応じて rn (φk ) を φk (rn ) に近づけたり遠ざけたりれたときの次元圧縮法である PE とは異なる．そのたするという，直感的に妥当な学習則となっている．

め，FLDA や KDA は，分類の前処理として高次元

PE ではデータとクラスの間の関係のみを見るので，データを次元圧縮する場合にも用いられるが，PE はその計算量は O(N K) となる．一方，データ間類似度

分類の結果である事後確率が必要であるため，分類のに基づく従来の可視化法の場合，その計算量は O(N 2 )前処理としては適していない．一方，PE は分類モデとなる．一般に K ¿ N であるため，PE は従来法にルによって推定された事後確率の集合を可視化するこ

比べ計算量の観点でも優れており，スケーラビリティとによって，5 節で示すように分類モデルの特徴を可が高く大規模データにも適用可能である．

視化することが可能である．

3. 関 連 研 究

4. ラベル付きデータの可視化

代表的な線形可視化法として MDS と PCA がある．

本節では，分類済 Web ページ群を用い，PE がラベ

MDS はデータ間の距離をできるだけ保存するように

ル付きデータをどのように可視化する (2 次元空間へ埋埋め込み，PCA はデータの分散が最大になるようにめ込む) か示す．また，PE を従来法 (MDS，FLDA，埋め込む．線形手法は大域的最適解が求まり計算効率

SNE，KDA) と可視化結果，事後確率保存，計算量のがよいが，非線形構造を抽出することができないとい観点で比較する．

う欠点を持つ．非線形埋め込み法として Isomap18) ，

4.1 実 験 設 定

local linear embedding17) , stochastic neighbor em-

使用したデータは，Open Directory Project☆ に

11), connectivity preserving embed-

よって分類された日本語の Web ページで，10 クラding20) など近年数多く提案されている．しかしこれスの中から各クラス 500 ページ，全 5000 ページをサ

bedding(SNE)らの手法は，線形手法，PE と比べ計算効率が悪い．まンプリングしたものである．ここで，50 単語以下のた従来の線形手法，非線形手法の多くはクラスの概念

ページ，複数のクラスに分類されているページは除を取り入れていない点で PE と異なる．

いた．PE の入力として必要な事後確率ベクトル集合

原空間と可視化空間において確率モデルを仮定する

P は，形態素解析し単語頻度ベクトルに置き換えたという点で，PE は SNE と共通している．しかしな後，ナイーブベイズ (NB) モデル14) を用い推定したがら SNE では，原空間において PE のようにクラス(付録 A.1 参照)．また，クラス座標集合 Φ の初期値

毎の事後確率 P (ck |xn ) ではなくデータ毎の事後確率

は，NB モデルの各クラスのパラメータを MDS によ

事後確率 P (r m |r n ) を用いる．つまり，PE はクラスの表記との対応をとると，xn :単語頻度ベクトル，ck :基にして埋め込みを行う．この相違点により，PE は率，N = 5000, K = 10 となる．なお，単語頻度ベク

P (xm |xn ) を用い，可視化空間においてもデータ毎のとデータの関係を基にして，SNE はデータ間の関係を計算効率のよいクラス構造可視化が可能となっている．

り 2 次元ベクトルに次元圧縮したものを用いた．2 節
分類クラス，P (ck |xn ):NB モデルで推定した事後確
トルの次元は 34248 である．

また，全データ間の距離ではなく，データと代表点 (ク4.2 比 較 手 法ラス) 間の距離を基に可視化を行うという点で，ランPE と関連強い以下の 5 手法を比較対象とした．

ドマーク MDS(LMDS)5) は PE と関連深い．LMDS• MDS1 : 単語頻度ベクトル間のコサイン類似度

は PE と同様に計算効率はよいが，全データのなかかを入力とした MDS(クラス情報を用いない線形

らランダムに代表点を選ぶため，代表点の意味が明確でない．
クラス情報を扱うことができる著名な手法として，
6)

Fisher 線形判別法 (FLDA) ，および FLDA をカーネ
ル法を利用し非線形埋め込み可能なもの拡張したカーネ
ル判別法 (KDA)1)16) がある．FLDA は (KDA は特徴

手法)• MDS2 : 事後確率ベクトルのユークリッド距離を入力とした MDS(事後確率を保存する線形手法)• SNE : 事後確率ベクトルの KL ダイバージェン☆

http://dmoz.org/

情報処理学会論文誌

4

Sep. 2005

スを入力とした SNE(事後確率を保存する非線形合は，図 1(a) とは異なりクラス毎に分離することは

手法)

ない．

• FLDA : 単語頻度ベクトルを PCA で 2000 次元

図 1(b) は MDS1 の結果である．クラス情報を用いに圧縮したものを入力☆ とした FLDA(クラス情ていないため，クラス構造が見えない結果になってい報を用いる線形手法)

る．図 1(c) は MDS2 の結果である．MDS1 の結果に

• KDA : 単語頻度ベクトルを入力とした KDA☆☆

(ク

ラス情報を用いる非線形手法)

比べ同じクラスに属すページが近くに配置されているが，中心で複数のクラスが重なってしまっているなど

手法によって入力される情報が異なる (PE，MDS2，の偏りがあり，PE と比べクラス構造を適切に抽出でSNE は事後確率ベクトル，FLDA，KDA は単語頻度きていないと言える．図 1(d) は SNE の結果である．

ベクトルおよびクラスラベル，MDS1 は単語頻度ベク

PE と同じように各クラスが分かれており，クラス間

トルのみが入力) ことに注意されたい．

の関係や特徴的なページが明らかになっている．なお，

4.3 可視化結果

単語頻度ベクトルを入力とし SNE を適用した場合は，

図 1(a) は PE での可視化結果である．各点は 1 つのMDS1 と同様に，クラス構造の見えない可視化結果がWeb ページを表し，その色形はページが分類されてい得られる．図 1(e) は FLDA の結果である．FLDA はたクラスを示す (図 1 最上部参照)．同じクラスに属す

クラス情報を用いることができるため，MDS1 の結果

るページはクラスタを形成しており，sports と healthと比べ同じクラスのページが集まっているものの，多や，computers と online-shopping 等，関連の強いク

くクラスのページが重なっており，クラス間の関係がラスは近くに配置されていることが分かる．sports の不明瞭である．図 1(f) は KDA の結果である．全ク

ように，他のクラスタとの間にデータがあまり配置さラスが明確に分離されており，クラス間の関係を理解れていないクラスは，他のクラスとの区別が容易なクすることができる．

ラスである．一方，regional のように，中心にあり他

4.4 事後確率保存の比較評価のクラスタとの境界が曖昧なクラスは，他の複数のク

前小節では，各手法がどのようにデータを可視化す

ラスのトピックを含んでいるクラスであると考えられるかを見た．本小節では，我々の目的である事後確率

る．また，このようなクラス間の関係だけでなく，可の保存が達成されているか定量的に評価する．MDS1,

視化結果から特徴的なページも明らかになる．例えば，

FLDA, KDA は事後確率が入力として与えられない

クラスタの中心近くに配置されたページはそのクラので，ここでは，PE，MDS2，SNE の 3 手法の比較

スの典型的なページであり，クラスタ間に配置されたを行う．

ページは複数のクラスの属性を持つページである．さ

今，データ座標集合 R およびクラス座標集合 Φ がらに，クラスタのなかに異なるクラスのページが含ま得られたとする．完全に事後確率が保存されていれば，れていることがあるが，このページは誤って分類され各クラス ck において，クラス座標 φk の近傍 h 個のたものである可能性を示唆する．

データの集合と，事後確率 P (ck |xn ) の高い h 個のPE の結果においてクラス毎にデータが分離されてデータの集合は一致するはずである．そこで，この 2いるが，その理由を次に述べる．あるデータ xn の事後つの集合の一致率 (precision) を事後確率保存の指標

確率が，1 つのクラス cl のみ 1 (つまり P (cl |xn ) = 1)として用いる．

るとする．このとき，データ座標 r n が φk (k 6= l) に近い．そこで，事後確率が最も高いデータをそのクラス

で，他のクラスは 0(つまり P (ck |xn ) = 0(k 6= l)) であPE 以外の手法ではクラス座標集合 Φ は得られなければ目的関数の値が高くなるため，r n は φk (k 6= l)の代表点と考え，各クラス ck において，事後確率が最から離れた位置に埋め込まれる．本節の実験で用いたも高いデータが埋め込まれた座標 r argn max P (ck |xn )データでは，この xn のように事後確率が 1 つのクラを (PE も含め) クラス座標 φk とする．

スのみ高いものが多かったために，このようにクラス

近傍数 h を 10 から 500 まで変化させたときの各手毎に分離している．事後確率が一様に分布している場法による一致率を図 2 に示す．横軸は近傍数，縦軸は一致率を表す．PE が全ての近傍数において最も高い☆

データ次元数がデータ数-クラス数 (N-K) より大きい場合，クラス内分散行列が特異行列となり，FLDA が適用できない (small
sample size problem7) ) ため，PCA で次元圧縮した2) ．
☆☆
ガウシアンカーネルを採用し，文献 16) に従い正則化することによって small sample size problem を回避した．

一致率を示しており，埋め込み後の事後確率が最も保存されていると言える．SNE は近傍数が少ないとき
やや一致率が低い．これは，SNE は，クラスとデータの関係ではなく，データ間の全ての近傍関係を保存すVol. 46

パラメトリック埋め込み法によるクラス構造の可視化

No. 9

arts

sportsbusinesscomputers

healthhome recreation

regional

5

science(a) PE(b) MDS1(c) MDS2(d) SNE(e) FLDA

online−shop(f) KDA
図 1 分類済 Web ページの可視化.
Fig. 1 Visualization of classified web pages

るように埋め込むため，クラスとデータの関係を表す
一致率が低くなっていると考えられる．また，MDS2

付近でクラスで重なっていることが原因である．

4.5 計算時間の比較評価

は近傍数が大きくなるにつれ一致率が低下している．

PE の大きな特長はその計算効率の高さである．2

これは図 1(c) の可視化結果から分かるように，中心節で述べたように，PE の計算量は O(N K) である．

情報処理学会論文誌

6

1

10000
PE

0.9

MDS2

0.85
0.8

0.7

0

100
200
300
400
the number of neighbors

500

つまりデータ数に関して線形のオーダでしか計算量は増加しない．MDS は距離行列の固有ベクトルを計算することによって解くことができる．固有値問題は，

Lanczos 法

10

PE

1

MDS1
MDS2

0.1

図 2 事後確率保存度の比較実験
Fig. 2 Experimental comparisons of the degree ofposterior preservation

9)

FLDA

100

SNE

0.75

KDA
SNE

1000
log(time)

precision

0.95

Sep. 2005

によって計算することで効率的に解くこ

0.01
500

1000
2000
4000
log(the number of samples)

図 3 計算速度の比較実験
Fig. 3 Experimental comparisons of the computational
complexity

表 1 図 3 における回帰直線の傾き
Table 1 The slopes of regression lines in Fig.3

PE
0.749

MDS1
0.770

MDS2
0.834

SNE
2.232

FLDA
2.080

KDA
2.998

とができ，MDS の計算量は，PE と同様にデータ数
に関して線形のオーダで増加する．SNE は，データ

データ数 5000 の場合の PE の計算時間は 3.13 秒

間の関係を見るためデータ数の 2 乗のオーダの計算量であり，前処理の時間 (2.33 秒) を考慮しても，SNE，が必要である．FLDA，KDA は一般化固有値問題にFLDA, KDA(それぞれ計算時間は 1869 秒，211 秒，

帰着でき，一般化固有値問題の計算量は行列サイズの6752 秒) に比べ極めて高速である．

3 乗のオーダである．

4.6 比較結果まとめ

実際の計算量を他手法と比較するため，データ数を以上の結果により，事後確率ベクトルが与えられた500 から 5000 まで 500 ずつ変化させたときの計算時

とき，既存手法に比べ，事後確率を保存し，計算効率

間を，Xeon 3.2GHz，メモリ 2GB の計算機を用いてが高いことが示された．MDS も PE と同様に計算効調べた．図 3 はその結果である．横軸はデータ数 N ，率が高いが，適切にクラス構造を抽出することはでき

縦軸は計算時間 (秒) であり，両対数プロットしていない．SNE により PE と近い可視化結果が得られる

る．点線は，両対数プロットにおける回帰直線である．

が，データ数の 2 乗のオーダの計算量が必要であると

なお，前処理 (PE, MDS2, SNE における事後確率推いう問題点がある．FLDA および KDA は，クラス情定，PE における MDS によるクラス座標初期値計算，報を用いた可視化法という点では PE と共通している

FLDA における PCA による次元圧縮) の計算時間はが，事後確率保存という観点で可視化をする手法では省いてある．また，表 1 にその回帰直線の傾きを示す．

ない点で PE とは異なり，またより多くの計算時間を

この傾きは，データ数の何乗のオーダで計算時間が増必要とする．

加するかを表すものである．上に述べた各手法の理論的な計算量と実際の計算時間がほぼ対応がとれていることが (反復法によって解を求めているため，厳密にではないが) 分かる☆ ．

5. 分類モデルの可視化
分類問題において基本となる統計的アプローチであるベイズ決定方式4) では，事後確率の最も高いクラスを推定クラスとして選択する．分類問題を解く際にベ☆

FLDA の前処理として，データ数が 2000 以下のときは (N −K)
次元へ，2500 以上の場合は 2000 次元へ，PCA により圧縮を行っている．そのため，計算時間の傾向がデータ数 2000 辺りで変わっている．2000 までの計算時間の回帰直線の傾きは 2.898
であり，理論値と近い．

イズ決定方式によって得られた事後確率を，できるだ
け保存するように可視化することによって，分類モデ
ルの特徴 (例えば，どのクラスの分類が困難か，どのようなデータが誤分類されるかなど) を直感的に理解すVol. 46

パラメトリック埋め込み法によるクラス構造の可視化

No. 9

7

Estimated class

Estimated class(a) 10 labels/class(b) 100 labels/class

True class

0

3
4
26 1

4

3

1

2

2

True class

0
.x
x..
.......x
..
557 4
0
2
1 0
............
2 26 134 278 49 1..........
......
.
3 36 144 17 294 2.......
..............
.4 3 117 5 6 404..........
.
.
.
.
.
.x.x..x.
. ... ...............
. .x... .
x. .
. .................. .
.... . .
. .... .. ........................... . . . . .. . ... . ... . ...x........ . . .
.
...x. .. . .
......... . . .
.
.
.
. . . . . .............................................x..x. .... .......... . . . . . . ............ .. ..........
.
. . ..
.
. .................................................................................. . ... .................... ...... ....................................................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.. . .. .............................. ............. ........ . .. . ... . .. ...... ............. ... ............. .
. . . .................... ...................... ...... . . . . ............ ...... . . .
. . .. ............................................................. ........ .... .. ...... .......... ...... .
. ............................................................... ................. ...... ..................
......... . ...... ...... ............ ...... ........ ...... ..... . .. . . .
.
. . . ............ ...... . .................. ... ... ....... ... .........
. . ....... ......... ...... ............ .. .. . .. ......... . .... ..... ..... .
... . .
. . . .. . . ..
. ... . ...... .......... ........ ... . . . ..... . ...........................
.
. ................... .
................ .................
.
.
..................
.x...x. . . ...... ..... .
..x.....x.
. ............
.
.
.x.x. ..xx. .

0 1 2 3 4.x..x..x.x.x.x.
0 471 8 0 0 0..xx
x..xx..
....x...x.x....x.xx...xx.x...
1 0 559 1 2 1.....x.x.x.x
..x
.
.. x
.x. x
2 8 74 388 16 2.
.
.
.....xx..... .
. x..x. x..
3 2 34 2 455 0..... ............x
.
.
.
x
.
. .....x........ . .
x.x..x.x.x.x.x..xx. x. .
4 1 47 0 1 486
x.....x..... .
.x.
..x.x..x.x.... .x.. .
..x.x..xx
.
.
.
. ..
.
. .
.x
..x
. ..x
........x.................... ..
x.x.....xx....xx....x....x....x...................x...................... .. . .
.
x....x.x.x..x..x.x.. . .
.x.....x...x.....x..x.x ...... . . .
x. .x.x.......x.........x...............x................ . .. . . ...........................x... .. .... . . .. ... . . ... ..x..x.x..x.x.....x..x.x......x.x..xx..xx..xxx.
.................... . . . ..... .... . .... ... ... . ...................x.x
x....xx..x...x.
..x.x
...x
.
. ...x... . ... .... . .. ... . .. ....... ......... ...........x..x.........x..x
.
x
.
x
.
.
x
.
.x... .x.
.. ....x. .....x ..x....
. . ......... ....... ...... . .... .. ......... .............x.xx. ....x.......... .
. . .... ........ .. . ....... ...xx. .. . . .. ....... ...x... . .......... .. . .. . . .
..
. . . .... .. ........ .. . ... .......... ... .
. . . .. .. ...... .. .
.x.
.. ......x.
.. .x. .. . .
.
.
.
. ..
. ........................... .
x.....xx..x....x..x..xx.
....x...x.....x................x.
.xx........x...
..x..x.x...x.x......x.x...xx..x. .x....x.xx.
.........x...x......x..xx..x.xx.
x...x....x..xx.x...x...x...... .
x.x.x..
...x.x. ..x...x.......xx
..x
..x.x
...x
.x.x
x.x..x..xx..xx.x.x.
...x

0
1
2
330 117 5

4

3

1

0

図 4 手書き文字の PE による可視化
Fig. 4 Visualization of handwriten digits by PE

ることが可能になり，モデル選択において有益な情報クラスタは中心に向かって延びており，星型になってを与えると考えられる．そこで本節では，ラベル付きいることが分かる．事後確率が 1 つのクラスのみ高い

データとラベルなしデータを用いる semi-supervised

データは中心からできるだけ遠くに配置され，中心付分類問題において，学習サンプル数の異なる分類モデ

近にはその分類モデルにとってクラスの特定が困難な

ルを用いた場合に，PE による可視化結果がどのようデータが配置されている．

に異なるかを見る．

図 4(a) に比べ，図 4(b) の結果は中心付近にテスト実験に用いたデータは，MNIST データベース か

サンプルが少なくクラス毎のデータが分かれており，

ら得た 2558 の手書き数字 (0 から 4 の全 5 クラス) で

これは M100 は分類がより明確にできていることを示ある．以下の手順で 2 種類の分類モデルを構築する．

している．また，図 4(b) では学習サンプルがより各

まず，10 もしくは 100 個の手書き数字を学習サンプ

クラスタ内で散らばっており，M100 の汎化性能が高☆

ルとして各クラスからランダムに選ぶ．次に，画素空いことを反映している．一方，図 4(b) における学習間において，選ばれた学習サンプルを平均とする分散

サンプルは中心から最も離れた位置に集中しており，共分散が等しい正規分布を考える．そして，これらのM10 は学習サンプルを正確に分類することはできる

正規分布の混合を分類モデルとする (付録 A.2 参照)．

が，テストサンプルを分類できない可能性が高いこと

この分類モデルから得られた 2558 の全ての数字の事を表している．また，どちらの場合も，「1」のクラス

後確率ベクトルを，PE の入力とする．以後，各クラ

タは他の数字と比べ中心近くに配置されており，これス学習サンプル数 10 の分類モデルを M10 ，学習サンは他のクラスのデータが「1」に誤分類されやすいこ

プル数 100 の分類モデルを M100 と呼ぶ．

とを反映している．
「1」のクラスタ近くに配置された

図 4(a)，(b) は，それぞれ M10 ，M100 を用いて推定

データは「1」に似た形状をしている傾向があることした事後確率を入力としたときの，PE の可視化結果が分かる．図 4(a) で，「0」と「3」は一部重なって配である．ここで，各点は 1 つの画像の座標 rn ，枠付き

置されているが，これは，M10 ではこのクラス間の区

数字は各クラスの平均の座標 φk ，色付きの × は学習別が困難なことを反映している．また，「2」のデータ

サンプルを表し，いくつかのテストサンプルの画像がが「3」のクラスタ方向に広がっているが，これは多表示されている．また，右上の表は confusion matrix

くの「2」のデータが「3」と誤分類されてしまうことである．どちらの場合も 5 つのクラスに対応する 5 つを反映している．このように学習サンプル数の異なるのクラスタが形成されいる．また全体的に見ると，各2 つの分類モデルの特徴を PE の可視化結果から見て取ることができる．

☆

http://yann.lecun.com/exdb/mnist/

情報処理学会論文誌

8

Sep. 2005.
..................
.
.
.
..... ... ..... .
.
.
.
. ...
.
............ ... .... .. .. ........ ..... .. ..
.
...
.
.
.
..
.
.
. .
...
....... .
.
. ..
... . ...
. .. .......... . .
.
.....
.
.
.
.
.
.
.
.
.
......
.... ...... .. . . . . ....... chemistry
.
..
.
.
.
.
.
.
.
.
....
.
.
.
.
...
... training/education
. ...
..
...
..
.... . . ... ...................... . .. .... .. .. . . . . ..........
....... . . . .............. ....... ..... .. ..
.. .....
... . ......... .. . . ..................
.. .
.......
.
. . ............ . .. ... ... .. .............. ....................................
.
.
. .. . .... .............of science.......... .... .... . . . .philosophy/history. ............... . .....
...
.....
......
...
... . ........... ....... .... .. .... ......... .......................... .. ...... . .................
..
...
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
...
.
.
.
.
.
.
.
.
.
. . .. .
.
.. .
...... . geology...................... ... .... .... ...
.. .
...
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
... .. . .......... . . . ... . . ...
. .... .
... . ......... . ... .
.... . . .
.
...
. ..
.
.. .banking/insurance... .
........
... . ...... .
...................... . ... . .
.
. . ......
. . ..
.. .... ...
........ .
.
... ...
....
... .
.
.
. ... ... ... ...
.. ......... ...
.......
......
...
...
ADSORPTION ACTIVATEDCOVALENTLY ALKENE

PHASE

IMPLEMENTED
STATEWIDECARPENTRYGROUPAUTISTICCONTENTSCHOLARSHIPCOMPOSITION DISSOLVESMIXTURE FRACTIONAL

PHENOMENON
DETECTIONCHEMISTRYCONCEPTSADMINISTRATIONAPPARATUSEFFORTS PATIENCESTRATIFIEDDIFFICULTYREPRESENTEDGUIDED
SELECTIONVISION
AREAS
CALLEDEXPOSED
AGENTS DESTROYEDORDER
SUBSTANTIALLY
AVERAGEBLENDSCOMPREHENSIVE
UPPER
FOUND

DENSE

ACCUMULATION RETAINEDDROPPEDSHAPEDPERMEABLE

FOLD
DOME

STONE
ERA

REQUIRES

PROBLEMORIGINESTIMATE
ABSENTSCIENTIFICDISCOVERYFIRE

HYPOTHESISTHOUSANDSOWESDRILLEDHUMAN

PROPERTY

DUE

INTERESTENABLEESSENTIALSCOLLECTSBILLIONS DEPOSITS
RISE

PRICE
MONEY
TAX
INSURANCE

図 5 PE による単語とトピックの可視化
Fig. 5 Visualization of words and topics by PE

6. 潜在クラスの可視化の座標 φk を表し，いくつかの単語の例を表示している．五角形とその頂点を結ぶ直線上に単語の多くが配上の 2 つの実験では，(少なくとも一部は) ラベル

置されているが, 頂点に集まっている単語はそのトピッ付きのデータの可視化を行ったが，PE は，ラベルなクにおける典型的な単語であり，中心にいくに従ってしデータの場合でも，潜在クラスを導入し事後確率を

より一般的な単語である傾向がある．例えば，化学で推定することによって適用することが可能である．本

使われる「activated」は chemistry の頂点に位置して節では，PE によるラベルなしデータ可視化の 1 例といる．また，全ての 2 つのクラスタ間に曲線が張られして，単語の潜在トピックに基づく可視化を行った．

ている．このパターンは，クラスタを形成している 1

ここでデータは単語，クラスは潜在トピックに対応す

つのトピックのみを持つ単語に加え，2 つのトピックる．用いたデータは，約 37000 の文書から作成されが関係している単語が数多く存在するという，与えらた 26243 語の単語群 (TASA コーパス) である．全単れたデータおよびトピックモデルの確率的構造の特徴

語の潜在クラスに対する事後確率は Latent Dirichletを表している．曲線上にある単語は 2 つのトピックを

Allocation (LDA)3) を用いて推定した (付録 A.3 参

持った単語である．例えば，「deposits」は「堆積」と照)．LDA は，各文書は潜在クラス (トピック) の混合「預金」という geology(地学) と banking(金融) に関として生成され，混合比はディレクレ分布に従い，まする 2 つの異なる意味があり，geology と banking のた，各クラスの単語分布は多項分布に従うとするモデ

頂点で結ばれた曲線上に位置している．

ルである．
図 5 は，50 の潜在クラスを持つ LDA を用い TASA

7. お わ り にコーパスを学習した後，特徴的な 5 つのクラスの事後

本論文では，データをそのクラス構造とともに可視確率を推定し，PE で可視化した結果である．各点は 1化する確率モデルに基づく非線形埋め込み法 (PE) をつの単語の座標 rn ，大きな赤い語句はトピックの平均

提案した．PE では原空間および可視化空間においてVol. 46

No. 9

パラメトリック埋め込み法によるクラス構造の可視化

確率モデルを仮定し，両空間の事後確率の KL ダイ
バージェンスが小さくなるように，データとクラスを埋め込む．PE は，原空間で仮定した確率モデルの特徴も可視化することができる．また，PE は，従来のデータ間類似度に基づく可視化法に比べスケーラビリ
ティが高く，大規模データにも適用可能である．

5 節の実験では，学習サンプル数の異なる 2 つの分類モデルの可視化を行ったが，仮定したモデルは同一のものであった．異なる分類モデルを用いて同一のデータを可視化することで，PE の分類モデル可視化
性能のさらなる評価が必要である．また，PE は，原空間における確率モデルを適切に選ぶことで，任意のデータに適用することができる．今後, 遺伝子データ
等の科学データの可視化を通して, 科学知識発見ツールとして本手法をさらに発展させる予定である．
謝辞 4 節の実験における形態素解析では奈良先端科学技術大学院大学松本研究室で開発された「茶筅」15) を使用した．5 節における手書き文字の可視化，6 節における単語群の可視化の実験は，MIT の

S.Stromsten，T.Griffiths，J.Tenenbaum の協力によるものである．

参 考 文 献1) Baudat, G. and Anouar, F.: Generalized discriminant analysis using a kernel approach,
Neural Computation, vol.12, pp.2385–2404(2000).
2) Belhumeur, P.N., Hespanha, J.P. and Kriegman, D.J.: Eigenfaces vs. fisherfaces: recognition using class specific linear projection, IEEE
Trans. Pattern Analysis and Machine Intelligence, vol.19, no.7, pp.711–720 (1997).
3) Blei, D., Ng, A. and Jordan, M.: Latent
Dirichlet allocation, Journal of Machine Learning Research, vol.3, pp.993–1022 (2003).
4) Duda, R.O., Hart, P.E. and Stork, D.G.: Pattern classification, John Wiley & Sons, New
York, 2nd edition (2001).
5) de Silva, V. and Tenenbaum, J.: Global versus
local methods in nonlinear dimensionality reduction, Advances in Neural Information Processing Systems 15, pp.705–712 (2002).
6) Fisher, R.: The use of multiple measurements
in taxonomic problem, Annuals of Eugenics,
vol.7, pp.179–188 (1950).
7) Fukunaga, K.: Introduction to statistical pattern recognition, Academic Press, New York,
2nd edition (1990).
8) Gilks, W.R., Richardson, S. and Spiegelhalter,
D.J.: Markov chain Monte Carlo in practice,9

Chapman & Hall, New York (1996).
9) Golub, G. and Van Loan, C.: Matix Computation, John Hopkins University Press, Baltimore, Maryland, 3rd edition (1996).
10) Griffiths, T.L. and Steyvers, M.: Finding
scientific topics, Proceedings of the National
Academy of Sciences, vol.101, pp.5228–5235(2004).
11) Hinton, G. and Roweis, S.: Stochastic neighbor embedding, Advances in Neural Information Processing Systems 15, pp.833–840 (2002).
12) Jolliffe, I.T.: Principal component analysis,
Springer-Verlag, New York (1980).
13) Luenberger, D.: Linear and nonlinear programming, Kluwer Academic Publisher, Massachusetts, 2nd edition (2003).
14) McCallum, A. and Nigam, K.: A comparisonof event models for naive Bayes text classification, Proceedings of AAAI Workshop on Learning for Text Categorization, pp.41–48 (1998).
15) 松本裕治，北内啓，山下達雄，平野善隆，松田寛, 高岡一馬, 浅原正幸: 日本語形態素解析システ
ム『茶筌』 version 2.2.1 使用説明書 (2000).
16) Mika, S., Ratsch, G., Weston, J., Scholkopf,
B. and Muller, K.: Fisher discriminant analysis with kernels, Neural Networks for Signal
Processing IX, pp.41–48 (1999).
17) Roweis, S. and Saul, L.: Nonlinear dimensionality reduction by local linear embedding,, Science, vol.290, pp.2323–2326 (2000).
18) Tenenbaum, J., de Silva, V. and Langford,
J.: A global geometric framework for nonlinear dimensionality reduction, Science, vol.290,
pp.2319–2323 (2000).
19) Torgerson, W.: Theory and methods of scaling, Wiley, New York (1958).
20) 山田武士, 斉藤和巳, 上田修功 : クロスエントロ
ピー最小化に基づくネットワークデータの埋め込
み, 情報処理学会論文誌, Vol.44, No.9, pp.2401–
2408 (2003).

付録

A.1 Web ページ分類モデル
4 節で事後確率推定に用いた NB モデルについて説明する．NB モデルでは、クラス ck に属す Web ペー
ジ xn の生成確率を多項分布

p(xn |ck ) ∝VYθkj xnj(7)

j=1と仮定する。ここで，V は総単語数，xnj はページ xnにおける単語 wj の頻度，θkj はクラス ck のページで情報処理学会論文誌

10PV

Sep. 2005

θkj = 1) を表(平成 16 年 12 月 9 日受付)す。θkj は，最大事後 (MAP) 推定により計算した．こ(平成 17 年 7 月 5 日採録)

単語 wj が現れる確率 (θkj > 0,のとき，推定値はθ̂kj =

P

n∈C k

j=1

岩田 具治

xnj + λk

(8)

昭和 54 年生．平成 13 年慶応義Nk + λk Vとなる．ここで Nk はクラス ck に属す総ページ数，

塾大学環境情報学部環境情報学科卒

C k はクラス ck に属すページ集合，λk はハイパーパ業．平成 15 年東京大学大学院総合

ラメータを表す．λk は leave-one-out クロスバリデー

文化研究科広域科学専攻修了．同年

NTT 入社．機械学習，異常値検出，ション法により推定した．

A.2 手書き文字分類モデル

可視化の研究に従事．現在, NTT コミュニケーション

5 節で事後確率推定に用いた手書き文字の分類モデ

科学基礎研究所 社員．FIT 船井ベストペーパー賞受ルについて説明する．学習サンプルを平均とする共分賞（平成 16 年）．電子情報通信学会会員．

散行列が単位行列の正規分布の混合モデル，つまり，P (xn |ck ) ∝

X

exp(−

m∈C k

1
k xn − xm k2 )(9)2

斉藤 和巳（正会員）
昭和 38 年生．昭和 60 年慶応義塾大学理工学部数理科学科卒業．工学を分類モデルとした．ここで xn は手書き文字の画素

博士． 同年 NTT 入社．平成 3 年

ベクトル (256 次元)，C k はクラス ck の学習サンプ

より 1 年間オタワ大学客員研究員．

ル集合を表す．

神経回路網, 機械学習の研究に従事．

A.3 単語潜在トピックモデル

現在, NTT コミュニケーション科学基礎研究所 主任

6 節で事後確率推定に用いた Latent Dirichlet Al-

研究員（特別研究員）．情報処理学会論文賞受賞（平成location(LDA) について説明する．LDA は，各文書9 年）．人工知能学会論文賞受賞（平成 11 年）．FIT

は潜在クラス (トピック) の混合として生成され，混

船井ベストペーパー賞受賞（平成 16 年）．人工知能学

合比はディレクレ分布に従い，また，各クラスの単語会研究会優秀賞受賞（平成 17 年）．電子情報通信学

分布は多項分布に従うとするモデルである．具体的に会, 人工知能学会, 日本神経回路学会, IEEE 各会員．

は，x を文書，wm を文書中で m 番目に現れた単語，

M を文書 d の総単語数，zk を潜在トピック，K を潜

昭和 33 年生．昭和 57 年大阪大学

在トピック数としたとき，文書生成モデルは

Z Z ÃY
M
K
X!

p(wm |zk ; ψ)p(zk |θ)θ ψ m=1 k=1× p(ψ; β)p(θ; α)dψdθ(10)p(x) =

上田 修功（正会員）
工学部通信工学科卒業．昭和 59 年
同大学大学院修士課程修了．工学博士．同年 NTT 入社．平成 5 年より1 年間 Purdue 大学客員研究員．画となる．ここで p(wm |zk ; ψ)，p(zk |θ) は多項分布，像処理，パターン認識・学習，ニューラルネットワー

p(ψ; β)，p(θ; α) はディレクレ分布である．文献 10)ク，統計的学習，Web 統計解析の研究に従事．現在，に従い，潜在トピック zk が与えられたときの単語 wm

NTT コミュニケーション科学基礎研究所知能情報研

生起確率 ψkm をギブスサンプリング

8)により推定し究部長 創発学習研究グループリーダ兼務，奈良先端た．そして，ψkm を基にベイズ定理を用い，PE の入大客員助教授．日本神経回路学会研究奨励賞受賞（平力となる事後確率 (単語 wm の潜在トピック zk 帰属

成 4 年）．電気通信普及財団賞受賞（平成 9 年）．電確率) を求めた．

子情報通信学会論文賞（平成 12，16 年）．FIT 船井
ベストペーパー賞受賞（平成 16 年）．人工知能学会
研究会優秀賞受賞（平成 17 年）．電子情報通信学会，
日本神経回路学会，IEEE 各会員．