Vol. 48

情報処理学会論文誌

No. 12

Dec. 2007

パラメトリック埋め込み法を用いた分類器の視覚的解析
岩 田治†

具斉 藤和巳†パラメトリック埋め込み法 (PE) を用いた分類器を視覚的に解析するための手法を提案する．PEは事後確率をできるだけ近似するようにクラスとサンプルを低次元空間へ埋め込む可視化手法であるが，複数のサンプルが重なるという問題がある．提案法では，この問題を解決するため PE を拡張し，どのクラス対が分離可能か，どのサンプルがどのクラスに分類されるかなどを直感的に理解することができるように，分類器を可視化する．提案法は線形分類器に限らず，生成モデルやロジスティック回帰やニューラルネットなど事後確率を出力する任意の分類器を可視化することが可能である．また，得られた可視化結果が分類器の特徴を忠実に再現しているかを定量的に評価する新たな評価尺度を提案する．人工データおよび文書分類，音声認識問題における実データを用い本手法の有効性を示す．

Visual Classifier Analysis using Parametric Embedding
Tomoharu Iwata† and Kazumi Saito†
We present a method for analyzing classifiers by visualization using Parametric Embedding(PE). PE is a visualization method that embeds samples and classes so as to approximate
posterior probabilities. PE has a disadvantage that it is difficult to distinguish samples whensamples are located too closely in the visualization space. We extend PE to overcome thisdisadvantage so that the visualization provides a intuitive understanding of such classifiercharacteristics as separability and generalization ability. Our method can visualize classifiers
that output posterior probabilities such as generative models, logistic regressions, or neuralnet as well as linear classifiers. We also propose a measure to evaluate a classifier visualization how well the result show the characteristics of the classifier. We show the validity of
our method by visualizing classifiers for an artificial data set and real data sets in documentclassification and speech recognition problems.

析は視覚的判別分析5) と呼ばれ，Fisher 線形判別法

1. ま え が き(FLDA)6) による可視化が提案されている．FLDA に分類問題とは学習データとしてクラスが既知のサンよる可視化結果から，どのクラス対が線形分離可能か，プル集合が与えられたとき，クラスが未知のサンプル

線形識別器によりどのサンプルがどのクラスに分類さのクラスを推定する問題である．分類問題は機械学習れるかなどを視覚的に理解することができる．しかし

13)ながら，高い分類性能を持つ非線形分類器が数多く提における主要な研究テーマの 1 つであり，文書分類，情報検索1) 音声認識9) ，文字認識17) など多様な分野案されているが，FLDA では非線形分類器で分離可能で応用されている．より精度の高い分類器を設計するかどうかを見てとることはできないという問題がある．

ためには，分類器の特徴，例えば，各クラスがどれだ

本稿では，非線形分類器を視覚的に解析するためのけ分離できているか，どのサンプルの分類が困難か，手法を提案する．ここで，事後確率が最大になるクラなどを理解することが必要である．しかしながら，サスに分類する分類器を可視化の対象とする．このタンプル数やクラス数が多い場合など，これらの特徴をイプの分類器には，クラスとサンプルの同時生成確理解することは困難である．

率をモデル化しベイズ則で事後確率を推定する手法3)

可視化は大規模で複雑なデータを直感的に理解するや，事後確率をある関数で近似する手法 (例えばロジための方法として近年注目されており，分類問題の解スティック回帰7) やニューラルネット4) ) などが含ま析のためにも使われている．可視化による分類器解

れ，分類問題において基本的なアプローチとなっている．提案法では，事後確率をできるだけ近似するよう† 日本電信電話株式会社 NTT コミュニケーション科学基礎研究
所
NTT Communication Science Laboratoriesにクラスとサンプルを低次元空間へ埋め込むパラメト
リック埋め込み法 (PE)8) を拡張し，どのクラス対が4012

Vol. 48

No. 124013

分離可能か，どのサンプルがどのクラスに分類される

SetosaVersicolorVerginica

かなどを直感的に理解することができるように分類器Aを可視化する．また，分類器を可視化したものが得られたとしても，それが分類器の設計に有用な情報を与えるかどうかを評価することは難しい．得られた可視化結果が分類器の特徴を忠実に再現しているかを定量B的に評価するための新たな尺度を提案する．
以下の本文では，まず 2 章で，分類器解析に関する既存手法ついて述べる．3 章では，パラメトリック埋め込み法を拡張した分類器可視化法，および，分類器可視化の定量的評価法について述べる．4 章では，人図1

Fisher の Iris データの FLDA による可視化

工データを用い異なる分類器を可視化し，本手法の有効性を示す．5 章では，実データを用い文書分類器お誤分類されること，また，円に囲まれた部分のサンプよび音声認識器を可視化する．最後に 6 章で，結論とルは誤分類される可能性があること，などが分かる．

今後の課題を述べる．

このように可視化することにより，クラスやサンプルに関する情報を直感的に得ることができる．しかし，

2. 関 連 研 究

FLDA は線形分類器を用いた場合の情報を与えてく

分類器の特徴を表す指標として最も使われるのは正れるが，非線形分類器を用いた場合の分離可能性や誤答率である．正答率は推定クラスが正解クラスと一致分類されるサンプルに関する情報を与えてくれない．

する割合を表し，分類器の全体的な性能が分かる．多カーネル判別法 (KDA)2)14) は，カーネルトリック

クラス分類の場合，分類が容易なクラスもあれば困難を用いて FLDA を非線形可視化法に拡張した手法でなクラスもあり，どのクラスの分類が精度よく実現である．KDA により，あるカーネル関数を利用し高次きているかを知ることは分類器設計において重要な情元の特徴空間に写像したとき線形分離かを見てとるこ報となる．クラス毎の分類精度を見るためには，混同とができる．分類器が出力した事後確率が最大である

10)が使われる．しかし，ク推定クラスをそのサンプルのクラスと考えることによ

ラス数が多い場合，分類器がどのような誤分類の傾向り，FLDA や KDA を用いて各サンプルの入力と分類があるかを直感的に理解することは難しい．また，正器の出力を反映した可視化を得ることができる．しか行列 (Confusion Matrix)

答率，混同行列ともに，各サンプルの状況を知ることしながら，FLDA や KDA では事後確率に含まれる情はできず，例えば，どのサンプルの分類が困難で，ど報を扱うことができない．そのため，例えば，あるクのサンプルの分類が容易であるかなどは分からない．

ラスの事後確率がほぼ 1 であるサンプルと複数のクラ各サンプルの状況は，学習データを増やして分類器のスに対する事後確率が高いサンプルとの違いが，両サ精度を上げる際にどのようなサンプルを収集すればよ

ンプルともに推定クラスが同じ場合，可視化結果に反いかについての情報となり，また，特徴選択を行う際映させることができないという問題点がある．にも有益な示唆が得られると考えられる．

筆者らは文献 8) において，与えられたデータのク分類器の特徴を視覚的に理解する手法として Fisher

ラス構造を可視化するための手法としてパラメトリッ

線形判別法 (FLDA)6) による可視化が提案されている．

ク埋め込み法 (PE) を提案し，学習サンプル数を変化

FLDA は，クラス間分散が最大かつクラス内分散がさせたときの分類器を可視化している．しかしながら，最小になるようにデータ集合を線形射影する手法であ異なる分類器の特徴が可視化に反映されるかの実験をる．図 1 は Fisher アヤメデータを FLDA により可視行っておらず，また，分類器解析法としての評価を行っ化した結果である．分類クラスは Setosa，Versicolor，ていない．さらに，複数のサンプルが重なり，分類器Virginica の 3 つであり，各サンプルは 4 次元ベクトの特徴を表現する上で重要となる各サンプルの状態がルで表され，各クラス 50 サンプルずつある．可視化分かりにくいという問題点がある．

結果より Setosa は他のクラスと線形分離可能である

本論文では PE を拡張し，上記の問題点を解決する．

こと，Versicolor と Verginica は線形分類器ではいく

また，得られた可視化結果が分類器の特徴を忠実に再つかのサンプルが誤分類されてしまうこと，サンプ現しているかを定量的に評価するための新たな尺度を

ル A は確実に正解クラスに分類され，サンプル B は提案する．以下で本研究のベースとなるパラメトリッ

情報処理学会論文誌

4014

ク埋め込み法について説明する．

(3)

2.1 パラメトリック埋め込み法

Dec. 2007

事後確率を入力とし，PE によりクラスおよびサンプルを 2 次元空間へ埋め込むある分類器によって推定された事後確率の集合を(4)可視化空間で重なっているサンプルを分離する{(P (c1 |xn ), . . . , P (cK |xn ))}Nn=1 とし，P (ck |x n ) を提案法では，事後確率集合をできるだけ近似するよう原空間における事後確率と呼ぶ．ここで，xn はサンに PE によってサンプルとクラスの集合を 2 次元空間

プル，ck はクラス，N はサンプル数，K はクラス数へ埋め込むことにより，分類器を可視化する．PE をを表す．xn はベクトルに限らず，系列やグラフでも単純に適用した場合，複数のサンプルが重なるというよい．

問題点がある．そこで Step4 の重複サンプルの分離に可視化空間におけるサンプル xn の座標を rn ，クラより，この問題点を解決する．以下で，本研究で新たス ck の座標を φk とする．PE では可視化空間においに提案する Step4 の重複サンプルの分離，および，分て共分散行列が単位行列の混合正規分布を仮定する．

類器の可視化を定量的に評価するための尺度についてそのとき可視化空間における事後確率はP (ck ) exp(− 21 k rn − φk k2 )P (ck |rn ) = PK
,P (cl ) exp(− 12 k rn − φl k2 )l=1(1)

詳述する．となる．ここで k · k はユークリッドノルムを表す．可視化空間における事後確率が，原空間における事後確率のよい近似となっているような，サンプルとクラスの可視化空間における座標 {rn }, {φk } を求めればよい．これは KL ダイバージェンス
NKXX

3.1 重複サンプルの分離
可視化空間において極めて近くの座標に複数のサンプルが存在する場合，出力結果においてサンプルが重複してしまう．このとき各サンプルを識別することは困難であり，分類器の特徴を表すために必要な帰属クラスなどの情報を得ることができない．また，クリックすることによりそのサンプルの詳細情報を得られるようなシステムを考えたとき，重複サンプルがあるこP (ck |xn ),P (ck |rn )(2)

尺度法16) や FLDA など他の可視化手法にも共通するを準ニュートン法12) などの最適化手法を用い最小化ものである．サンプルが重複しない，より見やすい可することにより求めることができる．

視化のため，サンプルの新しい座標 r̃n を求める．新E({rn }, {φk }) =n=1 k=1

P (ck |xn ) logとは問題である．この問題は，PE だけでなく多次元可視化空間において混合正規分布を仮定することに座標 r̃n は他のサンプルと重ならないという制約の下より，事後確率がサンプルとクラスの間のユークリッで，できるだけ PE で求めた座標 rn に近くなっていド距離の関数となる．もし事後確率が高ければそのサればよい．これは以下の目的関数を最小化することにンプルとクラスは近くに配置され，もし低ければそのより実現できる．

サンプルとクラスは遠くに配置される．したがって，可視化結果から事後確率に関する情報を直感的に理解することができる．例えば，あるクラス間にサンプルがほとんど配置されていなければそのクラス間の識別は容易であることが分かり，多くのサンプルが配置されていれば識別が困難であることが分かる．また，ど1Xk r̃n − rn k22NJ({r̃n }) =n=1

NX X

N −1+ηn=1 m=n+1exp(−1k r̃n − r̃m k2 ),2σ 2のサンプルが誤分類されているか，どのクラスのサン

ここで η > 0，σ 2 > 0 である．第 1 項は新座標と PE

プルがどのクラスに誤分類されやすいかなどが分かる．

が出力した座標の距離を表し，第 2 項は新座標が他

また，学習データとテストデータの配置の違いより分のサンプルの新座標と重なっている大きさを表してい類器の汎化性能を知ることもできる．

る．η は重複をどれほど禁止するかを決める．η が小(3)さい場合，多少の重複は許されるようになる．また，

3. 提 案 法σ 2 は近傍にあるサンプルをどれほど離すかを決める．

分類器の視覚的解析は，学習データ，テストデータ，σ 2 が小さい場合，近傍サンプルまでの距離は短くな分類器を入力とし，以下の手順で行われる．

る．η および σ 2 を調節することにより，様々な表示(1)

学習データを用い，分類器を学習する

法 (サイズ，解像度など) やアプリケーションに対応(2)

学習済分類器を用い，学習データおよびテストすることができる．

データの事後確率を推定する

PE で座標を求めた後に分離するのではなく，PE の目的関数に重複サンプル分離のための項を加えても，

Vol. 48

No. 124015



同様の結果を得ることができる．そのとき目的関数はJ2 ({r̃n }, {φk })= E({r̃n }, {φk })NX X

N −1+η

n=1 m=n+11exp(− 2 k r̃n − r̃m k2 ),
2σ



(4)となる．実験では PE で座標を求めた後に分離する方

図 2 2 クラス分類における事後確率が容易に推測できる可視化(P (c1 |x1 ) = 1, P (c1 |x2 ) = 0.25)．

法によって可視化する．このことにより表示法の変更にともなうパラメータ η ，σ 2 の調節の際に，PE に関する再計算は必要なくなる．また，重複サンプルの分離は，他の可視化法の後処理としても実行可能であり，

の分離を別のステップとした．

3.2 定量評価尺度
分類器可視化結果を評価するための尺度を考える．
分類器が出力した事後確率が，可視化結果から容易に推測できれば，よりよい分類器可視化であると言える．

 

他の可視化法と条件を同じにするため，重複サンプル

図3 

2 クラス (c1 , c2 ) に注目したときの可視化空間における事後確率 (P12 (c1 |r1 ) = 0.8, P12 (c1 |r2 ) = 0.3)．

2 クラス分類の場合，各サンプルの事後確率の自由度りよい分類器可視化であると言える．そこで，以下のは 1 であるため，1 つの線分上に事後確率に従いサン絶対値誤差を分類器可視化の評価尺度として用いる．

プルを配置することができる．例えばクラス c1 ，c2の 2 クラス分類問題において，サンプル x1 ，x2 の事

KX X
X

K−1

F =

k=1 l=k+1 n∈N kl|Pkl (ck |xn ) − Pkl (ck |rn )| (8)後確率がそれぞれ P (c1 |x1 ) = 1, P (c1 |x2 ) = 0.25 でここで Nkl = {n|P (ck |xn ) > α ∧ P (cl |xn ) > α} で0 とした線分上に事後確率に従いサンプルを配置する

重要度が低いため省いた．実験では α = 0.1 とした．

あったとする．このとき φ1 の位置を 1，φ2 の位置をと図 2 のようになり，可視化結果から事後確率が容易に推測できる．
この考え方を K クラス分類の場合にも対応できるあり，対象とするクラスの事後確率が低いサンプルは4. 人工データによる評価
4.1 実 験 設 定ように拡張する．まず K クラスのなかの 2 クラス (ck

人工データを用い，4 つの分類器を可視化することと cl ) を考える．この 2 クラスに限ったとき，事後確により，提案法の評価を行った．原データは，6 クラ率 P (ck |xn ) は次のように変更される．
P (ck |xn )Pkl (ck |xn ) =.
(5)
P (ck |xn ) + P (cl |xn )また，可視化空間においてクラス ck ，cl に注目した

スの混合 3 次元正規分布を用い各クラス 100 サンプル

とき，サンプルを φk と φl を結ぶ直線上に射影した分布から生成したもので，非対角要素は 0 とした．まときの位置た，各クラスのサンプルのうち，10 サンプルを学習(rn − φl )T (φk − φl ),(6)skln =
kφk − φl k2
が，そのサンプルのクラス ck ，cl に関する事後確率を表していると言える (図 3)．このとき可視化空間における事後確率はPkl (ck |rn ) =skln if 0 ≤ skln ≤ 1,0
1

if skln < 0,生成した．平均は区間 [0,1) 上の一様分布から生成したもの，共分散行列の対角要素は区間 [0,5) 上の一様データ，90 サンプルをテストデータとした．図 4(a)は原データの 3 次元プロット図である．ここで，塗潰
し点は学習サンプル，中抜き点はテストサンプル，点の色形はクラスを表す．原データを見ても，どのクラスの分離が容易か，また，どのような分類器で適切に(7)分類可能か，を直感的に理解することは困難である．
また原データが 4 次元以上のことは多々あるが，今回if 1 < skln ,となる．ここで確率として扱えるように 0 から 1 までのようにプロットすることは不可能であり，直感的理の値となるようにした．2 クラスに限ったときの原空ことが必要である．

間における事後確率 Pkl (ck |xn ) と可視化空間における事後確率 Pkl (ck |rn ) の絶対値誤差が小さければ，よ解のためには，2 次元もしくは 3 次元空間に埋め込む分類器として，混合正規モデル，等分散混合正規モ
デル，確率的近傍法，2 次ロジスティック回帰7) の 4

4016

情報処理学会論文誌

Dec. 2007

つを用いた．(等分散) 混合正規モデルは，(等分散) 混

4.3 比合正規分布を仮定しクラスとサンプルの同時生成確率比較のため，混合正規モデル，等分散混合正規モデ較をモデル化しベイズ則で事後確率を推定する生成モデ

ル，ロジスティック回帰の 3 分類器を FLDA およびルである．また，確率的近傍法はノンパラメトリック

KDA により可視化した．FLDA はクラス間分散が最モデル，ロジスティック回帰は識別モデルである．な

大かつクラス内分散が最小になるようにサンプルを線お，等分散混合正規モデルのみ線形分類器である．

形射影する可視化法である．分類器により出力された4.2 可視化結果

推定クラスをサンプルのクラスとみなし FLDA を適提案法で可視化した結果を図 4(c)∼(f) に示す．図用することにより，分類器の出力傾向を反映させた可4(b) は，式 3 の最小化をしない場合の混合正規モデル視化が得られる．また，KDA はカーネルトリックを用の可視化結果である．多くのサンプルが重なっており，いて FLDA を非線形可視化法に拡張した手法である．

各点が学習サンプルかテストサンプルかの判別が困難

FLDA と同様に分類器による推定クラスをサンプルのである．また，何個のサンプルが重なっているか分かクラスとみなし KDA を適用した．なお，カーネルとらない．式 3 の最小化の結果，図 4(c) のようになり，してガウシアンカーネルを採用した．図 6 に可視化結重なりがなく，それぞれのサンプルが識別することが果を示す．FLDA および KDA でサンプルの座標集合できる．なお η = 1, σ 2 = 0.005 を用いた．図 4(c) でが得られた後，式 3 を最小化することで重複サンプルは，同じクラスのサンプルがクラスタを形成しており，を分離した．FLDA および KDA の入力は原データお混合正規モデルは適切にサンプルを分類できているこ

よび推定クラスであり，事後確率を入力とすることがとを示唆している．クラス c1 と c3 の間にいくつかのできない．そのため，提案法に比べ各分類器の特徴のサンプルが配置されているのは，それらの間の識別が違いが可視化結果に表現されていない．図 6(a)∼(c)

難しいことを反映している．また逆に，クラス c2 のでは，FLDA は線形手法のためクラスタが重なりあっサンプルは他からよく分離されており，クラス c2 のてしまっている．また，図 6(d)∼(f) では，分類器は識別は容易であることを反映している．図 4(d) では，明確に分離できていないにも関わらず，クラスタが分サンプルが分散しており明確なクラスタがない．これ離されている．また，FLDA および KDA は提案法には等分散の仮定が適切ではなく，分類がうまくいって比べ多く計算量を必要とするという問題点がある．ないないことを表している．図 4(e) では，クラス c5 のお，等分散混合正規モデルは線形識別器であるため，クラスタに他クラスのサンプルが配置されており，こ線形分離可能性を表現可能な FLDA の結果 (図 6(b))

れらのサンプルはクラス c5 に誤分類されやすいことと，提案法の結果 (図 4(d)) が似たものとなっている．

を示唆している．図 4(f) では 6 つのクラスタが明確

4 つの分類器 (混合正規モデル，等分散混合正規モに分離されている．学習サンプルは 1 つのクラスタにデル，確率的近傍法，ロジスティック回帰) を提案法，まとまっているが，テストサンプルは他クラスのクラFLDA，KDA で可視化したときの絶対値誤差 F は図スタに配置されており，ロジスティック回帰が過学習7 のようになった．全分類器において提案法の誤差がしている可能性を示唆している．一方，図 4(c) では，小さくなっていることが分かる．KDA はロジスティッ

学習およびテストサンプルともに各クラスタ内でばらク回帰の場合は誤差が小さいが，等分散混合正規モデついており，混合正規モデルの汎化性能が高いことがルの場合には誤差が大きい．これは図 6(e) にあるよう分かる．に，KDA は識別できていないものも明確に区別して

表 1 に正当率と混同行列を示す．正当率や混同行列しまうためと考えられる．また，重複サンプル分離には可視化よりも定量的であるが，特に多数のクラスがよりロジスティック回帰の誤差は高くなっている．こある場合，一目で理解することは困難である．さらに

れは，重複サンプル数が多いためであると考えられる．

可視化は混同行列から得られない情報を持っている．

一方，重複サンプル数が少ない等分散混合正規モデル

例えば，ロジスティック回帰が出力する事後確率の多では，分離前後でほとんど誤差は変化しない．

くは 0 もしくは 1 でありサンプルを明確に分離して提案法による重複サンプルの分離の有効性を調べる

おり，一方，等分散混合正規モデルはサンプルを明確ため，乱数によって分離した場合との比較を行った．に分離していない (図 5)．この特徴は可視化結果 (図混合正規モデル可視化 (図 4(b)) を一様乱数により分4(d)(f)) から明白であるが，混同行列 (表 1(b)(c)) か離した結果，図 8 のようになった．重なりは減っていらは見てとることができない．

るものの，提案法による分離 (図 4(c)) に比べ重複サンプルが残っている．また，分離前後でサンプル間のVol. 48No. 124017

12345686420−21010550図40(a) 原データ(b) 重複分離前の混合正規モデル(c) 混合正規モデル(d) 等分散混合正規モデル(e) 確率的近傍法(f) ロジスティック回帰

3 次元原データ (a)，重複サンプルの分離前の混合正規モデルの 2 次元可視化 (b)，提案法による 2 次元可視化 (b)∼(f)．塗潰し点は学習サンプル，中抜き点はテストサンプル，点の色形はその真のクラスを表す．

順序関係が保存されているかを，スピアマンの順位相関係数により測った．分離前後で式 6 により射影したときの順位が変化していなければ，順序関係が保存さ5. 実データによる実験
5.1 文書分類器可視化れていると言える．その結果，表 2 のようになった．

提案法は，学習データを増やすことにより分類器の乱数による分離に比べ，提案法による分離の順位相関性能がどのように向上していくかを視覚的に表現する係数が高く，順序関係がより保存されていることが分こともできる．例えば，音声認識の話者適応問題11)

かる．

において，ユーザに学習データを作成してもらう必要があるが，ユーザのデータ作成に対するモチベーショ情報処理学会論文誌

4018
表1Dec. 2007(a) 正答率，(b) 等分散混合正規モデルの混同行列，(c) ロジスティック回帰の混同行列．
括弧外はテストデータ，括弧内は学習データについての値である．混同行列の各行は真のクラス，各列は推定されたクラスを表す．
(a) 正答率
混合正規モデル
等分散混合正規モデル
確率的近傍法ロジスティック回帰
0.794(0.917)
0.746(0.733)
0.769(0.933)
0.669(1.000)(b) 等分散混合正規モデル(c) ロジスティック回帰

c1
c2
c3
c4
c5
c6
c1 66( 7) 13( 2) 8( 1) 0( 0) 3( 0) 0( 0)c2 6( 1) 84( 9) 0( 0) 0( 0) 0( 0) 0( 0)c3 6( 1) 4( 0) 55( 7) 8( 1) 12( 0) 5( 1)c4 1( 0) 0( 0) 0( 0) 75( 6) 14( 4) 0( 0)c5 0( 0) 0( 0) 14( 0) 20( 2) 48( 8) 8( 0)c6 0( 0) 1( 0) 5( 0) 2( 0) 7( 3) 75( 7)

c1c2
c3
c4
c5
c6
c1 51(10) 26( 0) 13( 0) 0( 0) 0( 0) 0( 0)c2 3( 0) 87(10) 0( 0) 0( 0) 0( 0) 0( 0)c3 7( 0) 3( 0) 67(10) 1( 0) 9( 0) 3( 0)c4 0( 0) 1( 0) 1( 0) 54(10) 29( 0) 5( 0)c5 2( 0) 0( 0) 2( 0) 16( 0) 51(10) 19( 0)c6 3( 0) 0( 0) 13( 0) 15( 0) 8( 0) 51(10)

1400

3000

1200

2500

1000

2000

800
1500
600
1000

400

500

200
000.2

0.4

0.6

0.8

100(a) 等分散混合正規モデル

0.2

0.4

0.6

0.8

1(b) ロジスティック回帰

図 5 事後確率のヒストグラム．

表 2 重複サンプル分離前後のスピアマンの順位相関係数．
混合正規モデル
等分散混合正規モデル
確率的近傍法ロジスティック回帰
提案法
乱数

0.977
0.967

0.991
0.984

0.986
0.969

0.835
0.805

0.35
0.3
0.25

Our Method
Our Method(separate)
FLDA
FLDA(separate)
KDA
KDA(separate)

0.2
0.15
0.1
0.05
0

図7図8GMSGM

NN

混合正規モデル可視化の乱数による重複サンプルの分離．

LR

提案法 (Our Method)，FLDA，KDA による分類器可視化の絶対値誤差．GM は混合正規モデル，SGM は等分散混合正規モデル，NN は確率的近傍法，LR はロジスティック回帰を示す．

応用できると考えられる．そこで，学習サンプル数の増やしていったときの文書分類器の性能の変化を可視化した．データはディレクトリ型検索エンジンによって分類された Web ページ集合である．各クラスのサンを与えることは重要な課題である．分類器の性能向ンプル数は異なっており，5 つのクラスは 500 サンプ

上が視覚的に分かることにより，モチベーションを上ル，3 つのクラスは 200 サンプル，2 つのクラスは 50げる効果が期待できる．また，学習の過程でどのクラサンプルを持つ，全 10 クラス，3200 サンプルである．

スの分類性能が悪いかなどが視覚的に分かれば，その各ページを単語出現頻度ベクトルで表現し，分類器とクラスのデータを重点的に収集するなど能動学習にもしてナイーブベイズモデルを用いた．学習サンプル数

Vol. 48

No. 124019(a) GM by FLDA(b) SGM by FLDA(c) LR by FLDA(d) GM by KDA(e) SGM by KDA(f) LR by KDA

図 6 混合正規モデル (GM)，等分散混合正規モデル (SGM)，ロジスティック回帰 (LR) のFLDA(a)∼(c) および KDA(d)∼(f) による 2 次元可視化．の比率を各クラス 0.05，0.3，1.0 に増やしていったときの分類器を可視化した結果，図 9(a)∼(c) のようになった．なお η = 10−3 , σ 2 = 10−5 を用いた．学習サ

0.3

ンプル数の増加に従い，各クラスの分離が進んでいっ0.25ていることが分かる．また，学習サンプル比率が 0.050.2の時点で分離がうまくいっているクラスもあればうまくいっていないクラスもあり，このような情報が能0.15

動学習の際に有用になると考えられる．図 9(d)∼(f)，

0.1(g)∼(i) はそれぞれ FLDA を用いた可視化結果，KDA0.05を用いた可視化結果を表す．提案法と比べ，各クラス0の分類器が学習されている様子が見にくい．また，図9(j)∼(l) に分離前の可視化結果を表す．複数の点が 1

Our Method
Our Method(separate)
FLDA
FLDA(separate)
KDA
KDA(separate)

0.35

図 100.050.3

1.0

分類器可視化の絶対値誤差．横軸は学習サンプル比率を表す．

点に重なってしまっており，サンプル数がどれほど集まっているか見て取ることができない．一方，分離す5.2 音声認識器可視化ることにより図 9(c)(g)(i) のようになり，クラスター

分類器はパラメータの調節によって性能に大きく変内のサンプル数の多さが一目瞭然となる．

わることがしばしばある．そのため，パラメータを変異なる学習サンプル数の分類器を提案法，FLDA，化させることによって分類器の性能がどのように変化KDA で可視化したときの絶対値誤差 F は図 10 のよするかを知ることは重要である．そこで，パラメータうになった．ほとんどの場合において，提案法の誤差変化に伴う母音分類器の変化を可視化した．音声認が最も小さくなっている．学習サンプル比率 0.05 の識問題では，各状態が混合正規モデルで表現される，分離前の KDA の場合のみ誤差が小さくなっているが，隠れマルコフモデル (HMM) を用いるのが一般的で

図 9(k) にあるように多くのサンプルが一点に重なっある9) ．実験では，混合正規分布の混合数を変化させており，各クラスの状況を見て取ることができない．

るパラメータとした．混合数がそれぞれ 1，2，4 の情報処理学会論文誌

4020

Dec. 2007(a) 提案法 0.05(b) 提案法 0.3(c) 提案法 1.0(d) FLDA 0.05(e) FLDA 0.3(f) FLDA 1.0(g) KDA 0.05(h) KDA 0.3(i) KDA 1.0(j) 分離前提案法 1.0(k) 分離前 KDA 0.05(l) 分離前 KDA 1.0

図 9 文書分類器の可視化．数値は学習サンプル比率を表す．

Vol. 48

No. 124021

モデルを，100 学習サンプル，14417 テストサンプルで可視化した結果，図 11 のようになった．このとき

η = 10−3 , σ 2 = 10−5 とした．特徴量はメル周波数ケプストラム係数 (MFCC) を用いた．なお，音声データは時系列データであるため，各サンプルのサイズが固定されたベクトルで表現されている必要がある FLDAや，音声時系列データの特徴を採り入れたカーネルを設計する必要がある KDA を直接用いて可視化することはできない．一方 PE では，分類器が出力した事後確率さえあれば，入力データの形式によらず可視化することができる．
混合数を変えることによって，分離可能なクラスが変化していることが可視化結果から分かる．例えば混合数 1 の場合は i と u の間にサンプルが少なく分離がうまくいっているが (図 11(a))，混合数 4 の場合は iと u の間に多くのサンプルが配置されており，分離ができていないことが分かる (図 11(c))．また，母音の配置に注目すると，調音 (顎の閉開，舌の位置) と整合しており (図 11(b))15) ，可視化結果が母音の関係を適切に表現できていることを示している．

6. 結論

本稿ではパラメトリック埋め込み法を拡張し，分類器の特徴を直感的に理解することを目的とした視覚的解析法を提案した．人工データおよび実データを用い可視化することにより，分離性能や汎化性能など分類器の特徴を直感的に理解できることを確認した．また，分類器可視化結果を評価するための定量的尺度を提案し，提案可視化法は従来法に比べ分類器の特徴を表していることを示した．今後は，インタラクティブなユーザインターフェイスを構築し，より分類器設計に有用なツールとして発展させていきたい．
謝辞 5.2 節の母音分類器可視化実験は NTT コミュ
ニケーション科学基礎研究所の石塚健太郎氏の協力によるものである．

参 考 文 献1) Baeza-Yates, R. and Ribeiro-Neto, B.: Modern Information Retrieval, ACM Press, AddisonWesley (1999).
2) Baudat, G. and Anouar, F.: Generalized
discriminant analysis using a kernel approach, Neural Computation vol.12, pp.2385–2404 (2000).
3) Bernardo, J. and Smith, A.: Bayesian Theory,
John Wiley, Chichester (1994).
4) Bishop, C.: Neural networks for pattern recog-nition, Clarendon Press, Oxford, (1995).
5) Dhillon, I., Modha, D. and Spangler, W.:Class visualization of high-dimensional datawith applications, Computational Statistics
and Data Analysis, vol.41, pp.59–90 (2002).
6) Fisher, R.: The use of multiple measurements
in taxonomic problems, Annals of Eugenics,
vol.7, pp.179–188l (1950).
7) Hastie, T., Tibshirani, R. and Friedman, J.:
The Elements of Statistical Learning: Data
Mining, Inference and Prediction, Springer,
New York (2001).
8) 岩田具治，斉藤和巳，上田修功：パラメトリック埋め込み法によるクラス構造の可視化，情報処理学
会論文誌，Vol.46，No.9，pp.2337–2346 (2005).
9) Jelinek, F.: Statistical methods for speech
recognition, MIT Press Cambridge, MA, USA(1998).
10) Kohavi, R. and Provost, F.: Glossary of terms,Machine Learning, vol.30, pp.271–274 (1998).
11) Leggetter, C. and Woodland, P.: Maximum
likelihood linear regression for speaker adaptation of continuous density hidden Markovmodels, Computer Speech and Language, vol.9,
No.2, pp.171–185 (1995).
12) Liu, D. and Nocedal, J.: On the limited memory BFGS method for large scale optimization,
Math. Probramming, vo.45, No.3, pp.503–528(1989).
13) McCallum, A. and Nigam, K.: A comparisonof event models for naive Bayes text classification, proceedings of AAAI-98 Workshop on
Learning for Text Categorization, AAAI press,pp.41–48 (1998).
14) Mika, S., Ratsch, G., Weston, J., Scholkopf,
B. and Muller, K.: Fisher discriminant analysis with kernels, Neural Networks for Signal
Processing IX, IEEE, pp.41–48 (1999).
15) 中田和男：音声，コロナ社 (1995)．
16) Torgerson, W.: Theory and methods of scaling, Wiley, New York (1958).
17) Xu, L., Krzyzak, A. and Suen, C. Y.: Methods of combining multiple classifiers and theirapplications to handwriting recognition, IEEE
Transactions on Systems Man and Cybernetics(1992).
(平成 18 年 12 月 1 日受付)
(平成 19 年 9 月 3 日採録)

情報処理学会論文誌

4022

openeaiclose-mid

Dec. 2007

close(jaw)frontcentraluoback(tongue)(a) 1 混合(b) 2 混合
図 11(c) 4 混合

母音分類器の可視化．混合数はそれぞれ 1(a)，2(b)，4(c)．

岩田 具治（正会員）

斉藤 和巳（正会員）

1979 年生．2001 年慶応義塾大

1963 年生．1985 年慶応義塾大学

学環境情報学部環境情報学科卒業．

理工学部数理科学科卒業．工学博士．

2003 年東京大学大学院総合文化研

同年 NTT 入社．1991 年より 1 年究科広域科学専攻修了．同年 NTT

間オタワ大学客員研究員．神経回路

入社．機械学習，異常値検出，可視網, 機械学習, 複雑ネットワーク等の化の研究に従事．現在, NTT コミュニケーション科学研究に従事．2007 年より，静岡県立大学経営情報学

基礎研究所 社員．船井ベストペーパー賞 (2004 年)，

部教授．情報処理学会論文賞 (1997 年)，人工知能学

FIT ヤングリサーチャー賞 (2007 年) 受賞．電子情報会論文賞 (1999 年) 等受賞．電子情報通信学会, 人工通信学会会員．

知能学会, 日本神経回路学会, IEEE 各会員．