論 文
モジュール競合学習を用いた適応的クラスタリング
鈴木敏†

上田 修功†

Adaptive Clustering Method using Modular Learning Architecture
Satoshi SUZUKI† and Naonori UEDA†

あらまし
クラス内のデータが連続的に分布しクラス間で重なりがない場合において，クラス数未知の状態から逐次処理によりデータをクラス分けする手法を提案する．提案する手法はモジュール競合ネットワークに統計力学のアナロジーを用いる手法である．即ち，入力データを粒子と見なし，粒子の分布に適したエネルギー状態を各モジュールが推定することにより学習を行なう手法である．この学習の結果，連続的に分布する粒子は同一のモジュールに振り分けられ，同時に，粒子の存在しないモジュールも現れる．従って，予めモジュール数を多めに用意し，学習後，粒子の集まったモジュールを１つのクラスと見なすことで，入力データのクラス分けとクラス数推定が可能となる．本論文では提案手法の詳細と，２次元人工データ及び顔画像を用いた実験結果を示す．
キーワード
クラスタリング，教師無し学習，競合学習，逐次処理，自由エネルギー，統計力学

1.

法は，連続的に分布する１つのクラスに対しても，分布

まえがきの形状によっては複数のクラスとしてクラスタリングを人間は視点に依存して多様に変化する 3 次元物体を 2行うこともあるので，上記の問題には適用できない．一次元網膜像を通して認識・類別している．この処理は，方，決定木や isodata アルゴリズムを逐次処理へ適用す

教師信号無しの逐次処理学習であり，随時新しい入力がるには，データ間距離を計算するために予め全データを与えられる追加学習でもある．この機能の一部を計算機記憶しなければならない．更に，クラス分けのためのし上で実現するため，筆者の一人は，モジュール競合学習

きい値が必要になるが，その有効な設定方法は一般に知法 [1] [2] を応用して，様々な視点方向の 2 次元射影像かられていない．以上の理由より，従来の古典的なクラス

ら教師無しで 3 次元物体を認識・類別するモデルを提案

タリング手法は本論文の対象とする追加学習可能な逐次した [3] [4]．この手法は，連続的に広がる分布を１つの型クラスタリングには適用できない．

クラスと見なす教師無しのクラス分けを可能にしたが，最近では，寺島らが自己組織化特徴マップ (SOM) [6]

物体数 (クラス数) が既知という前提条件を必要とし，を用いたクラス数未知でのクラスタリング手法を提案

また，追加学習には対処できなかった．なぜなら，従来している [7]．この手法では，データ密度の高い空間にのモジュール学習法 [1] [2] が入力空間を全モジュールを代表ベクトルが集まるという SOM の性質を利用して，使って表現する手法だからである．そこで，本論文でクラスタリングを行っている．この手法はオンラインのは，追加学習に対処できるクラス数未知のクラスタリンクラスタリング課題に対する有効な解決法であるが，例グ手法について検討する．

えば，学習途中で新しいクラスのデータが追加される場

従来のクラスタリング手法の代表としては決定木によ合，新しいクラスを表現するには，他のクラスを表現しる手法や k-means 法， isodata アルゴリズム等が挙げていた代表ベクトルを利用しなければならないため，られる [5]．しかし， k-means 法に代表される，クラスデータから代表ベクトルへの写像が大きく変化する可能数を既知として入力空間を切り分けるクラスタリング手性がある．即ち，追加学習には対処していない．
本論文では先のモデル [3] [4] に対する学習法の工夫に† NTT コミュニケーション科学基礎研究所，京都府
NTT Communication Science Laboratories,0237 Japan

電子情報通信学会論文誌

Kyoto， 619-より，上記目的の実現を目指す．ところで，近年，スピングラスの理論を中心に，統計力学の手法がニューラル

D–II Vol. J83–D–II No. xx pp. 1–10 2000 年 xx 月

1

電子情報通信学会論文誌 ’100/xx Vol. J83–D–II No. xx

ネットワークの研究に応用され，数多くの重要な知見が入力 x の帰属クラスは，モジュール間競合により決定得られている [8]．従って，本論文でも学習アルゴリズされる．モジュール間競合は，各モジュールで再構成さムへの統計力学的アナロジーの適用を試みる．

れた情報 y i と入力 x とのユークリッド距離 ky i − xk

特定の条件下にある粒子系空間では自由エネルギーをに基づいて行われ，この距離が最小となるモジュールの低くしていくと，全ての粒子がエネルギーの低い状態にクラス指標 i を入力 x の属するクラスとする．但し，確集まるか，或は空間内に粒子が殆んど存在しなくなるか率モデルとするため，モジュール間の競合は次式で定義の２種類の状態に収束するという性質がある（注 1）．こされる gi を用いて行う．の粒子の性質を利用し，複数あるモジュールが特定の粒子の集合に対応するモジュールと，対応する粒子の無いモジュールとに自律的に分かれるように学習を行なう．
即ち，入力データを粒子と見なし，各モジュールを粒子系空間と見なすことにより，連続的に分布する粒子が同一のモジュールに安定して存在するように学習させるこ

sigi = PMk=1(4)sk

ここで， M は全モジュール数を表し， si は ρ2 を定数として，

si = exp −とができる．これにより，追加学習にも対処できるクラky i − xk22ρ2

(5)ス数未知のクラスタリングの実現が期待でき，先の学習とする．入力と再構成された情報の近さは数学的な取り法 [3] [4] における問題点が解決できる．

扱い易さから式 (5) に示す指数関数とした．

2.

学習にあたって，モジュール内のガウス関数を適応的モジュール競合ネットワークに追加する機能を与えることにより，各モジュールが適

本論文で用いるネットワークは，一つのモジュールが応的に学習できるようになる．ガウス関数の追加を含む複数のガウス関数から成る 2 階層の競合ネットワークで本ネットワークの学習法については 4.で詳しく述べる．

ある．各モジュールはガウス関数の平均ベクトルを組み合わせて入力データの再構成を試み，次いで，モジュー3.

ル間でその精度を競合する．この競合結果により，入力上記のネットワークをモジュール間の偏りを許容しては各モジュールに確率的にクラス分けされる．以下にこ学習させるために，本論文では，統計力学的手法を導入のネットワークの詳細を述べる．

し，逐次的に与えられる入力データを粒子の観測位置と入力 x が与えられた時，第 i モジュールで再構成され粒子系空間のモデル見なす手法を用いる（注 2）．

た情報 y i は

以下，利用する粒子系空間の性質を説明し，次に，そUi
Xの性質をモジュール競合ネットワークに適用する方法に

yi =hij cij(1)

j=1

ついて述べる．

3. 1

粒子系空間の性質で与えられる．但し， Ui は第 i モジュール内のガウス

例 えば 電子 のよ うな 粒子 の粒 子源 を含 む低 温の 空関数の総数であり， cij は第 i モジュール，第 j ガウス

間（注 3）では，多くの粒子が自由に動ける状態が空間の関数の平均ベクトル (未知パラメタ) を表す．また， hij

自由エネルギーが高い状態である．逆に，自由エネルはモジュール内の競合における寄与率を表し，ギーが低い状態は空間内の粒子がエネルギーの低い状態

tij

hij = PU(2)t
k=1 iki

しない場合である．このことは，以下に記す粒子のエネ2で与えられる．但し， tij は σ を定数として，

tij = exp −kcij − xk2σ 2

ルギーと存在確率及び自由エネルギーの関係式により示

2

される．

(3)

で表される．即ち，入力に近いガウス関数ほど寄与度が大きくなるようにし， hij > 0,よう正規化している．
（注 1）：式の上での性質である (3.参照)

2に集まっている場合か，或は空間内に粒子が殆んど存在

PUi

j=1

hij = 1 となる粒子源を持つ粒子系ではエネルギー  を持つ粒子が存在する確率は， µ, k, T を定数として，（注 2）：この時，入力データ自体を粒子の位置を表すパラメタと見なすため，粒子自体はお互いに区別のない同種粒子であることが必要となる．但し，ボース粒子は自由エネルギー最小化により全粒子が基底状態に収束してしまうため不可．
（注 3）：フェルミ粒子が低温のグランドカノニカル状態にある場合を考える．この時，空間内の粒子数は空間の状態に従って増減する．

論文／モジュール競合学習を用いた適応的クラスタリング
Fε/kT

Pε

2.5

observation χ10.90.80.7
0.6
0.5
0.4
0.3
0.2
0.1
02
1.5
10.5
0−0.5

Modular Network
subspace 1

ε/kT 0 2 4 6 8 10 ε/kT(a) Free energy vs. energy. (b) Probability vs. energy.
0Fε/kT

2468x

10

contours of ε(x)µ/kT-1-log(µ/kT)

g1

subspace 2

module 2
q2 g2x→ε

subspace i

module iqix→ε2.52

module 1q1x→ε1.5gi

10.50Fig. 2

−0.5
00.5
1-kT/µ(c) Free energy vs. probability.

Fig. 1P =Pε

図 1 粒子の性質
Characteristics of the particles.

1exp

1−µkT3. 2(6)+1で与えられる [9]．また，粒子系の自由エネルギー F は

F =X(µP + kT log (1 − P ))X

ネットワークへの適用

複数の部分空間から成る空間が，低温で安定した (自由エネルギーの低い) 状態にあるとし，各部分空間は独立した座標系を持ち，それぞれが異なるエネルギー状態にあるとする．今，空間内の粒子 N 個を観測し，その観測結果は χ = {x1 , x2 , · · · , xN } で与えられたとする．

≡

図 2 提案モデルのイメージ
An image of the proposed model.

xj は j 番目の粒子が観測された位置を表す．但し，各Fで表される [9]．但し，(7)

粒子がどの部分空間で観測されたかは与えられない．

2.のネットワークを用いて，この観測結果から各空間のPは可能な全てのエネルギー状態の和を表す．

T < µ/k の低温では，個々の粒子のエネルギー  と自由エネルギー F との間には図 1(a) の関係がある（図では µ/kT = 5 の場合を示している)．この図から，自由エネルギーを低くするためには各粒子のエネルギー が非常に大きいか０に近いかのどちらかになることがエネルギー状態を推定するモデルを考える．
図 2に示すように，まず粒子系の部分空間の数をネットワークのモジュール数に１対１に対応させる．これにより，各モジュールに座標 x からエネルギー i への変qi

換 x 7−→ i を学習させる．この関数 qi により部分空間i のエネルギー状態が与えられ，従って，部分空間内の粒子の存在が確率的に与えられる．また，モジュール間必要であることが分かる．ところが，粒子のエネルギーの競合 gi (xj ) を xj の粒子が部分空間 i で観測された確と存在確率の間には図 1(b) の関係があり，粒子のエネ率と見做す．

ルギーが高いと存在確率は非常に低くなる．故に，自由以上の対応関係により，以下に示す粒子の存在確率

エネルギーが低い状態では，エネルギーの低い粒子が集を高め，且つ，自由エネルギーを小さくするようにネッまっているか空間内に殆んど粒子が存在していないかのトワークに最適なエネルギー状態を学習させる．この結どちらかとなる (図 1(c))．

果，各モジュールは粒子の存在するモジュールと存在し従って，このような粒子系を複数組み合わせた空間を考え，自由エネルギーを下げることで，ある部分空間でないモジュールとに分けられ，目的とするクラスタリングが実現される．

粒子が存在しなくなることが期待できる．次節で，この[粒子の存在確率]観測された粒子 x がネットワークで作られる空間に存粒子系空間の性質をアナロジーとして用いた，モジュー在する確率 Px は，粒子 x が部分空間 i で観測された確は粒子が低エネルギー状態に集まり，ある部分空間ではル競合ネットワークの詳細について述べる．

i率 Pi とモジュール i の中で粒子 x が存在する確率 Px3

電子情報通信学会論文誌 ’100/xx Vol. J83–D–II No. xxで表される（注 4）．

を用いて，MXPx =iPi Px(8)i=14.

学習アルゴリズム

本節では前節で説明したモデルに基づいて，学習アルで表される．

ゴリズムを導出する．本モデルにおける学習パラメタはi
Pi は 前 述 の 仮 定 よ り， gi (x) で 表 さ れ， Pxはモガウス関数の平均ベクトル c であり，学習は平均ベクトジュール i の作る部分空間での粒子の存在確率なので，ルの更新とガウス関数の適応的追加により行われる．但式 (6) からし，ガウス関数の連続性を保つために，ガウス関数の追1iPx=i (x)−µexp+1kT(9)ここで，各モジュールでの座標 x からエネルギー iqiへの変換 x 7−→ i を表す関係式を

i=1=MXgi
i (x)−µkTexp(10)i=1

観測粒子の存在確率最大化

j ガウス関数の平均ベクトル cij の更新は， α を学習係

+1sik=1µ− kT

sk exp

4. 1

まず， Px の最大化について示す．第 i モジュール第数として，siPMし， Px の最大化は特定粒子に関する自由エネルギー最へ向かうことになる．

で定義すると， Px は次式で表される．

Xも一致しないので，学習はそれぞれ独立して行う．但小化でもあり，２種類の学習は最終的には同じ収束方向kTky − xk2
2ρ2 i= −kT log (si )i (x) =Px =関数の平均ベクトルは入力 x と一致させる．

Px の最大化と f (x) の最大化ではパラメタが必ずしで与えられる．

M加は f (x) の最大化に適用し，この時追加されるガウス∆cpij = α(11)+ siαgi= 2ρPx の最大化は，観測された粒子がネットワークの作り出す空間に存在する可能性を高めることに相当する．

[自由エネルギー]
一方，余分な粒子が空間内に入り込まないために，空間全体の自由エネルギーを最小化しなければならない．
但し，全自由エネルギー F は，部分空間の自由エネル
ギー Fi の和で表されるから， µ0 = exp (−µ/kT ) として，式 (7) より

F =M
Xi=1

=i=1 x∈χ= −kT

4gk piµ00µ + si

aij =MXXµx∈χ(13)(14)X(y il − xl )

∂yil
∂cijl

Pl(15)

は入力の各次元についての和を表す．また， aij は，µsi+ kT logµ0 + siXGi

k=1および，であり，F(i)x∈χ i=1≡ −kT!

= hij (aij (cij − x) + (y i − x))M XXMXipi = Px
si= 0µ + silFiM XXp2i − 2pi +をその変化量とすることで表される．但し，

Gi =i=1=∂Px∂cij
µ0+ log µ0 + si0
kT µ + sif (x)(yi − x)t (y i − cij )σ2(16)を表すものとする．
（注 4）：式 (7) では自由エネルギーはエネルギー状態の和として表されているが，χ が粒子の存在可能位置を表していることと，一つのエネルギー状態には一つの粒子しか存在できないというフェルミ粒子系の性質を利用して，エネルギー状態の和(12)を観測される粒子に関する和に置き換えている．即ち，全ての可能なエネルギー状態は qi (χ) で表されるとしている．

論文／モジュール競合学習を用いた適応的クラスタリング

4. 2とできる．この条件により，確率 P が特定の範囲内に自由エネルギーの最小化

一方，自由エネルギーの最小化は f (x) の最大化で置ある時にガウス関数の追加が可能となる．逆に，ガウスき換えられ，ガウス関数の追加と平均ベクトルの更新の関数追加が可能となるときの P の値は決められた範囲２種類の手法を用いて行う．

内にあるため，ガウス関数が追加されるときにはその近[ガウス関数の追加]傍に粒子が存在していることになり，従って，部分空間まず，ガウス関数追加のためのコストについて検討す内での粒子の連続性が保たれていることになる．

る．ガウス関数の追加は，与えられた入力 x に対して，[平均ベクトルの更新]

以下に示す追加条件を満たすモジュールに， c = x ともしも，条件 F /kT > δ を満たす i が存在しない(i)場合には， β を定数として，して新しいガウス関数を追加する．
ガウス関数の追加条件は，∆cfij = β∆f (x) > δ > 0=を用いる．但し， ∆f はガウス関数追加前後での f (x)の増加量を表す．

式 (12) より，
MX

βρ2



µ1−kT
1 − pip2i − pi Gi (17)により平均ベクトル cij の更新を行い， f (x) を最大化

∆f (x) = (追加後のf (x)) − (追加前のf (x))

f (x) =∂fi (x)∂cijする．

4. 3

アルゴリズムのまとめ

以上から，学習アルゴリズムは次のようになる．

−F(i) /kT

1. 入力サンプルの平均値に微少ノイズを加え，平均ベクトル c の初期値とする．

i=1であり，また，ガウス関数に変化のない部分空間では自由エネルギーは変化しないことから，モジュール i にガウス関数が追加されたとき， ∆f (x) は部分空間 i の自由エネルギーの変化量により，∆f (x) = (追加前のF(i) /kT ) − (追加後のF(i) /kT )と表される．
それぞれの部分空間においてエネルギー  を持つ粒子

2. 逐次与えられる観測データ x に関し，順次，全てのモジュールに同じ入力 x を与える．
3. 式 (13) を用いて平均ベクトルの更新を行う．
4. モジュール i∗ (i∗ = arg maxi gi ) に於いて，(i∗ )F /kT > δ であれば，平均ベクトルを xとするガウス関数を追加，それ以外は式 (17)を用いて平均ベクトルの更新を行う．

5. 既定の学習回数に達すれば終了，さもなければ 2 〜 4 を繰り返す．

が存在する確率 P と自由エネルギー F との関係は図1(c) に示されている．この図は T = 15 µ/k の低温における P と F /kT との関係を表している (式 (6),(7) 参照)．
図 1(c) よ り ガ ウ ス 関 数 追 加 後 は P

' 1及び5.

計算機実験

提案したモデルの有効性と特性を調べるため，複雑な分布を持つ２次元人工データを用いて，様々な条件下で(i)F /kT ' 0 となるため，∆f (x) ' (追加前のF(i) /kT )と 近似 でき， ガウ ス関 数追 加の 可否 判定 は追 加前 のClass 2

Class 2

Class 1

Class 1

Class 3

Class 3(i)F /kT の値 によ り 決め られ る．図 1(c) よ り適 当なδ(F /kT の 値; 0  δ < µ/kT − 1 − log (µ/kT )) を定めることで，ガウス関数追加の条件をF(i) /kT > δ(a) Uniform distribution
Fig. 3(b) Gaussian distribution

図3 入力分布
Input data distributions.

5電子情報通信学会論文誌 ’100/xx Vol. J83–D–II No. xx02000

Input data

First mean vectors

3000%100%
100%1008080808060606060404040402020200123450No. of classes(a) Uniform
distribution

Fig. 512345No. of classes(b) Gaussian
distribution(Large STD)

05000
Iteration numbers

図 4 学習過程の例
An example of clustering process.

Fig. 4%1004000

Additional mean vectors

Additional data

Additional data

Additional data

Type A

Type B

Type C201234501(c) Gaussian
distribution(Middle STD)

2345No. of classesNo. of classes(d) Gaussian
distribution(Small STD)

図 5 クラス数推定
Estimation results of the number of classes.

Fig. 6図 6 追加学習での入力分布
Input data distributions used by additionallearning.

表1 類別精度

Table 1Distribution
STD%

Classification accuracy.

Uniform
66.7%

large
74.9%

Gaussian
middle small
70.4% 98.0%

ル と 呼 ぶ． モ ジュー ル 間 の 競 合 を 明 確 に す る た め，
実 験で は第 １平 均ベ クト ルの 初期 値は， 任意 に選 ばれた入力 200 点の平均ベクトルに若干のノイズ (サン学習を試みた．更に，現実問題への応用として，様々な方向から見た複数人の顔画像をクラス分けする実験をµ/kT = 5, α = 0.1, β = 0.01, δ = 2, σ = ρ = 1 とした (これらのパラメタ設定については付録を参照)．学習行った．

5. 1

プルの分散の 5%) を加えて設定した．各パラメタは２次元人工データによる評価

図 3に実験で用いた２次元人工データを示す．最も近接する他クラスまでの距離が一定になるように，データは半径の異なる３種類の半円弧上に分布しており，
図 3(a) では一様分布，図 3(b) では正規分布の広がりを持っている．正規分布のデータは標準偏差 (STD) を３種類 (「大」，「中」，「小」) 用意し（注 5），一様分布のデータと合わせて４種類の入力データセットについてそれぞれ学習を行なった．
ネットワークの初期状態ではモジュール数は 10，各モジュール内のガウス関数は１個とした．以下，このガウス 関数の平 均ベクトル を便宜上第 １平均ベ クトは，ランダムに選ばれた入力データをモデルに繰り返し与えることで行う．学習回数は 10000 回とした．ここで，１回の学習とは，１入力データに対してモデルの更新を１度だけ行うことを意味する．
図 4に図 3(b)(標準偏差「小」) のデータに対する学習過程の例を示す．図 4では入力データの分布範囲を曲線で囲い (input data)，各第１平均ベクトルを 0 30 ，学習により追加されたガウス関数の平均ベクトルを 00の記号で示した．各々の記号が属するモジュールは，濃淡によって区別した．
学習初期は，第１平均ベクトルが競合により入力データに近づいていく．第１平均ベクトルと入力データの距離がある程度以上近づくと，新たなガウス関数を追加（注 5）：原点から見た入力範囲の中心と入力座標とが成す角度が正規 (ガウス) 分
布に従うように生成された点の集合であり，標準偏差の「大」，「中」，「小」は各々 180 度， 120 度， 60 度とした分布で，幅が 5% の半円弧内にある点の集合である．

6して自由エネルギーを大きく減少させる．学習が進むにつれて，ガウス関数の数は増え，１つのモジュールが特定のクラスの入力空間を覆うようになる．この結果，モ

論文／モジュール競合学習を用いた適応的クラスタリング

Type A

Type B

Type C

05000

Input dataFig. 7First mean vectors

10000

15000

Additional mean vectors

20000
Iteration numbers

図 7 追加学習での学習過程
Examples of clustering process with additional learning.

ジュールとクラスの対応関係が定まるようになる．

る．類別精度もクラス数推定と同様に標準偏差「小」の学習により得られた結果は，クラス数の推定および類場合に極めて高かった．図 5(d) の結果と合わせると，別精度により評価される．クラス数は，学習によるガウクラス数を多く推定した場合でも，大部分の入力デース関数追加の有無により推定される．たとえ１つでもガタは対応するモジュールに分類されていることがわか

ウス関数が追加されれば，当該モジュールは 1 クラスにる（注 7）．

対応するものと判断される．一方，類別精度は各データ以上から，本手法はクラス間の分散に比べ，クラス内が対応するモジュールに正しく分類される割合を示す．の分散が小さいときに有効な手法であることがわかる．

本人工データは，各データの生成時に所属クラスが既知

5. 2であるため，クラスとモジュールの最適な 1 対 1 の対応

次に，追加学習の実験を行った．前節の実験の標準偏関係を学習結果から推定できる．この対応関係に従うク

差「小」の場合について，実験終了後に新しいデータを追加学習

ラス分けを正しいクラス分けと見なし，テストデータが加えて，さらに 10000 回学習を行った．追加したデータ

正しく分類される割合を計算する（注 6）．以下，第１平は図 6に示すように，既存のクラスの分布範囲を広げる

均ベクトルの初期値をランダムに変えて 20 回行った実

場合 (Type A) と，新しいクラスを追加する場合 (Type験の結果を示す．

に対し，これより標準偏差が大きい例では，１つ少なくB, Type C) の３種類を用意した．
図 7に学習過程の例を示す． 10000 回の学習を終えた時点で新しいデータを加え，更に学習を続けた． TypeA,C では推定されたクラス数が各々３，４となり，正しい結果を示したが， Type B の場合には１つのモジュー２クラスと推定された割合が多い．異なるクラスのデールが２クラスの入力空間を覆う結果となり，前節の結果タが近接する部分で連続したデータと見なされ，その結と同様に連続したデータとして学習された．いずれの学果，クラス数が過小に推定されている．

習に於ても，追加学習によるそれ以前の学習結果への影

図 5にモデルにより推定されたクラス数の 20 回の試行における統計を示す．正しく３クラスと推定された割合は，標準偏差「小」の場合に約 85% であった．これ

また，表 1は，それぞれの場合の類別精度を表してい響はほとんど無いことが，ガウス関数の位置の変化がほ（注 7）：図 5(a)(b)(c) のように，クラス数が少なく推定された場合には，対応す（注 6）：テストデータは各クラスの分布空間から等間隔で 181 点を取り出したデーるモジュールが存在しないデータクラスが存在するため，類別精度は明らかに低くタであり，学習データとは異なる．

なる．

7電子情報通信学会論文誌 ’100/xx Vol. J83–D–II No. xx

100%%%10010080808060606040404020200123Type AFig. 845No. ofclasses020
12345No. ofclasses

Type B

012Type C

345No. ofclasses

図 8 追加学習でのクラス数推定
Estimation results of the number of classes
with additional learning.

(a) Original images.

とんど無いことからわかる．クラス分け結果への影響はこの実験では全く見られなかった．

20 回の学習から得られたクラス数推定結果の統計を
図 8に示す． Type A,C では共に 80% 以上の割合でクラス数を３，４と正しく推定している．新しいデータの追加前後で比較すると， 20 回の実験全てにおいて，追(b) Input images.

加されたクラス数は Type A では 0， Type C では 1 で
図 9 入力として用いた顔画像の例
Fig. 9 Examples of facial image.

あった．この時の類別精度は Type A が 93.7%， TypeC が 90.5% であった．一方， Type B では約 90% の割合でクラス数を３と，実際よりも少なく推定しており，Type B で学習を失敗した主な原因は，ガウス関数のを図 10に示す．各パラメタは µ/kT = 5, α = 0.1, β =0.01, δ = 2.3, σ = ρ = 10 とした．図にはモジュール初期値周辺が他の分布により囲まれているため，第１平数を 5 とした場合の学習前および学習後の第１平均ベク均ベクトルが目的の分布の近傍まで移動できなかったこ

トルと追加された平均ベクトルの例が獲得された順に示とにある．本手法ではこのような場合，正確なクラス分されている．各モジュールにはさまざまな方向からの顔けができない．しかし，このように経路を塞がれる状況のイメージが獲得されており，モジュールとクラスの対は高次元入力では比較的起りにくいことが期待できる．

応がとれていることがわかる．

類別精度は 73.4% であった．

5. 3

顔画像への応用提案するクラスタリング手法の応用として，顔画像モジュール数が５の場合と 10 の場合各々において，20 回の試行におけるクラス数推定の結果，正しくクを入力とした顔の認識実験を行う．入力として用いる

ラス数３を推定した割合は，モジュール数５の場合で画像は，正面顔を中心として左右に１度ずつ 90 度まで65%，モジュール数 10 の場合で 70% であった．一方，回転し，合計 181 個の画像を 1 クラスとしたものであ

全入力画像に対する類別精度はモジュール数５の場合にる [10]．同様の画像を３人分用意し (図 9(a))，各画像を90.3%，モジュール数 10 の場合に 91.9% であった．ク

15 × 15 次元に圧縮して入力に用いた (図 9(b))．入力
画像の生起確率は正面顔を中心とした正規分布 (標準偏差「小」) に従うとし，選ばれた入力画像には若干のノイズ (各画素の濃淡に 5% の分散) を加えた（注 8）．ネッ

ラス数を間違って推定した場合でも，殆んどの画像は正

トワークのモジュール数は 5 および 10 の２種類を用意
し，各第１平均ベクトルの初期値は，ランダムに選ばれた 200 個の入力画像の平均に若干のノイズを加えて設定

しいクラスにクラス分けされていることが分かる．

6.

むすび

クラス数未知のデータを教師信号無しで逐次処理によりクラス分けする手法を提案し，２次元人工データおよび顔画像を用いた実験によりその有効性について検討した．その結果，第 1 平均ベクトルの移動経路が塞がれした．
（注 9）

学習回数を 50,000 回としたときの実験結果の例

ず，クラス間の分散に比べクラス内の分散が小さい場合には，分布の形状に依存することなく，連続した分布を（注 8）：このノイズは学習には本質的な影響を与えていない．
（注 9）：計算時間は人工データによる 20000 回の学習で約 20 分，画像データに8よる 50000 回の学習で約 10 時間 (Ultra sparc 200Mhz, Matlab)．

論文／モジュール競合学習を用いた適応的クラスタリング

Module 1

Module 2

Module 3

Module 4

Module 5

Initial state

1st mean vector

mean vectors acquired by learning
図 10 顔画像のクラスタリング結果

Fig. 10

Clustering results of facial images.

１つのクラスとして分類可能であることを確認した．
謝辞 貴重な画像データを提供していただいた ATR
人間情報通信研究所の赤松茂室長と磯野勝宣研究員に感[9] 長岡洋介, “統計力学,” 岩波基礎物理シリーズ７, 岩波書店,
1994.
[10] 磯野 勝宣, 赤松 茂, “PCA による顔画像の生成のための３次元
顔データの対応表現,” 信学技法, HIP96-17, 1996.

謝します．

（平成 x 年 xx 月 xx 日受付）

文

献[1] M.I.Jordan and R.A.Jacobs, “Hierarchies of adaptiveexperts,” In Advances in Neural Information Processing Systems 4, San Mateo, CA, Morgan Kaufmann
Publishers, pp.985-992, 1992.

鈴木敏 （正員）[2] R.A.Jacobs, M.I.Jordan, S.J.Nowlan and G.E.Hinton,

平 2 東大・教養・基礎科学科卒．同年 NTT“Adaptive mixture of local experts,” Neural Compu-入社．平 4 ATR 人間情報通信研究所出向．平 9

tation, vol.3, pp.337-345, 1993.

より NTT 復帰．現在，コミュニケーション科[3] 鈴木 敏, 安藤広志, “２次元射影像からの３次元物体の認識と学基礎研究所所属．物体認識に関わる計算モデ

類別 — モジュール構造を用いた教師なし学習モデル —,” 信学

ルの研究に従事．平 6 日本神経回路学会研究賞

論, vol.J79-DII(7), pp.1291-1300, 1996.

受賞．日本神経回路学会会員．

[4] H.Ando, S.Suzuki and T.Fujita, “Unsupervised visual
learning of theree-dimensional objects using a modular network architecture,” Neural Networks, vol.12,
pp.1037-1053, 1999.

上田

修功 （正員）[5] R.Duda, and P.E.Hart, “Pattern Classification and昭 57 阪大・工・通信卒．昭 59 同大大学院修Scene Analysis,” John Wiley & Sons, NY, 1973.

士課程了．同年 NTT 電気通信研究所入所．以[6] T.Kohonen, “Self-organization and associative mem-来，画像処理，パターン認識・学習，ニューラル

ory,” Third Edition, Springer-Verlag, Berlin, 1989.

ネットワーク，統計的学習理論の研究に従事．現[7] 寺島幹彦, 白谷文行, 山本公明, “自己組織化特徴マップ上のデー

在， NTT コミュニケーション科学基礎研究所

タ密度ヒストグラムを用いた教師無しクラスタ分類法,” 信学論,知能情報研究部 学習理論研究グループ 主幹研究vol.J79-D-II, no.7, pp.1280-1290, 1996.
[8] 西森秀稔, “ニューラルネットワークの統計力学,” パリティ物理員 (特別研究員)，奈良先端大客員助教授．平 5 〜 6 米国 Purdue 大学客員研究員． 1992 年日本神経回路学会研究奨励賞， 1997 年電気学コース, 丸善, 1995.

9電子情報通信学会論文誌 ’100/xx Vol. J83–D–II No. xx
通信普及財団賞 (テレコムシステム技術賞）受賞，工博．日本神経回路学会，日本統計学会， IEEE 各会員．

付録

パラメタ設定について
学習時におけるパラメタ µ/kT, δ は，図 1(c) からおおよその値が決められる．提案学習手法では自由エネル
ギーを下げることによって粒子の存在確率を０か１に振り分けることを行うので，グラフの頂点位置が基準となり，存在確率の収束方向が決められる．従って，グラフの傾きは大きく，頂点の X 座標は偏りが少ない方が望ましい．図 1(c) では µ/kT が大きい程，グラフの傾きは大きく，頂点の X 座標も大きくなり， 4 <= µ/kT <=6程度が妥当であると考えられる．
ま た， δ の 値 は ガ ウ ス 関 数 追 加 の 基 準 を 定 め る もの で， 基 準 は 0 に 近 い ほ ど 緩 く， 逆 に µ/kT − 1 −log (µ/kT ) に近いほど厳しくなる． µ/kT = 5 の場
合には， 1.5 <=δ<= 2.3 程度が妥当である．

µ/kT = 5, δ = 2 の場合には，図 1(c) からおよそ0.57 < P < 0.93 が得られ，式 (6),(10) を使って計算すると，およそ 2.20 < ky i − xk /ρ < 3.07 となる．これはガウス関数が追加される時の，入力データと既存のガウス関数間の距離 ky i − xk が標準偏差 ρ の 3 倍前後になるときにガウス関数が追加されることを意味しており，入力データの次元や大きさの見当がつけば， ρ を決定する目安となる．同様に µ/kT = 5, δ = 2.3 の場合には，およそ 2.48 < ky i − xk /ρ < 2.88 となる．
また， α, β は 1 > α > β > 0 となるように，設定する．これは， Px の最大化による粒子の存在位置の決定を， f (x) の最大化による余剰粒子の排除に優先させるためである．

10