論文オンライン教師なし分類のための追加学習手法
小倉 和貴†

申富饒††

長谷川 修†,†††An Incremental Learning Mechanism for Online Unsupervised Classification
Tomotaka OGURA† , Furao SHEN†† , and Osamu HASEGAWA†,†††

あらまし オンライン教師なし学習手法である Self-Organizing Incremental Neural Network (SOINN)(Shen & Hasegawa, 2006) を改良した新しい手法として，Enhanced-SOINN (ESOINN) を提案する．ESOINN
は SOINN のもつオンライン教師なし学習の機能を失うことなく追加学習を可能とした．改良点は以下のとおりである．(1) 二層構造で学習を行う SOINN に対し，一層構造による学習が可能である．(2) 分布に高密度の重なりをもつクラスを分離できる．(3) SOINN と比べて少ないパラメータで動作する．(4) SOINN と比べて安定性が高い．人工データ及び実データを用いた実験により，ESOINN は SOINN より優れていることを示す．
キーワード

自己増殖型ニューラルネットワーク (SOINN)，一層構造，分布の高密度の重なり，安定性

位相構造として抽出することである．自己組織化マッ

1. ま え が き

プ (SOM) [7] はネットワークの構造を事前に決定する

教師なし学習の目的の一つはクラスタリングであ必要があり，競合ヘッブ学習 (Competitive Hebbianる．代表的なクラスタリング手法である k-means 法

Learning) と組み合わされた Neural Gas (NG) [8] はは初期値依存性を有し，大域的最適解を保証しない．

ネットワークのノード数を事前に決定する必要があ

この点を改良した Global k-means 法 [1] や Adaptive

る．そのため，これらの手法は追加学習に適さない．

Incremental LBG [2] は計算負荷が大きいという問題点がある．一般に k-means 法に基づく手法では利用者

Growing Neural Gas (GNG) [9] は定期的にノードをがクラス数 k の値を決定する必要があるが，事前に適が恒久的に増加するため永続的な学習に適さない．

挿入することで追加学習に対応しているが，ノード数

切な値を選択することは難しい．また，クラスの形状

追加学習は非定常的な入力を学習する場合に必要とが超球形であることを仮定しており，複雑な形状のクなる．つまり，既にある学習結果に対して新しいクララスに対して適切な結果を得ることは難しい．EM アスのデータが入力された場合，それに対応するクラス

ルゴリズム [3] も初期値依存性を有し，大域的最適解を追加的に形成するために必要である．このとき，以を保証しない．その他，Single-Link [4]，Complete-

前の学習結果を改悪あるいは忘却せずに，新しい入力

Link [5]，CURE [6] などは記憶容量と計算負荷の面

データに適応することが求められる．GNG-U [11] はで問題がある．

データが低密度に分布する領域に位置するノードを削

教師なし学習の別の目的は高次元データの分布を†が，追加学習には対応しておらず，以前の学習結果は
東京工業大学大学院総合理工学研究科知能システム科学専攻，横浜市

破壊されてしまう．Hamker (2001) [12] は GNG を拡

Department of Computational Intelligence and System Sci-

張して教師ありでの追加学習を実現したが，この手法

ence, Tokyo Institute of Technology, 4259 Nagatsuta-cho,
Midori-ku, Yokohama-shi, 226–8503 Japan
††

China

東京工業大学像情報工学研究施設，横浜市
Imaging Science and Engineering Laboratory, Tokyo Institute of Technology,

4259 Nagatsuta-cho,

Midori-ku,

Yokohama-shi, 226–8503 Japan

1610

は教師なし学習には適さない．

Shen と Hasegawa は Self-Organizing Incremental

中国南京大学計算機科学技術系，中国The Department of Computer Science of Nanjing University,†††

除することで非定常的な入力への対応を実現している

電子情報通信学会論文誌 D Vol. J90–D

Neural Network (SOINN) [13], [14] と呼ばれるオン
ライン教師なし学習の手法を提案した．SOINN は二層ネットワーク構造をしており，非定常的な入力を学習でき，分布に複雑な形状をもつクラスに対しても適c （社）電子情報通信学会 2007
No. 6 pp. 1610–1622 論文／オンライン教師なし分類のための追加学習手法

切なクラス数及び位相構造を出力できるなど多くの利目に近いノード（以降，第 2 勝者ノードと呼ぶ）を探索点をもつ．また，追加学習も部分的に実現している．

し，3.2 で述べる類似度しきい値という基準を用いて，一方で以下の問題点がある．(1) 1 層目は追加学習が入力ベクトルが同一のクラスタに属すかどうかを判定可能であるが，2 層目は追加学習ができない．(2) 2 層

し，第 1 勝者ノードと異なるクラスタに属す場合は入目の学習を開始するタイミングを適切に決定すること

力ベクトルと同じ位置にノードを挿入し，次の入力をが難しい．(3) 分布に低密度の重なりがあるクラスは処理する．このときの挿入はクラス間挿入と呼ばれる．

分離できるが，重なりが高密度の場合には分離できず，また，同一のクラスタに属す場合は，第 1 勝者ノード

複数のクラスが連結して一つのクラスタを形成してし及び第 2 勝者ノードを辺によって直接的に接続していまう．

るノード（隣接ノード）の重みベクトルを更新する．

本論文では以上のような SOINN の問題点を解決

また，「辺の年齢」という基準を用いて第 1 勝者ノー

した新しい手法として Enhanced-SOINN (ESOINN)

ドに接続している辺のうち不要な辺を削除する．更に，を提案する．ESOINN はオンライン教師なし学習が入力が λ 回与えられるごとにノイズと判定されたノー可能な SOINN のもつすべての機能を失うことなく，

ドを削除し，入力データとノードの位置との誤差が大

追加学習を可能とした手法であり，SOINN より少なきい領域にノードを挿入する．ただし，挿入によっていパラメータで動作する．

誤差が減少しない場合は，挿入は取り消される．この2. SOINN の概要
ここでは，提案手法のもととなった SOINN の概要について述べる．

2. 1 学習アルゴリズム

ときの挿入はクラス内挿入と呼ばれ，Growing NeuralGas (GNG) や Growing Cell Structure (GCS) などの伝統的な追加的ネットワーク構造学習と同様の仕組みである．

SOINN の 1 層目は入力回数があらかじめ設定された回数 LT に達すると学習結果としてノードの重みベ

SOINN は二層ネットワーク構造により学習を行う
が，1 層目と 2 層目は同じ学習アルゴリズムで動作する．図 1 に SOINN のフローチャートを示す．SOINN

クトル及び位相構造を出力する．学習結果として得らは入力ベクトルが与えられると，入力ベクトルに最もされる．ただし，追加学習を行う場合は，2 層目に残っ近いノード（以降，第 1 勝者ノードと呼ぶ）及び 2 番

れた重みベクトルは，学習データとして 2 層目に入力ている以前の学習結果を消去し，その上で 2 層目の学習を行う．2 層目の学習が終了すると，SOINN はク
ラス数及び各クラスの代表的なプロトタイプベクトルを出力する．ここで，プロトタイプベクトルとは代表的な入力データを集約的に表現したベクトルのことである．SOINN 及び ESOINN においてはノードの重みベクトル（アルゴリズム 4.3 における W ）がプロ
トタイプベクトルに相当する．

2. 2 1 層目と 2 層目の違い
1 層目では入力データの分布が未知であるので，類似度しきい値を適応的に変化させる．しかし，2 層目
では 1 層目の結果から入力データの分布を知ることができる．このため，2 層目では類似度しきい値として適切な値を算出し，その値（固定値）を用いる．これ
により 2 層目は 1 層目に比べて学習結果が安定する．
一方で，2 層目では学習領域全体で同じ類似度しきい値を用いるため，局所的に類似度しきい値の値が不適切となる領域が存在する．そのような領域では入力ベ
図 1 SOINN のフローチャート
Fig. 1 Flowchart of SOINN.

クトルとノードの位置との誤差が増加するため，クラス内挿入が多く行われる．これに対して，1 層目では
1611

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

類似度しきい値が適切に変化するため，未知の入力がSOINN では 3.3 で述べる競合ヘッブ学習則により適切に検出され，クラス間挿入が行われる．そのため，ノード間を接続する．ESOINN ではこの接続規則に誤差があまり増加せず，クラス内挿入はほとんど行わ

以下の改良を加える．(1) 接続が必要かどうか事前にれない．

判定する．(2) 一定期間ごとにクラス間における分布

通常，1 層目と 2 層目ではノイズ削除に関するパラの重なり領域を検出し，そこに存在する接続を消去す

メータに対して異なる値を設定して削除の振舞いをる．これにより，ESOINN は分布に高密度の重なり変化させる．すなわち，1 層目では隣接ノード数が一をもつクラスを分離できる．これらの詳細は 4. で述つであるノードをノイズとして無条件に削除する．一べる．

方，2 層目では位相構造を適切に抽出するために，隣

3. 2 ノードの挿入

接ノード数が一つであるノードのうち第 1 勝者ノード

追加学習を実現し，適切な位相構造を獲得するには，になった回数が他と比べて極端に少ないノードのみ削

ネットワークを成長させることが重要である．これは除する．追加学習において 2 層目の学習結果を削除す

ノードの挿入によって実現できるが，ノード数の恒久る理由はここにある．追加学習において新規に挿入さ的な増加による悪影響を防ぐには，十分な数のノードれるノードは，長期間学習を行ったノード（以前の学が得られた時点で挿入を停止する必要がある．

習結果）に比べれば第 1 勝者ノードになった回数が少SOINN ではノードの挿入にあたってクラス間挿入ない．そのため，追加学習のために必要なノードのほとクラス内挿入の 2 種類を用いているが，2.2 で述べとんどがノイズとして削除されてしまう．これを防ぐ

たように，クラス内挿入は 1 層目の学習にはほとんど

ため，以前の学習結果を削除し，再学習を行う．

寄与しない．そのため，ESOINN ではクラス間挿入

3. Enhanced-SOINN (ESOINN)

のみを用いてノードの挿入を行う．クラス間挿入では，
入力ベクトルが未学習領域への入力であるかどうかを

3. 1 SOINN と ESOINN の違い

判定し，そのような入力の場合にノードを挿入する．

SOINN は二層ネットワーク構造により学習を行う

すなわち，入力ベクトルとその最近傍ノード k との距が，そのために次の問題点をもつ．

•

1 層目の学習を停止して 2 層目の学習を始める

適切なタイミングを利用者が決定する必要がある．

•

1 層目はオンラインでの追加学習が可能であるが，2 層目はそれができない．

離がノード k の類似度しきい値 Tk より大きい場合には，未学習領域への入力であると判断し，入力ベクトルの位置に新しいノードを挿入する．類似度しきい値
はボロノイ領域の考えに基づいて計算されるが，ノードの位置は学習を進めることで次第に変化し，それにESOINN は SOINN と同じ機能を一層ネットワー

伴ってボロノイ領域も変化する．つまり，類似度しきク構造で実現する．そのため，ESOINN では 2 層目

い値はノードの位置変化に応じて適応的に変化する必の学習を始めるタイミングを決定する必要がない．ま要がある．

た，ESOINN は SOINN の 1 層目をもとに改良を加えた手法であり，SOINN の 1 層目がもつ追加学習などの機能を受け継いでいる．つまり，オンラインでの追加学習を実現できる．

ノード i の重みベクトルを Wi とするとき，ボロノ
イ領域 Vi は以下の式で定義される．

Vi = {W | W − Wi  ≤ W − Wj , i = j} (1)

SOINN では追加学習のために 1 層目及び 2 層目にボロノイ領域 Vi の内部に入力ベクトルが与えられた

おいてネットワークに新しいノードを挿入する．この場合，その入力はノード i によって学習済みの領域にとき，クラス内挿入とクラス間挿入の 2 種類を用いる

入力されたと判断する．ここで，ボロノイ領域の定義

が，クラス内挿入には多くのパラメータが必要である．

から，ボロノイ領域 Vi の内部にはノード i 以外のノー

そのため，SOINN の動作には合計八つのパラメータ

ドは存在しないため，ノード i から最も遠い隣接ノーが必要となる．一方，ESOINN ではクラス間挿入のドまでの距離より離れた領域は明らかにノード i のボみを用いるため，SOINN より少ない合計四つのパラ

ロノイ領域 Vi の外側であると考えることができる．つメータで動作する．また，クラス内挿入の削除によるまり，類似度しきい値を隣接ノードまでの最大距離と学習結果への影響はほとんどない．これらの詳細はすることで，未学習領域を適切に判定できる．ただし，3.2. で述べる．

本論文における隣接ノードは位相構造上の隣接ノード

1612

論文／オンライン教師なし分類のための追加学習手法を指す．すなわち，辺 (i, j) が存在するときのみ，ノード i とノード j は隣接ノードである．ESOINN ではア
ルゴリズム 3.1 に従って類似度しきい値を計算する．
このアルゴリズムは SOINN における類似度しきい値の計算とほぼ同じである．
アルゴリズム 3.1 : 類似度しきい値 T の計算
Step 1. 新しく挿入されたノード i の類似度しきい値
Ti を +∞ とする．
Step 2. ノード i が入力ベクトルから最も近いノード

図 2 分布に重なりのあるクラス
Fig. 2 Overlapped classes.

または 2 番目に近いノードになったとき，類似度しき
い値 Ti を以下の手順で更新する．

•

ノード i が隣接ノードをもつ場合：Ti を隣接ノードはその位置を恒久的に少しずつ変化させる．それゆ

ドへの最大距離とする (Ti = maxc∈Ni Wi − Wc )．

え，はじめは隣接していたノードが一定期間を経た後

ここで，Ni はノード i の隣接ノードの集合とする．

には隣接しないことが起こり得る．このような場合に•ノード i が隣接ノードをもたない場合：ノード iからそれ以外の各ノードへの距離を計算し，その最小距離を Ti とする (Ti = minc∈A\{i} Wi − Wc )．こも，一定期間を経ても更新されない辺を削除することで対処できる．

ESOINN では競合ヘッブ学習則に変更を加える．すこで，A はノードの集合とする．

なわち，ESOINN では第 1 勝者ノード及び第 2 勝者

ESOINN においてクラス内挿入を削除したことは学習結果に影響しない．既に述べたように，SOINNのクラス内挿入は 1 層目の学習にはほとんど寄与しない．つまり，一層構造で学習を行う ESOINN ではク

ノードを接続する前にその必要性を判定し，接続が必の部分）が存在する．このため SOINN の仕組みを用

ラス間挿入のみで位相構造を表現するにあたって十分いると，二つのクラスは接続されて一つのクラスタをな数のノードを得ることができる．クラス間挿入では形成してしまう．これを防ぐためには，第 1 勝者ノー

要な場合のみ辺を生成する．例えば，図 2 において，二つのクラス間には分布の重なり（図 2 における A

未学習領域への入力が与えられた場合にノードを挿入

ドと第 2 勝者ノードが分布の重なり領域に位置する場

する．そして，その後の処理により，挿入されたノー

合には，それらを接続しない仕組みが必要である．

ドと既にクラスタを形成しているノードが接続される

アルゴリズム 3.2 : ESOINN における辺の生成ことで，それらが一つのクラスタとしてまとまる．こ

Step 1. 入力ベクトルに対し，第 1 勝者ノードと第 2のとき，類似度しきい値が適応的に変化することで，勝者ノードを探索する．

ネットワークの形成に十分な数のノードが挿入される．

Step 2. 第 1 勝者ノードに接続されているすべての

また，ノードが各クラスの境界位置まで挿入されると，辺の年齢を 1 増加させる．

未学習領域が存在しなくなり，ノードの挿入は自動的

Step 3. 第 1 勝者ノードと第 2 勝者ノードの間に辺に停止される．つまり，ノードの永続的な挿入を防ぐが必要かどうか判定する．

ことができる．5. で述べる実験結果も，クラス間挿入
のみで適切な位相構造を獲得できることを示している．

3. 3 ノードの接続•必要な場合：第 1 勝者ノードと第 2 勝者ノードの間に辺が存在しなければ，辺を生成し，第 1 勝者
ノードと第 2 勝者ノードの間に存在する辺の年齢を 0

SOINN では，ノード間を接続するために Martinetz
が Topology Representing Network (TRN) [16] におに更新する．

いて提案した競合ヘッブ学習則を用いる．すなわち，の間に辺が存在すれば，それを削除する．

•

不要な場合：第 1 勝者ノードと第 2 勝者ノード

第 1 勝者ノード及び第 2 勝者ノードを探索し，それら

アルゴリズム 3.2 において，第 1 勝者ノードと第 2の間に辺を作ることでそれらを接続する（既に辺が存

勝者ノードが分布の重なり領域に位置するかどうかを在する場合はその辺を更新する）．この規則により生基準として接続の必要性を判定することで，分布に重成されるネットワークは位相構造を適切に表現するこなりのあるクラスを分離できる．

とが証明されている．オンライン学習において，ノーESOINN は分布に高密度の重なりのあるクラスを
1613

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

分離できる．これは，辺の生成にあたってその必要性の端の領域で学習結果が不安定になってしまう．また，を判定すること，及びクラス間の分布の重なり領域をノイズの少ないデータについても同様のことが起き，検出する仕組みを導入したことで実現される．これら

学習結果が不安定になってしまう．これらを防ぐための詳細は 4. で述べる．

に SOINN では削除の振舞いを調節している．また，

3. 4 ノードの属すクラスを決定する

SOINN が二層構造であることもノイズの削除におい[13] で は ，い く つ か の 辺 を 通 し て 二 つ の ノ ーて有効な役割を果たす．つまり，1 層目と 2 層目のそド が 接 続 し て い る こ と を ，そ れ ら 二 つ の ノ ー

れぞれでノイズ削除を行うため，より効果的にノイズ

ド 間 に は “パ ス” が 存 在 す る と 表 現 し て い る ．

を削減できる．

つ ま り，a, b, xi ∈ A，i = 1, 2, . . . , n と し て(a, x1 ), (x1 , x2 ), . . . , (xn−1 , xn ), (xn , b) ∈ C ，という辺の連続が存在するとき，ノード a とノード b の間にノイズに相当するノードを削除する．すなわち，入力はパスが存在する．ここで，A はノードの集合，C はとき，隣接ノード数が二つ以下であるノードを削除す辺の集合である．

る．ESOINN では隣接ノード数が二つであるノード

Martinetz と Schulten は [16] において，競合ヘッ

ESOINN では，SOINN とよく似た仕組みを用いてされたベクトルの総数がパラメータ λ の倍数になったを削除する点が SOINN と異なる．また，ESOINN でブ学習則によって，与えられた多様体を適切に表現す

はノードの密度という概念，及び二つのパラメータ c1

るパスが形成されることを証明した．パスが適切に形（隣接ノード数が二つの場合），c2 （隣接ノード数が一成されているとき，与えられた多様体はどの部分が分つの場合）を用いて，削除の振舞いを調節する．ノー

離しているか，すなわち，異なるクラスタを形成してドの密度の詳細は 4. で述べる．

いるかを決定できる．つまり，二つのノードがパスによって接続していれば，それらのノードは同一のクラ

4. クラス間における分布の重なり

スタに属すと判断できる．ESOINN では，ノードのここでは，ノードの密度の定義，クラス間における属すクラスを決定する際に SOINN と同じアルゴリズ

分布の重なりを検出する方法，及び第 1 勝者ノードとムを用いる．

第 2 勝者ノードの接続における判定基準について述べアルゴリズム 3.3 : ノードの属すクラスを決定する

る．重なり領域の検出にあたって，重なり領域の密度

Step 1. すべてのノードをどのクラスにも属していな

はクラス中心部分の密度より低いという仮定を用いる．

い状態にする．

Step 2. どのクラスにも属していないノード i をラン

4. 1 ノードの密度
ノードの密度は局所的に与えられる入力の数によっダムに選択し，新しいクラスのラベルを貼る．

て定義できる．すなわち，あるノードの近くに多くのStep 3. ノード i とパスによって接続しているノード

入力が与えられるなら，そのノードの密度は高く，逆をすべて探索し，ノード i と同じラベルを貼る．
Step 4. どのクラスにも属していないノードが存在す
るなら，Step 2 に戻る．

にその近くに入力がほとんど与えられないなら，そのノードの密度は低いと考えられる．つまり，ノードが第 1 勝者ノードになった回数（勝者の回数）をノード

3. 5 ノイズに相当するノードを削除するの密度として定義できる．この定義は GCS や SOINN

SOINN では分布が低密度の領域に位置するノードなどの手法に導入されている．これは自然な定義であをノイズとみなして削除する．すなわち，入力されたるが以下の問題点をもつ．

ベクトルの総数がパラメータ λ の倍数になったとき，（ 1 ） 一般に分布が高密度の領域には多くのノード

隣接ノード数が一つ以下であるノードを低密度の領が生成されるため，そのような領域では第 1 勝者ノー域に位置するとみなして削除する．ただし，一次元のドになる機会が少ない．つまり，より高密度の領域にデータ若しくはノイズの少ないデータに対しては，削位置するノードほど勝者の回数が多いとは限らない．

除対象のノードが第 1 勝者ノードになった回数を利用（ 2 ） 追加学習を行う場合，以前の学習において生して削除の振舞いを調節する．これは次の理由による．

成されたノードは第 1 勝者ノードにならないことが多一次元のデータの場合，分布の端に生成されるノード

い．つまり，追加学習によってそれらのノードの勝者

は隣接ノード数が必ず 1 となる．そのため，隣接ノーの回数が相対的に少なくなり，以前の学習で得られたド数が一つ以下という条件でノードを削除すると分布結果に悪影響を与えてしまう．

1614

論文／オンライン教師なし分類のための追加学習手法

ESOINN では，上記の問題を解決するために密度区間の数である（N と n は必ずしも同じでない点にに対する新しい定義を用いる．基本的な考えは “勝者注意する）．追加学習に対応するために n の代わりにの回数” と同じであるが，“回数” の代わりに “ポインN を用いている．追加学習において，以前の学習で生ト” を用い，ノードの密度を累積ポイントの平均とし成されたノードにはポイントが与えられないことが多て定義する．“勝者の回数” による定義では特定のノー

く，n を用いて密度を算出すると，以前学習したノードのみを用いて密度の計算を行うが，新しい定義ではドの密度は次第に低くなってしまう．しかし，N を用ノード間の関係を考慮する．ポイントの計算において，

いて密度を算出することで，追加学習を長時間行ってはじめに隣接ノードへの平均距離 d¯i を計算する．

も，追加されるデータが以前学習したノードの近くに

1
d¯i =
m

m


入力されない限り，そのノードの密度は変化せずに保||Wi − Wj ||22

(2)

j=1

ここで，m はノード i における隣接ノードの数，Wiはノード i の重みベクトルとする．そして，ノード ipi =1(1+d¯i )20

する方法である．GCS や SOINN などの手法はこの第 1 勝者ノードの場合
それ以外の場合(3)にはノードが少ないと考えられ，逆に平均距離が小さい場合は，その領域にはノードが多いと考えられる．
式 (3) を用いることで，ノードの多い領域で第 1 勝者
ノードになった場合には高いポイントが与えられ，逆にノードの少ない領域で第 1 勝者ノードになった場合には低いポイントが与えられることが分かる．つまり，“勝者の回数” による密度の定義における最初の問題点を解決できる．式 (3) において，ポイントの値を 1 未満にするために分母に 1 を加えている．
連続して与えられる入力を一定回数 λ ごとの区間に分け，各区間においてノード i に与えられたポイント

(

pi

)

で与えられるクラスにおいて，分布の重なり領域である領域 A の密度は重なり領域でない領域 B や領域 Cの密度より高い．これは，重なり領域が複数のクラスから構成されるため，密度がある程度高くなってしまうために起きる．つまり，単純に密度の高低を用いる
だけでは重なり領域の検出は難しい．この問題を解決するため，ESOINN では新しい方法を導入する．

SOINN において，いくつかのクラス間の分布に重なりがある場合，ある程度学習が進むと，それらのクラスに属すノードが互いに接続して一つのクラスタを形成することがある．ここでは，そのような混合クラスタ（複数のクラスからなるクラスタ）において分布の重なり領域を検出する方法，及び異なるクラスからの合計を累積ポイント si と呼ぶことにする．
n
λ


(j,k)

考えを用いている．しかし，この考えが正しいとは限らない．例えば，図 2 のようないくつかのガウス分布

隣接ノードへの平均距離が大きい場合は，その領域

si =4. 2 分布の重なり領域の検出密度の定義を用いて分布の重なり領域を検出する簡単な方法は，密度の低い領域を重なり領域として検出のポイント pi を以下の式で算出する．



持される．つまり，“勝者の回数” による密度の定義における 2 番目の問題点を解決できる．

生成されたクラスタが接続されることを防止し，クラ(4)

j=1 k=1

スタを適切に分離する方法について述べる．
はじめに，分布の重なり領域を検出するために，混合クラスタを以下の規則に基づき，いくつかのサブク

ここで，n は区間の総数を表す（n は入力総数を LT(j,k)とするとき，LT /λ によって計算される）．また，piは j 番目の区間における k 番目の入力によってノードラスタに分割する．
アルゴリズム 4.1 : 混合クラスタのサブクラスタへの分割

i に与えられたポイントを意味する．
そして，ノード i の密度 densityi を累積ポイントのStep 1. 密度が局所的に最大となっているノードをサ平均として以下で定義する．

索し，それぞれに異なるラベルを貼る．

1
1   (j,k)
si =
(
pi )
N
N
n

densityi = s¯i =ブクラスタの頂点とする．そのような頂点をすべて探Step 2. それ以外の全ノードに対して，密度が最大の

λ(5)

j=1 k=1

ここで，N は与えられたポイントの合計が 0 以上の隣接ノードと同じラベルを貼る．

Step 3. 異なるラベルを貼られたノード間に接続がある場合，それらのノードをサブクラスタの境界，つま1615

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6



 0.0
αA =

0.5

 1.0

1 ≥ Amax /meanA − 1
2 ≥ Amax /meanA − 1 > 1
Amax /meanA − 1 > 2(8)

ここで，meanA はサブクラスタ A に属すノードの密度の平均値である．

meanA =

1 
densityi
NA

(9)

i∈A

図3

分布に重なりのあるクラス（細かい凹凸がある場合）

Fig. 3

Overlapped classes with small irregularities.

ここで，NA はサブクラスタ A に属すノードの数を表す．

り，分布の重なり領域とする．
アルゴリズム 4.1 を用いることで，図 2 には二つのサブクラスタがあり，領域 A が重なり領域であることが検出できる．
この方法にはいくつかの問題が存在する．例えば，
図 3 には二つのクラスが存在するが，密度の分布には細かい凹凸がある（これはノイズや学習サンプルが少ないことが原因となって起きる）．このような状況でア
ルゴリズム 4.1 を用いると，非常に多くのサブクラス
タ及び重なり領域が検出されてしまう．この問題を解決するには，サブクラスタへの分離を行う前に，図 3
を図 2 のように平滑化する必要がある．実際には，ある基準を満たした二つのサブクラスタを一つに統合することで平滑化を実現する．
例えば，図 3 における二つのサブクラスタ A と B
において，サブクラスタ A の頂点の密度が Amax ，サブクラスタ B の頂点の密度 Bmax であるとする．ここで，第 1 勝者ノード及び第 2 勝者ノードがサブクラ
スタ A 及び B の間にある分布の重なり領域に位置し，以下の条件のいずれかを満足するとき，サブクラスタ

A と B を統合する．
min (densitywin , densitysec-win ) > αA Amax (6)min (densitywin , densitysec-win ) > αB Bmax (7)式 (8) において，サブクラスタの密度の凹凸の程度を判定し α の値を決定している．Amax /meanA の値
によって Amax と meanA の大きさの比を算出できるが，Amax ≥ meanA であるため Amax /meanA の最小値は 1 となる．式 (8) では，最小値を 0 にするために Amax /meanA − 1 を用いている．ここで，その値が 1 以下の場合には，Amax と meanA の値は同程度であり，密度の凹凸はノイズの影響によるものと判断する．そして，α の値を 0.0 とすることで，サブクラ
スタが統合されるようにしている．また，値が 2 を超える場合には Amax が meanA に比べて十分大きく，明らかな密度の凹凸が存在すると判断する．そして，α の値を 1.0 とすることで，サブクラスタが分離されるようにしている．それ以外の場合は，α の値を 0.5とすることで，密度の凹凸の大きさに応じてサブクラ
スタが統合または分離されるようにしている．
以上をまとめると，混合クラスタを異なるサブクラ
スタに分割し，それらを適切に統合することで，分布の重なり領域を検出できる．そして，異なるサブクラ
スタに属するノード間に存在する接続を削除すること
で，分布に重なりのあるクラスを分離できる．
アルゴリズム 4.2 : ノード間を接続する条件

Step 1. 第 1 勝者ノードまたは第 2 勝者ノードが，どのサブクラスタにも属していないノードであるなら，ノード間に辺を生成し，それらを接続する．

ここで，densitywin 及び densitysec-win はそれぞ

Step 2. 第 1 勝者ノード及び第 2 勝者ノードが同じ

れ第 1 勝者ノード及び第 2 勝者ノードの密度を表す．

サブクラスタに属す場合，ノードの間に辺を生成し，式 (6) 及び式 (7) によって密度の凹凸の大きさを判定している．つまり，サブクラスタ A と B の間にあそれらを接続する．

る谷間の密度（左辺）がしきい値（右辺）より大きい

Step 3. 第 1 勝者ノードと第 2 勝者ノードが異なる
サブクラスタ A と B に属すなら，以下の方法により，場合，小さな凹凸であると判定する．しきい値はサブ

二つのノード間の接続が必要であるかどうか判定する．

クラスタの頂点の密度を α 倍した値とし，α ∈ [0, 1]
は式 (8) により算出する．

•

m = min(densitywin , densitysec-win ) を計算する．ここで，densitywin 及び densitysec-win はそれ
ぞれ第 1 勝者ノードの密度及び第 2 勝者ノードの密度1616

論文／オンライン教師なし分類のための追加学習手法

を表す．

•

αA Amax > m かつ αB Bmax > m を満たすな

Step 5. 式 (5) を用いて第 1 勝者ノードの密度を更新する．

ら，二つのノードを接続しない．また，既にノード間

Step 6. 第 1 勝者ノードの累積入力数 Ma1 を 1 増に接続がある場合には接続を削除する．

やす．

•

m ≥ αA Amax または m ≥ αB Bmax を満たす

なら，二つのノードを接続し，サブクラスタ A と Bを統合する．
サブクラスタへの分割処理において，ノイズなどの影響によりサブクラスタが誤って分割される場合があ

Ma1 = Ma1 + 1
Step 7. 第 1 勝者ノード及びその隣接ノードの重みベクトルを微少量 !1 (t)，!2 (t) 及び入力ベクトルまでの距離を用いて更新する．

る．このような場合でも正しい再分割を行うために，
アルゴリズム 4.2 では第 1 勝者ノードと第 2 勝者ノー

∆Wa1 = !1 (Ma1 )(ξ − Wa1 )ドが異なるサブクラスタに属す場合も，それらのノー∆Wi = !2 (Ma1 )(ξ − Wi )ドを接続する機会を与えている．

ESOINN の結果は SOINN の結果に比べて安定する
が，これは以下の理由による．クラス間に低密度の重なりがある場合，SOINN はある程度それらを正しく分割できるが，分割に失敗して一つのクラスタを形成することもあり，結果が安定しない．一方，ESOINN
では低密度の分布の重なりを安定的に分離できる．また，平滑化の手法を導入することで，分けすぎによる不安定化も防止している．

4. 3 ESOINN 全体のアルゴリズム
2. 及び 3. のまとめとして，ESOINN 全体のアルゴ
リズムを述べる．
アルゴリズム 4.3 : Enhanced-SOINN (ESOINN)

Step 1. 入力ベクトル群からランダムに二つのベクトルを選択し，ノード集合 A をそれらに対応する二つのここで，ノード i はノード a1 の隣接ノードとする．また，重みベクトルの更新は SOINN と同じ仕組みを用いて行う．すなわち，次の式を用いて，入力数に応じて学習率を変化させる．

!1 (t) = 1/t!2 (t) = 1/100t
ここで，t は入力回数であるが，システムへの入力回数ではなく，第 1 勝者ノードへの累積入力数 Ma1 を用いる．これは，追加学習に対応するためである．

Step 8. あらかじめ設定されたしきい値 aget を超えた年齢をもつ辺を削除する．

Step 9. これまでに入力されたベクトルの総数がパラメータ λ の倍数となった場合，以下を行う．

ノードのみを含む集合として初期化する．また，辺集（ a ） 各ノードのサブクラスタのラベルをアルゴリ合 C ⊂ A × A を空集合として初期化する．

ズム 4.1 を用いて更新する．

Step 2. 新しい入力ベクトル ξ ∈ Rn を入力する．
Step 3. ξ に最も近いノード a1（第 1 勝者ノード）及
び 2 番目に近いノード a2 （第 2 勝者ノード）を探索

イズに相当するノードを削除する．

する．

a1 = arg mina∈A ξ − Wa 
a2 = arg mina∈A\{a1 } ξ − Wa 
ここで，ξ と a1 または ξ と a2 の距離が類似度しきい（ b ） A に属す全ノードに対して，以下の手順でノi. 隣接ノードを二つもつ場合：ノードの密度がc1 j=1 densityj /NA 未満なら，ノードを削除する．
ここで，NA はノード集合 A の要素数である．
ii. 隣接ノードを一つもつ場合：ノードの密度が
NA
c2 j=1 densityj /NA 未満なら，ノードを削除する．

NAiii. ノードが隣接ノードをもたない場合：ノード

値 Ta1 または Ta2 より大きければ，入力ベクトルを新を削除する．

しいノードとしてノード集合 A に加え，Step 2 に進Step 10. オンライン学習を終了するなら，アルゴリ
ズム 3.3 を用いてノードの分類を行い，クラス数及び

み，次のベクトルを処理する．類似度しきい値 T はア
ルゴリズム 3.1 によって算出される．
Step 4. アルゴリズム 4.2 を用いて，a1 と a2 の間に接続が必要かどうかを判定し，アルゴリズム 4.2 にStep 11. 学習を終了しない場合，Step 2 に進み，学

従って接続を生成する．

習を続ける．

各クラスのプロトタイプベクトルを出力し，学習を停
止する．

1617

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

5. 実

した．これにより，ESOINN が SOINN と同程度の機験能を有していることが確認された．

5. 1 人工データ

次に，図 6 に示した人工データセットを用いて比較

最初に，図 4 に示した人工データセットを用いて実験を行った．データセットは分布に重なりのある三

SOINN と ESOINN の比較実験を行った．データセッ

つのガウス分布から構成され，10%の一様ノイズが加トは分布に重なりのある二つのガウス分布，二つのえられている．このデータセットは図 4 に示したデー

同心円，及びサインカーブの合計五つのクラスによっ

タセットに比べて分布に高密度の重なりをもつ．定常て構成されている．また，実世界の環境を想定して，的な環境では，データセット全体からランダムに入力10%の一様ノイズが加えられている．SOINN では [13]ベクトルを選択し，非定常的な環境では，各クラスかにおいて同じデータセットを用いた実験が行われ，定ら順にそれぞれ 10,000 回ずつ入力ベクトルを選択し常的な環境及び非定常的な環境における実験ともに，て学習を行った．

五つのクラス及び各クラスの位相構造を適切に出力す

図 7 は SOINN（パラメータは λ = 200，aget = 50，c = 1.0，α1 = 1/6，α2 = 1/4，α3 = 1/4，β = 2/3，
γ = 3/4 とした．λ，aget，c は実験により定め，α1 ，ることが示された．ここで，定常的な環境では，データセット全体からランダムに入力ベクトルを与え，非定常的な環境では，データセットを図 4 に示す七つの領域に分け，一定期間ごとに入力環境を表 1 に従って切り換えながら入力ベクトルを与えた．非定常的な環
境における実験はオンラインでの追加学習を想定して行われた．
同じデータセットを用いて，ESOINN（パラメータは λ = 100，aget = 100，c1 = 0.001， c2 = 1.0 とした．これらは実験により定めた）による実験を行った．
図 5 は定常的な環境及び非定常的な環境における実験結果である．どちらの環境においても，ESOINN は
五つのクラス及び各クラスタの位相構造を適切に出力(a) Stationary(b) Non-stationary

図 5 データセット I における ESOINN の結果
Fig. 5 ESOINN results for data set I.

図 6 人工データセット II
Fig. 6 Artiﬁcial data set II.

図 4 人工データセット I
Fig. 4 Artiﬁcial data set I.

表1 入力環境
Table 1 Input environments.
Area
A
B
C
D
E1
E2
E3

1618

Environment
I
II
III
○
×
○
×
○
×
×
×
○
×
×
×
×
×
×
×
×
×
×
×
×

IV
×
○
×
○
×
×
×

V
×
×
×
○
○
×
×

VI
×
×
○
×
×
○
×

VII
×
×
×
×
×
×
○

(a) Stationary(b) Non-stationary

図 7 データセット II における SOINN の結果
Fig. 7 SOINN results for data set II.

論文／オンライン教師なし分類のための追加学習手法(a) Stationary(b) Non-stationary

図 8 データセット II における ESOINN の結果
Fig. 8 ESOINN results for data set II.

Fig. 9図 9 SOINN の出力クラス数
SOINN distribution of number of classes.

Fig. 10

図 10 ESOINN の出力クラス数
ESOINN distribution of number of classes.

α2 ，α3 ，β ，γ は [13] と同様とした）における結果である．これらの結果から，定常的な環境，非定常的な環境ともに，SOINN では高密度の重なりのあるクラスを分離できないことが分かる．図 8 は ESOINN（パラメータは λ = 200，aget = 50，c1 = 0.001，c2 = 1.0とした．これらは実験により定めた）における結果である．これらの結果から，ESOINN では高密度の重なりをもつクラスを分離でき，三つのクラス及び各クラスの位相構造を適切に出力することが分かる．

5. 2 実 デ ー タの結果，SOINN と同程度の認識率（定常的な環境でここでは 2 種類の実データセットを用い，SOINN

90%，非定常的な環境で 86%）が得られた．SOINNと ESOINN の性能を比較する．

と ESOINN で同程度の結果が得られたが，これはデー

最初に，AT&T FACE データベース (http://www.

タセットのサンプル数が少なく，クラス間の分布の重uk.research.att.com) を用いた比較実験を行った．デー
タセットは，AT&T FACE データベースから選択された 10 クラス（各クラスは 10 個のサンプルを含む）

なりが低密度であるためと考えられる．これにより，

ESOINN は SOINN と同程度の機能を有していることが確かめられた．

を用いた．オリジナル画像は 92 × 112 ピクセル，グSOINN 及び ESOINN の安定性を比較するため，

レースケール 256 階調である（ [13] の図 11 を参照）．

それぞれ 1,000 回ずつ実験を行い，出力クラス数の実験にあたって，オリジナルの画像を 23 × 28 ピクセ

頻度を調べた．図 9 は SOINN における結果であり，

ルに縮小し（最近傍法により補間），ガウス分布（サ

図 10 は ESOINN における結果である．これらの図

イズ 4，分散 2）による平滑化を行った画像を用いた．

は，定常的な環境及び非定常的な環境ともに ESOINN

これらの処理によって得られた特徴ベクトル（ [13] のは SOINN に比べて 10 クラス前後を出力する回数が

図 12 を参照）を入力ベクトルとした．

多いことを示している．この結果から，ESOINN は
SOINN に比べて安定していることが分かる．

定常的な環境では，入力ベクトルをデータセット全体からランダムに選択し，非定常的な環境では，各ク

更に ，別の実デー タを用 いて比較 実験を 行った．

ラスから順にそれぞれ 1,000 回ずつ入力ベクトルを選データとして，Optical Recognition of Handwritten

択して学習を行った．定常的な環境，非定常的な環境

Digits database (Optdigits) (http://www.ics.uci.
edu/˜mlearn/MLRepository.html) を選択した．このデータセットは 10 クラスの手書き数字からなり，学ともに ESOINN（パラメータは λ = 25，aget = 25，

c1 = 0.0，c2 = 1.0 とした．これらは実験により定めた）はクラス数として 10 クラスを出力する場合が最多

習データとして 3,823 個，テストデータとして 1,797であった．また，そのとき得られたプロトタイプベク

個のサンプルがある．サンプルの次元数は 64 である．

トルの一つを用い，[13] における SOINN の実験と同

まず，SOINN（パラメータは λ = 200，aget = 50，

様に，オリジナルのデータセットの識別を行った．そc = 1.0，α1 = 1/6，α2 = 1/4，α3 = 1/4，β = 2/3，
1619

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6を超える認識率を得た．また，ESOINN について 100回の実験を行い，クラス数の変動を調べた結果，定常的な環境，非定常的な環境ともに 10〜13 クラスが出

図 11 SOINN におけるプロトタイプベクトル
Fig. 11 SOINN result of Optdigits data set.

力され，SOINN より安定することが示された．
実データ Optdigits を用いた実験の結果から，ES-

OINN は SOINN と比べ，分布に重なりのあるクラスを分離できること，高い認識率を得ること，及び安定
図 12 ESOINN におけるプロトタイプベクトル
Fig. 12 ESOINN result of Optdigits data set.

性が高いことが示された．

5. 3 パラメータの決定
ここでは，各パラメータの役割とパラメータ決定に

γ = 3/4 とした．λ，aget，c は実験により定め，α1 ，α2 ，α3 ，β ，γ は [13] と同様とした）による実験を行っ関する指針を述べる．

5. 3. 1 SOINN におけるパラメータ

た．その結果，定常的な環境，非定常的な環境ともに，

λ はノイズとみなされるノードを削除する周期であクラス数として 10 クラスを出力する場合が最多であっる．小さな値を設定すると頻繁にノイズ処理が行われた．図 11 は SOINN の結果におけるプロトタイプベ

るが，極端に小さくすると実際はノイズではないノー

クトルの一例である．ここで，SOINN で得られたプドを誤って削除してしまう．逆に極端に大きな値を設

ロトタイプベクトルを用いてテストデータの分類を定するとノイズの影響で生成されたノードを適切に取行った．その結果，定常的な環境で 92.2%，非定常的り除くことができない．

な環境で 90.4%の認識率を得た．更に，SOINN につaget はノイズなどの影響で誤って生成された辺を削いて 100 回の実験を行い，クラス数の変動を調べたと除するために用いられる．小さな値を設定すると辺がころ，定常的な環境，非定常的な環境ともに 6〜13 ク

削除されやすくなりノイズによる影響を防ぐことがでラスが出力された．

きるが，極端に小さくすると頻繁に辺が削除されるよ

次に，ESOINN（パラメータは λ = 200，aget = 50，

うになり学習結果が不安定になる．逆に極端に大きな

c1 = 0.001，c2 = 1.0 とした．これらは実験により定値を設定するとノイズの影響で生成された辺を適切にめた）による実験を行った．その結果，定常的な環境，取り除くことができない．

非定常的な環境ともに，クラス数として 12 クラスをc ∈ [0, 1] は隣接ノード数が一つであるノードをノイ出力する場合が最多であった．図 12 は ESOINN の結ズとみなすかどうかの判定に用いられる．0 に近い値

果におけるプロトタイプベクトルの一例である．図 11を設定するとすべてがノイズとみなされる．また，1と図 12 を比べると，数字の「1」を，SOINN では一に近い値を設定するとほとんどがノイズでないとみな

つのクラスとして出力し，ESOINN では 2 クラスにされる．通常は 1 層目ではノイズを効果的に削除する分けていることが分かる（同様に，ESOINN では数字ために 1 に近い値を用い，2 層目では位相構造を適切の「9」も 2 クラスに分けている）．オリジナルのデーに抽出するために 0 に近い値を用いる．



タセットにおいて，図 12 の 1 と 1 のようなサンプル

α1 ，α2 ，α3 ，β ，γ はクラス内挿入で用いられる．入の間には大きな違いがある（同様に 9 と 9 の間にも力データの分布が局所的には一様であるとの仮定を用

大きな違いがある）ため，ESOINN ではこれらを分いると，α1 = 1/6，α2 = 1/4，α3 = 1/4，β = 2/3，



離したと考えられる．また，SOINN では図 12 の 1

γ = 3/4 が数学的に導かれ，通常はこれらの値を用や 9 のようなサンプルは抽出されていない．これらのいる．

結果から，ESOINN では分布に重なりのあるクラス（図 12 の 1 と 1 や 9 と 9 ）を分離でき，オリジナル

5. 3. 2 ESOINN におけるパラメータ

データの情報を SOINN より適切に保存できることがλ 及び aget は SOINN と同じパラメータである．c1 ，
c2 は SOINN におけるパラメータ c に相当し，c1 は示された．

隣接ノード数が二つであるノードを，c2 は隣接ノード

更に，ESOINN で得られたプロトタイプベクトルを数が 1 であるノードをそれぞれノイズとみなすかどう

用いてテストデータの分類を行った結果，定常的な環かの判定に用いられる．通常，隣接ノード数が一つで境で 94.3%，非定常的な環境で 95.8%という SOINN

あるノードはノイズであることが多いので c2 は 1 に1620

論文／オンライン教師なし分類のための追加学習手法

近い値を用いる．また，隣接ノード数が 2 であるノー
ドはノイズでないことが多いので c1 は 0 に近い値をno.1, pp.59–69, Jan. 1982.
[8]

T.M. Martinetz, S.G. Berkovich, and K.J. Schulten,““Neural-gas” network for vector quantization and

用いる．ESOINN ではクラス内挿入を行わないため，

its application to time-series prediction,” IEEE

パラメータ α1 ，α2 ，α3 ，β ，γ は存在しない．

Trans. Neural Netw., vol.4, no.4, pp.558–569, July
1993.

6. む す び[9]

本論文では，SOINN を改良した新しい手法として
Enhanced-SOINN (ESOINN) を提案した．提案手法

B. Fritzke, “A growing neural gas network learns
topologies,” Advances in Neural Information Processing Systems (NIPS), vol.7, pp.625–632, 1995.

[10]

G.A. Carpenter and S. Grossberg, “The art of adap-

は SOINN のもつすべての機能を実現できるため，オtive pattern recognition by a self-organizing neural

ンライン教師なし学習が可能である．また，二層構造

network,” Computer, vol.21, no.3, pp.77–88, March

で学習を行う SOINN に対して，ESOINN は一層構

1988.
[11]

造での学習を実現し，完全なオンラインでの追加学習

low non-stationary distributions,” Proc. ICANN’97,
pp.613–618, 1997.

が可能である．ESOINN は，ノード間を接続する条件を与えることで，高密度の重なりのあるクラスを分[12]

ence,” Neural Netw., vol.14, no.4-5, pp.551–573, May

入のみを採用したことで，SOINN より四つ少ないパ

2001.
[13]

learning,” Neural Netw., vol.19, no.1, pp.90–106,

残された課題として以下が挙げられる．ESOINN はJan. 2006.
[14]

F. Shen, An algorithm for incremental unsupervised
learning and topology representation, Ph.D thesis,

つのパラメータの値を決定する必要があり，これらのパラメータは学習結果に影響を与える．ESOINN は

F. Shen and O. Hasegawa, “An incremental networkfor on-line unsupervised classiﬁcation and topology

ことで，SOINN より安定的に動作する．

SOINN より少ないパラメータで動作するが，まだ四F.H. Hamker, “Life-long learning cell structures —Continuously learning without catastrophic interfer-

離できる．また，ノードの挿入にあたってクラス間挿ラメータで動作する．更に，平滑化の手法を導入した

B. Fritzke, “A self-organizing network that can fol-

2006.
[15]

B. Fritzke, “Growing cell structures — A self-

SOINN より安定して動作するが，ノイズが多く，学

organizing network for unsupervised and supervised

習データが少ない場合には結果が安定しない．このた

learning,” Neural Netw., vol.7, no.9, pp.1441–1460,

め，いかなるタスクに対しても十分な安定性をもつとはいえない．将来的にはこれらの課題を解決する必要がある．

T. Martinetz and K. Schulten, “Topology representing networks,” Neural Netw., vol.7, no.3, pp.507–522,
1994.

文
[1]

1994.
[16]

献

（平成 18 年 6 月 15 日受付，9 月 28 日再受付）

A. Likas, N. Vlassis, and J.J. Verbeek, “The global
k-means clustering algorithm,” Pattern Recognit.,
vol.36, no.2, pp.451–461, Feb. 2003.

[2]

F. Shen and O. Hasegawa, “An adaptive incremental
LBG for vector quantization,” Neural Netw., vol.19,
no.5, pp.694–704, June 2006.

[3]

A.K. Jain, R. Duin, and J. Mao, “Statistical patternrecognition: A review,” IEEE Trans. Pattern Anal.

小倉

和貴

2005 明大・理工・情報科学卒．現在，東工大大学院知能システム科学専攻修士課程
在学中．

Mach. Intell., vol.22, no.1, pp.4–37, Jan. 2000.
[4]

H.A. Sneath and R.R. Sokal, Numerical taxonomy,
Freeman, London, UK, 1988.

[5]

B. King, “Step-wise clustering procedures,” J. American Statistical Association, vol.69, no.3, pp.86–101,
1967.

[6]

[7]

申

富饒

S. Guha, R. Rastogi, and K. Shim, “Cure: An eﬃ-

1995 中国南京大・数学卒．1998 同数学

cient clustering algorithm for large databases,” Proc.
ACM SIGMOD Conference on Management of Data,

専攻卒．2006 東工大大学院知能システム科学専攻博士課程了．現在，中国南京大学

pp.73–84, June 1998.

計算機科学技術系助教授．

T. Kohonen, “Self-organized formation of topologically correct feature maps,” Biol. Cybern., vol.43,

1621

電子情報通信学会論文誌 2007/6 Vol. J90–D No. 6

長谷川

修 （正員）

1993 東京大学大学院電子工学専攻博士課程了．博士（工学）．同年電子技術総合研究所．1999 から 1 年間米国カーネギー
メロン大学客員研究員．2001 産業技術総合研究所主任研究員．2002 東京工業大学
像情報工学研究施設助教授．2003〜2006
JST さきがけ研究 21 研究者（兼任）．情報処理学会，日本認知科学会，人工知能学会，IEEE-CS 等各会員．

1622