日本神経回路学会 第 8 回全国大会 講演論文集 pp.133-134, 金沢 (1997)

モジュール構造を用いた特徴コラムの自己組織化モデル
NTT コミュニケーション科学研究所

鈴木敏 (PY)

上田修功

A Model for Self-Organization of Feature Columns using Modular Structure
NTT Communication Science Laboratories

Satoshi Suzuki

Naonori Ueda

E-mail: satoshi@cslab.kecl.ntt.jp
Abstract
We propose a computational model for the self-organization of feature columns based on a modularframework. The proposed model consists of two-stage networks; each network is composed of several
modules each of which consists of a collection of Gaussian units. Computer simulation shows that theability of each network to find out continuity among input patterns forces feature columns to self-organize
into modules and classifies objects by combining the created feature columns.

1

はじめに

近年、物体認識に深く関係すると考えられている大脳皮質下側頭部が特定の複雑なパターンに反応するコラム構造を持つことが生理実験により明らかにされた [1]。
この結果は脳が複雑な特徴を抽出し、それらを組み合わせることで物体の認識を行っている可能性を示している。計算論的アプローチでは Kohonen [3]、田中 [6] 等が初期視覚における自己組織化モデルを提案している。
しかしながら、認識などに直接関わる高次視覚機能における自己組織化モデルはまだほとんど検討されていない。本稿では Kohonen [3] の自己組織化モデルをモジュール化および階層化することにより部分画像からの特徴のコラム化とそれらのコラムを利用して物体の類別を行うモデルを提案する。計算機実験では初期視覚野からの入力を想定し、画像に方向成分のフィルタをかけたものを用いてモデルの有効性を示した。12The higher network

The lower networks

Input pattern

モデル

提案するモデルは図１に示す様に、上位の１つのネットワーク（ＮＷ）と下位の４つのＮＷから成る。各ＮＷは同一の構造であり、モジュール構造を持っている。ここで、各モジュールは Kohonen [3] の自己組織化モデルに等しい。図１に示した例ではＮＷは２つのモジュールから成り、各モジュールはリング状に並んだ１０個のガウシアン・ユニットから成る。

2.1

各ネットワークの構成と学習
ＮＷに入力 x が与えられるとＮＷ内のすべてのユニット（U 個）が同じ入力を受取り、第 i モジュールの第 jユニットはyj|i = cj|i hj|i ,(1)を出力する。ここで、 cj|i は第 i モジュール第 j ユニットのガウシアンの平均ベクトルである。 hj|i は同ユニッ2

x − cj|iのソフトマックス関数であ 
2exp −kx−cj|i k 2σ2hj|i = P(2)U  ,
2exp −kx−cj|i k 2σ2

トの２乗誤差り、

j=1

1 キーワード：特徴コラム, 自己組織化, 物体認識, モジュール構造

図 1: ネットワークを組み合わせたモデルで表される。この関数は U 個のユニット間の競合を表している。
第 i モジュールの入力 x に対する出力 zi は

zi =U
P

j=1yj|i ,(3)となる。上式から明らかなように、 zi は cj|i に関する非線型和であり、各モジュールによる入力 x の再構成を意味している。第 i モジュールを第 i クラスと見なせば、入力 x を以下のルールに従ってクラス分けできる。

Decide Class kif kx − zk k < kx − zl k , ∀l 6= k.

未知パラメータ cj|i ; i = 1, · · · , M ; j = 1, · · · , U は最尤推定に基づいて、次式に示す拘束条件付きの対数尤度関数の最大化により求める [2], [4], [5]。

lnMP

i=1

giUP

j=1h.
iM
P2hj|i σ1 exp − x − cj|i2σ2 − δSi .
i=1

(4)

ここで、

exp[−kx−zi k2 /2σ2 ]gi = PM.

(5)exp[−kx−zi k2 /2σ2 ]i=1

Si は第 i モジュール内のユニット間においてその内部表現（ガウシアンの平均ベクトル）に対する滑らかさを表しており、 δ はその重み係数である。

Si =UP
j=1cj−1|i −cj|ikcj−1|i −cj|i k−cj|i −cj+1|ikcj|i −cj+1|i k

Module 1.

(6)

滑らかさの拘束条件は同一モジュールが類似した内部表現を獲得するように学習を助長する。一方、式 (5) で示されるモジュール間の競合は異なるモジュールが類似した内部表現を獲得するのを妨げ、式 (2) で示されるユニット間の競合は異なるユニットが同一の内部表現を獲得することを妨げる。これらの組合わせにより、類似した表現がモジュール毎にそれぞれ獲得され、それぞれのモジュールが各クラスに対応するように学習が進められる。

図 2: 下位のネットワークに獲得された表現の例

Module 1

Rectangle

2.2

ネットワークの階層化
上記ネットワーク（ＮＷ）を階層化することにより、部分画像からの特徴抽出とその組合わせによる物体の類別が可能になる。
図１において、下位の４つのＮＷはそれぞれ画像の異 な る 部 分 を 入 力 と し て 受 け 取 る。 上 位 の Ｎ Ｗ は 下位のすべてのユニットの入力に対する反応、すなわち
hi2exp − x − cj|i /2σ2 を入力として受け取る。学習110.80.60.60.40.40.20.200xCircle

110.80.60.60.40.40.20.2003.2

結果
下位の一つのネットワークで獲得された内部表現の例
を図２に示す。それぞれのモジュールに四角の角と円の弧がそれぞれに獲得されている。また、各モジュールでは位置が少しずつ異なる表現を獲得している。この結果
は、画像の部分入力から特徴を取りだし、それぞれの特徴のコラムを自己組織的に形成したことを示している。
次に、上位のネットワークによる物体類別の結果を図３に示す。この図では円および四角を入力として用いたときの各モジュールの復元精度（式 (5)）を各線画の中心の位置 (x, y) に対して示してある。円が入力の時はモジュール１が、四角が入力の時はモジュール２が強く反応していることがわかる。この結果から、下位のネット

yyxxy図 3: 上位のネットワークによる物体の類別結果

3.1

学習
図１のモデルを用いて、その有効性を示すために２種類の線画（円と四角）を入力とする計算機実験を行った。それぞれの線画は入力範囲内でランダムに位置を変える。入力画像を 10 × 10 の領域に分割した部分画像に対し、４方向にフィルタをかけて４次元ベクトルを生成する。下位の各ネットワーク（ＮＷ）は 5 × 5 の部分画像を入力とするため、ＮＷへの入力は 5 × 5 × 4 次元ベクトルになる。
学習では線画および位置を任意に選び、画像を生成し各ＮＷに与えることを繰り返した。下位のＮＷの全てのユニットの反応の強さを上位のＮＷの入力とし（2.2 節参照）、下位ＮＷの学習の終了後、同様に上位ＮＷを学習した。

y0.8x

計算機実験

Module 20.8はそれぞれのＮＷが独立に行う。

3

Module 22

ワークで作られた特徴モジュールを利用して上位のネットワークが線画の類別を行うことが可能であることがわかる。

4おわりに

本稿では部分画像からの特徴コラムの生成と、それらを組み合わせての物体類別を行うモデルを提案し、計算機実験によりその有効性を示した。

参考文献[1] Fujita, I. Tanaka, K. et al. (1992). Columns for visualfeatures of objects in monkey inferotemporal cortex.
Nature, 360, 343-346.
[2] Jordan, M. I. and Jacobs, R. A. (1992). Hierarchiesof adaptive experts. In Moody, J. E., Hanson, S. J. &Lippmann, R. P., (eds), NIPS 4. Morgan Kaufmann
Publishers, San Mateo, CA. 985-992.
[3] Kohonen, T. (1988). Self-organization and associativememory. Springer, New York Berlin Heidelberg.
[4] Suzuki, S. and Ando, H. (1995). Unsupervised Classification of 3D Objects from 2D Views. NIPS 7. The
MIT Press, Cambridge, MA.
[5] Suzuki, S. and Ueda, N. (1997). Self-Organization ofFeature Columns and its Application to Object Classification. ICONIP’97.
[6] Tanaka, S. (1990). Theory of Self-Organization of Cortical Maps: Mathematical Framework. Neural Networks, 3, 625-640.