■ 解説（VISION Vol. 29, No. 1, 1–5, 2017）

視覚パターン認識とネオコグニトロン
福島 邦彦
ファジィシステム研究所

fukushima@m.ieice.org
http://personalpage.flsi.or.jp/fukushima/1.

刺激パターンの局所的な特徴を抽出する．細胞はじめに面内のすべての S 細胞は結合を共有しているた

ネオコグニトロンは，変形に強い視覚パター
1, 2)

め，各細胞面は convolution の演算を行ってい．最近，ることになる．あるいは，前層の出力に空間フィ

深 層 学 習 や deep CNN (convolutional neuralルターを掛けていると解釈することもできる．

network) が注目を集めているが，ネオコグニ

2.2

ン認識能力を持つ人工神経回路である特徴の抽出と統合

トロンもそのような階層型多層神経回路の一種

ネオコグニトロンでは，個々の細胞は一つ前で，パターン認識能力を学習によって獲得しての層の比較的狭い範囲にある細胞だけから結合いく．ネオコグニトロンの歴史は古いが，現在を受けている．その結果，下位の層の S 細胞はに至るまで種々の改良が加えられ発展を続けて小さい受容野を持ち，入力パターンの局所的ないる．現在広く用いられている deep CNN との特徴を抽出する．例えば文字 ‘A’ を学習したネ相違点に注目して，最近のネオコグニトロンをオコグニトロンの下位の層 US2 には，図 2 に示紹介する．

すように，文字 ‘A’ の種々の部分パターン，す2.

ネオコグニトロンの概要

2.1

ネオコグニトロンの回路構造

なわち局所的特徴に反応する S 細胞が並んでいる．

ネオコグニトロンは図 1 に示すように，入力層 U0 の後ろに，特徴抽出を行う S 細胞の層 USと，位置ずれを許容する働きを持つ C 細胞の層UC（pooling 層）とを交互に階層的に配置した多層神経回路である．各層は，複数の細胞面(sub-layer) から構成されている．細胞面内の細胞は，同一の入力結合を共有している．ちなみに S 細胞と C 細胞は，大脳視覚野の単純型細胞（simple cell）と複雑型細胞（complex cell）に似

図1ているので，その頭文字をとって名づけられネオコグニトロンの回路構造．

た．

S 細胞は学習によって変化する可変入力結合を持つ．学習を終わると，S 細胞は特徴抽出細胞として働くようになり，入力層に与えられる
2017 年冬季大会．特別講演 .

1）

図2 ネオコグニトロンにおけるパターン認識の原理 ．
—1—このような局所的特徴を抽出する S 細胞が，CNN で pooling と呼んでいる操作とほぼ同じどのような組合せで反応しているかを見ているである．しかしネオコグニトロンでは，maxのが，その次の層 US3 の S 細胞である．この細pooling ではなく，平均化操作によって pooling胞は，前層の S 細胞に比して，もう少し大きなを行っている．C 細胞によるこの操作は，S 細受容野を持っていて，大局的な特徴を抽出して胞層の反応を，それに続く C 細胞層で空間的にいる．

ぼかしていると解釈することもできる．ぼかす

そのもう一段上には，この大局的な特徴を抽ことによって，変形や位置ずれの影響を受けに出する細胞の出力を集めて，もっと大きい特徴くくしているのである．またネオコグニトロンをみている細胞がある．つまり，この細胞は，の各段では，演算コストを減らすために細胞の大局的な特徴をみる前層の細胞の反応を介し間引き (down sampling) を行っているが，ぼかて，間接的に入力層全体の情報を捕らえている

し操作は空間周波数の高周波成分を除去することになる．

low-pass filter の 役 割 も 果 た し，粗 い down

2.3

sampling によって発生する aliasing noise の抑変形に強いパターン認識

C 細胞は，いくつかの S 細胞から固定結合を制にも貢献している．更にまた，平均化操作に受け取っていて，そのうちのどれか一つの S 細よって加算的なランダムノイズを軽減する働き

胞が出力を出せば，C 細胞も出力を出す．これも生じる．

らの S 細胞はいずれも同じ形の特徴を抽出する

2.4

S 細胞による特徴抽出が，特徴を抽出してくる場所は S 細胞ごとに少S 細胞は，複数個の C 細胞から興奮性結合をしずつ異なる．入力パターンの位置ずれや変形受け取っている（図 3）．ここでベクトル表示のために，ある特徴の位置が入力層上で移動すを用いて，C 細胞の出力を x，興奮性結合の強ると，最初とは異なる別の S 細胞がその特徴を度を a と表す．興奮性結合 a は，a＝X/∥X∥で与捕らえて反応するかもしれないが，これらのえられる．X は，S 細胞が学習した学習ベクトS 細胞の出力を全部まとめて受け取っている Cルである．この S 細胞はまた，V 細胞と名づけ細胞は，出力を出し続ける．このようにして Cられた細胞を介して強度−θ (0 ≤θ＜1) の抑制性細胞は，S 細胞が抽出した特徴の，位置ずれの結合を受け取っている．V 細胞は，C 細胞の出影響を吸収するのである．

力の二乗平均値（ノルム）∥x∥を計算している．

多層回路内には S 細胞の層と C 細胞の層とがこれらの入力を受けて S 細胞の出力は，

φ [s−θ ](X, x)
u＝∥x∥· 1−θ , s＝ ∥X∥∥
· x∥

交互に繰り返して階層的に結合されているので，入力パターンの情報は，多層回路内の各段(1)で S 細胞による特徴の抽出と C 細胞による特徴となる．φ [ ] は，φ [x]＝max(x, 0) で定義されの位置ずれの許容化を繰り返しながら上位段にる rectified linear（半 波 整 流 型）関 数 で あ る．

送られていく．この過程で，下位段で抽出され多次元特徴空間内で s は，X と x との内積（ノた局所的な特徴は，次第に大局的な特徴に組み上げられていく．このとき，入力パターンの拡大や縮小をはじめとする種々の変形にともなう局所的特徴の相対的な位置ずれの影響は，C 細胞の働きによって少しずつ吸収されるので，最終的には入力パターンのかなりの変形に対しても影響されない出力を得ることができるのである．
ちなみに，C 細胞によるこのような操作は，—2—3）

図 3 S 細胞に収束する結合 ．

ルムで正規化された内積）で定義される類似度最上位層である．中間層は，入力層に提示されを表している．類似度 s がθよりも大きければ，たパターンを，単一細胞の反応によってではな

2)

S 細胞は 0 でない出力を出す ．このように，θく，多数の細胞の反応の集合によって，正確には S 細胞の閾値を決定する．多次元空間内で表現していれば十分である．したがって個々のs＞θを満足する領域を，この S 細胞の反応の許学習パターンに応じた tuning を必ずしも必要容領域と呼ぶ．また X を，この S 細胞の参照ベでないのである．

クトルと呼ぶ．これは，この S 細胞に対する最AiS で は，学 習 時 に，一 つ の 特 徴 に 対 し て適特徴（最も強く反応する特徴）を表している．

1 個（あるいはごく少数）の細胞だけしか反応

3.

しない状態を作ることによって冗長な細胞の発Add-if-Silent 則による中間層の学習生を防いでいる．しかし学習終了後の認識時に学習は，下位の層から順次進めていく．このもこのような状態が保たれていると，回路は変中間層の S 細胞の学習に，AiS 則（Add-if-Silent形パターンに対して汎化能力を発揮できない．

則）を用いるのである

2, 3)

．

そこで認識時には，閾値を学習時よりも低い値

もし，前シナプス側の C 細胞が出力を出してに設定して，population coding のような状態いるにもかかわらず，後シナプス側のすべてのを作る．入力パターンの状態を，多数の細胞のS 細胞が無反応であれば，新しい S 細胞を作成集合で表現することになるので，入力パターンして回路に追加する．新しく追加した S 細胞のが多少変形しても，細胞の集合としての反応状

入力結合は，前シナプス側の細胞の出力に比例態はあり変動せず，変形パターンに対しても頑した強度とする．したがって，その時点の前シ強な認識が可能になる．

ナプス側細胞の反応に対して選択的に反応するS 細胞が作られる．
S 細胞がいったん形成されて細胞層に追加さ

4.

最上位層

4.1

内挿ベクトル法によるパターン識別れた後は，その後どのような学習パターンが与最上位層（すなわち最深層）では，中間層でえられても，その入力結合は変化させない．す抽出された特徴をもとに，入力パターンを認識

なわち，AiS 則による学習は，多数の学習ベク（識別）する．最上位層の S 細胞には，その細トルの集合の中から，参照ベクトルを選び出す胞が学習した学習パターンのクラス名を示すラ操作である．学習パターンの集合に含まれる各ベルが付けられている（学習法は 4.2 節で後パターンを 1 回ずつ提示するだけで学習は完了述）．

する．このように AiS 則は，多くの深層学習で初期のネオコグニトロンでは，テストベクト用いられている手法とは異なり，繰り返し演算

ル（認識すべきベクトル）に最も近い参照ベクで結合強度を補正する必要がなく，高速に学習トル（つまり最大出力 S 細胞）のラベルを認識を進めることができる．

結果としていた．しかし最近のネオコグニトロ

AiS 則のもとでは，すでに存在する S 細胞のンでは，内挿ベクトル法 (interpolating-vector)
2, 4, 5)許容領域内に新しい細胞が形成されることはなと名づけた手法を用いている．内挿ベク

い．したがって学習時に十分多数の学習ベクトトル法では，複数個の細胞の反応を組み合わせルが提示されたならば，S 細胞は，その参照ベることによって認識結果を決定する．図 4 のよ

クトルがベクトル空間内に一様に分布するよううに，同一のラベルを持つ参照ベクトルの対をに作られる．

結ぶすべての直線の中で，テストベクトルとのこのように簡単な AiS 則で，なぜ高い認識率距離が最も近いもの（すなわち類似度が最も大が得られるのであろうか．入力パターンを最終きいもの）を選び，その直線のラベルを認識結的に識別するのは，多層回路の中間層ではなく果とするのである．その結果，小さな規模の回—3—

も，最も近い参照ベクトルが学習ベクトルと同じラベルを持つ場合にのみ，mWTA による識別が正しいと定義する．
学習時には，学習ベクトル x が提示されるごとに mWTA で識別してみて，もし識別結果に誤りがあれば，新しい S 細胞（参照ベクトル）を発生させ，x を新しい S 細胞の参照ベクトルとする．
図4

中間層とは異なり最上位層では，参照ベクト

2）

内挿ベクトル法の原理 ．

ル の tuning が 有 効 で あ る． tuning で は，路で，従来よりも高い認識率を得ることができmWTA による識別結果が正しかった場合に，内挿ベクトル法 Int-3 で選ばれた平面（最も距るようになった．
内挿ベクトル法では，ベクトルの対を結ぶ直離の近い平面）を形成する 3 個の参照ベクトル線の代わりに，三つ組みで形成される平面を用を，いずれも学習ベクトルに近づける方向に移5)いることもできる ．両者を区別するために，動させる

5, 6)

．

前 者 を Int-2，後 者 を Int-3 と 記 す．Int-3 の ほ

しかし学習を開始したばかりで，まだ十分なうが Int-2 に比して計算量は増加するが認識率数の参照ベクトルが発生していない状態では，が向上するので，通常 Int-3 用いている．ちな

たとえある学習ベクトルが正しく認識されたと

み に，Int-2 で さ え も， WTA や SVM (support

しても，そのときに使用された参照ベクトルとvector machine) よりも，はるかに高い認識率学習ベクトルの類似度が高いとは，必ずしも言を達成できる．

えない．この段階で tuning を行おうとして参4.2

照ベクトルに学習ベクトルを加算してしまう

最上位層の学習参照ベクトルは教師あり学習によって作成すと，類似度の低いベクトルが加算され，あまりるのであるが，内挿ベクトル法での認識に要す役に立たない参照ベクトルが作られる恐れがある計算量は，参照ベクトル数が増えると急激にる．そこで，学習過程を 2 段階に分けて，第 1増加する．従って，できるだけ少ない数の参照段階では tuning は行なわず，mWTA によってベクトルで高い認識率を得られるような学習法

S 細胞（参照ベクトル）の発生だけを行ない，が 求 め ら れ る．こ こ で は margined Winner-学習がある程度進んだ第 2 段階目になって始め

Take-All (mWTA) と名づけた学習法を紹介して tuning を開始する．

6)

よう ．
中間層の学習と同様に，S 細胞は学習時に発5.

むすび生させる．学習ベクトルに対して最大出力を出

ネオコグニトロンによるパターン認識の基本

した S 細胞が，学習ベクトルと異なるラベルを的な考え方と，最近の研究状況とを紹介した

持っていれば，識別は間違いであると判定し，が，ネオコグニトロンの考え方を更に発展させ新しい S 細胞を発生させる．ただし最大出力細た種々のシステムも開発されている．それらの胞（すなわち学習ベクトルに最も近い参照ベク

概要は，例えば文献 2 などを参照していただきトル）の探索において，学習ベクトルとは異なたい．

るラベルをもつ参照ベクトル（S 細胞）にハンディキャップを持たせて，実際の距離よりも一定割合だけ近くにあると仮定して探索を行うのである．このようなハンディキャップのもとで—4—

文献1） K. Fukushima: Neocognitron: A self-organizing
neural network model for a mechanism of

pattern recognition unaffected by shift inposition. Biological Cybernetics, 36, 193–202,
1980.
2） K. Fukushima: Artificial vision by multilayered neural networks: Neocognitron andits advances. Neural Networks, 37, 103–119,2013.
3） K. Fukushima: Training multi-layered neuralnetwork neocognitron. Neural Networks, 40,18–31, 2013.
4） K. Fukushima: Interpolating vectors for—5—

robust pattern recognition. Neural Networks,20, 904–916, 2007.
5） K. Fukushima and H. Shouno: Deep
convolutional network neocognitron:
Improved interpolating-vector. IJCNN 2015,Killarney, Ireland, 1603–1610, 2015.
6） K. Fukushima: Margined winner-take-all:new learning rule for pattern recognition.
IJCNN 2016, Vancouver, Canada, 977–984(N-16157), 2016.