社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

ホップフィールドニューラルネットワークによる
空間的に一様でないセルラニューラルネットワークの設計法
上田 康弘†

川原雅一†

井上貴志†

西尾芳文†

† 徳島大学 〒 770–8506 徳島市 南常三島町 2–1
E-mail: †{yasuhiro,kawahara,nishio}@ee.tokushima-u.ac.jp
あらまし

本研究では，ホップフィールドニューラルネットワーク (Hopﬁeld NN) の連想記憶の機能を用いた，空間的に一様でないセルラニューラルネットワーク (CNN) の設計法を提案する．CNN はテンプレートの分布から２種類に分類できる．“空間的に一様な CNN”は実装コストが安価であることから，盛んにそのアプリケーションの研究がなされているが，一度に１つの処理しか実行できない．一方，“空間的に一様でない CNN”は高度な処理を実行できるが，設計法は複雑である．しかし本手法は連想記憶を用いて適材適所にテンプレートを配置するため “空間的に一様でない CNN”を簡単に実現できる．このシステムにおいて，二値画像を用いたシミュレーションを行い，その効果を確認する．
キーワード

セルラニューラルネットワーク，ホップフィールドニューラルネットワーク，画像処理

Design Method of Space-Varying Cellular Neural Networks
by Using Hopfield Neural Networks
Yasuhiro UEDA† , Masakazu KAWAHARA† , Takashi INOUE† , and Yoshifumi NISHIO†† Dept. of Electrical and Electric Engineering Tokushima University
2–1, Minami–Josanjima, Tokushima 770-8506, Japan
E-mail: †{yasuhiro,kawahara,nishio}@ee.tokushima-u.ac.jp
Abstract In this study, we propose a design method of space-varying cellular neural networks (CNN) by using
Hopﬁeld neural network (Hopﬁeld NN). CNN is classiﬁed into two types of systems like space-invariant systemand space-varying system. Space-invariant and space-varying mean that all cells have identical template and not
identical templates, respectively. The processing of the former is simple. On the other hand, the latter carries out
complicated processing. Therefore, the design method is not easy. However, our proposed method is easy because
we need only some existing templates and the associated patterns. Some simulation results show the basic propertiesof the proposed CNN and its eﬀectiveness.
Key words Cellular Neural Networks, Hopﬁeld Neural Networks, Image Processing

1. ま え が き

わせたニューラルネットワーク、セルラニューラルネットワー
ク (Cellular Neural Networks: CNN) [1] が 1988 年に L. O.

現在，様々な分野において画像処理の技術が用いられていChua らによって開発された. CNN は局所的結合の特性を持つるが，年々処理すべき情報量が増え，さらに高度かつ高速なため，LSI 化に適している. また CNN の構造は動物の網膜の処理を行う技術の開発は急務である．しかし，現在一般的に構造に類似しており, 様々なアプリケーションが研究されてい用いられているディジタル処理は逐次演算を行うため，処理る．[2]-[5]に時間が掛かってしまう．そこで人間の神経系を基に考案され本研究では，ホップフィールドニューラルネットワーク (Hop-た様々なニューラルネットワークを用いた情報処理が盛んに行

ﬁeld Neural Networks: Hopﬁeld NN) [6] の連想記憶を用いた，われ, 既に各方面での実用化が進んでいる. その応用は連想メ

空間的に一様でないセルラニューラルネットワークの設計法をモリ, パターン認識、画像処理など幅広いものがある. さらに提案する．CNN のセル間の結合強度はテンプレートと呼ばれニューラルネットワークとセルラオートマトンの概念を組み合るパラメータによって確立されており，処理はテンプレートに—1—よって決まる．CNN はテンプレートの分布によって，二種類にw を生成する．本研究では２値画像を用いる．

分類することができる．もし CNN における全てのテンプレー
ホップフィールド
ニューラルネットワーク

入力画像

トが同じものである場合、そのシステムは “空間的に一様なCNN となる．一方 CNN における全てのテンプレートが同じ想起したパターンものでない場合、そのシステムは “空間的に一様でない CNN

Hopfield NNへの入力となる．実装のコストが安いため，“空間的に一様な CNN についての研究が盛んに行われている．しかしこの CNN に関する研究は飽和状態にある．一方，“空間的に一様でない CNN”
一致は高度な処理を実行できるが，設計法は複雑である．しかし本手法は連想記憶を用いて適材適所にテンプレートを配置するた

Cij

め “空間的に一様でない CNN”を簡単に実現できる．

C ij のテンプレート

２章で Hopﬁeld NN を用いた “空間的に一様でない CNN

テンプレート2
2テンプレートの設計法を提案する．３章でコンピュータシミュレーションに想起記憶したパターンより，想起パターンと既存のテンプレートが処理に大きく影響することを確認し，これまでの CNN と比べることでその効果

図3想起したパターンに基づくテンプレート配置．

を確認する．４章でまとめる.

2. Hopfield NN の連想記憶を用いた空間的に一様でない CNN の設計法

図３は想起されたパターンによる，テンプレートの決定の過程である．入力画像における，あるピクセル Cij とその２近傍の画素を，３つのパターンを記憶させた Hopﬁeld NN に入力す

これまでの “空間的に一様でない CNN は高度な処理が可能る．Hopﬁeld NN は記憶したパターンまたはその反転パターンであるが，設計法は複雑であった．しかし，本研究では Hopﬁeldの中で，入力されたパターンに最も近いパターンを想起する．

NN の連想記憶と既存のテンプレートを用いるため簡単である．

これによって Cij には想起したパターンに基づいてテンプレー

以下に設計方法を示す．

トが与えられる．例として図３では，Cij とその２近傍の画素

入力画像

ホップフィールドニューラルネットワーク

は，パターン２を想起している．よって Cij にはパターン２に関連付けられたテンプレート２が与えられる．

Cij にテンプレート２が与えられるので，状態方程式は以下のように変化する．
状態方程式:

関 連 付 けテンプレート1

テンプレート2

テンプレート3

j+r
i+r∑∑dvxij= −vxij +A2(i,j;k,l) vykl (t)dtk=i−r l=j−rj+r∑ ∑i+r

空間的に空間的に一様でない
一様でないCNN+B2(i,j;k,l) vukl (t) + I2 .

(1)

k=i−r l=j−r

図 1 Hopfield NN を用いた空間的に一様でない CNN の設計法．

Hopﬁeld NN では想起とテンプレート配置のプロセスを全てのセルにおいて実行する．以上の過程によって “空間的に一様で図１は設計の概要である．最初に，いくつかの任意の二次元パターンを準備し，それぞれのパターンに既存のテンプレートない CNN は設計される．このシステムにおいて CNN は，セル毎に与えられたテンプレートを用いて処理を行うことになる．

Ai , Bi , Ii を図２のように関連付けておく．

3. シミュレーション結果
提案手法を用いてシミュレーションを行う．テンプレートは全て文献 [7] から引用する．
パターン 1

パターン2
2
パターン

パターン3
パターン3

想 起
テンプレート1
テンプレート
1
Edge Detection

テンプレート 2
Heat Diffusion

テンプレート 3
Logic Not

図 2 任意のパターンとテンプレートの関連付け．

3. 1 テクスチャー分割
この節では，３種類のテクスチャーに対してそれぞれ異なるテンプレートを与え，テクスチャーを分割する．
パターン 1 : “White Filler” テンプレート:

0A= 0000



20  , B = 0, I = −4.

00

(2)

次にそれらのパターンを Hopﬁeld NN に記憶させ，結合強度—2—

らにこの結果から CNN はテンプレートによる処理に依存しているため，テクスチャーの境界付近セルにおいても，それぞれの処理を維持していることがわかる．つまり，一度の処理の中で３つのテンプレートが共存しているということになる．

(a) パターン 1.

(b) パターン 2.

3. 2 エッジ検出とノイズ除去(c) パターン 3.

この節では，エッジ検出とノイズ除去という相反する処理を

図 4 記憶させるパターン.

同時に実行する．
パターン 2 : “Heat Diﬀusion” テンプレート:

0.15
00.15  , B = 0, I = −1.

0.10.150.1

A =  0.150.1



0.1(3)

パターン 3 : “Logic Not” テンプレート:

0A= 0000000(a) パターン 1.

10 , B =  0−20  , I = 0.

00000(4)(c) パターン 3.

パターン 1 及び 2 : “Logic AND” テンプレート:

図４のようなパターンを準備し，それぞれに式 (2)–(4) のテ

ンプレートを関連付けておく．３つのパターンは縦，横，斜めA= 0

方向の直線に対応している．Hopﬁeld NN がパターン１，２0または３を想起した時，そのセルには “White Filler
レート，“Heat Diﬀusion(b) パターン 2.
図 6 記憶させるパターン.

000020 , B =  000000

10  , I = −1.

00(5)

テンプ

テンプレート，“Logic NOT

テンプレートがそれぞれ与えられる．このシミュレーションでは，記憶したパターンを想起し，それぞれのセルにテンプレートがパターン 3 : “Small Object Remover” テンプレート:

1A= 11与えられているかの確認を行う．

11

21  , B = 0, I = 0.

1

1(6)

図６のようなパターンを準備し，それぞれに式 (5)，(6) のテンプレートを関連付けておく．３つのパターンは縦，横方向の直線とノイズを模したパターンである．Hopﬁeld NN がパターン１または２を想起した時，そのセルには “Logic AND

テンプレートが与えられ，ノイズを模したパターンを想起したセル(a)
図 5には “Small Object Remover

テンプレートが与えられる．

(a)

(b)

(b)

提案手法を用いたテクスチャー分割のシミュレーション結果.

(a) 入力画像 (256 × 256). (b) 提案手法を用いた出力画像.

図５ (a) が縦，横，斜め方向の直線で構成されたテクスチャー画像（入力画像）である．図５ (b) がテクスチャー分割のシミュレーション結果である．縦方向の直線の領域には “White Filler
テンプレートが与えられ，それによってその領域は白く塗りつぶされている．横方向の直線の領域には “Heat Diﬀusion

提案手法を用いたエッジ検出とノイズ除去のシミュレーション結果．(a) 入力画像. (b) 提案手法を用いた出力画像.

テンプレートが与えられ，その領域は一様な濃度となっている．
さらに斜め方向の直線の領域には “Logic NOT

図7テンプレート

図７ (a) がノイズを含んだ円の画像である．図７ (b) は直線検出とノイズ除去を実行した結果の画像である．円に含まれるが与えられたことで領域の白と黒が反転している．以上によっ

パターン１または２を想起したセルに，“Logic ANDてテクスチャー分割を実現した．シミュレーション結果から，プレートが与えられている．さらにここで，斜め方向の要素をそれぞれのテクスチャー領域がそれぞれのパターンを想起し，含んでいる部分に関しても “Logic ANDそれぞれのテンプレートで処理を行っていることがわかる．さえられ，エッジの検出を行っている．これは想起のあいまいさテン

テンプレートが与—3—

が関係している．連想記憶は記憶させたパターンに最も近いパ

このシミュレーションでは，入力画像に図９ (a) のような文ターンを想起するため，いくつかの入力パターンは円の斜め方字画像を入力する．図９ (b) がシミュレーション結果である．

向の要素を含んでいるとしても，縦または横方向のパターンを文字と背景の境界付近においてパターン１及び２を想起してい想起している．つまり，記憶したパターンと入力したパターンる．Hopﬁeld NN は記憶させたパターンが反転したパターンをが完全一致でなくても，いくつかのセルに “Logic AND

テ出力する場合もあるため、文字の上下左右のエッジ付近においンプレートが与えられた．また，ノイズを持つセルのほとんどてパターン１または２，またはその反転パターンを想起していに “Small Object Remover

テンプレートが与えられ，ノイる．また，3.2 でも示したように，本設計方法では Hopﬁeld NNズ除去が実行された．通常このような画像に対してノイズ除去の連想記憶の機能を用いているため，斜め方向成分を含んでいを実行すると，円のエッジも消えてしまう．しかし，円のエッる入力パターンにおいても，パターン１または２，またはそのジに “Logic AND反転パターンを想起する場合が多い．これらによって，文字のテンプレートを与えることで，的確にノイズ除去を実行することができた．この結果から，エッジ検出とエッジのほぼ全てのセルに “Logic NOT

ノイズ除去という相反する処理でも平行して行えることが確認ることができた．また，一様な領域には “Black Propagation

テンプレートを与えテンプレートが与えられている．これによって “Logic NOTできた．

テンプレートを与えられたセル以外は黒く塗りつぶされた．通3. 3 反転したエッジの検出
この節では，複数の CNN を用いなければ得られない出力画像を一度の処理で得る．

常の CNN を用いてこのような出力画像を得ようとする場合，エッジ検出を実行した画像を別の CNN を用いて反転する必要がある．本手法では，この処理を１つの CNN で実行できるため効果的であるといえる．

4. ま と め
本研究では，ホップフィールドニューラルネットワークの連想記憶を用いて空間的に一様でないセルラニューラルネットワー(a) パターン 1.

(b) パターン 2.

(c) パターン 3.

ない CNN”の設計法と比べて簡単である．また，Hopﬁeld NN

図 8 記憶させるパターン.の連想記憶の機能を用いて複数のテンプレートを適材適所に与パターン 1 及び 2 : “Logic NOT” テンプレート
パターン 3 : “Black Propagation” テンプレート:

0.25

A =  0.25
0.25

0.25

0.25

クの設計法を提案した．提案手法はこれまでの “空間的に一様で(４)えることができる．その結果，これまでの CNN では複数回処理を行わなければ得られなかった画像を一度の処理で得られる

などの効果を確認した．本手法はテンプレートと想起パターン

30.25  , B = 0, I = 3.75.

0.25

0.25

(7)

によって処理が変わるため，様々な画像処理に適すると考えられる．
文

図８のようなパターンを準備し，それぞれに式 (４)，(７) のようなテンプレートを関連付けておく．３つのパターンは縦，横方向のエッジ付近のパターンと，一様な領域のパターンである．Hopﬁeld NN がパターン１または２を想起した時，そのセルには “Logic NOT

テンプレートが与えられ，パターン３を想起したセルには “Black Propagation

テンプレートが与えられる．

(a)

(b)

図 9 提案手法を用いた反転したエッジの検出シミュレーション結果．

献[1] L. O. Chua and L. Yang, “Cellular Neural Networks:Theory,” IEEE Trans. Circuits Syst., vol. 32,
pp. 1257-1272, Oct. 1988.
[2] F. Dirk and T. Ronald, “Coding of Binary Image Data using
Cellular Neural Networks and Iterative Annealing,” Proc. ofECCTD’03, vol. 1, pp. 229-232, Sep. 2003.
[3] M. Namba and Z. Zhang, “Cellular Neural Network for
Associative Memory and Its Application to Braille Image
Recognition,” Proc. of IJCNN’06, pp. 4716-4721, Jul. 2006.
[4] H. Koeppl and L.O. Chua, “An Adaptive Cellular Nonlinear
Network and its Application,” Proc. of NOLTA’07, pp. 1518, Sep. 2007.
[5] K. Sumitomo and A. Ushida, “A Design Method of Cellular
Neural Networks using Fuzzy Inference,” IEICE TechnicalReport, NLP, vol. 98, no. 443, pp. 39-46, Dec, 1998.
[6] J. J. Hopfield, “Neurons with Graded Response Have Collective Computational Properties like Those of Two-State
Neurons,” Proc. Natl. Acad. Sci. USA, vol. 81, pp. 30883092, 1984.
[7] Cellular Sensory Wave Computers Laboratory Computerand Automation Research Institute Hungarian Academy ofSciences, “Cellular wave Computing Library (Template, Algorithms, and Programs) Version 2.1”(a) 入力画像. (b) 提案手法を用いた出力画像.

—4—