社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

２テンプレート CNN におけるネットワークトポロジーによる発振現象のちがい藤井淳二†

細川康輝††

西尾芳文†† 徳島大学〒 770-8506 徳島県徳島市南常三島町 2-1†† 四国大学〒 771-1192 徳島県徳島市応神町古川 123-1
E-mail: †{fujii,nishio}@ee.tokushima-u.ac.jp, ††hosokawa@keiei.shikoku-u.ac.jp
あらまし

これまで我々は２テンプレートＣＮＮの提案し調査を行ってきた．２テンプレートＣＮＮは異なる２つのセルをテンプレートに用いることで２つのセルが互いに相互作用し，従来のＣＮＮには観察することが難しいさまざまな発振現象を確認することができる．本研究では，２つのテンプレートを用いたＣＮＮにおけるネットワークトポロジーによる発振現象のちがいについて調査を行う．
キーワード

セルラニューラルネットワーク, 結合発振器, ネットワークトポロジー

Oscillatory Phenomena Depending on Network Topology ofTwo Template CNN
Junji FUJII† , Yasuteru HOSOKAWA†† , and Yoshifumi NISHIO†† Dept. of E.E. Eng., Tokushima University, 2-1 Minami-Josanjima, Tokushima 770-8506, JAPAN†† Dept. media and informatioin systems., Shikoku University,123-1 Oujin-cho, Tokushima 771-1192, JAPANE-mail: †{fujii,nishio}@ee.tokushima-u.ac.jp, ††hosokawa@keiei.shikoku-u.ac.jp
Abstract In our previous study, we have proposed a Two-Template CNN. This system can generate some kinds of oscillatory
phenomena which are derived from mutual effects of two kinds of templates. It is too difﬁcult to observe these oscillatory
phenomena on conventional CNNs. In this study, a relationship between a network toporogy of the Two-Template CNN andoscillatory phenomena is invesitigated.
Key words Cellular Neural Network, Cupled oscillators, Network toporogy

1. ま え が き
現在の情報処理のほとんどは逐次処理である．したがって，有している点で他のニューラルネットワークのモデルと区別されている．CNN の研究は盛んに行われており，CNN の情報処理構造が機能的に動物の網膜に酷似しているため，視覚情報処

情報量が増加すればするほど処理速度が下がり，実時間での処理，LSI 化などの集積回路などに適している．また，その他に理ができないという根本的問題を持っている．その解決方法のもさまざまな工学的提案がされており，パターン認識 [4]，連想１つとして，人間の脳の仕組みを模倣し考案されたニューラルメモリ [5]，ノイズ除去 [6] などの研究も行われている．このよネットワークを用いた情報処理の研究が行われている．ニュー

うに，CNN に関する研究は広く行われている．それら研究のラルネットワークはニューロンと呼ばれる情報処理要素が相互１つである２層 CNN [7]- [9] では，従来の CNN ではできない結合し，非同期な並列処理が可能という特徴を持っている．し

複雑な処理が可能であり，自己組織化パターン，伝播現象などたがって，ニューロンを必要数用意していれば，情報量が増加の興味深い現象も見られる．

しても処理速度は下がることはない．さらに，ニューラルネッ

我々はこの２層 CNN に着目し，より簡単な構造で同様の現トワークとセルラオートマトンの概念を組み合わせた相互結象が見られる可能性のある２テンプレート CNN の提案および合型ニューラルネットワークの 1 種であるセルラニューラル調査を行ってきた [10] [12]．２テンプレート CNN は２層 CNN

ネットワーク (CNN) [1]- [3] が，1988 年に L.O.Chua と L.Yangと同様の現象が見られるだけでなく，発振現象が見られることによって提案された．CNN はセルと呼ばれる基本素子が格子から新しい発振器の結合系と見なすことができると考えられる．

状に配置されている点や，各セルが近傍するセルとのみ結合をしたがって，このシステムにおける発振現象を調査することは—1—

3:出力特性yij = f (xij ).

(3)f (x) = 0.5(|x + 1| − |x − 1|).

(4)

ここで，uij は入力，yij は出力，xij は状態変数，I は閾値，A{αβ} (i, j; k, l)，B{αβ} (i, j; k, l) はそれぞれフィードバック及びフィードフォワードテンプレートである．

3. ２テンプレート CNN で確認されているいく
つかの発振現象について
3. 1 シミュレーションの設定
従来の CNN には安定性定理 [16] が報告されており，特殊な設定やテンプレートが非対称でない場合には完全に安定であることが証明されている．２テンプレート CNN で見られる発振現象は，基本的には従来の CNN では安定だと考えられる状態

図 1 ２テンプレート CNN の構造であり，２種類のテンプレートを用いたことによる発振である

新しい発振器の結合系を理解することにとって重要であるといえる．
本研究では，２テンプレート CNN におけるネットワークトポロジーによる発振現象のちがいの調査したので報告する．

2. ２つのテンプレートを用いたセルラニューラ
ルネットワークと考えられることから発振現象がみられること自体興味深いといえる．
これまでの研究において，テンプレートを上下左右対象となるように以下のようにパラメータ u，v ，w で定義し，ルンゲクッタ法によるコンピュータシミュレーションを行った．

v−uu−vu

Aα =  vwv  , Aβ = −v−w−v  ,−uv−u−vu

図 1 は 2 テンプレート CNN の構造を表している．２テンプ
レート CNN では２種類のテンプレート α テンプレートと β テ

−uu

B α = 0, B β = 0, Iα = 0, Iβ = 0.

ンプレートが用いられる．それぞれのテンプレートが適用され(5)るセルをそれぞれセル α，セル β とすると，２種類のセルは，図 1 のような市松模様状に配置される．この構造は，２種類のその結果として，CNN における境界条件は複数あるが，２種セルが互いに発振の要因を共有し発振するのであれば，従来の類の境界条件において２テンプレート CNN の発振現象を確認発振器結合系で実現することが困難な構造であるといえる．しした [10] [12]．発振現象が確認できたものは，境界セルの値をたがって，このシステムが新しい発振器の結合系を調査するモ0 に設定する固定境界条件とネットワークをトーラス状に結合デルとなることが期待できる．２テンプレート CNN の各セルした周期的境界条件である．我々は発振器結合系の結合係数との状態方程式と出力特性は，ある座標 i，j のセルを c(i，j) と発振要因がそれぞれ u と v に対応していると考えており，このすれば以下の通りである．

対応を調査するためにも，境界条件の影響を調査することは重1:セル α の状態方程式要である．
以下に，各発振現象のコンピュータシミュレーション結果をdxij= − xij + Iα
dt+∑Aα (i, j; k, l)ykl

c(k,l)+∑

示す．これらはすべて上記設定を用い，セルの数は 16×16 とした．

(1)

3. 2 固定境界条件での発振現象１
図 2 は，境界条件に固定境界条件を用いたシミュレーション

Bα (i, j; k, l)ukl

結果である．図 2(1) から図 2(4) は初期状態からの過渡状態を，c(k,l)

図 2(5) 以降は定常状態をそれぞれ表している．図 2(1) のよう

2:セル β の状態方程式にすべてのセルの初期値状態値を 1，すなわち黒に設定しているにもかかわらず，図 2(2) において，すでに市松模様が見られdxij= − xij + Iβdt+∑

Aβ (i, j; k, l)ykl

c(k,l)+∑c(k,l)Bβ (i, j; k, l)ukl

る．その後，図 2(3)，(4) と外側から網の目状に変化している．
この後，網の目状が変化する過渡状態を経て，図 2(5) からは，(2)全体的に黒い状態から図 2(7) のような網の目状の明るい状態から，濃淡が変化しながら暗くなり図 2(15) あたりで図 2(5) の状態へ戻る．このような状態が定常的に繰り返される．したがっ—2—図2(1) t=0(2) t=0.1(3) t=1.0(4) t=1.5(1) t=0(2) t=0.1(3) t=1.0(4) t=1.5(5) t=5.0(6) t=6.0(7) t=7.0(8) t=8.0(5) t=5.0(6) t=6.0(7) t=7.0(8) t=8.0(9) t=9.0(10) t=10.0(11) t=11.0(12) t=12.0(9) t=9.0(10) t=10.0(11) t=11.0(12) t=12.0(13) t=13.0(14) t=14.0(15) t=15.0(16) t=16.0(13) t=13.0(14) t=14.0(15) t=15.0(16) t=16.0(17) t=17.0(18) t=18.0(19) t=19.0(20) t=20.0(17) t=17.0(18) t=18.0(19) t=19.0(20) t=20.0

固定境界条件で観察される発振現象１．u = 1.0，v = 1.0，

図 3 固定境界条件で観察される発振現象２．u = 1.0，u = 1.0，

w = 1.0．セルの初期状態値:すべて１．

w = 1.0．セルの初期状態値:乱数．て，周期はおおよそ 10 単位時間である．この図からは分かりにくいが，セルの数を多くしたシミュレーションでは外側すなわち境界セルから波動が内側へと伝わっているようにみえる．
また，発振現象は上下左右対象であることも特徴である．

(1) t=0(2) t=0.60(3) t=0.65(4) t=0.70(5) t=0.75(6) t=0.80(7) t=0.85(8) t=0.90

3. 3 固定境界条件での発振現象２
図 3 は，初期状態値を乱数に設定し，境界条件に固定境界条件を用いたシミュレーション結果である．すなわち，初期状態値が乱数であること以外は，図 2 と同じ条件での場合である．図 3(1) から図 3(4) は初期状態からの過渡状態を，図 3(5)以降は定常状態をそれぞれ表している．図 3(1) の初期状態から，すみやかにクラスタが生成 (2)-(3) される．この場合，左上部とその他の部分に分かれている．その後，クラスタ自体は固図4

周期的境界条件で観察される発振現象．u = 2.0，v = 3.0，

w = 1.0．セルの初期状態値:乱数．

定されるが，クラスタ間は変動し続ける (5)-(20)．この変動は，(5)(6) の繰り返しが (7)(8)，(9)(10) と見られ，その後も少しず現象は観察されなかった．さらに，初期状態値に乱数を設定し，つパターンがずれていくが周期的であることが分かる．この結境界条件に周期的境界条件を用いたシミュレーションでは，過果からは分からないが，クラスタ同士の境界のすべてがネット渡状態では振動していたが，時間経過と共に振動は収束した．

ワーク自体の境界に接するという特徴や，これらのクラスタはしかしながら，テンプレートの値を変化させることにより，周4 種類に分類することできるという特徴もある [11]．

期的境界条件を用いた場合でも発振現象を観察することができ

3. 4 周期的境界条件で発振現象

る．図 4 は初期状態値を乱数に設定し，境界条件に周期的境次に，初期状態値を全て１に設定し，境界条件に周期的境界界条件を用いたシミュレーション結果である．このようにパラ条件を用いたシミュレーションを行った．しかしながら，発振メータを u = 2.0，v = 3.0，w = 1.0 と設定すると，この現象—3—

は，ネットワークトポロジーが発振現象に影響する．u = 2.0，

u = 3.0，w = 1.0 のようにパラメータに 1 以外の値が用いられる場合，ネットワークトポロジーに関係なく発振現象が見られる場合がある．
(1) t=0(2) t=0.60(3) t=0.65(4) t=0.70

我々は，２テンプレートＣＮＮに発振現象が起こるということは，異なる２つのテンプレートをもつセルが互いに発振の要素として必要とし，それらが上下左右で共有し合いながら発振するという新しい発振器の結合系と見なすことができると考えている．この点において，ネットワークトポロジが発振自体に(5) t=0.75
図5(6) t=0.80(7) t=0.85(8) t=0.90

周期的境界条件で観察される発振現象．セルの数：8×8．u = 2.0，v = 3.0，w = 1.0．セルの初期状態値:乱数．

影響するということは反証となる．このため，ネットワークトポロジが発振自体に影響しない，u = 2.0，u = 3.0，w = 1.0のようなパラメータ 1 以外の場合について発振現象のメカニズムを明らかにすることが重要である．

はシミュレーションで確認した限りでは，図 4(1)-(8) のように明るい部分と暗い部分が不安定に変化し続ける状態となる．しかしながら，セルの数を 8 × 8 にした場合には，この状態が不規則な時間後に，図 5 のように整然としたパターンの繰り返しの状態になる．さらに，この変化するパターンを観察すると，発振は 4 種類に分類することができ，2 組のペアでそれぞれ同期しているということも分かる．この結果は，16×16 の場合でも整然としたパターンに落ち着く可能性を示唆しており，今後の調査が必要である．

4. それぞれの発振現象のちがいとネットワークトポロジー
図 2 および図 3 のシミュレーションにおいて，ネットワークの境界から振動が始まっており，境界セルが発振現象に重要な要素といえる．また，図 3 の場合には，クラスタは 4 種類に分類することができるが，4 種類の組み合わせによって，発振するものと一方のクラスタが他方のクラスタを取り込む場合があることが分かっている [11]．この結果は，発振には２種類のセルとその状態変数に何らかの規則性が必要であることが考えられる．一方，図 4 の場合においても，u = 1.0，u = 1.0，w = 1.0 では発振しないことが分かっている．以上の結果から，
u = 1.0，u = 1.0，w = 1.0 の場合は，初期状態によって現象は多少異なるものの，境界条件が固定境界条件である必要があると考えられる．すなわち，ネットワークトポロジーが発振現象に関係しているといえる．
しかしながら，u = 2.0，u = 3.0，w = 1.0 の場合には，図 4や図 5 のような発振現象が見られる．この場合，境界条件は影響しておらず，固定境界条件でも複雑な発振現象が見られる．
したがって，パラメータに 1 以外の値が用いられる u = 2.0，u = 3.0，w = 1.0 のような場合には，ネットワークトポロジーに関係なく発振現象が見られる場合があるといえる．

5. まとめと今後の課題
本研究では，2 テンプレート CNN におけるネットワークト文

献[1] L. O. Chua and L. Yang, “Cellular Neural Networks: Theory,” IEEE
Trans. Circuits Syst., vol. 35, no. 10, pp. 1257–1272, 1988.
[2] L. O. Chua and L. Yang, “Cellular Neural Networks: Applications,”
IEEE Trans. Circuits Syst., vol. 35, no. 10, pp. 1273–1290, 1988.
[3] L. O. Chua, M. Hasler, G. S. Moschytz and J. Neirynck, “Autonomous Cellular Neural Networks: a uniﬁed paradigm for patternformation and active wave propagation,” IEEE Trans. Circuits Syst.
I, vol. 42, no. 10, pp. 559–577, 1995.
[4] M. Nanba, and Z. Zhang, “Cellular Neural Network for AssociativeMemory and Its Application to Braille Image Recognition,” Proc. ofIJCNN’06, pp. 4716–4721, 2006.
[5] K.R. Crounse, and L.O. Chua, “Methods for Image Processing andPattern Formation in Cellular Neural Networks: A Tutorial,” IEEE.
Transof Circuits Syst., vol. 42, no. 10, pp. 583–601, 1995.
[6] T. Roska, A. Zarandy and L.O. Chua, “Collor Image Processing byCNN,” Proc. of ECCTD’93, pp. 57–62, 1993.
[7] Z. Yang, Y. Nishio and A. Ushida, “Generation of Various Typesof Spatio-Temporal Phenomena in Two-Layer Cellular Neural Networks,” IEICE Trans. Funds., vol. E87-A, no. 4, pp. 864–871, 2004.
[8] P. Arena, S. Baglio, L. Fortuna and G. Manganaro, “SelfOrganization in a Two-Layer CNN,” IEEE Trans. Circuits Syst. I,
vol. 45, no. 2, pp. 157–162, 1998.
[9] Andras G. Radvansyi, “On the rectangular grid representation of general CNN networks,” Int. J. Circ Theor, Appl, vol. 30, no. 2, pp. 181–193, 2002.
[10] J. Fujii, Y. Hosokawa and Y. Nishio, “Wave Phenomena in Cellular Neural Networks Using Two Kinds of Template Sets,” Proc. ofNOTLA’07, pp. 23–26, 2007.
[11] J. Fujii, Y. Hosokawa and Y. Nishio, “Clustering Phenomena onCellular Neural Networks Using Two kinds of Templates,” Proc. ofNCSP’08, pp. 431–434, 2008.
[12] J. Fujii, Y. Hosokawa and Y. Nishio, “Oscillatory Phenomena in Cellular Neural Networks Using Two Kinds of Templates,” Proc. ofNOLTA’08, pp. 688–691, 2008.
[13] M. Oda, Z. Yang, Y. Nishio and A. Ushida, “Analysis of TwoDimensional Conductive Plates Based on CNNs,” Proc. of NCSP’05,
pp. 447–450, 2005.
[14] Z. Yang, Y. Nishio and A. Ushida, “Image Processing of Two-Layer
CNNs — Applications and their Stability,” IEICE Trans. Funds.,
vol. E85-A, no. 9, pp. 473–490, 2002.
[15] Z. Yang, K. Tsuruta, Y. Nishio and A. Ushida, “Investigation ofPhase-Wave Propagation Phenomena in Second Order CNN Arrays,”
Proc. of ISCAS’04, vol. 3, pp. 49–52, 2004.
[16] L. O. Chua and L. Tamas Roska, “Cellular Neural Networks and visual computing,” Cambidge University Press, 2002.

ポロジーによる発振現象のちがいの調査を行った．結果として，以下の知見を得た．u = 1.0，u = 1.0，w = 1.0 の場合に—4—