社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

切り替えテンプレートを用いた 2 層 CNN による動画像処理の調査
夏野一成†

上手洋子†

西尾芳文†

† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島町 2-1
E-mail: †{natsushige, uwate, nishio}@ee.tokushima-u.ac.jp
あらまし セルラニューラルネットワーク (CNN) はアナログ回路が格子状に結合した構成である. CNN はテンプレー
トと呼ばれるパラメータによって様々な処理が可能である. テンプレートとは CNN を構成するアナログ回路の結合のパターンであり, CNN の動作を決定する. 一般的に CNN を用いた画像処理では静止画像に対しての処理が多い一方で, 動画像に対しての処理は少ない．そこで, 私たちは動画像処理に有効な構造の CNN を提案し調査を行う. 本研究では, 私たちは切り替えテンプレートを用いた 2 層 CNN を提案し，その出力特性について調査する．そして, シミュレーション結果から提案構造の CNN が移動物体の時間経過についての特徴づけが可能であることを確認する．
キーワード

2 層セルラニューラルネットワーク，切り替えテンプレート，動画像処理

Motion Picture Processing by Two-Layer Cellular Neural Networks
with Switching Templates
Kazushige NATSUNO† , Yoko UWATE† , and Yoshifumi NISHIO†† Department of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushimashi, Tokushima, 770-8506, Japan
E-mail: †{natsushige, uwate, nishio}@ee.tokushima-u.ac.jp
Abstract The structure of Cellular Neural Network(CNN) is grating coupling of analog circuits. The CNN canbe used for various image processing applications by template. The template is the pattern of coupling that make adecision about behavior of CNN. In a general way, image processing of using conventional cellular neural networks
is still image processing. On the other hand, it is few for motion picture processing. Therefore, we propose thenew system which is eﬀective structure for motion picture processing. In this paper, we investigate characteristics
of output values by a proposed new system of two layer cellular neural networks (two-layer CNN). From simulation
results, we conﬁrm that the proposed system makes it possible to characterize the time course characteristic ofmoving object.
Key words Two-Layer Cellular Neural Network, Switching Template, Motion Picture Processing

1. ま え が き
私たちは日常的に多くの情報を得ており, これらの多くは情報は主に目から得た情報である. 眼球の構成要素の 1 つである

形制御電源から構成されている. CNN はセルラオートマトン及びニューラルネットワークの構造を参考にしている. 構造から CNN は主に画像処理のアプリケーションに使用することができる [2]- [6].

網膜は多くの視細胞が張り巡らされており, 視細胞 1 つ 1 つが主に, CNN を用いた画像処理は静止画像に用いられることが明暗や色彩といった情報を神経信号に変換して脳に伝達してい多く, 動画像に対しての処理は少ない. そこで, 我々は入力画像る. セルラニューラルネットワーク（CNN）は網膜の構造に似と出力画像の 2 種類の画像を用いて, 動画像処理に有効な構造ており, セルと呼ばれるシンプルなアナログ回路が格子状に結の CNN を提案する. 本研究で, 我々は切り替えテンプレート合した構造をしている [1]. 1 つ 1 つのセル回路は隣接するセルを用いた 2 層 CNN を提案し動画像処理に対しての有効性を調回路から情報を受け取り処理を行っている. セル回路の結合の査する. 2 層構造の CNN は, 従来構造の単層 CNN を 2 つの結パターンはテンプレートと呼ばれ CNN の動作を決定する. セ合テンプレート C12 C21 により結合した構造をしており, お互

ル回路は線形抵抗, 線形キャパシタ, 独立電圧源, 線形及び非線いの層の出力値をもう一方の層に加えて処理を行っている [7].

—1—

また, 切り替えテンプレートを用いた CNN は入力値及び出力値に対して条件を加えることによりテンプレートを切り替え一∑dv2 xij= −v2xij +dt
i+rj+r∑A2(i,j;k,l) v2ykl (t)k=i−r l=j−r

度に複数の処理が行える [7]. いくつかの画像処理で, 2 層構造の CNN 及び切り替えテンプレートを用いた CNN は従来構造j+r∑B2(i,j;k,l) v2ukl (t)k=i−r l=j−rの CNN に比べて優れた処理結果が得られる [7]- [8]. 我々が提案する CNN は, 1 層目には新たな画像が入力され 2 層目では 1i+r∑

+つ前に処理された 1 層目の出力画像が入力される. また, 各層を繋ぐ結合テンプレートは 2 層目の出力値を 1 層目に加えるテi+r∑+j+r∑

C21(i,j;k,l) v1ykl (t) + I2

k=i−r l=j−r(|i − k| <= 1 , |j − l| <= 1).

(3)

ンプレートのみである. 加えて, 2 層目のテンプレート AS BS
及び結合テンプレート CS は 1 層目の入力値及び 2 層目の出力値の比較により切り替わる. シミュレーション結果から, 我々は2 層目の CN N の出力方程式 :提案する CNN が動画像処理に有効であることを確認する.

v2 yij(t) =1(|v2 xij(t) + 1| − |v2 xij(t) − 1|).
2(4)3. 提案システム

2. 2 層 CNN
図 1 に 2 層 CNN のブロック図を示す. 従来型の 2 層 CNN

本節では, 私たちが提案するシステムの構造とアルゴリズム

は 2 個の単層 CNN を結合テンプレート C12 , C21 で繋いだ構について説明する. 図 2 に提案システムのブロック図を示す.

造である. そして, 結合テンプレート C12 , C21 は各層の出力値提案システムの構造は 2 層 CNN を基にしている. しかしながをもう一方の層に加えている. また, 従来型の 2 層 CNN は高ら, 提案システムは従来型の 2 層 CNN と比較して結合テンプ度な画像処理に関して効果的な構造である.

レートの個数と切り替えテンプレートを用いてる点で異なる.
具体的には, 提案システムは 2 層目の出力値のみを 1 層目に加えており, また 2 層目のテンプレート AS , BS 及び結合テンプ
レート CS は 1 層目のセルへの入力値と 2 層目のセルからの出力値の比較によって切り替わる. 加えて, 各層の入力値は 10τ毎に切り替わる. また, 2 層目の入力値に関しては 10τ 後 １層目の 10τ 毎の出力値が入力される.

図12 層 CN N のブロック図.

下記に 2 層 CNN の状態方程式と出力方程式を示す.

1 層目 の CNN の状態方程式 :∑dv1 xij= −v1xij +dt
i+rj+r∑A1(i,j;k,l) v1ykl (t)図2

k=i−r l=j−ri+r
∑

+j+r
∑

以下に提案システムのアルゴリズムを示す.

B1(i,j;k,l) v1ukl (t)手順 1 : 始めに, 1 層目の各セルに入力される値と 2 層目の各k=i−r l=j−ri+r
∑

+j+r
∑

提案システムのブロック図.

セルから出力される値の比較により 2 層目のテンプレート AS

C12(i,j;k,l) v2ykl (t) + I1

BS と結合テンプレート CS を決定する. もし, 2 層目のあるセk=i−r l=j−r(|i − k| <= 1 , |j − l| <= 1).

(1)ルの出力値 v2yij が 1 層目の対応するセルの入力値 v1uij より小さい場合, 2 層目のテンプレート AS BS と結合テンプレート

CS にはそれぞれテンプレート A21 , B21 , C21 が割り当てられ
1 層目の CN N の出力方程式 :v1 yij(t) =1(|v1 xij(t) + 1| − |v1 xij(t) − 1|).
2る. 一方で, 2 層目のあるセルの出力値 v2yij が 1 層目の対応す(2)るセルの入力値 v1uij より等しいかもしくは大きい場合, 2 層目のテンプレート AS , BS と結合テンプレート CS にはそれぞれテンプレート A22 , B22 , C22 が割り当てられる. 以下に, テンプレートの切り替え条件式を示す.

2 層目の CN N の状態方程式 :テンプレートの切り替え条件式:—2—

v2yij < v1uij : A21 , B21 and C1 templates.
v2yij >
= v1uij : A22 , B22 and C2 templates.

4. シミュレーション(5)
本節で, 私たちは提案システムを用いたシミュレーション結

手順 2: 1 層目の各セルの値は, 下記に示す状態方程式と出力方果を示す. 今回のシミュレーションでは 4 枚の入力画像を用い程式によって更新される.

る. また, 使用したテンプレートは参考文献 [9] から用いた. 各

1 層目の CNN の状態方程式 :層のテンプレートと結合テンプレートに割り当てた値を以下に∑
dv1a xij= −v1a xij +dti+r

示す.

j+r
∑

A1(i,j;k,l) v1a ykl (t)1 層目のテンプレート:

k=i−r l=j−r+i+r
∑j+r
∑



B1(i,j;k,l) v1a ukl (t)A1 =  −0.1

k=i−r l=j−r+i+r∑j+r∑

CS (i, j; k, l)v2a ykl (t) + I1(|i − k| <= 1 , |j − l| <= 1), (a = 1, 2, 3, 4, ...).
1 層目の CNN の出力方程式 :1v1a yij (t) = (|v1a xij (t) + 1| − |v1a xij (t) − 1|)2(a = 1, 2, 3, 4, ),

(6)

(7)

ここで, a は入力画像と出力画像の番号を表している.

2 層目の CNN の各セルの値は,更新される. 10τ までは状態方程式と出力方程式は式 (8) と式(9) で更新され, 10τ 以降はそれぞれ式 (10) と式 (11) を用いて更新される.

2 層目の CNN の出力方程式 (10τ まで):i+ri+r
∑

j+r
∑

10k=i−r l=j−r(8)(12)000
A21 =  00.2
0 ,000−0.2−0.2


B21 =  −0.2BS(i,j;k,l) v21 ukl (t) + I2(|i − k| <= 1 , |j − l| <= 1).

0−0.2

−0.2
0−0.2




−0.2 
 , I1 = 0.

1.6−0.20

A22 = 
 0AS(i,j;k,l) v21 ykl (t)k=i−r l=j−r+−0.1000  , I = 0.
02 層目のテンプレート:

j+r
∑


−0.1 ,

手順 1 で決定されたテンプレートを用いて以下に示す 状態方程式と出力方程式によって∑dv21 xij= −v21 xij +dt0
B1 =  0000.50



k=i−r l=j−r−0.10(13)

−0.2
0
0 
,

00000.10
B22 =  0.10.2
0.1  , I2 = 0.

0

0.1

0.1

0.1

0(14)

2 層目の CNN の出力方程式 (10τ まで):
v21 yij (t) =1(|v21 xij (t) + 1| − |v21 xij (t) − 1|).
2(9)i+rj+r∑0AS(i,j;k,l) v2b ykl (t)k=i−r l=j−r+i+r∑j+r∑BS(i,j;k,l) v1b−1 ykl (t) + I2(10)2 層目の CNN の出力方程式 (10τ 以降):
1v2b yij (t) = (|v2b xij (t) + 1| − |v2b xij (t) − 1|),2(b = 2, 3, 4, ...),
手順 3 : 手順 1 と手順 2 は 0.005τ 毎に繰り返される.

C1 =  0.10.35


0.1 
,00.100
C2 = 
 0.1

0.1

0−1


0.1 
.

00.10

k=i−r l=j−r(|i − k| <= 1 , |j − l| <= 1), (b = 2, 3, 4, ...).



2 層目の CNN の状態方程式 (10τ 以降):
∑dv2xij= −v2b xij +dt

結合テンプレート(15)

図 3 について画像内の人物は右側から左側へ歩行する移動物体を表している. 図 3(a) は 2 層目の初期入力画像と各層の初(11)期状態画像を表している. 図 3(b)〜(e) は 1 層目の CNN の入力画像を表している.
図 4 及び図 5 はそれぞれ提案システムの 1 層目の CNN と 2層目の CNN の出力画像を表している. 図 4(b)〜(d) で, 1 つ前の処理で現れた移動物体の検出が行えている. 加えて, 図 4(ｂ)

—3—

(a)

(b)

(c)

(a)(b)(c)(d)

図 4 1 層目の出力画像. (a) 0τ . (b) 10τ . (c) 20τ . (d) 30τ .

(d)(e)

図 3 入力画像と初期状態画像.

(a) 各層の初期状態画像と 1 層目の CNN の 0〜10τ まで(a)(b)(c)(d)の入力画像.

(b) 1 層目の CNN の 0〜10τ までの入力画像.
(c) 1 層目の CNN の 10〜20τ までの入力画像.
(d) 1 層目の CNN の 20〜30τ までの入力画像.
(e) 1 層目の CNN の 30〜40τ までの入力画像.に注目すると, 1 つ前の処理で現れた移動物体は, 元の入力画像（図 4(ｂ)）内の移動物体と比べて背景と透過して検出されている. また, 図 3(c) 及び (d) について, 2 つ以降前の処理で現れ

図 5 2 層目の出力画像. (a) 0τ . (b) 10τ . (c) 20τ . (d) 30τ .

た移動物体は背景との境界線が強調されて検出されている.
続いて, 図 5(a)〜(e) について, 4 枚の出力画像はそれぞれグレースケール値が同様の値になっている. しかし, 図 5(b)〜(d)に注目すると, 検出された移動物体はそれぞれ先に検出されたものから背景とグレースケール値が近くなっており, 加えて, 背景との境界線が強調されて検出されている. 図 6 に入力画像の切り替わりによる １ 層目の CNN のピクセル値の変化のグラフを示す. ピクセル V y(30, 30) はそれぞれ入力画像内の背景の座標を表している. ピクセル V y(220, 70), V y(204, 170) はそ
れぞれ入力画像内の背景, 最初に現れる移動物体の頭部及び背景との境界線の座標を表している. ピクセル V y(211, 127) は 2番目に現れた人物と背景の境界線の座表を表している. ピクセ
ル V y(30, 30) について, 曲線は入力値の切り替わりに対しても緩やかな変化をしている. 一方で, 他の 3 つの点についての曲線はそれぞれ入力値の切り替わりに対して大きな変化をしている. また, ピクセル V y(204, 170), V y(220, 70) について, それぞれの曲線は入力値が切り替わるごとにピクセルの値は大きくなっている. つまり, 入力画像が切り替わるごとに移動物体の境界線は強調されており背景など動きがない部分は変化がほぼないことが確認できた.
シミュレーション結果から, 提案システムは移動びったいの—4—

10, pp. 583-601, Oct. 1995.
[7] Z. H. Yang, Y. Nishio and A. Ushida, “Image processing of two-layer CNNs -applications and stability-,” IEICE,Trans. Fundamentals, vol. E85-A, no. 9, pp. 2052-2060,
Sept. 2002.
[8] Y. Kato, Y. Ueda, Y. Uwate and Y. Nishio, “Cellular Neural Networks with Switching Two Types of Templates,”
Proc. of IJCNN’ 11, pp. 1423-1428, Jun. 2011.
[9] L. Kek, K. Karacs and T. Roska, “Cellular Wave Computing Library(Templates, Algorithms, and Programs), Version
2.1, ” Cellular Sensory Wave Computers laboratory, Hungarian Academy of Sciencesk, Budapest, Hungary, 2007.

図 6 1 層目の CNN のピクセル値の変化.

特徴を表すことができた. また, 移動物体の時間経過の変化を境界線の強調によって表すことができた.

5. ま と め
本研究では, 切り替えテンプレートを用いた 2 層 CNN を提案し, 提案システムが動画像処理に有効性を調査した．提案システムは, 単層 CNN を 1 個の結合テンプレートで繋いでおり,2 層目の出力値は 1 層目の処理に影響を与える. また, 2 層目のテンプレート AS , BS と結合テンプレート CS は 1 層目の入力値と 2 層目の出力値の比較で切り替わる.
シミュレーション結果から, 提案構造は移動物体に対して時間経過で特徴付を行うことができた. したがって, 私たちは提案システムが動画像処理に対して移動物体の特徴付に用いることが出来ることを確認した.
今後の課題は, 移動物体の追跡により背景が変化した場合でも, 移動物体のみの検出及び特徴付が行えるシステムの提案及び出力特性のについて調査を行うことである.

謝辞
本 研 究 の 一 部 は, 日 本 学 術 振 興 会 の 科 学 研 究 費 補 助 金(23700269) により得られた成果である.
文

献[1] L. O. Chua and L. Yang, “Cellular Neural Networks: Theory,” IEEE Trans. Circuits Syst., vol. 35, pp. 1257-1272,
Oct. 1988.
[2] F. Dirk and T. Ronald, “Coding of Binary Image Data using Cellular Neural Networks and Iterative Annealing,”
Proc. of ECCTD’03, vol. 1, pp. 229-232, Sep. 2003.
[3] M. Namba and Z. Zhang, “Cellular Neural Network for Associative Memory and its Application to Braille Image Recognition,” Proc. of IJCNN’06, pp. 4716-4721,
Jul. 2006.
[4] H. Koeppl and L. O. Chua, “An Adaptive Cellular Nonlinear Network and its Application,” Proc. of NOLTA’07,
pp. 15-18, Sep. 2007.
[5] T. Kozek, K. R. Crounse, T. Roska and L. O. Chua,“Smart Image Scanning Algorithms for the CNN Universal Machine,” Proc. of NOLTA’95, vol. 2, pp. 707-712, 1995.
[6] K. R. Crounse and L. O. Chua, “Methods for Image Processing and Pattern Formation in Cellular Neural Networks: A Tutorial,” IEEE Trans. Circuits Syst., vol. 42, no.

—5—