社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

強化学習による更新テンプレートを用いた
セルラニューラルネットワークによる画像処理
夏野一成†

上手洋子†

西尾芳文†

† 徳島大学工学部 〒 770–8506 徳島県徳島市南常三島町 2-1
E-mail: †{natsushige, uwate, nishio}@ee.tokushima-u.ac.jp
あらまし 本研究で我々は，強化学習による更新テンプレートを用いたセルラニューラルネットワーク（CNN）を提案する．CNN の動作はテンプレートと呼ばれるパラメータにより決定し，テンプレートの設定により様々な処理が可能となる．一般的に各セルの入力値はそれぞれ異なるのに対して，テンプレートの配置は空間的に一様であり，処理の精度が低く複雑な処理を行うことは困難である．そこで，我々は強化学習を用い，各セルの値によりテンプレートが変化する空間的に一様でない CNN を提案する．提案手法では，中心セルの値と隣接する結合セルの出力値を比較し，類似度によりテンプレートの更新を行う．また，テンプレートの更新には強化学習を用い各セルの値によりそれぞれ異なるテンプレートを配置することができた．いくつかのシミュレーション結果から提案手法が画像処理に有効であることを確認する．
キーワード

セルラニューラルネットワーク，強化学習，画像処理

Image processing by Cellular Neural Networks
with Updating Template by Using Reinforcement Learning
Kazushige NATSUNO† , Yoko UWATE† , and Yoshifumi NISHIO†† Department of Electrical and Electronic Engineering, Tokushima University
2-1 Minami-Josanjima, Tokushimashi, Tokushima, 770-8506, Japan
E-mail: †{natsushige, uwate, nishio}@ee.tokushima-u.ac.jp
Abstract In this study，we proposed Cellular Neural Networks with Updating Template by Using Reinforcement
Learning. Performance of CNN depends on template. In addition, the CNN can be varied processing by template.
In a general way, the conventional CNN is input varied values. Also, a design of template is spatially and temporal
uniform. Therefore, the conventional CNN is restricted to the performance by spatially and temporal uniform
template. we proposed space varying CNN with using reinforcement learning by each cell values. In the proposed
method, the templates are updated by center and neighboring output values. From some simulation results, weconfirm that the proposed CNN is eﬀective for image processing.
Key words Cellular Neural Networks, Reinforcement Learning, Image Processing

1. ま え が きによって決定され，テンプレートはフィードバックテンプレー
ト A，コントロールテンプレート B ，閾値 I の 3 つの要素か

セ ル ラ ニュー ラ ル ネット ワ ー ク（Cellular Neural Net-ら構成されている．一般的に，CNN を用いた処理では各セル

works:CNN）[1] は 1988 年に L. O. Chua らによって考案さにはそれぞれ異なる値が入力され，明瞭な部分では隣接するセれた．CNN はセルオートマトンの概念をニューラルネットワー

ルの値は離れており，不明瞭な部分では隣接するセルの値は近クに組み込んだもので，局所結合の特徴を持ち，LSI 化に適しい場合が多い．一方で，それぞれのセルの結合強度を表すテンている．また，CNN の構造は動物の網膜の構造に類似しておりプレートは明瞭な部分，不明瞭な部分に関わらず空間的に一様

様々な画像処理や特徴検出，パターン生成 [2]- [7] などに用いらであるため，処理の精度が低く，複雑な処理には適さない．それている．CNN の動作はテンプレートと呼ばれるパラメータ

こで, 我々は強化学習による更新テンプレートを用いたセルラ—1—ニューラルネットワークを提案する. 強化学習は，ある環境にてエージェントは行動価値の更新が収束するまで探索を繰り返

対して探索を行い，探索によって得られる報酬により次回の行す．探索を繰り返ことによってエージェントは目標状態が得ら動を決定し，環境に適応する学習制御の枠組みである．提案手れる．図 2 に強化学習の枠組みを示す．

法では，中心セルと隣接する結合セルの出力値の類似度を比較し，強化学習を用い各セルに対してテンプレートの更新を行う．
本研究では，いくつかの画像処理を行いシミュレーション結果から提案手法の有効性を確認する．

2. セルラニューラルネットワーク
CNN は M 行 N 列のセルと呼ばれるアナログ回路が格子状

図2

強化学習の枠組み.に配置されて構成される．本研究では，セルの位置は直行座標系で C(i, j) のように示す．セルは線形と非線形の回路素子で3. 1 Temporal Diﬀerence 学習構成されており，各セルはテンプレートによって隣接する近傍

TD 学習は強化学習に一般的に用いられている手法でありのセルとのみ結合している．CNN は連続時間処理，高速並列TD 誤差と呼ばれるものを用いて自分自身の評価を行い，TD処理の特徴を持っている．セルのブロック図と状態方程式と出誤差を 0 に近づけていくことで学習を進める．TD 誤差とは，力方程式は以下のように示す．

現在の状態の評価値と実際に行動した後に得られる値とを比較しその状態の評価が正しかったかどうかを判定する誤差である．

TD 誤差の値が正の時には評価値よりも状態が良いと判定でき，負の時には評価値よりも状態が悪かったと判定する．TD 誤差の式と状態の更新式を以下に示す．

TD 誤差 :
T D − error = {rt + γ V (xt + 1)} − V (xt ).

セルのブロック図.

図1(3)状態の更新式 :状態方程式 :V (xt ) ← V (xt ) + α [T D − error].

dv1 xij= −vxij +dt+i+r
∑i+r
∑j+r
∑

A(i,j;k,l) vykl (t)Vx ,

k=i−r l=j−rj+r∑γ(0 <=γ<= 1)， α(0 <=α<= 1) はそれぞれ状態の利得，報酬，学習係数，割引率である．

4. 強化学習による更新テンプレートを用いた
セルラニューラルネットワーク

B(i,j;k,l) vukl (t)k=i−r l=j−r(|i − k| <= 1 , |j − l| <= 1).

rt ,(4)(1)
本章では，提案手法である強化学習による更新テンプレートを用いたセルラニューラルネットワークについてのアルゴリズ

出力方程式 :

1vyij (t) = (|vxij (t) + 1| − |vxij (t) − 1|).
2

ムを説明する. 提案手法は，従来の CNN と異なり，強化学習(2)によってテンプレートが更新され処理が行われる．一般的に画像において不明瞭な部分は隣接するセルの値が近い場合が多い．

vuij , vyij ， vxij はそれぞれ入力値，出力値，状態値に対応

そこで提案手法では隣接するセルの値の中で僅かな差を強調す

し，出力方程式は区分線系関数の特性を有し，各セルの出力値るために隣接するセルの中で，中心セルから一番離れた値を持は-1 から 1 の値をとる．

つセルとのテンプレートの要素の更新を行う．以下に提案手法

3. 強 化 学 習のアルゴリズムの流れを示す．

強化学習はある環境に対してエージェントと呼ばれる行動主と (6) によって更新される．

手順 1 : 始めに，提案手法の各セルの状態値と出力値は式 (5)体が探索を行い，その結果によって得られる報酬によって次回状態方程式 :の探索を決定しエージェントが目標状態に落ち着くまで反復さ∑
dv1 xij= −vxij +dt

れる教師なし学習の一種である [8]．エージェントは環境から現i+r

報酬にはノイズや遅れなどを含むので直後の行動価値を参照するだけではエージェントは行動の正しさを判断できない．したA(i,j;k,l) vykl (t)k=i−r l=j−r在の状態についての行動価値を参照して探索を行い，探索で獲られた報酬により行動価値を更新する．探索によって獲られる

j+r
∑

+i+r
∑

j+r
∑

B(i,j;k,l) vukl (t) + I,

k=i−r l=j−r(|i − k| <= 1).
= 1 , |j − l| <(5)がって，更新された行動価値により再び探索を行うことによっ—2—

出力方程式 :vyij (t) =Edge detection template:1(|vxij (t) + 1| − |vxij (t) − 1|).
2(6)手順 2: 次に更新されたセルの出力値について，中心セルと隣接する近傍セルの出力値を式 (7) で比較する．計算したD(i, j; k, l) について，最も小さい値から順にそれぞれ “F irst”，“Second”，“T hird”〜と定義する．

0

A = 
 00010


−1




,
B=0 
 −10−1
0−1−1

8−1 
,−1−1I = −1.

(12)

比較式 :

D(i, j; k, l) = |vycenter (i, j) − vyneighbo (k, l)|.

(7)

手順 3 : 本研究では，提案手法の更新方法で，更新されるテンプレートの要素は 1 つだけであり，手順 2 で定義したセルについて “Eight” のセルと中心セルのテンプレートの要素を更新を行う．また，8 つの D(i, j; k, l) の値がすべて等しい場合，テンプレートの更新は行われない．

TD 誤差 :
(a)(b)(c)(d)

initialT D 誤差 = {Delta(i, j; k, l) + γapresently(i,j;k,l) } − a(i,j;k,l) .(8)状態の更新式 :presently
aupdated− α(T D − error).
(i,j;k,l) ← a(i,j;k,l)(9)

ここで，aupdate
i,j;k,l はテンプレートの要素を表す．
手順 4 : 各セルの値は，以下に示す状態方程式と出力方程式によって更新される．
状態方程式 :

図 3 シミュレーション結果 1. (a) 入力画像 (LENNA). (b) 従∑
dv1 xij= −vxij +dt
i+rj+r∑

来の CNN を用いた結果. (c) 提案手法を用いた結果

Aupdate(i,j;k,l) vykl (t)(“F irst” のテンプレートを更新). (d) 提案手法を用いた

k=i−r l=j−r+i+r∑j+r∑

結果 (“Eight” のテンプレートを更新).
updateB(i,j;k,l)vukl (t) + I,

k=i−r l=j−r(|i − k| <= 1 , |j − l| <= 1).

(10)

図 3 は提案手法によるエッジ検出のシミュレーション結果である．図 3(a) の入力画像について，背景左側の柱，鏡に映った帽子は不鮮明な部分である．図 3(b) の従来手法の CNN を用いた場合では，これらの不鮮明な部分のエッジは検出が行えてい出力方程式 :

vyij (t) =1(|vxij (t) + 1| − |vxij (t) − 1|).
2ない．図 3(c) の提案手法において近傍セルの中で中心セルと(11)

手順 5 : 手順 2 から手順 4 までを 0.005 [τ ] 毎に繰り返される.

近い値のテンプレート要素を更新した場合では，従来手法に比べて帽子と背景の境界など検出できたエッジの割合は多いが，不明瞭な部分のエッジは検出が行えなかった．一方で，図 3(d)の提案手法において近傍セルの中で中心セルと離れた値のテン

5. シミュレーション
本章では, 提案手法を用いたシミュレーション結果を示す. 本
研究で使用するテンプレートは文献 [9] と [10] から引用する.

プレート要素を更新した場合では，不明瞭な部分のエッジの検出が行えた．この結果より，本提案手法で中心セルより離れた値の近傍セルのテンプレート要素を更新した場合，従来手法のCNN と比べ不明瞭な部分のエッジの検出を行うことができた．
値化

5. 1 エッジ検出

5. 2 2

本節では，提案手法によるエッジ検出の結果を示す．更新式

本節では，提案手法による一般画像の 2 値化の結果を示す．

で用いる更新式の学習率を 0.01，割引率を 1 と設定する．

更新式で用いる更新式の学習率と割引率はそれぞれ 0.5 と設定する．

—3—

強化学習を用い各セルの値によりそれぞれ異なるテンプレート

Binary template:0
A= 10を配置することができた．エッジ検出のシミュレーション結果

121

では，提案手法を用いることにより不明瞭な部分のエッジの検0
1 
 , B = 0, I = 0.
0(13)出を行うことができた．また，2 値化のシミュレーション結果
では，不明瞭な部分に加え，画像内の文字などの細かい部分の2 値化を行うことができた．これらのシミュレーション結果から, 提案手法はいくつかの画像処理に有効であることが確認できた. 今後の課題は，中心セルと近傍セルとの値の差異に対するテンプレートの変化と処理精度について詳しく調査することと，提案手法を用いた最適化問題への適応と調査である．
文(a)(b)(c)(d)

図 4 シミュレーション結果 2. (a) 入力画像 (BORT). (b) 従

来の CNN を用いた結果. (c) 提案手法を用いた結果(“F irst” のテンプレートを更新). (d) 提案手法を用いた
結果 (“Eight” のテンプレートを更新).

図 4 は提案手法による画像の 2 値化のシミュレーション結果である．図 4(a) の入力画像について，船室と背景との境界，マストとワイヤーは不鮮明な部分である．図 4(b) の従来手法のCNN を用いた場合では，これらの不鮮明な部分は検出されておらず，また，船体の文字の部分は潰れて検出されている．図4(c) の提案手法において近傍セルの中で中心セルと近い値のテンプレート要素を更新した場合では，従来手法の結果との差異

献[1] L. O. Chua and L. Yang, “Cellular Neural Networks: Theory,” IEEE Trans. Circuits Syst., vol. 35, pp. 1257-1272,
Oct. 1988.
[2] F. Dirk and T. Ronald, “Coding of Binary Image Data using Cellular Neural Networks and Iterative Annealing,”
Proc. of ECCTD’03, vol. 1, pp. 229-232, Sep. 2003.
[3] M. Namba and Z. Zhang, “Cellular Neural Network for Associative Memory and its Application to Braille Image Recognition,” Proc. of IJCNN’06, pp. 4716-4721,
Jul. 2006.
[4] H. Koeppl and L. O. Chua, “An Adaptive Cellular Nonlinear Network and its Application,” Proc. of NOLTA’07,
pp. 15-18, Sep. 2007.
[5] T. Kozek, K. R. Crounse, T. Roska and L. O. Chua,“Smart Image Scanning Algorithms for the CNN Universal Machine,” Proc. of NOLTA’95, vol. 2, pp. 707-712, 1995.
[6] K. R. Crounse and L. O. Chua, “Methods for Image Processing and Pattern Formation in Cellular Neural Networks: A Tutorial,” IEEE Trans. Circuits Syst.,
vol. 42, no. 10, pp. 583-601, Oct. 1995.
[7] K. R. Crounse, L. O. Chua, P. Thiran and G. Setti, “Characterization and Dynamics of Pattern Formation in Cellular Neural Networks,” International Jpurnal of Bifurcation and Chaos, vol. 6, no. 9, pp. 1703-1724, 1996.
[8] L. P. Kaelbing, M. L. Littman, A. W. Moore, “Reinforcement Learning: A Survey” Journal of Artificial Intelligence Research, vol. 4, pp. 237-285, 1996
[9] Cellular Sensory Wave Computers Laboratory Computerand Automation Research Institute Hungarian Academy ofSciences, “Cellular wave Computing Library(Template, Algorithms, and Programs) Version 2. 1”[10] T. Nishio and Y. Nishio, “Periodic Pattern Formation andits Applications in Cellular Neural Networks” IEEE Transactions on Circuits and Systems I, vol. 55, no. 9, pp. 27362742, Oct. 2008.

をほとんど確認できなかった．一方で，図 4(d) の提案手法において近傍セルの中で中心セルと離れた値のテンプレート要素を更新した場合では，不明瞭な部分の検出ができ，船体の文字についても検出することができた．この結果より，本提案手法で中心セルより離れた値の近傍セルのテンプレート要素を更新した場合，従来手法の CNN と比べ効果的に 2 値化を行うことができるといえる．

6. ま と め
本研究で我々は，強化学習による更新テンプレートを用いたセルラニューラルネットワークを提案した．提案手法では，中心セルの値と隣接する結合セルの出力値を比較し，類似度によりテンプレートの更新を行う．また，テンプレートの更新には—4—