IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月

Deep Convolutional Neural Network による手形状領域の抽出
山下隆義 †

綿末太郎 ‡

山内悠嗣 †藤吉弘亘 †† 中部大学 ‡ とめ研究所
E-mail: yamashita@cs.chubu.ac.jp
Abstract

引き出すために十分なサンプル数とは言えない．対象とする物体のクラス内バリエーションが多い場合は特ディープラーニングは音声認識や物体認識などの様々に大量の学習サンプルが不可欠となる．この問題は物な分野で高い汎化性が注目されている．本稿ではディー

体認識だけでなく，物体の領域抽出のタスクにおいてプラーニングの１つである Deep Convolutional Neuralも同様である．そこで，本稿では領域抽出において，限Networks を手形状の領域抽出に利用する．手形状は同られた学習サンプルから大量のサンプルを自動生成さ一クラス内のバリエーションが大きい．そのため，学せて抽出精度を向上させる方法を提案する．領域抽出

習には大量の学習サンプルが必要となるが，人手で収の対象として，クラス内のバリエーションが多い手の集することは大変困難である．そこで，限られた学習形状とする．

サンプルから学習サンプルを生成する方法を利用する．
また，提案手法では maxout などのディープラーニン

2関連研究

グの過学習を防ぎ，汎化性を向上させる手法を用いる．
い場合と比べて，領域抽出精度を向上させることがで1990 年代前半から多くの研究者が ConvNets を用いた手法を提案している [3][4]. 近年では，ConvNets は手きた．

書き文字認識 [4] をはじめ，テキスト検出 [8] や画像認

これにより，提案手法は学習サンプルの生成を行わな

識 [11][13][16]，人体検出 [22][18][19] など幅広く利用されている．ConvNets は 1000 クラスの物体認識タスク

1

はじめにで従来手法よりも圧倒的な性能を達成してブレークスルーを起こして以降，Sermanet らが ConvNet の多大

ディープラーニングは音声認識や物体認識を含む多くのコンペティションに用いられている．特に，Deep

Convolutional Neural Networks (ConvNets) は手書き
文字認識 [4]，番地認識 [12]，標識認識 [11]，物体認識[13] などの多くのベンチマークでトップレベルの性能を達成している．Krizhevsky らの ImageNet2012 コンペ
ティションでの勝利や，Zeiler らの ConvNets を認識問
題だけでなく位置検出タスクへの応用と ImageNet2013
での勝利を通じて，ConvNets を含むディープラーニン
グはより一層，一般的な機会学習手法となっている．

ConvNets の利点は各タスクに適した特徴を入力画像の画素をそのまま利用して簡単に抽出できる点である．
これにより人手による特徴設計が不必要となり，特徴設計の負担を軽減することができる．また，ネットワー
ク全体でより複雑な特徴を抽出することが可能となる．
一方，ConvNets は過学習に陥りやすいことや学習時間がかかることなどの欠点がある．多くの研究者がこれらの ConvNets の欠点を解決するための手法を提案しているが，多くの学習サンプルが必要となる問題が残っている．上述のベンチマークでは大量の学習サン
プルが用意されているが，ConvNets のポテンシャルをな可能性を人体検出で示している．この ConvNets は階層的な構造とともに，１層目の出力を直接３層目に利用するスキップ構造を併用している．また Sparse codingによる教師なしの事前学習も利用している．この手法
では，グローバルな形状情報と局所的な情報の両方を特徴としている．一方，ConvNets による領域抽出は Jainらにより位置検出に用いられている [7]．この手法では，領域矩形の代わりに物体の輪郭を利用して物体の位置を学習している．
多くの研究者が過学習を防ぐ方法や学習プロセスの問題を解決する方法を提案している．特に，テストサンプルに対する汎化性を向上させる方法として，

max pooling や average pooling などの pooling[9][10]や maxout[15] がある．pooling は同じ特徴マップ内の近傍領域における最大値を出力として選択する方法であり，maxout は異なる特徴マップ間で同じ位置にある値のうち最大値を出力として選択する方法である．Pool-ing と maxout の両方とも位置の不変性があることが知られている．また，局所解に陥ることを防ぐための事
前学習方法として Auto encoder がある．Auto encoder
は ConvNets を構成する各層のパラメータを教師なし

IS2 - 16 - 1

IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月

学習により事前に初期値を決める方法であり，全層のタを得る [2] [6]．

パラメータを同時に決めるのではなく，１層ごとに階3.1

ConvNets の学習層的に決めていく方法である．また，全結合層のパラConvNets の学習には誤差逆伝播法が用いられる．誤メータを学習する際に，一定の結合のパラメータを０

差逆伝播法は式 (1) および式 (2) に示すように，勾配降とする方法であり，過学習を防ぐ方法として知られて下法により誤差 E が最小となるような結合重みを推定いる．

する．

1∑
Ep
2 p=1
P

一方，ConvNets の構成による過学習を防ぐ方法以外

E=に，サンプル生成により学習サンプルを十分に用意する(1)

方法がある．最も簡単なサンプル生成は位置ずれさせた(l)

た，スケールや回転を適用する方法もある [21]. Simard(l)

(l)

(l)

wji ← wji + ∆wji = wji − λ

サンプルを用意する方法や画像反転である [13][14]．ま∂Ep(l)

(2)

∂wji

らはさらに高度な方法として Elastic distortion と呼ばここで， {p|1, ..., P } は学習サンプル， op は学習サれる変形方法を利用して文字認識での効果を示してい

ンプル p に対する出力，tp は学習サンプル p の教師ラる [5]．我々は Elastic distortion の効果を領域抽出のタベルである．λ は学習率， wji は l 番目の層のユニッスクでも同様にあることを本稿にて示す．

ト i から次層のユニット j に対する結合重みである．各

また，大量の学習サンプルを利用して学習する場合，学習時間が大幅にかかる．そのため，GPU による並列(l)学習サンプルの誤差 Ep は出力とラベルとの差を累積で(l)ある．∆wji は式 (3) のように表すことができる．

処理がよく使われている．Krizhevsky らは GPU のバ(l)(l) (l−1)

(3)

(l)

(l)

(4)

∆wji = −λδk yj

ス幅を考慮した ConvNets の構成を提案し，ConvNetsによる性能向上とともに高速化を実現している．近年
は，Theano[20] などにより，ConvNets の並列学習環境

δk = ek ϕ(Vk )が整っており，容易に学習環境を構築することができる．本稿では Theano を利用して ConvNets を構成さ(l)Vkせる．

=

∑(l)

(l−1)

wkj ∗ yj(5)j(l−1)

3yj
は，(l − 1) 番目の層のユニット j の出力，ek(l−1)
はユニット k の誤差，Vkは (l − 1) 番目の層の全ユ

Convolutional Neural Network
ConvNets は Hubel ら [1] による視覚野の局所受容野

ニットから l 番目の層のユニット k への結合値の累積にもとづく畳み込み層とサンプリング層，すべてのユである．局所的な勾配降下は式 (4) から得ることができニットを結合する全結合層および最終的な認識結果を出る．活性化関数 ϕ は様々なバリエーションがあり，シ力する認識層から構成されている．また，入力層としてグモイド関数や ReLu[13] などがある. ネットワーク全画像の画素値やエッジまたは正規化した値を入力する層体の結合重みはあらかじめ決めた回数または収束条件もある．畳み込み層は Kx × Ky サイズの M 個のカーを満たすまで繰り返し更新される．

ネルをもち，入力に対してカーネルの畳み込みを行い誤差逆伝播法による誤差 E の求め方は，full-batch,特徴マップを出力する．特徴マップに対して，サンプリ

online and Mini-batch の複数の方法がある. Full-batch

ング層ではサブサンプリングを行う．Scherer ら [9] は，はすべての学習サンプルを同時に与えて，結合重みをサブサンプリング手法の１つである max pooling が学更新する．この方法の場合，繰り返し回数は少ないが習の収束が早いことや汎化性が高いことを示している．

勾配が大きくなり収束しにくい．一方，Online は学習

また，Boureau ら [10] は pooling によるサブサンプリサンプルを１つづつ与えて更新するため，勾配は小さングの有効性を理論的に解析している．Max pooling はくなるが繰り返し回数が膨大となる．Mini-batch はこ

同じ特徴マップ内の 2 × 2 などの一定領域における最大れらの中間的な方法で学習サンプルを小さなサブセッ値を出力する．Deep learning では，畳み込み層とサントに分けて更新する．Mini-batch は大量の学習サンププリング層を繰り返し複数層重ねる構成となっている．

ルを利用する場合でも効率的に重みを更新することが全結合層では，これらの構成から得られた値を重み付でき，よく用いられている．

き和として全結合して各ユニットの値を求める．そして認識層では全ユニットの値を特徴ベクトルとし，Softmax により各クラスの確率を求める．ConvNets の各パラメータはランダムに決めた初期値から誤差逆伝播法による教師あり学習で更新していき，最適なパラメー

4 提案手法4.1

学習サンプルの生成

実環境でのアプリケーションに ConvNets を利用する
場合，単純な背景下での限られたバリエーションの学習

IS2 - 16 - 2

IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月に次いで maxout を利用する．Max pooling は，同じ特徴マップ内の近傍から最大値を選択する一方，maxoutは異なる特徴マップ間における同じ位置の最大値を選2#$)$')1#3/!

択する．Max pooling は特徴マップのサイズが半分にな2)-#,4')1#3/!
!"#$%&'()$*+,%+-'.'(/0+,1#%+-'

2#&53,+6-(')1#3/!

は前層の出力を特徴ベクトルとして受け取り，dropout!"#$%&'()$*+,%+-'.'(/0+,1#%+-'!

るが，maxout は特徴マップ数が半分になる．全結合層を利用して学習する．バイナリ層は全結合層が出力する特徴ベクトルを受け取り，バイナリ画像を出力する．
バイナリ層の各ユニットは画素に相当しており，各画7631/-*/(')1#3/!

素が１となる確率を出力する．

4.3
図1

入力層

ネットワークは過学習を防ぐために大量の学習サン

学習サンプルの生成方法.

プルを利用して学習する．しかしながら，大量の学習
表1

サンプルを収集することは困難である．4.1 節で述べた

Deformation range of each factor.
deformation factor range

ように Elastic distortion を利用することで限られた学translation
scaling±3± 5%

習サンプル数から大量のデータを生成することが可能

rotationbrightness±5± 10%

ンプルを与える．

である．入力層には生成したグレースケールの学習サ

4.4

畳み込み層

我々は畳み込み層の活性化関数として，maxout を用いる [15]．従来のシグモイド関数のような活性化関数やサンプルだけでなく，様々な背景下におけるサンプルが必要となる．我々はそれらのサンプルを用意する方法として，図 1 に示すような data augmentation と背景合

ReLU[13] と比べて高い表現力がある．従来の活性化関数は式 (7) に示すような hi in h = (h1 , ...hi , i ∈ I) として定義される．

成によるデータ生成方法を利用する．最初に，グレース

hi = σ(xT Wi + bi ).

ケールの学習サンプルとともにその画像のバイナリのラベルデータを用意する．そして，Elastic distortion により学習サンプルとラベルデータを変形させる．Elasticdistortion では，各画素の位置を新たなターゲットの位置 x∗ に配置する．新たな位置 x∗ は次式のようにラン(7)σ(·) はシグモイド関数であり，x は入力ベクトル，Wiは結合重み，bi はバイアス項である．Maxout は式 (8)に示すように，複数の特徴マップから最大値を選択する．

ダムな変位とスケーリング係数 α から求める．

hi = max zij ,(8)zij = xT Wij + bij(9)j∈[1,k]x∗ = x + α∆x.

(6)
全結合層

∆x は-1 から 1 の間のランダムな実数である．Simardらの手法のように，∆x は標準偏差 σ の正規分布を畳4.5み込んで得られた平滑化変位である [5]．位置 x∗ の値は重み付き結合で結ばれている．全結合層の学習にはバイリニア補間を用いて周辺画素の値から求められる．

dropout を利用する．Dropout は過学習を防ぎ，汎化学習サンプルとバイナリラベルデータに Elastic dis-性を向上させる効果的な方法である [14]. Dropout はラtortion を適用後，背景画像と合成を行う．その際，表1 に示すような大きさ，並進，回転の変形を加える．背ンダムに選んだ結合重みを 0 とし，残りの結合重みの景領域はオリジナルの背景画像から位置や大きさをラ合重みのうち 50%を０にする．

ンダム決めて切り取る．

4.6

4.2

ネットワーク構成

全結合層のユニットは，前層のすべてのユニットとみ更新する方法である．一般的には一回の更新で全結バイナリ層領域抽出のタスクのためにバイナリ層を利用する．バ

提案手法のネットワーク構成を図 2 に示す．ネットワー

イナリ層は全結合層に基づいており，全結合層と同様，クは入力層，畳み込み層，サブサンプリング層，全結合前層のすべてのユニットと結合する．バイナリ層の出層，バイナリ層の５つの種類から構成されている．Max

力ユニット数は入力画像のサイズと同じである．各出pooling は学習の収束を早くすることができ，また汎化性力ユニットは抽出したい領域らしさを確率として出力を向上させることができる．提案手法では，max poolingする．

IS2 - 16 - 3

IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月

3'/%+4+5&()#6

3'/%+4+5&()#6&789:&6';+<?'")4=&'()*+&&3'/%+4+5&()#6&
789:&()#6<!"#$%&'()*+,-".-/$0-"

1)2&#--/'"*

1)2&-$%

図2

表2

layer

4.7

,-".-/$0-"

3$//=&>-""+>0-"?'")4';)0-"

ネットワークの構成．

ネットワークの構成
typesize,# of kernels

input
1st

grayscaleconvolution

40×40
5×5, 32

2nd
3rd
4th

max poolingmaxoutconvolution

2×2
4
5×5, 32

5th
6th
7th

max poolingmaxoutfully connected2×2
4200output

L2 norm

1600

図3

評価データセット

表3

領域抽出の性能
precision recall

F値

0.90330.89580.91330.8983手法
提案手法
画像生成なしネットワークの学習

0.92340.9008手形状として６種類の形状を含んでおり，各形状には畳み込むカーネルの要素，結合重みおよびバイアス

個人差や傾きなどの変形もある．また，背景は実環境でのすべてのパラメータを W とし，それらはランダムあり，照明変化も生じている．学習サンプルは 1600 枚な値を初期値とする．パラメータは誤差逆伝播法によのグレースケール画像およびバイナリラベルデータをり逐次更新されていき，t + 1 回目に更新するパラメーベースとし，提案手法は Elastic distiortion により 200

タ Wt+1 は式 (10) のように更新される．

万枚の画像を生成する．画像生成を行わない手法では，

Wt+1 = Wt − ϵt+1

∂E∂W

背景画像との合成のみ行い，同様に 200 万枚を学習に(10)認識問題の場合，Softmax が一般的に用いられるが，我々は式 (11) のような L2 ノルムを利用する．

利用する．mini batch による学習の更新回数は 20 万回とする．
実験結果

5.1

表 3 に画像生成の有無による precisin-recall 率を示

E = ||h − y||2(11)学習率は式 (12) に示すように，繰り返し回数に応じて小さくしていく．

ϵ0 τ
ϵt+1 =max(t, τ )す．これより，画像生成を行った提案手法の方が画像生成なしと比べて性能が良いことがわかる．すなわち，学習サンプルの枚数が同一の場合でもバリエーションの豊富さが重要となっている．また，バイナリ層の出(12)力を可視化した例を図 4 に示す．入力がグレースケー
ルが像にも関わらず提案手法は複雑な背景下でも手領ϵ0 は初期の学習率，τ は学習率を減少させていく回数である．

域を抽出できていることがわかる．さらに，提案手法は背景の複雑さだけでなく照明変化にも頑健となっている．

5

実験

6考察

6.1

更新回数による性能比較

領域抽出タスクにおける ConvNet および学習サンプ
ルの自動生成の効果を示すために，同一クラス内のバリエーションが多い手形状を対象とした領域抽出精度

学習時の誤差の推移を図 5，および提案手法の更新回の比較実験を行う．評価データセット例を図 3 に示す．

数による性能の変化を表 4 に示す．図 5 より 4000 回更IS2 - 16 - 4

IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月

表4

図4

複雑背景下からの手領域の抽出結果

表5

提案手法における更新回数による性能比較
更新回数 precision recall
F値

00.23021.00000.3742

50000
1000000.89300.89680.91350.91990.90320.90821500002000000.90540.90330.9186
0.92340.9120
0.9133

提案手法におけるカーネルサイズによる性

能比較
更新回数

#!"
+"

precision

recall

F値

3x3

0.90970.91330.91155x5
7x7

0.90330.9056

0.92340.90390.91330.9047!"#$%&*"!"#'(&)")*"(",-.&'"
&"
%"

参考文献

$"
#"
!"

#!!"

&!#!!"*!!!!"#$!!!!"[1] D. Hubel and T. Wiesel, “Receptive fields, binocular interaction and functional architecture in thevisual cortex”, Journal of Physiology, pp.160:106–#(!!!!"+,-.&

図5

提案手法の学習時における誤差の推移

新する間に誤差は大きく減少しており，それ以降徐々に収束していることがわかる．また，画像生成ありの方が誤差が大きく減少している．表 4 からも precision お
よび recall が 5 万回までに大きく向上していることがわかる．5 万回以降の更新回数ではわずかであるが，F値についても改善されている．これらより，画像生成することで学習サンプルのバリエーションが多くなっているため，多様な変化に頑健になっていると言える．

6.2

カーネルサイズによる性能比較

次に，カーネルサイズによる性能比較を行う．性能の比較結果を図 5 に示す．これより 5 × 5 の場合が最も154, 1962.
[2] D. E. Rumelhart, G. E. Hinton, and R. J.
Williams, “Learning internal representations byerror propagation”, In Parallel Distributed Processing:Explorations in the Microstructures ofCognition, vol.1, pp.318–362. MIT Press, 1986.
[3] R. Vaillant, C. Monrocq and Y. LeCun, “Originalapproach for the localisation of objects in images”,
IEE Proc on Vision, Image, and Signal Processing,
No.141, Vol.4, pp.245–250, 1994.
[4] Y. LeCun, L. Bottou, Y. Bengio and P.Haﬀner,“Gradient-basedlearning applied to documentrecognition”, In Proceedings of the IEEE, Vol.86,

F 値が大きくなっていることがわかる．しかしながら，他のカーネルサイズと比較して差はそれほど大きくな

No.11, pp. 2278–2324, 1998.
[5] P.Y. Simard, D. Steinkraus, and J.C. Platt, “Bestい．これより，カーネルサイズが性能に及ぼす影響は

practices for convolutional neural networks appliedto visual document analysis”, In International
Conference on Document Analysis and Recogni-

小さいと言える．

7tion, Vol.2, pp. 958–962, 2003.
[6] S. Duﬀner and C. Garcia, “An online backpropa-Conclusion
本稿では，ConvNets をベースとした領域抽出手法を提案した．提案手法は全結合層をベースとしたバイナリ層を利用している．また，入力画像はグレースケールにも関わらず，複雑な背景下でも手領域を抽出することができている．今後は他の形状への応用および，他手法との比較を行う．

gation algorithm with validation error-based adaptive learning rate”, In International Conference on
Artificial Neural Networks (ICANN), Vol.1, pages
249–258, 2007.
[7] V. Jain, J.F. Murray, F. Roth, S. Turaga,
V.Zhigulin,K.Briggman,
M.Helmstaedter,
W.Denk and H.S. Seung, “Supervised learning of

IS2 - 16 - 5

IS2 - 16

第20回画像センシングシンポジウム，横浜，2014年6月

image restoration with convolutional networks”,
In IEEE International Conference on Computertern Recognition(CVPR2013), 2013.
[19] W.Ouyang and X. Wang “Joint Deep Learning

Vision (ICCV2007), 2007.
[8] M. Delakisand and C. Garcia, “Text detection

for Pedestrian Detection”, In IEEE International
Conference on Computer Vision (ICCV2013),

with convolutional neural networks”, In InternationalConference on Computer Vision Theory andApplications (VISAPP 2008), 2008.

2013.
[20] http://deeplearning.net/software/theano[21] L. Wan, M. Zeiler, S. Zhang, Y. LeCun and R.

[9] D. Scherer, A. Muller, S.Behnke, ”Evaluation ofpooling operations in convolutional architectures

Fergus, “Regularization of neural networks using
dropconnect”, In International Conference on Ma-for object recognition”, In International Conference on Artificial Neural Networks(ICANN2010),
2010.

chine Learning (ICML13), 2013.
[22] P.Sermanet, D.Eigen, X. Zhang, M. Mathieu,
R. Fergus and Y. LeCun, “OverFeat: Inte-[10] Y. Boureau, F. Bach, Y. LeCun and j. Ponce,”Learning Mid-Level Features For Recognition”,

grated Recognition, Localization and Detection
using Convolutional Networks”, arXiv preprint

In IEEE Conference on Computer Vision and Pattern Recognition(CVPR2010), 2010.
[11] D. Ciresan, U. Meier, and J. Schmidhuber,

arXiv:1312.6229, 2013.

“Multi-column deep neural networks for imageclassification”, In IEEE Conference on ComputerVision and Pattern Recognition(CVPR2012),
2012.
[12] P. Sermanet, S. Chintala, and Y. LeCun, “Convolutional Neural Networks Applied to House Numbers Digit Classification”, In International Conference on Pattern Recognition (ICPR 2012), 2012.
[13] A. Krizhevsky, I. Sutskever and G. Hinton, “Imagenet classification with deep convolutional neural networks”, In Advances in Neural Information
Processing Systems 25(NIPS2012), pp.1106-1114,2012.
[14] G. E. Hinton, N. Srivastava, A. Krizhevsky,
I. Sutskever and R. R. Salakhutdinov, “Improving neural networks by preventing coadaptation of feature detectors”, arXiv preprint
arXiv:1207.0580, 2012.
[15] I. Goodfellow, D. Warde-Farley, M. Mirza, A.
Courville and Y. Bengio, “Maxout networks”,
arXiv preprint arXiv:1302.4389, 2013.
[16] M. D. Zeiler and R. Fergus, “Visualizing andUnderstanding Convolutional Networks”, arXivpreprint arXiv:1311.2901, 2013.
[17] P. Sermanet, K. Kavukcuoglu, S. Chintala, andY. Lecun, “Pedestrian detection with unsupervised
and multi-stage feature learning”, In IEEE Conference on Computer Vision and Pattern Recognition(CVPR2013), 2013.
[18] W. Ouyang and X. Wang, “Single-pedestrian detection aided by multi-pedestrian detection”, InIEEE Conference on Computer Vision and Pat-IS2 - 16 - 6