回帰型 Deep Convolutional Neural Network による人検出と部位の位置推定
山下 隆義 †福井 宏 †村瀬 将之 †

山内 悠嗣 †

藤吉 弘亘 †† 中部大学
E-mail: yamashita@cs.chubu.ac.jp
Abstract

あり，一般車への普及が進んでいない．一方，ステレ
オカメラを用いた方法は，2 つのカメラの視差から距

運転支援システムにおける歩行者検出は，歩行者の離を推定している．一般車への搭載が進みつつあるが，位置を検出するだけでなく，歩行者と車までの距離を装置の小型化に限界がある．単眼カメラを用いる方法推定することが重要となる．一般的な単眼カメラによは，まず歩行者検出を行い，その後頭部および足下のる距離推定は，歩行者を検出した後に，上端と下端を検位置を推定する．そして，カメラパラメータと歩行者出する．そして，検出した上端と下端の位置情報とカメの上端および下端の情報から距離を推定する．カメラ

ラの内部パラメータを用いて歩行者と車までの距離をは安価であり，装置としての小型化が可能であるが，各推定している．そのため，歩行者の検出，上端および下処理が個別に行われており，他の手法と比較して精度端の検出，距離の推定を個別に処理する必要がある．そが悪いため，歩行者検出精度および距離推定精度の向こで，本研究では Deep Convolutional Neural Network上が求められている．そこで，本研究では，歩行者検(DCNN) を用いて，歩行者を検出すると同時に，頭部と両足の位置を高精度に推定する回帰型 DCNN を提案する．歩行者検出と頭部および両足の位置検出を同時出と頭部および両足の位置推定を高精度に行うために，に行うことで，歩行者部位の位置情報を同時に与えるNetwork(DCNN) を提案する．DCNN[1] は，歩行者検ことができるため，従来の DCNN より歩行者検出に適出をはじめ，様々なベンチマークにおいてトップレベルした特徴表現が可能となる．実験では，歩行者検出のの性能を達成している [2]．さらに，1 つのネットワー

みを行う手法との精度比較により，歩行者検出精度をクで複数の認識を同時に行うことができる．Zhang ら向上させることができ，頭部および両足の位置検出精は DCNN を用いることで顔器官点の検出に加え，顔の度についても，位置検出のみの手法と比較して，精度向き，眼鏡の有無，笑顔の有無，性別を同時に認識しを向上させることができた．また，歩行者の位置検出ている [3]．我々は DCNN を用いることで歩行者検出結果から，カメラの内部パラメータが既知の画像に対とともに，歩行者の頭部と両足の位置を回帰により検して距離推定を行ったところ，約 5%の誤差で距離推定出するネットワークを実現する．DCNN により得られを行うことができた．

た歩行者の上端および下端の情報を用いて，カメラか歩行者を検出すると同時に，歩行者の上端と下端の位置を同時に推定する回帰型 Deep Convolutional Neural

ら歩行者までの距離推定行う．

1 はじめに2 関連研究多くの交通事故は，自動車と歩行者による事故が大歩行者までの距離を計測する方法として，単眼カメラ半を占めており，自動運転や高齢者の運転支援システを用いる方法，ステレオカメラを用いる方法，LIDAR

ムにおいて，歩行者を検知して回避または危険を知らを用いる方法がある．LIDAR を用いる方法は，レーせるが重要となる．より高度な運転支援システムのたザを照射することで 3 次元点群を取得し，取得した 3

めには，歩行者検出だけでなく，歩行者までの距離を次元点群の形状から歩行者などの物体を認識している．

計測する必要がある．歩行者までの距離を計測する方法として，単眼カメラを用いる方法，ステレオカメラ

LIDAR は，レーザにより 3 次元点群を取得しているた
め，天候の変化等に影響を受けづらいメリットがある．

を用いる方法，LIDAR を用いる方法がある．LIDAR

しかし，LIDAR は非常に高価なため，一般車への搭載は照射したレーダーが物体に当たって戻ってくるまでが大きな課題となっている．の時間を計測する．照射するレーダーの本数に限界がステレオカメラを用いる方法は，複数のカメラからあるため解像度が低い．また，LIDAR は非常に高価で得られる視差マップを用いて物体の位置や立体的な形状を認識する．車載としてステレオを用いる場合，2 つ3 提案手法のカメラを車体前方に設置し，2 つのカメラの視差から歩行者を検出している．Zhao らは，単眼カメラから取我々は，歩行者検出と同時に頭部および両足の位置を得した画像とステレオカメラから取得した視差マップ推定するために，検出と位置推定を全て回帰により求めを用いて，歩行者のエッジを取得し，取得したエッジる回帰型 DCNN を提案する．回帰問題に用いる DCNN

を特徴量として多層パーセプトロンに入力することでの構造および学習について，以下に述べる．

高精度かつリアルタイムでの歩行者検出を実現してい3.1

回帰問題に用いる DCNN

る [4]．しかし，ステレオで用いている視差は，それぞ

図 1 に示すように，DCNN は畳み込み層とプーリンれの画像上の共通する物体の位置の違いから生じておグ層が階層的になっており，その後に全結合層が上位り，天候の変化等で物体の見えが大きく変化した場合層に続いている．入力としては，RGB 画像やグレースに認識が困難になる．

ケール画像，勾配画像，または正規化処理を施した画

一方，単眼カメラを用いて歩行者までの距離を推定す像が与えられる．与えられた画像に対して，畳み込みるためには，まず歩行者の検出を行い，その後歩行者の層では，サイズ kx × ky のフィルタを畳み込む．畳み上端および下端の位置を検出する必要がある．その後，込んで得られた値 x は活性化関数 f (x) を通した後，特カメラパラメータと上端および下端の情報から距離を徴マップに格納される．畳み込み層のフィルタは M 個推定する．歩行者検出は，Dalal らが提案した HOG 特あり，各フィルタからそれぞれ特徴マップを作成する．

徴量により精度が大きく向上し [5]，その後，HOG 特活性化関数には，シグモイド関数や Rectiﬁed Linear

徴量を改良した手法が提案されている [6][7][8]．人の姿
勢変化に対応する方法として，歩行者の全身とパーツUnit(ReLU)，Maxout が用いられる．シグモイド関数
は x が大きくなると出力 f (x) が一定の値に留まるため，を同時に推定することができる DPM が提案されてい学習する際に勾配が得られないという問題があった．一る [9]．

方，Krizhevsky らが提案した活性化関数 ReLU は，式DCNN[1] は，学習処理において識別処理に適した特徴量を自動獲得できる点が注目され，歩行者検出をは(1) のように，x が 0 以下であれば 0 とし，0 以上であればその値である f (x) を出力している．

じめ，様々なベンチマークにおいてトップの性能を出している [2]．Sermanet らは，Sparse Auto Encoder をDCNN の学習処理に対して導入し，サブサンプリングした特徴マップを識別部の全結合層に入力することで，高精度な歩行者検出を実現している [10]．また，同年に歩行者の各パーツのスコアを DCNN で求めた後に，各パーツのスコアと特徴マップを用いて歩行者を認識する階層型ニューラルネットワークを用いた Joint Deep

Learning が提案されている．Joint Deep Learning は歩行者の各パーツに対して考慮することで，様々な姿勢に

f (x) = max(0, x)

これにより，x が大きな値となった場合に，その値をそのまま出力することができ，勾配が得られないという問題を解決している．Maxout は，複数のフィルタで畳み込んだ値 hk の最大値 h0 を次の層の特徴マップに格納する活性化関数である [12]．フィルタが M 個ある
場合，それらを式 (2) に示すように，特徴マップを Kごとに分けて，それぞれで最大値 h0 を選択する．

h0 = max hk

対して頑健な検出が可能となっている．さらに，DCNN(2)k∈[1,K]は，出力層のユニットをそれぞれの認識で振り分けることで，複数の認識を同時に行うことができる．Zhang(1)の向き，眼鏡の有無，笑顔の有無，性別を同時に認識

Maxout は，複数のフィルタの畳み込み値から値を選択することで，区間凸関数として表現することができ，他の活性化関数より表現力が高くなっている．我々

している [3]．そこで，我々は DCNN を用いることでは，DCNN の汎化性能を向上させるために Maxout を歩行者の検出をはじめ，歩行者の頭部と両足を回帰に用いる．

らは DCNN を用いることで顔器官点の検出に加え，顔より検出・推定を同時に行う．

次に，プーリング層において特徴マップを縮小する

単眼カメラで取得した画像から，カメラと歩行者の処理を行う．Pooling には，Max Pooling や Average

距離を推定するには歩行者の上端と下端を推定する必Pooling などの種類がある．Max pooling は，2 × 2 の要がある．岸野らは，歩行者を検出した後に，投影法ようなあらかじめ決めた領域における最大値により間を用いることでカメラと歩行者の距離を推定している引きを行う方法である．一方，Average pooling は，あ[11]．我々は，DCNN により得られた歩行者の上端および下端情報を用いて，投影法によりカメラから歩行らかじめ決めた領域における平均値で縮小を行う方法

者までの距離を推定する．

れているが，中でも Max Pooling が最も性能が良いとである．このように，Pooling には様々な手法が提案さされている．

特徴マップ

入力画像
畳み込み層

Pooling 層

Pooling 層

全結合層

全結合層

畳み込み層

図1

出力層

Convolutional Neural Network の構造

畳み込み層とプーリング層は階層的になっており，こ1 ∑Em
2 m=1
M

れらを繰り返すことで深いネットワーク構造を形成しE=ている．これらの階層的な処理の後に従来のニューラルネットワークと同様の全結合層が続いている．全結(4)している．入力された値は式 (3) のように，重み付きの{m|1, ..., M } は学習サンプルである．誤差の算出には，式 (5) のような二乗誤差を用いる．二乗誤差は，各クラス k の教師信号 tk と出力値 yk から誤差を算出し，全結合を行う．そして，畳み込み層と同様に活性化関全ての出力ノードに対する誤差を求めている．

合層は，１層前の特徴マップを１次元にして入力層と数 f (·) から得られた値を出力値 hi (x) としている．
N∑hi (x) = f wij xj + bi (3)j=1

Em =C∑(tk − yk )2

(5)

k=1

ここで，C は出力層のノード数を示している．逆誤認識問題に用いる DCNN の場合，出力層のユニット差伝播法は，勾配法により全体の誤差 E を最小とする数は認識対象のクラス数となり，特定のユニットは１ようにフィルタの値や重み等のパラメータを更新する．に近くなり，そのほかのユニットは０に近い出力値を更新された各パラメータは式 (6) に示すように，誤差クラス確率として出力する．一方，回帰を行う DCNN

E の偏微分から求める．の場合，出力層のユニット数は，人らしさと背景らしさ(l)(l)(l)(l)wji ← wji + ∆wji = wji − λに相当するユニット，頭部および両足の x 座標と y 座標に対応するユニットの計８つとなる．各ユニットは０から１の値を出力し，それらを画像サイズで乗算することで，画像上の座標値を得ることができる．
認識問題に用いる DCNN との違いは，出力層のユ∂E(l)(6)∂wji(l)λ は学習における更新率，wji は l 番目の層のノー
ト i と次層のノード j との結合重みである．更新量および勾配は，式 (7) と式 (8) から求めることができる．

ニットの出力値の算出方法である．認識問題の場合は，(l)(l) (l−1)(7)(l)(l)(8)∆wji = −λδk yj

入力画像 x に対する各クラスの確率 p(x) をソフトマッ
クス関数を通して得る．

3.2

DCNN の学習

δk = ek f (Vk )DCNN を構成する要素は畳み込み層のフィルタと全結合層の結合重みおよびバイアスである．多層の構成(l)Vkにした場合，これらの要素の数は非常に膨大となり，最適なパラメータ群を一意に決めることは困難である．そのため，逆誤差伝播法を用いて，これらの要素を繰り返し更新しながら最適な値を求める．その際，初期値は乱数で初期化されている．逆誤差伝播法は，まず式 (4)のように各学習サンプルの誤差 Em を累積して全体の誤差 E を算出する．

=

∑

(l)

(l−1)

wkj ∗ yj(9)j(l−1)yj

は (l − 1) 番目の層のノード j であり， ek は(l)ノード k の誤差，Vkは前層の全てのノードからの重み付き累積の値である．各要素の値は，あらかじめ決められた回数または収束条件を満足するまで繰り返し更新される．誤差 E を算出するための学習サンプルの与え方として， full-batch, online, and mini-batch があ特徴マップ

ポジティブサンプル

入力画像
畳み込み層

Pooling 層
畳み込み層

Pooling 層

全結合層

ネガティブ
サンプル
全結合層

出力層

(a) Daimler Mono Pedestrian Dataset

図3(b) INRIA Person Dataset

実験で使用するデータセットとカメラは平行であると仮定した場合，カメラから歩行者までの距離を d とすると，画像上の y 座標は，以更新 1 回目

更新 2 回目

図2

更新 r 回目

更新 r+1 回目

Dropout による全結合層下のようになる．

y=る. Full-batch は，全ての学習サンプルを用いて 1 回の更新を行う方法である．この方法は，勾配の変化が大きいため収束しにくい．Online は学習サンプルを１枚ずれより，距離は式 (11) となる．

d = fh化が小さいため最適解に得やすいが，非常に多くの更これらの中間的なアプローチであり，少量のサンプル(10)

ここで f は焦点距離，H は画像の縦サイズである．こつ与え逐次更新する方法である．この方法は，勾配の変新回数を要するため処理時間がかかる．Mini-batch は，

fh H+d222y − H(11)4 評価実験を用いて１回の更新を行う．この方法は，更新に要す提案する回帰型 DCNN の有効性を確認するために評る処理時間が比較的短く，繰り返し行えるため，十分価実験を行う．本章では，歩行者検出の精度と歩行者部な勾配の変化を得ることがでる．そのため，DCNN の位検出の精度，実シーンにおける身長推定精度の評価に学習において，Mini-batch は一般的な方法として利用分けて実験する．歩行者検出と歩行者部位検出の評価にされている．

は，図 3(a) の車載カメラから撮影されたデータセットでDCNN の学習は，逆誤差伝播法により学習誤差が小ある Daimler Mono Pedestrian Dataset(以下 Daimler

さくなるようにネットワーク全体のパラメータを更新データセット) と，図 3(b) の歩行姿勢のバリエーションすることで，最適なネットワークを学習する．DCNNが多い INRIA Person Dataset(以下 INRIA データセッの汎化性能を向上させるための方法として Dropout がト) を用いる．Daimler データセットは，学習データとしある．Dropout は，全結合層のユニットの一部の応答て，ポジティブサンプル 31,320 枚とネガティブサンプル値を０にして，ネットワークの結合を取り除いて学習となるが，学習の繰り返し回数ごとで 0 となるノード254,356 枚，評価データとして 21,790 枚のサンプルが含まれている．DCNN の学習には，Data Augmentation
によりポジティブサンプルを 250,560 枚に拡張したもが変わる．あらかじめ決めた割合のノード数だけ 0 とのを使用する．INRIA データセットは，学習データとするノードをランダムに選択する．割合は 50%とする

して，ポジティブサンプル 2,100 枚とネガティブサンことが多い．Dropout は，多くのノードとの結合を除プル 50,000 枚あるサンプルを，Daimler データセットくため，誤差が下位層まで伝播しやすくなる．そして，と同様にポジティブサンプルを Data Augmentation に一部の結合が無くても認識できるようにネットワーク

より 50,000 に拡張したものを学習に使用する．評価に全体のパラメータが更新されることで汎化性能が向上

は，ポジティブサンプル 1,000 枚とネガティブサンプルしている．

9,000 枚を使用する．

を行う．図 2 に示すように，t 層目の応答値の一部が 03.3

歩行者までの距離算出

歩行者検出の評価実験では，歩行者検出のみを行う

として，対象の大きさを利用する方法と位置を利用す

DCNN と比較を行う．この DCNN は２つの出力ユニットがあり，認識問題と同様にそれぞれ歩行者と歩行者以る方法がある．大きさを利用する方法は，歩行者の身長外の確率を出力する．最終結果は確率の高いクラスとなによって画 像上での大きさに個人差が生じるため，安る．また，歩行者部位検出の評価実験では，部位検出の単眼カメラで撮影した画像から距離を推定する方法

定した値を得にくい．本稿では，位置を利用する方法

みを行う DCNN と比較を行う．この DCNN は６つのにより距離を推定する．その際，足の下端点は地面に出力ユニットがあり，各部位の x 座標および y 座標を出接地しているとする．カメラの高さ h を固定し， 地面力する．提案手法および比較手法の DCNN の構成を表１に示す．出力ユニット数以外の構成は提案手法と比較

表1

各データセットで用いる DCNN の構造(a)Daimler データセット
手法

Input
Conv

Layer1Max
Pooling Maxout

Conv

Layer2Max
Pooling Maxout

Layer3Max
Pooling Maxout

Conv

Layer4# ofunit

Layer5# ofunit

Layer6
# of
unit

検出用

96x48x1

8,5x3

2x22

16,5x42x2

232,5x4

2x2

2

1,000

500

100

回帰用

96x48x1

8,5x32x22

16,5x42x22

32,5x42x22

1,000

500

100

提案手法

96x48x1

8,5x32x2

2

16,5x42x22

32,5x42x22

1,000

500

100

Layer4# ofunit

Layer5# ofunit

Layer6# ofunit

OutputSoftmax2
Sigmoid
6Sigmoid
8(a)INRIA データセット
手法

Input
Conv

Layer1Max
Pooling Maxout

Conv

Layer2Max
Pooling Maxout

Layer3Max
Pooling Maxout

Conv

検出用

64x128x3

20,9x52x2

2

64,5x32x2

2

32,3x32x2

2

1,000

500

100

回帰用

128x64x3

20,9x52x2

2

64,5x32x22

32,3x32x2

2

1,000

500

100

提案手法

128x64x3

20,9x52x22

64,5x32x22

32,3x32x2

2

1,000

500

1001Output

Softmax2Sigmoid
6Sigmoid
810.90.80.7

Miss rate

Miss Rate

0.60.50.40.10.3

回帰型DCNN 31.77%
単体のDCNN 38.38%
0.20.00010.001

回帰型DCNN
単体のDCNN

0.01

0.1

1100.010.00010.001

図4

Daimler データセットにおける歩行者検出精度の比較

0.010.1

False Positive Per Window

False Positive per Image

図5

INRIA データセットにおける歩行者検出精度の比較手法で同じで，３つの畳み込み層およびプーリング層，時，検出型の DCNN は未検出率が 38%であるが，回帰その後に３つの全結合層が続いている．Daimler デー型の DCNN は 32%となっている．回帰型の DCNN は，タセットに用いる DCNN は，入力画像サイズが 96 × 48

頭部および両足の座標を教師信号として与えているたのグレースケール画像であり，INRIA データセットは，め，歩行者領域を捉える特徴が選ばれやすくなってい

入力画像サイズが 128 × 64 のカラー画像である．

ると考えられる．

実シーンにおける身長推定をするには，カメラパラ

次に INRIA データセットにおける歩行者検出精度にメータおよび歩行者までの距離の真値が必要であるが，ついて，図 5 に示す．INRIA データセットは Daimler

Daimler データセットおよび INRIA データセットには，データセットに比べて人の姿勢のバリエーションが多これらの情報が含まれていない．そのため，身長推定い．前段処理の HOG 特徴と SVM では検出できない場は我々で収集した画像を用いて評価する．

合が多いため，評価データセットから人領域を切り出4.1 歩行者検出精度の比較した画像と人を含まない背景領域をランダムに切り出

DCNN により歩行者検出を行う場合，処理時間と誤検出を軽減するために，前段処理として別の検出器をした画像を用いて評価する．図 5 より，FPPW が 0.01用いる．ここでは，HOG と SVM による歩行者検出器39%を大幅に上回ることが出来ている．

を用いて歩行者候補領域を検出する．Daimler データ

4.2 歩行者部位検出の精度の時，提案手法は未検出率が 14%と検出型の DCNN のセットにおける歩行者検出精度について，図 4 に示す．

Daimler データセットおよび INRIA データセットに

これより，FPPI (False Positive Per Image) が 0.1 のおける各部位の位置精度を表 2 に示す．Daimler データ

表2

部位の位置ずれ精度 [pixel]

表3(a)Daimler データセット
手法

パーツ

平均

頭部

左足

右足

部位回帰のみ

6.1

5.9

10.7

7.6

検出と部位回帰

4.2

5.3

9.4

6.3(b)INRIA データセット
手法

パーツ

距離推定精度

距離推定距離誤差 [%]

5m

4.89m

2.210m9.26m

5.315m14.12m5.8

力層が歩行者と歩行者以外の確率，頭部および両足の平均

頭部

左足

右足

部位回帰のみ

8.1

8.7

9.9

8.9

検出と部位回帰

6.5

8.0

9.2

7.9

x 座標と y 座標を出力する．２つの検出を同時に行うことで互いに有効な特徴を学習することができ，歩行者検出精度を向上させるとともに，各部位の検出精度も向上させることができた．また，各部位の位置情報とカメラ内部パラメータから歩行者までの距離推定を行った結果，約 5%の誤差にすることができた．今後は，DCNN による各部位の位置精度を向上させ，距離推定精度の向上を図る．

図6

INRIA データセットにおける部位検出結果例

セットにおいて，提案手法は，部位の回帰のみを行う場
合と比較して，誤差が小さくなっている．Daimler デー
タセットの画像サイズは，96 × 48 であり，誤差をサイズで正規化すると約 6%の位置ずれとなっている．一方，

INRIA データセットにおける位置ずれ精度についても提案手法の方が誤差が小さい．INRIA データセットの画像サイズは，128 × 64 であり，誤差をサイズで正規化すると 5.5%の位置ずれとなっている．INRIA データセットにおける部位検出結果例を図 6 に示す．これより，足の開き方や姿勢が異なる場合でも頭部および足の位置を推定することができている．

4.3 実シーンにおける身長推定精度の評価
各部位の位置推定を利用して，歩行者までの距離精度を評価する．距離を推定するためのデータセットは，カメラパラメータと距離があらかじめ分かるように我々で撮影したサンプルを使用する．撮影距離は 5m，10mおよび 15m であり，各距離について 7 枚ずつ撮影し，平均の距離精度を算出している．距離推定結果を表 3および評価画像例を図 7 に示す．距離が 5m の時，推定精度は 4.89m となっており，2.2%の誤差であった．距離が 10m および 15m と遠くなるに従って，推定精度は低下するが，10m 以上離れた場合でも 5%程度の誤差で距離推定できていることがわかる．

5まとめ
本稿では，歩行者検出と同時に頭部および両足の位置を検出する回帰型 DCNN を提案した．DCNN は出

参考文献[1] Y. LeCun, L. Bottou, Y. Bengio, P. Haﬀner,
Gradient-Based Learning Applied to Document
Recognition , Proceedings of the IEEE, 1998.
[2] W. Ouyang, X. Wang, ” Joint Deep Learning
for Pedestrian Detection”, Computer Vision andPattern Recognition, 2013.
[3] Z. Zhang, P. Luo, C. Change, T. Xiaoou, ”Facial
Landmark Detection by Deep Multi-task Learning” ,European Conference on Computer Vision,
2014.
[4] L. Zhao, C. E. Thorpe, ”Stereo- and Neural Network-Based Pedestrian Detection” ,IEEE
Transactions on Intelligent Transportation Systems, Vol.1, No.3, pp.148-154, 2000.
[5] N.Dalal, B. Triggs, ”Histograms of oriented gradients for human detection”, Computer Vision andPattern Recognition, 2005.
[6] X. Wang, T. X. Han, S. Yan, An HOG-LBP Human Detection with Partial Occlusion , International Conference on Computer Vision, 2009.
[7] J. Marin, D. Vazquez, A. Lopez, J. Amores, B.
Leibe, ” Random Forests of Local Experts forPedestrian Detection” , International Conference
on Computer Vision, 2012.
[8] W. Nam, B. Han, J. H. Han, ” Improving Object Localization Using Macrofeature Layout Selection” , International Conference on Computer
Vision Workshop on Visual Surveillance, 2011.
[9] P. Felzenszwalb, D. McAllester, D. Ramaman,”A
Discriminatively Trained, Multiscale, Deformable

!"#$%&!'#$()&
図7

距離推定データ例

Part Model ”, Computer Vision and PatternRecognition 2008.
[10] P. Sermanet, K. Kavukcuoglu, S. Chintala, Y.
LeCun, ”Pedestrian Detection with Unsupervised
Multi-stage Feature Learning Computer Vision
and Pattern Recognition, pp.3626-3633, 2013.
[11] 岸野嵩久, R. Micheletto, ”視覚障害者歩行支援のための単眼カメラを用いた歩行者検出システム”,
感覚代行シンポジウム, Vol. 38, pp.13-16, 2012.

[12] I. Goodfellow, D. Warde-Farley, M. Mirza, A. C.
Couville, Y. Bengio, ”Maxout Network”, International Conference on Machine Learning, pp.13191327, 2013.
[13] G. E. Hinton, N. Srivastava, A. Krizhevsky, S.
Ilya, R. Salakhutdinov, Improving neural networks by preventing co-adaptation of feature detectors , Clinical Orthopaedics and Related Research, vol. abs/1207.0, 2012.

!*#$(%&