FIT2020（第 19 回情報科学技術フォーラム）F-021
深層畳み込みネットワークの初期化アルゴリズム

Initialization of Convolution Layers in Deep Networks.
邉見 貴彦 ∗

加藤 毅 ∗Takahiko Henmi

Tsuyoshi Kato

1 はじめに

2 方法論

畳み込みニューラルネットワーク（CNN）は，特に画像認識の分野で成果を挙げている機械学習モデルのひとつであり，すでに画像分類・物体検出といった実用的なタスクに応用されている．
CNN の性能向上を目的として，CNN の構成要素である層をより深く積み重ねる深層ネットワークが提案されてきた [1]．しかし，このような深い構造をもつモデルは学習する上で困難が伴う．具体的な問題として，勾配の消失・爆発と呼ばれる，最適化アルゴリズムの計算段階における不安定さが知られている．この問題に対する代表的な対処法のひとつに，学習可能なパラメータの初期値を工夫して勾配を安定させる方法（以下，初期化法）が提案されている．
初期化法の代表的な例は，乱数に基づく初期化法である．この手法では，パラメータの初期値はある分散をもつ分布に従う乱数を用いて生成される．この分散を調整することにより，ネットワークを伝播する信号の分散を一定程度に維持し，結果として勾配を安定させる効果を目的としている．この種の方法で従来から用いられているものでは，Xavier らの方法 [2]，Kaiming らの方法 [3]などが知られている．
これら従来法は CNN に対しても用いられているが，その導出においては CNN を考慮していないか，大幅に単純化して導出されていることから，理論的な CNN のサポートは十分ではないことに注意しなければならな
い．具体的には，畳み込み演算のオプションに関する解析は限定的で，またプーリング演算に関しては理論的には無視されてしまっている (表 2 参照)．
本研究では，CNN の構造をより精密にモデル化することで，新たな深層 CNN のパラメータの初期化法を提案する．まず，種々の CNN モデルを統一的に表現できるような新たな定式化を導入し，従来の解析において無視されていたプーリング演算等，現在実際に用いられている CNN の構造をより精密に扱うことができるようにする (2.1 節)．次に，この定式化を用いてネットワーク中を伝播する信号の統計的性質を解析する (2.2 節)．さらに，この結果の系として，信号の分散を維持するような条件を導出し，理論的にも CNN に対応した新たな初期化法を示す (2.3 節)．提案する初期化法と従来法を比較するため，実データを用いて CNN の学習する実験を行った．その調査結果を報告する (3 節)．

2.1 CNN の定式化
CNN では通常，2 次元以上の画像が入力されるため，信号は一般に 3 階以上のテンソルとして表現される．し∗ 群馬大学理工学府

Gunma University.

かし，テンソルを用いると添え字が煩雑となるため，等価な表現として，すべてのテンソルをベクトル化した表現を用いることにする．また，本研究の定式化では，‘‘畳み込み’’・‘‘活性化’’ および ‘‘プーリング’’ の 3 種類の演算を一組みにし，ひとつの ‘‘層’’ として定義する．この定義を用いることで，後述するように CNN の構造をこの 1 種類の層が積層されたものと見做すことができ，様々なモデルを統一的に数式表現できるため，後の解析において扱いやすくなる (図 1 参照)．詳細な定義・導出
は文献 [4] を参照されたい．以下，概要を示す．
ネットワークを L 層構造とし，第 ℓ (1 ≤ ℓ ≤ L) 層を式 (1a), (1b) および (1c) で定義する．

⟩
⟨
(ℓ)
(ℓ)
(ℓ)
(ℓ−1)

ui = wc(ℓ,i),a(ℓ,i) , zs(ℓ,i) + bc(ℓ,i) ,
)
((ℓ)
(ℓ)
vi = fℓ ui ,() (ℓ)(ℓ)
 zi = gℓ vt(ℓ,i)
.

(1a)
(1b)
(1c)

(ℓ−1)

なお，zs(ℓ,i) 等は新たに導入した記法で，ベクトル z (ℓ−1)
から添え字集合 s(ℓ, i) に含まれる添え字の成分のみを抜き出して並べたベクトルを表す．
畳み込み式 (1a) は畳み込み演算を表現している．畳み込みは，入力（すなわち直前層の出力）z (ℓ−1) の一部分を取り出(ℓ)
して，畳み込みカーネル wi と積和を取ったものとして与えられる．ここで，計算にかかわる成分を指定する添え字集合 a(ℓ, i), s(ℓ, i) などは，パディングやストライドといった畳み込みのオプションに依存して具体的に与えることができる．
活性化関数
式 (1b) は ReLU 関数など活性化関数と呼ばれる非線形な関数の適用を表している．活性化関数を適用しない場合も，fℓ を恒等関数とすれば今回の定式化に含まれる．
プーリング
式 (1c) はプーリング演算を表現している．プーリン
グは入力の一部領域を取り出して，あるスカラー値へ集約するような処理である．この参照する領域を t(ℓ, i) で表し，プーリング関数 gℓ を適用する．よく使われる gℓ223
第 2 分冊Copyright © 2020 byThe Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）Classical
Formulation

Proposed
Formulation

Input

Input

Layer 1Conv

Layer 2

Conv

histgram(u(ℓ))

xhistgram(Δz(ℓ))

Input

Conv+Pool Layer 1

u(1) Conv+Pool Δz(1)Conv+Pool Layer 2u(2) Conv+Pool Δz(2)Conv+Pool Layer 3

u(L-1) Conv+Pool Δz(L-1)
u(L) Conv+Pool Δz(L)Output

Layer 3

PoolLayer 4Conv

Layer 5PoolLayer 6

FCConv+Pool Layer 4

Layer 7

FCConv+Pool Layer 5

Softmax

E(w)Softmax

図 1: CNN の統一的な表現による定式化．本研究ではCNN に現れる畳み込み・活性化・プーリングの 3 種類の演算を組み合わせたものを新たに “層” と定義し，ネットワークをこの種の “層” の積み重ねとして表現した．

図 2: 分散の解析における勾配消失状態の信号．中心 0(ℓ)(ℓ)の乱数でパラメータを初期化すると，ui , ∆zi は平均0 の分布に従う．このとき，分散が小さければその絶対値も小さくなり，パラメータの更新が停滞する．

としては，最大値を返す Max Pooling，平均値を返す
Average Pooling などが知られている．
全結合（アフィン変換）
全結合層の演算は，畳み込みの特殊な場合と見做せる．具体的には，入力のすべての要素を参照するような畳み込みは全結合に一致する．この上で，プーリングなしの “層” は，いわゆる全結合層と等価である．
逆伝播
式 (1a),(1b),(1c) に基づいて表現されたネットワークの逆伝播は，次式で与えられる:更新に用いられる勾配の絶対値が小さくなり，結果として最適化が停滞する (図 2 参照)．この現象は勾配消失問
題として知られている．他方で，この分散が大きくなりすぎると数値的な安定性を欠き最適化に失敗する．こちらは勾配爆発問題として知られている．モデルパラメー
タを初期化する分散パラメータを用いて信号の分散をある程度一定に維持することで勾配の消失や爆発を防ぐのが，乱数による初期化法のアプローチである．しかしながら，ネットワーク中の分散を成分ごとに厳密に求めて初期化の分散パラメータを決定するのは困難であるので，従来法では導出にあたって信号の統計的独立性などを仮定して，分散を近似する手法をとっている [2], [3]．
本稿でもこれに倣い，一定の仮定をおいたうえで各層間の分散の変化を近似的に記述し，これに基づいて初期化法を導出することとした．導出の詳細は文献 [4] を参照
されたい．以下，概要を示す．
順伝播の場合第 ℓ − 1 (1 ≤ ℓ < L) 層について，u(ℓ−1) の各要素が統計的に独立で，同一の分布 N (0, q (ℓ−1)[) に従うと仮]


⟨
⟩
(ℓ)
(ℓ)
(ℓ−1)

∆zi
= w̃c̃(ℓ,i),h(ℓ,i) , ∆uj(ℓ,i) ,




(ℓ)
 ∆u(ℓ) = ∆v (ℓ) ∂vi ,ii(ℓ)
∂ui



(ℓ)

∂zd(ℓ,i)
(ℓ)
(ℓ)

.
∆v=∆z
id(ℓ,i)(ℓ)
∂v(2a)(2b)(2c)i

ただし，目的関数 E に対する勾配を次のように略記した:(ℓ)∆z(ℓ−1)∂E∂E∂E=, ∆u(ℓ) =, ∆v (ℓ) =.
∂z (ℓ−1)∂u(ℓ)∂v (ℓ)

信号の統計的性質(ℓ)
まず，従来法を踏襲して，各層のパラメータ wi , b(ℓ)
22は，層ごとに固有の分散パラメータ σw(ℓ) , σb(ℓ) を仮定して，それぞれ独立な正規乱数で初期化されていることを前提とする：

2.2(ℓ)

2wi,j ∼ N (0, σw(ℓ) ),(ℓ)

bi∼ N (0, σb2(ℓ) ).

(3)

ネットワーク中の信号の分散は層を経るごとに変化するが，このとき信号の分散が小さくなると，パラメータの定する．第 ℓ 層に関して分散 qi(ℓ)= Var uiを考える．この量はユニット番号 i に依存する．ここで，第 ℓ(ℓ)層の分散 q (ℓ) を qi の層内での平均で近似することにすると，第 ℓ − 1 層と ℓ 層の分散に関して次の関係が成り立つ:
2(ℓ−1)
q (ℓ) = σb2(ℓ) + σw
τℓ−1(ℓ) q1εℓ .
Mℓ′(4)

ただし，τℓ−1 は第 ℓ − 1 層のプーリングの種類に依存する定数 (表 1 参照)，Mℓ′ は第 ℓ 層の畳み込み後のベクトル u(ℓ) の次元，εℓ =224
第 2 分冊∑Mℓ′i=1 |s(ℓ, i)| は層間の接続の総数

Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）である．以上の議論を深い層へ向かって繰り返し適用す
れば，式 (4) の関係が各層に関して帰納的に成り立つ．
逆伝播の場合順伝播の場合とほぼ同様の議論が成り立つ．第 ℓ (1 <ℓ ≤ L) 層について，∆z (ℓ) の各要素が統計的に独立で，同一の分布 N (0, r (ℓ) ) に従うと仮定する．第 ℓ − 1 層の分散 r (ℓ−1) を近似して(ℓ)
2
γℓr(ℓ−1) = σw(ℓ) r1εℓMℓ−1(5)が成り立つ．ただし，γℓ は第 ℓ 層のプーリングの種類に依存する定数 (表 1 参照)，Mℓ−1 は第 ℓ − 1 層の出力z (ℓ−1) の次元である．
表 1: プーリングに関する定数 τℓ , γℓ ．ここで，Tℓ はプーリング領域のサイズ，ϕ, Φ はそれぞれ標準正規分布の密度関数，累積分布関数を表す．
プーリング

MaxAverage∫ ∞Tℓτℓs2 ϕ(s)Φ(s)Tℓ −1 ds0)
(1Tℓ − 11+2Tℓπγℓ2Tℓ − 1Tℓ 2Tℓ12Tℓ2

提案する初期化法
前節の結果から，信号の分散を維持する条件が導出できる．ここでは，バイアスは定数 0 で初期化する（σb2(ℓ) = 0 に相当）こととし，さらに q (0) = 1, r (L) = 1と仮定して分散を維持する（すなわち，分散の比に関して q (ℓ) /q (ℓ−1) = r (ℓ) /r (ℓ−1) = 1 とする）条件から，式(6),(7) のような分散パラメータの設定が導かれる．これが本稿で提案する初期化法である．

2.3

順伝播信号の分散を維持する初期化法
2σw(ℓ) =Mℓ′.
τℓ−1 εℓ(6)逆伝播信号の分散を維持する初期化法
2σw(ℓ) =Mℓ−1.
γℓ εℓ(7)

従来法との比較
簡単な比較は表 2 にまとめた．提案法は従来法であるKaiming らの方法を拡張したものと見ることができる．
順伝播条件において，畳み込み演算でパディングなし・カーネルのサイズを k×k×d とするとき，|s(ℓ, i)| = k 2 dである．また，Kaiming らの方法ではプーリングを無視しているので，プーリングに関する部分を恒等変換とするため Tℓ = 1 とおくと τℓ = 1/2 となるので，式 (6) は
2σw(ℓ) =Mℓ′2M ′2= ′ ℓ2 = 2
τℓ−1 εℓMℓ · k dk dと表せる．これは Kaiming らの方法の順伝播条件における分散パラメータと一致する．また，逆伝播条件においても同様の設定をすると，畳み込みの出力チャネルを d′ とおけば |j(ℓ, i)| = k 2 d′ , γℓ = 1/2 となり，さらに層間の接続数は順伝播・逆伝播で同じであることから∑Mℓ−1|j(ℓ, i)| が成り立つ．したがって，式 (7)εℓ = i=1より2σw(ℓ) =Mℓ−12Mℓ−1
2== 2 ′γℓ εℓMℓ−1 k 2 d′k dと表せる．これは Kaiming らの方法の逆伝播条件における分散パラメータと一致する．
提案法は次のように振る舞う:• 畳み込みでパディングをおこなう場合，パディングされた要素を含む領域への畳み込みでは，実質的に参照される入力の要素の数が減少する．これは定式化において s(ℓ, i) の要素数が減少するケースとして表現され，εℓ がパディングなしの場合と比較して2より小さくなり，結果として σw(ℓ) は大きくなる．
これは，定数であるパディングされた要素を参照する畳み込み部分において分散が相対的に減少することを補う効果がある．
• 順伝播条件において Max Pooling を用いるとき，2τℓ は Tℓ に関して単調増加する．すなわち，σw(ℓ) はTℓ に関して単調減少である．max 演算を経ると値はより大きくなるので，分散も大きくなると考えられる．このような傾向はプーリング領域 Tℓ が大きければ大きいほど顕著になるため，提案法はこれを補って分散を減衰させる効果がある．
• 順伝播条件において Average Pooling を用いると2き，τℓ は Tℓ に関して単調減少する．すなわち，σw(ℓ)
は Tℓ に関して単調増加である．一般に平均をとる操作は分散を減少させる．提案法ではこれを補って分散を増幅する効果がある．
• 逆伝播条件において Max Pooling を用いるとき，γℓ2は Tℓ に関して単調減少である．すなわち，σw(ℓ) はTℓ に関して単調増加である．Max Pooling の場合，最大値を与えた（多くの場合）単一の要素に信号を逆伝播させるので，信号の分散を維持するには単一要素により大きな分散の信号を与える必要がある．
提案法はこのような性質を考慮して分散を与える効果がある．
• 逆 伝 播 条 件 に お い て Average Pooling を 用 い る
とき，γℓ は Tℓ に関して単調減少である．すなわ
2ち，σw(ℓ) は Tℓ に関して単調増加である．AveragePooling の場合，逆伝播では入力の各要素に分散が等分されて分配されるので，分散が減少する．提案法はこれを補うため分散を増幅する効果がある．

225
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2020（第 19 回情報科学技術フォーラム）表 2: 従来法との比較．従来法は CNN に対して理論的な裏付けが不十分ながらも用いられているのに対して，提案法は今日用いられている CNN の多くの構造を理論的にサポートしている．
初期化法

XavierKaiming
提案法

全結合〇〇〇

演算のサポート
畳み込み プーリング×××〇△×〇〇〇

ReLU

較しても，それぞれ従来法と同等かそれ以上の正解率を実現している．このことは，提案法を適用し，初期値を生成しなおして繰り返し学習するだけで，従来法よりも高い正解率を示す学習結果を得られる可能性を示唆している．
表 3: 実験に使用した CNN の構造．なお，(k/ss/pp) はカーネルサイズが k × k, ストライドが s, パディングがp であることを表している．

3 実験
本節では，紙面の制約から実験の一部を紹介する．詳
細な実験条件および結果は，文献 [4] を参照されたい．
データセット
実験に用いたデータセット Fungi10 は iNaturalist
2019*1 データセットのサブセットで，スーパーカテゴ
リ “Fungi” の先頭 10 カテゴリを取り出した分類タスク向けデータセットである．データ全体のうち 75% を訓練用データに，残り 25% を検証用データとし，データはそれぞれ 224 × 224 サイズにリサイズし，正規化を行った．データ拡張は行っていない．
モデルアーキテクチャ
実験に用いたモデル F34 は全 34 層からなる深層 CNNである（表 3 参照）．このモデルには Max Pooling や畳み込みのパディングが含まれており，さらに畳み込みネットワークの最後には Global Average Pooling を適用している．
最適化に関する設定
今回のタスクは分類問題であり，損失関数には Cross
Entropy Loss を用いた．また，最適化アルゴリズムには Stochastic Gradient Descent (SGD) を用いた．学習率は 10−1 から 10−5 まで 1/10 刻みで実験した．SGDのオプションとして，batch size は 64，momentum は0.9，weight decay は 10−4 を設定している．
結果と考察
実験では初期化法として Xavier, Kaiming, 提案法の3 種類を用いてそれぞれ初期値をランダムに生成しながら 10 回ずつ学習し，検証用データに対する正解率を比較した．
表 4 にその結果を示す．これは，各手法においてそれぞれ最も高い正解率を示した学習率 10−3 を用いて，十分収束したと考えられる 300 エポックまで学習したものである．表に示すように，最大値で比較すると，提案法は従来法よりも高い正解率を得られた．これは，提案法で精密に信号の伝播を表現した結果として勾配の消失や爆発が抑制され，従来法を用いたときよりも最適化がうまく進行したためである．また，各四分位点において比層の出力サイズ

F34(3,224,224)(64,112,112)(64,56,56)(64,56,56)(128,28,28)(128,28,28)(256,14,14)(256,14,14)(512,7,7)(512,7,7)(512,1,1)
10Input Image
Conv(7/s2/p3)
MaxPool(3/s2/p1)
Conv(3/p1)×6
Conv(3/s2/p1)
Conv(3/p1)×7
Conv(3/s2/p1)
Conv(3/p1)×11Conv(3/s2/p1)
Conv(3/p1)×5
Global Average PoolingLinear

パラメータ数

2.11 × 107

表 4: 検証用データに対する正解率 (%) の比較．提案法
は，10 回試行の最大値，各四分位点いずれにおいても従来法と同等かそれ以上の予測性能を得た．
初期化法

XavierKaiming

提案法

最大値
第 1 四分位点
中央値
第 3 四分位点

24.61
24.61
24.61
24.61

69.92
68.36
69.04
69.48

70.90
69.19
69.73
70.21

参考文献
[1]

[2]

[3]

[4]

K. Simonyan and A. Zisserman, “Very deep convolutional
networks for large-scale image recognition,” in 3rd International Conference on Learning Representations, ICLR
2015, San Diego, CA, USA, May 7-9, 2015, Conference
Track Proceedings, Y. Bengio and Y. LeCun, Eds., 2015.
X. Glorot and Y. Bengio, “Understanding the diﬃculty oftraining deep feedforward neural networks,” in Proceedings of the Thirteenth International Conference on Artiﬁcial Intelligence and Statistics, PMLR, 2010, pp. 249–256.
K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into
rectiﬁers: Surpassing human-level performance on imagenet classiﬁcation,” in 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1026–1034.
T. Henmi, Y. Hirohashi, and T. Kato, Initialization ofconvolution layers in deep networks, to appear on arXiv,Aug. 2020.

*1 https://www.kaggle.com/c/inaturalist-2019-fgvc6

226
第 2 分冊Copyright © 2020 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.