ソフトウェア・シンポジウム 2022 in 盛岡

深層学習における正則化へのドロップアウトデザインの適用
熊澤 努
株式会社 SRA
kumazawa@sra.co.jp

地嵜 頌子
大阪工業大学
shoko.chisaki@oit.ac.jp

中川 智之
東京理科大学t nakagawa@rs.tus.ac.jp

室井 浩明
ヱヂリウム株式会社
muroi@edirium.co.jp

渡邉 卓也ヱヂリウム株式会社
sodium@edirium.co.jp

要旨

能は向上しなくなる問題が指摘されている．この過学習の問題を緩和する方法が正則化である．

深層ニューラルネットワークの汎化性能を向上させる

ドロップアウト法 [1, 2] は最も有力な正則化法の一つ

正則化法に，学習時に一部のノードだけを活性化するドとして広く知られている．ドロップアウト法は，ネット

ロップアウト法が知られている．ドロップアウト法が活ワークの訓練の間に無作為にノードを不活性にすること性化するノードを無作為に選択する技法なのに対して，

で，一部の重みパラメータの学習のみを進める方法であノードと重みを 1 エポックの訓練で均一に選択する，ドる．不活性にするノードはミニバッチごとに切り替える．

ロップアウトデザインと呼ばれる組合せ構造が提案され訓練を終了した後の，未知データに対する出力値の推定ている．しかしながら，正則化の効果については不明点の際には，全てのノードを活性化させる．ノードの不活が多く，実験を通じて解明されることが望まれてきた．

性化は，部分ネットワークで重みパラメータの値を学習

本論文では，ドロップアウトデザインの性質を明らかすすることと解釈できる．そのため，ドロップアウト法はるために，ドロップアウトデザインを用いた正則化法を

複数のモデル間でパラメータを共有するアンサンブル学

多層パーセプトロンに適用した．4 種類のネットワーク

習の一種としても理解されている．ドロップアウト法を構成について，画像分類問題の精度と損失を評価する実使用する際には，ノードを不活性にする確率をハイパー

験を行い，すべてのネットワークについてドロップアウ

パラメータで与える必要がある．

ト法と同程度の汎化性能を示すことを確認した．一方で，

地嵜らは，ドロップアウト法に代わる正則化技法を想ドロップアウトデザインに固有の特徴的な結果は観察さ定した組合せ構造であるドロップアウトデザイン [3] をれなかった．以上の成果は，ドロップアウト法とドロッ提案した．ドロップアウトデザインは，ミニバッチごと

プアウトデザインをより深く理解するための手掛かりをの訓練で使用する部分ネットワーク構成の集合である．

今後の研究に提供することが期待される．

この部分ネットワークの構成をスーパーブロックという．
ドロップアウトデザインは，1 エポックあたりのノードの活性化回数と重みパラメータの更新回数が所与の値で1. はじめに釣合うように，スーパーブロックを構成する．したがって，訓練時に特定のノードだけが活性化されて学習が進

近年，深層学習に関連した研究開発が非常に活発に行む現象を緩和することが期待できる．文献 [3] では，特われており，画像認識や自然言語処理をはじめとして様々

定のドロップアウトデザインの構成法が示されており，な分野への応用が図られている．深層学習は訓練データ

計算機を用いたデザインの構成が可能となっている．そに対する最適化を実行するため，訓練データに対してはの一方で，正則化の効果をはじめ，ドロップアウトデザ

高い評価性能を示す一方，未知のデータに対する汎化性

インの性質については明らかになっていない点が多い．

1

SEA

ソフトウェア・シンポジウム 2022 in 盛岡

2. 背景

特に，ドロップアウトデザインを機械学習に実際に適用してその性質を調べる研究はこれまでなされておらず，
評価実験に基づいた研究の成果が望まれる状況にある．

ここでは，本論文が着目するドロップアウト法とドロップアウトデザインの概要を説明する．

本論文の目標は，ドロップアウトデザインを用いた正則化を深層学習に対して適用して，デザインの性質を実

2.1. ドロップアウト法

験的に明らかにすることにある．実験では，画像分類問
題をとりあげた．ニューラルネットワークは，多層パー

ドロップアウト法 [1, 2] は，ニューラルネットワーク

セプトロン（MLP）を対象とした．全結合層（隠れ層）のノードを無作為に不活性にして訓練を行うことで，汎の層数とノード数が異なる計 4 種類のネットワークに対化性能を高める技術である．ノードを不活性にする確率

して，正則化を実行しない場合，従来のドロップアウト

であるドロップアウト率 p はハイパーパラメータとして法を適用した場合，ドロップアウトデザインを適用した与えられる，訓練時には，層ドロップアウトマスクと呼場合についてそれぞれ汎化性能を評価した．その結果，ばれるベクトル m で層の出力をマスキングすることで次の二点を確認した．

ノードの活性化と不活性化を行う [4]．ただし，m の各
成分 mi はベルヌーイ分布に従って確率 p で 0 を，確率

• すべてのネットワークについて，ドロップアウト法とドロップアウトデザインによる正則化法は同程度の精度と損失を示した．

1 − p で 1 をとる．すなわち，mi ∼ Bernoulli(1 − p) とする．ここで，m の各成分はノードを表し，1 であれば活性化することを，0 であれば不活性化することを意味する．ドロップアウト法を適用する層への入力 x と出力
y との間には以下の関係が成り立つ [4]．

• ドロップアウト法にはない特徴的な結果は，ドロッ
プアウトデザインを用いた結果には見られなかった．

y = f (Wx + b) ◦ m

以上の結果は，ノードを無作為に選ぶドロップアウト(1)

法と，ブロックによって均一にノードを活性化させるド

ここで，W は層の重み，b はバイアス，f は活性化関ロップアウトデザインには，性能上大きな差がないこと

数，◦ は成分ごとの積を表す．未知データに対する推定を示唆している．このことは，組合せ構造であるドロッ

時には全てのノードを活性化し，以下のように平均化を

プアウトデザインと無作為性を持つドロップアウト法の行う．

y = (1 − p)f (Wx + b)

関連性を示しており，今後の研究において，組合せ論を使ったことによりドロップアウト法を分析するアプロー(2)

ドロップアウト法の異なる定式化として，訓練時には (1)チが期待できる．本論文のもう一つの貢献は，ドロップ

式の右辺に 1/(1 − p) を乗じた値を出力する一方，推定アウトデザインをニューラルネットワークに適用する具時には (2) 式の (1 − p) の乗算を実行しない方式があり，体的な方法を示したことである．ドロップアウトデザイ

どちらの定式化を用いても，推定時の出力が等しいこと

ンの適用に際しては，デザインの構造とニューラルネッが知られている [4]．簡単のため，本論文では両者を区トワークの構成との対応づけ，複数エポックの訓練にお別せず，(1) 式と (2) 式を用いる．

けるスーパーブロックの割り当てを決定する必要がある．

ドロップアウト法で訓練に使われるネットワークは，

本論文では，多層パーセプトロンの全結合層に対して正元のネットワークの部分ネットワークである．したがっ則化を行う場合のドロップアウトデザインの適用法を示て，ドロップアウト法を，重みを共有する複数のネット

し，実験により汎化性能の違いを調べた．

ワークによるアンサンブル学習の一種とみなすことがで本論文の構成は次の通りである．2 節で研究の背景ときる [1]．

なるドロップアウト法とドロップアウトデザインについて説明する．3 節では，ドロップアウトデザインの深層

2.2. ドロップアウトデザイン

学習への適用法を説明する．4 節で，評価実験の結果をドロップアウトデザインは，ニューラルネットワーク

報告する．5 節で関連する研究を論じ，6 節で結論と今の重みを更新する回数を均一にすることを目的とした組後の課題を述べる．

2

SEA

ソフトウェア・シンポジウム 2022 in 盛岡

3. ドロップアウトデザインの深層学習への適用

合せ構造の一種である．ドロップアウトデザインは複数の点集合から構成される．ネットワークの各層のノードの集合を異なる点集合とみなし，層を横断した部分集合

本節では，ドロップアウトデザインのニューラルネッ

をとることによって活性化するノードを選択するモデル

トワークへの適用方法について述べる．

を与える．V1 , V2 , . . . , Vn を互いに異なる点集合とし，そ

本論文では，訓練に使用するドロップアウトデザイン

れぞれの部分集合の集合 (スーパーブロックと呼ぶ) ををネットワークごとに固定する．ドロップアウトデザイ

以下のように定める．

ンは，1 エポックの学習に必要な部分ネットワークの集合を定めたものと考える．2.2 節で述べたように，ドロッB = { {C1 |C2 |· · · |Cn } | Ci ⊂ Vi , Ci ̸= ∅, 1 ≤ i ≤ n}.

プアウトデザインの点集合は，ノードの集合と 1 対 1 に対応させる．スーパーブロックは，1 つのミニバッチで学

各部分集合 Ci をサブブロックと呼ぶ．任意の 0 ≤ i ≤ n−

習を進める部分ネットワークであり，サブブロックは各

s について，連続した s 個の点集合 Vi+1 , Vi+2 , . . . , Vi+s
それぞれから選出した任意の d1 , d2 , . . . , ds 個の点を同時に含むスーパーブロックが B の中に λi 個存在するとき，(V1 , V2 , . . . , Vn ; B) を (d1 , d2 , . . . , ds ) 型-ドロップア
ウトデザインと呼ぶ [3]．λi (0 ≤ i ≤ n − s) はドロップ
アウトデザインの会合数と呼ばれる．会合数を一定にすることで，ノードの活性化回数及びエッジの使用回数の均一化を実現する．2 層のネットワークでの例を以下に示す．

層において活性化するノードの集合とする．(1) 式において，サブブロックに含まれる点に対応づけられたノードを 1，含まれない点に対応づけられたノードを 0 とするように層ドロップアウトマスク m を構成することで，訓練時のノードの活性化と不活性化を実現する．
ドロップアウトデザインの各スーパーブロックを，1 エ
ポックにつき 1 回，重みの更新に使用する．ただし，複数
エポックの訓練におけるスーパーブロックの使用法については，ドロップアウトデザインの定義には定められていない．本論文では，第 1 エポックで使用するスーパー

例 1. 点集合を V1 = {0, 1, 2, 3}, V2 = {0, 1, 2, 3, 4, 5}

ブロックの順序を任意に一つ固定するものとし，複数エとする．このとき, (V1 , V2 ; B) は会合数 λ1 = 1 をもつポックの訓練について，次の二通りの使用法を考える．

(2, 1) 型-ドロップアウトデザインをなす． ただし，
B = {{0, 1 | 0, 1, 2},{0, 2 | 0, 3, 4},{1, 2 | 0, 2, 3},{1, 3 | 1, 2, 3},{0, 1 | 3, 4, 5},{0, 3 | 1, 2, 4},{1, 2 | 1, 4, 5},{2, 3 | 0, 1, 3},• 第 1 エポックで定めたスーパーブロックの使用順序を巡回的に保つ．第 2 エポック以降では，各エポッ
クの開始時にスーパーブロックを 1 だけシフト移動
して巡回したデザインを構成することで，スーパー
ブロックの使用順序を定める．以降では，この使用方法をブロックシフトと呼ぶことにする．ブロック
シフトにより構成されるドロップアウトデザインは互いに同値である点に注意する．

{0, 2 | 1, 2, 5},{0, 3 | 0, 3, 5},{1, 3 | 0, 4, 5},{2, 3 | 2, 4, 5}}.

このデザインでは，例えば，V1 の 2 個の点 0, 1 と V2 の点 0 を同時に含むスーパーブロックは 1 個だけである．
先行研究において, 直交配列を用いた構成法や，アフィ• 第 1 エポックで定めたスーパーブロックの使用順序
を第 2 エポック以降も引き続き使用する．

ン空間や射影空間の有限幾何を用いた構成法が提案されている．本論文の実験に使用したアフィン空間による構成法は，(2, 1) 型かつ (1, 2) 型-ドロップアウトデザイン

例 2. 例 1 のドロップアウトデザイン B を再び考える．

を構成することができる (Theorem 5.13 [3]). ここで,表 1 にブロックシフトの適用例を示す．まず，B のスー

デザインから構成されるモデルは, 素数ベキ q, 整数 t,d ≥ 3 について, 層数は q d−t ，各層のノード数は q t であり，会合数は各 i に対して λi = (q d−2 − q d−t−1 )/(q − 1)をとる．また，各層のノードを活性化する割合は 1/q である．したがって，不活性にするノードの割合，すなわ
ちドロップアウト率は 1 − 1/q となる．

パーブロックの集合を順列と読み替えることで，第 1 エポックでのスーパーブロックの使用順序を表 1a のように定める．このデザインにブロックシフトを適用すると，
第 2 エポックでのスーパーブロックの使用順序が 表 1bのように定まる．ブロックシフトを適用しない場合には，
表 1a の順序を第 2 エポック以降も使用する．

3

SEA

ソフトウェア・シンポジウム 2022 in 盛岡の訓練データと 10,000 個のテストデータからなる 10 ク

表 1: ブロックシフトの例(a) 第 1 エポック

ラス画像分類用データセットである．各データは 32 × 32(b) 第 2 エポック

順序

1層

2層

順序

1層

2層

1
2
3
4
5
6
7
8
9
10
11
12

0, 1
0, 1
0, 2
0, 2
0, 3
0, 3
1, 2
1, 2
1, 3
1, 3
2, 3
2, 3

0, 1, 23, 4, 5
1, 2, 50, 3, 4
1, 2, 40, 3, 50, 2, 3
1, 4, 50, 4, 5
1, 2, 30, 1, 32, 4, 5

1
2
3
4
5
6
7
8
9
10
11
12

2, 3
0, 1
0, 1
0, 2
0, 2
0, 3
0, 3
1, 2
1, 2
1, 3
1, 3
2, 3

2, 4, 50, 1, 23, 4, 5
1, 2, 50, 3, 4
1, 2, 40, 3, 50, 2, 3
1, 4, 50, 4, 5
1, 2, 30, 1, 3ピクセルのカラー画像である．3 節で述べたように，実験を行うニューラルネットワーク構成は MLP とした．ドロップアウトデザインとドロップアウト法はネットワー
クの全結合層だけに適用した．使用するドロップアウト
デザインは，4 種類の (2, 1) かつ (1, 2) 型-ドロップアウ
トデザインとした．全結合層の構成は，実験で使用するドロップアウトデザインに基づいて定めた．表 2 に，実験で扱うドロップアウトデザインと，対応する MLP の
全結合層の構成を示す．4 種類の各ネットワークに対してドロップアウト法を適用する場合には，各層のドロップアウト率を表 2 にある値に設定した．この値は，ドロップアウトデザインによって定まるノードの不活性率と同一の値である．ドロップアウトデザインを適用する
際には，ブロックシフトを実行する場合と，ブロックシ
フトを行わず，どのエポックでも同一順序でスーパーブ

文献 [3] ではドロップアウトデザインを適用するネッロックを適用する場合の二通りを評価した．スーパーブ

トワーク構成について特に仮定は設けられていない．本ロックの使用順序の性能への影響を調べるためである．

論文では，MLP を対象として，これらのネットワーク

各ネットワークの損失関数には交差エントロピーを，の全結合層にドロップアウトデザインを適用する．そのパラメータの更新には確率的勾配降下法（SGD）を使用ためには，各層の出力ベクトルの各成分とデザインの各した．また，入力層と全結合層の活性化関数は ReLU 関

点とを一対一に対応づければよい．

数とし，出力層の活性化関数は Softmax 関数とした．
実験では，各ネットワーク構成について，500 エポッ

4. 評価実験

クの学習を行った．その後，テストデータに対する精度（正解率）と，交差エントロピーに基づく損失を評価し本節では，計算機による評価実験の結果を報告する．

た．精度と損失はテストデータの正解クラスについて求

本実験の目的はドロップアウト法に対する優位性を評価めた．この実験をそれぞれのネットワーク構成についてすることではなく，ドロップアウトデザインによる正則

10 回ずつ行った結果を評価した．ドロップアウト法とドロップアウトデザインの正則化効果だけを識別しやすくするため，データ拡張などの他の汎化性能を向上させる
技法は使用しなかった．

化とドロップアウト法による正則化の効果に違いがあるか比較検討することで，ドロップアウトデザインの性質を調べることである．

実験プログラムは Python 3 で実装した．ニューラル

4.1. 実験設定

ネットワークの訓練ならびにテストの実装には，Keras
ライブラリを用いた．ドロップアウト法には，Keras が本実験では，深層ニューラルネットワークの全結合層提供するドロップアウト層の実装を使用した．一方，ドに対して，訓練時の性能と，テストデータを用いた時のロップアウトデザインに関しては，アフィン空間を利用汎化性能の評価を行った．性能評価は，ドロップアウト

したドロップアウトデザインの構成法（2.2 節）を実装

デザインを用いた正則化を施した場合，ドロップアウト

した．また，Keras のドロップアウト層と同じ実装方法

法を用いた正則化を施した場合，正則化を行わない場合

でデザインを用いたノードの活性化を実現するために，を対象とした．

従来のドロップアウト層を拡張したデザイン適用層を新本実験で扱う問題は画像分類問題とした．データセット

たに実装した．このデザイン適用層を用いて，実験プロには CIFAR-10 [5] を使用した．CIFAR-10 は，50,000 個

グラムは，構成したデザインから層ドロップアウトマス

4

SEA

ソフトウェア・シンポジウム 2022 in 盛岡

表 2: 実験で使用したドロップアウトデザインとネットワーク構成の対応

アフィン空間
次元

位数

d

q

ﬂat
の
次元 t

8
7
9
10

2
3
2
2

7
6
7
8

ドロップアウトデザイン

ニューラルネットワーク（全結合層）

サブ

点

サブ

スーパー

会

ブロック

集合

ブロック

ブロック

合

数

サイズ

サイズ

数

数

2
3
4
4

128
729
128
256

64
243
64
128

508
3276
1016
2040

63
121
126
254

クを生成して，(1) 式に従って訓練を実行する．テスト

層

1 層の
活性化
ノード数

ドロップ

数

1 層の
ノード
数

2
3
4
4

128
729
128
256

64
243
64
128

0.5
0.67
0.5
0.5

アウト
率

2. 無作為にノードを不活性にする従来のドロップアウ
ト法と異なり，ドロップアウトデザインは活性化す
るノードの回数に制約を設けた決定論的な組合せ構造である．そのため，ドロップアウトデザインの固有の特徴を示す結果が得られることが期待される．
実験の結果からは，精度と損失に関して，ドロップ
アウトデザインとその適用法に特有の性質や挙動は確認できなかった．

時には，ドロップアウト法と同様に (2) 式により出力を計算することとした．
実験には，CPU に Intel Xeon W-2133 (3.60GHz)，GPU に NVIDIA TITAN RTX を備えたマシン（Keras
2.3.1，Tensorﬂow 2.1.0）と，CPU に Intel Xeon W-2245(3.90GHz)，GPU に NVIDIA TITAN RTX を備えたマシン（Keras 2.4.3，Tensorﬂow 2.3.0）を使用した．

3. ドロップアウトデザインの適用において，ブロック
シフトを実行した場合としない場合を比較したとき，精度と損失の平均，標準偏差に大きな違いは確認されなかった．この結果は，スーパーブロックの使用順序は汎化性能に影響しないことを示していると考えられる．

4.2. 実験結果
MLP の全結合層を 2 層，3 層，4 層にした場合の実験結果をそれぞれ 図 1， 図 2， 図 3， 図 4 に示す．測定した値は，10 回の実験に対する精度の平均と標準偏差，損失の平均と標準偏差である．加えて，第 51 エポックから
第 500 エポックまでの各エポックについて，そのエポッ

ドロップアウト法との正則化の違いを評価するというクを含む過去 50 エポックの区間に対する精度と損失の点から，まず，上で述べた結果 1 と 2 を詳しく検討する．

分散を算出した．これは，訓練の進行に伴う，実験ごと

本実験の結果から，表 2 に示したすべてのネットワーの汎化性能の収束の違いを評価する指標である．各グラ

ク構成について，ドロップアウト法とドロップアウトデ

フは，正則化を行わなかった結果（w/o dropout），ドザインを用いた正則化は平均的に同程度の精度と損失

ロップアウト法による正則化を行った結果（dropout），

であり，各曲線の収束の仕方にも大きな違いは見られな

ブロックシフトを適用した場合（design(bs)）と適用しかった．ただし，精度と損失の平均値に関しては，全結ない場合（design）のドロップアウトデザインでの正則合層が 4 層，各層のノード数が 128 の場合には，両者の化の結果をそれぞれ示している．グラフの横軸はエポッ

挙動にわずかながら違いを確認した．訓練データ，テス

ク数である．

トデータ共に平均精度はドロップアウト法が上回り（図図 1 から図 4 から，以下の三点が観察された．

3a，3b），ドロップアウト法が低損失になるという傾向が観察された（図 3c，3d）．また，同じ構成について，精度の標準偏差の結果（図 3e，3f）から，ドロップアウ
ト法を用いた場合は，ドロップアウトデザインを用いる
場合よりもわずかに低い標準偏差を示した．このような結果が得られた原因として，中間層数が最も大きいネッ
トワークを使用していることが考えられる．しかし，各

1. 本実験では，ドロップアウトデザインを用いること
で汎化性能が高まるかどうかを調べるため，精度と損失の平均，標準偏差，分散を測定した．それらすべての項目について，ドロップアウトデザインを用いた正則化は，従来のドロップアウト法と同程度の汎化性能を達成した．

5

SEA

ソフトウェア・シンポジウム 2022 in 盛岡

5. 関連研究

層を 256 ノードとした結果（図 4e，4f）では同様の傾向は見られないことから，ドロップアウトデザインの固有の特徴を示す結果とはいえないと思われる．ニューラル

ドロップアウト法は後に続く正則化法の研究に大きなネットワークの訓練とドロップアウト法における確率的影響を与えた．代表的な正則化法の一つにドロップコネな挙動が影響している可能性もあり，本論文で行った実クト法 [6] がある．ドロップコネクト法は，学習時にノー験だけからでは結論を得ることは難しい．今後，5 層以ド間の接続を無作為に切断する方法である．一方，高速上の深いネットワーク対する評価実験が必要である．50

ドロップアウト法 [7] は，ガウス近似によりドロップア

エポック区間の精度分散，損失分散に関しては，全結合ウト法と同様の正則化効果を発生させることで，学習時層 2 層，3 層，4 層のいずれの場合も，ドロップアウトの収束速度を高める方法である．より最近では，畳み込法とドロップアウトデザインを用いた正則化と顕著な違み層の出力の周波数成分に対してドロップアウト法を適いは見られなかった．以上の考察から，訓練の進行に伴用するスペクトラルドロップアウト法 [8]，ドロップアウ

う精度や損失の収束の仕方には大きな違いはないと結論

ト法を用いた訓練をベイズ推定で近似する MC ドロップ付けられる．

アウト法 [9, 10]，学習効果の高い部分ネットワークを進化計算を用いて絞り込む EDropout [11]，強化学習でド

次に，ドロップアウトデザインの結果に注目して，ブロップアウトマスクを学習する AutoDropout [12] など

ロックシフトを実行した場合としない場合を比較した場の多くの方法が提案されている．また，R-Drop は，ド合を議論する．上の 3 で述べたように，すべての実験を

ロップアウト法で部分ネットワークを二つ構成し，両者通じて，精度と損失の平均，標準偏差に大きな違いは確が推定した分布の差異を低減するように訓練を行う正則

認されなかった．なお，全結合層 4 層，各層 128 ノー化法である [13]．ドロップアウト法と深く関係する主要ドに対する 50 エポック区間の精度と損失の分散（図 3i，な技法は文献 [4] で詳しく論じられている．

3j）において，ブロックシフトの方が訓練の初期段階での分散値が低くなる傾向が見られるが，その差は微小である．

組合せデザインをはじめとする組合せ構造の計算機科学への応用には，数多くの研究がある [14]．デザインによるバギング [15, 16] は，バギングにおいて組合せデザ

最後に，実験結果への影響を与える要因として，過学インの考え方に基づきデータをサブサンプリングするこ

習の可能性と収束速度について検討する．正則化を行わとで，汎化性能を改善する技法である．バギングは複数ない場合については，全結合層 3 層（図 2a）と 4 層かつの弱分類器で学習を行うアンサンブル学習の一種である．

各層 256 ノード（図 4a）のそれぞれにおいて，短いエ

ドロップアウト法もアンサンブル学習と考えることもでポック数の訓練で精度が 1.00 に達して収束し，また，標きるので，デザインによるバギングは，組合せデザイン

準偏差が 0 になった．そのため，訓練の進行と共に過学を機械学習に適用する先駆的な試みの一つである．また，習を引き起こしている可能性が高い．全結合層 4 層，各組合せデザインと関連が深い分野に実験計画法や品質工層 128 ノードの場合は，図 3e においても，エポック数の学（タグチメソッド）があり，ニューラルネットワーク

増加に伴いテストデータに対する精度が低下する傾向がの最適な構成を求める技法 [17, 18] をはじめ，機械学習あり，過学習となっている恐れがある．これらのネットでの活用が研究されている．

ワーク構成では，正則化技法を用いない場合に最も短い

6. おわりに収束速度で高い汎化性能が得られた，という結果を示している．以上の議論から，この現象は過学習が原因である可能性がある．ドロップアウト法とドロップアウトデ

深層学習における正則化に関しては，数多くの研究

ザインを用いた場合には，過学習の傾向は見られなかっがなされてきた．本論文で扱ったドロップアウトデザイ

た．全結合層 3 層と 4 層については，訓練時の平均精度ンを用いた正則化技法は，部分ネットワークの組合せ構が収束まで達しておらず，正則化技法を用いない場合と造に注目した方法である．無作為にノードを不活性にす比較して，収束に遅れが見られる．訓練するエポック数

るドロップアウト法とは異なり，ドロップアウトデザイをさらに増やすと，精度や損失の結果に違いが現れる可ンは，ブロックによってノードの活性化回数を釣り合わ能性がある．

せるという特徴を持つ．本論文では，ドロップアウトデ

6

SEAソフトウェア・シンポジウム 2022 in 盛岡

ザインによる正則化の持つ性質を明らかにするために，

dinov.
Improving neural networks by preventing
co-adaptation of feature detectors. arXiv:1207.0580,
2012.

MLP の全結合層を正則化する技術を実装した．加えて，
画像分類問題での評価実験により，全結合層が 2，3，4層の時の汎化性能を分析した．その結果，いずれの場合についても，ドロップアウト法と同程度の汎化性能が得られた一方で，ドロップアウトデザイン固有の特徴的な結果は得られなかった．これらのことは，訓練時に使用したドロップアウトデザインが持つ組合せ論に基づいたネットワーク構造と，従来のドロップアウト法で得られる無作為な構造との間に，関係性があることを示唆していると考えられる．ドロップアウトデザインの分析を通じて，組合せ構造を用いてドロップアウト法を理解する研究が進むものと期待される．ドロップアウトデザインのニューラルネットワークへの適用法の違いは，実験結果に大きな影響を与えることはなかった．
今後，ドロップアウトデザインとドロップアウト法についてさらに深く理解するために，以下の課題に取り組む必要がある．まず，引き続きより深いニューラルネッ
トワークや，画像分類以外の問題についても実験を進めていく必要がある．また，本論文での評価実験は (2, 1)
かつ (1, 2) 型-ドロップアウトデザインに限った結果であり，ドロップアウトデザインの型が汎化性能に与える影響を分析する必要がある．文献 [19] のように，ドロップ
アウトデザインの構成法の研究は進展しているが，様々な型のドロップアウトデザインを理論的に構成することは現時点では困難である．そのため，従来のドロップ後法と異なり，ドロップアウト率を自由に設定して訓練を行うことができないという制約がある．そこで，計算機によりドロップアウトデザインを構成する技術を開発することが必要である．計算機を利用して組合せ構造を探索する研究 [20, 21, 22] が参考になると考えられる．最後に，本論文の実験では，ニューラルネットワークのドロップアウトデザインへの適用法の有効性を確認できな
かった．今後も有効な適用法を検討する必要がある．

[2] Nitish Srivastava, Geoﬀrey Hinton, Alex Krizhevsky,
Ilya Sutskever, and Ruslan Salakhutdinov. Dropout:
A simple way to prevent neural networks from overﬁtting. The Journal of Machine Learning Research,
15(1):1929–1958, 2014.
[3] Shoko Chisaki, Ryoh Fuji-Hara, and Nobuko
Miyamoto. Combinatorial designs for deep learning.
Journal of Combinatorial Designs, 28(9):633–657,
2020.
[4] Alex Labach, Hojjat Salehinejad, and Shahrokh
Valaee. Survey of dropout methods for deep neuralnetworks. arXiv:1904.13310, 2019.
[5] Alex Krizhevsky. Learning multiple layers of featuresfrom tiny images. Technical report, University ofToronto, 2009.
[6] Li Wan, Matthew Zeiler, Sixin Zhang, Yann Le Cun,and Rob Fergus. Regularization of neural networks
using DropConnect. In 30th International Conference on Machine Learning, volume 28 of Proceedings of
Machine Learning Research, pages 1058–1066. PMLR,
2013.
[7] Sida Wang and Christopher Manning. Fast dropout
training. In 30th International Conference on Machine
Learning, volume 28 of Proceedings of Machine Learning Research, pages 118–126. PMLR, 2013.
[8] Salman H. Khan, Munawar Hayat, and Fatih Porikli.
Regularization of deep neural networks with spectral
dropout. arXiv:1711.08591, 2017.
[9] Yarin Gal and Zoubin Ghahramani. Dropout as abayesian approximation: Representing model uncertainty in deep learning. In 33rd International Conference on Machine Learning, volume 48 of Proceedings of
Machine Learning Research, pages 1050–1059. PMLR,
2016.
[10] Yarin Gal and Zoubin Ghahramani. A theoreticallygrounded application of dropout in recurrent neuralnetworks. In Advances in Neural Information Processing Systems, volume 29, pages 1027–1035, 2016.
[11] Hojjat Salehinejad and Shahrokh Valaee. EDropout:
Energy-based dropout and pruning of deep neural networks. arXiv:2006.04270, 2020.

謝辞[12] Hieu Pham and Quoc Le. AutoDropout: Learning
dropout patterns to regularize deep networks. Proceedings of the AAAI Conference on Artiﬁcial Intelligence,
35(11):9351–9359, 2021.

本研究は JSPS 科研費 基盤研究 (C) 19K11866 及び,若手研究 21K13845 の助成を受けたものです．

[13] Xiaobo Liang, Lijun Wu, Juntao Li, Yue Wang,
Qi Meng, Tao Qin, Wei Chen, Min Zhang, and Tie-Yan
Liu. R-drop: Regularized dropout for neural networks.
In Thirty-ﬁfth Conference on Neural Information Processing Systems (NeurIPS 2021), 2021.

参考文献[1] Geoﬀrey E. Hinton, Nitish Srivastava, Alex
Krizhevsky, Ilya Sutskever, and Ruslan R. Salakhut-

7

SEAソフトウェア・シンポジウム 2022 in 盛岡[14] Charles J. Colbourn and Paul C. van Oorschot. Applications of combinatorial designs in computer science.
ACM Comput. Surv., 21(2):223–250, 1989.
[15] Periklis Papakonstantinou, Jia Xu, and Zhu Cao. Bagging by design (on the suboptimality of bagging).
AAAI Conference on Artiﬁcial Intelligence, 28(1),2014.
[16] Mahdi Hamdani, Patrick Doetsch, and Hermann Ney.
Bagging by design for continuous handwriting recognition using multi-objective particle swarm optimization. In 2015 13th International Conference on Document Analysis and Recognition (ICDAR), pages 256–
260, 2015.
[17] F. Sánchez Lasheras, J. A. Vilán Vilán, P. J. Garcı́a Nieto, and J. J. del Coz Dı́az. The use of design of experiments to improve a neural network model in order to predict the thickness of the chromium layer ina hard chromium plating process. Mathematical andComputer Modelling, 52(7–8):1169–1176, 2010.
[18] Ahmad M. Karim, Mehmet S. Güzel, Mehmet R.
Tolun, Hilal Kaya, and Fatih V. Çelebi. A new generalized deep learning framework combining sparse autoencoder and Taguchi method for novel data classiﬁcation and processing. Mathematical Problems in Engineering, 2018:3145947, 2018.
[19] Shoko Chisaki, Ryoh Fuji-Hara, and Nobuko
Miyamoto.
A construction for circulant type
dropout designs. Designs, Codes and Cryptography,
89(8):1839–1852, 2021.
[20] 松中春樹; 丹生智也; 番原睦則; 田村直之. SAT 符号化を用いた釣合い型不完備ブロック計画の構成. 人工知能学
会論文誌, 27(2):10–15, 2012.
[21] 青柳卓; 宮本暢子; 篠原聡. Optical orthogonal codes の探索 II. 明星大学研究紀要（情報学部）, 22:15–22, 2014.
[22] B. N. Mandal, Rajender Parsad, and Sukanta Dash.
Construction of a-optimal balanced treatment incomplete block designs: An algorithmic approach. Communications in Statistics - Simulation and Computation, 49(6):1653–1664, 2020.

8

SEA

ソフトウェア・シンポジウム 2022 in 盛岡(a) 平均精度（訓練）(b) 平均精度（テスト）(c) 平均損失（訓練）(d) 平均損失（テスト）(e) 精度の標準偏差（訓練）(f ) 精度の標準偏差（テスト）(g) 損失の標準偏差（訓練）(h) 損失の標準偏差（テスト）(i) 50 エポック区間の精度分散（訓 (j) 50 エポック区間の精度分散（テ (k) 50 エポック区間の損失分散（訓 (l) 50 エポック区間の損失分散（テ
練）
スト）
練）
スト）

図 1: 全結合層 2 層，1 層当たり 128 ノード，ドロップアウト率 0.5 の実験結果(a) 平均精度（訓練）(b) 平均精度（テスト）(c) 平均損失（訓練）(d) 平均損失（テスト）(e) 精度の標準偏差（訓練）(f ) 精度の標準偏差（テスト）(g) 損失の標準偏差（訓練）(h) 損失の標準偏差（テスト）(i) 50 エポック区間の精度分散（訓 (j) 50 エポック区間の精度分散（テ (k) 50 エポック区間の損失分散（訓 (l) 50 エポック区間の損失分散（テ
練）
スト）
練）
スト）

図 2: 全結合層 3 層，1 層当たり 729 ノード，ドロップアウト率 0.67 の実験結果

9

SEA

ソフトウェア・シンポジウム 2022 in 盛岡(a) 平均精度（訓練）(b) 平均精度（テスト）(c) 平均損失（訓練）(d) 平均損失（テスト）(e) 精度の標準偏差（訓練）(f ) 精度の標準偏差（テスト）(g) 損失の標準偏差（訓練）(h) 損失の標準偏差（テスト）(i) 50 エポック区間の精度分散（訓 (j) 50 エポック区間の精度分散（テ (k) 50 エポック区間の損失分散（訓 (l) 50 エポック区間の損失分散（テ
練）
スト）
練）
スト）

図 3: 全結合層 4 層，1 層当たり 128 ノード，ドロップアウト率 0.5 の実験結果(a) 平均精度（訓練）(b) 平均精度（テスト）(c) 平均損失（訓練）(d) 平均損失（テスト）(e) 精度の標準偏差（訓練）(f ) 精度の標準偏差（テスト）(g) 損失の標準偏差（訓練）(h) 損失の標準偏差（テスト）(i) 50 エポック区間の精度分散（訓 (j) 50 エポック区間の精度分散（テ (k) 50 エポック区間の損失分散（訓 (l) 50 エポック区間の損失分散（テ
練）
スト）
練）
スト）

図 4: 全結合層 4 層，1 層当たり 256 ノード，ドロップアウト率 0.5 の実験結果

10

SEA