ディープラーニングにおける適応的学習係数調整手法
神戸大学 大学院 科学技術イノベーション研究科科学技術イノベーション専攻教授 川口 博
2021年10月14日

ディープラーニング学習の問題点• 一部の専門家のみ利用可能→ 演算時間（資源）がかかる→ 学習係数(LR)の設計が大変→ 高度な専門知識が必要

従来手法・学習係数(LR)とは．．．
SGD(確率的勾配降下法)

𝑤 (𝑡+1) = 𝑤 (𝑡) − 𝜂𝛻𝐸𝑛
・学習係数選択手法

𝑤 : 重み，バイアス
𝜂 : 学習係数∇𝐸𝑛 : 勾配

e.g. AdaGrad，AdaDelta，Adam, etc…
➢パラメータ数が増加➢タスクやネットワーク毎に選択が必要➡ 試行を繰り返して選択，設計する必要がある

LRの設計を低コストなアルゴリズムによる探索する必要

提案手法①学習係数の評価を短時間で行う（STPT: Short-Term Pre-Training）➡学習係数評価にかかるオーバーヘッドを削減（演算コスト削減）②複数の学習係数を用いる (MLT: Multi LRs Training)➡学習係数を事前に決定する必要がない（知識の削減）
0.1

main train

LR 1LR 2LR 3epoch毎に最適な学習係数(LR)を選択

0.06

Best!

Pre-train
各LRの評価

0.04

Best!

InitMain-train
最適なLRで学習

0.02

0Best!

LRTrain accuracy

0.08

123
Training epoch

4

Epoch毎に適応的なLR探索Best!

epoch

提案手法の概要図
α + β iteration = 1epoch α ≦ β
m : 学習係数候補数m≦ nn : 並列数(GPGPU数)

Pre train
α iterations

Worker 2train
w/ LR1

Worker 3train
w/ LR2Worker ntrain
w/ LRntrain
w/ LR3

Select bestLR by accuracy
Data-parallel train with bestLR
Main traintrain

traintrain

train

β iterations

w/ bestLRw/ bestLRw/ bestLRw/ bestLRmodel

高速かつ適応的にLRを探索可能

Next epochWorker 1Distributemodel８並列におけるIteration数比較
・8並列 ・512 batch ・128万枚 ・学習係数８種
Conventional

2,500

2,500 x 8 (= 20,000)
iterations
w/ LR 1 w/ LR 2 w/ LR 3 w/ LR 4 w/ LR 5 w/ LR 6 w/ LR 7 w/ LR 887.5% reduced
Proposed Algorithm
reduces computation time

LR 1LR 2LR 3LR 4LR 5LR 6LR 7LR 88 data-pallalel train w/ bestLR

2,500

20,000 iterations
Continue train model/w bestLR

2,500 iterations

Iteration数を87.5％削減

実験環境
・ImageNet-1K (Train: 1,280,000枚, Val: 50,000枚)
・Momentun SGD・warmupを4epoch行う
・epoch毎にLR setを掛け合わせ，学習係数候補を生成する
ネットワークGPGPUの枚数（並列度）
バッチサイズ (１GPGPU)
学習epoch数
Pre train iteration数(α)
Momentum係数
学習係数初期値
LR setWarmup epoch数
Warmupの学習係数

ResNet50
8512(64)40
200
0.90.1後述
40.005αの決定方法◼ α = 200, 625, 1250, 2500で実行
1.0

Maximum accuracy

0.90.80.70.60.5
0.4
0.30.2・Accuracy is nearly equal・200 iterations is most efficient

0.10.02006251250
Training iterations

αの値による影響はわずかなので200でよい

2500

LRsetの決定方法◼ 間隔の違う３種類のLRset: Narrow, Middle, Wide
Values(a) Narrow(b) Middle

#1

1.25

#2

1.17

2.00

3.67

#31.08

1.50

2.33

#4

1.00

1.00

1.00

#5

0.95

0.85

0.80

#6

0.90

0.70

0.60

#7

0.85

0.55

0.40

#8

0.80

x2x1/22.50

0.40(c) Widex2x1/2

5.00

0.20

LRset評価（精度推移）◼ 各LRsetをそれぞれ用いてアルゴリズムを実行した際の精度
0.7

0.6

Accuracy

0.5

0.4

Narrow

0.3

0.2

Middle

0.1

Wide
0.0

051015202530

Training epoch

各LRsetに長所・短所が存在

3540

LRset評価 （LR推移）◼ 各LRsetをそれぞれ用いてアルゴリズムを実行した際のLR
1Narrow
0.1

Middle0.01

Wide0.001

0.00010.00001

05101520

Training epoch25303540

Mixの提案◼ Mix: LRsetを切り替える
EpochLR set

1–4
Warmup5–19(a) Narrow

20–29(b) Middle

30–40(c) Wide

1E+13
1E+12

1E+11

Maximum

1E+10
1E+09
100000000

Minimum

10000000

1000000
100000
10000
1000
100

10
1
0.1
0.01
0.001

0.00010.00001
0.000001
0.0000001
1E-08

1E-09
1E-10
1E-11
1E-12
1E-13

1E-14
1E-15

Warmup15(a) Narrow
10(b) Middle
152025

各LRsetの長所を活かす(c) Wide303540

Mixの精度推移◼ Mix，Narrow, Ref.の検証精度推移比較
Ref. (init LR = 0.1: divided by 10 every 16epochs)
0.67

Mix

Narrow

0.66

Accuracy

1.2%
0.65
0.64

4.8%
0.63
0.62
0.61
0.60

05101520

Training epoch25303540

低コストなLRの探索が劣化なく可能，従来より4.8%高精度

MixのLR推移◼ Mix，Narrow, Ref.のLR推移比較
Ref. (init LR = 0.1: divided by 10 every 16epochs)
Mix

Learning Rate

0.1

Narrow

0.01

0.001

0.0001

Narrow

warmup0510Middle
152025Training epoch

Wide303540

まとめ①学習係数の評価を短時間で行う（STPT: Short-Term Pre-Training）➡学習係数評価にかかるオーバーヘッドを削減（演算コスト削減）②複数の学習係数を用いる (MLT: Multi LRs Training)➡学習係数を事前に決定する必要がない（知識の削減）・上記２手法により低コストな探索でLRの設計可能• 8並列，8種の学習係数，64batchの場合，87.5%のiteration数を削減• 段階的に減少する学習係数と比較し最大4.8%の精度向上．

想定される用途• エッジAI：IoT機器による物体認識・セグメンテーションなどのディープラーニングアプリケーションex) スマートフォン、自動運転、工場の検品 etc.
• クラウドAI：機械学習用サーバクラウドAI

エッジAI

実用化に向けた課題• ディープラーニング学習における学習係数の適応的調整については可能性を示したが，学習の高速化は学習係数の調整だけでなされるわけではない→ 並列学習・データセット削減・蒸留・NeuralArchitecture Search (NAS)などの他技術との組み合わせで総合的コスト最適化が必要• 学習（クラウドAI）よりマーケットの大きい推論器（エッジAI）への展開が必要。研究室では推論器の高速化・小型化や，LSI実装の知見もあり。

企業への期待• クラウドAI関連企業は国内ではかなり限られている
ので，エッジAIの実用化・商品化に興味ある企業との共同研究を希望• 学習に限らず，エッジAI推論器の高速化・小型化についても共同研究を展開したい本技術に関する知的財産権•発明の名称 ：学習システム、学習方法、およびプログラム•出願番号：特願2018-196539
•出願人
：神戸大学
•発明者
：川口博、森陽紀、山田和樹

産学連携の経歴• 2015年-2021年 システムインテグレーターと共同研究実施• 2016年-2019年 NEDO IoT推進のための横断技術開発プロジェクトに採択• 2017年-2020年 自動車メーカーと共同研究実施• 2020年-2021年 鉄鋼メーカーと共同研究実施

お問い合わせ先

神戸大学
産官学連携本部 産学連携・知財部門
ＴＥＬ ０７８ - ８０３ – ５９４５
ＦＡＸ ０７８ - ８０３ – ５３８９e-mail：oacis-sodan@office.kobe-u.ac.jp