Human-in-the-loop による設計空間の絞り込み法を導入した知識転移グラフの探索
指導教授：山下隆義
EP17014 岩田幸
共同学習とは，複数のネットワーク間で知識を伝達しながら学習することで，ネットワークの性能を向上させる学習法である．知識転移グラフ [1] は共同学習の一種であり，知識の伝達方法を自動最適化することにより，様々な学習方法を表現できる．知識転移グラフ最適化時の探索空間は非常に膨大なため，最適な知識転移グラフの獲得が困難である．そこで，本研究では知識転移グラフの探索空間を Human-in-the-loop により段階的に絞り込む手法を提案する．

2. 知識転移グラフ
共同学習をグラフ構造で表現し，知識の伝達をゲート関数によって制御する知識転移グラフ [1] が提案されている．知識転移グラフは，各ネットワークをノードで表現し，ノード間の知識の伝達をエッジとして表現する．知識転移
グラフのハイパーパラメータは，ネットワークとゲート関数である．ゲート関数には，Through gate，Cutoﬀ gate，Linear gate，Correct gate の 4 種類がある．ノード数を3 とした知識転移グラフでは，これらのハイパーパラメータの組み合わせは 1,179,648 通りとなり，1 グラフあたりの学習時間は約 6 時間であるため，全探索は現実的な時間で計算不可能である．

3. 提案手法
本研究では，知識転移グラフの設計空間を Human-inthe-loop で探索と分析を繰り返して段階的に絞り込む手法を提案する．ここで，設計空間とは，最適解を探索するために人が設計する空間を指す．提案手法は精度が高いグラ
フに共通するハイパーパラメータに着目して設計空間を絞り込む．図 1 に設計空間の構築の概念図を示す．設計空間
A から絞込み，設計空間 B を得る．これを組み合わせ数が十分少なくなるまで繰り返す．設計空間を段階的に絞り込
むため，ハイパーパラメータは次第に限定される．

WRN28-2 を使用する．ゲート関数には，Through gate，Cutoﬀ gate と Linear gate を使用する．

4.2. 実験結果
表 1 に提案手法により絞り込んだ設計空間を示す．A が初期の設計空間であり，探索に使用するハイパーパラメータに制約はない．B は，設計空間 A の探索で最も効果が高い WRN28-2 (補助ノード) を用いた設計空間である．Cは，設計空間 B の探索で最も効果が高い Through gate (教師ラベルから補助ノードへ) を用いた設計空間である．Xは，設計空間 C の探索で最も効果が高い Through gate かLinear gate (補助ノードからターゲットノードへ) を用いた設計空間である．設計空間 X の組み合わせ数は設計空間
A の 1/81 であり，全探索の探索回数を大幅に削減できる．

表 1: 設計空間
設計空間

制約組み合わせ数

探索回数

39,366
9,842
1,094
486

3,616
3,055
2,996
2,430

なし
+ WRN28-2+ Through+ Through or LinearABCX

図 2 に各設計空間の EDF を示す．横軸は閾値であり，縦軸はエラー率が閾値以下となるグラフの割合を示す．n は探索で獲得したグラフの数を指す．設計空間を限定していくにつれて，EDF の傾きが大きくなることから，エラー率が低いグラフの集合へと設計空間を絞り込むことができた．

Cumulative probability

1. はじめに1.00.80.6
0.4

A (n=3351)
B (n=2824)
C (n=2869)
X (n=1294)
3334350.2
0.026

272829303132

Error rate [%]図 2: 各設計空間の EDF
ABCX

図 1: 設計空間の構築
分析には，式 (1) に示す Empirical Distribution Function (EDF) [2] を使用する．ここで，e は閾値，ei はエラー42率，n は探索で獲得したグラフの数である．
n∑1F (e) =1[ei < e]
(1)
ni=1

提案手法は以下の Step1 から Step4 を用いて設計空間を段階的に絞り込み，知識転移グラフを探索する．
Step1. 知識転移グラフの設計空間をランダムサーチ
Step2. 知識転移グラフのハイパーパラメータの傾向分析
分析には EDF を使用し，エラー率が低いグラフに共通するハイパーパラメータを選択する．
Step3. 設計空間の絞り込み
Step2 で選択したハイパーパラメータで設計空間を限定する．
Step4. 設計空間 X の全探索
Step1 から Step3 を繰り返し，限定した設計空間 X に対して全探索を行う．

4. 評価実験
知識転移グラフの設計空間を段階的に絞り込む提案手法の有効性を検証する．

4.1. 実験概要
提案手法により限定した設計空間 X を全探索して得られたグラフを用いて 5 回学習を試行し，従来手法を用いた探索結果との比較を行う．データセットには CIFAR-100 を使用する．探索時は，train 用データセット 50,000 枚の内，訓練用に 40,000 枚，検証用に 10,000 枚を使用する．ター
ゲットノードに ResNet32，補助ノードに，ResNet32 と図 3 に設計空間 A を従来手法 [3] で探索して得られたグラフと，設計空間 X を全探索して得られたグラフを示す．
赤色のノードはターゲットノードであり，“Label” は教師ラベルを指す．括弧内に各探索方法で獲得した Top1 のグラフを用いて 5 回学習を試行した平均精度を示す．これにより，従来手法より高精度なグラフを獲得できた．探索で獲得したグラフから，学習初期に他のノードから伝達する知識を強さを抑えると精度向上することが確認できる．また，設計空間 X の全探索結果から，教師ラベルから直接知識を伝達しない場合でも精度向上することが確認できる．
LabelThrough
1. ResNet32

LabelThrough Linear
Label

Linear

2. ResNet32

1. ResNet32
LinearThrough ThroughThrough Linear Linear
3. WRN28_2

設計空間Aのランダムサーチ+枝刈り
従来手法 (73.96%)

Linear Linear

LabelLinear Through2. WRN28_2LabelThrough LinearThrough3. WRN28_2

設計空間Xの全探索
Ours (74.52%)

図 3: 獲得した最適な知識転移グラフ
5. おわりに45
本研究では，Human-in-the-loop を用いて知識転移グラフを探索した．評価実験により，グラフの組み合わせ数を削減することができた．今後は，ベイズ最適化を用いて知識転移グラフを探索する．

参考文献[1] S. Minami, et al., “Knowledge Transfer Graph for
Deep Collaborative Learning”, ACCV, 2020.
[2] I. Radosavovic, et al., “Designing Network DesignSpaces”, CVPR, 2020.
[3] L. Li, et al., “A System for Massively Parallel Hyperparameter Tuning”, MLSys, 2020.