ᶵᲔ▱ぬ㻒䝻䝪䝔䜱䜽䝇䜾䝹䞊䝥୰㒊኱Ꮫ㻌㻌ᕤᏛ◊✲⛉㻌䝻䝪䝑䝖⌮ᕤᏛᑓᨷ㻞㻜㻞㻞ᖺᗘ䚷⸨ྜྷ◊✲ᐊ䚷ಟኈㄽᩥⓎ⾲䚷䜰䝤䝇䝖䝷䜽䝖
Deep Learning，Attention mechanism, Visual explanation

Complement Objective Training によるアテンションマップの最適化に関する研究
岩吉 孝明
Reservoir computing，Echo State Network，DARTS

Echo State Network における構造分析と最適構造探索に関する研究濵地 優輝
Deep Learning, Semi-supervised Learning

知識転移グラフによる半教師あり深層共同学習に関する研究
村本 佳隆

URL: http://mprg.jp

1. はじめにComplement Objective Training によるアテンションマップの最適化に関する研究
指導教授：藤吉弘亘
TR21002 岩吉 孝明

Attention Branch Network (ABN)[1] は，ネットワー
クの注視領域をアテンションマップとして可視化するだけでなく，認識処理に活用することで高精度な画像認識を実現した．一方，鳥の種類のようなサブカテゴリを分類する
詳細画像分類では，クラス間の相違が小さいため，より識別に有効な領域を注視して分類する必要がある．
本研究では，識別に有効な領域をアテンションマップとして獲得するために，1. 認識に有効な領域の探索，2. 特徴
空間の改善，3. 出力空間の改善の 3 つのアプローチを提案する．具体的には，ABN に有効な注視領域を探索する
Attention mining branch (AMB)，特徴空間を改善する
Prototype conformity loss (PC Loss) と出力空間を改善する Complement objective training (COT) を導入する．

Attention mechanism

3. 提案手法

本研究では学習によって詳細画像分類に有効な注視領域を自動で獲得することを目的とする．提案手法は，ABNに 3 つのアプローチを導入し，詳細画像分類に有効な領域の獲得を目指す．1 つ目に，ABN に Attention mining
branch (AMB) を導入し，認識に有効な領域のみに注視す
るよう学習する．2 つ目に，ABN に Prototype conformity
loss (PC Loss) を導入して特徴空間を改善する．PC Lossは，特徴空間において同じクラスの特徴量を近づけ，異なるクラスの特徴量を離すように学習することから，クラス特有の注視領域の獲得を可能とする．更に，注視領域の改善により，認識精度の向上も見込めると考える．3 つ目に，AMB に不正解クラスを平坦化する Complement objective
training (COT) を導入し，不正解クラス確率を抑えることで，認識対象のみの注視領域の獲得を目指す．

3.1.Attention mining branch

提案手法は，入力画像から特徴マップを獲得する Feature extractor，アテンションマップを獲得する Attention
module，最終的な認識結果を出力する Perception branch，に加え，識別に有効な領域を探索する AMB で構成されている．AMB は，認識に有効な領域のみに注視するように学習を行う．AMB は，Perception branch と同様の構造
であり，アテンションが閾値より高い領域をマスク処理した特徴マップを入力し，クラス確率を出力する．このとき，対象クラスのクラス確率が低いほど，アテンション領域が認識対象に影響しているといえる．そこで，対象クラスのクラス確率を最小化するよう学習する．これにより，認識対象のみを注視するようにアテンションマップを最適化す
る．また，AMB は，Perception branch と重みを共有する．
これにより，認識対象の物体のみを注視するように学習した AMB の重みを最終的な認識結果を出力する Perception
branch に利用することができる．

‫ܮ‬௣௘௥ 00

Featureextractor‫ݔ݌‬

Attention
module

Input

Label

CE LossΠτϱεϥϱϜρϕ

Step1ʁࣆ઴ָस
PC Loss

ʁbinarization

Attention mechanism

PC Loss010‫ܮ‬௣௘௥ 00

Perception
branch
Mask

Featureextractor‫݌‬௫

Weightshare

Attention
module

Input

Label

ΠτϱεϥϱϜρϕ

ܵ௖
Attentionmining branch

GT

‫ܮ‬௔௠

‫݌‬௫
‫כܨ‬

2.Attention Branch Network

ABN は，入力画像から特徴マップを獲得する Feature extractor，アテンションマップを獲得する Attention branch，
最終的な認識結果を出力する Perception branch の 3 つから構成されている．Attention branch で獲得したアテン
ションマップは，Attention 機構により Feature extractorで得られた特徴マップに重みづけする．これにより，重要な領域を強調した特徴が Perception branch に入力する．
しかしながら，クラスの異なる物体が複数存在する場合，
ABN のアテンションマップは認識対象以外の物体を注目することがあり，認識精度を劣化させる可能性がある．この問題に対し，人の知見により修正したアテンションマッ
プを用いて ABN を再学習する手法 (人の知見) [2] が提案された. ABN で誤認識した際のアテンションマップを人の知見を介して修正し，理想的なアテンションマップを作成して，ネットワークを再学習する．しかし，アテンション
マップの修正には人的コストがかかるという問題がある．

0
1
0Perception
branchStep2ʁ AMB, PC Loss Ν಍೘ָͪ͢स
Attention mechanism

Perception
branch
Mask

Featureextractor

Weightshare

Attention
moduleInputΠτϱεϥϱϜρϕ

Attentionmining branch

GT

‫݌‬௫

‫݌‬௫

COT

‫כܨ‬

Step3ʁ COTͶΓΖ෈ਜ਼մέϧη͹ฑ୳Կ

図 1: 提案手法における学習の流れ

3.2.Prototype conformity loss

特徴空間の改善として，PC Loss を Perception branchと Attention module に導入する．PC Loss は同じクラス
内の特徴量を近づけ，異なるクラス間の特徴量を離す損失関数である．PC Loss LP C は，サンプル数を N , クラス
数を k ，サンプル i の正解クラスを g ，不正解クラスを j ，学習可能なクラス重心 wc と特徴量 fi ，αi = !fi − wgc !2 ，
βi = !fi − wjc !2 ，γi = !wgc − wjc !2 ，とすると，式 (1) で表現できる．

LP C =

N
!
i

{αi −

1 !
(βi + γi )}
k−1

(1)

j!=g

これを最小化することで，αi は特徴量を正解クラスの重心に集め，(βi + γi ) はクラス間を離すように働く．これにより，クラスごとに特有の特徴が獲得され，その結果，より良いアテンションマップを獲得できると考える．

3.3.Complement objective training

AMB の出力空間の改善として，COT を導入する．COT
は Complement entropy が最小になるよう重みを更新することで，不正解クラス確率を平坦化する．Complement
entropy C(ŷC̄ ) は，ŷ を入力 xi に対するクラス確率，g を正解クラスのインデックスとすると，式 (2) のように表さ
れる．
N
K
1 ! !
C(ŷC̄ ) = −N i=1

j=1,j!=gŷijlog
1 − ŷig"ŷij
1 − ŷig#(2)

AMB に COT を導入する際，ŷig = 0 とすることで，正解
クラス確率が 0，残りの不正解クラス確率が平坦になるよう算出される．これにより，注視領域に悪影響を及ぼす突出した不正解クラス確率を削減する．

3.4. 学習手順

提案手法における学習の流れを図 1 に示す．提案手法の学習手順を以下に述べる．

Input

ABN



AMB

AMB + PC Loss

AMB + COT

AMB + PC Loss + COT

GT Rusty Blackbird

White breasted Kingfisher(0.36)

Rusty Blackbird(0.92)

Rusty Blackbird(0.63)

Rusty Blackbird(0.13)

Rusty Blackbird(0.19)

Rusty Blackbird(0.92)GTBlue Jay

Blue Grosbeak(0.79)

Blue Jay(0.77)

Blue Jay(0.68)

Blue Jay(0.84)

Blue Jay(0.88)

Blue Jay(0.55)

図 2: アテンションマップの例
Step1 ABN と同様のモデル構造で事前学習を行う．

Step2 ABN の損失に Attention module，Perception branchから算出した PC Loss を加え，最小になるよう学習する．COT を用いない場合は，AMB の損失も加える．
Step3 AMB の出力から Complement entropy を算出し，最小になるよう学習する．
Step2, 3 をイタレーションごとに繰り返す．

4. 評価実験

提案手法の有効性を評価するために詳細画像分類タスクにて評価実験を行う．

4.1. 実験条件

本実験では，200 クラスの鳥の画像で構成される CaltechUCSD Birds 200-2010 (CUB-200-2010) データセットを用いる．ベースネットワークとして ResNet-50 を使用し，バッチサイズは 16 とする．マスク処理の閾値は 0.78 とし，学習の更新回数は ABN の事前学習，提案手法それぞれで300 エポックとする．提案手法との比較として，ABN, 人の知見を用いる．

4.2. 実験結果

各手法における分類精度の比較を表 1 に示す．表 1 より，
AMB は，ABN より分類精度が向上するが，人の知見より低い．PC Loss もしくは COT を導入すると，人の知見よりも分類精度が向上することを確認した．また，PC Lossと COT の両者を AMB に組み合わせることで分類精度が更に向上しており，ABN より Top-1 の分類精度が 14.41
ポイント高い結果となることをことを確認した．

表 1: 認識精度の比較 [%]

ABN

人の知見
提案手法

AMB

PC Loss

COT

Top-1 acc.

Top-5 acc.

-

-

-

31.68

57.01
62.08

-

-

-

37.42

!

-

-

33.33

58.56

!

!

-

45.10

71.68

!

-

!

39.76

66.57

!

!

!

46.09

69.24

4.3. アテンションマップの可視化

各手法におけるアテンションマップの比較を図 2 に示す．
アテンションマップの下に，モデルが認識したクラスとそのクラス確率を示す．図 2 に示すように，提案手法により
ABN で獲得していた認識対象以外の領域，すなわち不要な注視領域が軽減されていることが分かる．また，PC Lossを導入することで，ABN より局所的な領域に着目していることが分かる．一方で，AMB，COT は認識対象を広域に捉えつつ，不要な注視領域を軽減していることが分かる．

また，COT は PC Loss より高いクラス確率を獲得していることから，PC Loss では捉えられていない重要な領域を獲得できていると考えられる．

4.4. アテンションマップの定量的評価

各手法における Insertion, Deletion 結果を表 2 に示す．
提案手法により，ABN や人の知見と比べスコアが向上しており，認識に有効な領域を捉えられるといえる．また，
PC Loss と COT を組み合わせることでスコアが更に高くなった．これらのことから，AMB に PC Loss と COT を組み合わせることで認識に有効な領域を獲得し，それに伴い認識精度が向上したことが分かった．

表 2: Insertion，Deletion 結果

ABN

人の知見
提案手法

AMB

PC Loss

COT

Insertion↑

Deletion↓

Score↑---

0.20950.08810.1214---0.16850.15760.0109!

--0.21840.08070.1377!

!

-0.29080.12510.1657!

-!

0.28380.12410.1597!

!

!

0.33290.12630.2066

5. おわりに本研究では，ABN に注視領域が認識に有効か考慮しな
がら学習する AMB，特徴空間を改善する PC Loss，出力空間を改善する COT の 3 つのアプローチにより ABN の
注視領域を改善する手法を提案した．評価実験では，提案手法を用いることにより，不要な注視領域を軽減し，認識精度が向上したことを確認した．今後は，学習方法やモデ
ル構造の検討による更なる注視領域の改善を行う．

参考文献[1] H. Fukui, et al., “Attention branch network: Learning of attention mecha-nism for visual explanation”,
CVPR, 2019.
[2] M. Mitsuhara, et al., “Embedding human knowledge in deep neural network via attention map”.
VISAPP, 2021.

研究業績[1] 岩吉孝明, 等,“Attention mining branch を導入した
ABN によるアテンションマップの最適化”, 第 24 回画像の認識・理解シンポジウム, 2021.
[2] T. Iwayoshi, et al., “Attention mining branch for
Optimizing Attention Map” ,MVA, 2021.

[3] T. Iwayoshi, et al., “Complement Objective Mining Branch for Optimizing Attention Map” VISAPP,
2023.

Echo State Network における構造分析と最適構造探索に関する研究

指導教授：藤吉弘亘

TR21011 濱地 優輝

1. はじめに

人間の脳には，役割により機能する箇所が分かれていく
機能分化と呼ばれる現象がある．一方，人工ニューラルネッ
トワークの 1 つである，Echo State Network (ESN) [1] においても，特定の時間または空間パターンに反応するニューロンを獲得する機能分化が確認されている [2]．本手法は，Genetic Algorithm (GA) を用いて ESN の Reservoir 層のニューロンの接続構造と重みを探索する．しかし，GAによる最適な重みの探索には膨大な時間が必要になる．そこで本研究では，DARTS を用いて ESN の接続構造探索を行い，探索した接続の重みを誤差逆伝播により最適化す
る方法を提案する．

2. 先行研究

ESN は入力層，Reservoir 層，出力層の 3 層で構成され，出力層のみを学習する．入力層と Reservoir 層の重みは 0から 1 の間でランダムに決定する．Yamaguti ら [2] は，図1 のように Reservoir 層のニューロンを Input Neurons とOutput Neurons に分けた拘束条件付き ESN を提案した．
更に，この拘束条件付き ESN を対象に Genetic Algorithm(GA) を用いて構造探索を行う手法を進化 ESN として提案した．拘束条件付き ESN の計算を式 (1) と式 (2) に示す．

STEP̏Ϡυϩॵ‫غ‬Կંକߑଆ݀ఈ

॑Ί࠹నԿʁંକ඲Ճ॑Ίʁඉંକ඲Ճ॑Ίʁંକ॑Ί

図 2. DARTS-ESN の構造探索の流れ

非接続評価重み，α1を接続評価重みを表す．式 (3) にDARTS を適用した Reservoir 層の出力計算を示す．
(i,j)

ō(i,j) (XTi ) =

!

o∈O

ଵ
ܹ௥௘௦

‫ݔ‬௜

ܹ௥௘௦ Output

exp(αo)(i,j)

exp(αô
o! ∈O

ଵଶ
ܹ௥௘௦

ሺ௜ǡ௝ሻ

ܽଵ

݆

݅

)

o(XTi )

(3)

ሺ௜ǡ௝ሻ

ܽ଴

‫ݔ‬௧

‫ܤ‬ଶ

Neurons

ܹ௢௨௧

‫ܤ‬ଶଵ

݄ଵ்ାଵ

௦௣

ܹ௢௨௧

ଶ
ܹ௥௘௦

‫ܤ‬ଵଶ

‫ܤ‬ଵ

ड़ྙ૜

Reservoir૜

(i,j)

"

ここで，O は接続を表す 2 つの候補 (非接続を 0，接続を
1) の集合である．ニューロン間の接続 (i, j) において考え

ܹ௜௡

Input
Neurons

STEP3
॑Ί࠹నԿ

STEP2
ંକߑଆ୵ࡩ

ଶଵܹ௥௘௦ʁંକ඲Ճ॑Ίܽଵ݄ଶ்ାଵʁඉંକ඲Ճ॑Ίܽ௢

図 3. DARTS による接続構造最適化モデル

೘ྙ૜

‫ݔ‬௧
ܹ௜௡

図 1. 拘束条件付き ESN のネットワーク構造

hT = f (Win XT + Wres hT −1 )(1)

yT = f (Wout hT )(2)

Win は入力重み，XT は入力であり, hT は時刻 T における出力である．Wres は Reservoir 重みであり，前時刻の出力である hT −1 との積により過去の情報を考慮した Reservoir
層の出力を求める．この Reservoir 層の出力と Wout の積に活性化関数 f を適用し，ESN の最終出力を求める．拘束条件付き ESN を含めて一般的な ESN は出力層のみを学習対象としているため Wout のみが最適化される．進化
ESN はこの拘束条件付き ESN の出力層の学習後，遺伝的アルゴリズム (Genetic Algorithm) を用いて Reservoir 層の重みと接続構造を探索する．このとき，全ニューロンの構造の組み合わせは膨大なため，進化 ESN によって最適な重みと接続構造の両者を十分に探索することは困難であるという問題がある．

3. 提案手法

本研究では，DARTS を用いて ESN の接続構造の探索を行い，探索した接続に対する重みの最適化を行う DARTSESN を提案する．提案手法では，DARTS [3] を用いてニューロン間に評価重みを定義し，接続構造を探索する．
その後，探索した接続に対する重みの値を誤差逆伝播により最適化する．この接続構造探索と重み最適化の構造探索手法を DARTS-ESN と定義する．DARTS-ESN の構造探索の流れを図 2 に示す．

3.1.DARTS による接続構造探索られる全ての演算候補の集合である評価重み αoを誤差逆伝播により評価重みを更新する．これにより，精度に良(i,j)
い影響を及ぼす，接続状態 αoの評価重みが増大する．
誤差が収束するまで重みを更新した後，接続構造毎により大きい評価重みを持つ構造を選択することで，最適な接続を決定する．
(i,j)

௧௣

ܹ௢௨௧

ESN の接続構造の探索に DARTS を適用する．この接続構造探索時の ESN モデルを図 3 に示す．DARTS を適用した ESN は Reservoir 層の各ニューロンが接続している場合の接続評価重みと，接続していない場合の非接続評
価重みの 2 つを持っており，それらの出力を Softmax 関数(i,j)
によってスケーリングする．α0はニューロン i と j の3.2. 誤差逆伝播による重みの最適化

DARTS により接続構造を探索した後，全ての層を誤差
逆伝播を行い重みを最適化する．拘束条件付き ESN は通常，入力層と Reservoir 層の学習を想定していないため，
Reservoir 層において拘束条件と接続構造を維持するように計算式を変更する．重み最適化する際の拘束条件付き ESNの計算式を式 (4), 式 (5)，式 (6), 式 (7) に示す．
1
1
21
2
1
#
h
T = Win xT + Wres b1 hT −1 + Wres b21 hT −1
12
2
2
1
#
h2T = f (Wresb12 h
T + Wres b2 hT −1 )

#

(4)
(5)

h1T = f (h1T )(6)

yT = f (Wout h2T )(7)

式 (4) で Input Neurons の内部状態を式 (5) で Output
Neurons の内部状態をそれぞれ計算することで，拘束条件と接続構造を維持したまま重みを最適化できる．式 (4),1#
式 (5) において, Input Neurons の内部状態は h
T ，Output Neurons の内部状態は h2T とする．Reservoir 層重みは，Input Neurons と Output Neurons の関係を考慮して
1
12
2
12
Wres
，Wres
，Wres
，Wres
に分割する．また，学習対象とせず，誤差逆伝播後も拘束条件と接続構造を維持する b1 ，
b2 ，b12 ，b21 を定義する．また，活性化関数は式 (2) の hTと式 (7) の h2T の計算結果が同一になるよう式 (6) で計算する．最後に，式 (7) において，Reservoir 層出力 h2T と出力重み Wout の積によって計算される出力 yT と正解ラベルとの誤差を算出し誤差逆伝播によって重みを最適化する．

4. 評価実験

本研究では，進化 ESN と DARTS-ESN の構造探索手法の評価を行う.

機能分化の分析を，図 5(b) に 8 クラス分類 64 ニューロンの時の DARTS-ESN の機能分化の分析を示す．

࣎ؔ৚ๅྖ

学習データは空間情報と時間情報を組み合わせたパターンを用いる．このとき，縦方向の分割数を空間情報，横方向の周波数を時間情報と見立てることでマルチタスクを実現する．また，クラス分類の数を変化させ，6 クラス分類，
8 クラス分類，10 クラス分類と分ける．これにより，タス
ク難易度毎の初期化条件，ニューロン数と接続率の関係性を分析する．実験に使用したコサイン波の波形パターンの一例を図 4 に示す．

࣎ؔ৚ๅྖ

4.1. 実験概要

࣎ؔ৚ๅ

‫ݐ‬

‫ۯ‬
ؔ
৚
ๅ

‫ؔۯ‬৚ๅྖ

(a) 進化 ESN‫ؔۯ‬৚ๅྖ

(b) DARTS-ESN

図 5. 8 クラス分類における機能分化の結果೘ྙ࣏‫ݫ‬

෾਼ׄ

Ͷ

Ͷ

Ͷ

ʹ

बഀ਼

ͳȀʹ

ͳȀͶ

ͳȀͺ

ͳȀʹ

図 4. 実験用データの波形パターン

4.2.ESN の構造探索

進化 ESN と DARTS-ESN の構造探索を行う．初期化手法には，He の初期化を用いる．拘束条件付き ESN を対象として進化 ESN は Reservoir 層と出力層の構造探索を行い，DARTS-ESN は全ての層の重みと Reservoir 層の接続構造の構造探索を行う．Reservoir 層のニューロン数は 32，
64，128 とする．進化 ESN では世代数 10，個体数 100，生存個体数 20，Epoch 数 1 で GA を行い，DARTS-ESN は接続構造探索 100 Epoch，重み最適化 ESN モデルでの重み最適化 100 Epoch とする．各手法の各クラス分類数においての構造探索の結果から，最も良い性能を獲得したと考えられるモデルを選択した．それらモデルの空間情報精度，時間情報精度とニューロン数を比較する．各クラス分
類数毎の進化 ESN の分類精度と DARTS-ESN の分類精度を表 1 に示す．
表 1. 分類精度 [%]進化 ESN

6 クラス分類
8 クラス分類
10 クラス分類

空間情報
時間情報
空間情報
時間情報
空間情報
時間情報

DARTS-ESN(ニューロン数)(ニューロン数)45.25 (32)65.84 (128)47.46 (64)84.62 (64)50.21 (32)81.95 (128)34.89 (64)61.25 (64)51.85 (64)20.89 (64)85.52 (128)54.81 (128)

図 5(a) から，進化 ESN は空間情報と時間情報の両者において各情報に特化したニューロンが発生する機能分化が生じている．図 5(b) から，DARTS-ESN は空間情報のみに特化したニューロンが多く発生する機能分化であることが分かる．その他の実験条件における機能分化の分析からも進化 ESN と DARTS-ESN では，機能分化は異なる傾向
である事が分かった．具体的には，進化 ESN は両方の情報に対してそれぞれ特化したニューロンが発生する機能分化を誘発し，DARTS-ESN では空間情報のみに特化したニューロンが発生する機能分化を誘発することが分かた．
また，精度と機能分化の傾向についても分析する．表 1の 8 クラス分類の進化 ESN と DARTS-ESN の空間情報の結果と図 5(a)，図 5(b) から，DARTS-ESN は進化 ESNと比べて，空間情報量へのニューロンの機能分化が多く，
空間情報精度も高いことが分かる．一方で，表 1 の 8 クラ
ス分類の進化 ESN と DARTS-ESN の時間情報の結果と図 5(a)，図 5(b) から，DARTS-ESN は進化 ESN と比べて，時間情報量へのニューロンの機能分化が少ないにもか
かわらず時間情報精度が高いことが分かる．この結果から，
DARTS-ESN の機能分化は進化 ESN とは違う傾向の機能分化を示す構造を獲得しているものの，問題設定に対して有効な構造を獲得していると言える．

5. おわりに本研究では，DARTS を用いて ESN の接続構造探索を行い，誤差逆伝播を用いて重み最適化を行う手法を提案した．結果，従来の手法である進化 ESN と比較して，高精
度な ESN の構造を獲得し，進化 ESN とは異なる機能分化の特徴を持つことを確認した．今後の予定としては，獲得できた ESN の構造のより詳しい分析やニューロンカット
による分類精度の確認などが挙げられる．

参考文献[1] H. Jaeger, et al., “Harnessing Nonlinearity: Predict表 1 より，進化 ESN と比較して DARTS-ESN の方がing Chaotic Systems and Saving Energy in Wireless
全てのクラス分類数において空間情報，時間情報の両方のCommunication”，Science，2004.
分類精度が高い結果となった．DARTS-ESN は進化 ESN[2] Y. Yamaguti, et al., “Functional differentiations in
より高精度なモデルを獲得する構造探索ができた．また，
evolutionary reservoir computing networks”, Chaos
DARTS-ESN は 8 クラス分類において，64 ニューロン，6，
2021.
10 クラス分類においては 128 ニューロンが高い精度を示している．一方，進化 ESN はニューロン数が少ない，32[3] Liu, et al., “Darts: Differentiable architectureもしくは 64 の時に高い精度を示した．これは進化 ESN
search”，arXiv preprint arXiv:1806.09055, 2018.
の構造探索は GA で行うため，ニューロン数 128 において十分な構造探索できなかったためであると考えられる． 研究業績
DARTS-ESN は接続構造の探索と重み最適化を分けて行
濱地優輝, 平川翼, 山下隆義, 藤吉弘亘, 山口裕, 津田一
うため，ニューロン数が多くても最適な構造探索が可能で郎, “Hessian-Free 法を用いた Echo State Network の構
ある．
造探索 “, FIT2021（第 20 回情報科学技術フォーラム）,
2021.
4.3.ESN の構造分析
入力情報の空間情報と時間情報の正解ラベルと各ニューロンの出力の相互情報量の算出を行った．この算出によりニューロンが情報を特化して処理するようになる機能分化を分析する．横軸に空間情報量，縦軸に時間情報量を示す．
図 5(a) に 8 クラス分類 64 ニューロンの時の進化 ESN の知識転移グラフによる半教師あり深層共同学習に関する研究

TR21013 村本佳隆

1. はじめに半教師あり学習は，ラベルありデータとラベルなしデー
タを用いた学習法である．半教師あり学習の分野で手法を大別すると，一致性正則化法，擬似ラベリング法，それらを組み合わせた手法がある．これらの学習手法は，人が設計した構成であり，最適な学習法であるとは限らない．本
研究では，従来法を内包しつつ，新しく高精度な半教師あり学習法の自動設計を目的とする．従来の相互学習を内包する知識転移グラフに半教師あり学習法の主要な構成要素を導入し，グラフ構造を自動設計することで，従来法より高精度な半教師あり学習法を獲得する．

2. 半教師あり学習半教師あり学習において一致性正則化法は，摂動とラベルなしデータを活用した正則化効果によりモデル性能を改善する．一致性正則化法の代表例としてΠ-model [1] がある．
Π-model の派生手法として，代表的な Mean Teacher [2]の他に，擬似ラベリング法を導入した FixMatch [3] がある．FixMatch は，ラベルなしデータに対して弱変換時に推測値をもとに生成した擬似ラベルと強変換時の推測値が一致するように学習する．そのため FixMatch は，従来法で個別に行うような，一致性正則化と擬似ラベリングを上
手く合わせた正則化により，高い精度を発揮する．

ワークと更新するネットワークが同一である．そのため，
パラメータ θ1 をもつネットワークモデルをノード m1 として，m1 から m1 への知識転移としてグラフに表現できる．一致性損失は始点と終点が同じノードにあるエッジで表現する．
Mean Teacher のグラフ表現を図 1(b) に示す．Mean
Teacher は，学習を補助する役割を持つ指数移動平均 (EMA)
モデルを使用し，EMA モデルのクラス確率 f (EMA(θ1 ), x+
ζ1 ) に f (θ1 , x + ζ1! ) が類似するように学習する．EMA モ
デルのパラメータ EMA(θ1 ) の更新方法を式 (2) に示す．

EMA(θ1,t ) = αEMA(θ1,t−1 ) + (1 − α)θ1,t

3.1. 一致性正則化法のグラフ表現

一致性正則化の代表的な学習法としてΠ-model と Mean
Teacher の学習の流れをグラフに表現する．Π-model のグラフ表現を図 1(a) に示す．
‫ݔ‬

Loss
൅ߞଵ

Networkߠଵ݂ሺߠଵ ǡ ‫ ݔ‬൅ ߞଵ ሻ݉ଵ

3.2. 擬似ラベリング法のグラフ表現

擬似ラベリング法の代表的な手法として Pseudo-Label [4]のグラフ表現を図 2 に示す．Pseudo-Label は，f (θ1 , x+ζ1 )൅ߞଵ Ԣ

Networkߠଵ݂ሺߠଵ ǡ ‫ ݔ‬൅ ߞଵ Ԣሻ݉ଵ

KL-div(a) Π-model
‫ݔ‬

൅ߞଵ

Networkሺߠଵ ሻ

Networkߠଵ൅ߞଵ Ԣ

Networkߠଵ

BackProp

Parameter
for Exponential
Moving Average݉ଵ

BackProp

߬

൅ߞଵ Ԣ

(3)

Network
ߠଵ or ߠଶNetworkߠଵ

one-hot

Loss

Pseudo-LabelingwithThreshold݂ሺߠଵ ǡ ‫ ݔ‬൅ ߞଵ Ԣሻ݉ଶ

PseudoLoss
withThresholdGate

PseudoLoss
withThresholdGate

orGraphical
representation

݉ଵ

BackProp݉ଵ

図 3 : FixMatch のグラフ表現

݉ଵ(b) Mean Teacher

図 1 : 一致性正則化法のグラフ表現

f (θ, x) はパラメータ θ を持つネットワークに画像 x を入力した時のクラス確率を表す．1 枚の画像に対して異なる摂動を付与した 2 枚の画像 x + ζ1 , x + ζ1! をネットワー
クに入力し，２つのクラス確率の差を誤差とする一致性損
失を最小化するように学習する．一致性損失 Lcon を式 (1)に示す．
Lcon (x) = Ex R(f (θ1 , x + ζ1 ), f (θ1 , x + ζ1! )).

PseudoLoss

or

Pseudo-Label の損失関数を PseudoLoss としてエッジに表現し，m1 から m1 への知識転移としてグラフに表現する．また，疑似ラベルを生成するネットワークと推測を行うネットワークが異なる場合，始点と終点のノードが異なるエッジを用いて容易に拡張できる．

݉ଶ݂ሺߠଵ ǡ ‫ ݔ‬൅ ߞଵ Ԣሻ݉ଵ݂ሺߠଵ ǡ ‫ ݔ‬൅ ߞଵ Ԣሻ

Lpse (x) = −Ex y ! log f (θ1 , x + ζ1! )൅ߞଵGraphical
representation

PseudoLossの推測クラスを１とする one-hot ベクトルを生成し，生成した one-hot ベクトルを入力画像の擬似的なラベル y ! として，y ! と f (θ1 , x + ζ1! ) が類似するように学習する．損失関数 Lpse を式 (3) に示す．

KL-div

Exponential
Moving Average݉ଶPseudo-Labeling

図 2 : Pseudo-Label のグラフ表現‫ݔ‬݂ሺሺߠଵ ሻǡ ‫ ݔ‬൅ ߞଵ ሻ

Loss

Graphical
representation
൅ߞଵ Ԣ

Loss

൅ߞଵ

Network
ߠଵ or ߠଶ複合的な学習法として FixMatch のグラフ表現を図 3 に示す．擬似ラベルは，ネットワーク性能が不十分な学習序

݉ଵ

BackProp

one-hot‫ݔ‬

3.3. 複合的な学習法のグラフ表現

KL-divGraphical
representation(2)

ここで，α はハイパーパラメータ，t は学習ステップである．Mean Teacher は，指数移動平均モデルのパラメータ
EMA(θ1 ) は θ1 の EMA で更新する．そのため，EMA モデルを表すノードを用いて，EMA モデルと m1 による双方向の知識転移としてグラフに表現する．

3. 提案手法

FixMatch は一致性正則化と擬似ラベリングの組み合わせが効果的であることを示した．本研究では，半教師あり
学習の従来法を内包しつつグラフで統一の形式に表現し，グラフの構成要素を組み合わせて新たな半教師あり学習法
を自動設計する手法を提案する．半教師あり深層学習の従来法として，一致性正則化法, 擬似ラベリング法, 複合的な学習法をノードとエッジを用いてグラフで表現する．ノードはネットワークモデルを表し，エッジは誤差計算と誤差
逆伝播による知識転移の方向を表す．

指導教授：藤吉弘亘(1)

ここで，R(·, ·) は２つの確率分布間の KL-divergence による誤差を表す．Π-model は，誤差の算出に用いるネット盤において誤識別により学習を阻害する可能性がある．そのため FixMatch は，擬似ラベルとクラス確率が一致する
ように学習する際，クラス確率が閾値 τ を越える場合のみ
擬似ラベルを生成することで損失値を制御する．グラフでは入力する損失値を a として，擬似ラベリングに対する損
失値の制御をゲート関数 GT hreshold (a) で表し，計算方法
を式 (4) に示す．

GT hreshold (a) = 1(max f (x) > τ ) · a(4)

FixMatch は，PseudoLoss で得た損失を Threshold Gateで制御するエッジを用いてグラフに表現する．また，摂動
ζ1! を RandAugment などの強い摂動とすることで，さらに正則化効果を高めることができる．

3.4. グラフ最適化による半教師あり学習法の自動設計
従来の学習法を内包しつつ，図 4 のようにノードとエッジを組み合わせて学習法を自動設計する．知識転移を制御するために複数種のゲート関数を導入することで，多様な共同学習を実現することができる．ゲート関数は，誤差値を制御して対象ノードを効率的に学習させる．
Target nodeGates: & = 5
・Through Gate
・Cutoff Gate・Threshold Gate
・Positive linear Gate・Negative linear Gate

Models: ! = 4
・ResNet32
・WideResNet28-2
・WideResNet28-6
・EMA model

図 4 : 各エッジの処理の流れと設計空間の例

グラフ構造の自動設計には，知識転移グラフ [5] の最適化法を用いる．最適化したい評価対象ノードを除くノード
を補助ノードとして，評価対象ノードの精度が最大化する
ように補助ノードとエッジをハイパーパラメータサーチにより設計する．グラフ要素の組み合わせ数は膨大になることが多く，並列かつ非同期的に実行可能な最適化法 ASHAを用いる．ASHA は，ランダムサーチによって提案されたパラメータを用いて試行し，学習途中の評価値が過去に試行したパラメータと比較した時に既定の割合を下回る順位
であれば枝刈りを行う．

4. 評価実験

自動設計した新しい半教師あり学習法を評価する．デー
タセットには CIFAR-100 を用い，ラベルありデータ数を2,000∼10,000，試行回数を 15,000，ノード数は 2 と 3，評
価対象ノードは ResNet32 とする．設計空間は，モデルが ResNet18，WideResNet28-2 と 28-6,EMA モデルの 4
種，損失計算が KL-divergence,PseudoLoss の 2 種，ゲート関数が Through，Cutoff,Threshold，Positive/Negative
linear の 5 種である．Through はノード間の接続，Cutoff
は切断，Positive linear と Negative linear は動的な接続を表す．Positive linear は学習が進むにつれて重みが大きくなり学習序盤は Cutoff と同様に切断する役割をもつ．それに対して，Negative linear は学習終盤に切断する役割をもつ．

4.1. 評価結果

ノード数とラベルありデータ数のそれぞれ学習条件に対して個別に学習法を自動設計し，自動設計した学習法と従来法の認識精度の比較を表 1 に示す．
表 1 : 自動設計した学習法と従来法の精度比較 [%]Supervised
Pseudo-LabelΠ-modelMean Teacher
FixMatchOurs(2 nodes)
Ours(3 nodes)

2,000
20.85
29.01
29.54
31.28
29.31
42.04
42.55

(b) 学習方法 (ラベル数 6k)

Edge
Losses: $ = 2
・KL-divergence・PseudoLoss

Node

Auxiliary node(a) ゲート関数 (ラベル数 6k)

Number of labeled data
4,000
6,000
8,000
32.35
41.56
50.38
40.59
47.79
54.51
41.98
50.69
53.44
43.10
48.85
49.98
41.87
47.33
51.28
51.92
55.94
60.65
54.60
57.12
62.49

10,000
53.61
56.67
55.98
54.52
54.03
63.08
63.81

Supervised の行はラベルありデータのみで ResNet32
で教師あり学習した場合の認識精度である．表 1 より，ラベルありデータ数がいずれの場合においても自動設計した学習法が従来法に比べて高精度であり，ノード数が 2 か
ら 3 になると更に精度が向上する．これは，自動設計した学習法は新しく高精度な学習構造を持ち，ノード数が増えて更に多様なグラフ構造から自動設計することの有効性を表す．また，従来法に注目すると，ラベルありデータ数が2,000∼6,000 と少ない場合は一致性正則化法の Π-model やMean Teacher の精度が高く，ラベルありデータ数が 8,000,
10,000 と多い場合は擬似ラベリング法の Pseudo-Label の精度が高い．そのため，ラベルありデータ数によって適切な学習法が異なることがわかる．

(c) ゲート関数 (ラベル数 10k) (d) 学習方法 (ラベル数 10k)

図 5 : ノード数 2 における自動設計した学習法のグラフ構造(a) ゲート関数（ラベル数 6k）(b) 学習方法（ラベル数 6k）(c) ゲート関数（ラベル数 10k） (d) 学習方法（ラベル数 10k）

図 6 : ノード数 3 における自動設計した学習法のグラフ構造

4.2. 自動設計した半教師あり学習のグラフ構造

自動設計したグラフの代表例として，ラベルありデータ数が少ない 6,000 と多い 10,000 の場合に，CIFAR-100 を用いて自動設計した学習法のグラフ構造を図 5, 6 に示す．
エッジがゲート関数と損失関数という 2 つの要素を表すことから，ゲート関数と学習方法の 2 つの観点で表記する．
赤のノードは評価対象，青と灰色のノードは補助ノードであり，青は教師あり学習による学習済みモデルを表す．
学習経過に注目すると，図 5 よりノード数 2 の場合，ラベルありデータ数が少ない場合は学習序盤に教師あり学習，多い場合は学習終盤にラベル情報を持つ学習済みモデルから擬似ラベリングをすることから，半教師あり学習においては学習序盤と終盤で異なる学習法が効果的である．また，
図 6 よりノード数 3 の場合においても，ラベルありデータ数が少ない場合は Negative linear Gate により学習序盤のラベル情報活用が強調され，ラベルありデータ数が多い場
合は Positive linear Gate と擬似ラベリングにより学習終盤のラベル情報活用が強調される．したがって，ラベルありデータ数が少ない場合は学習序盤，多い場合は終盤にラベル情報を活用する学習法が効果的であることがわかる．

5. おわりに

本論文では，従来の半教師あり学習法をグラフで統一的に表現し，自動設計により新しく高精度な半教師あり学習法を獲得した．今後は，ベイズ最適化の導入，自己教師あり学習への拡張について検討する．

参考文献[1] S. Laine, et al.,Temporal Ensembling for SemiSupervised Learning , ICLR, 2017.
[2] A. Tarvainen, et al., Mean teachers are better role models: Weight-averaged consistency targets improve semisupervised deep learning results , NeurIPS, 2017.
[3] K. Sohn, et al., FixMatch: Simplifying Semi-Supervised
Learning with Consistency and Confidence , NeurIPS,
2020.
[4] D. Lee, et al., Pseudo-label: The simple and efficientsemi-supervised learning method for deep neural networks , ICML, 2013.
[5] S. Minami, et al., Knowledge Transfer Graph For Deep
Collaborative Learning , ACCV, 2020.

研究業績[1] 村本 等, Refined Consistency による知識蒸留を用いた半教師あり学習 , 人工知能学会全国大会, 2021.
（他 1 件）