DEIM2022 チュートリアル

転移学習の基礎からコーディングまで〜様々なデータに適応するための機械学習の⽅法論〜
名古屋⼤学 松井孝太
⼤阪⼤学 Zhi Li
KDDI総合研究所 ⽶川慧、⿊川茂莉

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

⽬次
n 転移学習概略（名古屋⼤学 松井、KDDI総合研究所 ⿊川︓20分）
n 転移学習の⼿法（KDDI総合研究所 ⿊川、⼤阪⼤学 Li、KDDI総合研究所 ⽶川︓45分）
n まとめ・発展的な話題（名古屋⼤学 松井、KDDI総合研究所 ⿊川︓10分）

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

2

転移学習とは︖
Inductive Transfer : 10 Years Later (NIPS'05 Workshop)
帰納的転移または転移学習とは, 新しいタスクに対する有効な仮説を効率的に⾒つけ出すために, ⼀つ以上の別のタスクで学習された知識を保持・ 適⽤する問題→ ⼈間の「過去に経験した問題解決から得た知識を現在の問題に利⽤」する能⼒のアナロジーl 過去の知識の積み上げができる
l 問題の間の類似構造を⾃然に把握できる
l 獲得した知識を繰り返し更新・適⽤することができる

関連（類似）タスク
知識・経験・能⼒の蓄積

これらの機能を機械学習モデルで実現したい関連タスクの知識・経験・能⼒を新たなタスクに利⽤
新規タスク
新たな知識・経験・能⼒の学習
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

3転移学習の機械学習の問題としての定式化（1/2）
n 通常の機械学習の定式化（期待リスク最⼩化）︓• データ⽣成分布• 仮説（予測モデル）• 損失関数が未知のため, 実際には観測データから定まる経験リスクを最⼩化して仮説を学習
経験リスク最⼩化（empirical risk minimization, ERM）

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

4転移学習の機械学習の問題としての定式化（2/2）
n 期待リスク最⼩化による転移学習の定式化
前提︓⼗分なラベル付きデータがないため⽬標ドメインのみで学習の実⾏が困難
元ドメイン
既知タスクのドメイン

⽬標ドメイン
新規タスクのドメイン

データ集合

⽬的︓期待リスク最⼩のモデルの学習

特徴量
学習済みモデル

元ドメインの「知識」を「転移」して⽬標ドメインのモデルを効率的に学習
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

5転移学習の重要性︓通常の機械学習モデルの限界（画像認識の例）
⼊⼒︓画像

画像認識モデル

初⾒の画像を認識（汎化）n モデルの学習時と適⽤時でデータの質が異なる

l 例︓屋外の顔画像で訓練したモデルを屋内の顔認識に⽤いる
影などはなくはっきりとした画像

顔の半分が陰っており
左右でコントラストが異なる画像

n データが少なく、スクラッチからモデルを学習するのが困難
l 例︓病理画像はデータの専⾨性が⾼く⼗分な枚数を⽤意できない

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

6転移学習の重要性︓通常の機械学習モデルの限界（理論的な説明）
n 通常の機械学習の理論的正当化︓⼤数の法則のとき，任意のに対して以下が成り⽴つ

データが独⽴同⼀に分布から得られるとき，データ数を⼗分⼤きく
取れば経験リスクと期待リスクの差は確率的に0に収束
たくさんデータを集めれば精度の⾼いモデルが学習できる︕
n しかし複数のドメインを考える問題ではデータの独⽴同⼀性が成り⽴たない
転移学習の様々な⽅法で精度の⾼いモデルを学習する︕
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

7

転移学習への注⽬（1/2）機械学習コミュニティでの注⽬度
NeurIPS2020, ICLR2021, ICML2021（機械学習分野のトップ国際会議）で発表された転移学習関連論⽂の集計
Ø 転移学習論⽂数 / 全採択論⽂数Ø NeurIPS2020︓150 / 1898 (8%)Ø ICLR2021︓96 / 860 (11%)Ø ICML2021︓85/1184 (7%)
Ø 主要キーワード• meta learning• few-shot learning• continual / lifelong learning• domain / distribution shift• domain adaptation

全体の10%前後が転移学習の関連論⽂（⾼い注⽬度）

•
•
•
•

domain generalizationout of distribution(knowledge) distillation
disentanglement

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

8転移学習への注⽬（2/2）
n Andrew Ng先⽣の講演でも次の機械学習のドライバーとみなされている

出典︓https://ruder.io/transfer-learning/index.html
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

9想定する状況（通常の機械学習）
n 元ドメインと⽬標ドメインで標本空間も分布も同じ
標本空間

𝓍! ×𝓎! = 𝓍 " ×𝓎 "分布
𝑃𝓍!×𝓎! = 𝑃𝓍"×𝓎"

元ドメイン
ネコ

⽬標ドメイン
イヌ

︖→ ネコ

ネコ
イヌ

︖→ イヌ

元ドメイン＝⽬標ドメイン
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

10想定する状況（同種転移）
n 標本空間は同じだが、分布は異なる
標本空間
⿊⽝の割合が少ない

𝓍! ×𝓎! = 𝓍 " ×𝓎 "分布
𝑃𝓍!×𝓎! ≠ 𝑃𝓍"×𝓎"

元ドメイン
ネコ

⿊⽝の割合が多く混じってくる

⽬標ドメイン
イヌ

︖→ ネコ

ネコ
イヌ

︖→ イヌ

元ドメイン ≠ ⽬標ドメイン
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

11想定する状況（異種転移）
n 標本空間も分布も異なる
標本空間
説明テキストがついている

𝓍! ×𝓎! ≠ 𝓍 " ×𝓎 "分布
𝑃𝓍!×𝓎! ≠ 𝑃𝓍"×𝓎"

元ドメイン
ネコ

説明テキストがついていない⽬標ドメイン
イヌ

︖→ ネコ

ネコ
イヌ

︖→ イヌ

元ドメイン ≠ ⽬標ドメイン
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

12想定する状況（同種転移＝病院の場合）＜タスク＞ ある疾患の予後（治療を受けた後の経過）を予測
元ドメイン

⽬標ドメイン

⼤病院

市中病院

Ø 重症患者が多い

Ø 軽症患者が多い

Ø データが多いØ データが少ない

患者の診断結果の分布（属性、症状）が異なる

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

13想定する状況（異種転移＝病院の場合）＜タスク＞ ある疾患の予後（治療を受けた後の経過）を予測
元ドメイン

⽬標ドメイン

⼤病院

市中病院

Ø 診断項⽬が多いØ 診断項⽬が少ない

測定機器が異なり診断結果の項⽬が異なる
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

14想定する状況（同種転移＝マーケティングの場合）＜タスク＞ ある商品の購買を予測
元ドメイン

⽬標ドメイン

企業1

企業 2

Ø 若い⼥性向けのサイトを運営

Ø シニア男性向けのサイトを運営

ユーザの属性が異なり、商品群は同じだが売れ⾏きが異なる
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

15想定する状況（異種転移＝マーケティングの場合）＜タスク＞ ある商品の購買を予測
元ドメイン

⽬標ドメイン

企業1

企業2

Ø インドア商品のサイトを運営

Ø アウトドア商品のサイトを運営

ユーザが購買する商品群が異なる* JST CREST「⼈⼯知能」の研究課題「異種ドメインユーザの⾏動予測を可能にするペルソナモデルの転移技術」(⼤阪⼤学 原 隆浩 教授(研究代表)、名古屋⼤学 河⼝ 信夫 教授、KDDI総合研究所) ではこのようなシチュエーションを想定
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

16

転移学習の基本問題
When to transfer : どんな場合に転移するか
2つのドメインが似ていると転移がうまく⾏く
似ていないと転移がうまく⾏かない（負の転移）
What to transfer: 何を転移するか

How to transfer: いかにして転移するか

データそのものを転移

事例転移モデル／パラメータを転移

パラメータ転移

共通特徴を抽出特徴転移

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

次で解説

17

転移学習の⼿法

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

構成

n 同種転移l ①事例転移（KDDI総合研究所 ⿊川）l パラメータ転移（⼤阪⼤学 Li）• ②事前学習モデルの利⽤• ③メタ学習l ④特徴転移（KDDI総合研究所 ⽶川）

n 異種転移（KDDI総合研究所 ⽶川）• 特徴転移の異種拡張

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

19

①事例転移︓重要度重み付き学習〜定式化
n 転移の仮定（When）︓共変量シフト
𝑃! 𝑋 ≠ 𝑃" 𝑋 ︓
⼊⼒データの分布が変わる
𝑃! 𝑌 𝑋 = 𝑃" 𝑌 𝑋 ︓⼊出⼒関係は変わらない
n 転移の対象（What）︓元ドメインのデータ集合をそのままを使う
元ドメイン

⽬標ドメイン
⽬的︓期待リスク最⼩のモデルの学習

データ集合ℎ∗" = argmin𝔼'𝓍 ×𝓎 𝑙 ℎ 𝑋 , 𝑌""

元ドメインの「データ」を転移して⽬標ドメインのモデルを学習
⽬標ドメインの「分布」に従って期待リスクを評価することが必要
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

20

①事例転移︓重要度重み付き学習〜⼿法
n 重点サンプリングl ある確率分布 𝑃′ 𝑋 での期待値 𝔼#! $ A 𝑋 を別のお⼿軽な確率分布 𝑃 𝑋 での期待値に置き換える⽅法

𝑝′ 𝑥
𝔼! ! " A 𝑋 = , A 𝑥 𝑝 𝑥 = , A 𝑥
𝑝 𝑥
𝑝
𝑥
"
"

= 𝔼# $ A 𝑋

%! $
%$

A 𝑋 … 期待値を取りたい関数
𝑝′ 𝑥 ,𝑝 𝑥 … 確率分布 𝑃′ 𝑋 , 𝑃 𝑋に対応する確率密度

密度⽐

l 結論︓密度⽐で重み付けすると別の確率分布で期待値を評価できる

n 上記を事例転移の⽂脈で読み替え確率分布 𝑃′ 𝑋 , 𝑃 𝑋

⽬標ドメイン、元ドメインの確率分布 𝑃𝓍"×𝓎" , 𝑃𝓍#×𝓎#

期待値を取りたい関数A 𝑋

リスク関数 𝑙 ℎ 𝑋 , 𝑌 ※任意のロス関数

密度⽐ 𝑝′ 𝑥 ⁄𝑝 𝑥

⽬標ドメイン/元ドメインの密度⽐ 𝑝& 𝑥 ⁄𝑝' 𝑥
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

21

①事例転移︓重要度重み付き学習〜⼿法
n 密度⽐の推定

l 代表的な⼿法︓KLIEP [Sugiyama+ 08]• 密度⽐を所定の基底関数の線形モデルと仮定

𝑟̂ 𝑥 = , 𝛼# 𝜑# 𝑥#

• ⽬標ドメインの推定密度は以下𝑝̂ $ 𝑥 = 𝑟̂ 𝑥 𝑝% 𝑥
• 基底関数の重みαを真の密度とのカルバックライブラーダイバージェンスを最⼩化するように推定𝑝$ 𝑥
𝐾𝐿 𝑝$ 𝑥 ||𝑝̂ $ = , 𝑝$ 𝑥 log− , 𝑝$ 𝑥 log 𝑟̂ 𝑥
𝑝
𝑥
"
"
%

l その他の⼿法

定数

標本平均で近似して最適化• uLSIF [Kanamori+ 09]︓制約なしの最⼩⼆乗法で直接、密度⽐を推定• RuLSIF [Yamada+ 13]︓推定を安定させるために相対密度⽐を採⽤し、uLSIFと同様の⽅法で推定※密度⽐推定は分布が変化するケース⼀般に使える⽅法（外れ値や異常値の検出にも使える）
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

22

①事例転移︓重要度重み付き学習〜コードn ADAPT (Awesome Domain Adaptation Python Toolbox) ライブラリ*を利⽤
l pipでインストールできます。
l numpy scipy tensorflow(>=2.0) scikit-learn cvxoptに依存しています。

n 準備

l ライブラリインポート
from adapt.instance_based import KLIEP
import tensorflow as tf
from tensorflow.keras import Sequentialfrom tensorflow.keras.layers import Input, Dense, Reshapefrom tensorflow.keras.optimizers import Adamfrom sklearn.datasets import make_moons
from sklearn.metrics import accuracy_score* https://github.com/adapt-python/adapt

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

23

①事例転移︓重要度重み付き学習〜実例
n 実験データl Two Moonsデータセットを利⽤
元ドメイン

⽬標ドメイン

X1

X2

Y

X1

X2

-0.574753

0.993981

0-0.994741

0.573436

1.246100-0.207939

1

1.183124

0.442970

0.473573

0.093938

00.363157

0.318140-0.466737

0.1478541-0.478133-0.105323

0.498300-0.506125

10.684604-0.189167…

Ø 2次元のデータ
Ø 上弦部分︓ラベル0（⾚）Ø 下弦部分︓ラベル1（⻘）…

Ø 元データを原点中⼼に30度回転
Ø 教師（ラベル）無し（⼊出⼒関係は同じと仮定）* Two Moons: https://adapt-python.github.io/adapt/examples/Two_moons.html
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

24参考）データ⽣成の実⾏コード
def make_moons_da(n_samples=100, rotation=30, noise=0.05, random_state=0):
Xs, ys = make_moons(n_samples=n_samples,noise=noise,
random_state=random_state)Xs[:, 0] -= 0.5
theta = np.radians(-rotation)
cos_theta, sin_theta = np.cos(theta), np.sin(theta)
rot_matrix = np.array(((cos_theta, -sin_theta),(sin_theta, cos_theta)))
Xt = Xs.dot(rot_matrix)
yt = ysreturn Xs, ys, Xt, yt

得られるデータXs, ys, Xt, yt = make_moons_da()* Two Moons: https://adapt-python.github.io/adapt/examples/Two_moons.html
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

25参考）モデル作成の実⾏コード
n 任意のモデルを作成
def make_model():model = Sequential()
model.add(Dense(10, activation="relu", input_shape=(2,)))model.add(Dense(10, activation="relu"))
model.add(Dense(1, activation='sigmoid'))model.compile(loss="bce", optimizer=Adam(0.001))
return modeln モデルを引数として転移モデル（KLIEP）を作成

基底関数（ここではrbfカーネル）のパラメータを3種設定

kliep = KLIEP(make_model(), sigmas=[0.1, 1, 10], random_state=0)n モデルを学習（fit）

密度⽐推定アルゴリズムを変えたい場合はKLIEPクラスを改変

fit_params = dict(epochs=800, batch_size=34, verbose=0)
kliep.fit(Xs, ys, Xt, **fit_params)

n モデルを評価

⽬標ドメインのデータを密度⽐推定⽤に渡す
元ドメインのデータを学習データとして渡す

yt_pred = kliep.predict(Xt)acc = accuracy_score(yt, yt_pred>0.5)
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

26

①事例転移︓重要度重み付き学習〜結果
n 密度⽐推定の結果

l 密度⽐が⼤きい点を⼤きく、⼩さい点を⼩さく表⽰

⽬標ドメインとずれが⼩さい真ん中から左側の重みを強く評価

⽬標ドメインとずれが⼤きい上下の重みを⼩さく評価※値の⼤⼩を強調するため密度⽐はMAX-MINスケーリングして表⽰
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

27

①事例転移︓重要度重み付き学習〜結果
n 密度⽐で重み付けした結果の決定境界
重み付けなし重み付けあり（元ドメインのデータを⼀様重みで学習）（⽬標ドメインのデータを参照し重み付きで学習）
左下部分の決定境界が改善

acc: 0.87

acc: 0.82

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

28

①事例転移︓その他の⼿法
n アンサンブル⼿法の拡張

l TrAdaBoost [Dai+ 07]︓モデルのアンサンブル⼿法のひとつであるAdaBoostを拡張。
両ドメインのデータを⽤いて各モデルを学習し、各モデルの誤差評価を⽬標ドメインのデータに基づいて⾏いデータの重みを変化

n 事例選択の⼿法

l HEGS [Shi+ 10]︓両ドメインのデータを特徴空間上でクラスタリングし、各ドメイン由来のデータができるだけ均等なクラスタを選択

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

29

②事前学習モデルの利⽤
n 事前学習とファインチューニング
l 例︓

トランスフォーマー

GPT-2による⽂章⽣成[https://transformer.huggingface.co/]Fine-Tuning

DALL-Eによる⽂章からの画像⽣成[https://openai.com/]Fine-Tuning• 巨⼤な事前学習済みモデルをファインチューンして利⽤• スクラッチ学習に膨⼤なコストがかかるモデルでも相対的に低コストで使える
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

30

②事前学習モデルの利⽤
n 知識蒸留: 学習済みの巨⼤モデルから知識を軽量モデルに転移する⼿法
l 転移する知識︓学習済みモデルのパラメータn ターゲットモデルの学習
l ロス関数︓

学習済みモデル（教師モデル）ℒ = ℒ&'() + 𝜶 ∗ 𝓛𝑲𝑫• ℒ&'() ︓ ⽬標タスクのロス• 𝛼 ︓ファクター• ℒ*+ ︓蒸留ロス

知識蒸留（knowledge distillation）
データ

n メリットl 計算コストを減らす
l 過学習を抑える

ターゲットモデル（⽣徒モデル）

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

31

②事前学習モデルの利⽤〜⼿法
n 応答ベース [Hinton+ 15]

l 教師モデルの予測結果を直接模倣するように⽣徒モデルを学習l 利⽤条件︓• 教師あり学習のみ• ⽣徒と教師の学習タスクが⼀致

l 既存研究︓ソフトターゲット[Hinton+ 15] 、Deep Mutual Learning [Zhang+ 17].

n 特徴ベースl ⽣徒モデルの中間層を教師モデルにマッピングl 既存研究︓FitNet [Romero+ 14].

n 関係ベースl 教師が学習された異なる層の間の関係や、異なる事例の間の関係を知識として転移l 既存研究︓[Yim+ 17].

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

32

②事前学習モデルの利⽤〜⼿法
n ソフトターゲット [Hinton+ 15]

l 仮説︓学習済みモデルの予測結果にラベルがない情報を持っている。
• 例えば、– 猫は⽜よりも⽝に似ている。
– ⾜し算は微分より引き算に似ている。

VS

学習済みモデル（教師モデル）

l ソフトターゲット𝑥

exp(𝑧! /𝜏)𝑦$! (𝜏) = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑧! , 𝜏 = %∑"#$ exp(𝑧" /𝜏)• 𝑧! ︓クラス 𝑖 に対する中間層の出⼒• 𝑦$! ︓クラス 𝑖 に対するモデルの出⼒• 𝜏︓温度パラメータ

𝑧!

𝑦- !

知識蒸留
（knowledge distillation）

データ

𝑥

𝑧"

𝑦- "

ターゲットモデル（⽣徒モデル）

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

33

②事前学習モデルの利⽤〜⼿法
n ソフトターゲット [Hinton+ 15]

l 仮説︓学習済みモデルの予測結果は、ラベルにはない情報を持っている。
• 例えば、– 猫は⽜よりも⽝に似ている。
– ⾜し算は微分より引き算に似ている。

l ソフトターゲット𝑦$! (𝜏) = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑧! , 𝜏 =VS

𝜏 = 0.5

𝜏=1

𝜏=5

exp(𝑧! /𝜏)∑%"#$ exp(𝑧" /𝜏)• 𝑧! ︓クラス 𝑖 に対する中間層の出⼒• 𝑦$! ︓クラス 𝑖 に対するモデルの出⼒• 𝜏︓温度パラメータ

温度パラメータを上昇すると 𝑦-# の分布が柔らかくなる

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

34

②事前学習モデルの利⽤〜⼿法
n ソフトターゲット [Hinton+ 15]

l 仮説︓学習済みモデルの予測結果は、ラベルにはない情報を持っている。
• 例えば、– 猫は⽜よりも⽝に似ている。
– ⾜し算は微分より引き算に似ている。

VS

学習済みモデル（教師モデル）

l ⽣徒モデルのロス関数︓ℒ = 𝛼 ∗ % −𝑦'' * (𝜏)log 𝑦'' + (𝜏) + (1 − 𝛼) ∗ % −𝑦log 𝑦'' + (1)
'∈)

𝑧!

𝑥

𝑦- !

'∈)

蒸留損失

予測損失

教師モデルと⽣徒モデルのソフト
ターゲット間の損失

⽣徒モデルがラベルへの予測損失

知識蒸留（knowledge distillation）

データ

𝑥

𝑧"

𝑦- "

ターゲットモデル（⽣徒モデル）

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

35

②事前学習モデルの利⽤〜結果
n 例︓ソフトターゲットをTwo Moonsの⼆値分類タスクへの応⽤
l 実験１︓元ドメイン内の転移学習

l 実験2︓ドメイン間の転移学習
学習済みモデル（教師モデル）

学習済みモデル（教師モデル）
元ドメイン
データ

知識蒸留
（knowledge distillation）

知識蒸留（knowledge distillation）

元ドメイン
データ

⽬標ドメイン
データ
ターゲットモデル（⽣徒モデル）ターゲットモデル（⽣徒モデル）

モデルの
決定境界

モデルの
決定境界
𝜏 = 10教師モデル
𝜏=1

⽣徒モデル（転移学習なし）

𝜏 = 0.1

𝜏 = 0.01

教師モデル
𝜏 = 10

𝜏=1

⽣徒モデル（転移学習なし）
𝜏 = 0.5

𝜏 = 0.1

⽣徒モデル（転移学習あり）

⽣徒モデル（転移学習あり）
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

36

③メタ学習n メタ学習l タスクごとの学習データが少ないfew-shot learningという問題によく⽤いられる。
l 特定の⽬標ドメインに限定せず，モデルの汎化性能に着⽬
マルチタスク学習
タスクを学習

タスクへ応⽤

メタ学習
学習⽅法を学習 学習⽅法の応⽤

学習⽅法を事前知識として転移マルチタスク学習とメタ学習の差異 [https://meta-world.github.io/]l メタ学習の定式化

𝜔 ≔ argmin Ε %~'(%) [ℒ % (𝑔$ (𝑇, ℒ % ))]$outer-level
学習⽅法を事前知識として学ぶ

inner-level
事前知識を⽤いてタスクを学習• 𝜔︓学習器（モデル）のパラメータ• 𝑇︓学習タスク 𝑇 ， ℒ , ︓タスク 𝑇 への損失
• 𝑔︓最適化器（例えば，勾配降下法）
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

37

③メタ学習〜⼿法
n メトリックベース

l データから事前知識を抽出
l 応⽤︓• 教師あり学習の分類問題

n モデルベース

l 専⽤モジュールで事前知識を学習
l 応⽤︓• 教師あり学習、強化学習

n 最適化ベースl 事前知識を含むモデルのパラメータ初期値を学習
l 応⽤︓• 教師あり学習、強化学習

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

38

③メタ学習〜⼿法
n メトリックベース

既存研究の例

l データから事前知識を抽出
l 応⽤︓• 教師あり学習の分類問題

𝜔
𝛻ℒ ,&

𝜃,&

n モデルベース

l 専⽤モジュールで事前知識を学習
l 応⽤︓• 教師あり学習、強化学習

n 最適化ベース

𝜃,(𝜃,'MAML [Finn+ 17]
𝜔︓モデルのパラメータ初期値（タスク間共有する）
𝜃" ︓タスク 𝑇 の学習済みモデルのパラメータ

MAMLの学習⽬標︓•l 事前知識を含むモデルのパラメータ初期値を学習
l 応⽤︓• 教師あり学習、強化学習

𝛻ℒ ,'
𝛻ℒ ,(

outer-level
Inner-level

タスクを学習（Inner-level）:

𝜃%' = 𝜔 − 𝛼𝛻$ ℒ %' (𝑓$ )•事前知識を学習（Outer-level）

𝜔 ≔ argmin Ε %'~'(%) [ℒ %' (𝑓*( ))]$'𝑓# ︓学習器
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

39

③メタ学習〜コーディングn 例︓MAMLをTwo Moonsの⼆値分類タスクへの応⽤

l タスク群 𝑝(𝑇) ︓回転⾓度が-180度から180度までのダブルムーンデータ.
• 例︓

回転⾓度︓180 回転⾓度︓60

回転⾓度︓0

回転⾓度︓-60

回転⾓度︓-180

MAMLの学習アルゴリズム︓
⼊⼒︓タスク群 𝑝(𝑇) ，学習率 𝛼と𝛽，パラメータの初期値𝜔
1. 収束まで繰り返し︓
2.
タスクバッチをサンプリング 𝑇~𝑝(𝑇)3.
for タスク 𝑇! in 𝑇:
4.
𝑇! からデータをサンプリング 𝐷 = {𝑥, 𝑦}
5.
データ 𝐷 を⽤いてタスク 𝑇! への損失を計算 ℒ "! (𝑓# , 𝐷)
6.
タスクを学習 𝜃$! = 𝜔 − 𝛼𝛻# ℒ$! (𝑓# )7.
𝑇! からデータをサンプリング 𝐷 % = {𝑥, 𝑦}
8.
end for9.
パラメータを更新 𝜔 = 𝜔 − 𝛽𝛻# ∑"!∈"(ℒ "! (𝑓'" , 𝐷 % ))MAMLの推論アルゴリズム︓
⼊⼒︓タスク T! ，学習率 𝛼，パラメータ 𝜔
1. 数回繰り返し︓
2.
𝑇! からデータをサンプリング 𝐷 = {𝑥, 𝑦}3.
データ 𝐷 を⽤いてタスク 𝑇! への損失を計算 ℒ "! (𝑓# , 𝐷)
4.
タスクを学習 𝜃$! = 𝜔 − 𝛼𝛻# ℒ$! (𝑓# )5. モデル 𝑓'" で推論結果を計算!

!

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

40

③メタ学習〜結果
n 例︓MAMLをTwo Moonsの⼆値分類タスクへの応⽤
l モデルの決定境界
𝜔𝑇& : 𝜃"%回転⾓度︓0𝑇) : 𝜃"(回転⾓度︓120

𝑇% : 𝜃"$回転⾓度︓60

𝜃𝑇' : 𝜃"&𝑇* : 𝜃")回転⾓度︓-60 回転⾓度︓-120

𝑇( : 𝜃"'回転⾓度︓-180

𝑇& : 𝜃"%回転⾓度︓0

𝑇$ : 𝜃"#回転⾓度︓180

𝜔︓MAMLで学習されたパラメータ初期値。
𝜃) ︓ タスク 𝑇 の学習済みモデルのパラメータ (𝜔から)𝑇) : 𝜃"(回転⾓度︓120

𝑇% : 𝜃"$回転⾓度︓60

𝑇' : 𝜃"&𝑇* : 𝜃")回転⾓度︓-60 回転⾓度︓-120

𝑇( : 𝜃"'回転⾓度︓-180

𝑇$ : 𝜃"#回転⾓度︓180

𝜃︓ランダムの初期値。
𝜃) ︓ タスク 𝑇 の学習済みモデルのパラメータ (𝜃から)Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

41

④特徴転移〜概要
n アプローチの特⾊

l 異なるドメインでも有効となるように特徴空間を変換する
拡張

n 変換

l 特徴次元の拡張
選択
l 特徴次元の選択
対称l 共通の特徴空間への変換（対称変換）
変換
l ⼀⽅の特徴空間から他⽅への変換（⾮対称変換）

✖

✖

⾮対称
変換

n 分類

l ⽬標ドメインのラベルを⽤いる（教師ありドメイン適応）• 𝑃; 𝑋 ≠ 𝑃< 𝑋 , 𝑃; 𝑌 𝑋 ≠ 𝑃< (𝑌|𝑋) に対処

l ⽬標ドメインのラベルを⽤いない（教師なしドメイン適応）• 𝑃; 𝑋 ≠ 𝑃< 𝑋 に対処

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

42

④特徴転移〜⼿法n 教師ありドメイン適応
l FAM (feature augmentation method) [Daume III 07]• 特徴次元を3倍に拡張し、共通、⾃ドメイン、他ドメイン(ゼロ埋め) の役割を持たせる• ドメイン共通の重みとドメイン固有の重みを学習することで特徴次元をソフトに選択

n 教師なしドメイン適応
l CORAL (correlation alignment) [Sun+ 16]• 共分散(⼆次統計量)が整合するような⾮対称変換を学習• 関連︓DNN拡張がDeep CORALl DANN (domain-adversarial neural network) [Ganin+ 16]• 特徴表現のドメイン由来が識別不能となるような共有エンコーダを対称変換として学習• 関連︓逐次⽅式としたのがADDA (adversarial discriminative domain adaptation)、ドメイン固有のエ
ンコーダを追加したのがDSN (domain separation networks)• ➡以降で詳説

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

43

④DANN (domain-adversarial neural network) 〜概要
n Generative Adversarial Networks (GAN) の要領
n ⽬標ドメインのサンプルの特徴表現が元ドメインそっくりになるよう学習
n 元ドメインの教師データで学習した分類器が⽬標ドメインでも有効に機能
GAN

DANN
⽬標ドメイン
のサンプル

乱数
⽣成器

元ドメインの
サンプル

特徴抽出器

偽物の画像

本物の画像

識別器

本物か偽物か判定

⽬標ドメインの特徴

元ドメインの
特徴

識別器

分類器

⽬標ドメインか元ドメインか判定
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

クラスを
推定
44

④DANN〜詳細nmin ∑1./0 𝐿2 𝐺2 𝐺3 𝒙.

, 𝑦. + λ ∑4./0 𝐿5 𝐺5 𝑅 𝐺3 𝒙.

,+,,,,,-, 𝑑.

l 𝒙# , 𝑦# , 𝑑# : ⼊⼒データ, クラスラベル, ドメインラベル• 𝑖~𝑛: ソースドメイン• 𝑖 + 1~𝑁: ターゲットドメイン

l 𝐺. : 特徴抽出器
l 𝐺/ : 分類器
l 𝐿/ , 𝐿0 : 分類損失, 識別損失。いずれも交差エントロピー
l 𝑅: 勾配反転層, 𝑅 𝒙 = 𝒙,

01
= −𝑰
02

l 𝐺0 : 識別器
l λ: バランシングパラメータl ➡SGD (確率的勾配降下法) 等で最適化

n 最適化における特徴抽出器の挙動

l 分類損失は⼩さく、識別損失は⼤きくしようとする
l 抽出される特徴表現を、⼊⼒データの分類はうまくできるが、ドメインの⾒分けはつかないものにする
l ➡ドメイン間の「ズレ」を「気にしない」モデルが得られる
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

45

④DANN〜コーディング
https://github.com/antoinedemathelin/adapt/blob/master/adapt/feature_based/_dann.py

𝐺. , 𝐺/ , 𝐺0

勾配算出、モデルパラメータ更新

𝐿/ , 𝐿0

勾配反転層を⽤いる代わりに、特徴抽出器向けに符号を調整した損失を定義
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

46

④DANN〜結果
元ドメインのみ(λ=0)

DANN

acc: 0.84

acc: 0.94

DANNの学習曲線

https://adapt-python.github.io/adapt/examples/Two_moons.html#DANN
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

47

異種転移〜概要
n アプローチの特⾊

l ⼊⼒空間が異なるケース (𝒳% ≠ 𝒳$ ) を扱う
l ⼊⼒空間の違いに対処するため、特徴転移のアプローチをとる

n 分類

l ドメイン間で共通のラベルを⽤いる
l ドメイン横断で対応関係のある特徴ペア (ブリッジインスタンス) を⽤いる
l いずれの情報も⽤いない
ラベルの使⽤イメージ

ブリッジインスタンスの使⽤イメージ
変換

変換

S

S
C

T

変換

どちらも分類できるようにする
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

C
T

変換

ペアが近くにくるようにする48

異種転移〜⼿法
n ラベルを⽤いる⼿法

l HFA (heterogeneous feature augmentation) [Li+ 14]• FAM同様に特徴次元を拡張するが、ドメイン共通の次元を作るために変換を⽤いる

l Arc-t (asymmetric regularized cross-domain transformation) [Kulis+ 11]• ドメインの異なるサンプルペアのラベルの⼀致・不⼀致を識別するような変換を求める

l HeDANN (heterogeneous DANN) [Yonekawa +19]

• DANNにおいてエンコーダをドメイン固有にし⽬標ドメインのラベルも⽤いるもの• ➡以降で詳説

n ブリッジインスタンスを⽤いる⼿法

l CT-SVM (correlation-transfer SVM) [Yeh+ 14]• カーネル正準相関分析による共通の特徴空間でSVMを学習する。その際、相関係数で正則化する

l TTL (transitive transfer learning) [Tan+ 15]• ⾏列因⼦分解ベースの同時クラスタリングにより共通の特徴空間に変換してラベル伝搬する

n いずれの情報も⽤いない⼿法

l HeMap (heterogeneous spectral mapping) [Shi+ 10b]

• 再構成損失と共通の特徴空間の乖離度とを最⼩化するよう⾏列因⼦分解する
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

49

HeDANN〜概要
n HeDANNl DANNにおいてエンコーダをドメイン固有にし⽬標ドメインのラベルも⽤いるもの
DANN

HeDANN
⽬標ドメインのサンプル

元ドメインのサンプル

特徴抽出器

⽬標ドメインのサンプル

元ドメインの
サンプル

特徴抽出器

特徴抽出器

⽬標ドメインの特徴

元ドメインの特徴

⽬標ドメインの特徴

元ドメインの
特徴

識別器

分類器

識別器

分類器

⽬標ドメインか元ドメインか判定

クラスを推定

⽬標ドメインか元ドメインか判定

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

クラスを
推定

50

HeDANN〜コーディング

⽬標ドメインのデータに、元ドメインとは別のエンコーダ
を適⽤し、元ドメインと同じ分類器でクラスの予測を実⾏

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

51

HeDANN〜結果
Two Moonsデータセットを改変
・元ドメイン︓そのまま。2次元
・⽬標ドメイン︓XZ平⾯で反時計回りに30度回転。3次元
HeDANNの学習曲線

HeDANN※XZ平⾯の回転を元に戻して描画

acc: 1.0
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

52

まとめ
n 転移学習の問題設定等を説明後、各種⼿法をコードや動作結果を添えて説明
n 同種転移l ①事例転移（KDDI総合研究所 ⿊川）l パラメータ転移（⼤阪⼤学 Li）• ②事前学習モデルの利⽤• ③メタ学習l ④特徴転移（KDDI総合研究所 ⽶川）

n 異種転移（KDDI総合研究所 ⽶川）• 特徴転移の異種拡張

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

53

発展的な話題n 2ドメイン以上への発展l 継続学習 [Chen+ 18, Delange+ 18]• 次々と訪れるドメイン（またはタスク）に適応
ドメイン1

ドメイン2

ドメイン3

• 過去のドメイン知識を忘れないように忘却抑⽌– 新ドメインの追加学習の際に過去データを再⽣する⽅法や、モデル上でのパラメータの正則化／
分離によりパラメータの挙動を制御する⽅法により対応

l 遷移的転移l マルチソース転移• 複数ドメインからの転移 [Xu+ 12]• 仲介ドメインを介した転移 [Tan+ 15]

元ドメイン1
元ドメイン2
元ドメイン3

仲介ドメイン
⽬標ドメイン

元ドメイン

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

⽬標ドメイン54

発展的な話題n 理論的な理解（When to Transferの理解）

l 不⼀致度︓ドメインの類似度を分布間（擬）距離で測る
例︓ -ダイバージェンス [Ben-David+ 2010]

︓排他的論理和••が⼤きい→ PとQは分布として「似ていない」
が⼩さい→ PとQは分布として「似ている」

転移のしやすさの指標になる

l ⽬標ドメインの期待リスクの上界評価（汎化誤差解析）
例︓ -ダイバージェンスに基づく上界 [Ben-David+ 2010]

⽬標ドメイン
のリスク

元ドメイン
のリスク

両ドメインの⼊⼒分布間の不⼀致度

両ドメインのラベリング
ルール間の不⼀致度

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

55参考⽂献（1/2）
n

全般・理論
l
l
l

n

ツール
l

n

l
l
l
l

[Sugiyama+ 08] M. Sugiyama, T. Suzuki, S. Nakajima, H. Kashima, P. von Bünau, and M. Kawanabe, "Direct importance estimation for covariate shift adaptation," Annals of
the Institute of Statistical Mathematics, vol. 60, no. 4, pp. 699-746, 2008.
[Kanamori+ 09] Kanamori, T., Hido, S., and Sugiyama, M., “A least-squares approach to direct importance estimation,” Journal of Machine Learning Research, vol.10 (Jul.),
pp.1391-1445, 2009.
[Yamada+ 13] Yamada, M., Suzuki, T., Kanamori, T., Hachiya, H., and Sugiyama, M., “Relative density-ratio estimation for robust distribution comparison,” Neuralcomputation, 25(5), pp. 1324-1370, 2013.
[Dai+ 07] Dai W., Yang Q., Xue G., and Yu Y., “Boosting for transfer learning,” ICML, 2007.
[Shi+ 10] X. Shi, Q. Liu, W. Fan, Q. Yang, and P.S. Yu, “Predictive modeling with heterogeneous sources,” SDM, pp. 814--825, 2010.

事前モデルの利⽤
l
l
l
l

n

[ADAPT] A. de Mathelin, F. Deheeger, G. Richard, M. Mougeot, and N. Vayatis, "ADAPT: Awesome Domain Adaptation Python Toolbox," arXiv preprint arXiv:2107.03049,
2021. URL: https://adapt-python.github.io/adapt/

事例転移
l

n

[統計的学習理論] ⾦森敬⽂, 統計的学習理論,機械学習プロフェッショナルシリーズ, 講談社.
NIPS (NeurIPS) '05 Workshop, h"p://socrates.acadiau.ca/courses/comp/dsilver/Share/2005Conf/NIPS2005_ITWS/Website/[Ben-David+ 2010] Ben-David, S., Blitzer, J., Crammer, K., Kulesza, A., Pereira, F., and Vaughan, J. W. (2010). A theory of learning from different domains. Machine learning,
79(1), 151-175.

[Hinton+ 15] G. E. Hinton, O. Vinyals, and J. Dean, "Distilling the knowledge in a neural network," CoRR, vol. abs/1503.02531, 2015.
[Romero+ 14] A. Romero, N. Ballas, S. E. Kahou, A. Chassang, C. Gatta, and Y. Bengio, "Fitnets: Hints for thin deep nets," in 3rd International Conference on Learning
Representations, 2015.
[Zhang+ 17] Y. Zhang, T. Xiang, T. M. Hospedales, and H. Lu, "Deep mutual learning," in IEEE Conference on Computer Vision and Pattern Recognition, pp. 4320-4328,
2018.
[Yim+ 17] J. Yim, D. Joo, J. Bae, and J. Kim, "A gift from knowledge distillation: Fast optimization, network minimization and transfer learning," in IEEE Conference on
Computer Vision and Pattern Recognition, pp. 7130-7138, 2017.

メタ学習
l
l
l

[Shell+ 17] J. Snell, K. Swersky, and R. S. Zemel, "Prototypical networks for few-shot learning," in Advances in Neural Information Processing Systems 30: Annual
Conference on Neural Information Processing Systems 2017, pp. 4077-4087, 2017.
[Santoro+ 16] A. Santoro, S. Bartunov, M. Botvinick, D. Wierstra, and T. P. Lillicrap, "Meta-learning with memory-augmented neural networks," in Proceedings of the 33nd
International Conference on Machine Learning, JMLR Workshop and Conference Proceedings, vol. 48, pp. 1842-1850, 2016.
[Finn+ 17] C. Finn, P. Abbeel, and S. Levine, "Model-agnostic meta-learning for fast adaptation of deep networks," in Proceedings of the 34th International Conference on
Machine Learning, PMLR, vol. 70, pp. 1126-1135, 2017.
Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

56参考⽂献（2/2）
n 特徴転移llllll[Daume III 07] H. Daume III, "Frustratingly Easy Domain Adaptation," in Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics,
2007, pp. 256–-263.
[Sun+ 16] B. Sun, J. Feng, and K. Saenko, "Return of Frustratingly Easy Domain Adaptation," Proc. AAAI Conf. Artif. Intell., vol. 30, no. 1, 2016.
[Sun+ 16b] B. Sun and K. Saenko, "Deep CORAL: Correlation alignment for deep domain adaptation," ECCV 2016 Work. ECCV 2016. Lect. Notes Comput. Sci.
(including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), 2016.
[Ganin+ 16] Y. Ganin et al., "Domain-Adversarial Training of Neural Networks," J. Mach. Learn. Res., vol. 17, no. 1, pp. 2096–-2030, May 2016.
[Tzeng+ 17] E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, "Adversarial Discriminative Domain Adaptation," Proc. 2017 IEEE Conf. Comput. Vis. Pattern
Recognit., pp. 2962-2971, Feb. 2017.
[Bousmalis+ 16] K. Bousmalis, G. Trigeorgis, N. Silberman, D. Krishnan, and D. Erhan, "Domain Separation Networks," in Advances in Neural Information
Processing Systems 29, 2016, pp. 343-351.

n 異種転移llllll[Li+ 14] W. Li, L. Duan, D. Xu, and I. W. Tsang, "Learning With Augmented Features for Heterogeneous Domain Adaptation," IEEE Trans. Pattern Anal. Mach.
Intell., vol. 36, no. 6, pp. 1134-1148, Jun. 2014.
[Kulis+ 11] B. Kulis, K. Saenko, and T. Darrell, "What You Saw is Not What You Get: Domain Adaptation Using Asymmetric Kernel Transforms," in Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1785-1792, 2011.
[Yonekawa +19] K. Yonekawa et al., A Heterogeneous Domain Adversarial Neural Network for Trans-Domain Behavioral Targeting, vol. 11607 LNAI, 2019.
[Yeh+ 14] Yi-Ren Yeh, Chun-Hao Huang, and Y.-C. F. Wang, "Heterogeneous Domain Adaptation and Classification by Exploiting the Correlation Subspace,"
IEEE Trans. Image Process., vol. 23, no. 5, pp. 2009-2018, 2014.
[Tan+ 15] B. Tan, Y. Song, E. Zhong, and Q. Yang, "Transitive Transfer Learning," in Proceedings of the 21th ACM SIGKDD International Conference on
Knowledge Discovery and Data Mining, pp. 1155–-1164, 2015.
[Shi+ 10b] X. Shi, Q. Liu, W. Fan, P. S. Yu, and R. Zhu, "Transfer Learning on Heterogenous Feature Spaces via Spectral Transformation," in Proceedings ofthe IEEE International Conference on Data Mining, pp. 1049-1054, 2010.

n その他
l
l
l

[Xu+ 12] Z. Xu, and S. Sun, "Multi-source transfer learning with multi-view adaboost," In International conference on neural information processing, pp. 332-339,
2012.
[Chen+ 18] Z. Chen, and B. Liu, "Lifelong Machine Learning," Morgan & Claypool, 2018.
[Delange+ 18] M. Delange et al., "A continual learning survey: Defying forgetting in classification tasks," IEEE Transactions on Pattern Analysis and MachineIntelligence, 2021.

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

57

謝辞
n 本研究・調査の⼀部は、JST CREST JPMJCR21F2の⽀援、科研費（課題番号︓
20K19871）の助成を受けたものである。

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.

58

Copyright(C) 2022 KDDI Research, Inc. All Rights Reserved.