DEIM Forum 2019 P1-114

敵対的生成ネットワークの複数データセット同時学習によるデータ拡張
山口真弥†† NTT 〒 180–8585 東京都武蔵野市緑町 3-9-11
E-mail: †yamaguchi.shinya@lab.ntt.co.jp
あらまし

深層学習のビジネス活用が進む一方で，学習時に必要となる大量のデータ整備 (e.g. 収集，アノテーション) は深刻な課題である．本研究では，少量の学習データで深層学習モデルを学習するための敵対的生成ネットワー
ク (GAN) ベースのデータ拡張手法を提案する．提案手法では，少ない学習データであっても GAN を高品質に学習するために，目的データセットとドメインの異なる外部データセットを 1 つの GAN で学習する．この GAN から目的
データセットに属するサンプルを生成し，拡張データとして活用する．我々は本手法をドメイン融合と呼称する．本
論文では，ドメイン融合の基本的なアイデアと，実用のための 3 つの改善手法を示す．CIFAR100 分類タスクにおける実験によって，ドメイン融合を使用することで通常の cGAN による学習よりも生成データの品質が向上し，目的モ
デルの精度が改善されることを確認した．
キーワード 深層学習，生成モデル，データ拡張，転移学習，マルチタスク学習
ことは難しい．つまり，DA では本質的なパターンが増えてい

1 Introduction
深層学習は画像，音声，自然言語などの広い分野の機械学習
タスクにおいて，人間の認識レベル以上の精度を達成し，学術・産業界において大きな成功を収めている．我が国においても深層学習ビジネス活用市場は年々増加しているが，一方で，企業のほとんどが導入計画すら立てられていないという状況がある．
その主たる原因の一つは学習データ整備の深刻なコストにある．
深層学習の場合，高い精度を実現するために大量のデータが必要となるため，学習データの整備が大きなボトルネックとなる．
学習データ整備にかかるコストを最小限に抑えることは，深層学習の実用化を促進する上で喫緊の課題である．
少量のデータで学習をするという観点で，データ拡張 (Data

Augmentation) は，効果的な正則化手法として知られている．
データ拡張は既存の学習データに対してランダムなノイズや歪みによる微小な変化を加えることでデータセットのパターンを増やす手法である．ルールベースの単純な処理だけで比較的簡
単に精度を改善できるため，データ拡張は画像や音声など多くの分野で利用されている [1], [2]．わかりやすさのために，論文中ではこのルールベースの処理による従来のデータ拡張を Data

Augmentation, DA と英字表記する．
DA で生成されたデータは変換前と変換後のデータについて同じラベルを付与されるため，「データに対する変化はクラスラベルとしての特性を損なわない程度に十分に小さなものである」と暗に仮定を置いている．Tran ら [3] や Fawzi ら [4] が指摘しているように，これは強い仮定であり，適用できる処理の内容はタスクやデータの仕様によって制約される．
また，DA は基本的に既存のデータセットを加工する．したがって，元のデータが持たない属性を持つバリエーションを生成することは難しい．例えば，猫の画像を拡張する場合，DA
では背景や姿勢などの猫以外の情報が変化した画像を生成する

るわけではないため，これを利用した学習モデルの精度向上にも限界がある．
データセットが持つ属性のパターンを増やすためのアプローチ
として，我々は敵対的生成ネットワーク (generative adversarial

networks, GANs, [5]) を活用した新しいデータ拡張手法を考える．GANs は生成器 (generator) と判別器 (discriminator) と呼ばれる二つのネットワークを敵対的に学習し，それらの密度比によって生成分布の推定を行う生成モデルの一種である．近
年，GANs の学習はよく研究されており，目覚ましい発展を遂げている．例えば，SNGAN [6] は ImageNet [7](ILSVRC2012)のような大規模で複雑なデータセットの学習を可能にするだけ
でなく，多様で正確なデータ生成を実現した．
本研究では，生成モデルを応用した新しいデータ拡張手法としてドメイン融合 (domain fusion) を提案する．ドメイン融合
は，直観的には，GAN を介して目的モデルの学習対象となる
データセット (目的データセット) と，それとは異なるドメイ
ンの外部データセットを混ぜ合わせる手法である．目的データセットと外部データセットを 1 つのネットワーク上でパラメータ共有しながら学習することで，目的データセットだけでは獲得できない豊かなバリエーションを持つデータ生成が期待できる．さらに，ドメイン融合によって生成されたデータを拡張
データとして目的モデルの学習に適用することで，通常の学習よりも高い予測精度を得られる．
．
本稿では，まず，手法の根幹を成す GANs を定義し，既存のGANs を用いたデータ拡張手法とその課題について述べる．次にドメイン融合の基本的な学習手法を紹介 (第 3 節) し，デー
タ拡張へ応用する際の課題とそれに対する改善手法を提案する(第 4 節)．また，CIFAR100 での実験によってドメイン融合が通常の cGAN を用いたデータ生成に対して，生成データの品質および目的モデル精度改善の観点で優位であることを示す(第 5 節 )．

学習済みのモデルを流用すること (fine-tuning) で解決を試みた．彼らの仕事によれば，学習済みモデルを初期値として流用

2 Background

することで，GANs が生成するデータの品質 (FID [14] で計測)

2. 1 Generative Adversarial Networks

は確かに大幅に改善している (表 1)．しかし，極めて少ない学

敵対的生成ネットワーク (Generative Adversarial Network,

GAN, [5]) は，潜在変数 z からサンプルを直接生成する生成器
G(z; θ) と 入力 x が本物のデータセットに属するサンプルかど

習データ量 (1000 枚, LSUN-bedroom) では，Fine-tuning を適用したとしても十分にデータが確保できている場合 (100 万枚) と比較して品質が大きく劣る．また，1 クラスあたり 1000

うか判定する識別器 D(x; ϕ) の二つのネットワークで構成され枚という学習データ量はベンチマークデータセットとしては少る．GAN の学習は G と D の目的関数は以下のように定式化量といえるが，実案件ではさらに少ないデータ量を強いられるされる．

ことが十分に有り得る．結局，少量データでの GANs の学習そのものが非自明な課題として存在している．

LD = −Ex∼pdata log Dϕ (x)−Ez∼pz log (1 − Dϕ (Gθ (z)))(1)

LG = −Ez∼pz log Dϕ (Gθ (z))(2)

つまり，D は 2-player ゲームの結果，payoﬀ として本物のサンプルを本物と判定する確率を最大化し，逆に G は D を騙す確率を最大化する．結果として，学習が収束する点で得られる G は良く分布 p(x) を学習した生成モデルとして，自然なデータを生成することが可能になる．
ドメイン融合では，GAN の学習時にラベルを条件付けてデー
タ生成を行う conditional GAN(cGAN, [8], [9], [10], [11]) を利用する．cGAN の目的関数は，式 1,2 を基に，次のように定義
される．

2. 3 Data Augmentation with GANs
学習データ拡張手法として，GANs を応用する既存研究はいくつか存在する [15], [16]．特に少量の学習データ環境を対象としている Zhang らの仕事 [15] は，本研究と関連が深い. 彼ら
は，データ拡張を適用する対象を分類タスクに絞り，識別器 D
を分類器として流用することで通常の学習よりも高い精度を実現している．したがって，GANs から出力されたデータを学習データとして利用する本研究とはアプローチが異なる．
表 2 異なる目的データセットサイズにおける目的モデルのテスト精度 (分類タスク, SVHN, [15] より再構成)# Samples per class n = 50 n = 500

LD = −Ex∼pdata log Dϕ (x, y)−Ez∼pz log (1 − Dϕ (Gθ (z, y), y))
LG = −Ez∼pz log Dϕ (Gθ (z, y), y)

Vanilla GAN

0.47500.8890DADA [15]0.49370.8925(3)(4)

GANs を利用するデータ拡張手法においても，問題となるのは GANs に対する学習データの量である．少ないデータ点でなお，本論文で紹介する実装は Miyato らの projection 方式 [10] で GAN に対してクラスラベルを条件付ける．

2. 2 Learning GANs in Low Data Volume
GANs は既存の生成モデルでは難しかった多様で高精度な デ ー タ 生 成 を 可 能 に し た ．例 え ば ，ス ペ ク ト ラ ル 正 規
化を用いた SNGAN [6] や，Self-Attention 機構を採用した

SAGAN [12] は 1000 クラス・100 万枚以上の画像で構成される ImageNet(LSVRC2012) [7] の学習に成功している．ただし，
このような驚異的な学習結果は，他の深層学習モデルと同様に，

GAN を学習する場合，学習する分布が不完全であるがゆえに，生成データの品質だけでなくデータ拡張によって得られる効果も限定されてしまうと考えられる．一例として，表 2 に Zhang
らの実験結果の一部を示す．これらの結果からも，GAN ベースのデータ拡張による効果には，少量の学習データ環境と十分にデータ量が多い環境とで大きな差が存在することがわかる．
したがって，GANs の学習方法をデータ拡張に適した形で改善できたとしても，少量の目的データセットのみを利用する限り
目的モデルの精度向上は限定的である．

十分な量の学習データが存在することを前提にしている．本研
究は少量の学習データ環境における目的モデル精度向上を目的としているため，少量な学習データで GANs を多様・正確に学習することを考えなければならない．

3 Domain Fusion
前節で述べた少量学習データ時の GANs のデータ品質 と目的モデルの精度向上の限界という 2 つの課題について，我々は

表 1 異なる目的データセットサイズにおける ImageNet pretrained

GAN の FID(LSUN-bedroom, [13] より再構成)
Target Samples n = 1K n = 1M

外部のデータセットから有益な知識を輸入することで解決を試みる．本節では，外部データセットを利用したデータ拡張手法
であるドメイン融合の基本的なアイデアを紹介する．

Scratch

256.1

21.0

ドメイン融合は，目的データセットと別のドメインに属する

Pretrained

93.4

18.5

外部データセットを一つの生成モデルで学習するアプローチである．換言すれば，ネットワークパラメータを共有して複数の学習データが少ない場合の GANs の学習について，Wang

データセットについて GANs を学習するシンプルなアイデアでら [13] は GANs を ImageNet などの大規模なデータセットである．このアイデアは，一般的な深層学習モデルにおける転移学習，特にマルチタスク学習 [17] と同様の枠組みであると考えられる．つまり，外部データセットのドメイン DO が目的デー
タセットのドメイン DT の学習に役立つ知識を持っていると仮タを拡張するために YT の元であることに注意されたい．
最後に，生成したデータを目的データセットに統合する．

Saug = {(x, y) | x ∈ Xaug , y ∈ Yaug }(10)

転移学習の一種と解釈できる．文献 [17] の定義に倣えば，ドメ

Xaug = XT ⊕ Xgen(11)

イン融合を以下のように定義できる．

Yaug = YT(12)［定義 1］（ドメイン融合） ド メ イ ン DT ,DO ，生 成 タ ス ク

拡張データセット Saug は元の目的データセット ST の代わり定しているこれは，パラメータ共有によって知識を転移させる

TT ,TO が 与 え ら れ る と き ，ド メ イ ン 融 合 は 外 部 ド メ イ ン
DO =| DT とその生成タスク TO =| TT の知識を用いて目的
ドメイン DT の生成モデル GT の改善を補助することを目的とする．

に目的モデルのネットワークの学習データとして直接使用される．つまり，生成器 G(z, y ∈ YT ) によって獲得されたデータ
はラベル y ∈ YT によって指定される属性を保持していると仮定する．

ドメイン融合は次の 3 つのステップで実行される．
（ 1 ） 外部データセットの選定

4 Improvements（ 2 ） 目的・外部データセットを用いた GAN の学習

4. 1 Outer Dataset Selection Metrics（ 3 ） 学習済みの GAN からデータをサンプリング

ドメイン融合において，目的データセットに対してどのよう

以降では，各ステップを説明する．

な外部データセットを選択するかが生成・目的モデルの精度を

外部データセットの選定

左右する重要な要因となる．しかしながら，望ましい外部デー

本稿では，データセット S はデータ集合 X とラベル集合 Y

タセットの性質は自明ではない．マルチタスク学習の文脈では，の直積 X × Y で表される．目的データセット ST が存在する

タスク間の関係を可視化する試み [18] や外部タスクの性質の分

とき，外部データセット SO は外部データセット候補 Si ∈ SC

析 [19] が行われているが，いずれも限定されたタスクにおけるから以下のように定義される．

実験によって示された事実であり，タスクやデータセットに依SO = {(x, y) | x ∈ Xi , y ∈ Yi , maxi (M(ST , Si )}(5)

存しない理論的な裏付けは我々の知る限り未だ存在しない．
今回，我々は外部データセットを選ぶための条件として，デー

ここで，M は ST ,SO を引数にとり，定義された選定指標に

タセット間の類似度 とクラス内データの画一性 に着目して外従ってスコアを計算する関数である．ただし，M をどのよう

部データセットを選定する．

に定義すべきかは自明ではない．(4. 1 節を参照)

データセット間の類似度: FID. 転移学習では転移元のドメ

次に，ST と外部データセット SO を以下のように統合し，新
たなデータセット Sconcat を作成する．

インと転移先のドメインがある程度類似していることを仮定している．このドメイン間の類似度を測るために KL-divergence
ベースの手法 [20] や Wasserstein distance [21] ベースの手法な

Sconcat = {(x, y) | x ∈ Xconcat , y ∈ Yconcat }(6)

Xconcat = XT ⊕ XO

(7)

本稿では，目的・外部データセット間の類似度を計測するた

Yconcat = YT ⊕ YO

(8)めの尺度として Fréchet inception distance (FID, [14]) を採用

目的・外部データセットのデータ X とラベル Y についてそれ
ぞれ直和集合をとる．つまり，2 つのデータセットは互いに素な関係であり，部分集合を持たないものとする．

どが無教師ドメイン適応の文脈で提案されているする．FID は元来 GANs の生成データの品質を評価するために導入された尺度であり，2 つのデータセット間の距離を表す．
データセット r, g 間の FID は，ImageNet 学習済み Inception
モデルから得られる特徴ベクトルの平均 µ, 共分散行列 Σ を利

GAN の学習

用して次のように計算される．

ドメイン融合では，YT に属するデータを明示的に生成する
ため，cGAN [8] などの条件付き生成モデルで分布 p(x|z, y) を

1

FID(r, g) = ∥µr −µg ∥22 +Trace(Σr +Σg −2(Σr Σg ) 2 ) (13)学習する．ここでは，式 3, 4 を用いて Sconcat を入力として，

13 式で導かれる値が小さいほど 2 つのデータセット間の類似

cGAN の生成器 G(z, y) に分布 p(x ∈ Xconcat |z, y ∈ Yconcat )度が高いことを示す．

FID は 2 つのガウス分布間の距離 (Wasserstein-2 距離) であを学習させる．

り，分布間の違いに敏感・堅牢であることが知られている [22]．

データの生成また，特徴抽出器である学習済み Inception モデルさえ用意す

学習済みの生成器 G(z, y ∈ Yconcat ) より，新しいデータ集合

Xgen を次のように生成する．
Xgen = {x | x = G(z, y), y ∈ YT , z ∼ p(z)}れば出力ベクトルから効率的に計算可能である．このような性質を持つことから，FID は目的データセットと外部データセッ(9)

ここで，生成器 G の入力ラベル y は目的データセットのデー

ト間の類似度を測る指標として適していると考えられる．
クラス内データの画一性: MS-SSIM. NLP タスクにおけるマルチタスク学習では，外部タスクで学習する分布がコンパクトかつ一様，つまり多様ではなく画一な性質を持っているる．一方で，ラベル y についてはクラスごとに固有の表現となと学習がうまくいくことが経験的に知られている [19]．我々はるように学習するため，外部ラベル集合 YO に条件付けられる

この経験的な事実を外部データセット選定に援用する．具体的知識を明示的に転移させることができない．このことから，YOには，データの構造的な類似度を計算するための指標であるに条件付られる情報を明示的に転移させることができればより

multi-scale structural similarity (MS-SSIM, [23]) を用いてク豊かなデータ生成を実現できる，というアイデアにたどり着く．

ラス内データ間の画一性を計算し，クラス全体の平均を取るこ

我々は y に条件付られる情報を転移するためのアプローチとでデータセット全体を評価する．MS-SSIM は，構造的な特として，Zheng らが提案した外れ値ラベル平滑化正則 (label

徴の変化を捉えられることから，GANs の多様性を評価するた

smoothing regularization for outlier, LSRO) [16] に注目する．

めに逆用されている [11]．一方で，我々は MS-SSIM の性質を彼らは GANs によるデータ拡張手法の方針として，「教師なし利用してデータセットの画一性を測るために再逆用する．デー

で学習した GANs から得られるデータは各クラスの平均的なタ点 x,y の MS-SSIM は次のように定義される．

情報を有している」という仮定のもとで，生成データをすべて

MS-SSIM(x, y) = IM (x, y)αMM∏のクラスから等距離に離れた外れ値として扱う．実際は，K ク

Cj (x, y)βj Sj (x, y)γj

ラス分類器の目的関数を次のように変更して学習する．

j=1

(14)
こ こ で ，I =2µx µy +C1,2µ2
x +µy +C1C =2σx σy +C2
2 +σ 2 +C ,
σx
2
y

S =

σxy +C3,σx σy +C3

µx , µy は平均，σx , σy は標準偏差，σxy は x と y の共分散，
M はスケール数を表す. また，α, β, γ はハイパーパラメータ，
C1 , C2 , C3 は定数である．MS-SSIM の値は 0 以上 1 以下であり，MS-SSIM(x, x) = 1 となる．したがって，データセット内のすべての組み合わせを計算したとき，平均値が小さければ多様であり，逆に大きければ画一性が高い．
外部データセット選定メトリクス M. FID と MS-SSIM を用いることで，我々は外部データセット選定指標 M を目的データ
集合 XT と外部データ集合 XO に対して次のように計算する．
∑x1 =x| 2 ∑x2 =x| 1
x1 ∈XOx2 ∈XO MS-SSIM(x1 , x2 )M(XT , XO ) = NO ×
2(|XO | − |XO |)FID(XT , XO )(15)
ここで，NO は外部データセットのクラス数を表す．つまり，「目的データセット類似性が高い」かつ「クラス内の画一性が高い」クラスを多く持つような外部データセットを高く評価する指標となる．したがって M が大きいほど，ドメイン融合にZ ∑log p(yk )K
K

LLSRO = −(1 − Z) log p(y) −

(16)

k=1

ここで，Z = 0, 1 は入力データの種類を表すフラグであり，

Z = 0 のときは通常のデータが入力として与えられ，Z = 1 のとき外れ値すなわち生成データが入力される．式 16 によって，生成データからいずれのクラスにも属さない平均化された知識がクラス分類器に与えられ，結果として分類器の性能が向上す
る．LSRO のアイデアは生成分布 p(x) にはラベル y で条件付
けられるべき情報が平均化されて内在している，という示唆を与えてくれる．
我々は，YO に含まれる知識を最大限活用しながら，元のラベル固有の情報を損なわないための手段として外部ラベル平滑化正則項 (outer label smoothing regularization, OLSR) を提案する．OLSR は識別器 D に接続された補助分類器から得られる条件付き確率 p(y|x) より次の式で計算される．

Z ∑log p(ykO |xT )KO
KOLOLSR = −(1 − Z) log p(yO |xO ) −

kO =1

(17)

適した外部データセットを選定できる．また，原理や実装がよく知られた FID と MS-SSIM のみで計算可能であるためシン

つまり，D への入力が外部データ xO ∈ XO の場合外部ラベル

プルで扱いやすい．

yO を予測の予測確率を最大化するように分類器を学習し，入4. 2 Outer Label Smoothing Regularization

力が目的データ xT ∈ XT の場合は入力がすべての外部データ
セットのクラスラベルに条件付けられる情報を平均的に持つよドメイン融合は異なるデータセット同士を一つの GAN でパ

うに正則化する．G から生成されるデータについて，目的ラベ

ラメータ共有しながら学習する手法である．GAN は，クラス

ル yT ，外部ラベル yO でそれぞれ条件付け生成されたデータを

ラベル y ∈ YT ⊕ YO , 潜在変数 z による条件付き確率 p(x|z, y)

xT , xO であると仮定して学習する．最終的なドメイン融合のを学習する．結果として，生成器 G はラベル y によってクラ学習は式 3, 4 に正則化項 LOLSR を導入することで次のようにス固有の情報を，潜在変数 z ではクラス固有でない共通の情報定義される．

をそれぞれ条件付けてデータを生成できるようになる．

Miyato ら [10] で行われた連続空間でのクラス遷移評価を観L′D = LD + λLOLSR(18)

察すると，ラベル y はクラスに意味的に依存する情報のみを分

L′G = LG + λLOLSR(19)

離できているわけではなく，クラス固有でないその他の情報も包含していると考えられる．例えば，犬から猫の遷移では，画λ はハイパーパラメータであり，我々の知る限り多くの場合
λ = 1 で学習して良い．

像中の犬の部分だけが猫に変形するのではなく，背景など犬以外の情報も徐々に変化していく．

4. 3 Filtering Techniques

3 節で示したナイーブなドメイン融合では，潜在変数 z に

通常，GANs によるデータ拡張は潜在変数 z ∼ p(z), y ∈ YO

よって表現可能な情報が通常よりも豊かにする効果が期待できから G(z, y) によって得られるサンプルを拡張データとして用いる．しかしこの手法は，生成器 G のみを利用してデータ生成

トによる収束時間のばらつきを考慮して，学習中に Inceptionを行うため，本来識別器 D に偽物であることを見破られる品

Score (IS) [27] による Early Stopping を適用する．IS は 2000

質の悪いサンプルも含まれてしまう．

iteration ごとに生成された 12,800 枚の画像に対して計算され，この課題に対して最も愚直な解決策の一つに特徴量空間上でEarly Stopping のしきい値 (patient) は 3 とする．

目的データの近傍にあるデータサンプルのみを採用するとい目的モデル. クラス分類器は Resnet-34 [26] を利用する．入う手法が考えられる．具体的には，ImageNet などの十分に大力画像は 224x224 にリサイズされる．データ拡張や正規化など

きいデータセットで学習した特徴量空間上でデータ間のユークの前処理は適用しない．目的関数は softmax cross-entropy を

リッド距離を計測することで目的データ近傍の生成データサン

用い，生成モデルと同様に Adam(α = 2e-4, β1 = 0, β2 = 0.9)

プルを知ることができる．これによって，特徴量空間上での距で最適化する．学習時のバッチサイズは 512, エポック数は 100

離が遠い，形状が壊れたデータサンプルをある程度除外できるである．

効果が期待できる．しかし，この手法の問題点は「目的データ近傍にあるデータサンプルが，目的モデルの学習において有効

外部データセットである」という仮定を前提としていることにある．つまり，仮本実験で使用する外部データセットを表 3 に一覧する．いず定があてはまらないとき，学習に役立つデータサンプルを切りれも CV の分野で広く利用される様々なジャンルのカラー画像

捨ててしまう恐れがある．
生成サンプルの品質向上のためのテクニックとして識別器 Dを利用した Discriminator Rejection Sampling(DRS, [24]) が知られている．DRS は D から得られるデータ分布 pd とモデ

データセットである．特に断りの無い限り，実験では外部デー
タセットからクラスごとに一様分布の乱数によって Train, Test
からサンプリングを行い，外部データセットサイズが 5,000 点になるよう調整する．

ル分布 pg の密度比 D∗ (x) = pd (x)/pg (x) より各サンプルの受理確率 F を計算し，F によって棄却サンプリングする手法で

表 3 外部データセット一覧

DatasetClasses Size (Train+Test)

ある．G から生成されるデータを D の識別結果で絞り込んでOxford 102 Flowers [28]

102

8,189

いるため，DRS は通常のサンプリングよりも品質の高いデー

FGVC Aircraft [29]100

10,000

タサンプルを得られる．
本研究では，DRS によるデータ生成をフィルタリング手法
として応用することで目的モデルの学習に役立つデータを収集する．

5 Experimental Results

Caltech-101 [30]

102

9,144

StanfordCars [31]196

16,185

CIFAR10 [25]1060,000Food-101 [32]101

101,000

Describable Textures (DTD) [33]

47

5,640

LFW [34]1

13,000

SVHN [35]1099,289

Pascal-VOC 2007 Cls. [36]20

34,603

提案手法の有効性を示すために，一般的なデータセットである CIFAR100 [25] を目的データセットとして，クラス分類器を学習するシナリオを考える．実験では，10 の外部データセッ
トを用いてドメイン融合を試し，ベースラインや通常の cGANによるデータ拡張よりも目的モデルの予測精度を向上させる
効果が高いことを確認する．また，本研究の基礎的な仮説である「生成データの品質」と「目的モデルの精度」の関係を検証する．さらに，外部データセット選定指標 M， OLSR 損失，フィルタリング手法の効果を示し，提案手法の妥当性を示す．

評価指標
この実験では，「生成データの品質」と「目的モデルの精度」
計測することで提案手法を評価する．このうち，「生成データの品質」は 4. 1 節で外部データ選定指標にも導入した Fréchet

Inception Distance(FID) [14] で測定する．また，目的モデル
精度はクラス分類器の top-1 accuracy，つまり全試行の中で最も予測確率の高いラベルが正解ラベルであった試行の割合で評価を行う．本実験では FID と目的モデル精度は全て 3 回ずつ

5. 1 Settings

学習を行い，各モデルでの測定結果の平均と標準偏差を示す．

ネットワークアーキテクチャ

目的モデルの学習については，GAN の生成データによるデー生成モデル. 実験では ResNet [26] ベースの SNGAN [6], [10]を用いる．また LOLSR 計算のための外部分類器は AC-GAN [11]の構造，つまり，D の最終層で分岐する構造を実装する．入力・出力データは 32x32 の画像データである．クラスラベルによる条件付けには projection [10] を採用する．学習イテレーション
は 50,000, バッチサイズは 256 に設定する．最適化は Adam を利用し，β1 = 0, β2 = 0.9 とする．学習率は TTUR [14] を参考に αG = 1e-4, αD = 3e-4 とし，学習イテレーションの始点から終点まで線形に減衰させていく．さらに，外部データセッ

タ拡張の割合を 10 倍，つまり生成データを 45,000 点利用することで実験を行う．

5. 2 Exploring 10 Outer Dataset
ドメイン融合による FID 改善効果. まずはじめに，各外部データセットを使ってドメイン融合方式で GANs の学習を行った．表 5. 2 に測定した FID の平均値と標準偏差および各
データセットでのメトリクス M の値を表す．改善手法なしのナイーブなドメイン融合では，M の値が高い DTD や Cars でFID が改善しているが，外部データセットの選び方によっては

図 1 FID vs. Top-1 Accuracy

図 2 Metrics vs. Top-1 Accuracy

Baseline よりも FID が悪化する場合がある．一方で，OLSR

図 3 Metrics vs. FID

表 5 ドメイン融合の評価

FID

Top-1 Accuracy−

0.1859 ± 6.6E-03

cGAN

81.98 ± 9.69

0.2420 ± 4.5E-03

Domain Fusion (Worst)

92.33 ± 5.49

0.2390 ± 3.2E-03

Domain Fusion (Best)73.17 ± 8.15

0.2478 ± 2.2E-03+ OLSR

58.57 ± 1.35

0.2587 ± 4.0E-03

損失を導入することによって，全体的に精度が向上し，標準偏差が小さくなっていることから学習も安定している．特に，Mが最も高かった Aircraft を外部データセットとすることで最も良い FID を獲得できていることがわかる．この実験では OLSRを導入することで全ての外部データセットが Baseline を改善できることが確認された．

Baseline+ DRS

55.33 ± 3.38 0.2613 ± 2.0E-03

仮説の妥当性. ドメイン融合の各モデルの測定結果を使って，本研究の前提となっている仮説を確認する．つまり，「生成デー
タ品質と目的モデル精度には相関がある」という仮説である．
図 1 は生成データ品質 (FID) と目的モデル精度の関係を表す．
ここでは，OLSR などの改善手法を適用しない通常のドメイン融合で，10 の外部データセットについて FID と目的モデル
精度を計測している．相関係数が r = −0.81 であることから，

FID と目的モデル精度には強い負の相関関係があり，我々の仮説は妥当であると言える．
メトリクスの評価. メトリクス M について，定量的に評価を行う．図 2,3 はメトリクス M と目的モデル精度，メトリク
ス M と FID の関係をそれぞれ表しており，それぞれに対してM が相関を持っていることが確認できる．つまり，M によってドメイン融合で FID や目的モデル精度を向上させやすい外部データセットを選定することができる．

FID
Outer Datasetを適用したとき改善効果を確認する．表 5 に各手法適用時のFID と目的モデル精度を示す．ここで，Baseline は目的デー
タセットのみで学習を行ったモデルであり，cGAN は通常のcGAN によるデータ拡張を適用したモデルを表す．また，Domain Fusion (Worst) は M の最も小さい LFW データセット
を，Domain Fusion (Best) は最も大きい Aircraft をそれぞれ
外部データセットとして利用したドメイン融合モデルである．
まず，Domain Fusion (Worst/Best) の結果より，メトリクス

M によって良い外部データセットを選択できていることがわ
かる．さらに，Aircraft を外部データセットとして OLSR 損失項を加えることで，FID が 73.89 から 58.57 に大幅に改善し，時に DRS を適用することで，FID は 55.33, 目的モデル精度は0.2613 となり，全ての提案手法を適用することで生成モデルお81.98 ± 9.69
Domain Fusion

ここでは，本稿で提案したドメイン融合とその各改善手法

目的モデルの精度も平均的に向上する．最終的にサンプリング

表 4 外部データセットごとのドメイン融合による生成データ FID

cGAN(Baseline)

5. 3 Evaluating Improved Domain Fusion+ OLSR

よび目的モデルの最も良い実験結果を得られる．
M

Aircraft

73.89 ± 8.15

58.57 ± 1.35 5.0E-02

Caltech81.19 ± 6.98

74.50 ± 3.85

4.1E-02

Cars

71.42 ± 6.69

62.08 ± 4.24

3.9E-02

本研究では，少量の学習データで深層学習を行うためのデー

Cifar1099.55 ± 6.52

73.16 ± 7.59

1.2E-0373.17 ± 8.15

61.08 ± 5.60

タ拡張手法であるドメイン融合を提案した．ドメイン融合は，

DTD

1.1E-02

Flower

85.16 ± 6.05

76.56 ± 0.83

2.9E-02

Food

86.29 ± 9.62

70.91 ± 6.65

1.6E-02

LFW

92.33 ± 5.49

76.19 ± 0.51

4.9E-04

画一性による外部データセット選定指標，外部ラベル平滑化損

SVHN

89.10 ± 9.47

68.62 ± 3.11

6.5E-03

失，DRS によるフィルタリング手法を示した．実験によってVOC

82.55 ± 4.06

77.49 ± 2.55

3.0E-03

ドメイン融合と 3 つの改善手法についての評価を行い，通常の6 Conclusion

目的データセットと外部データセットで同時に一つの生成モデ
ルを学習し，豊かなデータ生成を可能にする．また，類似度とcGAN によるデータ拡張よりも目的モデルの精度を向上させられることが確認された．

文

献[1] Alex Krizhevsky, Ilya Sutskever, and Geoﬀrey E. Hinton.
Imagenet classification with deep convolutional neural networks. In Proceedings of the 25th International Conference on Neural Information Processing Systems - Volume
1, NIPS’12, pp. 1097–1105, USA, 2012. Curran Associates
Inc.
[2] Tom Ko, Vijayaditya Peddinti, Daniel Povey, and Sanjeev
Khudanpur. Audio augmentation for speech recognition. In
INTERSPEECH, pp. 3586–3589. ISCA, 2015.
[3] Toan Tran, Trung Pham, Gustavo Carneiro, Lyle Palmer,
and Ian Reid. A bayesian data augmentation approach forlearning deep models. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing
Systems 30, pp. 2797–2806. Curran Associates, Inc., 2017.
[4] A. Fawzi, H. Samulowitz, D. Turaga, and P. Frossard.
Adaptive data augmentation for image classification. In
2016 IEEE International Conference on Image Processing(ICIP), pp. 3688–3692, Sept 2016.
[5] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing
Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville,
and Yoshua Bengio. Generative adversarial nets. In
Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, andK. Q. Weinberger, editors, Advances in Neural Information
Processing Systems 27, pp. 2672–2680. Curran Associates,
Inc., 2014.
[6] Takeru Miyato, Toshiki Kataoka, Masanori Koyama, andYuichi Yoshida. Spectral normalization for generative adversarial networks. arXiv preprint arXiv:1802.05957, 2018.
[7] Olga Russakovsky, Jia Deng, Hao Su, Jonathan Krause,
Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej Karpathy, Aditya Khosla, Michael Bernstein, et al. Imagenet large
scale visual recognition challenge. International Journal ofComputer Vision, Vol. 115, No. 3, pp. 211–252, 2015.
[8] Mehdi Mirza and Simon Osindero. Conditional generative
adversarial nets. CoRR, Vol. abs/1411.1784, , 2014.
[9] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee. Generative adversarial text to image synthesis. In Maria Florina Balcan
and Kilian Q. Weinberger, editors, Proceedings of The 33rd
International Conference on Machine Learning, Vol. 48 ofProceedings of Machine Learning Research, pp. 1060–1069,
New York, New York, USA, 20–22 Jun 2016. PMLR.
[10] Takeru Miyato and Masanori Koyama. cgans with projection discriminator. arXiv preprint arXiv:1802.05637, 2018.
[11] Augustus Odena, Christopher Olah, and Jonathon Shlens.
Conditional image synthesis with auxiliary classifier gans.
arXiv preprint arXiv:1610.09585, 2016.
[12] Han Zhang, Ian Goodfellow, Dimitris Metaxas, and Augustus Odena. Self-attention generative adversarial networks.
arXiv preprint arXiv:1805.08318, 2018.
[13] Yaxing Wang, Chenshen Wu, Luis Herranz, Joost van deWeijer, Abel Gonzalez-Garcia, and Bogdan Raducanu.
Transferring gans: generating images from limited data.
arXiv preprint arXiv:1805.01677, 2018.
[14] Martin Heusel, Hubert Ramsauer, Thomas Unterthiner,
Bernhard Nessler, and Sepp Hochreiter. Gans trained bya two time-scale update rule converge to a local nash equilibrium. In Advances in Neural Information Processing Systems, pp. 6626–6637, 2017.
[15] Xiaofeng Zhang, Zhangyang Wang, Dong Liu, and Qing
Ling. Dada: Deep adversarial data augmentation for extremely low data regime classification. arXiv preprint
arXiv:1809.00981, 2018.
[16] Zhedong Zheng, Liang Zheng, and Yi Yang. Unlabeled samples generated by gan improve the person re-identification

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

baseline in vitro. In Proceedings of the IEEE International
Conference on Computer Vision, 2017.
S. J. Pan and Q. Yang. A survey on transfer learning. IEEE
Transactions on Knowledge and Data Engineering, Vol. 22,
No. 10, pp. 1345–1359, Oct 2010.
Amir R Zamir, Alexander Sax, William Shen, Leonidas
Guibas, Jitendra Malik, and Silvio Savarese. Taskonomy:
Disentangling task transfer learning. In Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition, pp. 3712–3722, 2018.
Héctor Martı́nez Alonso and Barbara Plank. When is multitask learning eﬀective? semantic sequence prediction undervarying data conditions. arXiv preprint arXiv:1612.02251,
2016.
Masashi Sugiyama, Taiji Suzuki, Shinichi Nakajima, Hisashi
Kashima, Paul von Bünau, and Motoaki Kawanabe. Direct importance estimation for covariate shift adaptation.
Annals of the Institute of Statistical Mathematics, Vol. 60,
No. 4, pp. 699–746, 2008.
Nicolas Courty, R￥’emiFlamary, Amaury Habrard, Alain
Rakotomamonjy. Joint distribution optimal transportation
for domain adaptation. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing
Systems 30, pp. 3730–3739. Curran Associates, Inc., 2017.
Mario Lucic, Karol Kurach, Marcin Michalski, Sylvain
Gelly, and Olivier Bousquet. Are gans created equal? alarge-scale study. arXiv preprint arXiv:1711.10337, 2017.
Zhou Wang, Eero P Simoncelli, and Alan C Bovik. Multiscale structural similarity for image quality assessment. In
The Thrity-Seventh Asilomar Conference on Signals, Systems & Computers, 2003, Vol. 2, pp. 1398–1402. Ieee, 2003.
Samaneh Azadi, Catherine Olsson, Trevor Darrell, Ian
Goodfellow, and Augustus Odena. Discriminator rejection
sampling. arXiv preprint arXiv:1810.06758, 2018.
Alex Krizhevsky and Geoﬀrey Hinton. Learning multiple
layers of features from tiny images. Technical report, Citeseer, 2009.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun.
Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and patternrecognition, pp. 770–778, 2016.
Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki
Cheung, Alec Radford, Xi Chen, and Xi Chen. Improved
techniques for training gans. In D. D. Lee, M. Sugiyama,
U. V. Luxburg, I. Guyon, and R. Garnett, editors, Advancesin Neural Information Processing Systems 29, pp. 2234–
2242. Curran Associates, Inc., 2016.
M-E. Nilsback and A. Zisserman. Automated flower classification over a large number of classes. In Proceedings ofthe Indian Conference on Computer Vision, Graphics andImage Processing, Dec 2008.
S. Maji, J. Kannala, E. Rahtu, M. Blaschko, and A. Vedaldi.
Fine-grained visual classification of aircraft. Technical report, 2013.
Li Fei-Fei, R. Fergus, and P. Perona. Learning generativevisual models from few training examples: An incremental
bayesian approach tested on 101 object categories. In 2004
Conference on Computer Vision and Pattern Recognition
Workshop, pp. 178–178, June 2004.
Jonathan Krause, Michael Stark, Jia Deng, and Li Fei-Fei.
3d object representations for fine-grained categorization. In
4th International IEEE Workshop on 3D Representation
and Recognition (3dRR-13), Sydney, Australia, 2013.
Lukas Bossard, Matthieu Guillaumin, and Luc Van Gool.
Food-101 – mining discriminative components with random
forests. In European Conference on Computer Vision, 2014.
M. Cimpoi, S. Maji, I. Kokkinos, S. Mohamed, , andA. Vedaldi. Describing textures in the wild. In Proceedings of the IEEE Conf. on Computer Vision and Pattern
Recognition (CVPR), 2014.
[34] Gary B. Huang, Manu Ramesh, Tamara Berg, and Erik
Learned-Miller. Labeled faces in the wild: A databasefor studying face recognition in unconstrained environments.
Technical Report 07-49, University of Massachusetts, Amherst, October 2007.
[35] Yuval Netzer, Tao Wang, Adam Coates, Alessandro Bissacco, Bo Wu, and Andrew Y Ng. Reading digits in natural
images with unsupervised feature learning. In NIPS workshop on deep learning and unsupervised feature learning,
Vol. 2011, p. 5, 2011.
[36] M. Everingham, S. M. A. Eslami, L. Van Gool, C. K. I.
Williams, J. Winn, and A. Zisserman. The pascal visual object classes challenge: A retrospective. International Journal of Computer Vision, Vol. 111, No. 1, pp. 98–136, January 2015.