深層生成モデルを活用したデータ増幅に関する研究
指導教授：藤吉弘亘

TR18001 足立浩規
1. はじめに<latexit sha1_base64="tCYDnbKSMChWMhSqh97Dbz2yn2I=">AAACiHichVG7SgNBFD1ZX3F9JGoj2ASDYiU3IviogjaWxpgHRJHdddQ1+2J3EtDgD2irWFgpWIhfYG3jD1jkE8Qygo2FN+uCqKh3mZ1zz9xzZw5X9ywzkETNmNLR2dXdE+9V+/oHBhPJoeFi4NZ8QxQM13L9sq4FwjIdUZCmtETZ84Vm65Yo6dXl9nmpLvzAdJ11eeCJTVvbdcwd09AkU7nyVjJN0xRG6ifIRCCNKFbd5B02sA0XBmqwIeBAMragIeCvggwIHnObaGCfGQ0+Z2ZYI3AElfU15gVXacxW+b/LWSViHc7bfYOwg8E3Wbx8VqYwQY90Qy16oFt6ordfezXCHu33HPCuf2iFt5U4Hs2//quyeZfY+1T9odC5+m9PEjuYD72Y7M0LmbZL46N//fC8lV9cm2hM0hU9s79LatI9O3TqL8Z1TqxdQOUhZb6P5CcozkxnGOdm09mFaFxxjGEcUzyTOWSxglUU+F6BE5ziTFEVUuaUqFaJRZoRfAll6R3WvpC5</latexit>

Input training data

CNN

データ増幅は訓練データに対して幾何変化等を施すことで，訓練データの量及びバリエーションを増幅させる技術である．データ増幅は，過学習の防止や汎化性能の向上に貢献することが知られており，深層学習の学習や推論の際に広く利用されている．深層生成モデルである Generative
Adversarial Networks (GAN) [1] は，訓練データに含まれない新たな画像を生成できるため，データ増幅への活用が期待できる．GAN は，訓練データと遜色ない画像を生成できるため，画像全体の高精細化が可能である．一方，識別モデルである Convolutional Neural Network (CNN) は，画像中の識別領域に着目してクラス識別する [2]．これらの関係より，識別領域に着目した画像を生成することができれば，生成画像はデータ増幅に効果的であると考えられる．そこで本研究では，識別対象である物体の特徴的な領域を高精細に生成することが可能な Discriminator-Driven
Attention-Aware GAN (D2A2-GAN) を提案する．提案
手法は，識別に有効な領域に着目した画像生成を行うため，画像全体の品質は従来手法に劣る．しかしながら，データ増幅として提案手法の生成画像を使用することで，従来手法の生成画像よりも精度向上に貢献することが期待できる．

extractor 内におけるデータのダウンサンプリングは，データ全体の情報を保持するために Average pooling を使用する．活性化関数は，最終層を除いてすべて LeakyReLU を使用する．Feature extractor の出力は，注視領域を強調するために Attention map と演算をするが，特徴マップに負の値が混在するとうまく強調されない．そのため，最終層の活性化関数は，ReLU を使用する．

2. 関連研究3.2 Attention branch

Generative Adversarial Networks (GAN) [1] は，潜在変数から画像を生成する Generator と，生成画像または訓練画像を与えて尤度を出力する Discriminator の 2 つのネットワークで構成される生成モデルである．Generatorは，訓練画像の分布に含まれるような画像を生成する．つまり，訓練画像と生成画像の分布を近づけることが目的である．一方で，Discriminator は，生成画像と訓練画像のどちらが入力されたかを正確に判別する．つまり，2 つの分布の境界を正確に学習することが目的である．GAN の目的関数は，式 (1) として表される．

Attention branch は，ABN と同様に Feature extractorが出力する特徴マップを受け取り，注視領域の生成と GlobalAverage Pooling (GAP) を介してクラス識別を行う．独
立した畳み込み層を使用して Attention map を生成すると，ドメイン分類誤差を反映した注視領域にすることができる．そこで，提案手法では以下の式に示すように [0, 1]で正規化した特徴マップを注視領域として扱う．

min max V (D, G)
GD=Ex∼pr (x) [log D(x)] +Ez∼pz (z) [log(1 − D(x̂))] (1)

ここで，x̂，x はそれぞれ生成画像，実画像である．GANは，式 (1) の目的関数を最適化することによって，事前分布との関数近似を行わずに，訓練画像と遜色ない画像を生成可能である．しかしながら，識別モデルである Convolutional
Neural Network (CNN) は，識別領域に着目してクラス識別を行う．そのため，生成画像を用いたデータ増幅にも利用することで効果的なデータ増幅となる．
Attention Branch Network (ABN) [2] は，CNNが識別時に着目する領域の視覚化が可能な手法の 1 つである．また，ABN は，注視領域を特徴マップへ反映することで，識別精度を向上させることができる．

3. 提案手法
提案手法である Discriminator-Driven Attention-Aware
GAN (D2A2-GAN) は，識別領域に着目した画像生成を行うために ABN のアイデアを導入する．提案手法は，Generator へ潜在変数 z 及び，条件ベクトル y を与えて指定したクラスの画像を生成する．Discriminator は，Featureextractor，Attention branch，Adversarial branch の 3 つから構成する．図 1 に示すように，Adversarial branch は，Attention branch で獲得した Attention map を特徴マップに反映させて尤度を出力する．提案手法の目的関数は，式 (1) にクラス識別誤差を加算したものである．この時，実画像は Generator に関与しないため，Generator は生成画像の識別誤差のみを考慮する．クラス識別誤差は，Softmax関数とクロスエントロピー誤差を用いて算出する．

3.1 Feature extractor
Feature extractor は，画像データを与えて畳み込み処理を介して任意のサイズの特徴マップを出力する．Feature<latexit sha1_base64="lsbc+FsC1/4pPccDeKPSS6HMATU=">AAACkHichVFNLwNRFD0d3/VVbCQ2jYawkTciUTYqNmLVD1WCyMx45el8ZWbaqKZ/wNbCAgsSC/ELrG38AQs/QSwrsbFwZzqJILiTN+/c8+65751c1daF6zH2FJFaWtvaOzq7ot09vX39sYHBNdcqOxrPa5ZuOeuq4nJdmDzvCU/n67bDFUPVeUEtLfnnhQp3XGGZq17V5tuGsmeKotAUj6iN9MSWatQO65M7sQSbYkHEfwI5BAmEkbZid9jCLixoKMMAhwmPsA4FLn2bkMFgE7eNGg6IUeBQJoIajjqipC8Tz6lKIbZE/z3KNkPWpNzv6wYdNLpJp+WQMo4x9shuWIM9sFv2zN5/7VULevjvqdKuNrXc3uk/Hs69/asyaPew/6n6Q6FS9d+ePBSRDLwI8mYHjO9Sa/avHJ02cvPZsdo4u2Iv5O+SPbF7cmhWXrXrDM+eIUpDkr+P5CdYm56SCWdmEqm5cFydGMEoJmgms0hhGWnk6V4DJzjHhTQoJaUFabFZKkVCzRC+hLTyAT/ak+0=</latexit>

Data augmentation

D2A2-GAN<latexit sha1_base64="SxlvKcS/1GmCPoaQ+DPi5hX4eQA=">AAACjXichVG7SgNBFD2u7/hI1EawCQbFSiai+EBEsNBSExMDUcLuOuqYfbE7CcTFH7CyE7VSsBC/wNrGH7DIJ4ilgo2FdzcLokG9y+yce+aeO3O4mmMITzJWb1Fa29o7Oru6Yz29ff3xxMBg3rMrrs5zum3YbkFTPW4Ii+ekkAYvOC5XTc3gW1p5JTjfqnLXE7a1KWsO3zHVfUvsCV2VROW3NdM/Oi4lUmyShZFsBukIpBDFup24xzZ2YUNHBSY4LEjCBlR49BWRBoND3A58HBKjwqVMhDUcx4iRvkI8pyqV2DL99ykrRqxFedDXCzvodJNByyVlEmPsid2yV/bI7tgz+/i1lx/2CN5To11raLlTip8MZ9//VZm0Sxx8qf5QaFT9tyeJPcyFXgR5c0ImcKk3+lePzl6zC5kxf5xdsxfyd8Xq7IEcWtU3/WaDZy4RoyGlf46kGeSnJtOEN6ZTy/PRuLowglFM0ExmsYw1rCNH9x7iFOe4UOLKjLKoLDVKlZZIM4Rvoax+AnR/kzA=</latexit><latexit sha1_base64="lALcjey2UzFPakOA+2bBfKKwGts=">AAACjnichVG7SgNBFD2u7/hI1EawCYaIVZiI+AJRsLHUxDwgCWF3nSRr9sXuJBCDP2BnJWilYCF+gbWNP2CRTxDLCDYW3mwWRIPxLrNz7pl77szhKrauuYKx1oA0ODQ8Mjo2HpiYnJoOhmZm065Vc1SeUi3dcrKK7HJdM3lKaELnWdvhsqHoPKNU9zrnmTp3XM0yj0TD5gVDLptaSVNlQVQmX5FFM3tWDEVYjHkR7gVxH0Tgx4EVekQex7CgogYDHCYEYR0yXPpyiIPBJq6AJk6IkeFQpnk1HGcIkL5GPKcqmdgq/cuU5XzWpLzT1/U6qHSTTsshZRhR9sLuWZs9swf2yj7/7NX0enTe06Bd6Wq5XQyezyc//lUZtAtUvlV9FApV9/ckUMKG50Ujb7bHdFyq3f7108t2cisRbS6xW/ZG/m5Yiz2RQ7P+rt4d8sQ1AjSk+O+R9IL0SixO+HA1srvpj2sMC1jEMs1kHbvYxwFS3usucIVrKSStSdvSTrdUGvA1c/gR0v4XPx+Thg==</latexit>

Attention branchLabel

Sigmoid

ReLU

Featureextractor

Conv. 1x1
GAP

<latexit sha1_base64="mavsgbs/lTpMR6nFUU8zl9HqSSw=">AAACk3ichVG7SgNBFD2u7/iKiiDYBEPEKkxE8NUEtbAR1BgNJCHsrpO4ui92J8G45Af8AC0sfICF+AXWNv6AhZ8glgo2Ft5sFkSD8S6zc+6Ze+7M4Sq2rrmCsec2qb2js6u7pzfU1z8wOBQeHtlxrbKj8rRq6ZaTUWSX65rJ00ITOs/YDpcNRee7yuFK/Xy3wh1Xs8xtUbV53pBLplbUVFkQlcvty8LLKYZ3VKsVwlEWZ35EmkEiAFEEsWGF75HDHiyoKMMAhwlBWIcMl74sEmCwicvDwwExMhzKNL+Go4YQ6cvEc6qSiT2kf4mybMCalNf7un4HlW7SaTmkjCDGntgte2OP7I69sM8/e3l+j/p7qrQrDS23C0Mn46mPf1UG7QL736oWCoWqW3sSKGLe96KRN9tn6i7VRv/K8dlbanEr5k2xa/ZK/q7YM3sgh2blXb3Z5FvnCNGQEr9H0gx2ZuIJwpuz0eRCMK4eTGAS0zSTOSSxhg2k6V4bp7jApTQmLUnL0mqjVGoLNKP4EdL6F+Vqlfs=</latexit>

ReLU

G(Generator)

Conv. 1x1
Batch Norm<latexit sha1_base64="99go1/CoJMVO9EBxoTj/UUPTBoE=">AAACjXichVG7SgNBFD1Z3/GRqI1gEwwRqzARxQcigoWWiZoHRJHddYyj+2J3EtTgD1jZiVopWIhfYG3jD1jkE8Qygo2FN5sFUTHeZXbOPXPPnTlczTGEJxmrhZS29o7Oru6ecG9f/0AkOjiU8+yyq/Osbhu2W9BUjxvC4lkppMELjstVUzN4XjtYbpznK9z1hG1tyCOHb5lqyRK7QlclUblNzawenmxH4yzJ/Ij9BqkAxBFE2o4+YBM7sKGjDBMcFiRhAyo8+opIgcEhbgtV7BOjwqVM+DUcJwiTvkw8pyqV2AP6lygrBqxFeaOv53fQ6SaDlkvKGBLsmd2xOnti9+yFffzZq+r3aLzniHatqeXOduR0ZP39X5VJu8Tel6qFQqPq1p4kdjHrexHkzfGZhku92b9yfF5fn19LVMfZDXslf9esxh7JoVV5028zfO0KYRpS6udIfoPcZDJFODMVX5oLxtWNUYxhgmYygyWsIo0s3buPM1zgUoko08qCstgsVUKBZhjfQln5BHA1ky4=</latexit><latexit sha1_base64="SxlvKcS/1GmCPoaQ+DPi5hX4eQA=">AAACjXichVG7SgNBFD2u7/hI1EawCQbFSiai+EBEsNBSExMDUcLuOuqYfbE7CcTFH7CyE7VSsBC/wNrGH7DIJ4ilgo2FdzcLokG9y+yce+aeO3O4mmMITzJWb1Fa29o7Oru6Yz29ff3xxMBg3rMrrs5zum3YbkFTPW4Ii+ekkAYvOC5XTc3gW1p5JTjfqnLXE7a1KWsO3zHVfUvsCV2VROW3NdM/Oi4lUmyShZFsBukIpBDFup24xzZ2YUNHBSY4LEjCBlR49BWRBoND3A58HBKjwqVMhDUcx4iRvkI8pyqV2DL99ykrRqxFedDXCzvodJNByyVlEmPsid2yV/bI7tgz+/i1lx/2CN5To11raLlTip8MZ9//VZm0Sxx8qf5QaFT9tyeJPcyFXgR5c0ImcKk3+lePzl6zC5kxf5xdsxfyd8Xq7IEcWtU3/WaDZy4RoyGlf46kGeSnJtOEN6ZTy/PRuLowglFM0ExmsYw1rCNH9x7iFOe4UOLKjLKoLDVKlZZIM4Rvoax+AnR/kzA=</latexit>

Conv. 3x3
Batch Norm<latexit sha1_base64="clqNnl/oxUjC8daxHQHarEB523Q=">AAACjXichVFNLwNRFD3GV9VHi43ERjTESl6F+IiIxIIlrbYSRN6Mpx7zlZnXJtX4A1Z2ghWJhfgF1jb+gEV/glhWYmPhznQSQXAnb965591z3zu5umtKXzFWa9KaW1rb2mMd8c6u7p5Esrcv7zslzxA5wzEdb0PnvjClLXJKKlNsuJ7glm6Kgn64FJwXysLzpWOvq4orti1etOWeNLgiKr+VlUWL7yRTbJyFMfQTpCOQQhSrTvIeW9iFAwMlWBCwoQib4PDp20QaDC5x26jigBgOjzIZ1ggcI076EvGCqjixh/QvUrYZsTblQV8/7GDQTSYtj5RDGGFP7JbV2SO7Y8/s/dde1bBH8J4K7XpDK9ydxMlA9u1flUW7wv6n6g+FTtV/e1LYw0zoRZI3N2QCl0ajf/norJ6dy4xUR9k1eyF/V6zGHsihXX41btZE5hJxGlL6+0h+gvzEeJrw2mRqcTYaVwyDGMYYzWQai1jBKnJ07wFOcY4LLaFNafPaQqNUa4o0/fgS2vIHyLOS4A==</latexit>

Sigmoid

Conv. HxWMinibatchSTD

ReLU

Conv. 3x3

Batch Norm

Adversarial branch
Decisionreal or fake

RealFake

図 1 : D2A2-GAN の構造

M (x) =

fsum − min(fsum )max(fsum ) − min(fsum )(2)

ここで，fsum は，特徴マップをチャネル方向に総和したものである．これにより，パラメータを保持しないため，クラス識別の結果のみを考慮した注視領域が獲得できる．

3.3 Adversarial branch
Adversarial branch へ入力する特徴マップは，まず Attention map との要素積を求めて注視領域を強調する．さらに，注視領域以外の値も考慮するために特徴マップを加算する．また，Generator によるモード崩壊を防止するた
めに，ミニバッチ内の標準偏差マップを特徴マップへ結合する Minibatch standard deviation (Minibatch STD) を導入する．Adversarial branch は，最終層で特徴マップと同じサイズのフィルタを使用してダウンサンプリングをしたのち，Sigmoid 関数を適用して尤度を出力する．

4. 評価実験
本実験では，Street View House Number (SVHN) とCIFAR10 を用いて提案手法と従来手法で画像生成を行う．
従来手法には，DCGAN と Auxiliary Classifier GAN (ACGAN) を用いる．生成画像の画質評価は，Fréchet inception distance (FID) と Inception score (IS) を用いる．ここで，IS は一般的に自然画像に適した評価指標であるた
め，CIFAR10 のみを評価する．次に，生成画像をデータ増幅させて ResNet18 を学習して評価する．訓練データを {100, 1000}，生成画像による増幅数を {0, 100, 1000,10000, 50000} と変化させた際の精度を比較する．従来手法の生成画像に対する教師信号は，Generator に入力するクラスラベルとする．一方，提案手法の生成画像に対する教師信号は，Hard target と Soft target の 2 種類を学習に用いる．Hard target は，従来手法と同様に Generator へ入力するクラスラベルを付与したものである．Soft targetは，Attention branch が出力するクラス確率を疑似ラベルとして付与したものである．

100909080807070

Accuracy (%)

Accuracy (%)

Training data: 100
1006050406050403030202010Training data: 1,00010001001000# of augmentations
DCGAN (SVHN)
DCGAN (CIFAR10)1000005000001001000

10000

ACGAN (SVHN)

D2A2-GAN (SVHN, Hard target)# of augmentations
D2A2-GAN (SVHN, Soft target)

ACGAN (CIFAR10)

D2A2-GAN (CIFAR10, Hard target)

D2A2-GAN (CIFAR10, Soft target)

50000

図 2 : 従来手法と D2A2-GAN の識別精度の比較(a) DCGAN(b) ACGAN(c) D2A2-GAN

図 4 : 生成画像と実画像の分布 (SVHN)の提案手法は視覚的に認識することが困難である．しかし
ACGAN
D2A2-GANながら，図 2 の結果を踏まえると，従来手法は画像が鮮明
4.27±0.03
4.51±0.05に生成できたとしても識別精度は大幅に向上しない．一方，
28.1
21.1
提案手法は生成画像は崩れていても，識別領域に着目した
15.2
15.3
画像生成であるため，識別精度への悪影響は少ない．
図 3(g) に示す SVHN の Attention map は，各数字の特徴的な領域に注目していることが確認できる．特に赤枠で囲った例は，数字のシルエットと同じ注視領域が獲得できたことを示している．図 3(h) の CIFAR10 の Attention(b) CIFAR10map は，正確な領域に注視しているか確認が困難である．
しかしながら，赤枠の例では，馬を生成した際の注視領域を表しており，馬のシルエットや特徴的な形状になっていることが確認できる．

表 1 : 定量的評価
IS (CIFAR10)
FID (CIFAR10)
FID (SVHN)

DCGAN
3.12±0.03
63.0
75.7

(a) SVHN(c) SVHN(d) CIFAR10(e) Generated images (SVHN)(f) Generated images (CIFAR10)(g) Attention maps (SVHN)(h) Attention maps (CIFAR10)

図 3 : 生成画像と注視領域の例

4.3 生成画像の分布
図 4 に示す分布は，提案手法と従来手法の生成画像と実画像それぞれ 1,000 データの分布である．図 4(a) は，実画像が大局的に分布しているが，生成画像は局所的な領域に集合した分布となっており，実画像の分布とは乖離している．図 4(b)(c) は，実画像の間を補間するように生成画像が分布していることが確認できる．提案手法の分布は，実画像と大幅に分離していないことから，鮮明でない画像であっても学習に適したデータとなっている．また，実画像の分布のスパースな部分を補間しているため，識別に有効なデータを増幅できたと言える．

4.1 画質と識別精度の比較

5. おわりに表 1 に定量的画質評価を示す．IS は提案手法のスコアが最も高く，標準偏差が大きいことからバリエーション豊富な画像を生成できたと言える．また，CIFAR10 で学習した際の FID のスコアは，提案手法が最も良い結果であることが確認できる．一方，SVHN の結果は従来手法のACGAN と同等のスコアであった．特に DCGAN のスコアと比較すると，CIFAR10，SVHN 共にスコア大幅に向上していることが確認できる．図 2 に各手法でデータ増幅した際の識別精度を示す．SVHN の結果 (実線) に着目す
ると，訓練データが 100 の時，1,000 の時共に教師信号をSoft target として扱った際の精度が最も良いことが確認できる．また，CIFAR10 (破線) の結果においても同様にSoft target とした際の結果が高精度である．

本研究では，識別時の注視領域に着目した画像生成が可能な Discriminator-Driven Attention Aware GAN を提案した．評価実験より，提案手法の生成画像は Inception score
で最も良いスコア，Fréchet inception distance (FID) は従来手法と同程度のスコアであった．また，識別学習のデータ増幅として使用した際には，従来手法より効果的であることを確認した．今後は，獲得した注視領域を Generatorの画像生成への活用を検討する．

4.2 生成画像の視覚的評価
図 3(a)(c)(e) に示す SVHN の生成画像は，全ての手法で視覚的に数字と認識することができる．また，図 3(b)(d)(f)の CIFAR10 から，図 3(f) の提案手法を除いて画像内に映るオブジェクトの種類を認識することができるが，図 3(f)参考文献
[1] I. Goodfellow, et al., “Generative Adversarial Nets”,
NIPS, 2014.
[2] H. Fukui, et al., “Attention Branch Network: Learningof Attention Mechanism for Visual Explanation”, CVPR,2019.

研究業績[1] H. Adachi, et al., “Facial Image Generation by Generative Adversarial Networks using Weighed Condtions”,
VISAPP, 2019.
(他 4 件)