DEIM Forum 2023 1b-7-3

GAN を用いた絵画画像の機械学習と自動生成
藪本 爽良†

莊司慶行††

田中克己†† 福知山公立大学 情報学部 〒 620 – 0886 京都府 福知山市 字堀†† 青山学院大学 理工学部 〒 252 – 5258 神奈川県 相模原市 中央区 淵野辺
E-mail: †{32045098,tanaka-katsumi}@fukuchiyama.ac.jp, ††shoji@it.aoyama.ac.jp
あらまし

GAN 機械学習による絵画画像の自動生成について考察する．具体的には，ある画家の発表年代が異なる絵画群を機械学習して，新たな絵画や中間年代に描いたであろう絵画を GAN を用いて自動生成する．GAN を用いたデータの自動生成はすでに多くの研究がなされているが，本研究は，画像の特徴と画像の時間変化等に注目して，画風の変遷の認識を目的とした研究である．
キーワード 画像処理，機械学習，GAN，絵画，画風の時間変化

1 はじめに本論文は，GAN 機械学習による画像（人物画像や絵画画像など）の自動生成について考察したものである．GAN を用いた画像データの自動生成はすでに多くの研究が行われており，多彩な応用が期待されている．本研究は，人物画像や絵画画像を対象として，画像の時間変化に注目して，画像の変遷の認識を行うことを主目的とする．
本論文では，画像の自動生成に関して，２つの手法を提案

図 1 GAN（敵対的生成ネットワーク）する．

1 つ目は，Progressive GAN を用いた画像の自動生成である．
具体的には，ある画家の発表年代が異なる絵画群を機械学習して，中間年代に描いたと予想される絵画を GAN を用いて自動生成したり，ある人物の年代が異なる顔画像群を機械学習して，その人物の中間年代の顔画像を GAN を用いて自動生成したりする．これによって，人物の顔画像の変遷や画家の画風の変遷の認識を行うことが本研究の目的である．

2 つ目は，Deep Convolutional GAN を用いた画像の自動生成である．具体的には，ある画家の絵画群を機械学習して，新たな絵画を GAN を用いて自動生成したり，ある人物の顔画像群を機械学習して，その人物の顔画像を GAN を用いて自動生成したりする．これによって，人物の顔画像や画家の画風の認図 2 Progressive GAN の仕組み [3] G(enerator)/D(iscriminator)
双方で 徐々に学習画像の解像度をあげる識を行うことが本研究の目的である．
本論文の構成は以下のようになっている．第 2 節では，関連プラットフォームである．GAN は，Generator, Discriminator

研究を紹介し，本研究の位置づけを示す．第 3 節では，本論文と呼ぶ 2 つの機械学習ネットワークから構成されており，こので提案する「画風の認識」の定義や計算方法を示す．第 3. 2 節

2 つのネットワークを互いに競い合わせることによって学習精では，本研究で行った実験（ゴッホの絵画画像を機械学習して度を高めることができる．GAN による深層学習についてはす新たな絵画画像を生成）について報告する．第 4 節は，まとめでに多くの研究がなされている [1] [2]．

であり，本論文の成果と今後の課題について述べる．

本論文で用いる GAN は，Progressive GAN (PGGAN) [3]と Deep Convolutional GAN (DCGAN) [4] である．図 1 に

2 関連研究GAN（敵対的生成ネットワーク）は，図 1 に示すように，与えられたデータから特徴を学習することで新たなデータを生成したり実在するデータを変換したりすることができる深層学習

Progressive GAN の構成を示す．
Progressive GAN は，一度にネットワーク全体を学習させるのではなく，最初は低解像度の画像を扱うブロックだけでモデルを作り学習させて，ある程度学習が済んだら次のブロックをGAN を用いて自動生成したり，ある人物の撮影時期が異なる顔画像群を機械学習して，その人物の中間時期の顔画像を GANを用いて自動生成する仕組みを提案する．これによって，人物の顔画像の変遷や画家の画風の変遷の認識を行うことが本研究の目的である．
画像の時間的変遷を認識する，GAN を用いた提案手法の概要は以下のようになる．ここでは，時刻 t に実際に作成された画像を i(t) で表す．
（ 1 ） 画 像 デ ー タ i(1),i(2),...,i(n) を 訓 練 デ ー タ と し て ，
図 3 Progressive GAN による人工顔の自動生成（左端画像から右端画像へのモーフィング）

Tensolﬂow-hub の Progressive GAN で学習する（ 2 ） 訓 練 済 み デ ー タ i(1),i(2),...,i(n) を 時 系 列 順に グ ル ー プ 分 け を 行 う．例 え ば ，I1=i(1),(i(2),...,i(10,I2=i(11),i(12),...,i(15)... のようにグループ分けを行う（ 3 ） 学習済みモデルを用いて，スタート画像集合 I(m)/エンド画像集合 I(n)（m ＜ n）を指定して，モーフィングによって新たな中間画像集合 It（m ＜ t ＜ n）を生成する．
（ 4 ） 生成された中間画像集合 It を評価する
上記に述べた仕組みを利用して，特定の画家が異なる時期

period1，period2 に描いた絵画画像から中間時期 period（period1 ≦ period ≦ period2）に描いたであろう絵画画像を生成する方法を提案する．中間時期に描いたであろう絵画画像を生成し検証を行うことで，最終的には，画家の画風の変遷を認識
図 4 発表年代が異なる絵画の生成することを目的とする．Progressive GAN を用いた中間画像の合成アルゴリズムは下記の通りである．

追加してまた学習を行う，という操作を繰り返して徐々にネッ（ 1 ） 変遷する画像のアニメーション表示のために imageio

トワークが高解像度の画像を扱えるように学習させていく方法

パッケージをインストール

である．Progressive GAN の Generator/Discriminator の学（ 2 ） Tensorﬂow 関連のライブラリ及び関数をインストール

習の仕組みを図 2 に示す．

（ 3 ） スタート/ターゲット画像の特徴ベクトルを生成するDeep Convolutional GAN は, Generator と Discriminator（ 4 ） スタート/ターゲット画像の特徴ベクトルから中間時それぞれのネットワークに全結合層ではなく, 畳み込み層と転期の画像を補完する置畳み込み層を使用している.

（ 5 ） スタート/ターゲット画像と潜在空間変数によって生

Progressive GAN を用いた人工顔の生成も行われており，この人工顔の生成のために GAN に基づく TF-Hub モジュール成された画像間の損失関数を定義し，勾配降下法を用いて損失を最小限に抑える変数を発見する（潜在空間と呼ばれるベクトルから RGB 画像へのマッピングを学習画像の絞り込みについては，図 6 に示すように，望まし行うプログラム）が開発されている [5]．さらに，このモジューい（スタート画像 ，エンド画像）対をあらかじめ絞り込む必ルを用いて画像のモーフィング（morphing）も可能となってい要がある．この図では，望ましい（スタート画像る．画像 A，画像 B の特徴ベクトルが与えられると，この 2 つ像）対を同じ色の枠線で示している．例えば，赤枠の学習画像，エンド画のベクトルを補間するベクトルを作成して入力することによっ対や，黄色枠の学習画像対である．一方，1988 年以降の絵画画て，画像 A から画像 B へ連続的に変化するモーフィングが可像で橙色の枠線で指定した絵画は，それ以前には「類似した」

能となる [6]．図 3 に人工顔生成の過程で得られる中間顔画像画像が全く存在していない．このような問題への対処が今後必を示す．図 3 上部の顔画像 b が最終的に合成される顔画像であ要となってくるものと考えられる．

り，図 3 下段左端の顔画像 a がスタートの顔画像である．この図 3 下段の図がモーフィング結果であり，スタート顔画像 a が次々と変化していき最終画像 b に近づいているのが分かる．

3. 2 同一作家（ゴッホ）の絵画の自動生成
本節では，Deep Convolutional GAN [7] を用いてゴッホの絵画画像の生成実験を行った結果を報告する．

3 GAN を用いた画像の自動生成

本実験で GAN 機械学習を行った学習画像，GAN によって得られた出力画像を，図 7, 図 8 および図 9 に示す．図 7 の画

3. 1 絵画の時間的変遷の推定

像群は機械学習の入力画像で, 図 8 の画像群が出力画像となっ本節では，図 4 に示すように，ある画家の発表年代が異なるている．図 9 は生成された出力画像の一部である．生成された絵画群を機械学習して，中間年代に描いたと予想される絵画を

画像 1 は下部分が草原で上部分に空がある. 生成された画像 2

学習画像

生成したい画像

学習画像

1885年以前

1885年～1888年

1888年以降

図 5 Gogh の中間年代の絵画の生成
学習画像

生成したい画像

学習画像

1885年以前

1885年～1888年

1888年以降

図 6 Gogh の学習絵画画像の絞り込み

図 7 Gogh の入力画像

図8 出力画像は, 淡い絵になっており, 山のようなものがある. 生成された画（ 1 ） ファインチューニング

像 3 は, 右下から幹が伸びる木が読み取れる.

学習済みモデル，又は，Stable Diﬀusion を用いたファインチューニングが必要である．Stable Diﬀusion を用いることで，4 ま と め
GAN を用いた機械学習による絵画画像の自動生成について考察した．具体的には，同一画家の発表年代が異なる絵画群を機械学習して，その画家が描いたと予想される絵画を GANを用いて自動生成する手法を提案し，絵画画像の生成実験を行った．
今後の課題は以下のようなものである．

テキストから画像を生成することができ，少ない学習画像であっても精度の高い画像の生成が期待できる．例えば X という単語に画像をアップロードして，X の写真と入力することで，既に学習されているステーブルディフュージョン内の大量のデータを使って，新たな画像を生成できると期待される.
（ 2 ） エポック数の増加
訓練データを繰り返し学習させることで，精度向上を目指す．

生成された画像1

生成された画像2

生成された画像3

図 9 自動生成された Gogh の絵画画像例

本研究では Google Colaboratory を使って画像生成を行ったのだが，Google Colaboratory（無料分）では 12 時間までしか学習ができない．エポック数を増やすほど本物に近い画像が生成できることが確認できているため，今後は 12 時間以上の学習を行なってみたい．
（ 3 ） 学習画像の絞り込み
今回はゴッホの風景画を対象とした．画家の絵画画像の変遷をより明確に見わけるためには，入力画像，出力画像ともに画像特徴量が「類似」しているものに絞って選択する必要があったと考えている．本研究では, ゴッホの風景画に絞って画像を収集したが，風景画とはいえ，建築物を含んだものや植物を含んだものなど内容が多岐にわたり，対象の範囲が広すぎたものと考えている．今後は，学習用の入力画像は、対象の範囲が絞れるもの且つサンプル数が多いものを選択することが望ましいと考えている.
（ 4 ） Progressive GAN の適応関連研究での Progressive GAN の入力画像，出力画像はそれぞれ 1 枚であるため，これを拡張して，入力画像，出力画像をそれぞれ複数の画像集合で行えるようにする.
（ 5 ） 生成画像の評価

GAN によって生成した画像の評価手法を検討・確立する必要がある．生成された絵画と実際に存在する絵画を比べることができるため、画像生成が上手くいったのかが分かりやすいと考え本研究を開始した．しかし，今回の生成画像（絵画）は GANで生成された画像 (絵画）であり，直観的な評価も容易ではな
い．本研究では行わなかった，特定の人物の顔画像を対象として画像生成を行う方が直観的な評価はより容易になるものと予想される．

謝辞

本研究は，令和 4 年度科研費基盤研究 (B)（一般）「機械学習による情報の意味獲得と意味類似情報の検索・生成」（代表：田中克己，課題番号 22H03905）によるものである．

文

献[1] Jakub Langr and Vladimir Bok. GANs in Action: Deep
Leaerning with Generative Adversarial Networks. Manning

Publications, 2019.
[2] 大和田茂 (訳）, Jakub Langr, VladimirBok(著）. 実践 GAN:
敵対的生成ネットワークによる深層学習. 株式会社マイナビ出版, 2020.
[3] Tero Karras, Timo Aila, Samuli Laine, and Jaakko Lehtinen. Progressive growing of gans for improved quality, stability, and variation. 2018.
[4] Alec Radford, Luke Metz, and Soumith Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks. 2015.
[5] Tensorﬂow.org. Celeba progressive gan モデルで人工顔を生成する.
[6] cedro blog. Tensorﬂow hub にある progressive gan の学習モ
デルでサクッと遊んでみる-その１. 2018.
[7] Nathan Inkawhich. Dcgan tutorial. 2022.