1EP187

テーマ番号

和文

敵対的生成ネットワークを用いたイラストの線画の自動着色に関する研究

英文

Towards Anime Sketch Colorization with Generative Adversarial
Networksプロジェクト
テーマ指導教員プロジェクト
メンバー

長田 茂美 教授

4EP1-04 牛丸 創太郎 (Sotaro Ushimaru)

Abstract One of the illustration creation processes is a coloring process that applies colors to line drawings. In the coloring process,various requirements must be considered and reflected in line drawing, which requires skill, experience, time, and so on. This researchaims to reduce illustrator’s burden during coloring process by performing automatic coloring of line drawings using deep learning.
This research proposed a method to specify the color and style by inputting a reference image in addition to the line drawing, andconducting experiments, confirmed that the color and style of the reference image could be reflected in the line drawing.

Keywords Sketch colorization, Creative supporting, Deep Learning, Generative Adversarial Networks.
1. はじめにイラストの制作工程の一つに，線のみで構成された線画に色を塗る着色工程がある．この着色工程では，イラストや漫画のキャラクター性や光，背景の影響などのさまざまな要件を考慮しながら，着色に反映しなければならず，イ
ラスト制作者には高度な技術や経験が求められる．また，技術や経験以外にも，イラスト制作者が思い描いたとおりに着色するには，それ相応の時間が必要となる．そのため，この線画の着色工程を支援し，イラスト制作者の意図どおりに短時間で自動着色できる手法が求められている．
このような手法を実現できれば，イラストの着色が短時間でより簡単に行えるようになり，イラスト制作者の着色工程における負担が大幅に軽減される．また，この負担軽減により，イラスト制作者はより多くのイラストの制作や，イラストのクオリティのさらなる追求に時間を費やすことが可能となる．さらには，イラスト制作の専門家に限らず，イラスト制作に興味をもつ一般の人たちにもイラスト制作に愉しく取り組む機会を提供できると考える．

1.1 研究目的
本研究では，イラスト制作者の着色工程における負担を軽減することを目的に，深層学習を用いて，イラストの線画の自動着色を実現できる手法を提案する．提案手法は，入力された線画と参照画像に基づいて，線画に参照画像の色と画風を反映して自動着色するものであり，実際の線画に着色する評価実験を行い，その有効性を検証する．

1.2 関連研究
イラストの線画の着色を行う手法として，ランダムなノイズから画像を生成する敵対的生成ネットワーク(GAN,Generative Adversarial Networks)[1]という深層学習に基づく手法が提案されている．Pix2Pix[2]は変換前後の画像間の関係性（写像）を学習により獲得し，その関係性に基づいて画像変換を実現する手法であり，線画から着色画像への変換，航空写真から地図への変換，昼夜の画像間の変換など，さまざまな画像変換において適用できる汎用的な能力をもつ．しかし，画像変換の際に変換後の画像の色を指定することができないために，望ましい色に着色された画像を得ることは難しい．
この問題を解決するために，着色する色や画風を指定できる線画の着色に特化した手法も提案されている．これらの手法は，大きく三つに分類することができる．一つ目は，PaintsChainer に代表される，線画上に与えるカラーヒントによって色を指定する手法である．人の手できめ細かな色の指定が可能であるが，想定どおりにうまく着色するにはカラーヒントの与え方に高度なスキルが要求される．二つ目は，Style2paints V1[3]に代表される，参照画像を与えることによって色と画風を指定する手法である．参照画像を与えるだけなので非常に簡単ではあるが，きめ細かな色指定は難しい．三つ目は，木藤の研究[4]のように，タグによって色や画風を指定する手法である．髪の色や画風などさまざまなタグを用いて着色することができるが，タグごとに学習を行う必要があり，タグの種類を増やすことは難しい．

2. 提案手法
本研究では，イラストの線画の自動着色する手法として，イラスト制作者の負担を大幅に軽減できる可能性をもつ
参照画像を用いる GAN に基づくアプローチを採った．
GAN は生成器(Generator)と識別器(Discriminator)の二つの深層ネットワークから構成され，識別器は生成器の出力と学習すべき本物の画像とを識別できるように，生成器は識別器を騙すように学習を進める．したがって，GAN の学習プロセスは，静的な勾配降下法ではなく，動的なプロセスとなる．そのため，GAN の正しく安定した学習を進めるためには，生成器と識別器の学習回数の比率を変える，識別器の入力にノイズを混ぜる，ドロップアウトを用いるなど，さまざまなパラメータの調整や経験知が必要であり，非常に難解な作業が要求される．
本研究では，まず，この問題を解決するために，GAN を構成する二つの深層ネットワークのうち，識別器は用いずに，生成器のみを用いて画像生成を行うことにした．この生成器の深層ネットワークのみを用いて，線画に参照画像の色と画風を適切に反映して自動着色する手法の検討を進めた．その結果，図 1 に示す構造の深層ネットワークに基づく自動着色手法を提案する．提案手法の深層ネットワークは，Lento[5]の生成器の構造を参考に構築した．
提案手法では，まず，入力された線画の特徴を，図中の①の構造を用いて，また，入力された参照画像の特徴を，②の構造を用いて，それぞれ抽出する．次に，②で抽出した参照画像の特徴と①で抽出した線画の特徴とを連結し，この連結した特徴から⑤の構造を用いて，線画に参照画像の色と画風を反映した着色画像を生成する．
提案手法の特徴の一つは，U-Net 構造を用いていることである．U-Net 構造を用いることで，図中の①の構造で抽出した浅い層の線画の特徴を，⑤の構造で着色画像を生成する過程に反映でき，線画の形状を着色後も保持することが可能となる．提案手法のもう一つの特徴は，参照画像の線画に対する影響力を適切に制御できるようにしたことである．一般に，線画に参照画像の特徴を適切に反映するためには，参照画像の線画に対する影響力の強さを調整する必要がある．参照画像の影響力が強すぎると，線画の形状を無視して輪郭なども参照画像に近いものになってしテーマ番号

まう．逆に，参照画像の影響力が弱すぎると，参照画像の色が適切に反映されず，参照画像と関係のない色で着色されてしまう．そこで，①と②で抽出した特徴を連結し，その連結した特徴をどの層に何回入力するかを調整するた
めに，concat と AdaIN(Adaptive Instance Normalization)という処理を導入して，③と④の構造で，参照画像の線画に対する影響力の強さを調整している．なお，AdaIN は，1 枚の画像に別の画像の画風を反映する処理であり，このAdaIN を用いることで，線画に参照画像の画風を反映している．

1EP187

50 組をテストデータとして実験を行った．

3.2 結果図 2 に，着色結果を示す．一段目は線画とペアの参照画像を入力した結果である．二段目は線画と同じキャラクターの参照画像を入力した結果である．三段目は線画と異なるキャラクターを参照画像として入力した結果である．
二段目と三段目で明らかに色が異なることから参照画像の色を反映できていることわかる．また，参照画像の輪郭ではなく線画の輪郭が反映されていることから，線画の特徴が残せていることもわかる．しかし，線画が途切れている部分，線画と参照画像が大きく異なる部分や，服の模様や髪飾りなどは正しく着色できていないことがわかる．

図 2 着色結果
Fig.2 Coloring results

3.3 考察図 1 ネットワークの構成
Fig.1 The architecture of networks

3. 評価実験
評価実験では，線画と参照画像を入力し，線画の特徴を残しつつ，参照画像の色と画風を反映した着色画像を出力できるかを検証し，提案手法の有用性を示す．

3.1 データセット
提案手法のネットワークを学習させるためには，線画と参照画像と教師画像が必要である．実際に学習済みネットワークを用いて着色を行う際には，参照画像として任意の画像を使うことができるが，ネットワークを学習させる際には線画とペアとなる参照画像が必要となる．また，教師画像は線画に正しく着色した例として学習させるため，線画とペアの着色画像でなければならない．このため，線画と着色画像がペアとなった大量のデータセットを用意する必要があるが，そのような線画と着色画像がペアとなったデータは少なく，着色画像から画像処理により，擬似的な線画を作成し，データセットの構築を行った．
着色画像には，アニメの動画を 2 秒おきに画像として切り出したものに，OpenCV の顔検出を使ってキャラクターの顔を切り出した画像を用いた．顔検出の特徴量としては lipcascade_animeface.xml を用いた．着色画像のデータセットには背景のない画像を用いることが多いが，本研究では，背景を含む画像も用いた．線画には，OpenCV を用いて，着色画像に膨張処理を施し，着色画像との差分を取ったものを用いた．線画，着色画像は 128×128 にリサイズした RGB 画像であり，線画と着色画像がペアになったデータセットを 10,050 組用意し，10,000 組を学習データ，着色結果から線画の特徴を残しつつ，参照画像の色と画風を反映できたと考えられる．線画が途切れている部分や，髪飾りなどを正しく着色することは，提案手法では難しく，提案したネットワークを一段目として，失敗した部分を追加ヒントによって修正する二段目のネットワークを追加することで，よりクオリティの高い着色が行えるようになるのではないかと考える．

4. おわりに参照画像を用いたイラストの線画の自動着色の方法を提案し，評価実験により，参照画像を反映した着色ができることを確認した．同一のキャラクターを参照画像として用いたときには比較的うまく着色できていることから，複数の同一のキャラクターを着色するアニメ制作や漫画の着色では利用できるのではないかと考える．

参考文献[1] Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, BingXu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville,
Yoshua Bengio, “Generative Adversarial Nets”, NIPS, 2014.
[2] Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros,“Image-to-Image Translation with Conditional AdversarialNetworks”, CVPR, 2017.
[3] Lvmin Zhang, Yi Ji, Xin Lin, “Style Transfer for Anime
Sketches with Enhanced Residual U-net and Auxiliary
Classifier GAN”, ACPR, 2017.
[4] 木藤 裕太郎, “敵対的生成ネットワークを用いたイラストの線画の自動着色に関する研究,” 平成 30 年度プ
ロジェクトデザイン III 公開発表審査会予稿集, EP164,
2018．
[5] Lento, 続 ・ ヒ ン ト を 与 え る 線 画 着 色 , 入 手 先〈https://medium.com/@crosssceneofwindff/続-ヒントを与える線画着色-f4d73bc56d24〉，(参照 2019-12-25)．