情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

VAE を用いた 2D キャラクタの特徴抽出の検討
大道昇†1大井翔†2佐野睦夫†1

概要：近年アニメ業界は成長し続けており，それに伴いアニメ画像を用いた画像生成や分類の研究も盛んにおこなわれている．なかでも GAN を利用した新たなアニメキャラクタの生成は大きな注目を集めている．他にも，視覚障碍者が楽しむためのアニメキャラクタの分類や色構造のグラフを用いてアニメキャラクタの類似度を測定する論文がある．しかし，これらの研究では，分類精度があまりよくない．原因として，既存の現実の人に対する研究と違い，骨格や顔の部位の大きさが実際の人とはかけ離れていたり，絵師によって描き方が変わってくることに起因していると考える．よって本研究では，VAE(Variational Auto Encoder)を用いることによって 2D キャラクタイラストの潜在的な特徴抽出を行うことでキャラクタの分類などのプログラムの基礎的な部分の貢献ができないか検討する．結果として 2D キャラクタの確率的な分布から，一部の特徴を抽出することに成功した．

1. はじめにり，キャラクタを検出することを想定していない．また，人を検出する時と違い，実際の人より目や顔が大きかった

一般社団法人日本動画協会のアニメ産業レポート 2018

り，骨格が異なっていたり，色がべた塗や水彩画のようなサマリー版によると[1]，日本のアニメ市場は最高売上値が色合いなど 2D のキャライラストは絵師によって独特な表

5 年連続更新されており，ユーザーが支払った金額を推定したアニメ市場の推移によると，2015 年から衰退傾向にあ現がされているためだと思われる．そのため，2D イラストの画風ごとに学習しなおさなければならない．そのため，るものの商品化が市場割合の 2 割を占めている．それに伴各 2D イラストの潜在的な特徴を抽出することは 将来的にい，アニメに関する論文も徐々に増えてきている．また，さらに発展していくであろうアニメの分野の研究におけるイベントや地域おこし，名産品の紹介などイラストや着ぐ基礎的な部分に必要だと思われる．

るみなどのマスコットキャラクタとしてたびたび使用され本研究では訓練画像から連続的に変化する画像を生成ている”ゆるいマスコットキャラクタ(ゆるキャラ)”や，動と，訓練画像の潜在的な分布が得ることができる

画 サ イ ト YouTube で ブ ー ム と な っ て い る バ ー チ ャ ル

VAE(Variational Auto Encoder)を用いることによって[6]，2DYouTuber(VTuber)などがあり，マスコットキャラクタや 2D
イラストキャラクタが人とのつながりやインタラクティブキャライラストの潜在的な特徴の抽出を検討する．VAE を用いることによって得られる潜在変数の分布から，2D キャ性を生み出している．
近年，機械学習を用いた精度の高い画像を生成するモデルが盛んに研究されており，そのなかでも代表的な理論がGAN（Generative Adversarial Network）である[2]．また，GANの理論を用いた研究は多く，用途に合った多様な GAN が考案されている．GAN の訓練画像はイラストにも適用することができ，2D キャラクタの顔画像を生成することができる GAN も考案されている．
このようにアニメや 2D のキャラクタを用いた研究は徐々に増えてきており，分類の分野では視覚障碍者がアニメを楽しむためのアニメキャラクタの分類や[3]，色構造のグラフを用いてアニメキャラクタの類似度を測定する研究[4]，顔のパーツ座標からアニメキャラクタの顔の特徴量抽出などがある[5]．しかし，これらイラストのキャラクタを用いた研究では，写真などの現実の人画像を用いた研究より精度は劣っていると言える．原因として，まだまだ 2D キャライラストを用いた研究が少なく，データがそろっていない点や既存の人物検出プログラムは学習データが人であ

図1

提案処理の流れ†1 大阪工業大学，†2 立命館大学© 2020 Information Processing Society of Japan1064

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

ラクタのそれぞれの特徴だけでなく，各イラストの画風なども特徴として得られるのではないかと考える．

2. 関連研究2.1 視覚障害者がアニメを楽しむための 機械学習によるキャラクター識別システム
この研究では視覚障害者がアニメ映像等のコンテンツを図 2 “lbpcascade_animeface”を用いたアニメキャラクタの楽しむ際に生じる無言シーンでのキャラクタ把握問題に焦顔検出[8]

点を当てた情報保障やアクセス支援を目的としている．視画像の出典: 「アイドルマスター ミリオンライブ!」

覚による情報取得に制約があると，アニメ画像を視聴する©窪岡俊之©BANDAI NAMCO Entertainment Inc.
©BNEI/PROJECT iM@S

際に「行動や状況を理解することの難しさ」，「キャラクタ識別の難しさ」，「 似ているキャラクタの混同」といった問題があり，そこに焦点を当てている．この問題を解決する

タのラベルごとに仕分けるようにしておく．前述した方法

ために機械学習によるキャラクタ識別のための支援機器のによってダウンロードした画像に対して OpenCV を用いた製作を検討している．

作成プログラムによって顔画像のみを切り抜く．その際に2.2 色構造のグラフを用いたアニメキャラクター画像間“lbpcascade_animeface.xml”というカスケードファイルをの類似度測定使用した[8]．図 2 に顔検出の結果を示す．このカスケード

この研究ではアニメ画像のキャラクタ間の類似度を測定

ファイルはアニメキャラクタの顔画像を検出できるようにする方法を提案し，その性質を実験結果によって示してい作成されている．本研究で使用する 2D キャラクタでもある．各キャラクタが顔の造りよりむしろ服装や髪の色と形る程度検出されるようなので使用した．

によって主に描き分けられているということに注目し，キ3.2 VAE を用いた特徴抽出

ャラクタの特徴を効率的に取り出す手法を提案している．

画像処理を行った 2D キャラクタの顔画像イラストから

具体的にはキャラクタ領域を類似色セグメントに分割したVAE を用いて特徴抽出を行う．VAE は入力画像を Encoder

L*a*で畳み込みを行い，潜在変数にまで次元削除をし，Decoderb *表現に基づいて，部分グラフの Tree-walk に対する畳みで同じ画像を出力する．この時，潜在変数を確率分布といものをグラフで表し，各セグメントの平均色の込みツリーカーネル関数を利用している．色合いとその配う構造に押し込めることを可能としたのが VAE である．そ置が良く似ているが異なるキャラクタの画像を含む実験ののため，学習時の入力データは訓練データのみで教師デー結果，良好な類似度を求めることが可能となった．

タを必要とせずに，入力画像を表現する特徴を潜在変数の確率分布で確認することができる．また，確率分布に押し3. 提案システム

込められた潜在変数から，分布の位置に対応する画像を復元することができる．これらの VAE の特徴を利用すること

本研究では，アニメ関連の研究の基礎的な部分である 2Dによって，2D キャラクタの顔画像イラストから潜在変数のキャラクタの特徴を抽出することにより，今後のアニメな分布によって特徴抽出を行うことができるか検討する．

どの 2D イラストを用いた研究の貢献することを目指す．

VAE を用いて特徴抽出を行う際に，ラベル分けされたフ２D キャラクタの特徴を抽出するにあたって VAE を使用

ァイルを複数選択することによって，各ラベル分けされたした．その際，2D キャラクタの顔画像のみを利用すること

イラストの特徴をラベルごとに指定した色によって潜在変とした．

数の分布として表現することができる．そのため，出力さ3.1 画像処理れた確率分布にマッピングされた 2D キャラクタの顔画像

VAE で 2D キャラクタの特徴を抽出するにあたって，複イラストの潜在変数の位置から，特徴が抽出で生きている数枚の 2D キャラクタの顔画像のイラストが必要となってか確認する．また，VAE の入力画像のピクセル数，学習回くる．そのため，2D キャラクタのイラストの画像をサイト数，潜在変数の次元数を変更できるようにし，変更したこからをダウンロードし，その後自動で 2D キャラクタの顔とによる変化を見られるようにした．既存の VAE は，確率画像のみを切り抜くプログラムを作成した．2D キャラクタ

分布を画像として出力する際に潜在変数が 2 次元までしかのイラスト画像は一枚一枚画像を検索してダウンロードす見られなかったので，潜在変数の次元数を増やすにあたっるのは手間がかかるために，Google 画像のダウンロードツて，次元数が 3 以上の場合は出力するそれぞれの次元でのールである” google-images-download”を利用した[7]．この際総当たりの確率分布を 1 つの画像に出力できるように改良に，後述するプログラムで利用できるように，2D キャラクした．

© 2020 Information Processing Society of Japan1065

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

4.1 アニメキャラクタの特徴抽出
アニメキャラクタの特徴を抽出するにあたって，” ご注
文はうさぎですか？”と”がっこうぐらし！”のキャラクタイラストをそれぞれ使用した[9][10]．使用したキャラクタは，” ご注文はうさぎですか？”から”チノ”・”千夜”・”ココア”・”リゼ”， ”がっこうぐらし！”から”くるみ”である．図4 に使用するキャラクタの画像例を示す．それぞれのキャラクタに対して各 500 枚前後の顔画像イラストを収集した．
この時，収集した顔画像イラストは公式のイラスト以外にも 2 次創作のイラストも含めている．特徴抽出する組み合
わせは，”チノ”・”千夜”・”ココア”と”リゼ”・”くるみ”である．”チノ”・”千夜”・”ココア”の組み合わせを実験する理由
として，VAE は 2D のキャラクタに対しても特徴を抽出できるか確かめるためである．”リゼ”・”くるみ”の組み合わせを実験する理由として，ネット上でこの 2 キャラクタはとても似ていると言われているからである．そのため，VAEによって公式のイラスト以外にも 2 次創作のイラストから，人が潜在的に 2 キャラクタを描き分けている特徴を抽出できないか確かめる．”チノ”・”千夜”・”ココア”の組み合わせ
は VAE の潜在変数を 4 次元として実験した．一方，”リゼ”・ ”くるみ”の組み合わせは抽出が難しいと思われたの
図3

使用する VAE の Encoder

で，潜在変数の次元数を 4・6・8 の 3 パターン行った．
4.2 ゲームキャラクタの画風特徴の抽出使用する VAE の Encoder の中身の例を図 3 に示す．提案

ゲームキャラクタの画風を特徴抽出するにあたって”グする VAE は入力画像を 128×128 の RGB 画像として入力ランブルーファンタジー(以下グラブル)”と” ぷよぷよ!!クできるようにしてあり，畳み込み層は 4 層としている．そエスト(以下ぷよクエ)”のキャラクタイラストを使用した

して，図 3 では潜在変数の次元数を 4 としているが，この[11][12]．キャラクタの顔画像イラストはそれぞれ 1000 枚次元数は変更できるようにしてあり，次元数の変化によっずつ集めた．図 5 に使用するゲームキャラクタの画像例をてどのような影響が出るか比較できるようにしている．学示す．ここで”グラブル”と”ぷよクエ”を選んだ理由として，習回数は 100 回に統一している．また，入力画像をテストどちらも画風が統一されており，キャラクタごとに絵柄がデータと学習データをランダムに分けているので，出力結変わらないためである．また図 5 を見てもわかるように，”果が毎回異なるようになっている．

グラブル”と”ぷよクエ”は線の太さや顔のパーツの大きさ，色合いが違っており，2 つの作品は画風が異なっていると4. 実験言える．そのため，2 つの作品のキャラクタの顔画像イラストから特徴を抽出し比較することができると，それぞれ2D キャラクタの顔画像を多数収集し，VAE の畳み込みの画風の特徴を抽出することができると考える．ここでも層や潜在変数の次元数を変えることによって 2D キャラク画風の特徴抽出は難しいだろうと考えたため，潜在変数のタの特徴抽出に違いが出るか検討する．以下に，アニメキ次元数を 4・6・8 の 3 パターン行った．

ャラクタの特徴とゲームキャラクタの画風特徴の抽出実験を行う．ここで，アニメとゲームに着目した理由として，我々の知る限り，2D イラストが豊富であると考えたからで5. 結果と考察ある．また，キャラクタごとの特徴抽出にアニメキャラクアニメキャラクタのキャラクタごとの特徴抽出とゲータを用いる理由として，アニメキャラクタはゲームなどとムキャラクタの画風の特徴抽出の結果と考察をそれぞれ以違いキャラ数は比較的少ないが，公式と 2 次創作を含めた下に示す．

各キャラクタのイラストが豊富であると考えたためである．

5.1 アニメキャラクタの特徴抽出の結果と考察

そして，画風の特徴抽出においてゲームキャラクタを選ん”ココア”・”チノ”・”千夜”の特徴抽出結果を図 6 に示す．

だ理由として，キャラクタ数が多いため画風が統一された

赤色の点が”ココア”，緑色の点が”チノ”，青色の点が”千夜”

公式イラスト数が多いと考えたためである．となっている．図 6 の上から 2 行の 5 つあるグラフからわ© 2020 Information Processing Society of Japan1066

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

図4使用するアニメキャラクタの画像例

左から”ココア”， ”チノ”， ”千夜”， ”リゼ”， ”くるみ”
画像の出典: 左から 4 つの画像 「ご注文はうさぎですか？？」 © Koi・芳文社／ご注文は製作委員会ですか？？
右から 1 つの画像 「がっこうぐらし!」 ©Nitroplus／海法紀光・千葉サドル・芳文社／がっこうぐらし!製作委員会

図5使用するゲームキャラクタの画像例

左二つが”グラブル”， 右二つが”ぷよクエ”
画像の出典： 左 2 つの画像「グランブルーファンタジー」 ©Cygames, Inc.
右 2 つの画像「ぷよぷよ!!クエスト」 ©SEGA

図6

図7

ココア，チノ，千夜の特徴抽出

図 8 リゼとくるみの特徴抽出(潜在変数：6 次元)

リゼとくるみの特徴抽出(潜在変数：4 次元)

図 9 リゼとくるみの特徴抽出(潜在変数：8 次元)© 2020 Information Processing Society of Japan1067

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

考える．ただ，上から 3 列目のグラフは学習する過程で過学習を起こしてしまったために点群が直線的な形になり，分布の偏りがあまり見られたかったのだと思われる．
”リゼ”・ ”くるみ”の特徴抽出結果を図 7,8,9 に示す．図7 の分布はばらつきが多いが，図 8,9 にかけて中央によっているように見える．しかし，完全に偏りが見られるものはない．”リゼ”・と”くるみ”はネットで言われているように色合いも画風も似ているので，それぞれの特徴を抽出することは難しかったと考えられる．しかし，潜在変数の分布は完全に混ざり合っていないグラフもあるので，それぞれの潜在変数から重心をとるとある程度の分類精度を持つ分類器ができるのではないかと考える．
図 10グラブルとぷよクエの特徴抽出(潜在変数：4 次元)

5.2 ゲームキャラクタの画風特徴の抽出結果と考察
グラブルとぷよクエの特徴抽出結果を図 10,11,12 に示す．
図 10 は潜在変数の分布が広がりすぎており，赤と緑の点が重なっている部分も多いため，偏りが見られず特徴抽出できているとは言えない．図 12 もまとまっているものはいくつかあるが，偏りが見られないので特徴抽出はできていない．一方，図 11 の潜在変数が 6 次元のものは，赤と緑の点が重なっているグラフもあるが，上から 1 行目，左から 3 列目のグラフや，上から 1 行目，左から 5 列目のグラフなどはそれぞれの色の点がある程度まとまっており，重なっている部分も少ないので偏りが見られると言え，一部の画風特徴を抽出することができていると言える．
このような結果となった理由としては，”グラブル”と”ぷよクエ”それぞれのゲームには多数のキャラクタが存在し，キャラクタの色も多種多様である．そのため，色の割合が

図 11グラブルとぷよクエの特徴抽出(潜在変数：6 次元)

それぞれで似通ったキャラクタが存在すると，潜在変数の分布の位置が近くなってしまったのではないかと考える．
他にも，利用した 2D キャラクタの顔画像イラストは画像枚数を多く必要とするために顔の向きが真正面を向いていないキャラクタも存在した．そのため，顔のパーツの位置からわかるような特徴も，イラストごとに位置がばらついてしまったため，特徴抽出ができなかったと考えられる．
一方，一部の偏りが見られた理由としては，学習用データとテスト用データの配分が，偶然に求めたい特徴抽出にあった分け方となったためだと思われる．

6. おわりに本研究では．VAE を用いることによって潜在的な特徴の抽出を検討した．結果として，髪色が違ったキャラクタで図 12グラブルとぷよクエの特徴抽出(潜在変数：8 次元)あればそれぞれの特徴を抽出することができた．しかし，髪色が似た場合や，画風の違いを得たい場合は特徴抽出がかるように，赤緑青の点の分布に偏りが見られ，それぞれうまくいかなかった．今後の展望として，今回利用した 2Dの特徴を抽出することができていると言える．”ココア”・”キャラクタの顔画像イラストは背景がそのまま入ってしまチノ”・”千夜”はそれぞれ髪の色が全く異なっていたためそっていたので，背景の情報もそのキャラクタの特徴としてれぞれの特徴を抽出することが容易だったのではないかと反映されてしまった．そのため，前処理に背景除去をして© 2020 Information Processing Society of Japan1068

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-78
2020/3/9

より良い特徴を検出したいと考える．また，2D キャラクタの顔の向きをできる限り真正面のイラストを使用すると，特徴抽出がよくなると考えるので，できる限り真正面のイラストを集め，物体検出プログラムの学習でも利用されている画像の増幅手法を用いて特徴抽出の向上を目指そうと考える．
今回得られた特徴は support vector machine(SVM)に活用することによって，VAE を用いた特徴抽出が 2D キャラクタを用いた認識分野の基礎的な部分への貢献ができるのかを確かめたいと考えている．

参考文献
[1]

一般社団法人・日本動画協会：“アニメ産業レポート 2018 サマリー（日本語版）” 2018_Anime_ind_rpt_summary_jp.pdf,
https://aja.gr.jp/jigyou/chousa/sangyo_toukei/ (2019-11-26)[2] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. WardeFarley, S. Ozair, A. Courville, and Y. Bengio: Generative
Adversarial Networks, Advances in neural information processingsystems, pp.2672-2680, 2014.
[3] 吉野優, 中田一紀, 小林真, 関田巌, 巽久. 視覚障害者がアニメを楽しむための機械学習によるキャラクター識別システ
ム. 一般社団法人 電子情報通信学会 信学技報, 2019-09[4] 中川雄貴, 坂本博康. 色構造のグラフを用いたアニメキャラクター画像間の類似度測定. 火の国情報シンポジウム 2013
プログラム
[5] 山田 太雅, 棟方渚, 小野哲雄. アニメキャラクタの顔における特徴量抽出手法の提案と実装. 情報処理学会研究報告.
Vol.2014-EC-32 No.6, 2014-05-30[6] Kingma, D. P. and Welling, M.: Auto-Encoding Variational Bayes.,in Proc. 2nd International Conference on Learning
Representations, 2014.
[7] “Google Images Download”. https://google-imagesdownload.readthedocs.io/en/latest/,(参照 2019-12-16).
[8] “lbpcascade_animeface“.
https://github.com/nagadomi/lbpcascade_animeface, (参照 201912-16).
[9] A WEB PAGE, TV アニメ「ご注文はうさぎですか?」公式サイト, https://gochiusa.com/01/ (参照 2019-12-19).
[10] A WEB PAGE, TV アニメ「がっこうぐらし！」公式サイト,
https://gakkougurashi.com/ (参照 2019-12-19).
[11] A WEB PAGE, グランブルーファンタジー,
https://granbluefantasy.jp/ (参照 2019-12-19).
[12] A WEB PAGE, ぷよぷよ!!クエスト(ぷよクエ)公式サイト｜ぷよっと楽しいパズル RPG, https://puyopuyoquest.seganet.com/(参照 2019-12-19).

© 2020 Information Processing Society of Japan1069