情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-34
2020/3/9

SteerMorph: モデルの連続変化映像の推薦によるキャラクターメイキング手法
竹永正輝†1橋本直†1

概要：ゲーム内でカスタマイズ可能なアバターを作成する機能として，キャラクターメイキングがある．既存 UI では作成できるアバターのバリエーションの増加に伴ってデザインにかかる作業負担も増加する．そこで本研究では，モデルの連続変化映像の推薦からキャラクターメイキングを行う手法「SteerMorph」を提案する．提案手法では，StyleGAN によって生成されたアバター画像をアニメーションとして提示する．ユーザは提示される画像に対して，気にいった度合いを評価する．一定の評価データ蓄積後に対話型進化計算を行うことで，ユーザの好みを反映させた出力画像を提示する．ユーザの入力は 1 軸のスティック操作のみで実現でき，低負担かつ思い通りにアバター作成ができる．本稿では，提案手法について説明し，顔を対象としたキャラクターメイキングに適用した結果について報告する．

1. はじめにオンラインゲームや Web コンテンツ内でユーザがカスタマイズ可能なアバターを作成する機能としてキャラクターメイキングがある．キャラクターメイキングの UI として，顔や胴体のパーツを付け替えるものやそれらの色やサイズをスライダー操作で変更するものがある．このような

図 1 SteerMorphUI では，パーツの種類やパラメータの数が多いほど，作成できるアバターのバリエーションは多くなるが，自由度の画像を用いたデータセットを事前に用意することで，顔画増大に伴ってユーザの作業負担は増大し，思い通りのデザ像をインタラクティブに進化させることが可能になった．

インにすることが難しくなる．これに対し，ランダム生成

WaifuLabs[4]は生成された顔画像を変化させていくことがされた候補から選択する方法もあるが，思い通りのデザイできる Web サービスである．配色や絵柄，ポーズといったンが出力されるかどうかは運に左右されるため，満足する特定要素の学習がなされており，基準となる顔画像は特定結果をすぐに得られることもあれば，そうでないときもあ要素を用いて進化させていくことができる．Crypko[5]は顔る．

画像の生成を行い，それを販売できる Web サービスである．

そこで本研究では，ユーザの作業負担軽減や効率向上をユーザは顔画像の生成を行い，その画像の質を判断する．

目的として，モデルの連続変化映像の推薦からキャラクタ質の高いデータを購入することもでき，そのデータを用いーメイキングを行う手法「SteerMorph」を提案する．提案手ることでさらに質の高い画像生成を行える．この取引を繰法では，StyleGAN[1]によって生成されたアバター画像をアり返すことでユーザはより質の高い画像生成を行う．

ニメーションとして提示する．ユーザは提示される画像にWaifuLabs と同様に，我々の提案手法ではユーザの入力対して，気にいった度合いを評価する．一定の評価データに合わせて顔画像を変化させるが，モデルの連続変化映像蓄積後に対話型進化計算[2]を行うことで，ユーザの好みをを視聴しながら 1 軸のスティックを用いて評価するため，反映させた出力画像を提示する．ユーザの入力は 1 軸のスティック操作のみで実現でき，低負担かつ思い通りにアバター作成ができる．
本稿では，提案手法について説明し，顔を対象としたキャラクターメイキングに適用した結果について報告する．

2. 関連研究

ユーザの作業負担を軽減させたキャラクターメイキングを行えると考えた．

3. 提案手法
SteerMorph は，生成したモーフィング画像を短時間で更新することでアニメーションとして提示し，それに対する評価データをもとに対話型進化計算を行うキャラクターメ

機械学習を用いてインタラクティブに顔画像を生成すイキング手法である．本稿では主にゲーム内で用いる顔テる手法はさまざまなものが提案されている．Philip ら[3]はクスチャや Web コンテンツの顔アイコンなどで用いる画複数の潜在ベクトルを元に生成した顔画像に対話型進化計像生成を目的とした実装方法を説明する．提案手法の概要

算を行うことでモデルの進化を行った．これにより大量のを図 1 に示す．キャラクターメイキングの UI として，画†1 明治大学© 2020 Information Processing Society of Japan314

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-34
2020/3/9

3.3 ユーザ入力
ユーザがコントローラの開始ボタンを押すと，画面には性別や年齢，髪型や肌の色などが異なるさまざまな顔画像がモーフィングしながら提示される．ユーザはそれを見ながらコントローラのアナログスティックを左右に傾けることで評価を行う．表示された画像が気にいったときは右側に，そうでないときは左側に傾ける．また，その度合いに応じた角度でスティックを傾ける．この評価値に応じて画面下部のゲージが増減する．提示される画像はユーザが評
図 2 対話型進化計算によるモデルの収束価を行うことで徐々に収束する．ユーザは停止ボタンを押すことで，顔画像の連続変化を止められる．満足した画像

面中央に StyleGAN により生成された顔画像が表示され，が作られたときには終了ボタンを押して画像を保存し，キその下に画像評価のためのゲージが表示される．ユーザはャラクターメイキングを終了する．ユーザはリセットボタ

PC に接続されたゲームコントローラのスティック入力をンを押すことで望まない収束を迎えたときや，気にいらな用いて画像の評価を行う．提案手法の構成要素である画像

いと感じたときにはじめからやり直すことができる．

生成，対話型進化計算，ユーザ入力についてそれぞれ説明する．
3.1 画像生成

4. プロトタイプ
提案手法のプロトタイプを Python で開発した．また顔画

StyleGAN は 512 次元の配列で構成された乱数ベクトル

像データセットは Flickr-Faces-HQ Dataset[6]を使用した．プを入力することで，画像出力を行う．また 2 つのベクトル

ロトタイプ作成後に研究室内で予備実験を行ったところ，の平均ベクトルを用いることで中間画像の生成が行える．

「楽に作れる」，「変化の様子が面白い」，「多くの画像を見本手法で用いるモーフィング画像の生成のために必要な，るので収束して出てきた画像に納得感がある」といった感

乱数ベクトルの生成アルゴリズムを説明する．本アルゴリ想が得られた．

ズムは，一定の区間に分けて画像の補間を行う．まず開始

5. まとめと今後の課題と終了に用いる乱数ベクトルを生成する．1 画像は短時間表示され，複数フレームをかけてベクトルの各値を線形補キャラクターメイキングの手法として SteerMorph を提間する．これを 1 セグメントとする．次のセグメントに移案した．SteerMorph は，生成したモーフィング映像を短時る際，前セグメントの終了ベクトルを開始ベクトルとし，間で更新することでアニメーションとして提示し，それに終了ベクトルを新たに生成する．同様に線形補間を行うこ

対する評価データをもとに対話型進化計算を行う．とで，新たにセグメントの生成を行う．こうして作成され本研究では顔テクスチャや顔アイコンのための顔画像たベクトルを用いて StyleGAN で画像を生成することで，生成を行ったが，アクションゲームや RPG などで用いるたモーフィング画像を出力する．一定のデータを蓄積した後，めの 3 次元アバターを生成するためには，使用するデータ対話型進化計算を行う．対話型進化計算を行う際は 1 セグセットを変更する必要がある．具体的にはアバターの頂点メントの中で一番評価の高い乱数ベクトルを代表値としてデータを学習させ，学習データを用いて 3 次元形状のモデ用い，代表値の集団で評価値を降順にソートすることでラルを生成する．このデータを用いて本手法を適用することンキング選択を行う．

で，3 次元アバター作成ができると考えられる．今後は本

3.2 対話型進化計算

手法と複数のキャラクターメイキング手法との比較実験を

対 話 型 進 化 計 算 に は ， 遺 伝 的 ア ル ゴ リ ズ ム （ Genetic

行う予定である．

Algorithm: GA）を用いた．GA は生物の進化メカニズムを模倣しており，選択，交叉，突然変異を繰り返すことでよ

参考文献

り適応度の高い個体を生成することができる．対話型進化[1]

計算によるモデルの収束例を図 2 に示す．本手法は親の選[2]択法にランキング選択を用いて，一意な組み合わせの遺伝子を 2 つ選択する．
子 = 配合率 × 親1 + (1 − 配合率) × 親2
これは親の遺伝子としての特徴を保ちつつ，子の生成を行うためである．突然変異は摂動と交換を行う．摂動はランダムな遺伝子座に-1.0~1.0 の範囲で数値加算を行う．

© 2020 Information Processing Society of Japan

[3]
[4]
[5]
[6]

Tero Karras, Samuli Laine, Timo Alia. A Style-Based Generator
Architecture for Generative Adversarial Networks. CVPR, 2019
Hideyuki Takagi. Interactive Evolutionary Computation: Fusion ofthe Capacities of EC Optimization and Human Evaluation. Vol.89,No.9, pp. 1275-1296. IEEE, 2001.
Philip Bontrager, Wending Lin, Julian Togelius, Sebastian Risi.
Deep Interactive Evolution. NIPS, 2017.
“WaifuLabs”. https://waifulabs.com (参照 2019-12-23)“Crypko”. https://crypko.ai/#/beta (参照 2019-12-23)“Flickr-Faces-HQ Dataset”. https://github.com/NVlabs/ffhqdataset (参照 2019-12-23)

315