WISS2014

パーツ単位のモーフィングにもとづく似顔絵生成
小松璃子*

伊藤貴之*

概要．インターネットサービスの普及に伴い，自身の顔の特徴を表した似顔絵を使用する機会が増えている．似顔絵生成のツールとして，顔のパーツごとに何種類かのイラストを選択し，それらをユーザ自身が選び組み合わせる技術が普及している．しかし，このようなサービスで多様な似顔絵を生成するには，各パーツのイラストをかなり多く揃え，その中から選択しなければならない．また似顔絵生成を自動化する研究も進んでいるが，さまざまな画風に対応することが難しい場合がある．	  本論文では，パーツ単位でモーフィングを適用することにより，あらかじめ用意されるイラスト数に制限されることなく，本人の特徴を捉えた似顔絵を生成する手法を提案する．モーフィングを適用する
ことにより，少ないイラストを用いてより細かな特徴を表現することが可能になる．また，1 枚の実写画像から顔の特徴値を算出し，それにもとづき各パーツを生成することにより，ユーザが手軽に似顔絵を生成できるシステムを目指す．

1

はじめに

近年，SNS の普及に伴い，人物の特徴を表した似顔絵を使用する機会が増加している．似顔絵を作成する手法として，あらかじめ用意されたパーツ群からユーザ自身の特徴に類似したパーツを選択し，それらを組み合わせる手法[1]がある．この手法は，用意されたパーツ数が限られている状況において，ユーザの特徴を適切に表現したパーツが見当たらない場合には，ユーザの特徴を捉えた似顔絵を作成することが難しい．これに対して，モーフィングを用いて似顔絵を生成する手法[2]がある．モーフィングとは，ある形状から別の形状へ変化していく過程の中間を補う画像を作成することである．この手法では，実写画像に類似した複数の似顔絵をモーフィングして，新たな似顔絵を生成する．しかし，顔全体を対象としてモーフィングを実行するため，顔のパーツごとの特徴を表現することはできない．
そこで本報告では，目，鼻，口などのパーツを単位としたモーフィングによる似顔絵生成システムを提案する．複数のサンプルパーツからモーフィングによって新たなパーツイラストを生成することにより，似顔絵生成結果の品質がサンプルパーツの充実度に依存することを軽減し，また顔を構成する各パーツの特徴を的確にイラストに反映できるようにする．

2

提案手法

本手法では，実写画像を複数のパーツ画像に分割し，各パーツ画像の特徴にもとづきモーフィングをCopyright is held by the author(s)．
*Ochanomizu Univ． お茶の水女子大学

適用することにより新たなパーツイラストを生成する．これらを輪郭画像上に配置することで似顔絵を自動生成する．
2.1 特徴値の取得とモーフィングの適用
実写画像から目や口といった各パーツの特徴点を取得し，パーツごとに分割する．我々の実装では
ABEJA 社[3]の API を適用することにより，目，眉，鼻，口，輪郭の座標を合計 68 点取得し，これらの点にもとづき実写画像を 5 つのパーツに分割する．
続いて，あらかじめ著者が定めた何種類かの特徴要素に対する該当度を算出し，これを各パーツの特徴値とする．表 1 に各パーツの特徴要素を示す．現段
階では，鼻の特徴値算出が難しいため，目，眉，口に対してのみ該当度を算出する．各特徴要素の該当度は，入力された実写画像とあらかじめ用意されたサンプル画像群との類似度を算出することで求める．
著者の実験環境では各特徴要素に 20 枚程度のサンプル画像を用意し，実写画像とサンプル画像の類似度に正規化相互相関にもとづくテンプレートマッチングを適用することにより類似度を算出する．
表 1．各パーツの特徴の要素

部位名
目
眉
口

つり目
濃い
開いている

特徴要素
たれ目
丸い
薄い
急な
閉じてい
口角が上る
がっている

細い
緩やかな口角が下がっている	  一方で本手法では，特徴要素ごとに各パーツのイラスト画像を用意する．図 1 にイラスト画像例を示WISS 2014

す．多種多様な画風のイラスト画像を用意することにより，多様な画風の似顔絵を選択的に生成することが可能になる．本手法ではこれらのイラスト画像に対して，実写画像から算出した特徴値によって重みをつけ，モーフィングを適用する．

図 1．目のサンプルイラスト

2.2 髪型の判別
入力画像から髪領域を抽出する．2.1 節で取得した特徴点から耳と額の上部の RGB 値を髪の基準色として取得する．実写画像の各画素の RGB 値と髪の基準色を比較し，差が一定値より小さければその画素が髪領域であると判断する．以上の処理により得られた髪領域画像にもとづき，髪型を判別する．
現時点では前髪の重み，分け目，後ろ髪の長さの 3
項目について判別する．そして判別結果に対応する髪型を，あらかじめ用意されたサンプルイラストから選択する．

4

まとめと今後の課題

本報告では，パーツ単位のモーフィングによる似顔絵生成手法の提案と，その現在の実装結果を示した．
実装上の今後の課題として，各パーツの特徴値計算の精度の向上が挙げられる．現時点では，著者があらかじめ定めた特徴要素を用いて似顔絵を生成しているが，多くの人物画像を分析することにより，さらに的確な特徴値を取得できようになると考えられる．また，似顔絵生成を目的とした顔や髪の特徴抽出[4]にも取り組みたい．
これらの実装上の問題を解決した後に，男性を含めて被写体層を拡大し，さまざまな画風のイラスト画像を対象として似顔絵生成の実験を試み，その似顔絵生成結果に対する評価を進めたい．また実用に向けて具体的なユースケースシナリオを設定し，そのシナリオに向けて満足のいく似顔絵生成ができるかを検証したい．

2.3 パーツの配置
2.1 節において生成された顔の各パーツと，2.2 節において選択された髪型を輪郭画像と組み合わせる．
本手法では，あらかじめ用意した輪郭画像に実写画像の肌の色を反映し，この画像上に各パーツを配置する．パーツの配置座標は，あらかじめ用意した 80枚の顔画像の特徴点の平均位置と，実写画像の特徴点位置との差分にもとづき決定する．これに従って各パーツを配置し，似顔絵生成を終了する．

3

図 2．実行結果

参考文献[1]

Wu， and Yang Yang， “A Face Cartoon Producer
for Digital Content Service” Workshop of Mobile

結果と考察

本報告では 15 歳から 25 歳の女性のサンプル画像340 枚を実験に使用した． 4 枚の実写画像を入力した結果，それぞれの特徴を表した似顔絵を生成する
ことができた（図 2）．特に目については，実写画像の特徴を捉えたイラストを再現できていることがわかる．また，髪の判別についても，前髪の形状や後ろ髪の長さを適切に選択できていることがわかる．
一方で眉の特徴要素に関しては，あまり実写画像の特徴を再現できていない．これは，実写画像の眉を認識する際に前髪が重なり，特徴値の取得に誤差が生じていることが要因として考えられる．

Yuehu Liu， Yuanqi Su， Yu Shao， Zhengwang

Multimedia Processing (WMMP 2008)， Lecture
Notes in Computer Science (LNCS)， Vol． 5960，
pp．188-202 (2010)[2]

Min Zhao， Xia Yang ， “Sketch-style Face Image
Synthesis

via

Constrained

Least

SquaresEstimation” ，International

ConferenceonComputational Problem-Solving (ICCP 2011)， pp．
529-532 (2011)[3]“ABEJA” http://www.abeja.asia/[4]

Yusuke Suto， Takashi Fukuda， and Hayato
Yamana， “Analysis of Hair in Human Images
based on Canny Edge Information”，DEIM Forum2011， E9-6 (2011) (in Japanese)