パーツ単位のモーフィングにもとづく似顔絵生成
理学専攻

1情報科学コース 小松璃子 (指導教員：伊藤貴之)

概要

2.1

代表点の取得この処理では入力実写画像から各パーツの代表点をSNS の普及に伴い，人物の特徴を表した似顔絵を使用する機会が増加している．似顔絵は，SNS 上のアバターとして，写真加工によるスタンプとして，顔の特取得する．本手法では FaceTracker[3] を適用すること徴を伝える媒体として，その他にもさまざまな用途でら顔の傾きと高さを求め，この値が一定になるように使われている．本論文では，このような場面で使われ拡大縮小・回転をすることにより，実写画像の大きさる似顔絵を自動生成する一手法を提案する．と向きを正規化する．

により図 1 に示す代表点を取得する．続いて代表点か似顔絵を電子的に作成する手法として，顔のパーツごとに用意された複数のイラスト画像の中から，ユー
ザ自身の顔のパーツの特徴を捉えているイラスト画像を自動選択し，これらを合成する手法 [1] がある．この手法では，あらかじめ用意される有限数のイラストの中からパーツを選択しなければならない．そのため，ユーザの特徴を適切に表したパーツが見当たらない場
合，ユーザの特徴を捉えた似顔絵の作成が困難な場合がある．
一方で顔の認識技術が向上したことにより，顔写真から各パーツの位置関係を認識し，それに沿って顔写

図 1: FaceTracker[3] による代表点

真の輪郭線をデッサン風になぞることで似顔絵を生成

2.2する手法 [2] が多数提案されている．この手法では，実特徴該当度の算出

写画像の特徴をある程度適切に表現できるが，色，ス

本節では，2.1 節で得られた顔の代表点から，各パートローク，テクスチャなどの使い方が限定されるため，ツの「特徴」への該当度を算出する．本手法では各パー生成される似顔絵の画風が限られてしまう場合がある．

ツの「特徴」を表 1 に示すように定義し，これを特徴

またこれらの手法では画像全体に加工を施すため，パー要素とする（表 1 に示す特徴の他に各パーツに大きさツ単位で調整を加えることができない．と傾き，太さがある）．これらの特徴要素は似顔絵アー

そこで本論文では両者の問題点を解決する手法としティストの書籍 [4] を参考に決定した．各パーツの代て，実写画像の特徴を適切に表現するパーツイラスト

表点を囲む最小矩形を作成し，その矩形の縦横比や面を合成し，これらを組み合わせて似顔絵を生成する手積から各パーツの大きさと太さ，鼻先への該当度を求法を提案する．本手法では，あらかじめ顔の各パーツめる．また，各パーツの代表点のうち x 座標が最小とに対していくつかのパーツイラストを用意しておき，なる点と最大となる点を結び，その傾きから目と眉の入力された実写画像の特徴にもとづき，パーツイラス傾きへの該当度を求める．その他の特徴要素への該当トにモーフィング技術を適用して変形することで，実度は，以下の処理により算出する．

写画像の特徴を捉えたパーツイラストを生成する．こ• 各パーツの代表点のうち y 座標が最小となる点とれにより，似顔絵生成結果の質がパーツイラストの充x 座標の最小となる点を結んだ距離を上アイラインと眉山の位置への該当度とする．
• 各パーツの代表点のうち x 座標が最小となる点と実度に依存することを軽減する．

2

提案手法
本手法ではまず，顔写真の入力画像を認識し，目や最大となる点の y 座標の平均値と y 座標が最小と口といった顔の各パーツの代表点を取得する．続いてなる点との差分を上唇と下唇，下アイラインへの各々のパーツ画像の特徴値を算出し，この値に応じて表すパーツイラストを合成する．最後にこれらを輪郭該当度とする．
• 各パーツの代表点のうち y 座標が最大となる点から画像の垂直方向に一定値 y 座標を移動し，このイラストの上に配置することで，似顔絵を生成する．

点を通る水平線を描く．描いた水平線と最も距離モーフィングを適用することにより入力画像の特徴をの近い 2 点を選択し，これらを最下点と結んでできる角度をあごの丸みへの該当度とする．

1

表 1: 各パーツの特徴要素
部位名
特徴名
具体例

結果と考察3.1

似顔絵生成結果

上アイライン

内寄り

外寄り

本手法を実行した結果の一例を図 2 に示す．似顔絵

下アイライン

上向き下向きの各パーツのうち，特に目の形状については，モーフィ

眉

眉山の位置

内寄り

外寄り

ングの適用により実写画像の特徴を捉えたイラストを口上唇

上向き下向き再現できていることがわかる．一方で頬の膨らみや小下唇

上向き

下向き

鼻の形など，特徴要素を定義していない部分について

鼻

鼻先

丸い

細い

サンプルイラストの種類が不足していることがわかる．

輪郭

あごの丸み

丸い

細い

目

2.3

3

モーフィング

本節では，2.1 節で求めた各パーツの特徴該当度をモーフィング時の重み付けに用いて，入力画像の特徴をよく表現するパーツイラストを合成する．本手法で図 2: 似顔絵生成結果

は表 1 に示す特徴について，その特徴を適切に表現するパーツイラスト画像を用意し，これらのイラスト画3.2

像に対してモーフィングを適用する．

2.4

本手法を用いて作成した似顔絵に関する主観評価を69 名に依頼した結果，モーフィングを適用した似顔絵の方がモーフィングを適用しない似顔絵に比べて，よ髪型の判別

続いて本手法では，入力画像の色情報にもとづき髪領域を抽出し，似顔絵の髪型を選択する．現時点では，り実写画像の特徴を捉えていることがわかった．また，前髪の分け目，前髪の重み，後ろ髪の長さの 3 項目に

被験者 9 名にモーフィングを用いて似顔絵を作成してついて判別を行い，この結果にしたがって，あらかじもらったところ，9 名がモーフィングにより自分の欲め用意された髪型イラストを選択する．

2.5

評価実験

しいパーツが作成できるようになったと感じた．

パーツの配置4

本節では，生成されたパーツイラストと髪型イラスまとめと今後の課題
本論文では，顔を構成する各パーツに対して実写画トを輪郭イラストに配置し，似顔絵を完成させる．こ像から特徴該当度を算出し，その結果に沿ってパーツの処理では，まず入力実写画像の肌の色を輪郭画像にイラストにモーフィングを適用することで似顔絵を自反映し，輪郭イラストを作成する．続いて 2.2 節で生動生成する手法を提案し，その実行結果を示した．今成したパーツイラストを輪郭イラストに配置する座標

後の課題として，男性を含めた被写体層の拡大や，さを決定する．本手法では似顔絵アーティストの書籍 [4]まざまな画風のイラスト画像を対象とした似顔絵生成を参考にして 5 つの配置パターンを定め，このいずれに取り組み，その結果に対する評価を進めたい．

かを選択することで最終的なパーツの配置座標を決定する．配置パターンを表 2 に示す．パターンの選択は，参考文献

2.1 節で取得した代表点を平均代表点と比較し，各パーツの位置関係を算出することで決定する．

[1] Yang Wei et al. Example-Based Automatic Caricature Generation, Cyberworlds International
Conference, pp.237-244, 2014

表 2: 配置パターンの決定基準[2] Hong Chen et al. ”PicToon: A Personalized
Image-based Cartoon System”, ACM Interna-パターン

決定基準

外型

口と鼻が離れていて左右の目が離れている内型

口と鼻が近く左右の目が中心に寄っている

上型

口，鼻，目，眉が平均より上側にある

下型

口，鼻，目，眉が平均より下側にある

平均型

上記の 4 種類に属さない

tional Conference on Multimedia, pp. 171-178,
2002[3] Jason M. Saragih et al. Deformable Model Fitting
by Regularized Landmark Mean-Shift, International Journal of Computer Vision, pp. 200-215,
2011[4] 小河原智子, 小河原智子の似顔絵入門 ，五十嵐優（編），主婦の友社，東京，2012．

2