芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187

パーツ単位のモーフィングによる似顔絵生成
小松璃子 1)（学生会員）

伊藤貴之 2)（正会員）

1)2) お茶の水女子大学大学院 人間文化創成科学研究科

Cartoon Face Generation based on Parts-by-parts Morphing
Akiko Komatsu1)(Student Member)

Takayuki Itoh2)(Member)

1)2) Humanities and Sciences Advanced Sciences, Ochanomizu University
1) akiko＠itolab.is.ocha.ac.jp

2) itot＠is.ocha.ac.jp

アブストラクトSNS をはじめとするさまざまな場面において，似顔絵アイコンが使用される機会が増えている．似顔
絵を電子的に作成する手法として，自身の顔の特徴に似ていると感じるパーツイラストを選択し，これらを組み合わせる手法が広く普及している．この手法は，あらかじめ用意される有限数のサンプルの中からパーツイラスト選択をするため，ユーザの特徴を適切に表したパーツが見当たらない場合，ユーザの特徴を捉えた似顔絵の作成が困難であると考えられる．本論文では，あらかじめ用意されるサンプル
パーツイラストにモーフィング技術を適用することで，実写画像の特徴を適切に表現するパーツイラス
トを合成し，これらを組み合わせて似顔絵を生成する手法を提案する．これにより，似顔絵生成結果の質がサンプルパーツイラストの充実度に依存することを軽減し，また顔を構成する各パーツの特徴を的
確にイラストに反映できるようになる．

Abstract
Portrait icons have been increasingly used in various scenes including social networking services (SNS).
Popular commercial systems to electronically create cartoons require users to select “part illustration images”
similarly looking to the users’ faces. These systems provide sample images to be selected by the users, andsynthesize the selected images to complete the cartoon generation. However, this approach is often difficult tocreate cartoons similarly-looking to the input real face images when there are no sample images whichappropriately represent the features of input faces. In this paper, we propose the technique which generates
cartoons applying a morphing method to multiple sample part illustration images. As a result, this techniquerelieves the dependency of quality on the adequacy of sample part illustration images. Also, the techniquerealizes to generate part illustration images that well reflect characteristics of the input real face images.

180

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187

1. はじめに

2. 関連研究

SNS の普及に伴い，人物の特徴を表した似顔絵を使用する機前章にて紹介した似顔絵自動生成手法のうち，本章では著者会が増加している．似顔絵は，SNS 上のアバターとして，写真らの提案手法に直接関係ある手法として，パーツイラストの合加工によるスタンプとして，顔の特徴を伝える媒体として，そ成にもとづく手法と，モーフィング技術を適用した手法についの他にもさまざまな用途で使われている．本論文では，このよて詳細を紹介する．

うな場面で使われる，いわゆるアイコンのような実写画像の等

画家の画風を考慮したパーツイラスト選択による似顔絵生成

身を下げてデフォルメした手描き風顔画像を「似顔絵」と称す手法として，川出ら[2]の手法がある．この手法では，複数の似る．そして本論文では，このような似顔絵を自動生成する一手

顔絵画家・イラストレータや漫画家などのタッチを選択して似法を提案する．

顔絵を生成することにより，似顔絵の表現の幅を広げ，例えば似顔絵を電子的に作成する手法として，目や口といった顔のある漫画の中に自分が登場したらどういう絵になるか，というパーツごとに用意された複数のイラスト画像の中から，ユーザ

ことを楽しむことができる．一方で川出らの手法では，あらか自身のパーツの特徴を捉えていると思うものを手動選択し，こじめ定めた特徴や表情に該当するパーツイラストをすべて用意

れらを合成する，という手順を採用したシステムが商用的に普する必要があり，各パーツの部品データベースを作成する際に及している．さらに，このパーツ選択と画像合成を自動化する

画家への負担が大きくなることが考えられる．また，パーツのことで似顔絵を自動作成する手法[1,2,3]が多数研究されている．

拡大・縮小により誇張表現を加えているため，パーツイラスト

この自動生成手法では，あらかじめ用意される有限数のサンプの形状自体を誇張することが難しいと考えられる．

ルの中からパーツを自動選択しなければならない．そのため，

Liu ら[3]は，実写画像の特徴を細かに抽出し，その特徴値とユーザの特徴を適切に表したパーツが見当たらない場合，ユー

パーツイラストの対応関係にもとづき似顔絵を生成する手法を

ザの特徴を捉えた似顔絵の作成が困難な場合がある．

実現した．Liu らの手法では，実写画像から目や眉といった顔

一方で顔の認識技術が向上したことにより，顔写真から特徴の各パーツの輪郭線を抽出し，その形状を最も的確に表現する点を抽出することで各パーツの位置関係を認識し，それに沿っイラストを，あらかじめ用意されたサンプルパーツイラスト群て顔写真の輪郭線をデッサン風になぞることで似顔絵を自動生から選択する．この手法は，顔の各パーツの形状にもとづく似成する手法[4,5,6,7,8]が多数提案されている．また，実写画像の顔絵の生成に成功しているが，唇の色や肌の色といった色情報

原色や輪郭線を強調することにより，油絵風やデッサン風の画

を似顔絵に反映できていない．また，生成される似顔絵の品質像に加工する手法[9,10]も提案されている．これらの手法により，は，あらかじめ用意される各パーツのサンプルイラストの品揃

実写画像の特徴をある程度適切に表現する似顔絵を自動生成でえに制限される．より細かな特徴を表現するには，サンプルパ

きる．しかし，色，ストローク，テクスチャなどの使い方が限ーツイラストの品揃えに制限されずに，より柔軟に似顔絵を生定されるため，生成される似顔絵の画風が限られてしまう場合成する必要がある．

がある．またこれらの手法では画像全体に加工を施すため，パ

似顔絵自動生成のためにモーフィング技術を適用した例としーツ単位で調整を加えることができない．また，実写画像を加て，Zhao ら[11]の手法がある．この手法では，複数の実写画像

工して似顔絵を生成するため，本論文の目的であるデフォルメとその似顔絵の対応関係を表す関数を算出し，この関数を入力のような極端な画風の表現が困難であると考えられる．

された実写画像に適用し，複数の似顔絵を選出する．選出されそこで本論文では両者の問題点を解決する手法として，実写

た似顔絵をモーフィングにより組み合わせることで，入力画像

画像の特徴を適切に表現するパーツイラストを合成し，これらの似顔絵を生成する．この手法を用いることで，サンプルイラ

を組み合わせて似顔絵を生成する手法を提案する．
本手法では，

スト等の品揃えに制限されることなく多様な似顔絵を生成できあらかじめ顔の各パーツに対していくつか（現在の我々の実装る．しかし顔全体にモーフィングを適用するため，目や眉とい

では目，口パーツに対して 4 種類，眉，鼻，輪郭パーツに対しった各パーツの特徴を詳細に表現することが難しい．

て２種類）のサンプルパーツイラストを用意しておくことを想本論文ではこれらの問題点を解決するために，モーフィング

定する．そして入力された実写画像の特徴にもとづき，サンプ

技術を顔の各パーツに適用する手法を提案する．
これによって，

ルパーツイラストにモーフィング技術を適用して変形すること

似顔絵生成結果がサープルパーツイラストの充実度に依存するで，実写画像の特徴を捉えたパーツイラストを生成する．これという問題点を軽減し，かつ顔の各パーツにおける詳細な特徴

により，似顔絵生成結果の質がサンプルパーツイラストの充実を逃さずに表現する．

度に依存することを軽減し，また顔を構成する各パーツの特徴を的確にイラストに反映できるようになる．

3. 提案手法

本論文は以下の構成をとる．まず 2 章で関連研究をまとめ，3
章で提案手法の内容について述べる．4 章で本手法の評価実験

本章では，モーフィング技術によって合成されたパーツイラについての考察を行い，5 章でまとめと今後の課題を述べる．

ストを組み合わせることによる似顔絵自動生成手法を提案する．
本手法ではまず，顔写真の入力画像を認識し，目や口といった181

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187
複数のパーツ画像に分割する．続いて，各々のパーツ画像に近フィングを適用しない特徴については，モーフィングで合成さい特徴を有する複数のサンプルパーツイラストを自動選択する．

れた各パーツイラスト画像に拡大縮小，回転を加えることによ

そしてこれらに対してモーフィングを適用することにより，入り表現する．

力画像の特徴に近いパーツイラストを合成する．最後にこれら著者らの実装では，「曲線入力」と「スライダ操作」の 2 通りを輪郭イラストの上に配置することで，似顔絵を生成する．

のユーザインタフェースによって，各特徴への該当度を対話的

なお，本手法では顔が正面向きであり，眼鏡や帽子などの装に指定できる．入力実写画像から自動取得できる代表点を用い飾品を身につけていない人物実写画像を入力画像として扱う．

て該当度を自動算出することも試みたが，現時点では採用していない．主な理由は以下のとおりである．

3.1 代表点の取得と入力画像の分割



著者らの経験上，日常生活における携帯電話等での撮影
写真からは，信頼性の高い代表点を得ることが困難な場

この処理では，入力画像から各パーツの代表点を取得し，こ合がしばしば起こる．

れにもとづき入力画像をパーツごとに分割する．我々の実装では detectFace();[12]の API を適用することにより，図 1 に示す点



髪型によっては眉や目の代表点を適切に取得できない．

群の x，y 座標値を取得し，これを代表点とする．続いて代表点

ユーザ自らの意思で特徴を多少デフォルメして似顔絵をのうち F1 と F6 の y 座標の差分として「顔の高さ」を求め，こ生成した場合もあり，その意思を入力できる手段を提供

れがあらかじめ設定された固定値となるように画像を拡大縮小することが本手法のアプリケーションとしての面白みにする．また，F1 と F6 を結ぶ直線を描き，この直線が垂直になつながると考えた．

るよう画像に回転を加える．以上の処理により，入力実写画像

本手法が提供するユーザインタフェースのうち，曲線入力はの大きさと角度を正規化する．また，得られた代表点にもとづユーザが該当度の数値を直接操作しないため，自身の特徴を明き，目，眉，鼻，口，輪郭を囲む矩形を作成し，入力実写画像

確に把握していなくても適切に似顔絵を作成できる．一方でスをパーツに分割する．

ライダ操作では，ユーザが生成された似顔絵を見ながら細かな該当度を調整することができる．各々の概要を次項で示す．

3.2.1 曲線入力による特徴該当度の算出
この処理ではユーザの手描き入力形状から，各特徴への該当度を算出する．ユーザは，3.1 節で分割された各パーツの実写画像に対して曲線を手描き入力し，その曲線の形状から各特徴に対する該当度を求める．入力する曲線の例を図 3 に示す．現時
点での実装では，輪郭パーツについて顔領域を囲む曲線，目パーツについて上下アイラインの曲線，眉パーツについて眉領域を囲む曲線，鼻パーツについて鼻先の輪郭線，口パーツについて唇領域の輪郭線の描画をユーザに求める．続いて入力された曲線を囲む最小矩形を作成し，その矩形の縦横比や面積から各パーツの大きさと太さ，鼻先への該当度を求める．また，入力された曲線の x 座標が最小となる点と最大となる点を結び，そ図 1．API により得られる座標点の位置と名称（[12]より転載）の傾きから目と眉の傾きへの該当度を求める．その他の特徴への該当度は，以下の処理により算出する．

3.2 特徴該当度の算出

・ 入力された曲線の y 座標が最小となる点を抽出し，これを曲

続いて本節では，入力実写画像を分割して得られた各パーツ

線の頂点とする．
頂点と曲線の x 座標が最小となる点を結んの特徴算出手法を示す．本手法で用いる各パーツの「特徴」をだ距離を上アイラインと眉山の位置への該当度とする．

表 1 に示す．これらの特徴は，似顔絵アーティストの書籍[13]・ 入力された曲線のx 座標が最小となる点と最大となる点のyに定義されている各パーツの特徴から，鼻孔や鼻のてっぺん，

座標の平均値を端点の高さとする．y 座標が最小となる点と歯の形状など，画風によっては描く必要がないと判断した特徴

端点の高さとの差分を上唇と下唇，
下アイラインへの該当度を除外し，それ以外の中から著者らの主観で選定したものであとする．

る．本手法では，表 1 に示した特徴のうちモーフィングを適用

・ 入力された曲線の y 座標が最大となる点を抽出し，これを曲する特徴について，その特徴を適切に表現するパーツイラスト

線の最下点とする．最下点から画像の垂直方向に一定値 y

画像を用意するものとする．現時点での実装では，表 1 に示さ座標を移動し，この点を通る水平線を描く．描いた水平線とれる特徴のうち「輪郭のあごの丸み」「目の上下アイライン」，

曲線の交わる 2 点を最下点と結び，この角度をあごの丸みへ「眉山の位置」「鼻先の形状」「口の上下唇の形状」に対してモの該当度とする．

ーフィングを適用する．これらの各特徴を表現するパーツイラ

以上の処理により特徴該当度を算出し，次節で示すモーフィ

スト画像を図 2 に示す．また，表 1 に示される特徴のうちモー

ング処理の重み付け係数として用いる．
182

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187

3.2.2 スライダ操作による特徴該当度の操作

表 1. 各パーツの特徴の要素
部位名
目

特徴名
上アイライン
下アイライン
傾き
大きさ
眉山の位置
太さ
傾き
大きさ
上唇
下唇
太さ
大きさ
鼻先
大きさ
あごの丸み
太さ
大きさ

眉

口

鼻
輪郭

(a)外寄り(b)内寄り具体例

この処理では，ユーザのスライダ操作によって特徴該当度を

内寄り
上向き
つり目
大きい
内寄り
太い
つり眉
大きい
上向き
上向き
太い
大きい
丸い
大きい
丸い
太い
大きい

外寄り
下向き
たれ目
小さい
外寄り
細い
たれ眉
小さい
下向き
下向き
細い
小さい
細い
小さい
細い
細い
小さい

(c)上向き(d)下向き指定し，それに沿って似顔絵を作成する．インタフェースの概観を図 4 に示す．ユーザは 3.2 節で示した特徴該当度に対応するスライダ（図 4 左端）を操作し，各パーツの加工結果を見な
がら似顔絵を作成する．

図 4. スライダ操作による似顔絵作成インタフェース概観

3.3 モーフィング
本手法では 3.2 節で求めた各パーツの特徴該当度をモーフィ(e)外寄り(f)内寄りング時の重み付けに用いて，入力画像の特徴をよく表現するパーツイラスト画像を合成する．本手法ではパーツイラストの線のタッチやテクスチャを保持するために，パーツイラスト画像にはラスタ画像を採用している．そのためイラスト画像のモーフィングには後述するメッシュ変形処理が必要である．パーツ(g)上唇下向き (h)上唇下向き (i)下唇上向き (j)下唇下向きイラスト画像にベクタ画像を採用した場合には，メッシュ変形に頼らずに各パーツの輪郭線に沿ったモーフィングが可能となる．これによって，さらにパーツ形状表現の幅が拡大する可能性もある．ただし，著者らの現時点での実装ではベクタ画像はまだ想定していない．ここで著者らの経験では，目パーツのよ

(k)細い

(l)丸い

(m)細い

図 2. パーツイラスト画像(n)丸いうな複雑なイラスト画像にモーフィングを適用すると曖昧な線を生じることがあった．そこで著者の実装では，これを防ぐためにイラスト画像を複数のレイヤーに分けて用意している．また著者の実装では，モーフィング時にイラスト画像間の対応する点として与える点群を，イラスト画像の輪郭線上から代表 20点を抽出して取得する．本手法では，これらの点群にもとづき三角形メッシュを形成し，各メッシュを参照して画素値を移動して複数のイラスト画像をモーフィングする．モーフィング時の対応点とメッシュの例を図 5 に示す．

図 5. モーフィング時のメッシュ形成例

図 3．パーツ画像への曲線の入力例

183

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187

3.4 髪型の判別

顔の凹凸により生じる影の影響を受けにくい部位であると判断

続いて本手法では，入力画像から髪領域を抽出する．髪領域したからである．
この処理では，まず 3.1 節で取得した特徴点 N1（図 1 参照）の抽出には色情報にもとづいた以下の手順を採用している．
Step1. 3.1 節で取得した代表点のうち F1, F2, F10（図 1 参照）のを中心とした 10×10 の矩形を作成し，この矩形内の RGB 値の点における RGB 値を参照し，この平均値を髪の基準色と平均を肌色として算出する．ただし，実写画像の撮影環境によする．

る影響によってイラストらしさが失われるのを避けるために，

Step2. 実写画像の左上端から順に，各画素の RGB 値を参照す

取得した肌色の HSV 値を一定の閾値内に収まるよう再計算する．当該画素の RGB 値と髪の基準色の差が一定値より小る．例えば色相が暖色の範囲を外れる場合，あらかじめ定めた

さい画素を集め，その平均色を算出する．

色相の上限値，下限値のうち近い値を肌色の色相として採用す

Step3. step2.で算出された平均色から，髪領域を抽出する．髪領域を表す画像の例を図 6 に示す．

る．明度に関しても同様に閾値より小さい場合には，あらかじめ定めた下限値を明度として採用する．なお「鼻先の画素値が以上の処理により得られた髪領域にもとづき，髪型を判別す

大きく肌色から外れている場合には，鼻先以外の部位の画素値

る．現時点では，前髪の分け目，前髪の重み，後ろ髪の長さのから肌の色を推定する」という手段をとることも，今後の課題

3 項目について判別する．本手法で判別する髪型の種類を表 2として考えられる．

に示す．前髪のおもみは，3.1 節で取得した代表点（図 1 参照）

以上によって算出した色を輪郭画像の肌の色とする．なお，

F3 と F9 を結ぶ直線を横，N1 と F1 を結ぶ直線の半分を高さと著者らの実行環境では画像処理ライブラリ OpenCV[14]を用いする矩形を作成し，この矩形内で髪領域が占める割合が閾値（現ており，色相の範囲を[0,360]とした場合，暖色系の範囲とは 0

時点では 0.5）以上である場合，前髪が重いと判定する．また，から 45，330 から 360 を指すとしている．

代表点 F3 から髪領域画像の底辺に垂線を下ろし，直線を作成する．この直線を画像左端から順に走査し，各 x 座標において

3.5.2 パーツの配置

直線の上端から下方に向けて髪領域が連続する画素数を数え上本手法では似顔絵アーティストの書籍[13]を参考にして 5 つげ，この値の最大値を顔の高さで正規化した値を髪の長さとすの配置パターンを定め，このいずれかを選択することで最終的る．本手法では，髪型のすべての組み合わせ(18 通り)に対してなパーツの配置座標を決定する．配置パターンを図 7 に示す．

サンプルイラストを用意しておく．そして髪型の判別結果にしパターンの選択は，
3.1 節で取得した代表点を平均座標点と比較たがって，対応するサンプルイラストを選択する．

し，各パーツの位置関係を算出することで決定する．平均代表点には，あらかじめ detectFace();[12]の API を 80 人の実写画像

表 2．髪型の種類
部位名
前髪のおもみ前髪の分け目後ろ髪の長さ

分類
重い
右分け
ショート

中央分け
ミディアム

に対して適用して得られた代表点群の平均座標値を用いている．
軽い
左分け
ロング

位置関係と配置パターンの決定基準を表 3 に示す．
表 3．配置パターンの決定基準
パターン名
外型
内型
上型
下型
平均型

決定基準
口と鼻が離れていて，左右の目が離れている
口と鼻が近く，左右の目が中心に寄っている
口，鼻，目，眉が平均より上側にある
口，鼻，目，眉が平均より下側にある
上記の 4 種類に属さない

外型

内型

下型

上型

図 6．髪領域画像

3.5 パーツの配置
本節では，3.3 節において生成されたパーツイラスト画像と，
3.4 節において選択された髪型サンプル画像および輪郭画像と合成する手法を示す．この処理では，まず輪郭画像の肌の色を加工し，続いて各パーツの配置座標を決定する．

3.5.1 輪郭画像の生成
本手法では，実写画像の肌の色を反映した輪郭パーツイラス
トにあらかじめ用意した耳パーツイラストを配置することにより，最終的な輪郭画像を生成する．著者の実装では鼻先付近の図 7．配置パターン

画素値から肌の色を推定する．鼻先付近を選んだ理由は，髪や

184

平均型

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187
年代

4. 評価実験

22%

62%

6% 9% 1%

本章では，提案手法を用いて作成した似顔絵に関する評価実験結果を示す．本実験では 20 代女性の被験者 9 名に，3.2 節で性別示したユーザインタフェースを操作してもらい，自分自身の似83%

顔絵を生成してもらった．なお，現時点の実装では男性のサン

17%

プルパーツイラストを用意していないため，女性を対象とした生成結果のみを用いて評価実験を行った．また提案手法の比較

面識の有無

対象として，あらかじめ用意されたパーツイラストの中から自

19%

38%

43%

身の特徴に類似するものを選択し，それらを組み合せて似顔絵を作成するシステム（以後，パーツ選択システムと呼ぶ）を採用した．これらを用いて著者らは，似顔絵の作成，生成結果，
既存手法との比較の 3 つに関する評価実験を実施した．各節で図 9. アンケート回答者の内訳

これらの評価実験の概要とその結果を示し，これに対する考察

4.1 似顔絵作成に関する満足度評価を述べる．本実験の回答者は 69 名であった．アンケートで使用した似顔絵の一部を図 8 に示す．また，アンケート回答者の内訳を図 9 に示す．

本節では，提案手法を実際に使用した被験者の満足度を評価する．本実験では被験者 9 名に対して，提案手法を用いて自分自身の似顔絵を作成してもらった．そして，その結果および過程に関する以下の質問に，5 段階で回答してもらった．
1)

モーフィングにより自分の欲しいパーツイラスト画像を作成できるようになったと感じたか2)

モーフィングにより満足する似顔絵を作成できたか

3)作成した似顔絵を実際に使ってみたいと感じたか
これらの回答に関する集計結果を図 10 に示す．
被験者の多くがモーフィングにより自分が満足できるパーツイラストを作成し，自分が満足して使える似顔絵を作成できていることがわかった．一方で，まだ特徴を定義していない髪について，具体的には髪質や髪型の広がりについて，微調整を加えたいといった意見があった．

図 10. 被験者へのアンケート結果

4.2 入力画像と似顔絵の比較評価
本節では，提案手法を用いて作成した似顔絵が入力実写画像の特徴を十分に捉えられているかを評価する．入力実写画像と提案手法を用いて作成した似顔絵を並べ，似顔絵が入力実写画
図 8. 被験者による似顔絵生成結果（左：入力画像，中央：パー像の特徴を十分に表現できているかについて評価を行った．集ツ選択システムによる似顔絵，右：提案手法による似顔絵）

計結果を図 11 に示す．回答者のうち，ほぼすべての被験者と面識がある人の評価が高いことがわかる．この一因として，被験者の性格や雰囲気など，入力画像だけでは判断できない要素が似顔絵生成に反映されていたことが考えられる．このことから
本手法のような似顔絵生成手法は，面識のある人どうしによるクローズドなコミュニケーションでの使用には特に効果的であると考えられる．
185

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187
さらに本実験では，入力実写画像と似顔絵 4 枚を並べ，その手法・パーツ選択システムにより生成された似顔絵をランダム中から入力実写画像から生成した似顔絵であると思われる画像に並べ，どちらの似顔絵がより特徴を捉えていると感じるかをを選択するクイズも実施した．なお，似顔絵 4 枚のうち 1 枚は調査した．集計結果を図 14 に示す．回答者のうち 8 割が，提案

入力画像をもとに作成した似顔絵であり，残り 3 枚は他者の顔手法により生成した似顔絵の方がより特徴を捉えていると評価

画像をもとに作成した似顔絵である．この結果を図 12 に示す．

した．

回答者のうち半数以上が，正しい似顔絵を選択することができた．また，図 11 に示す絶対主観評価と同様に，被験者と面識のある回答者の正解率が高い結果となっており，面識のある人ど
うしのコミュニケーションには特に効果的であると考えられる．
一方で被験者と面識のない回答者のコメントとして「被験者の図 13. 主観的な比較評価結果

顔のパーツの特徴や配置位置よりも実写画像の髪型や表情の影
響で判断した」という意見が多くあった．このことから，面識のない人に公開するオープンなコミュニケーションにおける似顔絵生成では，現時点で我々がまだ着手していない髪型や表情の表現が重要であると考えられる．また，パーツの特徴を誇張表現することで，その特徴に気づきやすくする，といった機能拡張も試みたい．

図 14. 客観的な比較評価結果

5. まとめと今後の課題
本論文では，顔を構成する各パーツに対して実写画像にもとづく特徴該当度を与え，その値に沿ってサンプルパーツイラス
ト画像に重み付けしてモーフィングを適用することで，似顔絵を生成する手法を提案し，実行結果を示した．ユーザインタフ
ェースによる生成結果を用いた評価実験では，既存手法と比べ
図 11. 似顔絵の絶対主観評価てモーフィングの適用によりユーザの欲しいパーツイラストを生成できていることがわかった．
今後の課題として，特徴該当度の算出手法の改良があげられる．現時点での実装では，ユーザの手描き入力やパラメタの操作により特徴該当度を算出しているが，顔の特徴点検出技術[16,17,18]を導入することにより該当度算出の自動化を試みた
い．自動化に伴い生じると考えられる照明条件の変化による誤差や前髪による眉の誤検出については，制約部分空間の学習[19]や rectangle filter[20]を用いることで解決したい．また，モー

図 12. 似顔絵の客観評価

フィングを適用できていない髪型については，髪の輪郭線の誇張[21]を適用することで入力画像の髪の特徴を似顔絵に反映し4.3 提案手法とパーツ選択システムの比較評価

たい．しかし一方で，4.1 節に示した評価結果からは，ユーザイ

本節では，提案手法により作成した似顔絵と，モーフィング

ンタフェースを介して被験者自身が特徴該当度を調節したことを伴わない単純なパーツ選択システム（文献[15]に類似するシが高い満足度につながっている可能性も示唆される．よって，

ステム）を用いて作成した似顔絵を比較し，どちらがより入力

該当度算出の自動化が実現されればユーザインタフェースが不実写画像の特徴を捉えているかを評価する．なお前節までの評要になると一概に言えるものではなく，むしろ両者を相補的に価では回答者に 5 段階評価での回答を求めてきたが，本節に示併用することが望ましいと考えられる．

す比較評価に限り，提案手法と既存手法との優劣を明確に評価

その他の課題として，男性を含めた被写体層の拡大や，さましてもらうために，あえて「どちらも同程度」という評価を認

ざまな画風のイラスト画像を対象とした似顔絵生成に取り組み，

めさせない 4 段階評価での回答を求めた．

その結果に対する評価を進めたい．

本実験では，入力実写画像 1 枚と，提案手法・パーツ選択シ

本論文では似顔絵の自動生成手法を提案し関連手法と比較議

ステムの両者で作成した似顔絵を並べ，提案手法による似顔絵論してきたが，それとは別に手描き風画像制作のためのペインの方がより特徴を捉えていると感じるかを 4 段階で回答してもティング支援ツールの研究[22]も進んでおり，このようなツーらった．集計結果を図 13 に示す．回答のうち 6 割以上が提案手

ルとの融合も今後の展開として考えられる．

法の方がより特徴を捉えられていると評価した．続いて，提案
186

芸術科学会論文誌 Vol. 14, No. 5, pp. 180-187

参考文献

Understanding., Vol. 61, No. 1, pp. 38-59, 1995.
[18] 松田, 原, 前島, 森島, 顔形状の制約を付加したLinear[1] 岩下, 鬼沢, 主観的印象を考慮した言語表現による似顔絵

Predictorsに基づく特徴点自動検出, 電子情報通信学会論文誌. D,

描写, 電子情報通信学会論文誌. D-I, 情報・システム, I-情報処理

情報・システム, J95-D(8), pp. 1530-1540, 2012.

J83-D-1(8), pp.891-900, 2000.

[19] 福井, 山口, 鈴木, 前田, 制約相互部分空間法を用いた環[2] 河出, 細井, 田畑, 秋間, イラストレータの画風を実現する

境変動にロバストな顔画像認識 : 照明変動の影響を抑える制

似顔絵自動作成技術, 電子情報通信学会技術研究報告. HIP, ヒ

約部分空間の学習, 電子情報通信学会論文誌. D-II, 情報・シス

ューマン情報処理 97(117), pp.33-40, 1997.

テム, II-パターン処理, J82-D-II(4), pp. 613-620, 1999.

[3] Y. Liu, Y. Su, Y. Shao, Z. Wu, Y. Yang, A Face Cartoon Producer[20] 李, 小畑, 顔のスケッチ画像の抽出, 電子情報通信学会論

for Digital Content Service, Workshop of Mobile Multimedia

文誌. D-II, 情報・システム, II-情報処理, J80-D-2(8), pp.2161-2169,

Processing, Lecture Notes in Computer Science, Vol. 5960, pp.

1997

188-202, 2010.

[21] 吉澤, 坂本, 漫画的似顔絵における髪型の表現・強調につ[4] 村上, 輿水, 中山, 福村, 錯視を用いた似顔絵生成システム

いての考察, 電子情報通信学会技術研究報告, ITS 105(609), pp.

PICASSOについて, 情報処理学会論文誌 34(10), pp.2106-2116,

121-126, 2006.

1993.

[22] R. Shilkrot, P. Maes, J. A. Paradiso, A. Zoran, Augmented[5] H. Chen, Y.-Q. Xu, Heung-Yeung Shum, Song-Chun Zhu,

Airbrush for Computer Aided Painting (CAP), ACM Transactions on

Nan-Ning Zheng, Example-based Facial Sketch Generation with

Graphics, Vol. 34, No. 2, pp. 1-11, 2015.

Non-Parametric Sampling, IEEE International Conference on

小松 璃子Computer Vision, Vol. 2, pp.433-438, 2001.
[6] H. Chen, N.-N. Zheng, L. Liang, Y. Li, Y.-Q. Xu, H.-Y. Shum,
PicToon: a Personalized Image-based Cartoon System, ACM
International Conference on Multimedia (MM’02), pp. 171-178, 2002.
[7] I. Berger, A. Shamir, M. Mahler, Style and abstraction in portrait
sketching, ACM Transactions on Graphics (TOG) - SIGGRAPH 2013
Conference Proceedings Volume 32 Issue 4, Article No. 55, 2013.
[8] J. Xie, A. Hertzmann, W. Li, H. Winnemöller, PortraitSketch: facesketching assistance for novices, Proceedings of the 27th annual ACM
symposium on User interface software and technology, pp. 407-417,

2014 年お茶の水女子大学理学部情報科学科卒業．
現在お茶の

2014.

水女子大学大学院人間文化創成科学研究科理学専攻博士前期課[9] M. Meng, M. Zhao, S.-C. Zhu, Artistic Paper-Cut of Human

程在学中．

伊藤 貴之

Portraits, ACM International Conference on Multimedia (MM’10), pp.
931-934, 2010.
[10] N, Ji, X. Chai, S. Shan, X. Chen, Local Regression Model for
Automatic Face Sketch Generation, International Conference on
Image and Graphics, pp. 412-417, 2011.
[11] M. Zhao, X. Yang, Sketch-style Face Image Synthesis via
Constrained Least Squares Estimation, International Conference on
Computational Problem-Solving, pp. 529-532, 2011.
[12] detectFace();, http://detectface.com/[13] 小河原智子, “小河原智子の似顔絵入門”，五十嵐優（編），主婦の友社，東京，2012．

1990 年早稲田大学理工学部電子通信学科卒業．1992 年早稲[14] OpenCV, http://opencv.jp/

田大学大学院理工学研究科電気工学専攻修士課程修了．同年日[15] 西野, 金子, 形状と配置特徴を独立に制御可能な顔画像の本アイ・ビー・エム(株) 入社．1997 年博士(工学)．2000 年米インタラクティブ操作システム―顔特徴の解析と似顔絵生成へ

国カーネギーメロン大学客員研究員．2003年から2005年まで京の応用—, 情報学インタラクション2005, B-225, 2005

都大学大学院情報学研究科COE研究員（客員助教授担当）．2005[16] T. F. Cootes, G. J. Edwards, C.J. Taylor, Active Appearance

年日本アイ・ビー・エム(株) 退職，お茶の水女子大学理学部情Models, 5th European Conference on Computer Vision, Vol. 2, pp.

報科学科助教授．2011年同大学教授，同大学シミュレーション

484-498, 1998.

科学教育研究センター長，ACM, IEEE Computer Society, 芸術科[17] T. F. Cootes, C. J. Taylor, D. Cooper, J. Graham, Active Shape

学会，他会員．

Models - Their Training and Application, Computer Vision and Image
187