芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)

似顔絵間の差異に着目した対話的な似顔絵制作システムの提案
小松璃子 1)（学生会員）

伊藤貴之 2)（正会員）

1) 2) お茶の水女子大学大学院人間文化創成科学研究科 理学専攻 情報科学領域

An Interactive Cartoon Generation System focusing on
Difference among Multiple Cartoons
Akiko Komatsu1) (Student Member)

Takayuki Itoh2) (Member)

1) 2) Ochanomizu University{akiko, itot}＠itolab.is.ocha.ac.jp
アブストラクトSNS やゲームをはじめとする様々な場面において，似顔絵のアバターやアイコンが使用される機会が増えている．これらの似顔絵を電子的に制作する手法として，自身の顔の特徴に似ていると感じるパー
ツイラストを選択し，これらを配置する手法が広く普及している．特に，複数の人物の似顔絵を同時に制作する際に，各被写体の特徴をよく捉えた似顔絵を制作するには，被写体間の差異を表現するパーツ
イラストを選択・配置することが効果的である．しかし例えば，似たような特徴をもつ複数の被写体から似顔絵を制作する際に，各被写体の特徴を捉えつつ被写体間の差異も表現することは簡単ではない．
本論文では，似顔絵が単体として被写体の特徴を捉えているかどうかだけでなく，他者の似顔絵と比べた相対的な表現も重要であることに着目し，似顔絵間の差異を可視化しながら対話的な似顔絵制作を支援する似顔絵制作システムを提案する．これにより，ユーザは相対的に被写体の似顔絵の特徴を把握することができ，被写体の特徴を捉えた似顔絵を制作できるようになる．
[要件2] 他の似顔絵との区別がつく程度に独自性のある似顔

1. はじめに絵を制作できる

SNSの普及に伴い，人物の特徴を表した似顔絵を使用する機を満たすことが重要である，という用途は多々あるといえる．

会が増加している．似顔絵は，SNSやソーシャルゲーム上のア

さらに注意すべき点として，
上述の2つの要件は必ずしも両立

バターとして，写真加工によるスタンプとして，顔の特徴を伝するとは限らない，という点がある．例えば，非常に似ているえる媒体として，その他にもさまざまな用途で使われている．

数人の被写体から同時に似顔絵を制作するときに，
上述の2つの

このような場面で似顔絵を活用するに際して，似顔絵が写実的要件を同時に満たすことは簡単ではない．このような状況におな意味で被写体に似ていることは必ずしも重要であるとは限らいて制作者は，他の似顔絵とのバランスをとりながら主観的なない．むしろ，被写体が誰であるかを面識のある人にさえ認識判断によって似顔絵を調整する必要がある．よって本研究におしてもらえる程度に特徴を捉えた似顔絵が制作できれば十分でいて，全自動型の似顔絵生成システムを開発することは必ずしある，という用途も多い．例えばSNSの友人やソーシャルゲー

も最適な手段とは限らない．むしろ，制作者の主観的な判断をムの対戦相手が，その似顔絵が他の人ではない誰かであること支援する対話操作型の似顔絵生成システムが有用であると考えさえ特定できれば，それだけでその似顔絵は十分に役割を果たられる．しかし，このような観点で設計された似顔絵生成シスしているといえる．以上の背景を踏まえると，現代の似顔絵のテムはまだ前例が少なく，検討の余地があると考えられる．

中には，写実的な意味で似ていることよりも，以下の2つの要件

本論文では，写実的な似顔絵ではなく積極的にデフォルメを[要件1] 被写体をよく知る人が認識できる程度に特徴をとら施すような似顔絵を制作する場面において，他者とは異なる被えた似顔絵を制作できる

写体特有の特徴を捉えた似顔絵を制作するために，似顔絵単体

49

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)
区がつくような特徴を主観的な判断で表現する必要がある．

が被写体の特徴を表現できているかどうかだけでなく，他者の似顔絵と比べて相対的に特徴を表現できているかを可視化する

複数の似顔絵を比較して似顔絵を生成する対話型システムの似顔絵生成システムを提案する．本システムでは，複数の似顔

例として，中州ら[15]の方法がある．この手法では，複数の似顔絵を画面上に表示し，それぞれの似顔絵を構成するパーツイラ

絵から被写体に似ていると感じる似顔絵を選択する操作を繰りストのパラメータをもとに，他者の似顔絵との類似度を算出し返し，対話型GAにより似顔絵を提示することで，ユーザが持つて可視化画面上にプロットすることで，似顔絵群の類似度分布

被写体の印象やイメージから直観的な操作で似顔絵を生成する

をユーザに示す．また，似顔絵の各パーツ（目，眉などのパーことができる．しかし，対話型GAを使用しているため生成されツ）が与える印象の大きさに関するアンケート結果にもとづいる似顔絵にランダム性があり，意図した似顔絵を生成できないて，他の似顔絵との違いを表現するために効果的なイラストの場合がある．

パラメータをユーザに提示する．これによりユーザは，現在制

このほかの似顔絵を制作する手法として，顔写真とデッサン

作中の似顔絵が他のどの似顔絵と似ているか，または異なって風の似顔絵の学習データからMRF (Markov Random Field) モデ

いるかを確認しながら，被写体に似ていると感じる似顔絵に近ルを算出して似顔絵を自動生成する手法[6,7,8,9]や，顔写真からづくようにパラメータを操作することができる．結果として本特徴点を抽出することで各パーツの位置関係を認識し，それに手法は，他の似顔絵と非常に似た似顔絵を制作することを避け

沿って顔写真の原色や輪郭線を強調することにより，油絵風やつつ，他の似顔絵にはない被写体特有の特徴を捉えた似顔絵をデッサン風の画像の似顔絵を自動生成する手法[10,11,12,13,14]が多数提案されている．近年は，GAN (Generative Adversarial

制作するというタスクを支援する．
本論文は以下の構成をとる．まず2章で関連研究をまとめ，3

Network) の応用研究としてアニメや漫画風の似顔絵を生成す

章で提案手法の内容について述べる．
4章で本手法のユーザテスる手法[18]が提案されている．これらの手法により，実写画像のト，評価実験についての考察を行い，5章でまとめと今後の課題

特徴を忠実に表現する似顔絵を自動生成できる．しかし，色，を述べる．

ストローク，テクスチャなどの使い方が限定されるため，生成される似顔絵の画風が限られてしまう場合がある．特に，実写画像を加工して似顔絵を生成する手法では，デフォルメのよう2. 関連研究

な極端な画風の表現が困難である．また，これらの手法では画像全体に加工を施すため，パーツ単位で細かな調整を加えるこ

似顔絵を電子的に制作する手法として，目や口といった顔のとができない．

パーツごとに用意された複数のイラスト画像の中から，ユーザ
自身のパーツの特徴を捉えていると思うものを手動選択し，こ

本論文では，パーツイラストの自動選択手法を用いて生成しれらを組み合わせる手順を採用したシステムが商用的に普及した似顔絵について，他者の似顔絵との類似度および非類似度をている．さらに，このパーツ選択と画像合成を自動化すること可視化し，相対的に似顔絵の特徴を把握できるシステムを提案

で似顔絵を自動生成する手法[1,2,3,4,5]が多数研究されている．

する．これにより，ユーザは似顔絵が被写体の特徴を捉えていSepehriら[1]は，サンプルデータとして顔写真とその似顔絵を用るかどうかを俯瞰的に把握することができる．また，提案シス

意し，被写体とサンプルデータの顔パーツの形状のハウスドル

テムでは，似顔絵の各パーツが与える印象の大きさにもとづき，

フ距離が最も小さい顔写真の似顔絵からパーツイラストを抽出

他の似顔絵との違いを表現できるパーツイラストのパラメータ

し，これらを組み合わせて似顔絵を生成する手法を提案した．

を対話的に提示する．ユーザは，提示されたパラメータを参考

また，Zhangら[2]は，サンプルデータの顔写真から各パーツの特にして各パーツイラストの形状を対話的に操作することができ徴量を算出し，k近傍法を使って被写体の顔パーツの特徴量に最る．

も近いパーツイラストを自動選択する手法を提案した．この方法は，世代・性別を問わず，あらゆる被写体に対してある程度

3. 提案手法

適切なパーツイラストを選択することが可能である．しかしながら，似たような特徴をもつ被写体（同世代で同じような髪型

本システムでは，はじめに，被写体の顔写真をもとに初期似の被写体など）には同じようなパーツイラストが選択されるた顔絵を自動生成する．まず本システムでは，筆者らの既存手法

め，被写体の特徴を十分に表現できない場合がある．筆者らは[16]を適用して初期似顔絵を生成する．既存手法では，評価実験

これらの問題を解決するために，あらかじめ用意したパーツイの結果からユーザインタフェースを介してユーザ自身が似顔絵

ラストから被写体の特徴に沿ったパーツイラストを自動合成し，のパラメータを調節することが，似顔絵に対する高い満足度にこれらを組み合わせて似顔絵を自動生成する手法[16]を提案しつながっている可能性が得られた．しかしながら，前述のようた．この手法では，パーツイラスト画像に対して，被写体の顔に，同世代の似たような複数の被写体の似顔絵を制作するシナの特徴に基づく重みでモーフィング技術を適用し，パーツイラ

リオにおいて，一般ユーザが他の似顔絵とのバランスを取りな

スト画像を合成する．これにより，被写体の詳細な特徴を捉えがら，各被写体の特徴を表現する似顔絵を制作することは容易

たパーツイラストを組み合わせて似顔絵を生成することができではない．
そこで本手法では，他の似顔絵との違いを可視化し，る．しかしながら，1章で述べた[要件1][要件2]を満たすには，違いを表現するために効果的なパーツイラストのパラメータを似顔絵単体が特徴を捉えているかどうかだけでなく，他者との提案する似顔絵生成システムを提案する．ユーザは自動生成さ50

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)
図1(E)・・・他の似顔絵との違いを表現するために有効なパラれた初期似顔絵の各パーツパラメータを，ユーザインタフェー

メータ（以降，推奨パラメータとする）の表示

スを使って操作することで，他の似顔絵と似すぎないように，

図1(F)・・・他者の似顔絵との類似度

かつ被写体の特徴を失わないように，といった点を意識しながら似顔絵を調整することができる．提案システムのスナップシ

提案システムは，図1(D),(E),(F)の機能により，1章で述べた[要ョットを図1に示す．また，ユーザインタフェースの表示内容を件1][要件2]を両立するような似顔絵の制作を支援する．本章で以下に示す．
図1(A)・・・似顔絵のパラメータを操作するパネル

は，3.1節で初期似顔絵の自動生成方法を述べ，3.2節で他者の似図1(B)・・・制作中の似顔絵

顔絵との類似度の可視化方法を示し，3.3節で推奨パラメータの図1(C)・・・被写体と似顔絵の一覧

決定手法を述べる．

図1(D)・・・各似顔絵のパーツイラストのパラメータ値

図1. 提案システムのインタフェース．

部位
目

眉

鼻

特徴名
上アイライン
下アイライン
大きさ
傾き
位置（上下）
位置（左右）
瞳の色
眉山の位置
大きさ
傾き
縦横比
位置（上下）
位置（左右）
眉の色
小鼻
大きさ
縦横比
位置（上下）

表1. 顔パーツの特徴．
対義語
部位
内寄り
外寄り
口
上向き
下向き
大きい
小さい
つり目
たれ目
上
下
左
右
輪郭
内寄り
外寄り
大きい
小さい
つり眉
たれ眉
縦に太い
横に長い
髪型
上
下
左
右
丸い
細い
大きい
小さい
縦に長い
横に広い
上
下
51

特徴名
上唇
下唇
大きさ
唇の縦横比
位置（上下）
唇の色
頬の丸み
大きさ
縦横比
肌の色
前髪
後ろ髪
髪の色

対義語
上向き
下向き
上向き
下向き
大きい
小さい
厚い
薄い
上
下
丸い
細い
大きい
小さい
縦に長い
横に太い
-

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)

3.1 初期似顔絵の生成

域を，あらかじめ用意された11種類の髪型イラスト画像と形状

この手法では表1に示すように，各特徴を表現するパーツイとマッチングすることで，髪型イラストを選出する．ここで入ラスト画像をあらかじめ用意する．そして，パーツイラスト画

力画像から髪領域を抽出するために，本手法では，3.1.1節で取像に対してモーフィング技術を適用し，被写体の顔の特徴に基得した顔パーツの位置にもとづいて，被写体のこめかみ部分のづく重みでパーツイラスト画像を合成する．最後に，被写体のRGB値を髪色の基準色として採取し，RGB 値が基準色±70 の髪領域をもとに髪型を自動判別し，これらを組み合わせて初期

領域を，顔の輪郭線に沿って前髪と後ろ髪領域に分割する．髪似顔絵を自動生成する．本節では，3.1.1項で既存手法[16]のパ領域および髪型イラストのサンプル画像を図3,4に示す．
続いて本手法では，抽出した髪領域と髪型イラストの形状のーツイラスト画像の合成，3.1.2項で髪型判別の詳細について述

類似度を以下の式で算出する．

べる．なお，既存研究に対して髪型の種類が少ないといったフィードバックが得られたことから，髪型判別の改善手法とし∑て，髪型イラストを前髪と後ろ髪に分けて，それぞれの髪型イ

𝑚

sgn ℎ

∙ logℎ𝑚sgn ℎ∙ logℎ

ラストを自動判別する処理を追加で実装した．

…

|𝑚

𝑚 |

(2)

ここで，ℎ とℎ はそれぞれ髪領域と髪型イラストの7つ(𝑖3.1.1 モーフィングによるパーツイラスト画像の合成

1 … 7)のHuモーメント不変量を表す．𝑚 と𝑚 は，画像処理ラモーフィングによる画像合成は，表1に示される特徴のうち

イブラリOpenCVにおける形状比較の関数MatchShapes[19]で使「目の上下アイライン」，「眉山の位置」「小鼻の形状」「口用される計算式を採用した．本手法では，式(2)の計算結果の値の上下唇の形状」に対して適用する．また，モーフィングで合が最も小さい髪型イラストを，似顔絵の髪型として選択する．

成された各パーツイラスト画像に拡大縮小，回転，移動を加え最後に，3.1.1節で生成した似顔絵のパーツイラストと髪型イることにより，モーフィングを適用しない特徴を表現する．モ

ラストを組み合わせて，初期似顔絵を自動生成する．ユーザはーフィングの重みは，FaceTracker[17]を使用して取得した顔パ

提案システムを操作することで，自動生成された似顔絵に対しーツ形状から各特徴への該当度を算出し，これらを正規化するて，表1に示した特徴を調整できる．さらにユーザは提案システことで算出する．各特徴への該当度の算出方法を図2に示す．

ム上で，メガネ，チーク，ほくろ（この3点を以下アクセサリーと称する），髪型を変更できる．

算出した特徴該当度を最小値が0，最大値が1となるように正規化し，これをモーフィング処理の重み係数として用いる．正規化には，あらかじめサンプル顔画像200枚にて算出した特徴該
当度の平均値𝐴

，最大値𝐴

，最小値𝐴

を使用する．

各特徴該当度を𝐶とすると，モーフィングの重みづけ𝐷は以下の式によって得られる．
0.5, 𝐴𝐷, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

𝐶(1)

図3. 後ろ髪・前髪の領域抽出結果．

図4. 後ろ髪・前髪のサンプルイラスト．

3.2 他者の似顔絵との類似度の可視化
本システムでは，似顔絵間の類似度を可視化する機能として，似顔絵を構成するパーツイラストのパラメータ値を多次元尺度構成法 (MDS: Multi Dimensional Scaling) によって次元削減した
図2. 各特徴への該当度の算出方法．(a)目の上下アイラインと結果を表示する．可視化結果の例を図5に示す．この可視化結果

傾き，(b) 眉山の位置，(c) 上下唇，(d) 頬の丸み．

は，それぞれの似顔絵の被写体の番号をプロットしており，似顔絵の特徴量が異なるほど遠い距離にプロットを配置する．図3.1.2 髪型の判別

5では，被写体の番号が0から6である7名の似顔絵のパラメータ
値を次元削減した結果をプロットしている．これらのプロット

続いて本手法では，顔写真から抽出した前髪領域と後ろ髪領
52

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)
は，ユーザがパーツイラストのパラメータを操作する度に更新される．ユーザはこの可視化機能を参照することで，例えば他者の似顔絵と比べて相対的に特徴を表現するために，プロット間の距離を大きくするようにパーツイラストのパラメータを調整することができる．これらのパラメータを調整して再度プロットした例を図6に示す．この例では，ユーザが被写体番号0と

図7. 肌色の色番号．

4の差異を表現するために，被写体番号0の目の下アイラインのパラメータを0.1から1.4に，被写体番号4の目の下アイラインのパラメータを0.2から0.0に変更している．図5と比較して被写体
番号0と4の距離が遠くなるようにプロットされたことがわかる．
次元削減手法にはMDS以外にも，主成分分析 (PCA: Principal
Component Analysis), t-SNE (t-distributed Stochastic Neighbor
Embedding), UMAP (Uniform Manifold Approximation and
Projection)などの手法が知られている．本手法では対話操作の一環として次元削減を用いることから計算時間が小さいことが重要であり，かつデータ要素間の距離を画面空間上で保つことが重要である．この2点により提案システムではMDSを採用した．

図8. パラメータの値の比較．

MDSの入力値は，各似顔絵のパーツイラストのパラメータを

3.3 推奨パラメータの表示

範囲[0,1]に正規化した値の配列とする．なお，アクセサリーの有無を表す次元では，アクセサリーが有る場合を正の定数（筆提案システムでは，似顔絵間の差異を効果的に表現できるパ者らの実装では経験的に0.3としている）とし，アクセサリーがラメータ（推奨パラメータ）をユーザに提示する．推奨パラメ

無い場合を0として入力する．髪型については，形状の似ているータは以下の3つの要素のいずれかを満たすものが選出される．

髪型が近い数字になるようにあらかじめ番号を割り当て，これ

似顔絵に対して与える印象（印象度）が大きい

らを正規化した値をMDSの入力値とした．髪色と肌色，唇の色



似顔絵の各パラメータにおいて，他者との差分が小さいも髪型と同様に，類似する色が近い数字になるようにあらかじ

被写体の顔の特徴量において，他者との差分が大きい

め番号を割り当てておき，これらを正規化した値をMDSの入力

以下，3.3.1節で印象度の測定結果について，3.3.2節で推奨パ値とした．色番号は，色差の計算式CIEDE2000を使って算出しラメータの計算方法について述べる．

た値にもとづいて割り当てた．色番号のサンプルを図7に示す．

3.3.1 似顔絵の各パラメータが与える印象の大きさ

さらに提案システムでは，各似顔絵のパーツイラストのパラ
メータの値（特徴量）を比較する機能として，ユーザが操作し筆者らは，似顔絵の各パラメータが似顔絵の印象に対してどている特徴量の値をY軸とした平行座標グラフを表示する（図の程度の影響を与えるかを調査するために，アンケートを実施

8）．ユーザは，他の似顔絵のパラメータ値を参考にしながら，した．アンケートの事前準備として，表1に示した似顔絵のパー

他の似顔絵との差異を強調するなどにより，被写体の個性を誇

ツパラメータ（全31項目から髪の色を除いた30項目）のうち特張した似顔絵を制作することができる．

定のパラメータの値のみを変更した2枚の似顔絵を生成し，2枚1組の似顔絵を30組生成した．そして回答者に，2枚の似顔絵を比較して印象の差異の大きさを5段階で回答する，という評価を30組の各々について実施するように依頼した．本アンケートを20代女性57名に依頼して回答を収集した結果を図9に示す．
この図では，値が大きいパラメータほど似顔絵の印象に影響を与えやすいことを示す．
アンケート結果より，「輪郭の大きさ」「目の位置（左右）」「唇

図5. 似顔絵間の類似度の可視化結果の例1．

の位置」「目の大きさ」「髪型」のパラメータが，似顔絵の印象を特に大きく左右していることが確認された．
パーツ単位では，目，輪郭，髪が与える印象が大きく，唇がそれに続いている．
また，すべてのパーツにおいて，各パーツの形状よりも，パーツの位置が，
より印象の差異に影響を与えることが確認された．
提案システムでは，アンケート結果より得られた似顔絵パラ
メータの印象度を𝐼とし，3.3.2節にて後述する推奨パラメータの算出式に用いる．

図6. 似顔絵間の類似度の可視化結果の例2．
53

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)

4.1 似顔絵の制作結果

髪型[唇]唇の⾊[唇]位置（上下）[唇]縦横⽐[唇]⼤きさ[唇]下唇の形[唇]上唇の形[⿐]位置（上下）[⿐]縦横⽐[⿐]⼤きさ[⿐]⼩⿐の広さ[眉]⾊[眉]位置（左右）[眉]位置（上下）[眉]縦横⽐[眉]⾓度[眉]⼤きさ[眉]眉⼭の位置[⽬]瞳の⾊[⽬]位置（左右）[⽬]位置（上下）[⽬]⾓度[⽬]⼤きさ[⽬]下アイライン[⽬]上アイライン[輪]肌の⾊[輪]縦横⽐[輪]⼤きさ[輪]丸み

提案システムを用いて被写体 7 名の似顔絵を制作してもらった結果を図 10(A)~(E)に示す．実験参加者は 5 名の 20 代女性であり，5 名とも計算機科学を専攻する学生であった．また，提案手法の比較対象として， 3.2 節および 3.3 節で示した可視化機能と推奨パラメータの表示機能を削除した比較システムを用意した．
この比較システムを用いて 20 代女性の実験参加者 3 名に被写体 7 名の似顔絵を制作してもらった結果を，図 10(F)~(H)に示す．
提案システムを使用した実験参加者 5 名と，比較システムを使用した 3 名に対して，似顔絵の制作結果の満足度を 5 段階で回答してもらった．なお，5 段階は 1 に近いほど不満であり，5に近いほど満足していることを示す．その結果，提案システムを使用した 5 名の回答の平均は 3.6 であり，比較システムを使用した 3 名の回答の平均は 3.0 となった．このことから，提案
システムを使用した方が制作者の満足度が高いことが確認された．また，提案システムを使用した実験参加者 5 名に対して，
似顔絵の制作過程について，以下の質問に 5 段階で回答してもらった．回答結果を図 11 に示す．
1)

類似度の可視化によって，似顔絵同士の特徴の差異を把握することができた

2)

類似度の可視化は特徴を捉えた似顔絵制作の役に立った

3)

各パラメータの可視化によって，他の似顔絵のパラメー
タ値を参考にすることができた

4)

推奨パラメータは特徴を捉えた似顔絵制作の役に立った
なお，回答は 1 に近いほど否定的であり，5 に近いほど肯定的であることを示す．
加えて，提案システムを使用した感想を自由記述で依頼した結果，可視化機能に関するコメントでは，「自分の印象と似顔絵

図9. 似顔絵の各パラメータの印象度のアンケート結果．

の特徴が離れていないかを確認できた」「似ている被写体どうし3.3.2 推奨パラメータの決定が，きちんと可視化機能においてに近くに配置されているかを提案機能では，パラメータの印象度および被写体の特徴量の確認するのに役立った」という回答が得られた．実験参加者の分散が大きく，また他者の似顔絵とのパラメータ値の差分が小多くが，可視化機能によって，被写体の特徴の差異を意識してさいほど，被写体間の差異を表現しやすいパラメータであると似顔絵を制作できるようになったことが確認された．また，推仮定し，以下の式を用いて推奨パラメータを決定する．

奨パラメータに関するコメントでは，「どのパラメータを操作す𝑃るか迷ったときに参考にした」「なんとなく違うけど何を変えれ(3)

ばいいかわからない時の参考になった」という回答が得られた．

ここで，𝜎 は被写体aのパラメータ𝑥における平均からの偏このことから，3.2 節，3.3 節で提案した機能が，1 章であげた差を示し，𝑀𝐷 は，被写体aのパラメータ𝑥における中央値か[要件 1][要件 2]に対して，似顔絵制作者をある程度満足させる

らの偏差を示す．また，𝑑 は被写体aの似顔絵のパラメータ𝑥

情報を提示できていることが確認された．なお，推奨パラメー

における他者の似顔絵との差分の合計値を示す．𝑑 はユーザ

タについては，似顔絵制作の終盤では制作者自身の判断でパラがパーツイラストのパラメータを操作する度に再計算される．

メータを微調整するため，あまり参考にしなかったといった回

𝐼 は3.2.1節で調査したパラメータ𝑥の印象度を示す．本機能で答も得られた．

は，式(3)で得られた値が大きいパラメータを，推奨パラメー

1)
2)
3)
4)

タとしてユーザに提案する．

4. 似顔絵の制作結果と評価

0%

本章では，提案システムを使って制作した似顔絵を示し，そ

20%

40%
5 4

3

60%
2 1

80%

100%

図 11. 提案システムを使用した実験参加者のアンケート結果．

の似顔絵に対して評価実験を行った結果と考察を述べる．
54

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)

4.2 似顔絵の評価実験
本節では，
4.1 節で示した似顔絵に対する評価実験の概要と結果，考察を述べる．本実験は 10 代～40 代の女性の参加者 68 名に対して実施した．回答者の内訳を表 2 に示す．

年代
人数
システムの
使用経験
人数

表2. アンケート回答者の内訳．
~20 歳 ~30 歳 ~40 歳 ~50 歳
37
30
0
1
使用した
ことがある
7

使用した
ことがない
58

22

51

14

66

提案機能
なし
提案機能
あり

5

51 歳~
0

4

39

18 6

37

3

2

17 2

1

図 12. 似顔絵の評価結果．

わからない

本実験では，被写体画像と提案手法を用いて制作した似顔絵をランダムに 5 枚を並べ，それぞれの似顔絵がどの被写体画像から生成した似顔絵であると思われるかを選択させるクイズを(単語の登場回数)

輪郭の形

鼻の形

口の形

目の形

眉の形

提案機能あり顔パーツの色雰囲気・表情ッカート尺度により 5 段階評価させた．この結果を図 12 に示配置

絵が人物の特徴を適切に表現できているか（似ているか）をリ

アクセサリー

また，提案手法を用いて制作した似顔絵と，4.1 節で述べた比較システムを用いて制作した似顔絵のそれぞれについて，似顔メイクが被写体の特徴を十分に表現できていたことが確認された．

肌色

は約 91%であった．このことから，提案システムによる似顔絵

髪色実施した．この結果，回答者が正しい似顔絵を選択できた割合

髪型

45
40
35
30
25
20
15
10
5
0

3

提案機能なし図 13. 特徴を捉えていると評価した理由に登場した各単語のす．5 段階評価は 1 に近いほど否定的であり，5 に近いほど肯定

回数．

的であることを示す．その結果，回答のうち半数以上が特徴を捉えている（5 段階評価の 4 または 5）と評価していることが確

5. まとめと今後の課題

認された．また，特徴を捉えていない（5 段階評価の 1 または2）とされた似顔絵の数は，提案手法を用いた場合の方が少なか

本論文では，デフォルメされた似顔絵を制作する際に，似顔った．提案システムを使用した似顔絵と比較システムを使用し絵単体が被写体の特徴を捉えているかどうかだけでなく，他者た似顔絵の評価の平均値の差は，提案システムを使用した似顔の似顔絵と比べた相対的な表現も重要であることに着目した似絵の方が 0.058 ポイント上回った．この結果について有意水準
5%の両側検定の t 検定を行った結果，𝑡 135

0.78, 𝑝

顔絵生成手法について議論した．そして，他者の似顔絵との類

0.43

似度，およびパラメータの差分を可視化する機能や，他の似顔であり，有意差は認められなかった．

絵との違いを表現するために効果的なパーツイラストのパラメ

本実験では，特徴を捉えていると評価した似顔絵について，

ータをユーザに提示する機能を備えた似顔絵生成システムを提その理由を自由記述するように依頼した．収集したコメントを案した．提案システムを使用することでユーザは，現在制作中

13 種類の単語で分類し，各単語の登場回数で集計した結果を図の似顔絵と他の似顔絵との違いを意識しながら制作を進めるこ

13 に示す．分類に用いた単語は，似顔絵の要素を表す単語をコとができるとともに，被写体の顔の特徴を多くの視点で確認すメントから抽出して採用した．この結果，ほとんどの単語（似ることができる．以上により，被写体の特徴を捉え，かつ他の顔絵の要素）において，提案手法を用いて制作した似顔絵の方

似顔絵との違いを表現した似顔絵を生成することが可能になるが，提案機能を除いた手法で制作した似顔絵と比べて，登場回と考えられる．

数が多いことが確認された．このことから，提案手法を用いる

今後の課題として，
まず機能面での改良について2点述べたい．

ことで制作者は，より多くの要素に着目して似顔絵の特徴を表

1つ目の改良点はパラメータ推奨機能である．現時点では，被写現することができたと考察できる．
具体的なコメントとして「印

体間の差異を表現しやすいパラメータの名称のみをユーザに提象的な目パーツが適切に表現されていた」「ぱっと見てすぐにど示している．しかし似顔絵制作実験の結果として，提案されたの被写体の似顔絵が判断できた」等の回答が得られた．一方でパラメータを具体的にどのように操作すべきか判断できないと特徴を捉えていないと評価した回答者のコメントとして「えくいった意見が制作者から得られた．このため，今後は推奨されぼが無いために太って見える」「似顔絵のパーツイラストが似てるパラメータの値を算出してユーザに提示できるようにしたい．

見える」等，似顔絵のパラメータやアクセサリーの種類の不足

2つ目の改良点は似顔絵間の類似度の可視化である．
現時点のを指摘する回答が得られた．

実装では，各似顔絵のパーツイラストのパラメータを範囲[0,1]に正規化した値の配列をMDSで次元削減した結果を表示して55

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)いる．今後は似顔絵の各パーツパラメータの印象度を考慮して[6] Li, Hongliang, Guanghui Liu, and King Ngi Ngan. "Guided face

パラメータに重みをつけるなどを試みることで，より制作者のcartoon synthesis." IEEE Transactions on Multimedia 13.6 (2011):

直感に合った可視化結果を模索したい．

1230-1239.

これらの機能改良に取り組んだ上で，以下の観点から評価実[7] Wang, Xiaogang, and Xiaoou Tang. "Face photo-sketch synthesis

験に再度取り組みたい．1点目として，実験参加者の増員があげ

and recognition." IEEE Transactions on Pattern Analysis and Machine

られる．4.2節にて示した通り，今回の評価実験では提案システ

Intelligence 31.11 (2008): 1955-1967.

ムと比較システムとの間に評価結果の有意差を認めることがで[8] Chen, Hong, et al. "Example-based automatic portraiture." Chinese

きなかった．実験参加者を増員すれば有意差が生じるかについJournal of Computers -Chinese Edition- 26.2 (2003): 147-152.

て検証したい．また女性の実験参加者だけでなく男性の実験参[9] Chen, Hong, et al. "PicToon: a personalized image-based cartoon

加者も募った上で，実験結果に男女差が生じるかを検証したい．

system." Proceedings of the tenth ACM international conference on

なお今回の評価実験では5段階評価を採用したが，4段階・6段階

Multimedia. 2002.

といった偶数段階の評価の採用も検討したい．2点目として，ア[10] Fišer, Jakub, et al. "Example-based synthesis of stylized facial

ブストラクトおよび1章であげた「似たような特徴をもつ複数のanimations." ACM Transactions on Graphics (TOG) 36.4 (2017): 1-11.

被写体から似顔絵を制作する」という状況での評価実験があげ[11] Zhang, Wenli, et al. "Automatic face caricatures synthesis andられる．今回採用した顔画像データセットの中からは，この条

exaggeration." Proceedings of the 14th ACM SIGGRAPH International

件での評価実験にふさわしい被写体群を見つけることができな

Conference on Virtual Reality Continuum and its Applications in

かった．別の顔画像データセットを採用するなどの形で評価実

Industry. 2015.

験の実現を目指したい．3点目として，似顔絵の制作結果以外の[12] Zhao, Mingtian, and Song-Chun Zhu. "Portrait painting using

観点，例えばシステムの使いやすさ，制作所要時間，などの観

active templates." Proceedings of the ACM SIGGRAPH/Eurographics

点からも提案システムと比較システムとの実験結果に有意差がSymposium on Non-Photorealistic Animation and Rendering. 2011.

生じるかを検証したい．

[13] Wang, Tinghuai, et al. "Learnable stroke models for example-based
portrait painting." BMVC. 2013.
[14] Li, Xuewei, and Xiaochun Cao. "A simple framework for face

参考文献

photo-sketch synthesis." Mathematical Problems in Engineering 2012(2012).

[1] Sepehri Nejad, Saman, and Mohammad Ali Balafar. "Componentbased cartoon face generation." Electronics 5.4 (2016): 76.

[15] Nakasu, Toshiaki, et al. "Nigao: interactive facial caricature[2] Zhang, Yong, et al. "Data-driven face cartoon stylization."drawing system using genetic algorithm." ACM SIGGRAPH 2005

SIGGRAPH Asia 2014 Technical Briefs. 2014. 1-4.

Posters. 2005.

[3] Rhee, Chi-Hyoung, and C. Lee. "Cartoon-like avatar generation[16] 小松, 伊藤, パーツ単位のモーフィングによる似顔絵生成,

using facial component matching." Int. J. of Multimedia and Ubiquitous

芸術科学会論文誌, Vol. 14, No. 5, pp. 180-187, 2015.

Engineering 8.4 (2013): 69-78.

[17] FaceTracker, http://facetracker.net/[4] Meng, Meng, Mingtian Zhao, and Song-Chun Zhu. "Artistic paper-[18] Su, Hao, et al. "Unpaired photo-to-manga translation based on the

cut of human portraits." Proceedings of the 18th ACM international

methodology of manga drawing." arXiv preprint arXiv:2004.10634,

conference on Multimedia. 2010.

2020.

[5] Min, Feng, et al. "An automatic portrait system based on and-or[19]

OpenCV

ShapeMatchModes,

graph representation." International Workshop on Energy Minimization

https://docs.opencv.org/3.4/d3/dc0/group__imgproc__shape.html#gaf2

Methods in Computer Vision and Pattern Recognition. Springer, Berlin,

b97a230b51856d09a2d934b78c015f

Heidelberg, 2007.

56

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)

図 10. 似顔絵の生成結果．(A)~(F)：提案システムを用いて制作した似顔絵、(F)~(H)：比較システムを用いて制作した似顔絵

57

芸術科学会論文誌 Vol. 19, No. 4, pp. 49－58 (2020)小松 璃子

2014 年お茶の水女子大学理学部情報科学科卒業．2016 年お茶の水女子大学大学院人間文化創成科学研究科理学専攻修士課
程修了．現在お茶の水女子大学大学院人間文化創成科学研究科
理学専攻博士後期課程卒業在学中．

伊藤 貴之

1990 年早稲田大学理工学部電子通信学科卒業．1992 年早稲田大学大学院理工学研究科電気工学専攻修士課程修了．同年日
本アイ・ビー・エム (株) 入社．1997 年博士(工学)．2000 年米国カーネギーメロン大学客員研究員．
2003 年から 2005 年まで
京都大学大学院情報学研究科COE 研究員 (客員助教授相当)
兼任．2005 年日本アイ・ビー・エム (株) 退職，お茶の水女子
大学理学部情報科学科助教授．2011 年同大学教授．2011 年から 2017 年まで同大学シミュレーション科学教育研究センター
長．2019 年から同大学文理融合 AI・データサイエンスセンタ
ー長．ACM, IEEE Computer Society, 芸術科学会，他会員．

58