形状と配置特徴を独立に制御可能な顔画像のインタラクティブ操作システム―顔特徴の解析と似顔絵生成への応用―
西野 史康
金子 正秀
電気通信大学 大学院電気通信学研究科 電子工学専攻
E-mail: {nishino, kaneko}@radish.ee.uec.ac.jp
1. はじめに
2.2 直交展開を
直交展開を用いた特徴強調
いた特徴強調
似顔絵は、個人の顔の特徴を端的に表現したも入力顔画像に対して似顔絵を生成する場合にのであり、本人よりも本人らしく見える場合もあついて述べる。入力形状から平均形状を引いた差る。新聞や雑誌等に頻繁に用いられている。また、分ベクトルを、対応する固有空間を構成する個々インターネット上には「アバター」と呼ばれる自の固有ベクトルに射影する(直交基底への展開)。
分の分身を作成し、その顔に似顔絵を用いるコンそして、各固有ベクトルに対応する重みパラメーテンツが存在する。このように似顔絵は人と人とタ(展開係数)を求める。得られた展開係数に対しのコミュニケーションを円滑にするものであり、て強調処理を行った上で、各固有ベクトルを足し自然な似顔絵の自動生成を行うシステムの開発が合わせることで、顔特徴が強調された似顔絵を得望まれている。
ることができる。
筆者らは、固有空間を用いた似顔絵生成に関す
3. 似顔絵作成インタフェース
似顔絵作成インタフェース
る基本的手法を提案した[1]。また、得られた固有3.1 対話的似顔絵生成ツール
対話的似顔絵生成ツール
空間がどのような形状変化を表すか、視覚的に明らかにした[2]。本論文では、これらの研究成果を踏まえて構築した、形状特徴と配置特徴を各々独立に制御可能な顔画像のインタラクティブ操作システムについて述べる。本システムにより、顔特徴の解析と似顔絵生成の双方が可能になる。
2. 主成分分析による主成分分析による顔特徴解析
による顔特徴解析
2.1 主成分分析(財)ソフトピアジャパンの顔写真データベース
300 人分を用いて、顔特徴に対する主成分分析を行う。データベースの内訳は男性 150 人、女性 150
図１ 対話的似顔絵生成ツール（配置情報パネルを選択）
人で、15 歳～65 歳まで 5 歳間隔で 15 人ずつ撮影
図 1 に、対話的似顔絵生成ツールのインタフェされた顔写真である。顔形状の表現のために、三ース画面を示す。本ツールでは、「配置情報」「左角形パッチの集合で構成された 3 次元形状モデル
目」「右目」「左眉」「右眉」「口」「顔輪郭」「鼻」を用いる。感性擬人化エージェントのための顔情「目・眉・口の角度」の各パネルをタブで切り替
報処理システム[3]で開発された整合ツールを改えることができる。各パネルには 2.2 で計算され良したものを用いて、3 次元形状モデルを実写顔た固有空間が、固有値の大きい順に上から表示さ画像に整合させる。3 次元形状モデルには 760 個れる。スライダが各固有ベクトルに対応しており、の頂点が含まれているが、その中から目 12 点、スライダ操作（固有ベクトルに対する係数値の操眉 10 点、鼻 30 点、口 44 点、顔輪郭 38 点の 2作になる）に対応して似顔絵がリアルタイムに変次元座標を抽出する。
化する。眉の形状について主成分の重みを第1主各顔部品について基準点を設定し、基準点を原成分から第 4 主成分までμ±5σ変化させた結果点とする座標に変換する。また各基準点だけをまを図2 に示す（μ：平均値、σ：標準偏差）。
とめて「配置情報」として取扱う。各顔部品の形入力には 2 つのモードがある。1 つは顔座標デ状情報と配置情報に対して各々独立に主成分分析ータをそのまま読み込むモードである。もう1つを行う。また、目・眉・口の傾き情報は、配置やは、2.2 で述べた直交展開を行うモードである。
形状情報とは分離して取扱う。
顔データ入力時に、平均顔とどの程度ずれているInteractive Manipulation System of Facial
かがスライダの位置に反映される。図 1 は、ある
Caricatures Capable of Controlling Shape and
人物の顔を直交展開モードで読み込んだ状態であArrangement Features Independently.
る。図 3 に、別の顔画像を読み込んだ状態を示す。
Fumiyasu NISHINO, Masahide KANEKO
入力顔画像に応じて展開係数値が異なることが分
The University of Electro-Communications

かる。これは、入力顔画像の顔特徴が解析され、パラメータ化されたことに相等する。

図2

眉の各主成分によって表現される形状特徴（左から右の順に第 1～第 4 主成分に対応）

図3

図 1 に示すように、似顔絵に重要だと言われている髪の毛を表示させることもできる。髪の毛の有無で、印象がかなり異なってくる。髪の毛のデータは、実写顔画像に対して 2 値化処理を行って取得する。強調処理は施していないが、マウスで移動、拡大・縮小を行うことができる。
出力には 3 つのモードがある。1 つは座標データで出力させるモードである。2 つめはスライダの値をそのまま出力するモードである。これは3.2 で述べる fuzzy パネルにおいて利用される。3つめは、似顔絵パレット上にある画像をそのまま画素データとして保存するモードである。

3.2 顔印象語からの顔印象語からの顔画像生成からの顔画像生成
似顔絵作成ツールには、顔印象語から顔画像生成を行うための fuzzy パネルも用意されている。
各顔印象語に対応したスライダを操作することで、ファジィ理論を用いて、やさしそう、驚きといった印象語に対応した似顔絵を作成することができる[2]。
「笑い」「驚き」のスライダを操作して作成した似顔絵を図 5 に示す。

別の顔画像を直交展開（配置情報パネルを選択）

スライダの値がμ±σ,μ±2σ,μ±3σを超えると各々色がライトグレー、グレー、白に変化する。スライダの値が 0 の部分は平均顔に相等する。
似顔絵は平均顔からの差を強調するので、どの主成分が似顔絵を作成したい人物にとって重要であるかが視覚的に分かりやすくなっている。重要と判断された主成分を手動で任意に操作することにより、似顔絵を容易に作成することができる。
図 1 において、配置情報のスライダを手動で操作して、特徴を強調したものを図 4 に示す。ここではグレーに変化した第 2 主成分を特に強調している。また、強調倍率を予め設定しておき、自動で似顔絵を作成することもできる。

(a)笑い顔図5(b)驚き顔

顔印象語に対応した顔画像の生成

4. むすび顔特徴の評価に関しては、従来、定性的評価のみであったが、顔画像のインタラクティブ操作システムの開発により、顔特徴・顔印象に対する定性的、定量的双方の評価が可能になった。本シス
テムは、似顔絵画家の頭の中に蓄積されている似顔絵描きのノウハウをコンピュータ上に載せていくためのツールにもなり得るものである。
参考文献[1] 徐光哲、金子正秀、榑松明：“固有空間を利用した計算機による似顔絵の生成,”電子情報通信学会論文誌 D-II, vol.J84-D-II, no.7, pp.1279-1288,
2001.7.
[2] 金子正秀、水野友和、目黒光彦：“固有空間法による顔特徴の分析と印象語に基づく顔画像の生成,”日本顔学会誌, vol.3, no.1, pp.63-73,
2003.9.
[3] http://www.hc.t.u-tokyo.ac.jp/project/face/

図4

図 1 において配置情報を操作し強調したもの