顔まねエージェントシステム
福井 竜一†

桂田 浩一†

百合絵†

入部新田恒雄†A Facial Expression Mimic System
RYUICHI FUKUI†1.

KOUICHI KATSURADA†YURIE IRIBE†TSUNEO NITTA†

はじめに映画やテレビゲームに向け，キャラクターの表情をCG 合成するソフトが数多く開発されている[1][2][3]．
こうしたソフトでは，表情をモーションキャプチャした上で，ワイヤーフレーム顔モデルと CG 技術によりユーザの表情を模倣させるものが多い．本研究では，CG による表情模倣ではなく，一枚の顔画像を元にユーザの表情を合成する「顔まねエージェントシステム」を提案する．
表情を模倣するにはユーザの表情を認識し，対応した表情を元の顔画像から合成する必要がある．従来の研究[4][5]では，顔の特徴点（目・眉・口等）を検出した後，特徴点を顔モデル上で移動させて表情を模倣するものが多い．しかしこの手法では，眉間のしわといった顔表面の変化を模倣することができない．そこで我々は，Active Appearance Model（以下 AAM）[6]を利用して，顔の細部を含めたより詳細な表情を模倣

図1 AAM の構築手順する顔まねエージェントシステムを開発した．
AAM とは，顔の形状や輝度，照明状況などを複合

2.

表情の認識・合成的に表すパラメータ群からなるアピアランス（見た2.1

AAM の構築目）ベースの顔モデルである．パラメータを変動させ

AAM は画像の特徴点情報と輝度情報をそれぞれ主ることで，様々な顔画像が合成可能になる．この特長

成分分析して得られる形状モデル，輝度モデルを，さを利用して，まずユーザの表情に近似した画像を合成らに主成分分析して得られる顔画像合成モデルである．

するパラメータを探索し，表情を表すパラメータを得

図 1 にトレーニングデータから AAM を構築する手る．続いて，それらのパラメータを顔画像上で合成す順を示す．トレーニングデータの各顔画像には予め数ることにより顔まねを行う．

十点の特徴点を付与しておく．この特徴点の位置を正以降，2 章では AAM を利用した表情の認識・合成規化した上で主成分分析し，形状モデルを構築する．

について，3 章では顔まねエージェントシステムの概続いて，顔画像から輝度情報を取得し，これも正規化

要・構成について，4 章では，提案技術の応用例につした上で主成分分析して輝度モデルを構築する．最後いて述べる．に，形状モデルと輝度モデルを統合して主成分分析することで，最終的な AAM を構築する．

† 豊橋技術科学大学 大学院工学研究科
Graduate School of Eng, Toyohashi University of Technology

情報処理学会 インタラクション 2010

Init

3ite

7ite

Converged

Original

図2 フィッティング操作

2.2

フィッティング操作

AAM を用いた顔特徴の抽出は，与えられた顔画像の近似画像を合成するパラメータを探索することによって行う．この操作をフィッティングと呼ぶ．パラメータ探索には，最急降下法などの最適化手法を用いることが多い．また，画像が近似しているかどうかの判断には，対象の画像と合成した画像との 1pixel あたりの輝度の差を用いるのが一般的である．図 2 に，ある顔画像に対してフィッティング操作をした例を示す．
最初のステップではガウスフィルタをかけて AAM で

図3 表情パラメータの変動による表情変化（-σ～σ）

合成した画像をぼかしている．これは，ぼかすことで誤差関数を滑らかにし，局所解に収束しにくくするためである．収束後の画像から，対象画像に対して近似の画像を合成できていることがわかる．
しかし，最急降下法は勾配法であるため，ガウスフィルタをかけたとしても局所解に陥ってしまうという問題点がある．これの解決方法として，焼きなまし法(Simulated Annealing)を用いた手法[7]が考案されている．焼きなまし法では確率的に改悪方向へのパラメータの更新を認めている．そのため，局所解から抜け出すことができ，最急降下法と比較して，より高精度な最適化が可能である．しかし，長い計算時間を必要とするため，本研究では処理に応じて最急降下法と焼き図4 表情パラメータの算出なまし法を使い分けた．
2.3

表情パラメータの抽出と表情模倣

通常の AAM ではパラメータを変動させると，表情ることで，個人間で共通な表情の動きを抽出する．この変化だけではなく，個人間で異なる骨格や筋肉のつのときの主成分得点ベクトルを表情パラメータと呼ぶ．

き方も変化する．これは各パラメータが個人性や表情表情パラメータを変動させ，顔画像を合成した様子をを変化させ得る要素を複合的に持っているからである．

図 3 に示す．

そのため，顔が持つ表情情報のみを得ることができず，ある人物の平常顔の AAM パラメータが既知である表情だけの模倣が困難である．そこで，AAM のパラ

とき，図 4 に示すように，そのパラメータをベースメータから表情の変化のみを表す成分を抽出する方法に表情パラメータを変動させ，未知の表情顔に対してを検討する．

フィッティング処理を行うことで，近似の表情パラメ

具体的な方法は次の通りである．まず，ある人物のータを算出できる．また，その表情パラメータを他人平常顔を合成するパラメータをフィッティングによりの平常顔パラメータに適用すると，元の人物と同様の求める．続いて，同じ人物の別の表情顔を合成するパ表情をした顔画像が合成可能である．このような表情ラメータも同様に求め，平常顔のパラメータとの差分パラメータの算出と他人の顔画像への適用操作により，をとる．この差分は，その人物の表情の動きを表現し表情の模倣が実現できる．ている．こうした表情の動きを収集し，主成分分析す顔まねエージェントシステム

図5 システムを利用している様子

3.

顔まねエージェントシステム

3.1

顔まねエージェントシステムの概要

図6 システムの処理の流れ

本システムは，パソコンに接続した USB カメラで撮影した顔動画像を入力として，入力された画像に映っている顔と同様の表情変化を行う顔をパソコンのディスプレイ上に出力するシステムである．システムを利用している様子を図 5 に示す． 図に示すように，USB カメラの正面で顔を撮影することで，その表情を顔まねしたエージェントがリアルタイムで画面上に表示される．撮影時の制約として，カメラに対して，正面に顔を向ける必要がある．
3.2

顔まねエージェントシステムの処理手順

顔まねエージェントシステムの処理の流れを図 6に示す．以降，このシステムの処理の流れについて順を追って説明する．
3.2.1 ステップ１：顔の検出
顔の検出には Intel によって開発された画像処理ラ

図7 システムの画面例

イブラリである OpenCV(Open Computer Vision Library)で利用できる顔検出アルゴリズムを利用した．ここで顔が検出できなければ，以降の処理は実行されない．
また，ここで検出された顔の位置は，フィッティング時に初期位置として利用される．
3.2.2 ステップ 2：平常顔パラメータの算出
表情を模倣するにあたって，まずはベースとなる平常顔のパラメータの算出をする．そのため，このステップは一度のみ実行される．このステップで算出されるパラメータの精度が今後の処理に影響を与えるため，焼きなまし法を用いたフィッティングを行うことで，高精度にパラメータを算出する．また，フィッティングによるパラメータの最適化で，誤差が十分に小さくならなかった場合は，再度このステップをやり直す．

3.2.3 ステップ 3：表情パラメータの算出算出した平常顔パラメータを基にして，フィッティングにより表情パラメータを算出する．このときのパラメータを最適化する手法には，処理の速さから最急降下法を利用した．フィッティングの初期値として，1 フレーム前の表情パラメータを与えることで，高速にフィッティングしている．
3.2.4 ステップ 4：模倣画像の生成，表示算出した表情パラメータとあらかじめ用意しておいた模倣用平常パラメータを組みわせる．これにより，入力された顔画像の表情と同じ表情のエージェント画像を合成し，これをディスプレイ上に表示する．

情報処理学会 インタラクション 2010

図9 演技指導システムの概念図

システムの今後の課題として，ユーザの負担となっている平常顔パラメータの算出処理の省略などが挙げられる．また，表情模倣に，2D のモデルを利用しているが，これを 3D にすることで表現の幅が広がると考える．
驚き

平常
図8 顔まねの実施例

3.3

システムの実行例

今回のインタラクティブ発表では，顔まねエージェントシステムのデモを行う．また，「他人の表情を自分に適用するとどうなるか？」といったデモも実施しシステムの画面例を図 7 に示す．このように，たいと考えている．

USB カメラで撮影された画像，フィッティング処理

参によって近似した画像，顔まねしたエージェントの画像が表示されている．システムによる顔まねの例を図8 に示す．この図は，平常から驚きへと表情が変化したときを顔まねしたものである．図に示すように，ユーザの表情を顔まねさせることに概ね成功しているといえる．

4.

顔まね以外の応用例

本システムに利用した表情パラメータは，表情の演技指導システムや表情のシミュレーションにおいて利用できると考えられる．たとえば，表情の演技指導システムでは，理想の表情を持つ演者の表情顔から表情パラメータを算出し，この表情パラメータを指導対象の顔に適用すると，現在の顔と目標の表情を比較してどの部分がどの程度異なっているかを把握することができる．図 9 に演技指導システムの概念図を示す．

5.

おわりにAAM を利用した顔まねエージェントシステムについて報告した．本システムでは，あらかじめエージェント用の平常顔パラメータを用意することでエージェント画像を合成する．そのため，1 枚の画像からエージェントを作成することができ，著名人などの顔を利用した対話システムなどへの応用が可能である．

考文献1) Pendulumn’s AlterEgo,http://www.studiopendulum.com/alterego/index.html
2) Mova contour,
http://www.mova.com/
3) Image Metrics | Superior Facial Animation.,
http://www.image-metrics.com/
4) Breazeal, C., Buchsbaum, D., Gray, J., Blumberg,
B. : Learning From and about Others: Towards Using
Imitation to Bootstrap the Social Competence ofRobots, Article Life, vol. 11(2005)
5) Ghys, C., Taron, M., Paragios, N., Bascle, B.,
Komodakis, N. : Expression Mimicking: from 2D
Monocular Sequences to 3D Animations, Advancesin Visual Computing : Third International
Symposium, ISVC 2007, Proceedings, pp621630(2008)
6) Cootes, T.F., Edwards, G.J., and Taylor, C.J. : Active
Appearance models, IEEE Transactions on PatternAnalysis and Machine Intelligence, 23(6), pp681685(2001)
7) Saad, A.A., El-Bialy A, Kandil, A.H., Sayed, A.A. :Automatic cephalometric analysis using active
appearance model and simulated annealing, ICGSTInt J on Graphics, Vision and Image Processing,Special Issue on Image Retrieval and Representation,
6, pp51-67(2006)