３９バーチャル顔面像の情動表示
山田貴志*・渡辺富夫**

The Affect Display of Virtual Facial Image
Takashi Yamada* and Tomio Watanabe**
Abstract
Human facial color can be applied to the affect display of virtual facial image, emotional
evaluation, individual identification, and remote health care. We dynamically analyzed facial color
under the emotinal change of laughing by the simultaneous measurement of facial image and facialskin temperature, and proposed a dynamic ficial color model. In this paper, on the basis of theproposed dynamic facial color model under laughing emotion, we analyze the effects of facial color on
virtual facial image synthesis with dynamic facial color and expression of smile by using an average
facial image of 68 females. Sensory evaluation demonstrates the effectiveness of dynamic facial color
for the affect display of virtual facial image under laughing emotion.
Keywords : Facial Color, Color Image Processing, Facial Expression, Virtual Face, Emotional Change
１．はじめに近年，デジタル技術の進展に伴い，大量の情報を高速に処理できるようになったことから，テレビ電話やテレビ会議システムなどの長距離通信の実用化が本格化している。これらのシステムを介して，円滑なコミュニケーションを図るうえで，表情や顔色による情動表示や情動評価は非常に重要である［１］［― ３］。とくに情動変動に伴う顔色が擬人化エージェントなどの基本感情を表現するための顔表情合成に利用できれば，コンピュータと人間との円滑なコミュニケーションの一役を担うことが期待される［４］［― ７］。また，顔色は日常的な診断に用いられていることから，今後，照明環境を考慮して，ネットワーク技術を利用した在宅医療や遠隔医療など，顔色の情報処理の重要性も一段と増すことが考えられる［８］［― １０］。
著者らはこれまでにカラー画像処理を用いて顔の各部分の領域を HSV 表現法で定量評価することで顔色の分析を行い，平均の顔色の顔画像を合成するとともに，平均顔画像と個人の顔画像との色相と彩度の差に基づいて，顔色による個性の強調について検討し，顔色が本人らしさの属性として重要な役割を果たすことを示した［１１］［― １２］。
また，自律神経活動の影響を血管収縮拡大による皮膚温度の変化としてとらえた顔面皮膚温の変化と，顔色の変化を同時計測することで，情動変動に基づく顔色の変化を顔面皮膚温の生理指標から明らかにした［１３［］１４］。さらに，代表的な快情動である笑いに着目し，顔面皮膚温を情動＊電子機械工学科＊＊岡山県立大学 情報工学部を評価する生理指標として，コミュニケーションにおける笑いの情動下での顔色の動的変化を分析評価し，顔色の頬の色相の動的モデルを提案して，バーチャル顔画像の顔色合成に応用できる可能性を示した［１５］。
本論文では，バーチャル顔画像の笑いの情動表示のための動的顔色を表情とともに合成し，顔色の効果を示している。具体的には，すでに笑いの情動下での顔色の動的変化の分析評価に基づいて提案している顔色の動的モデルを，著者らが合成した平均顔色画像を基に合成的に解析し，その有効性を示している。さらに，平均顔色画像に笑いの表情を持たせて，顔色の動的モデルと表情を伴う顔画像を合成的に解析している。最後に，顔表情合
成に動的顔色を付加したときの効果を官能検査に基づいて評価し，表情に顔色を動的に付加することがバーチャル顔画像の情動提示に有効であることを示している。
２．顔色の動的モデル
著者らはすでに笑いの情動下における典型的な単発の笑いに着目し，顔色の色彩の変化が顕著に表れた頬の色相の動的変化を，図１に示す RC 回路のパルス応答としてモデル化した。これは単発の笑いが生起した場合，顔面の血流量の急激な増大によって，頬の色相の動的変化が，RC 回路のパルス応答に近い変化として表れることを示唆したもので，実測データとモデルのフィッティングを行うことで，その有効性を確認している［１５］。
平成１３年９月２８日受理

４０

弓削商船高等専門学校 紀要 第２４号（平成１４年）

図１ 頬の色相の動的変化モデル

本論文では，この単発の笑いの頬の色相の動的変化をRC 回路のパルス応答としてモデル化したものを顔色の動的モデルと呼び，本モデルを平均顔色画像に合成的に解析することで，その動的な効果を確かめる。RC 回路のパルス応答の時間特性の次式とその波形を図２に示す。

 

図３ 平均顔色画像

３．２ 平均顔画像の色彩の強調(-+(,-52 / +((52,+((52, - 初期安静状態の被験者の顔色の色相と彩度を基準にして，笑いの情動下での色相・彩度の変化を遷移量と定義し，それぞれの記号 7，7で表す。笑いの情動がある: 振幅 のステップ電圧
場合とない場合の顔の中心領域での色相，彩度の変化量
2: 時定数（7，7）の平均を図４，図５に示す。顔画像の両目
 : RC 回路にステップ電圧が加えられている時間

ここで，顔色の動的モデルにおいては， は色相の遷移量，  は笑い始めてから顔色の色相が下降し最小色相までの時間を示す。したがって，振幅 のステップ電圧が入力されたときのは，顔色の色相が下降し赤みが増すことを意味する。

 

図４ 笑いの情動下における色相の変化

図２ 提案モデルのパルス応答波形

３．色彩の強調による顔画像合成
３．１ 平均顔色画像
色彩の強調の原画像として，女子の平均顔画像を使用した［１１］。この画像は，女子学生６８名の平均の顔色を求めたものであり，特定の個人の顔色ではないので，判定者に対する個人差（例えば，顔見知りか否か）を排除できる。平均顔色画像を図３に示す。また，顔の形状による差の影響を除去するために，色彩を強調した画像には目と口元に黒いマスクをかけた。

図５ 笑いの情動下における彩度の変化

４１

バーチャル顔面像の情動表示（山田・渡辺）

図６ HS 平面上での顔色の遷移の位置を１０等分，両目の中心位置と口の間を１０等分してから，基準メッシュの大きさを決め，顔の領域を縦横３１等分にメッシュ分割し，各メッシュ領域での色相，彩度の平均を求め，その変化を示したものである。遷移状態を各被験者ごとに平面で表現したものを図６に示す。
平均顔色画像の笑いの情動を提示するための色彩の強調は，図４，図５の縦横３１分割したメッシュ毎の色相・彩度の遷移量（ ， ）に 倍したものを加えて，遷移量を強調した画像を合成した。平均顔色画像における動的変 化 の 計 測 領 域（記 号 で 示 す）は，図６の平面上で■（頬）●（額）で示す位置にある。
ここで平面顔色画像の色相，彩度をそれぞれ ，，色彩の強調後の顔画像の色相，彩度をそれぞれ ，とし，対応する各画素において，式（１）を用いて，色彩の強調を行う。

7 7 0






/.0)7
（１）
/.0)7
この 0を強調係数と呼び，任意の整数値を取るものとする。本論文では，被験者全体の顔色の分布から外れる0＝７を最大値とし，それぞれ，0＝１，…，７としたもえるほうを二者択一させた。位置による見えの差を考慮して，判定者には左右入れ替えた画像対を含め，合計５６対について一対比較させた。判定者は，１５歳〜１７歳の男
女１０人である。判定者に提示した画像の一例を図７に示す。
判定結果を表１に示す。笑いの情動を示す笑顔らしさの 判 定 結 果 を 定 量 的 に 示 す た め に，以 下 の BradleyTerry モデルを想定した。

!/ 11.1!

（２）

9" 1/#"%&3/ 

1
1

（３）

!

（ ： の強さの量， !： が に勝つ確率）（平均１０）は の強さ，すなわち笑顔らしさを表し，このモデルを想定することにより，一対比較による笑顔のを記号 １， ２，…， ７として示す。 １から ７の変化は図６の□（頬）と○（額）で示している。また，色彩を強調した平均顔色画像は，メッシュ分割された領域間では遷移量がそれぞれ異なり，各メッシュ領域の境界には色相・彩度の差が表れるので，領域の境界周辺の画素を移動平均することで画像の平滑化を行った。

３．３ 官能検査
平成顔色画像（N）と合成した画像（ １，…， ７）の８種類の内，２種類をカラ ー モ ニ タ（SONY，PVM２０５４Q）上で同時に並列表示させ，判定者がより笑顔に見

左：N

右： ３
図７ 提示した画像例

４２

弓削商船高等専門学校 紀要 第２４号（平成１４年）

表１ 一対比較による官能検査の結果!NN

1２３４５２

１２６ １４ １５４８ ４．
３５７

３６８ １４ １６６６ ７．
２９９ １１ １２ １３ １５９１ １４．
７７

１ １２２ １８ １３３ １９ １７ １１６７ Total

１８１２ １４ １５ １６ １０４ ２２．
１１４ １８ １４９８

１１ １３ １４８７ １３．
１５５ １４ １２８６９１４ １７８０ １０．
７７６６６７５７６１６５３ ５．
０４７５４５４６３４３１ ２．
５１

らしさを一義的に決めることができる。
を最ゆう推定した結果を表１に示す。その結果，３の が最も高い。これは，笑いの情動を示す顔色として，色相・彩度を３倍強調することが有効であることを示している。また，６倍以上強調すると顔色の色相・彩度の分布から外れ，不自然な顔色になった。

11４．顔色の動的モデルを適用した顔画像合成
４．１ 動画像合成
色彩を強調し合成した顔色を最大遷移の笑顔の顔色と定義して，平均顔色画像から色彩強調された顔色までの中間の色相，彩度を持つ画像を合成し，動画像として編集した。最大遷移の笑顔の顔色は，３．３節の官能検査で最も評価が高かった遷移量を３倍強調して合成された画像である。動画像の編集には，アニメーション作成ツー ル で あ る３D Studio MAX３．
１（autodesk）と 動 画 像編集ソフトである Premier５．
１（Adobe）を使用した。
表２ 顔色の動的モデルのパラメータ2［sec］ ［sec］

動的モデル

７．
１７

５．
０

５．
０

動的モデル

５．
２４

２．
５

５．
０

動的モデル

４．
６１

１．
２５

５．
０

動画像は，３種類の顔色の動的モデルと直線モデルを提示し，どのモデルが自然な単発の笑いのときの顔色の変化として表現できているか，官能検査を行った。この場合の直線モデルとは，顔色の色相の変化を一定速度で変化させたものである。動画像の提示時間は，平均顔色画像の顔色の色相が下降し最も顔色が強調された最小色相までの時間を５秒間，顔色が元に戻る時間を１５秒間として。また，動画像にも，目と口元にマスクをかけた。
官能検査に用いた３種類の動的モデルのパラメータを表２に，動的モデルと直線モデルの波形を図８に示す。
動的モデルと直線モデルの最大遷移の笑顔の顔色に達する時間は同じである。
４．２ 官能検査
動画像の提示は，各モデルをカラーモニタ上に同時に並列させて，自然な単発の笑いの顔色の変化に見える方を二者択一させた。位置による見え方の差を考慮して，判定者には左右入れ替えた動画像対を含め，合計１２対について一対比較させた。判定者は，１５歳〜１７歳の男女１０名である。
判定結果を表３に示す。また，各モデルにおいて，単発の笑いに見せる顔色の動的変化の効果 （平均１０）を最ゆう推定した結果を同じく表３に示す。このモデルの整合性について ! の を に対する勝敗として有意水
準５％で適合度検定：

1



!

!
/88 !(!
/3  43/36

（４）

及びゆう度比検定：$/88 '*'!
/3
 43/36$（５）

1を行った結果，このモデルは棄却されず，強さ が妥当であることが判明した。これらの結果は，動的モデルは直線モデル，動的モデル ， に比べて，単発の笑いに見せる顔色の動的変化に有効であることを示している。
表３ 一対比較による官能検査の結果
直線
直線

図８ 動的モデルと直線モデル

動

動動

Total

1８８１１２７７．
８６１４１５４１１６．
５３１４３２１０．
２０２０５．
４０動

１２動

１２６動

９５６４３バーチャル顔面像の情動表示（山田・渡辺）

５．動的顔色と表情を伴う顔画像合成
５．１ 平均顔色画像の笑いの表情合成
本論文では，平均顔色画像に表情を持たせるために，カメラで撮影された顔画像から特徴点の移動量を推定し，平均顔色画像に再合成している［１６］。具体的には，顔画像に顔の各部位の計測領域を配置し，各領域における特徴点の動きの情報を集めている。顔の各部位の計測領域は
図９に示すように，眉，目，頬，口の４箇所である。カメラで撮影された顔画像の特徴点を，平均顔色画像の無表情を笑いの表情に再合成したものを図１０に，表情合成された微笑の平均顔色画像を図１１に示す。
５．２ 顔色の動的モデルと表情を伴う動画合成
表情表出のための動画像は，無表情から満面の笑顔までの顔表面上の各特徴点の位置変化に対応する画像を作成し，それぞれを線形補間することで可能である。本論
文においては，代表的な顔の形状変化として図９に示した計測領域を対象とし，各々の形状変化を独立に線形補間している。作成した動画像は２０秒間で，顔の動的モデルのパラメータを表４に，動画像の顔の各部位の動きの所要時間と顔色の動的変化を図１２に示す。笑いの表情表
出までの目と口の動きの所要時間は，０．
６７秒（２０フレーム），２．
３秒（７０フレーム）である。また，元の表情に戻るまでの目と口の動きの所要時間は，０．
６７秒（２０フレーム），１秒（３０フレーム）である。判定者に提示した動画像の無表情から笑いの表情の最大表出までの動的顔色と表情を伴う顔画像の一例を図１３に示す。
５．３ 官能検査
表情の形状変化のみの動画像と，動的顔色と表情を伴う動画像において，動的顔色が加わったときに動画像が与える心理的影響について検討するために，（ ）表情の形状変化のみの動画像（２０秒間），（ ）動的顔色と表情を伴う動画像（２０秒間），（ ）と（ ）を左右に並列させた動画像対（２０秒間），（ ）と（ ）を左右入れ替え（a）Neutral face（b）Smile
図１０ 計測領域内の顔の各部位の特徴点の移動分布

図１１ 平均顔色画像の微笑
表４ 顔色の動的モデルのパラメータ2［sec］ ［sec］

図９ 顔の各部位の計測領域

７．
１７

３．
６７

３．
６７

４４

弓削商船高等専門学校 紀要 第２４号（平成１４年）

快の笑い・不快の笑い

自然な・不自然な女性的な・男性的なやわらかい・かたい

さわやかな・いんうつな

好ましい・好ましくない

明るい・暗い美しい・きたない

健康そうな・不健康そうな

陽気な・陰気な       

図１２ 平均顔色画像の笑いの表情表出

図１４ ７段階によるアンケート結果

与することがバーチャル顔画像の情動提示に有効であることが明らかになった。
今後の課題として，笑い以外の基本感情の顔表情と顔色の動的な関連付けを行う予定である。
参考文献
図１３ 動的顔色と表情を伴う顔画面の一例（１４０th frame）

 

た動画像対（２０秒間），再び（ ）（ ）をそれぞれ２０秒間ずつ，全動画像を２分間提示した後，官能検査を行った。判定者は，１５歳〜１７歳の男女１０名である。表情の形状変化のみの動画像を基準にして，動的顔色と表情が伴う動画像の印象を，７段階（中立０）で相対評価させた結果を図１４に示す。すべての項目において，肯定的な評価が得られ，とくに「明るい」，「快の笑い」，「健康そうな」，「やわらかい」の評価が高い。また「自然な」の評価が得られていることから，快情動を示す顔の表情と動的顔色の調和がとれていることがわかる。これらの結果は，表情に顔色を動的に付与することが情動提示に有効であることを示している。
６．おわりに
本論文では，バーチャル顔画像の笑いの情動提示のための動的顔色を表情とともに合成的に解析した。合成された動画像を官能評価した結果，表情に顔色を動的に付［１］呉，塩山，陳，島田：色彩画像からの人物の頭部の三次元姿勢推定，ヒューマンインタフェース学会
誌，Vol. １，No. １，pp.６９−７４（１９９９）［２］M. Okubo and T. Watanabe : Lip Motion Capture Based on Hue of Colorby using OpticalSnakes, Proc. of World Multiconference on Systems, Cybernetics and Informatics（SCI２０００），
V，pp.２４１−２５１（２０００）［３］鮫島，伊藤，石井，下田，吉川：合成顔表情の目の動きによる印象形成の実験研究，第１３回ヒューマンインタフェース学会研究報告集，Vol. ３，No.３，pp.６３−６８（２００１）［４］長谷川，森島，金子：「顔」の情報処理，電子情報通 信 学 会 論 文 誌 D− ，Vol. J８０，No. ８，pp.
１２３１−１２４９（１９９７）［５］八木，森島，金子他：顔情報処理のための共通プラットホームの構築，情報処理学会研究報告，CVIM，
コンピュータビジョンとイメージメディア，Vol.
９８，No.２６，pp.６５−７２（１９９８）［６］S. Morishima and T. Yotsukura : HYPERMASK :Interactive Talking Face by Tracking Head andバーチャル顔面像の情動表示（山田・渡辺）

Projecting Expressing, World Multiconference onSystemics, Cybernetics and Informatics ; Vol. ，
pp.４５６−４６０（２００１）［７］中井，眞鍋，井口：物理モデルに基づいた人の肌の色の質感表現，電子情報通信学会論文誌 D− ，Vol. J８４，No. ２，pp.３２１−３２７（２００１）［８］矢野，橋本：照明光の色温度の違いによる顔色の評
価，照 明 学 会 誌，Vol.７９，No.１１，pp.５５−６１（１９９５）［９］淵田：カラー画像色量子化における肌色依存性，照明学会誌，Vol.８１，No.２，pp. ３−９（１９９７）［１０］黒田，渡辺：遠隔医療における顔色表示のための光源に基づく色彩データベースの構築，ヒューマンイ
ン タ フ ェ ー ス シ ン ポ ジ ウ ム２０００，pp.４６９−４７２（２０００）［１１］黒田，渡辺：HSV 表現法に基づく顔画像の唇抽出法，日 本 機 械 学 会 論 文 集（C 編），Vol.６１，No.
５９２，pp.４７２４−４７２９（１９９５）［１２］黒田，渡辺：色彩画像処理による顔色の分析と合成，日 本 機 械 学 会 論 文 集（C 編），Vol.６３，No.
６０８，pp.１２５５−１２６０（１９９７）［１３］T. Kuroda, T. Watanabe : Facial Color Image
Analysis and Synthesis for Emotional Chage,
Proc. ７th IEEE International Workshop on
Robot and Human Communication, pp. ４５６−４６１（１９９８）［１４］黒田，渡辺：情動変動に伴う顔色の画像分析とバー
チャル顔画像合成，日本機械学会論文集（C 編），
Vol.６５，No.６３８，pp.２３２−２３８（１９９９）［１５］山田，黒田，渡辺：顔画像と顔面皮膚温の同時計測による笑いにおける顔色の動的分析，ヒューマンインタフェース学会誌，Vol. ３，No. ２，pp.２３−３０（２００１）［１６］ズデネク．B，伊藤，岡本：動き情報を用いた表情
特徴の自動抽出手法，電子情報通信学会論文誌 D−，Vol. J８１，No. ６，pp.１１５０−１１５９（１９９８）

４５

４６