化粧による顔表情の豊かさをオプティカルフローで表情運動量として定量化する
千歳科学技術大学総合光科学部バイオ ･ マテリアル学科

南 谷晴 之In this study, a new image processing system was developed for evaluation of cosmetic efficacy of facial makeup which
is very important to make better feeling, to evoke mental relaxation, to increase positive attitude, and so on. Use of rouge,
eye shadow, and face powder makes large gradation, shade increasing, remarkable concave-convex figure on face so that
facial expression may be recognized to be largely moved in the visual cognitive brain system.
Facial movement was obtained by using optical flow calculation algorithm to identify the direction of facial movementof various facial expressions. The optical flow indicates apparent velocity of moving object in two image sequences. Affluent
quality of facial expression after makeup was evaluated from inspection of degree of optical flow and also evaluated effectof the facial makeup in comparison with those before makeup in this study. As the results, optical flow analysis of facial
expression showed that facial makeup brings pleasant outward looks widely and great facial neural- muscular activities
affluently.

1．緒ーム間隔）によって決定されるものであり、従って化粧に言よる効果が、OF で検出される表情運動量の大きさに強くヒトが化粧をすることは、美しい容貌を整えること、健反映し、我々が主観的に知覚する表情の大きさや豊かさにやかな心身状態を保つこと、感情の豊かさを得ることなど、高く相関するものと考えられる。そこで本研究では、表情

ヒトにとって本質的かつ多面的な効果をもたらす重要な生運動時の正面顔画像・左右側面顔画像を連続的にディジタ

理行動と言ってよい。それは、単に自己的な情動に満足をルビデオカメラで撮像し、連続動画像に対して逐次フレー与えるだけでなく、他者へ快適な自己アイデンティを示す

ム間演算（時空間偏微分演算）を行うことにより、対象部情報提示になり、人間相互のコミュニケーションにおいて位の移動ベクトル量（OF）を画素単位で算出し、表情の大表情情報は重要な意味を持つ。表情は、その人の意図のみきさを定量化するＰＣベースの解析システムを開発する。

ならずその時の精神状態や身体状態までをも推量可能にす

これを用いて、無化粧顔、種々の化粧顔に対して微笑、喜るノンバーバルな言語と言っても過言でなく、化粧するこび（幸福）、悲しみ、嫌悪、怒り、驚き、恐怖、軽蔑など 8とにより表情情報が強調されたり減弱されたりすることも基本表情における化粧の効果を定量的に比較検討する。まある。今日まで化粧が、客観的に認知される表情変化の豊た、歌舞伎の隈取りなどの強調化粧、映画・ＴＶ俳優の化

かさと他者へ与える感覚的効果を定量的に示した研究例は

粧メークやリハビリメークに代表される化粧療法の効果を少ないと考えられる。

客観的に定量化するための可能性を検討する。

本研究では、従来から顔表情の異常診断、とくに顔面神2．実験方法

経麻痺という病態に対して顔表情の動画像解析を行い、表情運動量を画素単位でオプティカルフロー（Optical Flow：OF）表示する定量的解析法

1）
〜 2）

顔表情の特徴量や表情運動を定量化する方法には幾つかを化粧前後の表情運動のの提案がある。顔面に多数点のマーカーを付け、適切な照解析に適用し、化粧による顔表情の豊かさをオプティカル明のもとでマーカーの位置の移動を画像解析するマーカーフローで表情運動量として定量化する。この方法では複数認識法、モアレパターンを顔面に投影し、顔表情運動に伴種の顔表情運動量を詳細に分析することが可能であり、表うモアレパターンの歪みを画像処理して、表情の歪み変化情に特異的な顔局部の動きがベクトル量で表示でき、それを計測するモアレパターン投影法、顔表情運動をビデオカぞれが特徴的なパターンを示すことが可能である。OF はメラで撮像した後に顔の特徴点を抽出し、その特徴点の動動画像の濃淡情報（空間的陰影勾配）と時間的勾配（フレきを追跡する画像処理法、レーザースキャナーとビデオカメラを組み合わせたレンジファインダによる３次元形状計

Evaluation of affluent quality of facial
expression under makeup by means of
optical flow analysis
Haruyuki Minamitani
Chitose Institute of Science and Technology,
Faculty of Photonics Science, Departmentof Bio- and Material Photonics

測法の応用などがある。また、人間の表情を解析し表情イメージを作成する他の技術として、３次元モデルを２次元の描画面に投影するワイヤーフレーム手法があるが、この手法はコンピュータグラフィクスの立体図を描画することを目的としているため、本課題の提案技術のように特定の領域における筋肉運動を高速で解析することは困難である。

− 163 −

コスメトロジー研究報告 Vol.20, 2012

貼り付けマーカー認識法や顔特徴点抽出による画像解析法
は手技が煩雑で解析時間が長く、１表情の解析に分オーダーの時間を要する。さらに、限定された部位のみの表情運動量が測定されるだけである。モアレパターン投影法やレンジファインダ法は特殊な装置を必要とし、測定精度やコスト面で表情解析には適さないと考えられる。これに対して、本法は１表情の解析が 10 秒たらずの短時間で行われ、加えて、顔全体あるいは口唇部や両眼・左右眉部などの限局された範囲の表情運動量がオプティカルフローとして精∂I dx ∂I dy ∂I=0・ ＋ ・ ＋∂x dt ∂y dt ∂t（3）

ここで Optical Flow を（u, v）＝

dx , dydt dtとし，空間的な濃度勾配と時間的な濃度勾配を
Ix ＝∂I∂I∂I,I ＝,I ＝∂x y ∂y t ∂tとして式（3）を書きなおすと，次式のようになる。

度よく表示され、表情解析には客観・定量性、利便性、精Ix・u + Iy・v + It = 0

度、コスト面において他をはるかに凌ぐものと考えられる。

この式は Optical Flow（u, v）と動画像の輝度値の空間（4）オプティカルフロー（OF）とは動画像中の運動物体の移と時間に関する偏微分（勾配）とを関係付けるものである。

動ベクトルを示すものであり、Fig. 1 に示すように時刻 t か

したがって、移動量が画像信号の空間的勾配とフレーム間ら Dt に至る動作過程において物体の輝度値パターンが輝差分から近似的に推定できることを示しているが、２つの度値を変えることなく座標（x, y）から（x+Dx, y ＋ Dy）へ移

未 知 の 移 動 ベ ク ト ル（u, v）を 一 意 に 決 定 す る た め に動したとすると輝度値パターンが変化していないことから

Optical Flow のグラディエントが局所的に最小になるよう次式が成り立つ。に以下の制約条件をつけてラグランジェの未定係数法で解I（x, y, t）＝ I（x+D x, y ＋ Dy, t ＋ Dt）（1）

くことによって各ピクセルごとの（u, v）を求める。
du＋[[ dudx ]dy ]式（1）の右辺を（x, y, t）周りにテイラー展開すると次式を得る。
I（x, y, t）＝ I（x, y, t）＋∂I∂IDx ＋Dy∂x∂y22min.

dv＋[[ dvdx ]dy ]22min.

この制約条件は、“同一物体上の画素の移動ベクトルは∂I（2）
Dt ＋O（Dx, Dy, Dt）∂t
ただし，O（Dx, Dy, Dt）は、Dx, Dy, Dt の２次以上の項で＋類似している”、すなわち移動ベクトルの空間的変化は最小であることを表している。以上の OF 算出アルゴリズムをプログラム化して PC 上に実装した。
表情運動時の顔画像を非接触・無拘束に取得するためにある。
O（Dx, Dy, Dt）を考慮すると計算量が増大するため，O（Dx,1 台のデジタルビデオカメラ（DV）を被験者の正面に設置

Dy, Dt）は微小な量として近似的に無視する。両辺を Dt でし、被験者の表情運動を動画として撮影した（Fig. 2）。また、

割り，Dt → 0 として整理すると次式を得る．

表情運動の奥行き方向の移動量を求めるために Fig. 3 に示すような２台の鏡を左右側面に配置し、１台のカメラで撮I（x, y, t）像した正面と左右側面の顔画像を取得可能な鏡システム・マルチビュー撮影装置を開発した。装置中央の顎乗せ台に

Optical Flow

I（x+Dx, y ＋ Dy, t ＋ Dt）

Fig. 1運動物体の移動ベクトル（Optical Flow）

Fig. 2

被験者の表情運動をビデオカメラで撮影

Fig. 3 表情運動時の正面顔画像と左右側面画像を同一画面内に融合するマルチビューシステム− 164 −

化粧による顔表情の豊かさをオプティカルフローで表情運動量として定量化する

被験者の顎を乗せ頭部を固定し、被験者の表情運動は左右を高速に精度よく定量化した。に設置された鏡に映るので運動を 3 次元的に解析すること

3．結ができる。鏡の角度及び位置は可変であり、被験者に応じて最適な状態に調整して用いる。

果

表情は安静開眼表情（無表情）を基準にして最大表情運

さらに本研究では表情運動時の正面と左右側面の顔画像

動時までの連続画像に対して逐次フレーム間演算（時空間を同一画面内に融合する動画取得システムを構築した3）〜 5）。

偏微分演算）を行い、Optical Flow（OF、移動ベクトル）

これは３台の小型ビデオカメラを対象者の前方に設置し、を算出した。Fig. 6 に示すように算出した OF は方向別（第各カメラからの映像信号を 1 枚のフレーム画像に重ねて融１象限〜第４象限）に色分けされて表情顔画像上に描画さ合する画像ミキシングシステムである。カメラの 1 台は頭れる。キャリブレーション機能を適用すると、pixel 単位部の正面に、他の 2 台は左右の角度 30 〜 40°の位置に等距の移動量を mm 単位に変換することが可能である。また、離で設置する。Fig. 4 に 3 台のビデオカメラで撮像し１枚特定の顔画像部分に OF 計算エリアを設定すると、そのエに合成した正面と左右側面の顔画像を示すが、鏡を使ったリア内の平均 OF 量が時系列グラフにて表示される（Fig. 6マルチビュー法に対して左右の側面顔画像の鼻方向が逆向内の左）。図からわかるように豊かな笑い顔では口角と頬きになることが異なる。この新規開発システムで得られた周辺に左右対称な大きな Optical Flow がみられ、安静無表顔表情運動の動画像に対しても同様な Optical Flow 解析が情から最大表情運動までの移動ベクトル量の経時変化が明なされる。

瞭に示されている。

Fig. 5 は 顔 表 情 変 化 を 動 画 像 と し て 取 得 し、Optical

表情運動は多様であるが、目的に応じて眉上げ、額の皺Flow 解析するシステム構成と画像処理のフローチャート

寄せ、閉眼、鼻根の皺寄せ、口笛運動、頬ふくらませ、へを示したものである。撮影した表情運動を画像取得ソフトの字口、イーと歯をみせる、大きな笑い顔をつくるなどのにて連続する静止画としてキャプチャし，ビットマップフ

他に、幸福、悲しみ、驚き、恐怖、怒り、嫌悪、軽蔑などァイルとしてコンピュータに保存した。これらの顔イメーの感情表現を行わせ、表情運動に伴う OF を時系列的に求ジを連続的にビデオカメラで撮像し、連続動画像に対してめる。Optical Flow の方向、強さに応じて表情終了後の静上記のアルゴリズムを適用し逐次フレーム間演算（時空間止画像上に擬似カラーのオーバーレイ表示を行い、表情の偏微分演算）を行うことにより、対象部位の移動ベクトル豊かさの評価診断として利用する。また、鼻柱を通る正中量（Optical Flow：OF）を画素単位で算出し、表情の変化線を対称にして表情運動の大きく表れる左右の前額領域、Fig. 43 台のビデオカメラで撮影し画像ミキシングシステムで 1 枚に合成した顔表情画像

Fig. 5

Optical Flow 解析システムの基本構成と画像処理のフローチャート− 165 −

コスメトロジー研究報告 Vol.20, 2012

上眼瞼領域、口角領域、上口唇領域、下口唇領域などに矩（Optical Flow）は大きくなり、表情筋の動きが豊かに大き形ウィンドウを設定し、ウィンドウ内の平均移動ベクトルくなることが定量的にも示される。

量を求め、左右両側の表情運動比（左右比）を求め、表情以上の顔面表情運動解析技術を利用して、化粧前後の表運動の対称性を検討した。さらに、各ウィンドウ内の表情情運動の比較を行い、顔の表情変化にともなう化粧の効果運動の上下方向と左右方向の移動量の経時変化を可視化表を検討した。なお、以下に示す結果は正面画像のみを示し、示し、表情変化中の局部的な動きを詳細に観測した。Fig.

日常生活上ノンバーバルコミュニケーションとして重要な

7 は大きな笑い顔（左）と頬笑み顔（右）における OF の違

微笑み（軽い笑い）顔について化粧前と化粧後の表情運動いである。明らかに表情運動が大きくなると移動ベクトル量（Optical Flow、OF）を比較した。Fig. 8 〜 Fig. 10 はいFig. 6

非常に豊かな笑い顔（イーと歯を見せる）における口角と頬周辺の大きな Optical Flow（移動ベクトル）

Fig. 7 笑い顔（左）と頬笑み顔（右）における Optical Flow の違い

Fig. 8Fig. 9Fig. 10 被験者 C の化粧前（左）と化粧後（右）の Optical Flow 量

被験者 B の化粧前（左）と化粧後（右）の Optical Flow 量− 166 −

被験者 A の化粧前（左）と化粧後（右）の Optical Flow 量化粧による顔表情の豊かさをオプティカルフローで表情運動量として定量化する

ずれも化粧前（左）と化粧後（右）の表情運動量の OF を表込ボード、Optical Flow 解析ソフトを実装したノート型パ情顔画像にオーバーレィ表示したものである。いずれの例

ソコンで構成されており、微細な表情運動を定量的に表示

も化粧によって OF が大きくなり、また広がりを示していし、表情筋の活動を評価することができる。本課題で経験ることがわかる。これらは化粧により緊張緩和に伴う表情した問題点を取り上げると、化粧前後で全く同じ表情運動筋の働きが活性化され、活発で豊かな表情を生み出していを行うのは極めて難しく、ときに無意識に目つぶり（閉眼）ることは言うまでもないが、口紅、頬紅、アイラインなどをしたり、逆に閉眼から開眼の動きが表れたり、頭部・顔の使用により凹凸感、グラディエーション、陰影が増し、面の上下左右の動きを起こしたりする。これらの動きはその結果、同じ表情運動でありながら化粧後に OF 量が増OF 量として算出されてしまうことになり、その状態では加するものと考えられる。特にこれらの軽い笑い（微笑み）必ずしも正確な表情運動量が得られない。Fig. 10 左図の顔では、口角周辺、頬、目下、に大きな OF が表れている。

化粧前の瞼領域の OF は閉眼状態からの画像取得であった

視覚生理学的に網膜に投影された化粧顔の動画像は網膜神ため上向きの動き量が大きく表れている。化粧効果を表情経回路において微分（差分）値が増加し、視覚的に移動ベ変化から正確に評価するには、このような不要な動きを取クトルが大きく感覚されるという視覚の機能と同様な効果り入れないように注意しなければならない。また、表情をが表れていると推測される。一方、化粧効果として、化粧豊かに見せる化粧はいかにすべきかを評価する方法としては気分を明るくする、気分を引き締める、晴れ晴れとした局所的な OF 観測を行い、局所を強調する化粧法を考える

気持ちにさせる、リラックスして気持ちをほっとさせる、ことに活用することが課題として上げられる。さらに、表快い緊張感をもたらして気分をしゃきっとさせる、などの情解析技術を利用して、化粧顔の表情から対象者の「心的情動効果があらわれ、自信がわくとか積極的になるなどの豊かさや満足度」、「活き活き度」などの心理的状態を相関心理的作用が強く働くものと考えられる。その効果は表情分析することも必要と考える。ヒトの表情運動は喜怒哀楽筋の働きを一層豊かにし、表情運動を活発化させるものとなどの情動や心理状態によって大きく変わる。ヒトにとっも考えられ、表情の動きをより大きく見せるという相乗効て化粧をする意義は、美しい容貌をつくり、健やかな心身果が表れるものと推測される。

状態を保ち、感情の豊かさを得ること、さらには人間相互４．考のノンバーバルなコミュニケーション手段としての表情形

察成に大きな役割を果たすことである。化粧はヒトにとって本研究開発の原点は、種々の原因で起こる顔面神経麻痺

本質的かつ多面的な効果をもたらす重要な生理行動と言っの麻痺状態を定量的に示し、臨床診断や治療効果の判定にてよく、それは、単に自己的な満足を与えるだけでなく、役立てる目的でシステム開発がなされたものである。脳腫

他者への自己アイデンティを示す重要な情報提示になり、瘍・脳卒中などの脳神経系障害に基づく中枢性顔面麻痺、化粧をほどこした表情運動が、その人の意図のみならずそ中内耳炎やヘルペスなど聴覚器官内の疾病に起因する顔面の時の精神状態や身体状態までをも表し、化粧によって表神経麻痺などが対象であり、顔表情運動の左右のいずれか情情報が強調されたり減弱されたりすることもある。本研に動きが見られない、あるいは異常共同運動と称して正常究の目的である「化粧による顔表情の豊かさをオプティカ側の動きに患側が引っ張られる動きをする、そのため、顔ルフローで表情運動量として定量化する」ことは、化粧が、表情には左右対称性がくずれる大きな歪みがあらわれ、日客観的に認知される表情変化の豊かさと他者へ与える感覚

常生活上の患者の Quality of Life は著しく低下する。この的効果を定量的に示す点で画期的であり、眉毛、睫毛、瞼、ような疾患者に最善かつ早急な治療方策を立て、治療効果頬、口唇などの化粧の仕方、陰影・濃淡の作成、化粧色のをもたらすことが必要であり、その効果を評価する方法と選択、さらには従来から化粧をつくる専門家が培ってきたして本システムは有効であった。治療効果が上がり、顔面化粧法に基づく化粧の効果、などを主観的な側面から客観麻痺が軽減されると QOL も高まり、女性患者などでは化的・定量的な側面に変えて検討することが極めて重要であ粧をほどこして対外的に明るく社会活動に復帰する例が多ると考える。

い。一方、リハビリメークでは“顔の血色の悪さ、母斑、５．総白斑、血管腫、アトピー性皮膚炎、熱傷後瘢痕、顔面神経括麻痺、交通事故による傷痕、しみ・しわ・たるみ、にきび

本研究では、顔表情運動の動画像解析を行い、表情運動痕、アンチエイジング、など”を対象として、化粧で外観量を画素単位でオプティカルフロー（Optical Flow：OF）

を整え、心を元気に豊かにする治療を施すが、これらを対表示する定量的解析法を開発し、化粧前後の表情運動の解象にした表情運動の Optical Flow 解析は有効であると考析に適用した結果、化粧により OF が大きく、また広がりえられる。

をもって表示されることが示された。口紅、頬紅、アイラ開発したシステムは高精細な小型ビデオカメラ、画像取インなどの使用により凹凸感、グラディエーション、陰影− 167 −コスメトロジー研究報告 Vol.20, 2012が増し、その結果、化粧前と同じ表情運動でありながら化（参考文献）

粧後の OF 量は増加するものと考えられる。また、化粧は

１）南谷晴之，星野佳彦，国広幸伸：オプティカルフロー

気分を明るくする、晴れ晴れとした気持ちにさせる、リラを用いた顔面神経麻痺の定量的評価法，計測自動制御学

ックスして気持ちをほっとさせる、快い緊張感をもたらし

会生体生理工学シンポジウム論文集，1，87-90，2000て気分をしゃきっとさせる、などの情動効果をもたらし、

２）南谷晴之，飯島淳彦，国広幸伸：顔表情運動の画像解

自信がわくとか積極的になるなどの心理的作用がある。そ析による顔面神経麻痺の診断システム，日本エム・イーの効果は表情筋の働きを一層豊かにし、表情運動を活発化

学会論文誌「生体医工学」，41, 2, 87-96, 2003

させるとも考えられ、表情の動きをより大きく見せるとい３）南谷晴之，田中一郎：顔表情マルチビュー解析による顔面神経麻痺の診断

う相乗効果を示した。

Facial Nerve Research, 26, 61-63,2006
謝辞４）南谷晴之，田中一郎，中島龍夫：鏡一体型の頭部固定

本研究を遂行するにあたり、ご支援頂きました財団法人装置を用いた Optical Flow による顔表情の三次元的定

コスメトロジー研究振興財団に心より感謝申し上げます。

量的評価法，Facial Nerve Research, 27, 167-169, 2007

また、本研究の実施にあたりご協力頂いた左希子化粧株式

５）田中一郎，佐久間恒，中島龍夫，南谷晴之：陳旧性顔会社に対し厚く御礼申し上げます。

面神経麻痺に対する各種治療法・術式の検討とビデオ画像からのコンピュータ解析による表情運動の定量的評価
法，頭頚部癌，34, 3, 280-286, 2008.

− 168 −