ニッポン放送賞

表情弁別閾値を用いた新しい表情空間の提案

中央大学

理工学研究科 情報工学専攻
博士課程前期課程 2 年

炭矢 瑠奈

1 ．序

論

従来、さまざまなアプローチが表情認識の分野で提案されているが、多くのアプローチはカテゴリへ表情を分類することを目的としているものである。現在主に、複数の表情の寄与率や特定の表情の可能性を提示する手法がとられている。特に Ekman らが提唱する基本表
情［12］などといったいくつかの特定の表情、6 から 9 表情を対象としているものが多い。しかし、人間の表情は連続的に多種多様な変化をするものであり、前述のような数個の離散的なカテゴリで表現しきれるのだろうか。近年、ロボットと人との対話が注目を集める中で、ますますロボットによる人間の表情理解の需要が高まっている。Ekman らが提唱した基本表情は人種や個人の経験に依存せずに認知される表情カテゴリであり、当然カテゴリに分類する際にはこのような基準が必要となるが、人間同士が対話をする際における非常に短い時間の中で行われる表情の認知では、必ずしも相手の表情をカテゴリへ分類しているとは限らない。また、対話において日常的に表出される表情ははっきりとカテゴリに分類されるものより、言語による表現が難しいような曖昧な表情が多いと考えられる。そこで、表情を連続的に変化するものだとした上で、デリケートでカテゴリに依存しない表情の認知を理解する必要がある。
表情認知の研究にはカテゴリ説と次元説という二つの学説が知られている。カテゴリ説は表情をいくつかのカテゴリに分類し認知するという立場であり、一方で次元説は表情に対する心理実験によって得られた評価値を用いて心理空間にて表情の認知を解明する立場である。カテゴリでの表情認識結果は人へ結果の提示を行うにはわかりやすく、用意された表情データベースのラベルとの比較によって分類結果の検証を行うことが容易であり、さらに笑顔の時にシャッターを切るカメラなど特定の表情に特化したインターフェースには適しているが、対話型インターフェースにおける表情の認知においてはカテゴリによる分類では限界があると考えられる。本研究では、次元説と同等な立場で表情のあらゆる連続変化に対する表情認知を測定することから、表情空間において表情の定量表現を目指す。

2 ．従来の表情認識研究
2.1 表情の定量表現
表情をコンピュータが認識する手法として、PCA、ニューラルネットワーク、オプティカルフローなど様々な手法が存在するが、その多くは表情をカテゴリに識別することを目的としており、表情のカテゴリによる分類は結果を人間が検証しやすいためであると考えられる。また、多くの手法では表情を定量化する際に表情を記述しやすくするための記法としてAU（Action Unit）を用いている。AU とは表情を構成する最小単位であり、FACS（FacialAction Cording System）によって顔の解剖学的な知見を元に定義され、表情はそれぞれのAU の組み合わせによって記述される［13］。AU の一例は表 1 のとおりであり、表情と対応した AU の一覧は表 2 に示す。これは主観的評価を行う際に便利な記法であるが、画像処理においてそれぞれの AU 画像を用意したとしても、その画像を用いて対応する表情を作成することは難しい。そのため、AU の組み合わせによって表出される表情を認識したい場合はその組み合わせの表情が自然に表出された顔画像を用意する必要がある。また、それぞれの AU に対して表情筋の動きの度合いによって 5 段階のスコアを付与して使用することが一― 36 ―

般的である。一方で、現在のような AU を用いて表情を定量化し、それらのスコアによって表情を分類する特定の表情カテゴリあるいは言語ラベルのみでは、表情の定性的な記述が可能であっても連続的な心理物理刺激としての表情の細やかな変化や複雑なニュアンスを表現することは難しいと考えられる。そのため、基本表情カテゴリのように定性的のみならず表情の座標値などによる定量的な記述が必要であり、さらに表情同士は互いに独立したものではなく、その相互関係を含め定量的に解明する必要がある。
表 1：AU の一例
No.

Description

No.

Description

1

Inner Brow Raiser

15

Lip Corner Depressor

2

Outer Brow Raiser

17

Chin Raiser

4

Brow Lowerer

20

Lip Stretcher

5Upper Lid Raiser

23

Lip Tightener

6

Cheek Raiser

24

Lip Pressor

7

Lid Tightener25

Lips part

9

Nose Wrinkler

26Jaw Drop10

Upper Lip Raiser

27

Mouth Stretch

12

Lip Corner Puller

表 2：表情と AU の対応
表情

AU の組み合わせ喜び

AU6+AU12

悲しみ

AU1+AU4+AU15（AU17）

怒り

AU4+AU5+AU17+AU23

嫌悪

AU9+AU10+AU17

驚き

AU1+AU2+AU5+AU26

恐れ

AU1+AU2+AU4+AU5+AU20+AU25

2.2 従来の次元説と問題点
表情認知における次元説として Russell らの円環モデル［18］が知られている。Russell らは表情に対して SD 法などの心理評価実験を行い、得られた心理評価値を元に、MDS によって表情の分布を確認した。そこで表情は心理空間上に円環状に分布し、さらに心理空間は快不快と覚醒度の 2 軸から構成される 2 次元空間であると主張した。表情を心理空間内の連続分布として捉えることが、様々なニュアンスの表情刺激の表現として可能性を秘めていると考えられるが、従来の円環モデルにおいて表情の定量表現を行うには問題点が 3 つ挙げられる。まず、物理刺激と対応づいた表情の記述ができないという点である。SD 法などの手法によって得られた心理空間は、物理刺激である表情画像を形容詞などによって間接的に表現― 37 ―

したものであり、直接物理刺激を表現しているものではない。そのため、新しい顔画像がこの心理空間ではどの座標値となるか確認する際に再度心理実験を行う必要があり、安定した結果を得ることは難しい。
次に、離散的な表情に対してのみ表現可能であるという点である。人間が表出しうる全ての表情を実験で提示し、評価値を求めることは不可能であり、この手法はラベルが付けられた代表的な表情などといった離散的な表情を表現することに限られる。
最後に、心理実験による評価値は厳密には定量表現ではない点である。心理評価値は、厳密にいうと数値ではなく、リッカード尺度のような異なる印象レベルの符号であり、それをそのまま数値とみなして得られた座標は、快不快と覚醒度の二軸で表情を認識しているという属性的な結論を引き出すことはできるがその座標値を使って議論を行えるような厳密の意
味での定量表現ではない。そこで、本研究はそれらの問題点を解消した空間を構築することを試みる。

3 ．提案手法
まず表情を定量的に表現するという点から、表情空間の座標値と入力となる表情画像の刺激は一対一対応でなければならない。そして、上述の問題としたような形容詞対などを用いる心理実験を使用せずに、空間を構築する必要がある。一方で、物理刺激となる画像をPCA によって次元削減することで得られる空間自体は画像の特徴を表しているが、人間の主観的特性を含んでおらず、画像の特徴の違い自体が人間による表情認知による異なりと同等であるとは限らない。
物理刺激と心理応答の対応関係を結びつける手法として、弁別閾値を用いた心理物理的手法が知られている。この手法は、音や光などの一次元的な刺激に対して広く使用される手法であるが、リーマン幾何学を用いることでリーマン幾何学によって多次元に拡張することが可能である。そこでまず、表情画像の物理刺激の特徴に伴って構成され、一意に定まる物理刺激空間を構築する。そこへ弁別閾値によって表情の認知である知覚特性を導入する。弁別
閾値の測定においてはカテゴリの提示を行わずに実施するため、カテゴリの影響を排除することが可能である。そして表情画像空間を、弁別閾値を空間の計量とすることでリーマン空間として定義し、ユークリッド空間へ等長写像することで空間の尺度と認知の尺度が対応づいた空間を得ることができる。

図 1：均等化模式図― 38 ―

リーマン空間における幾何学はリーマン幾何学と呼ばれ、曲面のような歪んだ、曲がった空間を表現することができる。ユークリッド空間においては 2 点の最短距離は直線となるがリーマン空間上では必ずしも直線とならず、2 点間の最短距離は曲線で表される。図 1 に示されるように、リーマン空間におけるそれぞれの点同士の距離を保存してユークリッド空間へ等長写像することで、空間の歪みが正された空間を得ることができ、この空間における尺度が人間の表情認知の尺度と同等となる。
3.1 心理物理学における弁別閾値
弁別閾値とは感覚における何らかの変化がわかるために必要な変化量である。つまり、同時に標準刺激と比較刺激の二つの刺激を提示し、初めて変化を感じたときの差異である。
Weber-Fechner の法則より、弁別閾値は心理的には同じ大きさであるため、物理量における大きさに関わらずに感覚量の基準となる単位と考えることができる。この手法は一次元の刺激に対して広く使われる手法であるが、リーマン幾何を使用することによって多次元に拡張することが可能である。例えば、色彩工学においてはこの手法によって色度平面から均等色空間を構築することができる。2 次元の刺激として色度平面で色弁別閾値を導入して得られた色弁別閾値楕円は MacAdam の楕円［9］として広く知られており、弁別閾値楕円は閾値から得られ、変化を知覚できない物理刺激量の範囲を表している。変化を知覚できない刺激は知覚的にはある刺激と主観的に同程度の異なりを持つ刺激の集合であり本来は単位円となるべきものであるが、これが楕円で表されていることから、これらの楕円は色度平面と認知の尺度のズレを示している。そこで、色弁別楕円により定義されるリーマン計量を用いて、リーマン幾何によって知覚と物理刺激の尺度が対応づいた均等色空間を構築することができる［11］
［17］
［22］
。本研究は、表情の物理刺激から構成される空間において弁別閾値を測定する。
表情データベースとして提供されるものはカテゴリによってラベルがつけられたものであり、限られた種類のみである。表情画像空間の構築にあたってカテゴリでは表現できないような曖昧な表情を含んだ表情を対象とするため、それぞれの画像の組み合わせでモーフィングを行うことによって表情画像データを増やす。本研究においては国際電気通信基礎研究所が提供する FUTON システムを使用し、1% の変化量でモーフィングを行うことで表情刺激データを作成した。
表情画像空間は心理値ではなく、物理刺激である表情画像の画素値を PCA によって次元削減することで空間を構築する。本研究においては可視化のため 2 、3 次元を対象とする。
弁別閾値の測定実験は、図 2 の測定アプリケーションにて行なった。

― 39 ―

図 2：測定アプリケーション

弁別閾値の測定法では、標準刺激と比較刺激の 2 枚の表情画像の比較を行い、同じに見えるか異なって見えるかの評価を被験者に求めた。そして、2 枚の表情画像間で表情の変化を初めて感じる表情画像を測定する。比較刺激は標準刺激から変化するモーフィングの連続である。また、言語の影響を排除するよう被験者にはカテゴリの提示を行わず、さらに 2 枚の画像の比較を行う際に読み取れる感情を比較するのではなく、表情そのものの違いのみを判断するように指示を行った。これは、表情画像から感情を読み取る段階でのカテゴリ分類を避けるためである。表情刺激データは 256*256pixel のグレイスケール画像である。実験は視野角が 12 度の角度を保つようにディスプレイとの距離を設定し、測定環境固定のため N5. 5均一背景にて行った。順応や予測への対応として表情比較毎に 2 秒のインターバルを挟み、各表情の組はランダムに表示する。30 分経過ごとに十分な休憩をとるものとする。そして、測定実験で得られた測定点と対応する表情画像空間における座標値から、同じ表情と認識される範囲である弁別閾値楕円を求める。表情弁別閾値楕円の導出にはガウシアンフィッティングによる楕円近似を用いた。
3.2 表情空間におけるリーマン正規座標系）間の微小距
リーマン空間とは任意の点で局所計量が定義され、二点（ ）および（ +離 の平方が式（1）のように与えられる空間である。ユークリッド空間の計量は単位円と表せる一方でリーマン空間では計量が定義する楕円で表される。
（1）
リーマン空間において 2 点間の最短距離を表す曲線を測地線と呼び、それぞれの計量を用いて計算することで空間内の距離を求めることができる。測地線は式（2）の二次常微分方程式を解くことによって求められる。
（2）
記号はクリストッフェルの記号（Christoﬀel symbol）といい、（3）― 40 ―

のように計量から計算できる。ある 2 点 、 の間の距離 （ ,）は次式によってその 2の経路積分をすることで求めることができる。
点間を結ぶ測地線（4）
測地線とその測地線上の等距離線を導出することで、それらの交点から座標を定める極座標系の拡張形を構築することができ、この極座標系をリーマン正規座標系と呼ぶ。
リーマン計量 G は 2 × 2 の対称行列の形で表され、長軸が A 、短軸が B 、回転角がθのとき、で与えられる。
このとき、測地線導出の初期条件はリーマン正規座標系の原点といくつかのその原点から均等な角度の方向へ向かう速度ベクトルである。等距離線の導出では、測地線上の一定の測地距離間隔の点が、測地線と等距離線の交点となり、その距離と測地線の角度がリーマン正規座標系の座標となる。従って、リーマン正規座標系は測地線と等距離線からなる測地線網であり、測地線網の交点をパラメータ（ r, θ）で扱う。このとき r は原点から測地線に沿った測地距離であり、θはその測地線の原点からの速度ベクトルの角度である。この時、リーマン正規座標系の座標は原点からの距離と角度であり、これをユークリッド空間における極座標系とみなすことで、リーマン正規座標系内の任意点の測地座標から表情空間における座標を求める。

― 41 ―

4 ．実験結果
4.1 7 表情弁別楕円弁別閾値の測定結果はこのとおりである。使用した表情画像刺激は、JAFFE Database［16］に 含 ま れ る KA と 呼 ば れ る デ ー タ の 7 基 本 表 情（Anger, Disgust, Fear, Sadness,Happiness, Surprise, Neutral）をそれぞれの組み合わせでモーフィングすることによって得た 2086 枚である。7 つの弁別閾値を 7 名に対して測定を行った。そのうちの 3 名の結果をPCA の第 1 から第 3 主成分空間で図 3 、4 、5 に示す。

図 3：被験者 1

図 4：被験者 2― 42 ―

図 5：被験者 3以上の結果より、まず表情画像空間における弁別閾値は方向とサイズが表情ごとに異なる楕円であり、リーマン空間の特性より表情画像空間はユークリッド空間ではなくリーマン空間であることが明らかである。そしてそれぞれの楕円は基本的に同じ方向の傾きを持ち、大きさに関して個人差が現れることがわかる。7 つの表情弁別楕円を求める実験では、測地線を求めるためには 7 楕円では少なく、さらに 7 楕円は PCA によって得られる表情画像座標の頂点に当たる箇所であり、幾何学的内部構造を正確に表すことは難しい。そこで、次に精度向上のため測定の方向の増加と内部の幾何学的構造解明のため楕円数の増加を行なった実験を設計する。
4.2 23 表情弁別楕円
測定楕円の数を 1 名に対して増やし、23 個の表情弁別楕円を導出した。物理刺激である表情画像を増やすために AU 画像を含む Bosphorus Database［19］［20］［21］を用いた。使用した表情画像刺激は、Bosphorus Database に含まれる BS002 と呼ばれるデータの、7 枚の基本表情それぞれの組み合わせをモーフィングすることによって得た 2086 枚と、7 枚の基本表情と 21 種の AU 画像の組み合わせをモーフィングして得た 14700 枚の合計 16786 枚である。
PCA の第 1 から第 3 主成分空間における結果は図 6 、2 次元への射影結果は図 7 である。

― 43 ―

図 6：3 次元表情画像空間

図 7：2 次元表情画像空間

以上より、表情空間において弁別閾値が滑らかな計量を定義していることが明らかになり、リーマン幾何学の内部構造を得ることができた。続いて、リーマン正規座標系を構築する。
リーマン正規座標系の構築に伴って、任意点において計量を導出する必要があるが、Akima補間を用いて任意の点における計量を導出する（図 8）。リーマン正規座標系とそのリーマン正規座標系に対応する極座標系は図 9 、10 である。

― 44 ―

図 8：Akima 補間結果

図 9：リーマン正規座標系

図 10：対応する極座標系

リーマン正規座標系を導入した際の計量を弁別閾値としているため、これらの座標系は人間の知覚によって構成され、リーマン正規座標系を構築した表情画像空間は、測地線や等距離曲線の歪みから、表情画像の物理的特性の差によって構築された空間の尺度が人間の認知とは乖離していることがわかる。また。リーマン正規座標系から導出した曲座標系はそれらの歪みを正したものであり、この空間上の尺度は人間の認知によって構成されるものである。
上記の結果は大域変換の結果であり、弁別閾値楕円のリーマン空間からユークリッド空間への写像によって局所写像を確認することができる。求める計量の近傍点のリーマン正規座標系の対応から求められるアフィン写像より、それぞれの計量をユークリッド空間へ写像を行なった。結果は図 11 、12 である。楕円から単位円へ近づけることができたことから大域とともに局所も変換できたことが確認された。

― 45 ―

図 11：リーマン空間における楕円

図 12：ユークリッド空間における楕円

この空間では人間の認知によって定量表現を行うことができ、空間上の画像間の距離が認知の差と同等になる。物理刺激から構成しているため、均等表情空間における位置を画像から導出することが可能である。

5 ．結論と今後の展望
表情弁別閾値の測定によってリーマン幾何学の適用により尺度が認知の尺度と同等な、心理評価と物理刺激が対応する新しい表情空間である主観的均等表情空間を構築した。まず、7 名の被験者において 7 表情弁別閾値楕円の推定を行ったが、これは被験者の認知の主観的特性を可視化し比較を行う手段を示したとも言える。被験者の個人差は図に示したような一般的な結果と、ある数名の被験者において特定の表情に対して大きい閾値が得られるという現象を得た。被験者の個人差は人によっては大きく存在すると考えられ、それぞれの個人ごとの表情弁別閾値から得られる知覚特性の特徴比較をさらに検討することで、同時に複数観察者の間に表情認知の特性を互いに比較し、理解することが可能となる。次に、リーマン空間上の表情画像の座標値をユークリッド空間へ距離を保存しながら写像した。このユーク
リッド空間では表情弁別楕円は単位円となり、空間の距離が知覚における差異と同等となるため、表情画像を示す座標値による表情の定量表現が得られた。
座標値での定量表現を行うことが出来る表情空間の構築法を示したが、表情を表現するにあたっての適切な表情空間の次元数はわかっていないため、本研究によって示された空間は表情空間の部分空間における局所特性となっている。本手法は多次元空間においても用いることが可能であるため、今後、適切な次元を検討することが課題である。そして、その次元において本手法を適用することでより物理刺激を正確に表した空間において表情の表現が可能となる。
さらに本研究の応用として、表情認知モデルの構築やそのモデルのシステムへの組み込みなどが考えられるが、本研究で構築した空間は、現時点では表情の演者一人によって表情画像空間が構築されている。観察者の違いに関しては表情の違いに敏感な、もしくは一般的に表情を認知できる一人のモデルを使用すれがよいが、この空間を用いて表情認知のモデルを構築するためにはまず異なる演者における表情画像空間の一般化が必要となる。この表情画像空間の一般化には、複数の演者による表情画像からの物理刺激に伴った空間の作成方法に対する検討が求められる。

― 46 ―

謝辞

本研究を進めるにあたり、適切な御指導、御助言、御検討を頂いた中央大学理工学部趙晋輝教授に、感謝の意を表します。ならびに、日頃の研究や学会論文執筆に関して多大なご協力をいただいた Linköping 大学 Reiner Lenz 教授、議論を通じて多くの知識や示唆を頂きました工学院大学情報学部蒲池みゆき教授に感謝申し上げます。

参考文献［1］ 炭矢瑠奈、田崎元、趙晋輝、 表情空間における内在的幾何学に関する考察 、情報科
学技術フォーラム公演論文集、Vol.15, No.3, pp.295-296, 2016.
［2］ 田崎元、炭矢瑠奈、趙晋輝、 顔表情の空間構造の推定 、情報科学技術フォーラム公演論文集、Vol.15, No.3, pp.101-102, 2016.
［3］ 炭矢瑠奈、田崎元、Reiner Lenz、趙晋輝、 表情弁別閾値に基づく表情空間の内在的幾何学に関する考察 、HCG シンポジウム 2016 論文集、pp511-516, 2016.
［4］ 炭矢瑠奈、田崎元、Reiner Lenz, 趙晋輝、 顔表情認知における弁別閾値の測定と表情空間に関する考察 、信学技報、Vol.116, No.513, HIP2016-89, pp85-90, 2017.
［5］ 炭矢瑠奈、Reiner Lenz、趙晋輝、 表情弁別閾値楕円による表情空間の構築 、情報科学技術フォーラム公演論文集、Vol.16, No.3, pp.343-345, 2017.
［6］ 炭矢瑠奈、Reiner Lenz、趙晋輝、 顔表情認知における弁別閾値を用いた表情空間の構築とその意義に関する考察 、HCG シンポジウム 2017 論文集、pp.25-28, 2017.
［7］ 炭矢瑠奈、Reiner Lenz、趙晋輝、 表情空間におけるリーマン正規座標系の構築 、信学技報、Vol.117, No.470, HIP2017-98, pp25-28, 2018.
［8］ Runa Sumiya, Reiner Lenz, Jinhui Chao, Measurement of JND Thresholds and RiemannianGeometry in Facial Expression Space , Human-Computer Interaction International Conference
2018（発表予定）.
［9］ Brown Walter R.J., MacAdam David L., Visual sensitivities to combined chromaticity andluminance differences , Journal of the Optical Society of America, Vol.39, No.10, pp.808-834,
1949.
［10］Calder, A. J et al A principal component analysis of facial expressions. Vol.41, 2001, pp.11791208.
［11］Chao, J., Lenz, R., Matsumoto, D., & Nakamura, T. Riemann geometry for color characterizationand mapping. Conference on Colour in Graphics, Imaging, and Vision. Vol. 2008. No. 1. Societyfor Imaging Science and Tech-nology, 2008.
［12］Ekman P., Friesen W.V., Facial Action Coding System : A Technique for the Measurement ofFacial Movement, Palo Alto : Consulting Psychologists Press, 1978.
［13］Ekman P., Friesen W.V., Hager J. C., Facial Action Coding System : Investigatorʼs Guide ,Second edition, CD ROM version, Published by A Human Face, p. 136-137, 2002.
［14］G, Wyszecki and W.S, Stiles,Color Science; Concepts and Methods, Quantitative Data andFormulae, 2nd ed., John Wiley & Sons, NY, 1982.
［15］ゲシャイダー、G. A., 宮岡徹（監訳 ）、 心理物理学 ―方法・理論・応用上巻 、北大路― 47 ―書房、2003.
［16］Michael J. Lyons, Shigeru Akamastu, Miyuki Kamachi, Jiro Gyoba, Coding Facial Expressions
with Gabor Wavelets , 3 rd IEEE International Conference on Automatic Face and Gesture
Recognition, pp. 200-205, 1998.
［17］Rika Mochizuki, Takanori Kojima, Reiner Lenz and Jinhui Chao, Color-weak compensation
using local affine isometry based on discrimination threshold matching , Journal of the OpticalSociety of America A, Optica, Image Science and Vision, Vol. 32, No. 11, pp.2093-2103, 2015.
［18］Russell J.A., Bullock M., Multidimensional scaling of emotional facial expressions : Similarity
from preschoolers to adults , Journal of Personality and Social Psychology, Vol.48, No.5, 1985.
［19］Savran, N. Alyüz, H. Dibeklioğlu, O. C, eliktutan, B. Gökberk, B. Sankur, and L. Akarun,“Bosphorus Database for 3 D Face Analysis, The First COST 2 1 0 1 Workshop on Biometrics
and Identity Management（BIOID 2008）, Roskilde University, Denmark, 7-9 May 2008.
［20］Savran, B. Sankur, M. T. Bilge, Comparative Evaluation of 3 D versus 2 D Modality for
Automatic Detection of Facial Action Units , Pattern Recognition, Vol. 45, Issue 2, p767-782,Feb. 2012.
［21］Savran, B. Sankur, M. T. Bilge, Regression-based Intensity Estimation of Facial Action Units ,Image and Vision Computing, Vol. 30, Issue 10, p774-784, Oct. 2012.
［22］Satoshi Oshima, Rika Mochizuki, Reiner Lenz, Jinhui Chao, Modeling, Measuring, andCompensating Color Weak Vision , IEEE Transactions on Image Processing, Vol.25, Issue. 6,
pp. 2587 -2600, 2016.

― 48 ―