計測自動制御学会東北支部40周年記念学術講演会
2004 年12 月22 日，23 日 日本大学工学部

講演番号：A01

EED 法を用いた人の顔の表情識別＊有 田 貴 博 ， 坂 野進

Discrimination of Human Face Expression using EED Method
Takahiro ARITA，Susumu SAKANO*4

Dep．of Mechanical Engineering，College of Engineering，Nihon University

1 Nakagawara，Yokusada，Tamura-cho，Koriyama-shi，Fukushima，963-8642

Japanese society will encounter an aging society in the near future. The problems had to be solved are thetreatment and nursing of the high age people at their homes. Japanese society has to obtain the result whichreaches solution so that people of an advanced age may pass an abundant and comfortable life. The humancauses the lowering of some physical functions with the aging, and the welfare equipments and nursing
machinery are requested. A kind of remote medical services is treated in this study. The changes of the humanfacial expression seem to become a scale of the body condition and the change of the situation change. When heis in the bad condition, his facial expression shows the bad degree of his body condition. The discrimination ofthe human facial expression is tried using EED (Evaluation by Euclid Distance) method which authors havedeveloped. Some kinds of human facial expression can be discriminated. The result acquired lately is used andthe system of remote medicine will be built.

Key Words : Remote medical treatment, Human facial expression, EED method, Discrimination of humanface, Remote medical system, High aging society

1.

化が大変複雑なために表情の定式化が困難であり，複雑な特徴量抽出を行っている．この様な問題を解決するために顔全体のデジタル画像上を走査して得られる赤緑青の各色データ（RGB データ）を特徴量として抽出し，直交表を用いた大量の仮想データの発生とユークリッドの距離により顔の表情を認識する方法を提案する．この様な方法を用いることによって，特徴量抽出に人の補助や介入を必要としない，労力が少なく処理時間の短い，人の顔の表情認識が可能となる．

は じ め に人と人とのコミュニケーションにおいて顔の表情は非常に重要な役割を果たしている．顔から得られる情報はその人が誰であるという個人情報を初めとして人の心理状態や体調の状態などまで非常に多岐に渡っている．最近，顔が有する情報をコンピュータによって認識しようとする研究が活発に行われている．代表
的な研究は顔による個人識別である．人の顔を撮影した画像を入力パターンとして特徴ベクトルで表現し，標準ベクトルとの距離を求める事により，最も小さな距離となるカテゴリーに相当する人物の顔と判定している．この様な研究における識別手法の違いは入力パターンをどのような特徴で表すかにある．幾何学的特徴の記述，濃淡パターンの照合，局所的な部分パターンの照合など，色々な手法が報告されている．
顔の表情の認識研究も種々行われている．表情認
識のためのアルゴリズムとして，顔の表情筋の動き，顔の特徴点の抽出と移動量，顔部位の変化，表情の時系列などに着目した研究が行われている．
これまでのコンピュータを用いた人の表情認識の研究においては，顔の濃淡画像あるいはカラー画像から眉，眼，鼻，口などの主要な部分を特徴量として抽出している．しかし，顔の表情を形作る顔の造作の変

2.

仮想データの生成法

デジタルカメラなどによって撮影されたデジタル画像は，色のついた小さな点「画素（pixel）」によって構成されている．デジタル画像はこの画素を規則正しく縦横に並べる事で一枚の画像を表現しているのである．そしてこの画素は，図 1 に示すように画素のひとつひとつに，R（赤）256 階調，G（緑）256 階調，B（青）256 階調の値が振り分けられ，ひとつの色を表現しているのである．
そこで，人の表情を撮影したデジタル画像の，表情上の 1pixel ごとに RGB データを抽出し，表情の色情報を得る．このような作業により，様々な表情ごとに大量の画像を用意し，繰り返し抽出する事によって大1図１〜図 3 に，A 君の無表情時の基準用データを基にしてユークリッドの基準空間を作成した時，それに対する 3 種の表情の，比較用データのユークリッドの距離を算出した結果のデータ分布を示す．図における横軸はユークリッドの距離である．縦軸は上から順に
比較用怒り時のデータ，比較用笑い時のデータ，比較用無表情時のデータである．図１〜図３から，A 君の表情では RGB のどの色データで識別を行っても，3種類の表情の距離がばらばらに分布し，識別が正確に行われている事が判る．当然，RGB を総合して識別を行った場合も 3 種類の表情の距離はそれぞればらばらに分布しているため，表情の識別は可能である．

量のデータを収集するのだが，これには非常に多くの労力を必要とする．その労力を削減するために，次に示す直交表を用いた仮想の RGB データの生成を行う．
よって，ここより以降は RGB の各データを分け，それぞれ別に処理を進めるものとする．
3.

E E D 法３．１ MTS（Mahalanobis-Taguchi System）法
マハラノビスの距離を基として構築された MTS法は田口氏により提唱された多次元情報処理手法である．
基準となるデータ群を基に多次元空間を構成する．この空間において，基準となるデータ群のマハラノビスの距離は 1.0 周辺に分布する．未知の比較対象データに対してこの空間におけるマハラノビスの距離の大小を算出する事により，そのデータが基準となるデータ群に属するのか，他のグループのデータ群に属する物なのかが距離尺度により判別される．

Data distribution (expressionless standard)Comparison expression

CoAng

３．２ ユークリッドの距離収集されたデータ間に相関がある場合にはマハラノビスの距離となる．
しかし，本研究におけるように直交表を用いて仮想データを発生させた場合には直交表の性質からデータ間の相関はなく，距離はユークリッドの距離となる．
基準データ群はユークリッドの距離 1.0 の周辺に分布し，基準データに属さないデータ群は 1.0 より離れた距離に分布する事となる．これにより表情の識別を行うのである．このように，本研究では顔の表情の識別をユークリッドの距離を用いて行うため，この方法
を EED（Evaluation by Euclid Distance）法と呼んでいる．

CoLes

020406080100120

Euclid DistanceFig.1 Discrimination experiment (A‐R)

Data distribution (expressionless standard)CoAng

Comparison expression

4.

CoLau

EED 法を用いた顔の表情の識別実験

４．１ 実験の概要
顔の表情識別のために無表情（通常の表情），笑い，怒りの 3 種類の表情を撮影し，次に示す実験手順に従い EED 法を適用した解析を行う．解析はそれぞれ，無表情時のデータを基準データとした時，笑い時のデータを基準データとした時，怒り時のデータを基準データとした時の，他の表情との識別の可能性を試す．

CoLau

CoLes

050100150200

Euclid DistanceFig.2 Discrimination experiment (A‐G)
次に，同様にして B 君の無表常時の基準用データを基にして基準空間を作成した時の，それに対する 3 種の表情の，比較用データの距離を算出した結果のデータ分布を図４〜図６に示す．

４．２ 識別実験結果
本報告では A 君，B 君の２種類の実験結果を例として挙げる．実験では直交表の水準値を与えるための変化範囲値の値を 10%に固定して識別を行った．

2

い，B 君の結果では無表情時以外の笑い時と怒り時との間で識別が困難になっている．

Data distribution (expressionless standard)

Data distribution (expressionless standard)

CoLau
CoAng
Comparison expression

Comparison expression

CoAng

CoLes

020406080100120140

Euclid Distance

CoLau

CoLes

Fig.3 Discrimination experiment (A‐B)
050

Data distribution (expressionless standard)

100150200

Euclid DistanceFig.13 Discrimination experiment (E‐B)
Comparison expression

CoAng

5.

顔の表情の変化から病状の変化や体調の変化を遠隔計測･診断するための基礎実験として，無表情時の顔，笑い時，怒り時という 3 種類の顔の表情識別を試みた．
デジタルカメラによって撮影した表情のデジタル画像から RGB という 3 種類の色データを入力データとして用いた．この色データを基として直交表の利用による仮想データを生成し，多次元データに対するユークリッドの基準空間を構成した．構成した基準空間におけるユークリッドの距離により顔の表情の識別が可能となることを示した．なお，直交表による少量データから大量の仮想データの生成するデータ生成の新しい方法を提案した．本研究に示した一連の手法を用いることにより顔の表情の識別が可能となる事を示した．
今後，さらにデジタル画像の撮影条件や撮影方法，抽出データの選定方法など，さまざまな改良・改善を加える事で識別の精度を向上させていく．
また，具体的な体調変化と顔の表情変化の関係を調べたり，通信回線を介しての遠隔計測・診断および制御の可能性を検討したりする他，他の分野への応用なども検討して行く．

CoLau

CoLes

0102030405060

Euclid DistanceFig.４ Discrimination experiment (E‐R)

Data distribution (expressionless standard)Comparison expression

CoAng

CoLau

CoLes

020406080100120

ま と め140

Euclid DistanceFig.５ Discrimination experiment (E‐G)
参 考 文 献図４〜図５においても，基準に近づくべき無表情時のデータと他の 2 つの表情のデータではユークリッドの距離の分布が離れ，識別が正確に出来ている事が判る．しかし，A 君の時は 3 種の表情の距離分布が綺麗に離れてそれぞれがはっきりと識別出来ていたのと違（１） 土肥健純，医療福祉における精密工学の役割，精密工学会誌，Vol. 65，No. 4, (1999)，pp．489‐492．

（２） 菊地眞，医療･福祉のための科学技術の動向，
電子情報通信学会誌，Vol. 84，No. 5，(2001)，
pp．282‐286．

3