計測自動制御学会東北支部第244回研究集会（2008．7．2）
資料番号244−2

表情画像の位相特性に基づいた感情特徴空間の生成
GenerationofEmotionalFeatureSpacebasedonTopologlCal
CharacteristicsofFacialExpressionImages
O石井雅樹†，佐藤和人†，閉所洋和†，西田眞‡OMasakiIshii†，KazllhitoSatO†，HirokarzuMadokoro†，MakotoNishida‡†秋田県立大学，‡秋田大学†AkitaPrefectllralUlliversity，‡AkitaUniversity
キーワード‥ 顔画像処理（Facialimageprocessing），表情認識（Facialexpressionrecognition），自己組織化マップ（Self−Organizingmaps），カウンタプロパゲーションネットワーク（Countel・prOpagationnetoworks）

連絡先：〒015−0055秋田県由利本荘市字海老ノロ84−4
秋田県立大学システム科学技術学部機械知能システム学科
石井雅樹∴熊】・＝（0184）27←22犯Fax∴（0184）27−218軋：♭l−1a丑1sbliQ由1ta−pu．aC．jp

1．まえがき2．表情画像

顔表情からの感情認識は，マンマシン間の自然

本論文で対象とする表情画像は，4名の被験者な対話を実現するための一手法として有用である．

が作為的に表出した6基本感情（怒り，悲しみ，嫌感情を表す表情パターンは人物ごとに異なるが，表乳喜び，驚き，恐れ）3・4）ぉよび無表情とした．

情に表出しようとする感情や表情から知覚される各表情を動画像（30frame／sec，8bitGray）とし感情は人物によらず普遍と考える．すなわち，表て取得し，静止画像（320×240pixel）に変換した

情から感情の程度を推定するためには，物理的パ後，学習データとして使用した．また，表情の表ラメータである個人固有の表情パターンを如何に出に重要となる顔の構成要素（眉，臥嵐 口）を抽出し，これらを普遍な心理的パラメータである含む領域を処理の対象とし，以下の手順に従い顔感情に如何に対応付けるかが重要な課題と考える．

領域画像の抽出，並びに，正規化を行った．表1に

そこで，本論文では，教師なし学習の自己組織化

被験者ごとの学習データ数を示す．また，図1にマップ（Self−Orga11izingMaps，以下，SOMと表記

正規化後の顔領域画像の例を示す．

する）1）と教師あり学習のカウンターブロパゲーシ

1）Ha．ar−1ike特徴5）による顔検出を行い，80×ョンネットワーク（CounterPropagationNetworks，96pixelのサイズに正規化した顔領域画像を以下，CPNと表記する）2）を併用することにより，抽出した．

表情パターンと感情の対応付けを行い得る個人固有の感情特徴空間の生成手法を提案する．

2）ノイズの除去を目的とし，メディアンフィルタを施した．また，画像の次元数の削減及び顔領域の微小な位置ずれに対応するため，2−1−

TFlt）1el Numt）erOftrainillgdata．

ABCD454284493574

448337556518l）1．

ヽしl．

533
323
592
457

530335475473

473 479 605
325 323 599
455 471 599
4．59 468 605

3て522

2．526
3，641
3〜554

リ分類問題と考えることができる．そこで，提案手lt）．Ån．

ヽとl一】ごc．

Ne覇トJ bもI 暇d l＝il Fコ ロト房 巨頭
A法では，狭い写像空間を有するSOM（Kohonen層が5ユニットの1次元SOM）を階層的に用いること

彦 穆 ＼1 ∴ 磁− 夢 ・ ア等可 ■ビn

才寧 ㌧f 「躍ぎ TJf ゝ疇

1±∴ i＋ ヽ 闊 田 ら二■■ ，ぎざ■ E℡ 15上野 仁℡ E「亨 亡ヨ E∴ヨ（1壕 dぎ 〜轟 ● 譲 噂 ‡、tニ 診 諒ヨ陶■ 「丁■ て寸■ 二 ∴ 愕嘲 l士ぜ凹

により，個人固有の表情カテゴリの抽出を試みた．
SOMは教師なし学習アルゴリズムであり，与えられた表情画像の位相特性に基づき，自己組織的に分類を行うことから，未知のカテゴリ分類問題に■∴適している．また，狭い写像空間を用いることに疲 二・字 ∴：・‥ 、声弓 田 田 〟より，SOMは表情画像の位相情報を圧縮し，学習データを大別する特徴に基づいた学習を行う．こFig．1Examplesoffacialexpressionimage．

れらを階層的に繰り返すことにより，表情パターンの粒度（バラツキ）を一定とした個人固有の表×2pixelのブロック単位で粗視化処理を施

情カテゴリの抽出を行い，得られたカテゴリに対した後，平滑化処理を施した．

して感情（6基本感情および無表情）の意味づけを行った．表2に提案手法により抽出された表情カテ

3）顔の構成要素を含む擬似輪郭を設定し，背景ゴリ数を示す．

領域を除去した．
4）ヒストグラム線形変換により濃度情婦正を3．2 表情空間マップの生成フェーズ行った．

感情特徴空間への表情パターンの布置を考えた
場合，感情の程度を表現するためには，表情パター

3．提案手法ンの類似性及び連続性を考膚したカテゴリ間を補間する情報が必要と考える．

本論文で提案する個人固有の感情特徴空間の生

そこで，提案手法では，広い写像空間を有する

成法は，SO九′′Ⅰを用いた表情カテゴリの抽出フェー

CPN（Kohonen層が3OX3Oユニットの2次元CPN）

ズとCPNを用いた表情空間マップの生成フェーを用いることにより，前節で抽出したカテゴリ間ズ及び感情空間マップの生成フェーズから構成さの情報拡張を行った．前節の処理において，各表れる．

情カテゴリは5ユニットの1次元SOMによって生成されている．したがって，学習データとして使用

3．1 表情カテゴリの抽出フェーズ

する1カテゴリの代表画像数は5枚（KollOnell層の感情によって顔に表れる表情パターンは人物ご各ユニットの結合荷重）である．ここで，CPNをとに異なり，個人固有の特徴を有している．した

採用した理由は，前節の処理により学習データのがって，表情パターンの分類問題は未知のカテゴ感情カテゴリが既知であるためである．なお，表2−Tal）le2 Numt）erOfextracte（1categories．

‡DAn．SaりiHl．FeN¶っta1A6（7）08 （1）43620（9）1B354（）6 （）960 7C8（）41．58（） 710（2）8D14（）968105（）6017（）：NulT】bersofcategorieslabeledas Neutral ．

Tat）1e3 Nurnl）erOFextI−aCtedrer）reSentativeimages．

ID An． Sa Di． Ha Su． Fe N． A 30 40 20 3 40 53（1．5 0％） B 15 20 3 0 3 45 180 35（1・9％） C 40 5 40 25 3 20 45（1．％） D 10 2 45 0 25 40 25 38（10・8％）

Tbtal（）：DatacompressionratefromTablel．

情パターンの類似性及び連続性に基づいた情報拡張を目的としていることから，CPNの写像空間（Kohollen層）は学習データ数よりも大きく（30×30＝900ユニット），かつ，トーラス状の構造を■An折採用した．表3に使用した学習データ数を示す．ま口s臼d−−eSS

た，図2に被験者Aの表情空間マップを示す．

□旧刊叩St■‖脚inpss

3．3 感情空間マップの生成フェーズ■su−−P−一うse■ドeaT

人物ごとに表情パターンは異なっていても，表□Neし1tl（臼l情として顔に表れる感情及び表情から知覚される感情は人物によらず普遍と考えられる．前節で生Fig. 2 Generation result of Facial Expression

成した表情空間マップは，人物ごとに異なる物理Mn｝P（S11t）jectA）．

的パラメータとしての表情パターンの固有性に着目した特徴空間と言える．一方，心理的パラメー
タとしての感情は人物によらず普遍であることか列は子供から大人まで一貫して等しいことを見出ら，特徴空間は表情空間マップとは性質が異なり，した．

共通の指標に基づいて生成されるべきと考える．

提案手法では，前節の処理と並行し，CPNの教提案手法では，感情特徴空間を生成する際の指師信号として，図3に示すR11SSellの円環モデルよ標として心理学の分野で提案されているRllSSellのり得られた座標値を付加することにより，物理的円環モデル6・7）に着目した．R、ユSS。11の円環モデル

パラメータ（表情）と心理的パラメータ（感情）をとは，表情から認知される様々な感情の意味的な対応付ける感情空間マップの生成を行った．提案

対極性に注目し，各表情を「快不快」，「覚醒度」

手法によって生成された被験者Aの感情空間マッを軸とした空間上に配置した心理空間モデルであプを図4に示す．

る．R11SSellらは，上述の心理空間上で表情刺激が円環状に配列されること，また，この円環状の配−3−

Tat）le4 Nunit）erOfwinner11nitswhenlnr）uttingtrainlng（1ata．
lD
A B C D
NumbersofKohonenlayerunits 900 900 900 900NumberofwinnerunitJS
252 183 244 231
Numberofextendedunits
648 717 656 669

八（、1■IV八′r川N

A（二1、1＼甘It＝）＼■P↑7VS誓11トアVS︵﹈﹂L7﹂□Sとtdl）いSS□りis即tZ︺

ゝSAZ﹂l‡叩上r＝l（lHS□su一両s（−■Sa．㌔・．．．ノ l＿□Nt血11

り1ミ山＼Tl＼7八71りN川・，ACTl＼′久′rl（）N

Fig．4 GenerationresultofEmotionMap（Sub−Fig・3 ThecircumplexrnodelofRussell・

4．考察jectA）．

付近）を拡大した図を示す・図5（c）の領域Aでは，CPNの教師信号として与えた座標値付近であるこ

表4に，表情空間マップに対して表3の学習デーとから，純粋な「喜び」の表情が布置されている．

タを入力した場合の発火ユニット数を示す．被験また，領域Bでは，領域Aと比較して「覚醒度」の者Aに着目すると，900ユニット（30×30ユニット）値が徐々に小さくなり，「無表情」に近づいていくのうち，発火の起こったユニットは252ユニットでような表情が布置されている．同様に，領域Cであった．すなわち，残りの648ユニットは，CPNのは，「快一不快」の値が徐々に小さくなり，「驚き」の近傍学習により学習データ間を補間するユニット

感情の混在した表情が布置されており，領域Dでとして生成されたと考えられる．

は，「覚醒度」及び「快一不快」の値が徐々に小さく

図5に被験者Aの感情空間マップの詳細を示す．

なり，「悲しみ」の感情の混在した表情が布置され同図（孔）は，表3の学習データを入力した際，表情ている．

空間マップ上で発火したユニット（252ユニット）

以上の結果は，広い写像空間を有するCPNを用を感情空間マップ上に布置した結果を示している．

いた提案手法により，表情空間マップでは，学習また，同図（l））は，表情空間マップのすべてのユニッ

データの類似性，連続性に基づいた情報の拡張がト（900ユニット）を感情空間マップ上に布置した行われ，より多くの表情パターンを生成し得るこ結果を示している．図5（乱）では，CPNの教師信号と，また，R11SSellの円環モデルに基づく座標値をの座標値付近（図3）に集中して布置されているC】〕Nの教師信号として与えることにより，感情空のに対し，同図（t））では，拡張生成されたユニット

間マップでは，物理的パラメータとしての表情パ（648ユニット）が各座標間を補間する形で布置さターンに対し，心理的パラメータとしての感情のれている様子が認められる．

程度を表現し得ることを示唆している．

図5（c）に，同図（t））の「喜び」の領域（第1象限

4−被験者4名に対する実験結果より，感情空間マッA〔1、l＼′へT】（ハ八（ T廿Al 10八−⁚＞S＞エ↓（弟 √羊習テーータぴ）／ll 腹結果て﹁ ﹇ A S ︶ エ Tl〕E八〔T川＼へT10N

ことが確認され，提案手法は感情の推定手法としJし7V S V ﹈ ﹂ L Z コ↑7V S V ﹈ ﹂ L 7 コl ，1 ⊥ l l 1

プでは表情パターンと感情の対応付けを行い得るて有用であることが示された．

参考文献

川二八C′l■lVAl■10＼1）T．Kohonen／＜self・Organizingmaps， springerSe−（l））全こ1ニットの布置結果

riesinInformationSciences，1995．

2）R・H・Nielsen， Counterpropagationnetworks．
AppliedOptics，VOl．26，nO．23，pP．4979−4984，1987．
3）P・Ekman， Darwin and FacialExpression：A
CenturyofResearchinReview・ AcademicPress，N．Y‥1973．

4）P．EkmanandW．Ⅴ．Friesen． FacialActionCod−1ngSystem， cons111tingPsychologistPress｝1978．
5）R．LienhartandJ．Maydt， AnExtended Setof
Haarlike Features for Rapid Object Detection．
Proc・IEEEInt・Conf．Image Processing．vol．1，
pp．900−903，2002．

6）J・A・RussellandM．Bullock， MultidilTlentional
ScalingofEmotionalFacialExpressions：Simi1arA

ityfroITIPreschoolerstoAdults・ J・Personality
alldSocialPsycllOlogy・VOl．48，Pp．1290L1298，1985．
7）J・A・RussellandL．F．Barrett7 CoreAffect，Pro−

totypicalEmotionalEpisodes，and Other ThingsCal］edEmotion：DissectingtheElephant． J．Per−
SOnalityandSocialPsychology，VOl．76，pp．805−819‡
1999．

（c）富び〝）裾錮古史（拡人図）

Fig・5 DetailoftheEmotionMap（HappinessofSubjectA）．

5．まとめ
本論文では，表情パターンと感情の程度を関連付ける個人固有の感情空間マップの生成手法について検討を加えた．
提案手法では，はじめに，SO九′Ⅰを用いて物理的パラメータである表情パターンを階層的に学習し，個人固有の表情カテゴリを抽出した．次に，CPNを用いて各カテゴリの表情画像を学習し，表情パターンの類似性に基づく表情空間マップを生成した．更に，CPNの教師信号としてRl】SSellの心理空間モデルの値を付加することにより，共通の指標に基づく感情空間マップの生成を試みた．

−5