WISS 2019

装着型小型カメラを用いた自己表情認識システム
青木 啓晃 ∗

磯山 直也 †寺田 努 ∗塚本 昌彦 ∗

概要. 表情は自身の感情や精神状態表を表しており，表情からは自身に関する多くの情報が得られる．なので，他者とのコミュニケーションの際には，お互いの心理状態が表情に提示されることにより，表情による非言語情報が会話への補助になっている．そのため，常時表情の変化を認識し，記録できれば，様々なサービスに利用可能である．本稿では，2 個の小型カメラと 2 個の鏡を用いて目元と口元のみを撮影することで，日常生活を阻害せずに常時ユーザの表情認識を行うシステムを提案する．提案システムは，撮影した画像を予め用意しておいたユーザの顔全体が写った画像の同部位と入れ替えて，疑似的に顔全体画像を作成し，その画像を表情認識する．本稿では，提案システムを設計し，表情認識精度の評価実験を行った．
認識精度は低かったが，今後修正すべき点について明らかになった．

1

はじめに

表情は自身の感情や精神状態を表しており，表情からは多くの情報を得ることができる．なので，他者とのコミュニケーションの際には，お互いの心理状態が表情に提示されることにより，表情による非言語情報が会話への補助になっている．そのため，常時表情の変化を認識し，記録できれば，様々なサービスに利用可能である．
表情の認識には，カメラで正面から顔全体を写した画像 (以下，顔全体画像) を用いることが一般的で，認識精度も高い．人は表情筋の動きと強度の違いから様々な表情を作り出しており，Ekman らはその時の顔の動きは部位によって偏りがあるとしている [1]．そこで，カメラで撮影する範囲が顔上の特定の範囲のみでも表情認識が可能であると考えた．
本稿では，複数個の小型カメラを用いて顔上の特定の部位を撮影し，その部位を予め用意しておいた無表情の顔全体画像 (以下，無表情画像) の同部位と入れ替えて疑似的に顔全体画像を作成することで，ユーザの表情認識を行うシステムを提案する．顔の一部を撮影すればよいので，カメラを正面に配置する必要がなく，日常生活を阻害せずにユーザの表情を認識可能である．撮影範囲と認識精度のトレードオフを考慮して，システムの設計を行う必要がある．

2提案システム

提案システムは，デバイスと PC で構成し，デバ
イスでは顔の右側の目元と口元の撮影を行い，PCで撮影した画像と予め用意しておいた，斜めから両目が写るよう撮影した無表情画像の同部位と入れ替え，疑似的に表情画像を作成し表情認識を行う．
Copyright is held by the author(s).
神戸大学大学院工学研究科†
奈良先端科学技術大学院大学∗

本デバイスは，図 2 に示すように 2 個の小型 USB
カメラ (ミヨシ社の UC-01 [3]) と 2 個の鏡，固定具から構成されている．固定具は，3D プリンタによりカメラと鏡を固定できるようにしつつ，眼鏡の右目側のテンプル部分を模して作成している．なので，デバイス装着時に，カメラと鏡は顔の右側に固定される．予備調査の結果を基にカメラは顔の右側の目元と口元が鏡に反射された様子を撮影する．本デバ
イスは，顔に近く，ユーザの視界を妨げない位置にカメラを配置することで，装着性を高めている．ただし，斜めから撮影しているため，表情画像を作成する際には，歪みを補正する必要がある．
PC では．撮影した画像の歪みを補正し，無表情画像の対応部位と入れ替えることで合成画像を作成し，Face API [2] を用いて表情認識を行う．FaceAPI は入力顔画像を 8 つの感情（中立，怒り，軽蔑，嫌悪，恐怖，喜び，悲しみ，驚き）に対して，それぞれの感情の信頼度を数値化（以下，パラメータ値）し，合計が 1 となるように認識結果を出力する．
斜め前から撮影した無表情画像はシステム利用前に用意する．撮影画像は，はじめに，予め用意した無表情画像の肌の色と撮影画像の肌の色がなじむよ
うに，画素値の平均値の差を用いて画素値の変更を行う．次に，，アフィン変換を用いて歪みを補正し，撮影した画像部位の中心が左端に来るようにトリミングする．アフィン変換に用いる行列式は，本稿では事前に撮影した顔正面画像と，無表情をした際の様子をデバイスで撮影した画像において，両者の 3つの特徴点が対応するように手動で定めている．作
成した左側の目と口元の画像を予め用意しておいた無表情画像の同部位と入れ替えた合成画像をを Face
API を用いて表情認識する．デバイスを装着して常に撮影を行うことで，常時ユーザを表情を認識し続ける．撮影画像を保存しておくことで，後から表情を，数値情報だけでなく実際の映像でも確認できる．

WISS 2019ढ़ওছ

‫ا‬͹बҕͶഓ஖͢ɾ໪‫ݫ޳ͳݫ‬Ν৙ͶࡳӪĂďĐĚh^Ͳ௪৶W
3&ժોร‫׷‬ʀΠϓΡϱร‫׷‬ʀφϨϝϱήΝߨ͑

図 3. 評価実験に用いた表情ϭϬ͘ϱໃන৚͹‫ا‬ժ଀͹ಋ෨ҒͶ߻੔ͤΖϬࡠ੔ͪ͢‫ا‬ժ଀Ν&ĂĐĞW/Ͳන৚೟ࣟΝߨ͑න৚߻੔න৚߻੔න৚߻੔න৚߻੔ĂౘΕ ܲ㚿‫ݑ‬ѳ ‫ڬ‬ෑ‫ ;ج‬஦ཱི൷͢Ί ‫͘ڽ‬ďĐĚ
図 4.
評価実験に用いた結果

図 1. 提案システム
ঘ‫ܗ‬Ωϟϧ‫ں‬

図 2. 提案デバイスの外観

3評価実験

提案システムで作成した合成画像と顔の正面から撮影した画像をそれぞれ Face API にかけた際の結果を比較し，評価を行った．評価には 4 種類の表情(3) を用いた．被験者は，第一著者 1 名で行った．
結果を図 4 に示す．3 つの表情において，元の表情画像の認識結果と比べて合成画像の結果は，FaceAPI から算出される感情信頼度が大きく中立へと変化し，本システムの認識精度は低い結果となった．
精度が低い原因として，撮影部は，ユーザの装着性を考慮し過ぎ，必要な範囲よりも撮影範囲く，目元と口元の動きを十分に捉えきれていなかった．今後の修正として，カメラの位置をもう少し顔正面へ近づける，あるいは顔から離して配置する必要がある．
表情認識部は，補正の仕方とを考える必要がある．
現在は，アフィン変換を用いて歪みの補正を行っているが，本システムで作成した表情画像はかなり不自然なものになっている．今後は立体的な補正方法やキャリブレーション機能を検討する必要がある．

4まとめ

本稿では，2 個の小型カメラを用いて目元と口元のみを撮影し，その部位を予め用意しておいた顔全体が写った画像の同部位と入れ替えて疑似的な顔全体画像を作成することで，常時ユーザの表情認識を行うシステムを提案し，プロトタイプの実装および評価を行った．作成したデバイスで，視界の妨げになることなく，目元と口元の撮影を行うことがが可能となる．評価実験の結果，認識精度が低く，多くの課題が見つかった．今後は，カメラと鏡の配置位置を再調査し，撮影画像の変換手法についても検討することで精度の向上を行う．

謝辞
本研究の一部は，JST，CREST(JPMJCR16E1,JPMJCR18A3)，NICT(アジャイル型共創による高齢者補助ロボット用ネットワークプラットフォーム技術の研究開発) の支援によるものである．ここに記して謝意を示す．

参考文献[1] P. Ekman and W. V. Friesen: Facial Action
Coding System, Consulting Psychologists Press(1977).
[2] MicrosoftCorporation:
FaceAPI,
https://azure.microsoft.com/ja-jp/
services/cognitive-services/face/.
[3] 株式会社 ミヨシ: 隙間に入るスリムな USB カメラ, https://www.mco.co.jp/.