情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P14
2018/3/5

反射型光センサを用いた眼鏡型装置による作り笑いと自然な笑いの識別齊藤千紗†1

正井克俊†1杉浦裕太†1杉本麻樹†1

概要： 笑いには可笑しさを感じて自然に生じる笑いと快感情を伴わない作り笑いが存在し，笑いの種類を識別することは日常生活を営む上で重要なスキルである．カメラや筋電計を用いて 2 種類の笑いにおける表出の差異が研究されているが，これらを日常的に利用可能な識別システムに応用するのは難しい．そこで本研究では日常的に装着可能な眼鏡型表情認識デバイスを用いて 2 種類の笑いの識別を試み，精度を評価した．

Identification of natural and fake smiles
by a smart eyewear embedded with reflective optical sensors
CHISA SAITO†1 KATSUTOSHI MASAI†1YUTA SUGIURA†1 MAKI SUGIMOTO†1
Abstract: It is important to guess properly whether people are laughing spontaneously or intentionally. To develop an identification
system used in daily life, we examined whether a smart eyewear that equips reflective optical sensors can distinguish two types ofsmiles; Natural smiles caused by funny videos and fake smiles evoked only by instructions. The result suggested that there was ageometric difference on face between two smiles and the eyewear device is able to identify them．

1. はじめに笑いは日常最も頻繁に観察される感情表出の一つであの見解に基づき，Martin＆Brain[3]はメタ分析を用いて表現力について左右の有意差を示し，作り笑いは自然な笑いに比べて非対称的であることを指摘した．

り，一般的にポジティブな情動を示す表現として認知され一方で，動的な特性も研究されている．中村は眼輪筋及ている．可笑しさや喜びといった快感情から自然に生じる

び大頬骨筋の筋電図，呼吸曲線を記録し，映像刺激に対す

笑いは，心理学者 Ekman によってデュシェンヌの笑いと名る自然な笑いと作り笑いの表出に伴う反応の開始時間を分づけられた[1]．デュシェンヌの笑いに対し，快感情を伴わ析した[4]．また内田らは高速度カメラを用いて自発表情とない笑いも存在する． その中でも，作り笑いは日常生活の演技表情における特徴点の変位の動的変化パターンの類似中で社会的なスキルとして頻繁に表出されるが，訓練によ点及び相違点を示した[5]．このように顔面表情の変化をつって自然な表出に近づくことが予想できる．またコミュニかむ方法として筋電計による顔面筋肉運動の測定やカメラケーションにおいて，我々は笑いの種類から他者の感情やを用いる方法が有効である．しかしながら日常的な利用を意図を読み取る．日常で表出する笑いを解析し，フィード視野に入れた笑い判別システムとしての応用を検討したい

バックすることで，他者とのコミュニケーションを円滑に場合，筋電計は顔に電極を直接張り付ける必要があり不便することが出来る．

である．またカメラを用いる場合，対象の顔がフレームに1.1 笑いの分析収まるよう装置を設置する必要があることやプライバシー

自然な笑いと作り笑いとの表出の差異を解明する研究の観点から日常的な利用には適さない．

が行われている．これまでの研究では 2 種類の笑いで笑顔自然な笑いと作り笑いの識別の方法として表情以外の表出の際に収縮する顔面筋肉が異なると考えられていた．

アプローチも存在する．Scott らは人間が笑い声によって自快感情を伴う自然な笑いは大頬骨筋と眼輪筋の収縮が同時

然な笑いと作り笑いを判別していることを示した[6]．しかに行われるのに対し，作り笑いにおいては大頬骨筋によっし音声解析を用いる方法では笑い声を伴わない笑いの識別て口端が動かされ頬が上昇するが，眼瞼部眼輪筋の活動はが不可能である．

伴わない[1]．

1.2 反射型光センサを用いた眼鏡型表情識別装置

自然な笑いと作り笑いにおける顔の幾何学的形状の差

正井ら[7]は眼鏡型デバイスに反射型光センサ群を埋め異が指摘されている．右脳は感情に起因した役割を担うた

込み， 装着者の基本表情を識別する AffectiveWear を提案

め，真の感情は顔の左側に現れるという見解がある[2]．こした．

†1 慶應義塾大学
Keio University© 2018 Information Processing Society of Japan850

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P14
2018/3/5

験終了後に画像をもとに笑い開始から終了までのタイミン
グを実験者が選定し，同じ時刻のセンサ値を抽出した．1 セッションにつき 10 回分の笑いを収集し，実験全体で 20 回の自然な笑いのサンプルを取得した．

3. 結果
3.1 センサデータの取得
AffectiveWear でのセンサの配置

それぞれの笑いサンプルについて，笑い開始直前（ニュFigure1. Sensor array on AffectiveWearートラルな表情）からのセンサ値の差分を取り，変化量の反射型光センサは赤外線 LED から光を照射し，フォトト様子をグラフで示した．約 30ms 間隔で取得したセンサ値

ランジスタで受光することで正面物体との距離を計測できの 40 点目から 50 点目までを取得し，自然な笑いと作り笑るセンサである．表情が変化する際，表情筋の動きによっいそれぞれ合計 200 回分のデータを収集した．図 2 は自然て皮膚変形が生じる．この変形は表情の種類によって異なな笑いのセンサ値を取得した場合の一例である．

図1

るため，メガネフレームと皮膚表面との距離が変化する．
表情毎に取得したセンサ値のデータセットを用いて機械学習を行うことで表情識別が可能となる．浅野ら[8]はこの眼鏡型デバイスから得られるデータを用いて多変量解析によってモーションキャプチャシステムのマーカの位置を推定する実験を行った．その結果，このデバイスが顔の幾何学的形状を高い精度で推定できることを示した．こうした眼鏡型デバイスは装着性に優れており，長時間の使用が可能
図2であるため日常的な環境での利用に向いている．
本研究では，日常的に装着することができる眼鏡型デバ
イスに組み込んだ反射型光センサからの反射強度情報を機械学習することによって，作り笑いと自然な笑いの識別がセンサ値の取得位置

Figure2. The position of sensor value
3.2 分析結果
まず取得したセンサ値を主成分分析によって次元削減し可能であるか検証を行う．て分布を検討した．図 3，4，5 は各被験者について 16 次元

2. 実験ある．これらの図より 2 種類の笑いに対応したクラスタが反射型光センサを搭載した眼鏡型表情識別装置を用いのセンサ情報から 3 次元に削減した結果を示したグラフで形成される空間が存在することが確認できる．て，作り笑いと自然な笑いの識別が可能かを検証する実験

そこでセンサデータ 400 個のうち 75%を学習用，残りをを行った．笑いのサンプルを取得するにあたり，実験を作テスト用のデータとして交差検証を行った．識別には教師

り笑いと自然な笑いの 2 つのセッションに分けた．初めにあり機械学習モデルの一つであるサポートベクタマシン

作り笑いを取得するための実験を行い，次に自然な笑いを（rbf カーネル，C=1.0，gamma=0.001）を用いた．図 6 はそ取得するための実験を行った．本実験は 20 代の被験者 3 人

れぞれフレームの全部(all)，上部(up:0,2,3,5,8,10,11,13)，下について個別に実施した．実験画面が表示されるディスプ部(down:1,4,6,7,9,12,14,15)のセンサを用いて機械学習を行

レイの上部にはカメラが設置されており，被験者の表情をった場合の被験者ごとの平均識別率と標準偏差を示したグ撮影した．画像とセンサ値は約 30Hz で取得し，タイムスラフである．

タンプをつけて同期した．
2.1 作り笑いの取得
ディスプレイ上に 3 秒間”smile”の文字が表示される．被験者はこの間に一度笑うよう指示された．この試行を 10 回で 1 セットとし，実験全体で合計 2 セット，20 回の作り笑いのサンプルを取得した．
2.2 自然な笑いの取得
被験者に眼鏡型装置を装着した状態で笑いを誘発する動画を視聴してもらった．実験に使用した映像コンテンツは実験者が用意した 3~5 分の漫才とバラエティー番組の動画である．動画視聴中の被験者の表情をカメラで撮影し，実© 2018 Information Processing Society of Japan

図3

被験者 A の主成分分析結果

Figure3. The result of PCA (Participant A)

851

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P14
2018/3/5の識別が可能であると言える．
また被験者ごとの識別率を比較すると，被験者 C は最も識別率が高く全てのセンサもしくは下部のみを用いた場合の識別率は 100%であったのに対し，被験者 A は認識率の振れが大きく安定しない．つまり被験者 A はより自然な笑いに近い作り笑いができていたと考えられる．

4. おわりに本研究では，反射型光センサ群を搭載した眼鏡型表情識
図4

被験者 B の主成分分析結果

Figure4. The result of PCA (Participant B)

別装置を用いて自然な笑いと作り笑いの識別を試みた．2
種類の笑いのサンプルを取得する実験を行い，機械学習を用いて三人の被験者ごとに識別を行った結果，16 個のセン
サを用いた場合の平均識別率はそれぞれ 83%, 97%, 100%となり，静的な顔面形状の差異から自然な笑いと作り笑いの識別が可能であることが分かった．
今後はセンサの配置場所ごとにセンサ値の変化を観察し，2 種類の笑いにおける笑顔の幾何学的構造の分析を進める．またセンサ値の時系列的な変化についても分析を行
い，顔の各部位における動き始めのタイミングや笑顔を作り始めてから笑顔のピークに達するまでの時間間隔を比較する．

図5

被験者 C の主成分分析結果

Figure5. The result of PCA (Participant C)

謝辞
本研究は JST CREST JPMJCR14E1 の支援を受けたものである．

参考文献

図6

被験者ごとの笑いの識別率

Figure6. The accuracy of discrimination between natural andfake smiles for each participant
図 6 から，すべての被験者において 80%以上の識別率が得られていることが分かる．また識別に用いるデータをセンサの配置がメガネフレームの上部か下部かに分けて識別を行ったところ，下部のセンサのみを用いた場合の識別率はすべての被験者で 90％以上となった．したがって自然な笑いと作り笑いについて，特に目から頬にかけての領域で[1] ポール・エクマン，菅靖彦（訳）顔は口ほどに嘘をつく，河出書房新社，2006．
[2] Ekman, P., Hager, J.C., & Friesen, W.V. The symmetry of emotionaland deliberate facial actions, Psychophysiology, Vol.18, No.2,
pp.101-106, 1981.
[3] Skinner, M., & Mullen, B. Facial asymmetry in emotional
expression: A meta-analysis of research. British Journal of Social
Psychology, Vol.30, No.2, pp.113─124, 1991.
[4] 中村亨, 自然な笑いと作り笑いにおける表出の時間差の分析,
電子情報処理学会技術研究報告. Vol100, No34, pp.1-8, 2000.
[5] 四倉達夫, 内田英子, 山田寛, 赤松茂, 鉄谷信二, 森島繁生.
高速度カメラを用いた顔面動作の分析および表情合成, 映
像情報メディア学会技術報告, Vol.25, No.58, pp.15-22, 2001.
[6] Scott, Sophie K., Lavan, Nadine, Chen, Sinead, McGettigan,Carolyn. The Social Life of Laughter, Trends in Cognitive
Sciences, Vol.18, No.12, pp.618-620, 2014.
[7] 正井克俊，杉浦裕太，尾形正泰，クンツェカイ，稲見昌彦，
杉本麻樹. Affective Wear : 装着者の日常的な表情を認識する
眼鏡型装置, 日本バーチャルリアリティ学会論文誌，
Vol.21，No.2，pp.385-394, 2016.
[8] 浅野直生，正井克俊，杉浦裕太，杉本麻樹．反射型光センサを用いた眼鏡型ウェアラブルデバイスによる顔表情パフォー
マンスキャプチャ，第 22 回日本バーチャルリアリティ学会
大会論文集, pp.329-332, 2017

大きな皮膚変形が生じ，幾何学的な差異が生じていることが分かった．実験の結果，反射型光センサを搭載した眼鏡型表情識別デバイスを用いて静的な状態での二種類の笑顔© 2018 Information Processing Society of Japan852