13C-6
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 23 回日本バーチャルリアリティ学会大会論文集（2018 年 9 月）

反射型光センサを用いた眼鏡型デバイスによる笑いの種類の識別
齊藤千紗 1)，正井克俊 1)，杉浦裕太 1) ，杉本麻樹 1)
1) 慶應義塾大学 理工学研究科 （〒223-0061 神奈川県横浜市港北区日吉 3-14-1）
概要：笑いには可笑しさや喜びといった感情から生じる自然な笑いの他に快感情を伴わない作り笑
いが存在し，笑いの種類を識別することは重要な社会的スキルである．二つの笑いには表情の幾何学的な差異と表情変化における時間的な差異が存在する．本研究では反射型光センサを搭載した眼鏡型表情認識装置を用いて作り笑いと自然な笑いの識別を試みたところ，平均 8 割以上の識別率が得られた．
キーワード：笑い，反射型光センサ，ウェアラブルデバイス1. はじめにコンピュータが人間の表情から2つの笑いの識別する機

対人コミュニケーションにおいては言語情報以外の表能を持てば，日常生活において生じる笑いを客観的に捉え，現手段として，表情や身体動作などを通じた感情や意図のコミュニケーションや心身の健康に及ぼす効果を詳細か表出が重要であり，私たち人間は日常生活において意識的つ多角的に検討することが可能になると期待される．本論

あるいは無意識的に多様な感情や意図を表出している．受文では日常的な笑いの種類の識別を目的として，ウェアラ

け手側は言語情報を理解するのみではなく，顔表情や，相ブルデバイスによる自然な笑いと作り笑いの識別可能性

手の性格，会話の文脈，現在置かれている状況などの情報を検証し，識別精度を評価する．

から相手の感情や意図を理解することができる．こうした表情のなかでも特に笑いは日常最も頻繁に観察される感

2. 関連研究

情表出の1つであり，一般的に喜びや可笑しさ，楽しさと2.1 笑いの分析

いったポジティブな情動の表出として自発的な笑いを観

自然な笑いと作り笑いの表出の差異を解明する研究が察することができる．一方で，好感情や可笑しさから自発行われている．19 世紀半ば，心理学者 Duchenne は笑顔に的に表出される自然な笑い以外にも，他の感情の隠蔽，雰は二つの種類があり，快感情を伴う自然な笑いは大頬骨筋囲気操作などの社会的相互作用を目的とした意図的な作と眼輪筋の収縮が同時に行われ，眼輪筋は意志によってり笑いも存在し，円滑なコミュニケーションに必要不可欠収縮させることができないことを指摘した．Ekman はこな役割を果たす．Krumhuberら[1]は模擬採用面接実験にの説を支持し，さらに笑いを 18 種類に区別できることをおいて実験参加者の本当の笑顔，作り笑顔，無表情の３つ説明した[2]．の表情が面接官に与える影響や評価を調査し，自然な笑顔

Ekman は笑顔の非対称性についても言及している．右が面接において有利に働くことを証明した．自然な笑顔は脳は感情に起因した役割を担うため，真の感情は顔の左側相手に好意的に捉えられるため，自分にとって有利な判断に現れるとした[3]．この見解に基づき，Martin＆Brain[4]はや決断を相手に促すことを指摘している．

メタ分析を用いて表現力について左右の有意差を示し，作り笑いは自然な笑いに比べて非対称的であるとした．しかChisa SAITO, Katsutoshi MASAI, Yuta SUGIURA,しながら最近の研究では左右の対称性に差はないことがand Maki SUGIMOTO© 2018 日本バーチャルリアリティ学会- 13C-6 -13C-6

言及されている[5]．

同型のデバイスを用いて実験を行った．眼鏡型装置はセまた笑顔表出時の時間的な差異も指摘されている．笑い

ンサ値にA/D 変換処理を施したのち，XBeeを用いてコは開始期，頂点期，収束期の 3 つに分けることができ，特ンピュータと無線通信を行い，取得したセンサデータをに開始期の表情変化の大きさや速さが２つの笑いで異な送信する．

る [6][7][8].
笑いの種類の識別を行う研究の多くは画像を用いた分

4. 実験

析を行っている[9][10]．しかし日常的な笑い識別システム

反射型光センサを搭載した眼鏡型表情識別装置を用いを考慮した場合，カメラを用いる手法では常にフレームにて，作り笑いと自然な笑いの識別が可能かを検証する実顔全体が収まるようにカメラを設置する必要があるほか，験を行った．笑いのサンプルを取得するにあたり，実験プライバシーの問題も生じる．また筋電計を用いて表情筋を作り笑いと自然な笑いの 2 つのセッションに分けた．の動きを取得する方法も提案されているが[11]，電極を顔初めに作り笑いを取得するための実験を行い，次に自然に直接貼り付ける必要があり，装着が不便かつ外観を損なな笑いを取得するための実験を行った．本実験は 20 代のうという欠点が挙げられる．

実験参加者 5 人について個別に実施した．実験画面が表2.2 反射型光センサを用いた表情識別

示されるディスプレイの上部にはカメラが設置されてお正井らは眼鏡型デバイスに反射型光センサ群を埋め込り，参加者の表情を撮影した．画像とセンサ値は約 30Hz

み，装着者の基本表情を識別するAffective Wear[12]をで取得し，タイムスタンプをつけて同期した．

提案した．表情が変化する際，表情筋の動きによって皮

4.1 作り笑いの取得

膚変形が生じる．この変形は表情の種類によって異なる

ディスプレイ上に 3 秒間”smile”の文字を表示し，参加者ため，メガネフレームと皮膚表面との距離が変化する．に表示中に一度笑うよう指示を行った．この試行を 10 回

メガネフレームに反射型光センサを取り付けることで皮で 1 セットとし，実験全体で合計 2 セット実施した．

膚表面との距離を計測し，表情毎に取得したセンサ値の4.2 自然な笑いの取得

データセットを用いて機械学習を行うことで表情識別が可能となる．

実験参加者に眼鏡型装置を装着した状態で笑いを誘発する動画を視聴してもらった．実験に使用した映像コン

浅野ら[13]はこの眼鏡型デバイスから得られるデータ

テンツは実験者が用意した 3~5 分の漫才とバラエティーを用いて多変量解析によってモーションキャプチャシス番組の動画である．動画視聴中の表情をカメラで撮影し，テムのマーカの位置を推定する実験を行った．結果，顔実験終了後に画像をもとに笑い開始から終了までのタイの幾何学的形状を高い精度で推定できることを示した．

ミングを実験者が選定することで同時刻のセンサ値を抽こうした眼鏡型デバイスは装着性に優れており，長時間出した．1 セッションにつき 10 回分の笑いを収集し，実の使用が可能であるため日常的な環境での利用に向いて験全体で 20 回分の笑いのサンプルを取得した．

いる．そこで本研究では眼鏡型のウェアラブルデバイスを用いて目の周りの動きを取得する．

5. データの処理方法
2つの笑いの幾何学的差異として頂点期における16個の3. 実装

センサの値を，時間的な差異として開始期にかかった時間間隔を特徴量とする．
まず反射型光センサへのノイズの影響を軽減するた
め，時間軸で連続する10サンプルの移動平均をかけて平滑化を行う．続いて自然な笑いが生じている時刻を取得
図1 眼鏡型デバイスするため実験参加者の顔表情をカメラで記録し，センサ（左：デバイスの外観 右：センサの配置）値と同期する．実験後，実験者が画像から笑顔が生じ始

本研究では，正井ら[12] が提案したAffective Wearとめる手前(無表情) から笑い終了までのセンサ値を抽出す© 2018 日本バーチャルリアリティ学会- 13C-6 -13C-6

る．一方画面の指示によって表出される作り笑いでは画の時間間隔を求めることができる．作り笑いと自然な笑面の表示パターンをセンサ値にラベリングし，指示を受いで笑い開始期の時間間隔が異なる場合，各センサの立けたタイミングでのセンサ値を取り出す．2つの笑いにおち上がりの時間間隔から2つの笑いが区別可能であると考いて一番初めのフレームは笑い開始前であるため，各時えられる．そこで集めた全ての笑いにおけるセンサの立刻のセンサ値と最初のフレームのセンサ値との差分を取ち上がり時間間隔を，センサごとに平均0，分散1となるることで，無表情から笑いが生じる際のセンサ値の変化ように正規化した後，識別を行う．

量が取得できる．

6. 結果

5.1 立ち上がりタイミングの特定抽出した笑いの時系列データは笑いの開始期，頂点6.1 センサデータの主成分分析結果

期，収束期を含む．抽出したセンサデータを最小二乗法

図 4 に作り笑いと自然な笑いの各 20 回分におけるそれで１７次の多項式に近似する．近似曲線の決定係数は全ぞれ 16 個のセンサ値について主成分分析を行い，2 次元ての参加者において平均0.9以上であった．得られた近似に次元削減を行った結果の一例を示す．作り笑いについて曲線を微分し，極大と極小となる時刻を求める．各極小クラスタが存在していることがわかる．

から連続する極大のセンサ値の差分を求め，全ての差分のうち最も大きいものを抽出することで笑いにおけるセンサの立ち上がり開始位置と終了位置を特定する．

図 4 主成分分析結果の一例
6.2 時間間隔取得結果
図 5 に 3.3 で導出した自然な笑いと作り笑いの各 10 回における時間間隔の一例を示す．自然な笑いは作り笑いに
図2 開始期の決定比べて時間間隔が長く，立ち上がりがゆっくりであるこ

5.2 笑い開始期直後からのサンプルの取得とがわかる．さらに作り笑いはどのセンサも時間間隔が5.1から求めた立ち上がり時刻はセンサごとに異なる．
そこで全てのセンサの立ち上がり終了時刻の中央値を笑2 秒以内だが，自然な笑いではセンサパターンが一貫しておらず変位の幅が大きい．

い頂点期の開始時刻とする．センサごとに平均０分散１となるように正規化したのち，この時刻から連続する１０フレーム分のサンプルを取得し，識別を行う．図3にサンプル取得位置の一例を示す．

図 5 取得した時間間隔の一例
6.3 識別結果
図3 サンプル取得位置の一例

センサ値，時間間隔，2 つを組み合わせた計 3 種類のデ

5.3 センサ立ち上がり時間間隔の導出

ータセットについて，教師あり機械学習モデルの 1 つで3.1の手順から特定したセンサの立ち上がり開始時刻とあるサポートベクタマシンを用いて 2 つの笑いの識別を終了時刻の差分を計算することで，センサの立ち上がり試みた．このとき層化 4 割法を用いて交差検証を行い，© 2018 日本バーチャルリアリティ学会- 13C-6 -13C-6

同じ笑いから取得したサンプルが学習データとテストデ

symmetry of emotional and deliberate facial actions.

ータの両方に含まれないように考慮した．

Psychophysiology, Vol. 18, No. 2, pp. 101-106, 1981.
[4] Martin Skinner and Brian Mullen. Facial asymmetry inemotional expression: A meta-analysis of research. British
Journal of Social Psychology, Vol. 30, No. 2, pp. 113-124,1991.
[5] Schmidt, Karen L., Sharika Bhattacharya, and RachelDenlinger. “Comparison of Deliberate and Spontaneous

図 6 識別結果

Facial Movement in Smiles and Eyebrow Raises.” Journal of7. 考察

nonverbal behavior 33.1 pp35–45. 2009

全参加者において，立ち上がり直後のセンサデータを学[6] Karen L. Schmidt, Jeffrey F. Cohn, Yingli Tian. Signal習させた場合と立ち上がり時間間隔を学習させた場合のCharacteristics

何れも 8 割以上の識別率が得られたことから, 提案シス

Automatic Movement in Solitary and Social Smiles.

テムにおける反射型光センサを用いた手法で，作り笑いとBiological Psychology, 65(1), pp49-66, 2013

ofSpontaneous

FacialExpressions:

自然な笑いにおいて表情の幾何学的な差異と表情変化に[7] Cohn, Jeffrey & Schmidt, Karen. The timing of facial motion

おける時間的な差異を高い精度で識別できる情報量が得

in posed and spontaneous smiles. International Journal ofられていると考えられる．特にセンサの立ち上がり時間

Wavelets, Multiresolution and Information Processing.

間隔を用いた識別では全ての参加者において 9 割以上の02(02), 2011.

識別率であり，表情変化における時間間隔は 2 つの笑い

[8] Guo, Hui et al. “The Dynamic Features of Lip Corners inで大きく異なると考えられる．実験の結果，16 個のセン

Genuine and Posed Smiles.” Frontiers in Psychology, 9,

サの中で特に大きく変化するセンサの種類は参加者ごと2018.に異なった．反射型光センサのセンサ値は反射物との距[9] Dibeklioğlu H., Salah A.A., Gevers T. Are You Really

離に応じて非線形な値を示し，近距離であるほど分解能

Smiling at Me? Spontaneous versus Posed Enjoymentが高くなる．参加者の顔形状によってセンサとフレームSmiles. Lecture Notes in Computer Science, vol 7574, 2012との距離が異なるため，センサの変化量は実際の動きの[10] H. Dibeklioglu, A.A. Salah, T. Gevers.

Recognitionof

大きさに比例しない．顔のパーツごとの変化量を観察しgenuine smiles IEEE Trans. Multim., 17 (3), pp. 279-294,

たい場合，センサ値と距離を線形化する必要があるとい2015.

える．

[11] Lilah Inzelberg, David Rand, Stanislav Steinberg, Moshe
David-Pur & Yael Hanein. A Wearable High-Resolution

謝辞

本研究は JST CREST JPMJCR14E1 の支援を受けた

Facial Electromyography for Long Term Recordings in

ものである．

Freely Behaving Humans. Scientific Reports, Vol. 8, No
参考文献

2058, 2018.

[1] Eva Krumhuber, Antony S. R. Manstead, Darren Cosker,[12] 正井克俊, 杉浦裕太, 尾形正泰, クンツェカイ, 稲見

Dave Marshall, and Paul L. Rosin. Effects of dynamic昌彦, 杉本麻樹. Affectivewear: 装着者の日常的な表情

attributes of smiles in human and synthetic faces: Aを認識する眼鏡型装置. 日本バーチャルリアリティ学

simulated job interview setting. Journal of Nonverbal

会論文誌, Vol. 21, No. 2, pp. 385-394, 2016.
[13] 浅野直生, 正井克俊, 杉浦裕太, 杉本麻樹. 反射型光Behavior, Vol. 33, No. 1, pp. 1-15, 2009.
[2] ポール・エクマン. 顔は口ほどに嘘をつく. 河合書房新社, 2006.

表情パフォーマンスキャプチャ. 第 22 回日本バーチ[3] Paul Ekman, Joseph C. Hager, and Wallace V. Friesen. The© 2018 日本バーチャルリアリティ学会

センサを用いた眼鏡型ウェアラブルデバイスによる顔- 13C-6 -ャルリアリティ学会大会論文集, pp. 329-332, 2017.