情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-49
2024/2/28

ウェアラブル微表情検出のための筋電図分析の基礎検討
島﨑大翠1,a)

正井 克俊2,b)

崔 赫秦2,c)

中村 優吾2,d)

峯 恒憲2,e)

福嶋 政期2,f)

荒川 豊2,g)

概要：微表情とは，感情の抑制を試みているにも関わらず無意識的に表出する表情であり，人の本心を認識する手段として有用である．微表情は，発生時間が短く強度が低いといった特徴から，肉眼での認識が困難である．そのため，画像認識を用いた表情分析や，筋電図や脳波信号などの生体情報を用いた検出が行われている．筋電図を用いた検出では，既存の微表情検出に用いられる表情や主観的な感情評価の他に，生体情報を用いることで客観的な検出が可能である．しかし，測定に必要な電極の数が多いことや有線のデバイスを用いていることから，被験者の動きが制限される．そのため，ユーザビリティに配慮したデバイス，システムの設計が重要である．
本稿では，ウェアラブルな微表情検出を行う筋電システムの構築を目指すために，筋電図分析の基礎検討を行う．実生活に近い環境で微表情の検出を行うには，ユーザの負担にならないデバイスが必要である．
そこで，筋電図の計測に必要な電極数が少ないウェアラブルデバイスを用いて微表情の検出を行い，その評価を行う．

1. はじめにいったメリットがあるため，これまで微表情の検出はコンピュータービジョンベースであったが，頭部の急な動きに表情は，基本的な感情に対応しており，感情を伝えたり対応していないことや検出にカメラを用いる必要があるこ

相互に理解したりするための重要な役割を果たしていると，表情以外の客観的指標に欠けるといった課題がある．

が，人は随意に表情を作ることでその本心を隠そうとする

そのため，生体情報ベースの手法が代替として研究されて場合がある．通常，表情を意識的に抑制している人の感情いる．既存の筋電図を用いた微表情検出の研究では，筋電を知ることは困難であるが，隠そうとしている感情を読みデバイスを使用する際に，電極を多く設置しており，被験取る方法として微表情が有効であるとされている．微表情者の負担が生じる可能性がある．これらの点を踏まえ，本とは，持続時間が非常に短く，抑制を試みているにも関わ

稿では，日常的なシーンでも微表情の検出に使用できるよ

らず無意識的に表出する表情 [1] のことであり，通常の表うなデバイスを用いた筋電図分析の基礎検討として，電極情よりも嘘を検知する有効な手がかりや本心を読み取る手

配置数が少ないウェアラブル筋電デバイスを用いた微表情段として重要な役割を担っている．の検出を行い，その評価を行う．

微表情は持続時間が非常に短く，発現強度が低い表情であるため，目視による認識は困難である．コンピューター

2. 関連研究

ビジョンベース手法の研究 [2] では，画像処理を行い顔の近年，筋電図を用いた微表情検出に関する研究は，前述特徴量を抽出することで表情筋の動きが検出されていた．

した理由もあり増加している．Shaoyuan らは，計 14 個のコンピュータービジョンベース手法には，分析結果に一貫電極を用いたデバイスを使用し，表情を抑制させた状態の性があり異なる研究者間でも同様の結果が期待されるこ

まま感情を誘発するビデオを視聴することで，通常の表情とや，表情分析に不可欠な顔の特徴の抽出に優れているとと微表情を測定し，その振幅の値やピーク時の表情筋の動きの比較を行った [3]．この研究では筋電図が通常の表情と12a)b)
c)d)
e)
f)
g)

九州大学 大学院 システム情報科学府 情報理工学専攻
九州大学 大学院 システム情報科学研究院
shimasaki.taisui.432@s.kyushu-u.ac.jp
masai@ait.kyushu-u.ac.jp
choi@ait.kyushu-u.ac.jp
y-nakamura@ait.kyushu-u.ac.jp
mine@ait.kyushu-u.ac.jp
shogo@ait.kyushu-u.ac.jp
arakawa@ait.kyushu-u.ac.jp© 2024 Information Processing Society of Japan

微表情を区別する基準として使用できることを実証し，微表情発生時の強度を定量化できる可能性を示した．しかし，測定に多くの電極を必要とする有線デバイスを用いており，被験者の動きが制限されるといった課題がある．筋電図を用いたウェアラブルデバイスの開発を行った研究として，佐藤らの研究 [4] が挙げられる．この研究では．眼鏡型の1278

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-49
2024/2/28

表 1: Action Unit と感情の組み合わせ
Sad

Happy

Anger

DisgustSurprised

Fear

AU01

AU06

AU04

AU09

AU01

AU01

AU04

AU12

AU05

AU15

AU02

AU02

AU026

AU04

AU05

AU07
AU23

図 1: 筋電図計測デバイス

AU05
AU07

図 2: デバイスを装着した様子

AU020
AU026

筋電デバイスを提案し，生体データと連続的な Valence の評価を用いて実験を行った．腕の動きを含むゲームをプレ

3.2 微表情検出手順

イすることで，より実生活に近い環境でも，筋電図が示す実験で計測した動画から微表情を検出するために，以下生体情報と主観的な Valence に相関があることを示した．の作業を行った．まず，正面のカメラで撮影した映像を 1

また，Perusquia らは笑顔の微表情を検出するウェアラブ

フレーム単位で確認し，500ms 以内に表情の変化が見られルデバイスを提案し，ビデオ視聴時の笑顔の微表情と通常た地点の動画を切り出した．切り出した動画と筋電図のの表情の筋電図の比較をすることでデバイスの評価を行っ

データセグメントはトリガ信号を用いて調整した．筋電図

た [5]．その結果，筋電図を用いた提案デバイスが笑顔の微はおよそ 2ms 単位で計測できるため，ビデオフレーム間の表情の検出に有用であることを示した．これらの関連研究

筋電図のデータセグメント数は 7-8 である．500ms の微表では，筋電図が人の感情と相関する可能性を示したが，感情区間は，31-32 フレームで構成されているため，各ビデ情に対応する微表情の検出を行っていない．そこで本研究

オフレーム終了に最も近い筋電図のデータセグメントを選では，ウェアラブルな微表情検出を行う筋電システムの構択した．

築を目指し，その基礎検討として電極数が少ないウェアラブルデバイスを用いた微表情の検出を行う．

3. 実験
実験は，著者自身のビデオ視聴時の様子を計測することで行った．実験には，DEAP:dataset を用いた．このデー

微表情に対応する感情は，表情分析ライブラリの Open-Face[7] を用いて検出した Actino Unit[8] に基づいた表 1 を参照することで決定した．例えば，大頬骨筋と深く関連する感情である Happy の Action Unit(AU06,AU12) はそれぞれ頬を持ち上げる動作，唇を引き上げる動作と定義されている．

タセットの各ビデオクリップは 30 秒であり，ビデオ視聴Action Unit とは，顔の各部位の動きを定量的に評価す中に期待される感情状態や，arousal,valence の数値がラベるための FASC に基づいたコーディングシステムであり，ル付けされている．ラベル付けされたデータセットから，表情の変化を 0-5 の強度で符号化したものである．微表情

Ekman の 6 大感情に基づき Angry，Sad，Happy，Fear，はピーク時の表情のおよそ 10%ほどの強度であるため [3]，Neutral に分類した動画を計 31 個を選択した．動画視聴の微表情の検出に用いる Action Unit の強度は 2.0 より小さ際，感情の抑制を行うため表情を限りなく表出しないよういものから選択した．電極は顔部の左半分に取り付けられに努めた．ており，OpenFace を用いた画像処理には影響しない．微表情発生時の例として，Happy に対応する笑顔の微表情発

3.1 使用したデバイス

生区間での表情と，筋電図を図 3a に，筋電図と対応する実験で用いた，表情筋電図の計測を行うマルチデバイス

Action Unit のグラフを図 3b に示す．本来は 1 フレームの感性計測システム (以下，HuME)[6] を図 1 に，デバイス

表情に対応する筋電図は約 8ms であるが，便宜上範囲を広を実際に装着した様子を図 2 に示す．本デバイスは，大頬げプロットしている．図 3 の微表情が発生し始めた赤色で骨筋，皺眉筋の各部位に 2 つの電極を配置し筋電図の計測表された地点 (onset frame) に対応するように大頬骨筋電を行う．デバイスは，後頭部に装着するウェアラブルな設図が増幅し始め，動きの程度が最も大きい黄色で表された計になっており，HuME と Bluetooth 接続が可能である．

地点 (apex frame) で振幅が大幅に増大し，緑色で表された

また，表情の変化を記録するために被験者の正面にカメ

微表情の終了地点 (oﬀset frame) に進むに伴い，振幅が小ラを設置した．カメラは 60fps での動画の撮影が可能であさくなっていることが確認された．

る．筋電図とカメラの映像は，計測時にトリガー信号を記録することで同期する．トリガー受信器は，カメラを介し3.3 データ前処理て PC に接続されており，トリガー送信器から送られた信生データの筋電図には多くのノイズが含まれているた号を HuME に記録することで筋電図と動画の同期を行う．

め，分析を行う前にデータの前処理を行った．データの前© 2024 Information Processing Society of Japan1279

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-49
2024/2/28(a) Happy に対応する微表情及び筋電図(b) Sad に対応する微表情及び筋電図(a) 微表情発生時の筋電図及び表情(c) Angry に対応する微表情及び筋電図(d) Disgust に対応する微表情及び筋電図(b) 微表情発生時の Action Unit

図 3: 微表情発生時の筋電図及び対応する Actino Unit

処理として，基線変動の除去，ハムノイズの除去，全波整流，線形エンベロープを実行した．以降のデータ分析は，これらの処理を行った筋電図を用いている．

4. 評価
本実験では検出した微表情のデータ数が非常に少な(e) Neutral に対応する微表情及び筋電図

図 4: 各感情に対応する筋電図

いため，検定を用いた評価は行わず，検出した微表情とNeutral(無表情) の筋電図を比較することで評価を行う．

4.1 まとめと展望

本研究では，データセットの中から 13 個の微表情を検出

本稿では，日常的なシーンでも使用できるようなウェアし，微表情に対応する感情とその個数はそれぞれ，Happy:5，ラブル微表情検出のための筋電図分析の基礎検討として筋Anger:3，Disgust:2，Sad:2，Fear:0，Angry:0 であった．検電図計測を行うデバイスを用いた微表情の検出し，評価を出した微表情に対応する筋電図及び程度の強い表情を図 4行った．その結果，検出した微表情の筋電図は Neutral のに示す．図 3 と同様，微表情の動きの程度が最も大きい地筋電図と挙動，振幅の増減の程度ともに異なることが確認

点を黄色でプロットしている．Neutral の筋電図と比較しされ，微表情の検出が適切に行えている可能性がわかった．

た，Happy，Anger，Disgust，Sad の感情に対応する筋電図

日常的なシーンでのデバイスの使用を想定した際には，は，振幅の増減が大きく，筋電図に特徴的な挙動が確認さコードや電極などが被験者の負担にならない設計が必要でれた．特に，大頬骨筋，皺眉筋の影響が大きい Happy，Sadある．また，表情を抑制しない条件下での微表情の検出やの感情について，それぞれの振幅が他の感情に対応する微筋電図の測定を行う必要がある．今後の研究では，引き続表情よりも大きく，挙動が大きいことが確認され，HuME

き筋電図のデータ収集を行うとともに日常で使用できるデで計測した筋電図が微表情の検出を適切にできている可能

バイスの構想及びシステムの設計を行いたいと考えている．

性がある．

© 2024 Information Processing Society of Japan

謝辞 実験に際しては，島津製作所より，マルチデバイ1280

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-49
2024/2/28ス生体計測システム「HuME (Human Metrics Explorer)™」 を貸与いただきました．心より感謝申し上げます．
本研究の一部は，文部科学省による Society 5.0 実現化研
究拠点支援事業 (グラント番号: JPMXP0518071489) による支援のもと実施されている．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

Ekman, P.: Lie catching and microexpressions, The Philosophy of Deception, pp. 118–136 (2009).
Yante Li, J. W.: Deep Learning for Micro-expression
Recognition: A Surve, IEEE Transactions on Aﬀective
Computing, Vol. 13, No. 13, pp. 2028–2046 (2022).
Shaoyuan Lu, Jingting Li, Y. W. Z. D. S.-J. W. X. F.: AMore Objective Quantiﬁcation of Micro-Expression Intensity through Facial Electromyography, FME ’22: Proceedings of the 2nd Workshop on Facial Micro-Expression,
pp. 11–17 (2022).
Wataru Sato, Koichi Murata, Y. U. K. S. S. Y. M. F.:
Emotional valence sensing using a wearable facial EMG
device, Nature (2021).
Perusquia-Hernandez, M., Hirokawa, M. and Suzuki, K.:
A wearable device for fast and subtle spontaneous smile
recognition, IEEE Transactions on Aﬀective Computing,Vol. 8, No. 4, pp. 522–533 (2017).
浦岡泰之，吉田康紀，村田耕一，木瀬香保利， 北河茜，冨田定，古田雅史，務中達也，岡田志麻， 佐藤弥： マルチデバイス生体計測システム HuME (Human MetricsExplorer) の開発と応用，島津評論/島津評論編集部 [編]，Vol. 78, No. 3・4, pp. 245–254 (2021).
Tadas Baltrusaitis, Amir Zadeh, Y. C. L. L.-P. M.: OpenFace 2.0: Facial Behavior Analysis Toolkit, 13th IEEE International Conference on Automatic Face and Gesture
Recognition, Vol. 2018, pp. 59–66 (2018).
Paul Ekman, W. F.: Facial action coding system : investigator’s guide, Consulting Psychologists Press (1978).

© 2024 Information Processing Society of Japan

1281