情報処理学会研究報告
IPSJ SIG Technical Report

動画からの表情変化特徴の抽出と雰囲気・個性のモデリングのための表情の解析
小竹山 祐輝1,a)

中村 理恵1,b)

持橋 大地2,c)

概要：表情には個人の感情や雰囲気, 印象など様々な情報が含まれており, 近年, 表情解析研究が盛んに行
われ, 社会実装され始めている. 一方, これら表情解析の研究の多くは, 感情推定タスクに代表されるような, 教師あり学習によって表情を既存のある表情カテゴリに分類する研究であり, 個人における表情特徴を明らかにするための解析手法はほとんど検討されていない. これに対し, 本研究では教師なし学習による表
情分類により, 現実世界にどのような表情が存在するかを明らかにすることで, 個人の表情パターン, 雰囲
気・個性の定量化を実現することを目指した. 本表情解析手法の開発において, 表情分類の際の個人の顔特徴に対する頑健性, 顔ブレに対する頑健性, 表情の文脈に重要な強度と表情パターン情報を保持した状態で高次元で高精度に分類する技術などが求められ, 多くの技術的課題がある. 本研究では上記を配慮して, 現
実データに応用性の高い解析フレームワークを提案する. 具体的には, 顔の造形に頑健な表情変化特徴量設計と正面化補正, 表情強度による 1 段階目分類, 主成分分析による特徴量の次元圧縮後, 周辺化ギブスサン
プリングによってガウス混合モデルを用いた 2 段階目分類を行う. コーセー化粧品販売員のオンラインカ
ウンセリング研修動画を対象に実験した結果, 販売員間の表情変化パターンの違いが示唆され, 本解析手法の有効性が示されたため報告する.
キーワード：表情解析, 表情変化特徴量, 教師なし学習, 混合ガウス分布, LFM

Modeling Facial expressions from Videofor the Analysis of Atmosphere and Personality
Yuki Kotakeyama1,a)Rie Nakamura1,b)Daichi Mochihashi2,c)Abstract: Facial expressions contain various information such as emotions and moods, and facial expression
analysis studies have been conducted extensively. Most of these studies classify facial expressions into certain
existing categories by supervised learning, such as emotion estimation, and few analysis methods have been
investigated to reveal the characteristics of facial expressions of individuals. Therefore, in this study, we
aimed at quantiﬁcation of individual facial expression patterns and moods by using unsupervised learningfor expression classiﬁcation to identify real facial expressions. Expression classiﬁcation requires robustness
to individual facial features and blurring, and analysis that preserves context-important intensity and pattern information. In this study, we propose a framework suitable for real-world data analysis that takes theabove into consideration. Speciﬁcally, we design and frontalize facial expression change features, perform
ﬁrst classiﬁcation based on facial expression intensity, perform dimensionality compression of features using
principal component analysis, and perform second classiﬁcation using GMM with collapsed Gibbs sampling.
Experimental results on online counseling training videos of KOSÉ cosmetics salespeople suggest diﬀerencesin facial expressions among salespeople, and the eﬀectiveness of this analysis method is reported.
Keywords: Facial Expression Analysis, Facial Expression Change Features, Unsupervised Machine Learning, Gaussian Mixture Model, LFM

1. はじめに情から喜怒哀楽といった相手の感情を予測する感情推定研
究が盛んに行われている. 一方で表情には話者の印象・雰

近年, 人間とロボットの高度なインタラクション, ビジネ

囲気を形成する役割も存在し, 美容や個性発見の文脈で表ス交渉の円滑化等を実現化するために表情・微表情を用い情に含まれる雰囲気をモデリングすることは, 重要かつ社た解析研究が盛んに行われている [1][2][3]. 特に表情・微表

会的に幅広い応用が考えられる. しかしながら, 表情から雰
囲気や印象を研究した例は多くない [4]. また多くの研究は,

1
2
a)
b)
c)

株式会社コーセー 研究所 東京都北区栄町 46-3
統計数理研究所 東京都立川市緑町 10-3
y-kotakeyama@kose.co.jp
r-itou@kose.co.jp
daichi@ism.ac.jp

c 2022 Information Processing Society of Japan⃝

表情を教師あり学習によって予めラベル付けされた既存の表情カテゴリに分類するものであり, 教師なし学習で表情を分類するような研究例は少ない. 動画中で現れる様々な

1

情報処理学会研究報告
IPSJ SIG Technical Report

表情を解析対象として教師なし分類する研究はさらに少ない. そこで, 本研究では動画中から表情特徴量を抽出し, 教
師なし学習を用いて適切に分類することで人の持つ表情を明らかにし, 個人の潜在的魅力の発見, 雰囲気の定量化を実現することを目指した.
雰囲気の可視化・定量化に際し, 我々は以下の研究仮説を設定した. 印象・雰囲気とは表情に代表されるような人の発するノンバーバルな客観情報を第三者が捉えることで認識される. 世の中に存在する表情特徴の 1 つ 1 つは, 雰
囲気を決定づける一つの要素である. 一方で単一の表情特徴はあくまでも数ある表情の 1 つに過ぎず, 個人の雰囲気
は, 個人に観測される様々な表情特徴の組み合わせと出現頻度により決定づけられるものだと考えた. 本稿では以上の研究仮説を基に, 動画における表情特徴量抽出と表情変化パターン分類による個性のモデリングのための解析手法の提案を行う. 以下, 表情から表情分類, 雰囲気の定量化をする上での技術的な課題と本手法における解決手法について記述する. 通常, 表情特徴量を抽出する方法には, dlib による顔特徴点取得や深層学習の一種の CNN(Convolutional

Neural Network) 特徴量などがあるが, 動画の各フレームに両者を単純に用いて教師なし学習で分類を行うと, 顔特

図 1: 提案する解析フレームワーク. 動画から表情変化特徴量 LFM を作成し, LFM の強度とパターンによって二段
階分類を行った後, 個人における各クラスターの出現割合を算出する.
データを射影することによる GMM の拡張も行った.
本稿では本解析手法について, コーセー化粧品販売員のオンラインカウンセリング研修動画を対象に実験した結果,
表情分類と表情に基づく個性的な雰囲気の定量化に対する本手法の有効性が示唆されたため報告する.

2. 関連研究
動画像における表情解析分野の研究の大半は, 表情検出
（Spotting）と感情推定タスク (Recognition) である. 本節
では表情解析の観点からの研究分野の概要として, 表情の特徴量設計から感情推定タスクまでの流れを概説する.

2.1

マクロ表情とミクロ表情と感情分類研究

徴（パーツや骨格）に依存するため, 表情を分類すること

表情に基づく感情推定タスクにおいて, 表情はマクロ表が難しい. 本稿では, この問題を軽減するために表情特徴

情とミクロ表情に分類される. マクロ表情に関するデーとして, 表情変化に着目し, Choi ら [5] により提案されたタセットは, ニュートラルな表情から目標感情を代表す

表情変化特徴量 (LFM, Landmark Feature Map) を適用しる表情への顔変化を示す動画を収納した Extended Cohn-

た. LFM は, dlib 点の相対距離行列の時間差分特徴であり,Kanade[CK+][1] が有名である. 一方, 一般的にミクロ表

Choi らの研究においては感情推定を目的に使用され, 様々

情はマクロ表情に比べて表情強度が非常に弱く, その強さな人種, 性別において高精度で感情予測できたことが報告

は 1/9 程度とも言われている [5]. また微表情は 0.2 秒からされている. また本研究では, 正面に顔を固定したような

0.5 秒の間に現れる表情であり, 不随意的な反応であるた

綺麗なデータセットではなく, カウンセリングなどの自然

め真の感情が含まれるとされている. そのため, マクロ表

な環境の表情分類を目的としているため, 顔のブレに頑健情解析研究に加え, 微表情領域における感情推定研究も盛なモデルである必要もある. 顔のブレに対する正面化補正んであり, 定期的に Facial Micro-Expression Grand Chal-には, Vassilios ら [6] の開発した正面化補正アルゴリズムを

lenge(MEGC) も行われている [9]. MEGC では, CASME使用した. Vassilios らのアルゴリズムは dlib ランドマーク

II[2] や SAMM[10] という微表情に特化したデータセット

点を表情の情報を保持して正面化する事に優れている. さに対する感情認識精度の評価がなされている. 微表情に基らに表情分類において, 高次元の表情変化特徴量データをづく感情推定手法には, LBP(local binary patterns) による表情変化の強度情報と表情変化の仕方（パターン）情報を推定や SVM, CNN による分類などがある.

保持しつつ, 個性に該当する局所的な表情変化を上手く表現し, 現実データを分類することが求められる. そのため,

2.2

表情特徴量の抽出

本研究では表情の強度とパターンで二段階分類を行った.

表情解析研究における特徴量抽出方法には大きく 3 種類

初めに表情強度メトリクスを設定し, 強度別に表情分類しがある. 1 つ目は Ekman ら [11] が, 目に見えるすべての可た後に, 層別に主成分分析で次元圧縮を行い, ガウス混合

能な顔面動作を解剖学的根拠に基づき区別するための包括

モデル [7] を用いてクラスタリング分類した. モデルのパ的なシステムとして開発した Action Unit である. AU8: 眉

ラメータの学習には高次元データで, 局所解に陥りにくいを下げる, AU10: 上唇を上げるなど表情の動作にラベルが手法の確率的サンプリング手法 MCMC の一種である周辺

付いている. 2 つ目は深層学習の一種である CNN による化ギブスサンプリング [8] を適用した. さらに口を閉じる,

画像からの特徴量抽出である [3]. ネットワークの構造とし開くなどの表情変化の対称運動を 1 つのクラスターとしてては VGG や Resnet などが用いられる. CNN ベースの表

分類するために, サンプリング過程で原点対称に仮想的に情推定は高精度である一方で画像全体を処理するための膨c 2022 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

大なメモリが必要である. 3 つ目の特徴量は, 顔の点のランドマーク検出がある. 回帰木のアンサンブル学習を用いた

dlib[12] は, 入力された顔画像に対して顔の検出と顔の目・鼻・口といった特徴点 68 点を検出する手法であり, 高品質
かつ高速での予測が可能である（図 2 (a)）.

2.3

Landmark Feature Map (LFM)

LFM は, Choi ら [5] によって提案された表情変化特徴量である. 特徴量には dlib のランドマーク点顔特徴量を使用(a) dlib ランドマーク点(b) LFMする. ある時間 t における dlib により推定された顔の特徴

図 2: 表情変化特徴量の設計. (a) は顔特徴 68 点の dlib ラ

点 68 点から各点間の距離行列 (68 × 68) を作成する. LFM

ンドマーク点である. (b) は dlib ランドマーク点の 68 ×

は dlib 距離行列の時間変化パターンとして以下のように定68 の時間差分特徴量として作成される LFM である.

義される.

LFMt (i, j) =||p(i, t) − p(j, t)| |2 − ||p(i, t−T ) − p(j, t−T )| |2 (1)る. LFM は表情変化量であり, ランドマーク点のみに比べて, 被験者の顔の造形への影響を軽減し, 頑健性を確保できることが期待できるからである.

3.1.1 顔の検出とランドマーク点の取得
ここで p(i, t) は t 秒目の dlib 距離行列における i 番目の座標を表す. LFMt は t 秒目の dlib 距離行列における LM の
点 i と点 j の距離と t − T 秒目の dlib 距離行列における点i と点 j の距離の差分であり, つまり各顔座標の距離行列の時間差分である. LFM の各座標は各顔の変化領域に対応している. Choi らの研究 [5] においては, マクロ表情とミク
ロ表情において LFM のパターンが類似することを見出し,
特に感情推定が難しいミクロ表情において高精度で感情予測を達成していることが報告されている.

2.4

顔向き補正（frontalization)

動画データ解析において, 顔の向きを正面補正することは重要である. 正面補正の研究は盛んに行われており,一般的に 3D 顔モデルに点を推定して Appearace-based

frontalization と顔のランドマーク点を正面化した際の推定 Landmark-based approaches の二種類に分類される.

Appearace-based frontalization はあらかじめ定義された
線形形状モデルを, 対象物を含む画像に位置合わせする
優れた方法である. GAN などでも使用され, 表現力が高
い一方で計算コストが高い課題がある. Landmark-based

approaches について, 一部情報損失は存在するものの計算量が少なく実応用に向いている. 表情解析におけるランド
マーク点データを用いた顔向き補正について, 表情情報を保存したまま正面化推定する方法を Vassilious ら [6] が提案している.

3. 手法

60fps の動画から 1 フレーム毎に dlib により顔検出とランドマーク特徴点 68 点の取得を行う.

3.1.2 表情特徴量の正面化補正
Vassilios ら [6] により提案された表情特徴の保存を目的としたランドマーク特徴点の正面化アルゴリズムを用いて,3.1.1 で取得したランドマーク点を正面化補正する.
3.1.3 表情変化特徴量 (LFM) の作成
正面化補正済み顔特徴点データから各 dlib 点間の距離行列を作成し, 20 フレーム (1/3 秒) 毎に dlib 距離行列の差分
行列 LFM を作成する.

3.2

表情変化特徴量の 2 段階分類

先行研究に比べた際の本研究の特徴の一つは, 喜怒哀楽のような予め決められた数個の感情ラベルを教師あり学習によって予測するものではなく, 動画中に現れる様々な表情変化を教師なし学習を用いて分類することである. 感情
認識タスクにおいては, 表情変化特徴を表情変化の強さで正規化し, 表情変化パターンを主な情報として感情予測することがあるが, 雰囲気・印象の文脈においては強度もパターンと同様に重要な情報を有する. そこで本研究では, 正
規化を行わず, 3.1 で作成した表情変化特徴量 LFM の強度と表情変化パターンの 2 つの情報を保持したまま適切に分類することを目指した.

3.2.1 表情変化の強度による LFM 分類（1 段階目分類）
いくつかの感情認識の表情研究において簡易的な表情強度メトリクスが作成されており, 表情強度に応じて推定ア
ルゴリズムを使い分けることが有効であることが報告され

本節では提案手法について詳細に説明する. 表情解析フレームワークを図 1 で示す.

ている [5][13]. また雰囲気, 印象の文脈において, 表情変化
パターンと別軸として表情変化の強度で分類をすることは動画像からの表情変化特徴量抽出（LFM の作成）

自然な仮定である. さらに, 最初に表情強度でデータセット

表情変化特徴を細かく表現するために, 今回は dlib ランの分離を行うことで, 今回使用する周辺化ギブスサンプリ

ドマーク点の相対距離行列の時間差特徴量 LFM を使用すングによる GMM の学習効率 (サンプリング効率) を上げ

3.1

c 2022 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

ることもできる. そこで本研究では, 先行研究を参考に以た主成分スコアデータセットに対して, それぞれで上記の下の表情強度メトリクス (FEM: Facial Expression Metric)

GMM 分類を行った. ディリクレ分布のハイパーパラメーを定義した. FEM を算出し, 箱ひげ図と実際の動画の確認

タ α, クラスター数 K, 反復数 iter は各表情強度において,を合わせて行うことで表情を 4 段階に分類した. 上位 25%

α = 0.1, K = 20, iter=1000 で実施した. 原点対称 GMMの表情を強表情と中間表情とした. 強表情は, 箱ひげ図のの周辺化ギブスサンプリングアルゴリズムを Algorithm1

うち外れ値に該当し, 動画中の中で著しく大きな表情変化に示す.

である (2.2%). 上位 25%のうち, 強表情以外の表情変化が本研究の原点対称性を考慮した多次元ガウス混合モデル

中間表情である (22.8%). 残りの 75%について, 動画によ（Shadow clustering）と周辺化ギブスサンプリングアルゴ

り表情変化を確認して, 表情変化が認識でき, 表情変化を

リズムについて以下で説明する. 以下には一般的な GMM

パターン別に綺麗に分離できる閾値を 5%単位で検討し, 最のグラフィカルモデルを示す. 混合モデルの各成分はガウ

終的に弱表情 I を 35%, ほぼ微表情か無表情である弱表情

ス密度を持ち, i 番目の観測値を xi , クラスター k の平均

II を 40%とした（計 100%）. 表情強度 FEM は以下の式

ベクトルを µk と共分散行列を Σk , 混合比率パラメータで算出される. ここで FEM は全 FEM の最大値 − 最小値

を π = (π1 , π2 , ..., πK ) とする. 混合比率パラメータはハイ(今回のデータセットにおいては 8.199) で正規化した値をパーパラメータ α で条件づけられるディリクレ分布を使用使用した.

する. また, sn は潜在変数を表す K 次元のベクトルであり,v
u 68 68
uX X
FEMt =t
LFMt (i, j)2ある k に対して sn,k = 1 が成り立つときに k 番目のクラス(2)

i=1 j=1

3.2.2 各強度層別の LFM データセットの主成分分析
各 LFM データは 68 × 68 次元を持つ特徴量であるが,ターが指定されたことを表す. 上記条件の元, ガウス分布と混合ガウス分布は以下のように表現される. ここでN (x | µk , Σk ) =



1
T
−1
exp
−
(x
−
µ
)
Σ
(x
−
µ
)
k
k
k
1/2
2
(2π)d/2 |Σk |1

対称行列であり, かつ表情変化の中で互いに連動して動く箇所が存在するため, 主成分分析による次元圧縮を行った.

(3)

累積寄与率 95%までの主成分スコアを LFM の主成分特徴
量として使用した.

p (xi | µk , Σk ) =LFM を分類する手法として, 教師なし学習の一種である

πk N (xi | µk , Σk ) ,k=1

3.2.3 周辺化ギブスサンプリングを用いたガウス混合モ
デル推定（2 段階目分類）

K
X

K
X

πk = 1 (4)k=1

GMM のグラフィカルモデルは以下のように表現される.
ここで p(π|α) = Dir(π|α) である.

ガウス混合モデル (GMM) を用いる. GMM は与えられた

µ

s

Σ
K

x

π

α

データセットが複数のガウス分布の重ね合わせで与えられると仮定して, 各ガウス分布の平均や分散, ガウス分布ごとの重みを学習し, 各データの潜在変数を確率的に割り当てる手法である. 一般的に用いられるクラスタリング手法の kmeans は, GMM の EM アルゴリズムの σ 2 → 0 の特殊な場合であり, GMM はクラスターの分布の形に応じてソフトにクラスターを割り当てることができ, 実データの表現に適している. また局所的なクラスター構造を抽出することも可能であり, 非線形クラスタリングに比べると分類時の解釈性も高い. 本研究では GMM のパラメータ推定
方法として, EM アルゴリズムによる推定ではなく, 確率

N

GMM の周辺化ギブスサンプリングに関して記載する.

π, µ, Σ を 周 辺 化 除 去 し た モ デ ル を 考 え る.

サン プ ル し た い 変 数 sn 以 外 の 全 て の 潜 在 変 数 の 集 合 を

S\n = {s1 , ..., sn−1 , sn+1 , ..., sN } とすると sn に関する事
後分布は以下の 2 つの項の形で表せる.

p(sn |X, S\n ) ∝ p(xn |X\n , S\n , sn )p(sn |S\n )(5)

的サンプリングの MCMC 法（マルコフ連鎖モンテカルロ

各項について計算すると最終的にはカテゴリ分布とスチュー法）の一種の周辺化ギブスサンプリングを用いることによデントの t 分布の形で書き表せる.

り, 高次元空間において局所解に落ちることなく推定することを目指した. また口を開く・口を閉じるなどの原点対p(sn |S\n ) = Cat(sn |η\n )称な運動を数学的に明示して同じクラスターとするように,

p(xn |X\n , S\n , sn,k = 1)

パラメータ推定時に各クラスタ―の原点対称なクラスタ―
を仮想的に設定してサンプリングする原点対称なアルゴリ
ズムを設計した. 原点対称な本 GMM アルゴリズムを以下= St(xn |m̂\n,k ,; η\n,k ∝ α̂\n,k(1 − D + ν̂\n,k )β̂\n,k
1 + β̂\n,k(6)

Ŵ\n,k , 1 − D + ν̂\n,k )(7)

Shadow clustering と呼ぶ. 各表情強度層において, 算出しc 2022 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

表 1: 本研究で用いた動画データセット.

Algorithm 1 原点対称の周辺化ギブスサンプリング

動画 ID
1
2
3
4
5
6
7
8
9
10
11

1: クラスター数 K に対して, 原点対称の潜在変数を以下のように設定 K ′ = (K+ , K− ) = (1, · · · , K, · · · , 2K)
その他パラメータも µ̂ = (µ̂+ , µ̂− ) のように設定
潜在変数のサンプル s1 , ..., sN に初期値を設定µ̂+ , Ŵ+ , β̂+ , ν̂+ を計算（k− に属する値は k+ に属するとして計算, µ̂− は −µ̂+で算出）
2: for i = 1, ..., MAXITER do
3:
4:for n = 1, ..., N do
式 (8) から式 (11) を用いて xn に関する統計量を
除去

5:
6:

式 (7) を用いて p(xn |X−n , sn,k = 1, S−n ) を計算

end for8:

式 (6) と p(xn |X−n , sn , S−n ) から sn をサンプル

9:式 (8) と式 (11) から xn に関する統計量を追加

end forβ ∈ R+ , W ∈ RD×D である. D はデータの次元を表す.
R+ は正の実数を表す.
Xβ̂\n,k =sn′ ,k + β

潜在変数をサンプリングする際には, 上記で求めた µ̂+ にマ
イナスをかけたものを µ̂− とし, Ŵ+ , β̂+ , ν̂+ を Ŵ− , β̂− , ν̂−として射影することで 1 から 2K までの範囲で潜在変数を
サンプリングする. 最終的には, k− に属した潜在変数を k+とみなして. S = {s1 , ..., sN } が求まる. 以上のアルゴリズ

P(8)n′ ̸=nX

4.1

実験に用いたデータ

粧品販売員のオンラインカウンセリング研修動画（60fps,
解像度 1440 × 1920）から化粧品販売員役の映っている画

n′ ̸=n sn′ ,k xn′ + βm

X

4. 実験

客役・化粧品販売員役 2 人 1 組で構成される, コーセー化

n′ ̸=n−1
Ŵ\n,k=

ナスをかけることに注意する. 周辺化ギブスサンプリング

分類ができる.

式中ハイパーパラメータについては以下に示す. m ∈ RD ,

ν̂\n,k =

使用部分
6m19s
7m16s
8m54s
8m09s
3m37s
7m34s
3m15s
1m18s
12m53s
3m32s
3m07s

ムにより原点対称なクラスターを同一のクラスターとして

11: end form̂\n,k =時間
38m38s
25m46s
33m40s
29m04s33m13s
22m48s31m24s
25m27s
22m55s
30m54s
26m09sによって更新する際も同様である. また (6), (7) を用いてfor k = 1, ..., 2K do

7:

10:

販売員 ID
BC1
BC2
BC2
BC3
BC4
BC5
BC5
BC6
BC7
BC8
BC8

β̂\n,ksn′ ,k + ν,

α̂\n,k =(9)
X

com/jp/products/davinciresolve/) により切り出し抽
sn′ ,k + αkn′ ̸=n出した. 抽出した動画の中から販売員役が真横を向く, 大きく頷く, 画面から外れる等, ノイズの大きい箇所について(10)⊤
sn′ ,k xn′ x⊤
n′ + βmmは除外し, 解析対象のデータセットとした (表 1).

4.2

n′ ̸=n−1− β̂\n,k m̂\n,k m̂⊤\n,k + W

面を Davinci resolve (https://www.blackmagicdesign.

(11)(6), (7) について sn,k = 1 となる場合の確率をそれぞれ求めて正規化することにより, sn をサンプリングする
カテゴリ分布のパラメータを得ることができる. また以下に, 原点対称を同一クラスターとみなす Shadow cluste-

実験方法

本実験では, 上記データセットを用いて表情特徴量から
実際に個人間に現れる類似した表情変化を分類することが可能か, 個人に出現する表情変化クラスタ―をプロファイ
リングすることで雰囲気の定量化が可能か, 提案する解析手法の有効性について検証した. 以下の手順で解析した.

提案手法による解析

ing のアルゴリズムを説明する. 初めに, クラスター数 K

4.3

に対して原点対称な 2K の潜在変数を準備する. ここで

4.3.1 ランドマーク点検出・正面化と LFM 作成

K+ = (1, · · · , K), K− = (K + 1, · · · , 2K) とする. 次に潜抽出した 60fps の動画から 1 フレーム毎に dlib により顔在変数 S = {s1 , ..., sN } の初期値に 1 から 2K までの値を検出とランドマーク特徴点 68 点を取得した. Vassilios ら

ランダムに割り当てる. 他のパラメータ µ̂+ , Ŵ+ , β̂+ , ν̂+ のの正面化アルゴリズムにより dlib 点を正面化後, 時間差分

初期値については, k− に属するサンプルを k+ に属すると1/3 秒（20 フレーム）ごとに LFM を作成した. 最終的にみなして算出する. この時, β̂+ , ν̂+ は k− を k+ としてカウ

n=9628 の LFM データが取得された. 以下では本データをントすれば良いが, µ̂+ , Ŵ+ についてはデータ点の x にマイ使用する.

c 2022 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report(a) クラスター 1 (強表情)(b) クラスター 9 (強表情)(c) クラスター 19 (中間表情)(d) クラスター 23 (中間表情)(e) クラスター 28 (弱表情 I)(f) クラスター 24 (弱表情 I)(g) クラスター 29 (弱表情 II)(h) クラスター 32 (弱表情 II)

図 3: 提案フレームワークにより分類された LFM の各クラスターと表情の一例. (a), (b) は強表情, (c), (d) は
中間表情, (e), (f) は弱表情 I, (g), (h) は弱表情 II のクラスターの例である. 表情変化を一枚の写真で表しているため, 対象となる運動については口を開けるなど意味のある方を載せている.

4.3.2 表情変化強度による LFM の 1 段階目分類と各強度層別の主成分分析

エントロピー指標は以下の式に従い, 算出した. 今回, 通常のエントロピー H に対して, エントロピーが最大の時, つ表情評価メトリクスに基づき, 表情を分類した. また各

まりある表情変化が 8 人から等確率で出現する場合に, 1

表情の層別に主成分分析を実施し, 次元圧縮を行った. 主となるように, 11 人中同一人物を 1 人とカウントした際の成分特徴と寄与率の高い各主成分を代表する実際のフレー

合計 8 人 (K = 8) の対数 log K で正規化を行ったものをエムを抽出し, 主成分分析によりどのような表情特徴が次元

ントロピー指標とした.

圧縮されているかを確認した.

H ′ = H/ log K = (−4.3.3 GMM による各表情強度の LFM 分類と動画評価

LFM に対応する実際のフレームを抽出し, 類似した表情変化を抽出できているかを確認した. また分類された表情変pi log pi )/ log K

(12)

i=1

表情強度毎に算出した主成分スコア（累積寄与率 95%）を使用し, GMM による LFM の分類を行った. 分類した

K
X

個人における各クラスターの出現割合を算出し, LFM パ
ターンの個人プロファイリングを行った.

5. 結果

化がある個人にのみ出現する特有の表情変化であるか, 複
数人に共通する一般的な表情変化であるか評価するために

5.1

強度による LFM 分類と各強度の主成分分析

エントロピー指標を算出した. さらに今回表情特徴量とし

LFM を表情強度メトリクスを基に 4 つのグループに分て LFM 使用した場合と dlib 単体を使用した場合の各クラ類した. 強表情は, 感情や表情癖に由来すると考えられる

スターのエントロピーを評価することで LFM の本アルゴような大きな表情, 中間表情は自然に会話する程度の表情,

リズムにおける顔特徴への頑健性への有効性も確認した.

弱表情 I は微笑む程度の少しだけ変化する表情, 弱表情 II

c 2022 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report

は無表情か微表情レベルの微量な変化をする表情であった.
クラスター 1

主成分分析の結果, 累積寄与率 95%までの主成分数として,各グループはそれぞれ PC7, PC9, PC13, PC17 まで圧縮されることが分かった. 各主成分として, 例えば強表情のクラスター 5

主成分 1 には口の動き, 2 には目と頷くような動き, 3 には目の動き, と表情変化特徴が各主成分に次元圧縮されている様子が確認された.

5.2

クラスター 21

GMM による各表情強度の LFM 分類と動画評価

各表情強度において GMM により LFM の分類を行った.
強表情は最終的に 15 クラスター, 中間表情は 8 クラスター,

クラスター 22

弱表情 I では 5 クラスター, 弱表情 II では 10 クラスターに分離された. クラスター数の α への依存性について, α の値に応じてクラスター数が 2, 3 個のぶれは見られるものの

図 4: dlib 特徴量に基づく各クラスターの表情一覧. 表情
よりも個人の骨格に依存していることが示唆される.

依存性は低かった. 図 3 には GMM 分類されたクラスターの一例を示す. 各表情強度別に 2 クラスターずつを示して段階目に表情強度で分類したことの有効性も示唆している.

いる（(a), (b): 強表情, (c), (d): 中間表情, (e), (f): 弱表情

また LFM と dlib に基づいて作成した各クラスターについI, (g), (h): 弱表情 II）. 初めに個人の顔に依存することなて, エントロピーを算出した結果を表 2 に示す. LFM を基く, 複数人に対して類似する表情変化を分類できているこに作成されるクラスターは dlib に比べてエントロピーが高とが分かる. 対称運動についても同一クラスターとして分く, 顔特徴への頑健性が示される. 表情特徴量として dlib

類できている（図中の写真は変化前後で代表的写真を使用

のみを使用する場合, 図 4 に示すように個人の顔特徴に依している）. また口の開閉という動作の中でも, 縦に口を開存し, 表情特徴を上手に検出できないことが示唆される.

ける動作 (図 3 (a), (f)) と斜め上（横方向）に口を開ける

5.3

動作 (図 3 (b) , (c), (d)) の微妙なニュアンスの違いを区別して抽出できていることも確認される. さらにこの動作に由来し, 一般的に smile とラベルとつけられる笑顔に関して, 笑顔形成パターンを見ると口を縦に開ける笑顔と口角を上げる笑顔のタイプに分かれることが示唆された.

また 1 段階目で行った表情強度分類によって, 同じパターンの表情変化でも満面の笑顔から微笑みまでニュアンスを捉えられている事が示唆される ((b), (c), (e)). また弱表情 II
に関しては, GMM 分類において, 高次元空間上で強度情報の影響を受け, 共分散の大きいジャンクなクラスターが形成されている. これは弱表情 II において, 主成分空間上でデータ点が過度に離れており, GMM 分類の際, 局所的なクラスターを検出できない代わりに, 共分散の大きいジャン

LFM パターンの個人プロファイリング

分類した LFM の個人における出現割合を図 5 に示す.
各色はクラスターを表し, 黒線は各強度の境目を表している. 一連の動画の中で表情強度により強表情, 中間表情を出しやすい人に差があることが分かる. また同一人物内で類似した表情変化パターンと出現頻度を示すことが読み取れる. 特に中間表情内においてその傾向が顕著に読み取れる (図 6). 中間表情で個人内の類似性が高いのは, 中間表
情が通常使用される表情であり, 表情癖として身についてるからだと考えられる. また個人によって希少性の高い表
情変化を高い割合で持つ人と一般的な表情変化のみを持つ人が存在する（図 5, 図 6）. 例えば美容部員 7 は個性的な表情特徴の出現割合が高い. これら表情強度と表情変化パ

クなクラスターを形成し, 強度の大きなクラスターと小さなクラスターに分離したのだと考えられる. この結果は, 一
表 2: LFM と dlib を特徴量した際の分類結果のエントロ
ピーの比較.
特徴量

平均

中央値

LFM 全体0.59

0.70

LFM 強表情

0.35

0.34

LFM 中間表情

0.74

0.82

LFM 弱表情 I

0.74

0.84

図 5: 全強度表情の各クラスターの個人における出現割合

LFM 弱表情 II

0.76

0.83

プロット. 各色はクラスターを表している. 黒の点線は表

dlib

0.17

0.12

情強度の境目を示している.

c 2022 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

[5]

[6]

[7]
[8]

図 6: 中間表情の各クラスターの個人における出現割合プ
ロット. 各色はクラスターを表している. 同一人物内での[9]

表情割合の類似性が見て取れる.
ターンの個人内での出現頻度は個性や個人の雰囲気を表していると考えられる.

6. 結論

[10]

[11]

本稿では, 表情特徴量を基にした個人の雰囲気のモデリ
ングのための表情解析フレームワークについて提案した.

[12]

提案手法は, 表情変化特徴量 LFM を作成し, 1 段階目で表
情強度で分類後, 主成分分析による次元圧縮を行い, 2 段階
目で周辺化ギブスサンプリング GMM により表情を分類する手法である. 我々は, コーセー化粧品販売員のオンライン
カウンセリング研修動画データセットにおいて, LFM 抽出と 2 段階分類を行うことで個人間に共通する表情変化, 個
人に特徴的な表情変化を検出できることを確認した. さら[13]

pp. 298–301, 2019.
Dong Yoon Choi and Byung Cheol Song. Facial microexpression recognition using two-dimensional landmark
feature maps. IEEE Access, Vol. 8, pp. 121549–121563,
2020.
Vonikakis Vassilios and Stefan Winkler. Identityinvariant facial landmark frontalization for facial expression analysis. In 2020 IEEE International Conference
on Image Processing (ICIP), pp. 2281–2285, 2020.
J. McLachlan Geoﬀrey and Peel David. Finite Mixture
Models. Wiley, 2000.
Jun S. Liu. The collapsed gibbs sampler in bayesian computations with applications to a gene regulation problem. Journal of the American Statistical Association,
Vol. 89, No. 427, pp. 958–966, 1994.
Jingting LI, Su-Jing Wang, Moi Hoon Yap, John See,
Xiaopeng Hong, and Xiaobai Li. Megc2020 - the third
facial micro-expression grand challenge. 2020 15th IEEE
International Conference on Automatic Face and Gesture Recognition (FG 2020), pp. 777–780, 2020.
Chuin Hong Yap, Connah Kendrick, and Moi Hoon Yap.
Samm long videos: A spontaneous facial micro- andmacro-expressions dataset, 2019.
P. Ekman and W. Friesen. The Facial Action Coding
System: A Technique for the Measurement of Facial
Movement. Consulting Psychologists Press, 1978.
Xuanyi Dong, Shoou-I Yu, Xinshuo Weng, Shih-En Wei,
Yi Yang, and Yaser Sheikh. Supervision-by-Registration:
An unsupervised approach to improve the precision of
facial landmark detectors. In Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition (CVPR), pp. 360–368, 2018.
Rui Zhao, Quan Gan, Shangfei Wang, and Qiang Ji. Facial expression intensity estimation using ordinal information. In 2016 IEEE Conference on Computer Vision
and Pattern Recognition (CVPR), pp. 3466–3474, 2016.

に, 各 LFM の個人における出現割合が個人の雰囲気・印象を形作っている可能性も示唆され, 今回の手法が現実デー
タに対して, 表情分類と表情に基づく雰囲気を定量化する手法として有効であることが示された.
参考文献
[1]

[2]

[3]

[4]

Patrick Lucey, Jeﬀrey F. Cohn, Takeo Kanade, Jason
Saragih, Zara Ambadar, and Iain Matthews. The extended cohn-kanade dataset (ck+): A complete dataset
for action unit and emotion-speciﬁed expression. In 2010
IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops, pp. 94–101,
2010.
Wen-Jing Yan, Xiaobai Li, Su-Jing Wang, Guoying
Zhao, Yong-Jin Liu, Yu-Hsin Chen, and Xiaolan Fu.
Casme ii: An improved spontaneous micro-expression
database and the baseline evaluation. PLOS ONE,Vol. 9, pp. 1–8, 01 2014.
Van Quang Nguyen, Chun Jinhee, and Tokuyama
Takeshi. Capsulenet for micro-expression recognition. In
2019 14th IEEE International Conference on Automatic Face Gesture Recognition (FG 2019), pp. 1–7.
IEEE Computer Society, 2019.
Won-Chan Lee and DaeKyun Yoon. A study on facial expression and ﬁrst impression through machine learning.
In 2019 International Conference on Artiﬁcial Intelligence in Information and Communication (ICAIIC),

c 2022 Information Processing Society of Japan⃝

8