DEIM Forum 2014 F4-5

アンサンブルクラスタリングによるライフログ映像からの表情表出シーン検出
野宮 浩揮†

森國

淳司 ††

宝珍

輝尚†

† 京都工芸繊維大学大学院工芸科学研究科〒 606–8585 京都府京都市左京区松ヶ崎御所海道町
E-mail: †{nomiya,hochin}@kit.ac.jp, ††m2622043@edu.kit.ac.jp
あらまし

ライフログ映像の活用を目的として，有用な出来事が起こっているシーンと考えられる，映像内の人物に何らかの表情が表出しているシーンの検出法を提案する．ライフログ映像中には多様な表情が現れるため，それらを識別できる表情認識法が不可欠であるが，従来の表情認識法の多くは，教師あり学習に基づいており，識別対象の表
情ごとに学習用のデータセットを作成する必要があるため，非常に手間がかかる．そこで，本論文では，アンサンブ
ルクラスタリングに基づく教師なし学習を用いて，表情表出シーンを検出する手法を提案する．提案手法は，学習用のデータを用いることなく様々な表情表出シーンを検出できるため，柔軟性と効率性の面で優れているといえる．ライフログ映像からの表情表出シーン検出実験を通じて，提案手法の有効性を示す．
キーワード

ライフログ，表情認識，映像検索，教師なし学習，クラスタリング

1. は じ め に
個人の行動や体験を，画像，映像，音声など様々なデータとして記録し，記憶の補助や行動分析などに利用するライフログ

表情表出シーンを検出する手法を提案する．アンサンブルクラ
スタリングは，多種の特徴量を用いるなどして複数のクラスタ
リングを行い，それらの結果を統合して，より識別能力の高いクラスタを生成する手法である．

が注目されている [1] [2]．その中でも，映像は多くの情報を記

本論文では，映像を構成する各フレームの画像に対して，顔録することができ，近年では携帯端末などを用いて手軽に撮影

面上の特徴点の位置関係から得られる様々な特徴量を用いてアができることから，ライフログとして活用できる可能性が高い

ンサンブルクラスタリングを行う．同一のクラスタに属するフといえる [3]．しかし，大量のライフログ映像の中から効率的にレームの集合を，特定の表情が表出しているシーンとみなす

有用な映像を検索することは難しいため，多くのライフログ映ことにより，表情表出シーンの検出を行う手法を提案する．ラ

像が有効に利用されず退蔵されてしまうという問題が生じる．

イフログ映像を想定した映像データセットを作成し，表情表出

そこで本論文では，ライフログ映像の活用を目的として，映シーン検出実験を通じて，提案手法の有効性を示す．

像中から有用なシーンを検出する手法についての検討を行う．

以降，2 章では関連研究について述べる．3 章では表情認識

ライフログ映像は，人物を主体とすることが多いと考えられるに使用する特徴量を示し，4 章で表情認識手法を示す．5 章でため，映像中の人物の様子から，重要と考えられるシーンを判

は，表情認識結果に基づいて映像中から表情表出シーンを検出断する．重要なシーンでは，人物の感情が変化すると考えられする手法について述べる．6 章で表情表出シーン検出実験につる．また，感情は表情に反映されると考えられるため，本論文

いて述べ，最後に 7 章でまとめを行う．

では，表情認識により，映像中の人物に何らかの表情が表出しているシーンを検出する手法を提案する．

2. 関 連 研 究

表情認識に関する研究は広く行われており，映像検索へも適

表情認識は，表情表出シーン検出の性能に最も大きく影響す用されているが [4] [5] [6]，多くの表情認識法では，基本 6 表情

る要素である．正確かつ効率的に表情を識別するために様々な（怒り，嫌悪，恐怖，幸福，悲しみ，驚き）[7] のような，少数の表情認識法が提案されており，これらは表情認識に使用する特代表的な表情のみを認識対象としている．ライフログ映像には，徴量により二種類に大別される [9]．

これらの表情の他にも多様な表情が現れると考えられるため，一つは，顔面のテクスチャに基づく特徴量を用いる手法であ

特定の表情のみの認識では不十分であるといえる．また，既存

る．この種の特徴量は，顔画像を構成する画素の輝度分布からの表情認識法の多くは教師あり学習に基づいており，特定の表得られる．Gabor wavelet [10] や local binary pattern [11] な情を認識するためには，その表情が表出している学習用データ

どが特徴量として広く用いられている．

セットを用いた学習が必要となるが，表情の種類が多くなると，
学習用データセットを作成することは容易ではない．

もう一つは，顔面上の構成要素の形状や位置に基づく特徴量を用いる手法であり，眉，目，口の輪郭上の点などの，顔面上これらの問題を解決するため，本論文では，アンサンブルクの特徴点の位置関係（二点間の距離や三点により構成される二ラスタリング [8] に基づく教師なし学習を用いて，映像中からつの線分のなす角など）に基づく特徴量を複数組み合わせて表形成される線分の長さ lij ．ただし，線分の長さは顔画像の大きさの違いに影響を受けるため，lij を左目の中央の点と右目の中央の点の間の距離 d で割ることにより正規化を行う．

•

F2 . . . y 座標の差の絶対値

図 2 (b) に示すような，二つの顔特徴点 pi と pj それぞれのy 座標の差の絶対値 yij ．ただし，yij を d で割って正規化を行う．
図 1 顔特徴点（白色の四角形で示している）

情認識に用いる手法などが提案されている [12] [13]．
本論文では，簡潔に表現でき，効率的な表情認識が可能となることと，どのような特徴量が表情認識に有効であるかを理解しやすいことから，顔面上の特徴点の位置関係に基づく特徴量を用いる．
多くの表情認識手法は，教師あり学習に基づいているので，
表情認識モデルを構築するためには，表出している表情が予め与えられている学習用のデータセットが必要であるが，十分な量のデータセットを作成することは容易ではない．
この問題に対し，学習用データセットを必要としない，教師なし学習に基づく表情認識法が提案されている．例えば，主成
分分析を用いた手法が提案されているが [14]，大規模なライフ
ログ映像データベースに対する検索を行うためには，より効率のよい手法が必要になると考えられる．
また，著者らはこれまでに，教師なし表情分類法に基づくライフログ映像からの表情表出シーン検出法を提案している [15]．
この手法では，効率的に表情表出シーンを検出することができるが，十分な検出精度は得られていない．そこで本論文では，
比較的計算量が少なく，かつ検出精度の高い表情表出シーン検
出手法を構成することを目的とする．

3. 特 徴 量
提案手法では，はじめに映像をフレームに分割し，各フレー
ム画像に対して，画像内の人物に表出している表情を識別する．
そのために，人物の顔から，表情表出に関与すると考えられる点（これを顔特徴点と呼ぶ）を抽出し，それらの位置関係に基づいて特徴量を定める．

3. 1 顔 特 徴 点
顔特徴点として，図 1 に示す 59 個の点を用いる．これらは，左右の眉に沿った点（10 点），左右の目の周囲と中央の点（22点），鼻の周囲と中央の点（9 点），口唇の内周と外周上の点（14点），法令線上の点（4 点）から構成される．これらの顔特徴点
は，顔特徴点抽出ソフトウェア Luxand FaceSDK 4.0 を用いて取得する [16]．なお，これ以後，顔特徴点を pi (i = 1, . . . , 59)と表記する．

3. 2 特 徴 量
3. 1 節に示した顔特徴点を組み合わせて，次に示す 8 つの特徴量を定める．

•F1 . . . 線分の長さ

図 2 (a) に示すような，二つの顔特徴点 pi と pj をつないで•F3 . . . 二つの線分の長さの比

図 2 (c) に示すような，三つの顔特徴点 pi , pj , pk を用いて，pi と pj ，pi と pk をそれぞれつないで形成される二つの線分の長さ lij と lik の比 lij /lik ．

•

F4 . . . 二つの線分のなす角

図 2 (d) に示すような，三つの顔特徴点 pi , pj , pk を用いて，pi と pj ，pi と pk をそれぞれつないで形成される二つの線分のなす角 θij,ik ．ただし，0 <= θij,ik <= π とする．
•

F5 . . . 二つの線分のなす角の余弦

前述の θij,ik の余弦 cos θij,ik ．

•

F6 . . . 三角形の面積

図 2 (e) に示すような，三つの顔特徴点 pi , pj , pk をつないで形成される三角形の面積 Aijk ．ただし，Aijk を d2 で割る
ことにより正規化を行う．

•

F7 . . . 三角形の面積と辺の長さの和の二乗の比

図 2 (f) に示すような，三つの顔特徴点 pi , pj , pk をつないで形成される三角形の面積 Aijk と各辺の長さの和の二乗(lij + lik + ljk )2 の比 Aijk /(lij + lik + ljk )2 ．
•

F8 . . . 三角形の内角

図 2 (g) に示すような，三つの顔特徴点 pi , pj , pk をつない で 形 成 さ れ る 三 角 形 の 内 角 θi , θj , θk か ら 求 め ら れ る 値|θi − π3 | + |θj − π3 | + |θk − π3 |．この値は，pi , pj , pk をつないで形成される三角形が正三角形になるとき最小 (0) となる．
これらの特徴量は，すべての可能な顔特徴点の組み合わせについて定める．したがって，F1 と F2 は 59 C3 = 1711
種類，F3 , F4 , F5 は 3 × 59 C3 = 97527 種類，F6 , F7 , F8 は
59 C3= 32509 種類であり，特徴量の総数は 393530 種類となる．
以降，これらの特徴量を，Fi = {fi,1 , . . . , fi,ni } と表記する．
ここで，ni は Fi の特徴量の総数である．したがって，n1 =n2 = 1711, n3 = n4 = n5 = 97527, n6 = n7 = n8 = 32509 となる．例えば，f1,1 , f1,2 , . . . , f1,1711 は，それぞれ，顔特徴点

p1 と p2 ，p1 と p3 ，…，p58 と p59 から形成される線分の長さに関する特徴量を表す．また，あるフレーム画像 x から得られ
た，特徴量 fi,j の値を fi,j (x) と表記する．

4. 表情認識法
提案手法では，3. 2 節に示した特徴量（F1 〜F8 ）それぞれに対して，一つのクラスタが一つの表情に対応するようにクラス
タリングを行う．さらに，アンサンブルクラスタリング法により，各クラスタリング結果を統合して，より表情識別能力の高い表情認識モデルを生成する．

pi

pj

pj

yij

lij

pi
(b) F2(a) F1
pj
pi

pi

lij

Aijk
pk

pi

(e) F6pk

図2 特

4. 1 アンサンブルクラスタリング

θij,ik pk

pilik(c) F3pj

Aijk ljk
pklik(f) F7

pj

pj

lij

(d) F4, F5

pj
θj
θi θk

pi

pk

(g) F8
徴量

入力：

アンサンブルクラスタリング [8] は，複数のクラスタリング•

特徴量の集合 φ = {fi,j (x1 ), . . . , fi,j (xN )}の結果（弱クラスタ）を統合し，より識別能力の高いクラスタ•

クラスタ数 K

（強クラスタ）を生成する手法である．多様な弱クラスタを統合することにより，弱クラスタだけでは識別困難な事例の識別を可能にしたり，弱クラスタに含まれるノイズや外れ値による

手順：（ 1 ） φ を用いて，式 (1) で表される混合正規分布モデル P を構成する．なお，混合数はクラスタ数と同数とし，混合正規分布モデルの生成には EM アルゴリズムを使用する．

識別能力への影響を低減することができる．
弱クラスタを生成するための手法や，弱クラスタを統合する

P (fi,j (x)) =ための手法はいくつか提案されているが，提案手法では，表情認識を効率的に行うため，弱クラスタの生成には，簡潔なクラス
タリング手法である k-means 法を使用し，弱クラスタの統合に

K
∑

1
exp
wk √
2
2πσ
k
k=1

(
−

(fi,j (x) − µk )2
2σk2

)
(1)

ここで，wk は k 番目の正規分布の混合係数を表し，µk と σk2 は，それぞれ，k 番目の正規分布の平均と分散を表す．

は比較的計算量の小さい cluster-based similarity partitioning（ 2 ） 級間分散と級内分散の比に基づいて，式 (2) により，有用度

algorithm (CSPA) を使用する [8]．

U を定める．なお，ここでは混合係数は考慮しない．

4. 2 特 徴 選 択
まず，F1 から F8 までの各特徴量に対して，それぞれ k-∑K(µ − µ)2
k=1 k
U =
∑K 2
k=1

means 法により弱クラスタを生成する．ここで，映像から得られたフレーム画像の集合を {x1 , . . . , xN } とする．なお，N は

ここで，µ は µ1 から µK の平均値であり，映像に含まれるフレームの数である．
各フレーム画像から得られた特徴量の値を入力として k-means 法によるクラスタリングを行う．すなわち，特徴量 Fiに対しては，{Xi,1 , . . . , Xi,N } を入力としてクラスタリング

(2)

σk

1 ∑
µk
K
K

µ=

(3)

k=1

と表される．
図3

を行うことにより，弱クラスタを生成する．ここで，Xi,j は，

特徴量 fi,j の有用度を求めるアルゴリズム

Xi,j = (fi,1 (xj ), . . . , fi,ni (xj )) となる ni 次元特徴ベクトルである．
しかし，3. 2 節に示した通り，特徴量は非常に種類が多いた

特徴量 fi,j の有用度を求めるアルゴリズムを図 3 に示す．
生成するクラスタの数 K (K < N ) は，識別対象の表情の種

め，すべての特徴量を使用すると計算量の増大が問題となる．

類と同数とする．また，選択する特徴量の数 m は，実験的にそこで，有用と考えられる少数の特徴量のみを使用してクラス

設定する．

0
0
タリングを行う．具体的には，{Xi,1, . . . , Xi,N
} を入力として，

4. 3 表情認識モデル

k-means 法によるクラスタリングを行い，弱クラスタを生成す

4. 2 節で選択された特徴量を用いて，k-means 法により，F100る．ここで，Xi,jは，Xi,j= (fi,r1 (xj ), . . . , fi,rm (xj )) と表さから F8 のそれぞれに対して，合計 8 組の弱クラスタセット

れる m 次元特徴ベクトルであり，ri は fi,1 から fi,ni の中で（弱クラスタの集合）を生成する．ここで，これらの弱クラスタ

i 番目に有用度の高い特徴量の番号である．すなわち，有用度セットを {C1,1 , . . . , C1,K }, . . . , {C8,1 , . . . , C8,K } と表記する．

の高いものから順に m 個の特徴量のみを用いてクラスタリン

Ci,1 , . . . , Ci,K は，特徴量 Fi に対して生成された K 個の弱クグを行う．

ラスタを表している．

特徴量の有用度は，混合正規分布モデルならびに判別分析で用いられている級間分散と級内分散の比に基づいて決定する．

これらの弱クラスタセットを用いて，CSPA に基づくアンサ

入力：

S i-1

•

クラスタ数 K•

弱クラスタ {C1,1 , . . . , C1,K }, . . . , {C8,1 , . . . , C8,K }

S i-1

手順：

D(Si -1,Si) < Θ（ 1 ） 式 (4) にしたがって，類似度行列 S を求める．

 s2,1

S=
.
 ..

s1,2

···

s1,N

s2,2
..
.

···
..
.

s2,N
..
.

sN,1

sN,2

···

sN,N

s1,1

S i+1
D(Si,Si+1) >−Θ

D(Si -1,Si) >−Θ

Si < Θ

integrated







Si

Si

removed

Si

Si

S i+1

(4)

(b)

(a)

図 5 フレーム集合の統合と削除

ここで，si,j は，フレーム画像 xi と xj が同一の弱クラスタに属している回数である．したがって，0 <= si,j <= 8 である．また，si,j = sj,iなので，S は対称行列となる．
（ 2 ） N 個の初期強クラスタセット G1 , . . . , GN を生成する．なお，に，ある強クラスタに含まれる個々のフレームを一つのシーンとみなす．そして，近接しているシーン同士を統合し，孤立しGi = {xi } とする．

ているシーンを削除していくことにより，表情表出シーンを形（ 3 ） ν ← N.

成していく．

（ 4 ） 二つの強クラスタ Gi∗ と Gj ∗ を統合する．ここで，i∗ と j ∗は，それぞれ式 (5) の Γ を最大化するように定める．

1
Γ=|Gi∗ ||Gj ∗ |

∑ ∑

sab

シーンが近接しているかどうかを判断するために，二つのシーン Si と Sj の間の距離 D(Si , Sj ) を式 (6) のように定める．

(5)a∈Gi∗ b∈Gj ∗− smax−1
D(Si , Sj ) = smin
j
i

(6)

（ 5 ） 強クラスタセットが G1 , . . . , Gν−1 となるよう，クラスタ番

ここで，sminは Sj に含まれるフレームの中での最小のフレーj

号を振り直す．

ム番号であり，smax
は Si に含まれるフレームの中での最大のi（ 6 ） ν ← ν − 1.

フレーム番号である．なお，映像の先頭から k 番目のフレーム（ 7 ） ν > K であれば (4) に戻る．そうでなければ，生成された強（xk ）のフレーム番号を k とする．また，シーン Si はシーン

クラスタセット G1 , . . . , GK を出力して終了する．なお，同一の強ク
ラスタに属しているフレーム画像には，同じ表情が表出しているものとする．
図 4 アンサンブルクラスタリング法に基づく表情認識モデル生成ア
ルゴリズム

Sj よりも前にある（smax< smin）とする．
ij
あるシーン Si について，一つ前にあるシーン Si−1 との距
離 D(Si−1 , Si ) を求め，それが閾値 Θ よりも小さい場合は，
図 5(a) に示すように，これらのシーンを統合して単一のシーンとする．同様に，Si の一つ後ろにあるシーン Si+1 との距離

ンブルクラスタリング法により，弱クラスタの統合を行い，強D(Si , Si+1 ) を求め，それが Θ よりも小さい場合は，これらのクラスタを生成する．はじめに，弱クラスタセットから，任意

シーンを統合して単一のシーンとする．

の二つのフレーム画像間の類似度を表す類似度行列を求める．

Si−1 と Si の距離 D(Si−1 , Si ) ならびに Si と Si+1 の距離

次に，一つのフレーム画像が一つのクラスタに属するように，

D(Si , Si+1 ) がいずれも Θ 以上であり，さらに Si の長さ（|Si |N 個の強クラスタを生成する．その後，強クラスタ数が K 個と表す）が Θ を下回る場合は，Si は孤立した短いシーンであになるまで，類似度が最大となる二つのクラスタを一つに統合

り，重要性は低いと考えられるので，図 5(b) に示すように Siする処理を繰り返していく．

を削除する．したがって，検出されるシーンは，少なくとも Θ

同一の強クラスタに属しているフレーム画像には，同一の表情が表出しているとみなすことにより，K 種類の表情を識別できる表情認識モデルが形成される．
図 4 に，アンサンブルクラスタリング法に基づく表情認識モ
デル生成アルゴリズムを示す．

の長さを持つことになる．
このようにして，シーンの統合と削除を繰り返していき，統合・削除できるシーンがなくなった時点でのシーンを最終的な表情表出シーンとして出力する．複数の表情について表情表出
シーン検出を行う場合は，各表情ごとに，この表情表出シーン
検出手順を実行する．図 6 に表情表出シーン検出アルゴリズム

5. 表情表出シーン検出法
4. 3 節に示した表情認識モデルを用いて，映像に含まれる各

を示す．

6. 実

験

フレーム画像に表出している表情を識別し，その結果を用いて，映像中から各表情が表出しているシーンを検出する．表情表出
シーン検出には，著者らがこれまでに提案した検出法を使用す
る [15]．

6. 1 実 験 設 定
20 歳代の男子大学生 5 名を被験者として（以後，被験者 A,
B, C, D, E と表記する），ライフログ映像を想定した映像を作

一つの強クラスタは一つの表情を表しているため，表情表出成した．被験者がトランプ（ハーツ）を行っている際の被験者

シーン検出はクラスタごと，すなわち表情ごとに行う．はじめの様子をウェブカメラを用いて撮影し，ライフログ映像とした．
なお，被験者にはできるだけ普段通りに振る舞うよう指示して

0.95

入力： 同一の強クラスタ G に属しているフレーム番号の集合{q1 . . . , qnG }，0.9

なお，nG は G に属しているフレーム画像の数であり，i < jである任意の i, j について qi < qj が成り立つとする．
手順：（ 1 ） Si ← {qi } (i = 1, . . . , nG )，S ← {S1 , . . . , SnG }.

Accuracy

シーン長の閾値 Θ．

0.85
0.8

（ 2 ） ν ← nG .
（ 3 ） S の全ての要素を，|Si | の値について昇順に整列する．

0.75

ここで，p 番目にこの値の小さい要素を Sup と表す．
（ 4 ） p ← 1.
（ 5 ） If up > 1 ∧ D(Sup −1 , Sup ) < Θ Then

Subject A

Subject D

Subject B

Subject E

Subject C

0.7

2

4

6

8

Sup ← Sup ∪ Sup −1 （Sup −1 を Sup に統合），
S ← {S1 , . . . , Sup −2 , Sup , . . . , Sν }.

10
m

12

14

16

18

20

図 7 表情表出シーン検出精度

Go to ( 9 ).
End If（ 6 ） If up < ν ∧ D(Sup , Sup +1 ) < Θ ThenSup ← Sup ∪ Sup +1 （Sup +1 を Sup に統合），
S ← {S1 , . . . , Sup , Sup +2 , . . . , Sν }.
Go to ( 9 ).
End If（ 7 ） If |Sup | < Θ Then

6. 2 表情表出シーン検出精度
提案手法の表情表出シーン検出性能を評価するため，表情表
出シーン検出精度を求めた．前述のライフログ映像データセッ
トでは，被験者に表出している表情はほとんどが笑顔であり，笑顔が表出しているシーン以外のシーンでは，ほぼ無表情であった．そこで，本実験では，クラスタ数 K を 2 とし，笑顔If ν = 1 Thenのシーンと無表情のシーンを識別することとした．また，数秒

表情表出シーンなしとしてシーン検出を終了する．

程度の比較的短い表情（笑顔）表出シーンが多く見られたため，

Else

表情表出シーン長の閾値 Θ は，実験的に 5 と設定した．

S ← {S1 , . . . , Sup −1 , Sup +1 , . . . , Sν }（Sup を削除），
Go to ( 9 ).
End IfEnd If（ 8 ） If p = ν Then

選択する特徴量の数 m は，適切な値が明らかでないため，mを 1 から 20 まで 20 段階に設定して表情表出シーン検出実験を行い，検出精度を求めた．検出精度 A は，式 (7) により求めている．

For i = 1 To νsmin
から smaxまでの間を表情表出シーンとして出力iiする．

End For
シーン検出を終了する．

Elsep ← p + 1.
Go to ( 5 ).
End If（ 9 ） S の要素の添字を以下のように振り直す．

S = {S1 , . . . , Sν−1 }A=|Te ∩ T̂e | + |Tn ∩ T̂n ||Te | + |Tn |(7)

ここで，Te と Tn は，それぞれ，実際に表情が表出しているフレームの集合と，表情が表出していない（無表情の）フレームの集合である．なお，各フレームに表情が表出しているかどうかは，実験を行う前に，著者の一人が目視により定めている．
また，T̂e と T̂n は，それぞれ，提案手法により検出された，笑顔の表出シーンに含まれるフレームの集合と，笑顔の表出シーンに含まれないフレームの集合である．

ν ←ν−1

また，弱クラスタを生成する際に用いる k-means 法は反復

Go to ( 3 ).

的手法であり，各反復において，クラスタの中心点をランダム

図 6 表情表出シーン検出アルゴリズムに決定するため，（疑似）乱数を生成する際の種の値を変えて 5回の試行を行った際の平均精度を表情表出シーン検出精度としいる．

た．各被験者に対する表情表出シーン検出精度を図 7 に示す．

各被験者について，それぞれ 5 分間の映像を作成し，全部で多くの被験者について，m の値が増加すると，検出精度が低

5 本の映像をデータセットとして使用した．これらの映像は，下する傾向が見られる．このことから，選択する特徴量の数はいずれもサイズが 640 × 480 画素であり，フレームレートはごく少数でよいと考えられる．

30 フレーム／秒である．フレームレートが高く，近接するフ

また，被験者によって検出精度にばらつきが見られるが，こレームでは表情の変化がほとんど見られないため，各映像につれは被験者間の個人差によるものと考えられる．微笑程度の笑

いて，先頭から 10 フレームおきに 1 フレームを選択して得ら顔が表出することが多い被験者もいれば，口を大きく開けて笑れた 900 フレーム分のフレーム画像を実験に使用した．

うことが多い被験者もいるため，そのような個人差が認識精度に影響しているのではないかと考えられる．

表 2 表情表出シーン検出に要した時間（秒）

0.95

処理

Accuracy

0.9
0.85

平均所要時間 標準偏差

特徴量算出

0.762

0.032

表情認識

1.645

0.309

シーン検出

0.001

0.000

合計

2.408

0.321

0.8

の相関係数の平均をとった値）は 0.813，f (1) と f (3) の相関

0.75

係数の平均値は 0.821 であり，いずれも強い相関があるといえ
0.7

2

4

6

8

10
m

12

14

16

18

20

図 8 全被験者の表情表出シーン検出精度の平均値

る．アンサンブル学習では，特徴量の多様性が精度向上につながるため，必要以上に特徴量の数を増やしても，精度向上にはあまり寄与しないと考えられる．また，使用する特徴量の数を増やすにつれ，特徴量の有用度は下がっていくため，検出精度

表 1 検出された表情表出シーン数とシーン長の平均値ならびにそれ
らの標準偏差の低下が見られたのではないかと考えられる．
どのような特徴量が有用であるかを明らかにするため，最もシーン数
被験者 平均値

シーン長（秒）

標準偏差 平均値

標準偏差

検出精度の高かった被験者 D について，F1 から F8 のそれぞれについて，選択された（最も有用度の高かった）特徴量を図

A

20.0

1.26

4.63

2.86

B

16.0

0.00

5.43

4.46

C

12.0

0.00

7.45

5.80

いずれの特徴量も，口や法令線上の顔特徴点を含むものと

D

4.00

0.00

5.50

2.86

なっている．本実験では，笑顔の表情表出シーンを検出するこ

E

10.6

0.55

8.56

8.40

とを目的としているため，笑顔が表出された時に大きく位置が9 に示す．

変化する可能性の高い，口や法令線上の顔特徴点を含む特徴量
最適な m の値は被験者によって異なるが，図 8 に示すようが有用と判断されたと考えられる．このことから，提案手法にに，全被験者の表情表出シーン検出精度の平均値は m = 1 のおける特徴選択では，表情識別能力の高い特徴量を適切に選択ときに最大 (0.886) となっているため，これ以降は m = 1 とできていると考えられる．

した際の実験結果について述べる．

6. 3 検出された表情表出シーンの数と長さ6. 5 提案手法の効率性
提案手法の効率性を評価するため，表情表出シーン検出

表 1 に，各被験者に対して，k-means 法の乱数の種を変えてに要した時間を測定した．測定には，CPU が Xeon W3580

5 回の試行を行った結果得られた，表情表出シーン数と表情表(3.33GHz)，メモリが 8 GHz の計算機を使用した．なお，顔出シーン長の平均値ならびにそれらの標準偏差を示す．

特徴点抽出には既存のソフトウェアを用いているため，顔特徴検出された表情表出シーン数は，被験者によって大きく異なっている．これは，撮影中に表情を表出していた頻度が被験者によって異なっているためであると考えられる．

点抽出に要した時間は表情表出シーン検出に要した時間に含めていない．
表 2 に，各被験者に対する，表情表出シーン検出に要した時

一方，検出された表情表出シーンの長さは，被験者間での差間の平均値と標準偏差を示す．表には，所要時間の内訳として，が比較的小さい．これは，本実験で使用している映像が，被験特徴量の算出に要した時間，表情認識に要した時間，ならびに者がトランプをしている様子を撮影したものであることが関連

表情表出シーン検出に要した時間を併記している．

している可能性が考えられる．トランプでは，カードを引く，

アンサンブルクラスタリングを行うため，表情認識に要す

カードを場に出す，といった一定のテンポで行われる動作が繰

る時間がやや長くなっているが，5 分間の映像からの表情表出

り返されるため，表情が表出する区間は，それらの動作の合間

シーン検出に要する時間は 2.4 秒程度であり，提案手法は効率であることが多い．これが表情表出シーンの長さの差が小さく性が高いといえる．

なっている要因であると考えられる．

6. 4 選択された特徴量

7. ま と め

前述の通り，選択する特徴量の数 m を 1 とした場合，すな

ライフログ映像の活用を目的として，映像中から，有用な

わち最も有用度の高い特徴量を一つだけ用いてアンサンブルク

シーンであると考えられる，表情表出シーンを検出する手法をラスタリングを行った場合に，平均して高い検出精度が得られ提案した．提案手法は教師なし学習に基づいており，学習用のている．この原因として，有用度が高いと判断された特徴量間データを用意する必要がないため，学習用のデータを作成するに比較的強い相関があることが考えられる．例えば，m の値

ことが比較的難しいライフログ映像の検索に適しているといえを増やすにつれて，検出精度が低下する傾向が顕著に見られるる．また，特徴選択により，表情の識別に有効な特徴量を選択

被験者 C では，n 番目に有用度が高いと判断された特徴量をできるため，ごく少数の特徴量のみを用いて，アンサンブルク

f (n) と表すと，f (1) と f (2) の相関係数の平均値（F1 から F8

ラスタリングにより，効率的かつ精度の高い表情表出シーン検図 9 F1 から F8 のそれぞれに対して選択された特徴量

出を行うことができる．
ライフログ映像データセットを用いた表情表出シーン検出実験により，すべての被験者について，80%以上の精度で表情表[6]

出シーンを検出できることを示した．しかし，本実験で用いた映像データセットには，笑顔の表出シーンのみが含まれていたため，笑顔以外の表情の検出性能は明らかでない．そこで，よ[7]

り多種の表情表出シーンを含むライフログ映像データセットを構成し，提案手法の性能評価を行うことが今後の課題である．

[8]

また，提案手法による表情表出シーン検出が適用可能なのは，正面の顔が映っており，かつ顔の周囲に遮蔽物がない場合に限られる．実際のライフログ映像では，顔の向きが変化したり，[9]

手などにより顔の一部が遮蔽されることは頻繁に発生すると考えられるので，顔の向きや遮蔽物の存在に対して頑健な表情表
出シーン検出法を確立することも今後の課題である．
謝辞

本 研 究 の 一 部 は ，科 学 研 究 費 補 助 金（ 課 題 番 号：

22700098）による．ここに記して謝意を表す．

[10]

[11]

[12]

文

献

[1] K. Aizawa, T. Hori, S. Kawasaki, and T. Ishikawa, “Capture and Eﬃcient Retrieval of Life Log,” Proc. of Pervasive
2004 Workshop on Memory and Sharing Experiences, pp.
15–20, 2004.
[2] J. Gemmell, G. Bell, R. Luederand, S. Drucker, and C.
Wong, “MyLifeBits: Fulﬁlling the Memex Vision,” Proc.
of the 10th ACM International Conference on Multimedia,
pp. 235–238, 2002.
[3] T. Datchakorn, T. Yamasaki, and K. Aizawa, “Practical Experience Recording and Indexing of Life Log Video,” Proc.
of the 2nd ACM Workshop on Continuous Archival and Retrieval of Personal Experiences, pp. 61–66, 2005.
[4] D. Datcu, and L. Rothkrantz, “Facial Expression Recognition in Still Pictures and Videos Using Active Appearance
Models: A Comparison Approach,” Proc. of the 2007 International Conference on Computer Systems and Technologies, pp. 1–6, 2007.
[5] G. Fanelli, A. Yao, P.-L. Noel, J. Gall, and L. V. Gool,“Hough Forest-based Facial Expression Recognition from

[13]

[14]

[15]

[16]

Video Sequences,” Proc. of the 11th European Conference
on Trends and Topics in Computer Vision, pp. 195–206,
2010.
G. Littlewort, M. S. Bartlett, I. Fasel, J. Susskind, and J.
Movellan, “Dynamics of Facial Expression Extracted Automatically from Video,” Journal of Image and Vision Computing, Vol. 24, No. 6, pp. 615–625, 2004.
P. Ekman, and W. Friesen, “Unmasking the Face: A Guide
to Recognizing Emotions from Facial Clues,” Englewood
Cliﬀs, NJ: Prentice Hall, 1975.
A. Strehl, and J. Ghosh, “Cluster Ensembles – a Knowledge Reuse Framework for Combining Multiple Partitions,”
Journal of Machine Learning Research, Vol. 3, 583-617,
2003.
Y. Tian, T. Kanade, and J. F. Cohn, “Facial Expression
Recognition.” S. Z. Li and A. K. Jain (Ed.), Handbook ofFace Recognition,” London: Springer, pp. 487–519, 2011.
M. Lyons, and S. Akamatsu, “Coding Facial Expressions
with Gabor Wavelets,” Proc. of the 3rd International Conference on Automatic Face and Gesture Recognition, pp.
200–205, 1998.
X. Feng, and M. Pietikäinen, “Facial Expression Recognition with Local Binary Patterns and Linear Programming,”
Pattern Recognition and Image Analysis, Vol. 15, No. 2, pp.
546–548, 2005.
N. Esau, E. Wetzel, L. Kleinjohann, and B. Kleinjohann,“Real-time Facial Expression Recognition Using a Fuzzy
Emotion Model,” Proc. of International Conference on
Fuzzy Systems, pp. 1–6, 2007.
I. Hupont, E. Cerezo, and S. Baldassarri, “Sensing Facial
Emotion in a Continuous 2D Aﬀective Space,” Proc. of International Conference on Systems, Man, and Cybernetics,
pp. 2045–2051, 2010.
B. Gholami, W. M. Haddad, and A. R. Tannenbaum,“An Unsupervised Learning Approach for Facial Expression
Recognition Using Semi-Deﬁnite Programming and Generalized Principal Component Analysis,” Proc. of Image Processing: Algorithms and Systems, pp. 1–10, 2010.
野宮浩揮，森國淳司，宝珍輝尚， 教師なし表情分類法に基づくライフログ映像からの印象的なシーンの検出 ，第 5 回データ工学と情報マネジメントに関するフォーラム (DEIM2013), D1-3,
2013.
Luxand Inc., “Luxand FaceSDK 4.0,”
http://www.luxand.com/facesdk（2013 年 12 月 23 日参照．
現時点での最新バージョンは 5.0）.