DEIM Forum 2013 D1-3

教師なし表情分類法に基づくライフログ映像からの印象的なシーンの検出
野宮 浩揮†

森國 淳司†

宝珍 輝尚†† 京都工芸繊維大学大学院工芸科学研究科〒 606–8585 京都府京都市左京区松ヶ崎御所海道町
E-mail: †{nomiya,hochin}@kit.ac.jp
あらまし

ライフログ映像から印象的なシーンを検索することを目的として，映像中の人物に何らかの表情が現れているシーンを検出する手法を提案する．一般的な表情認識では，幸福，悲しみ，驚きなどの典型的な表情を認識対象としているが，一般に，ライフログ映像にはそれらでは認識が困難な表情が多く含まれている．そこで，表情表出時の顔面上の変化をとらえることができると考えられる，顔特徴点から得られる特徴量を用いて，教師なし学習法により，予め認識対象の表情を定めることなく，表情表出シーンを検出する手法を構成する．また，ライフログを想定した映像データセットを用いて，表情表出シーン検出性能の評価を行う．
キーワード

ライフログ，表情認識，教師なし学習，映像検索

Impressive Scene Detection from Lifelog Videos based on
Unsupervised Facial Expression Classification
Hiroki NOMIYA† , Atsushi MORIKUNI† , and Teruhisa HOCHIN†† Graduate School of Science and Technology, Kyoto Institute of Technology
Goshokaido-cho, Matsugasaki, Sakyo-ku, Kyoto 606–8585 Japan
E-mail: †{nomiya,hochin}@kit.ac.jp
Key words lifelog, facial expression recognition, unsupervised learning, video retrieval

1. は じ め に
個人の行動や体験をマルチメディアデータとして記録するラの検出手法を提案してきている [3] [4]．これらの手法では，顔特徴点から得られる様々な特徴量を組み合わせて，効率的に表情表出シーンを検出することができる．

イフログ [1] [2] が近年注目を集めている．ライフログは，テキ

しかし，これらの先行研究では，検出対象とする表情を予め

スト，画像，映像，音声など様々なデータ形式で記録すること定めておき，それらの表情を識別するための学習を行う必要がができるが，特に近年では，映像記録機器の小型化・高性能化

ある．先行研究や表情認識に関する多くの既存研究 [5] [6] [7] でにより，時間や場所を問わず手軽に撮影を行うことができるたは，基本 6 表情（怒り，嫌悪，恐怖，幸福，悲しみ，驚き）なめ，映像の形でライフログデータを作成する機会が非常に多く

どの典型的な表情を識別対象としているが，ライフログ映像中なっているといえる．その一方で，大量に作成された映像デーに現れる表情には，このような典型的な表情とは異なる表情

タの中から有用な映像データを検索することが難しいため，多（例えば，苦笑いや，驚きと幸福が入り交じったような表情なくのライフログ映像が退蔵されることが問題となっている．

ど）が多く含まれており，予め検出対象とする表情を適切に定

そこで本研究では，ライフログ映像から，有用と考えられる

めることは難しい．さらに，表情の識別モデルを構築するため印象的なシーンの効率的な検索を行うことを目的とする．ライに，学習データを作成する必要があるが，十分な量の学習デー

フログ映像は人物を主体とすることが多く，印象的なシーンでタを作成するためには，多くの人的コストがかかることも問題

は，その人物に何らかの表情が表出している可能性が高いと考である．

えられるため，ライフログ映像中から表情表出シーンを検出す
る手法について検討を行う．
著者らはこれまでに，ライフログ映像からの表情表出シーン

そこで本論文では，クラスタリングに基づく教師なし学習を用いて表情分類モデルを構築することにより，検出対象とする表情を予め定める必要がなく，学習データも必要としない表情

表出シーンを検出手法を構成する．さらに，本手法では，顔特積に基づいて，式 (4) に示すように特徴量 f4 を定める．

徴点の位置関係から得られる少数の特徴量を用いて表情の分類を行うため，多数の特徴量の中から特徴選択を行う必要のある

f4

1{S(p11 , p12 , p13 , p14 , p15 , p23 , p22 , p21 )
2·l2
N

=

可能とする．

(4)+S(p16 , p17 , p18 , p19 , p20 , p26 , p25 , p24 )}先行研究の手法と比べて，より効率的な表情表出シーン検出を•

f5 ... 目の縦横比

以降，2 章では提案手法で用いる特徴量を示す．3 章で教師

目の上端と下端を結ぶ線分の長さと，目の左端と右端を結ぶ

なし学習に基づく表情分類モデルの生成法について述べ，4 章

線分の長さの比に基づいて，式 (5) に示すように特徴量 f5 をで表情表出シーンの検出法について述べる．5 章でライフログ

定める．

を想定した映像を用いた表情表出シーン検出実験を行い，最後

1
f5 =
2

に 6 章でまとめを行う．

2. 特 徴 量•

表情表出時の顔面上の変化をとらえるために，表情が表出する際に顕著な動きが見られると考えられる，顔面上の特徴点（以後「顔特徴点」と呼ぶ）を用いて 10 種類の特徴量を定める．

2. 1 顔 特 徴 点
顔特徴点として，図 1 に示す，左右の眉に沿ってほぼ等間隔に配置した点 10 点（p1 〜p10 ），左右の目の周囲の点 18 点（p11〜p28 ），口の内周上と外周上の点 14 点（p29 〜p42 ）の計 42 個の点を用いる．なお，これらの顔特徴点は，顔特徴点抽出ソフ
トウェア Luxand FaceSDK 4.0 [8] を用いて抽出する．

2. 1 節に示した顔特徴点を用いて，次に示す 10 種類の特徴
量 (f1 ∼ f10 ) を定める．

•

p22 − p~13 ||−1 ||~tan||~
p15 − p~11 ||+ tan

p25 − p~18 ||−1 ||~||~
p20 − p~16 ||)(5)

f6 ... 口の外側の面積

口の外側の顔特徴点をつないで構成される八角形の面積に基づいて，式 (6) に示すように特徴量 f6 を定める．
2
f6 = S(p29 , p30 , p31 , p32 , p33 , p34 , p35 , p36 )/lN•

(6)

f7 ... 口の内側の面積

口の内側の顔特徴点をつないで構成される八角形の面積に基づいて，式 (7) に示すように特徴量 f7 を定める．
2
f7 = S(p29 , p37 , p38 , p39 , p33 , p40 , p41 , p42 )/lN•

2. 2 特 徴 量((7)

f8 ... 口の外側の縦横比

口の内側の上端と下端を結ぶ線分の長さと，口の左端と右端を結ぶ線分の長さの比に基づいて，式 (8) に示すように特徴量f8 を定める．

f1 ... 左右の眉の傾き

右眉上の点 (p1 ∼ p5 ) ならびに左眉上の点 (p6 ∼ p10 ) を用いて，最小二乗法により右眉の傾き ar と左眉の傾き al を求め，左右の眉をほぼ左右対称であるとみなして，式 (1) に示すよう

f8 = tan−1•||~
p35 − p~31 ||||~
p33 − p~29 ||(8)f9 ... 口の外側の縦横比に特徴量 f1 を定める．

口の外側の上端と下端を結ぶ線分の長さと，口の左端と右端

f1 = (al − ar )/2を結ぶ線分の長さの比に基づいて，式 (9) に示すように特徴量•(1)

f9 を定める．

f2 ... 眉と目の間の距離

眉と目の上側にある顔特徴点を結んでできる線分の長さの平均値を用いて，式 (2) に示すように特徴量 f2 を定める．

∑10
f2 =

i=1

||~
pi − p~i+10 ||
10 · lN•(2)

ここで，lN は画像中の顔の大きさの違いなどによる影響を低減するための正規化に用いる項であり，左目の中心と右目の中心の顔特徴点を結ぶ線分の長さである．すなわち，lN = ||~p27 − p~28 ||||~
p41 − p~38 ||||~
p33 − p~29 ||(9)f10 ... 口角の上昇度

口角がどの程度上がっているかを表す特徴量として，f10 を
式 (10) のように定める．

f10 ={y(p38 ) + y(p41 )} − {y(p29 ) + y(p33 )}|y(p38 ) − y(p41 )|(10)

ここで，y(p) は特徴点 p の y 座標を表す．p29 と p33 の y 座標と表される．

•

f9 = tan−1の平均値が p38 と p41 の y 座標の平均値より大きければ，f10

f3 ... 眉間の面積

眉間の周辺にある 4 つの顔特徴点 p5 , p6 , p16 , p15 をつないでは正の値をとる．したがって，f10 の値が大きいほど口角が上構成される四角形の面積に基づいて，式 (3) に示すように特徴がっているといえる．なお，式 (10) の分母は正規化のための項

量 f3 を定める．

である．

2
f3 = S(p5 , p6 , p16 , p15 )/lN

(3)

ここで，S(pP1 , . . . , pPm ) は，pP1 から pPm までの m 個の顔
特徴点をつないで構成される m 角形の面積を表す．

•

f4 ... 目の面積

左右の目の周囲の顔特徴点をつないで構成される八角形の面

3. 表情分類法
ライフログ映像から表情表出シーンを検出するために，まず映像をフレーム画像（静止画像）に分割し，各フレーム画像に対して表情の識別を行う．既存の表情認識手法では，基本 6 表情など，予め識別対象とする表情を定めて，それらの表情が表

図1 顔特徴点出している学習データを用いて表情分類モデルを構築し，表情の識別を行う．しかし，ライフログ映像中に現れる表情は様々であり，基本 6 表情のような典型的な表情とは異なる表情も多入力：特徴ベクトルの集合 X = {X1 , . . . , Xn }
生成するクラスタの数 K（ 1 ） X の中からランダムに K 個の特徴ベクトル Xc1 , . . . , XcK

く含まれるため，予め検出対象とする表情を適切に定めることを選択し，初期クラスタ C1 , . . . , CK を生成する．なお，∀i Xci ∈ Ci

は難しい．さらに，十分な量の学習データを作成するためには，とする．

多くの人的コストがかかる．

（ 2 ） 各特徴ベクトル X1 , . . . , Xn を，それぞれ Xc1 , . . . , XcK のそこで，本論文では，クラスタリングに基づく教師なし学習中で最も距離の短いものが属しているクラスタに割り当てる．なお，特を用いて，識別対象の表情を定める必要がなく，学習データも徴ベクトル間の距離は，主成分分析で得られた固有値による重み付け

必要としない表情分類モデルを構成する．まず，ライフログ映像から抽出した各フレーム画像に対して，2. 2 節に示した 10 種
類の特徴量を求め，これらを並べて 10 次元の特徴ベクトルを構成する．

を行ったユークリッド距離により定める．すなわち，Xi は，式 (14)をみたすクラスタ Cj ∗ に割り当てられる．

v
u 10
u∑ {
}2
j ∗ = arg min t
λk xk (Ii ) − xk (Ic )
j

j

(14)

k=1

ここで，ライフログ映像から抽出したフレーム画像の集合を

I = {I1 , . . . , In } と表す．ここで，n はフレーム画像の枚数でここで，λk は第 k 主成分の固有値である．

ある．各フレーム画像 Ii に対する特徴ベクトル Fi を式 (11)（ 3 ） C1 , . . . , CK の重心点を求め，それぞれ Z1 , . . . , ZK とする．

のように定める．

また，Zi = [z1 (i), . . . , z10 (i)] と表す．
（ 4 ） 各特徴ベクトル X1 , . . . , Xn に対して，各クラスタの重心点

Fi = [f1 (Ii ), . . . , f10 (Ii )](11)の中から最も近いものを求め，そのクラスタに割り当てる．すなわち，Xi は，式 (15) をみたすクラスタ Cj ∗∗ に割り当てられる．

ここで，fi (Ij ) は，j 番目のフレーム画像から得られた特徴量

fi の値を表す．
表情表出時の顔面上の特徴をより捉えやすくするため，これらの特徴ベクトル F1 , . . . , Fn に対して主成分分析を行い，式

v
u 10
u∑
∗∗
j = arg min t
λk {xk (Ii ) − zk (j)}2
j

(15)

k=1

（ 5 ） クラスタリングを行った後と行う前とで，各クラスタに属す(12) により Fi から新たな特徴ベクトル Xi を生成する．なお，る事例が変わっていなければ，各クラスタを出力としてクラスタリング

これ以降 Xi を単に「特徴ベクトル」と呼ぶこととする．

を終了する．変わっていれば，( 3 ) に戻り再度クラスタリングを行う．

Xi = [x1 (Ii ), . . . , x10 (Ii )]ここで，たがって，K 個のクラスタを生成することは，ライフログ映像∑から得られたフレーム画像を K 種類の表情に分類することに

10

xj (Ii ) =図 2 クラスタリングアルゴリズム(12)`jk fk (Ii )

(13)

相当する．

k=1

であり，`jk は第 j 主成分の k 番目の主成分負荷量の値を表す．

4. 表情表出シーン検出

特徴ベクトル Xi を用いて，図 2 に示す k-means 法に基づ

前述の表情分類法を用いることにより，ライフログ映像中のくクラスタリングを行い，表情を分類する．クラスタリングに

各フレーム画像を K 個のクラスタ，すなわち K 種類の表情により生成された各クラスタが，それぞれ異なる表情を表す．しS i-1
S i-1

Si

S i+1

入力： 同一のクラスタ C に属しているフレーム番号の集合

Si
D(Si-1,Si) −>θ

D(Si-1,Si) < θ

D(Si,Si+1) −> θSi < θ

integratedである任意の i, j について qi < qj が成り立つとする．
（ 2 ） ν ← nC .

S i+1

（ 3 ） S の全ての要素を，|Si | の値について昇順に整列する．
ここで，p 番目にこの値の小さい要素を Sup と表す．

(b)

(a)

なお，nC は C に属しているフレーム画像の数であり，i < j（ 1 ） Si = {qi } (i = 1, . . . , nC )，S = {S1 , . . . , SnC } とする．

removedS i-1

Si{q1 . . . , qnC } および閾値 θ．

（ 4 ） p ← 1.
（ 5 ） If up > 1 ∧ D(Sup −1 , Sup ) < θ Then

図 3 フレーム集合の統合と削除

Sup −1 を Sup に統合する．

分類できる．この分類結果を用いて，映像中から各表情が表出しているシーンを検出する．

Sup ← Sup ∪ Sup −1 .
S ← {S1 , . . . , Sup −2 , Sup , . . . , Sν }.
Go to ( 9 ).

1 つのクラスタが 1 つの表情を表しているため，表情表出

End If

シーン検出はクラスタごとに行う．はじめに，クラスタに含ま（ 6 ） If up < ν ∧ D(Sup , Sup +1 ) < θ Then

れる個々のフレームを 1 つのシーンとみなす．そして，近接しSup +1 を Sup に統合する．

ているシーン同士を統合し，孤立しているシーンを削除していSup ← Sup ∪ Sup +1 .

くことにより，表情表出シーンを形成していく．

S ← {S1 , . . . , Sup , Sup +2 , . . . , Sν }.

シーンが近接しているかどうかを判断するために，2 つのシー
ン Si と Sj の間の距離 D(Si , Sj ) を式 (16) のように定める．

D(Si , Sj ) = smin
− smax
−1
j
i

(16)

ここで，sminは Sj に含まれるフレームの中での最小のフレーj

Go to ( 9 ).
End If（ 7 ） If |Sup | < θ Then

If ν = 1 Then
表情表出シーンなしとしてシーン検出を終了する．

Else
Sup を削除する．

ム番号であり，smax
は Si に含まれるフレームの中での最大のi

S ← {S1 , . . . , Sup −1 , Sup +1 , . . . , Sν }.

フレーム番号である．なお，映像の先頭から n 番目のフレームのフレーム番号を n とする．また，シーン Si はシーン Sj よりも前にある（smax< smin）とする．
ij
あるシーン Si について，1 つ前にあるシーン Si−1 との距離を求め，それが閾値 θ よりも小さい場合は，図 3(a) に示す

Go to ( 9 ).
End IfEnd If（ 8 ） If p = ν Then

For i = 1 To νsmin
から smaxまでの間を表情表出シーンとして出力ii

ように，これらのシーンを統合して単一のシーンとする．同様に，Si の 1 つ後ろにあるシーン Si+1 との距離を求め，それがθ よりも小さい場合は，これらのシーンを統合して単一のシー
ンとする．

する．

End For
シーン検出を終了する．

Else

Si と Si−1 の距離ならびに Si と Si+1 の距離が θ 以上であp ← p + 1.

り，さらに Si の長さ（|Si | と表す）が θ を下回る場合は，Si

Go to ( 5 ).

は孤立した短いシーンであり，重要性は低いと考えられるので，
図 3(b) に示すように Si を削除する．したがって，検出されるシーンは，少なくとも θ の長さを持つことになる．
このようにして，シーンの統合と削除を繰り返していき，統End If（ 9 ） S の要素の添字を以下のように振り直す．

S = {S1 , . . . , Sν−1 }ν ←ν−1
Go to ( 3 ).

合・削除することのできるシーンがなくなった時点でのシーン
を最終的な表情表出シーンとして出力する．複数の表情につい図 4 表情表出シーン検出アルゴリズムて表情表出シーン検出を行う場合は，各表情ごとに，この表情
表出シーン検出手順を実行する．
最後に，表情表出シーン検出アルゴリズムを図 4 に示す．

それぞれに対して，被験者を含む 2 名でトランプ（神経衰弱）
を行ってもらい，その様子を Web カメラを用いて被験者の顔が映るように撮影した．なお，被験者にはできるだけ普段通り

5. 実

験

5. 1 ライフログ映像からの表情表出シーン検出に振る舞うよう指示している．
各被験者に対して，それぞれ 10 分間の映像を 1 本作成し，全5. 1. 1 ライフログ映像データセット

部で 5 本の映像をデータセットとして使用した．これらの映像

ライフログ映像を想定して，いずれも 20 歳代の男子大学生

は，いずれも解像度が 640×480 画素，フレームレートが 25 フである 5 名の被験者（以後，被験者 A, B, C, D, E と呼ぶ）のレーム／秒である．各映像について，先頭から 10 フレームお表 1 検出された表情表出シーン
被験者

0.9

シーン数 平均シーン長（秒） 標準偏差（秒）

0.8

4

14.4

2.29

0.7

B

4

26.8

17.3

0.6

C

2

26.8

16.4

D

2

33.6

24.9

E

7

17.4

8.66

Accuracy

A

0.5
0.4
0.3
0.2
0.1

きに 1 フレームを選択して得られた 1500 フレームの画像を実0験に用いている．

A

B

5. 1. 2 表情表出シーン検出精度
本実験で使用したライフログ映像内で表出している表情はほ験者はほぼ無表情である．すなわち，ライフログ映像中で表出している表情は 2 種類（無表情と笑顔）であるとみなすことができるため，クラスタ数 K を 2 として，3 章に示した手法により表情分類を行った．ここでは，表情が表出しているシーンを検出することが目的であるため，生成された 2 つのクラスタのうち，何らかの表情が表出している可能性の高いクラスタを

1 つ選択した．選択基準として，2. 2 節に示した 10 種類の特徴量を平均 0，分散 1 に正規化した際の特徴量の平均値を用いた．無表情に近い表情では，これらの特徴量の値が小さくなり

DE

図 5 表情表出シーン検出精度
Easiness of Detecting Facial Expression

とんどが笑顔であり，笑顔が表出しているシーン以外では，被C
Subject

1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

A

B

やすいと考えられるため，2 つのクラスタのうち，特徴量の平均値が高い方のクラスタを選択し，4 章で述べた手法により表C
Subject

DE

図 6 表情識別の容易性

情表出シーン検出を行った．なお，検出されるシーンには，そのシーンで起こっている出来事がわかる程度の長さが必要であに含まれないフレームの集合である．各被験者に対する表情表ると考えられる．ここでは，そのために少なくとも 1 つのシー

出シーン検出精度を図 5 に示す．

ンにつき 10 秒程度は必要であると考え，閾値 θ を 25 と定め

表情表出シーン検出精度には，被験者によって違いが見られることにより，検出されるシーンの長さの最小値が 10 秒になるが，これは個人差による影響が大きいと考えられる．被験者

るようにしている．

によって，はっきりと表情を表出することが多い場合と，（例え

まず，各被験者の映像から検出された表情表出シーンの数，
平均シーン長ならびにシーン長の標準偏差を表 1 に示す．

ば微笑程度の笑みを浮かべるなど）表情が表出しているかどうかの判断が難しいことが多い場合があり，表情表出シーン検出

いずれの被験者からも，合計して 1〜2 分程度の表情表出シー

精度は，後者に比べて前者の方が高くなっていると考えられる．

ンが得られた．検出されたシーンの数やシーン長は，被験者にこのことを明らかにするために，表情が表出しているかどう

よって大きく異なっているが，これは映像中で表情が表出してかを判断することの容易さを表す指標である，表情識別の容易いるシーンの長さや数が被験者によって異なっているためであ性を定め，各被験者の表情識別の容易性を求めた．表情識別のると考えられる．

容易性 ε は，2 名の評価者による目視での表情分類結果に基づ

次に，検出されたシーンがどの程度正確に表情表出シーンをいて，式 (18) のように定める．

捉えているかを評価するために，表情表出シーンの検出精度を求めた．ここでは，式 (17) により表情表出シーンの検出精度A を求めている．
|Te ∩ T̂e | + |Tn ∩ T̂n |A=|Te | + |Tn |ε=|Te1 ∩ Te2 | + |Tn1 ∩ Tn2 ||Te1 | + |Tn1 |(18)

ここで，Te1 , Te2 は，それぞれ 1 人目の評価者，2 人目の評価(17)

者が表情が表出していると判断したフレームの集合であり，Tn1 , Tn2 は，それぞれ 1 人目の評価者，2 人目の評価者が表情

ここで，Te , Tn は，それぞれ実際に表情が表出しているフレーが表出していないと判断したフレームの集合である．なお，

ムの集合と，それ以外（無表情）のフレームの集合である．こ|Te1 | + |Tn1 | はフレームの総数に相当し，本実験では 1500 であれらは，著者のうち 2 名の評価者により決定しており，評価者

る（|Te1 | + |Tn1 | = |Te2 | + |Tn2 | である）．各被験者に対する表情のうち少なくとも一方が表情が表出していると判断したフレー

識別の容易性を図 6 に示す．

ムの集合を，実際に表情が表出しているフレームの集合と定め

図 5 と図 6 より，被験者 A, B, C, E については，表情識別ている．また，T̂e , T̂n は，それぞれ提案手法により検出されたの容易性と表情表出シーン検出精度がほぼ比例していることか

表情表出シーンに含まれるフレームの集合と，表情表出シーン

ら，人の目で見ても表情が表出しているかどうかの判断が比較表 3 CK データセットの分類結果
クラスタ 1

43

15

6

13

幸福

16

76

2

9

悲しみ

34

27

13

7

驚き

23

5

2

70

図 7 表情が表出していると評価者が判断したシーンのフレーム画像

表 4 JAFFE データセットの分類結果

例 (a), (b) と表情が表出していないと評価者が判断したシーンのフレーム画像例 (c), (d)処理

クラスタ 1怒り

表 2 表情表出シーン検出に要した時間（秒）平均所要時間 標準偏差

特徴量算出

0.108

0.012

表情分類

0.040

0.000

シーン検出

0.001

0.001

合計

0.149

0.013

クラスタ 2 クラスタ 3 クラスタ 4

怒りクラスタ 2 クラスタ 3 クラスタ 4

14

4

11

1
10

幸福

9

11

1

悲しみ

12

2

17

0

驚き

6

0

6

18

いずれの被験者についても，10 分間の映像からの表情表出
シーン検出に要した時間はおよそ 0.15 秒程度であり，効率的に表情表出シーン検出ができているといえる．したがって，提的難しい被験者では，表情表出シーン検出精度もやや低くなる

案手法は大規模なライフログ映像データベースに対しても十分といえる．

に適用可能であると考えられる．

しかし，被験者 D は，表情識別の容易性は高いが，表情表
出シーン検出精度は低くなっている．この原因として，この被験者は，笑顔が表出している時の顔面上の変化が非常に大きい
ことが考えられる．

5. 2 複数の表情の識別5. 2. 1 表情識別実験に使用したデータセット
前述の実験に使用したライフログ映像では，表出している
表情の大部分が笑顔であるため，ここでは提案手法の笑顔以

図 7(a), (b) は，被験者 D の映像に含まれている，2 名の評

外の表情の識別性能を評価する．そのためのデータセットとし価者がいずれも表情が表出していると判断したフレーム画像のて，Cohn-Kanade AU-Coded Facial Expression Database [9]一部である．目が細められる，口が大きく開かれるといった， （以下 CK データセットと記述する）ならびに The Japanese
Female Facial Expression Database [10]（以下 JAFFE デー
顔面上の変化がはっきりと現れていることがわかる．一方，図7(c), (d) は，2 名の評価者がいずれも表情が表出していないとタセットと記述する）を用いた．

判断したフレーム画像の一部である．(c) は無表情に近いといCK データセットは，18 歳から 30 歳の男女の被験者 97 人のえるが，(d) は (c) と比べると目が細くなっており，口も開か

表情データが，無表情の状態から表情が表出されるまでの連続れていることから，単独の画像として見ると表情が表出していした画像として収められている．この中から，怒り，幸福，悲るようにも見える．しかし，(a), (b) のように，表情がより強しみ，驚きの表情が表出している画像をそれぞれ 77, 103, 81,

く現れているフレームが映像中に多く含まれているため，評価100 枚使用した．

者は相対的に判断して (d) には表情が現れていないと判断していると考えられる．
提案手法では，図 7(d) のようなフレーム画像はほぼ表情が表出していると判断されている（図 7(a), (b) と同じクラスタ

JAFFE データセットは，日本人女性の被験者 10 人の表情データが，表情表出時および無表情時の画像として収められている．この中から，怒り，幸福，悲しみ，驚きの表情が表出している画像をそれぞれ 30, 31, 31, 30 枚使用した．

に属している）ため，(d) のようなフレームを含むシーンが表いずれのデータセットに対しても，静止画像を用いているた

情表出シーンとして検出され，結果として表情表出シーン検出

め，表情表出シーン検出は行わず，表情分類のみを行った．ま

精度が低下したと考えられる．

た，表情分類の際に生成するクラスタの数 K は 4 とした．

5. 1. 3 表情表出シーン検出速度

5. 2. 2 表情分類結果

提案手法の表情表出シーン検出速度を評価するため，表情表

CK データセットの分類結果を表 3 に，JAFFE データセッ

出シーン検出に要する時間を計測した結果を表 2 に示す．計測

トの分類結果を表 4 に示す．各表の列は，4 つのクラスタそれには，CPU が Xeon W3580 (3.33GHz)，メモリが 8GB の計ぞれに含まれていた，怒り，幸福，悲しみ，驚きの事例の数を算機を使用した．なお，顔特徴点抽出には既存のソフトウェア示している．例えば，CK データセットでは，クラスタ 1 にはを用いているため，顔特徴点の抽出に要した時間は含めていな

全部で 116 の事例が含まれており，そのうち 43 の事例に怒り，い．表 2 には，2 章に示した特徴量を算出する際に要した時間，

16 の事例に幸福，34 の事例に悲しみ，23 の事例に驚きの表情

3 章に示した表情分類に要した時間，4 章に示した表情表出シーが表出していたことを表している．

ン検出に要した時間，ならびにこれらの合計の時間を示していCK データセットでは，怒り，幸福，驚きの表情に関しては，る．表中の「平均所要時間」と「標準偏差」は，それぞれ，5

多くの事例が特定のクラスタ（それぞれクラスタ 1, 2, 4）に分名の被験者に対する所要時間の平均値および標準偏差である．

類されている．したがって，提案手法は，分類対象の表情に関るものの，ある程度正確に表情（主に笑顔）が表出しているシーンを検出することができた．
怒り，幸福，悲しみ，驚きの表情が含まれるデータセットに対しては，およそ半数程度の事例を適切に識別できる可能性を示した．しかし，これらは静止画像に対する表情分類にとど
図 8 JAFFE データセットでクラスタ 1 に分類された事例 (a), (b)とクラスタ 3 に分類された事例 (c), (d)まっているため，今後は様々な表情が含まれるライフログ映像を用いて提案手法の性能評価を行うことを検討している．
また，提案手法が適用できるのは，遮蔽物が映っていない正する事前知識を与えられなくても，これらの表情をある程度分類することのできる分類モデルを形成しているといえる．
一方，悲しみの表情は様々なクラスタに分類されており，十分に識別できていないといえる．悲しみの表情が表出する際には，眉や口角が下がるなどの動きが顔面上に見られるが，他の表情と比べると顔面上の動きが小さいため，十分に特徴を捉えることができなかったのではないかと考えられる．

JAFFE データセットでは，驚きの表情は特定のクラスタ（ク面の顔のみであるため，遮蔽物や顔面の向きの変化に対する頑健性の向上も今後の課題である．さらに，個人差による表情
表出シーン検出精度に対する影響の低減や，様々な表情をより正確に識別するために，表情分類法の改善を行っていく予定である．
謝辞

本 研 究 の 一 部 は ，科 学 研 究 費 補 助 金（ 課 題 番 号：

22700098）による．ここに記して謝意を表す．

ラスタ 4）に分類されることが多いという傾向が見られるため，よく識別できているといえる．しかし，怒りと悲しみの事
例が同じクラスタに含まれることが多くなっている．これは，JAFFE データセットでは，怒りと悲しみに類似した表情が多いことが原因と考えられる．図 8(a), (b) は，いずれもクラス
タ 1 に分類された事例であるが，(a) は怒り，(b) は悲しみの表情である．また，図 8(c), (d) は，いずれもクラスタ 3 に分類された事例であるが，(c) は怒り，(d) は悲しみの表情である．いずれの事例も顔面上の変化が小さく，また (a) と (b) は互いに類似しており，(c) と (d) も互いに類似していることから，これらの事例が混同されたと考えられる．
幸福の事例には，口を閉じて笑っている事例や口を大きく開いて笑っている事例があるため，前者の一部が怒りや悲しみの事例が多く含まれるクラスタ（クラスタ 1）に分類され，後者が驚きの事例が多く含まれるクラスタ（クラスタ 4）に分類されたと考えられる．
表 3 と表 4 を混同行列とみなすと，CK データセットの表情
認識精度は約 56 %であり，JAFFE データセットの表情認識精度は約 49 %である．JAFFE データセットには，前述の通り識別の難しい表情が含まれているため，やや低い値となっているが，およそ半数程度の表情は正しく分類できる可能性があるといえる．

6. ま と め
ライフログ映像から印象的なシーンを検索することを目的として，映像中から表情表出シーンを検出する手法を提案した．
提案手法は教師なし学習法に基づいているため，予め検出対象とする表情を定めておく必要がなく，学習用のデータも必要としない．さらに，表情表出シーン検出の効率性も高いため，大規模なライフログ映像からの表情表出シーン検出を少ない人的コストで実現できる可能性を持つといえる．
ライフログ映像を想定した映像データセットに対して表情表
出シーン検出実験を行ったところ，被験者によるばらつきはあ

文献[1] J. Gemmell, G. Bell, R. Luederand, S. Drucker and C.
Wong, “MyLifeBits: Fulﬁlling the Memex Vision,” Proc.
of the 10th ACM International Conference on Multimedia,
pp.235–238, 2002.
[2] K. Aizawa, T. Hori, S. Kawasaki and T. Ishikawa, “Captureand Eﬃcient Retrieval of Life Log,” Pervasive 2004 Workshop on Memory and Sharing Experiences, pp.15–20, 2004.
[3] 野宮浩揮，森國淳司，宝珍輝尚，“表情表出シーン検出を用いた
ライフログ映像からの印象的なシーンの検索”，第 4 回データ工学と情報マネジメントに関するフォーラム (DEIM2012)，B9-3,
2012.
[4] 野宮浩揮，宝珍輝尚，“アンサンブル学習を用いた効率的な映像からの表情表出シーン検出”，電子情報通信学会論文誌, Vol.J95-D,
No.2, pp.193–205, 2012.
[5] G. Littlewort, M. S. Bartlett, I. Fasel, J. Susskind and J.
Movellan, “Dynamics of Facial Expression Extracted Automatically from Video,” Image and Vision Computing,
Vol.24, No.6, pp.615–625, 2004.
[6] D. Datcu and L. Rothkrantz, “Facial Expression Recognition in Still Pictures and Videos Using Active Appearance
Models: A Comparison Approach,” Proc. of the 2007 International Conference on Computer Systems and Technologies, pp.1–6, 2007.
[7] G. Fanelli, A.Yao, P.-L. Noel, J. Gall, L. Van Gool, “Hough
Forest-based Facial Expression Recognition from Video Sequences,” Proc. of International Workshop on Sign, Gesture
and Activity, 2010.
[8] Luxand, Inc., “Luxand FaceSDK 4.0,”
http://www.luxand.com/facesdk/[9] T. Kanade, J. F. Cohn and Y. Tian, “Comprehensive
Database for Facial Expression Analysis,” Proc. of the 4thIEEE International Conference on Automatic Face and Gesture Recognition, pp. 46–53, 2000.
[10] M.J. Lyons, S. Akamatsu, M. Kamachi and J. Gyoba, “Coding Facial Expressions with Gabor Wavelets,” Proceedingsof the 3rd IEEE International Conference on Automatic
Face and Gesture Recognition, pp. 200–205, 1998.