WISS2013

人間の表情を活用するライフログ閲覧
高井 啓

志築 文太郎

田中 二郎∗

概要. ライフログの閲覧に人間の表情を活用するシステムを提案する．リアルタイムに生成されるライフログデータは膨大なものとなる．我々はこの問題を解決する為に，ライフログの閲覧に表情を活用するシステムを実装した．提案システムはライフログデータと同期してユーザの表情を記録する．これにより，表情をキーとしたライフログデータの検索を可能とする．我々はケーススタディとして，PC の画面を記録し続けたライフログデータを，提案システムを使って閲覧した．本稿ではその結果を元に，表情を活用したライフログの閲覧の有効性について考察する．

1

背景と目的人間の行動を記録し続けることによって生成されたライフログデータを利用し，ユーザの行動の振り返りや記憶支援に役立てる研究が存在する．その中でも，コンピュータの操作ログやユーザの視界を撮り続けるログ等，リアルタイムに生成されるライフログデータは膨大なものとなるため，効率的にデータを閲覧する為には，大量のデータの中からユーザが必要としている部分を抽出する必要がある．
ユーザが必要としている部分を抽出する研究の例として，Datchakorn ら [2] による研究がある．
Datchakorn らは，動画，GPS，心拍数等，様々なセンサを利用して作られたライフログから，コンテキストに注目してサマリを作成した．これにより，会話等，ユーザにとって重要な意味を持つ部分を抜き出すことが可能になった．また，福本ら [1] は，目元の筋肉の動きから笑顔を認識するメガネ状のデバイスを作成し，その情報を元に，ウェアラブルカメ
ラによるライフログから，ユーザが笑顔の時に見ていた部分を取得し，提示する方法を提案した．
本研究はライフログの閲覧に人間の表情を活用するシステムを提案する．表情は感情を表す最も基本的な要素であり，記憶と感情は結びついている．その為表情が動いた時，即ち感情が動いた時のライフログデータは他のライフログデータに比べ，ユーザにとってより有益な情報を含んでいると考えられる．
そこで，提案システムはライフログデータと同期してユーザの表情を記録する．これにより表情をキーとしたライフログデータの検索を可能とする．この検索を用いることにより，ユーザは自分の行動を見返したり，隠れた好みを見つけ出すことが出来ると考える．

∗Copyright is held by the author(s).
Hiromu Takai, 筑波大学大学院システム情報工学研究科,
Buntarou Shizuki and Jiro Tanaka, 筑波大学システム情報系

図 1. システム構成

2

システム

システムは記録部と解析部によって構成される．
図 1 にシステム構成を示す．
記録部は表情とライフログデータの記録を行う．
我々は表情を記録する為に，Kinect とそれに付随するライブラリを利用した．なお今回我々はライフロ
グとして，PC の画面のスクリーンショットを記録し続けるライフログ（以降，画面ログ）を採用した．
これはユーザが何を見ていたかが直ぐに解る為，実験やデバッグに適していると考えたからである．

WISS 2013結果

図 2. 解析ソフトウェア

解析部は記録した表情を解析し，ライフログデータを提示する．ユーザはこの解析部を利用してライフログを閲覧する，これにより自分の行動を見返す，または自分の隠れた好みを見つけ出すことが出来る．
解析部のうち，ユーザにライフログのデータを提示する解析ソフトウェアのスクリーンショットを，図2 に示す．表情を数値で表したデータがグラフで表示され（図 2 上）またその下に，スライダで指定された時点での表情（検索キー）（図 2 左下）と，その表情に似た表情（以降，類似画像）が表示される（図 2 中央下），類似画像を提示した理由はユーザが指定した時点によく似ている時点を探すことが出来るようにする為である．これは似ている表情の瞬間は似ている状況にあるという仮説に基づいている．
そして，似ている状況を探すことができれば，行動の分析に便利であると考える．そこで表情を表すパラメータ同士の標準ユークリッド距離を類似度として類似画像の提示を行った．

3

ケーススタディこのシステムを利用し，画面ログの閲覧を行った．
保存した画面ログは 1 秒間につき 1 枚のスクリーンショットから構成される．利用したデータは 2012 年
10 月 15 日 20 時から 2013 年 8 月 23 日 16 時までであり，その内容は，解析部のプログラミングをしている時や，PC を使用して動画又はウェブサイトを閲覧している時，また論文のサーベイを行っている時の情報を含んでいる．閲覧した動画には，映画のDVD の他，ニコニコ動画で配信されていたコメント付き動画も含む．
類似画像を用いてライフログデータを検索できる
ことの有効性を確かめるために，ケーススタディとして，様々な閲覧作業を行った．

ユーザは解析ソフトウェアを利用して画面ログの中から手作業で表情が笑顔になっている時点を一箇所選択した所，解析ソフトウェアによってその顔と似ていると判断された時点の表情が表示された．そこで，ユーザはその時点を選択し，さらにそれと似ている表情となっている時点を探してみた．結果として，一度笑った表情を見つけた後は，類似画像を利用して似た表情をしている時点を簡単に抽出することができた．
また，画面ログ中，映画を見ている間の画面ログにおいて同様の作業を行った所，画面ログ自体は静止画のみにも関わらず，その映画のどのシーンで笑ったか，さらに映画のそのシーンの内容まで思い出すことが出来た．
一方，プログラミングを行っている間の画面ログにおいては，映画を見ている時のような内容の抽出を行うことは出来なかった．この原因を調べるためにプログラミングを行っている間の表情を観察した
所，顔は笑顔を浮かべていなかった．これが抽出に失敗した原因だと考えられる．また，映画のスクリーンショットとは異なり，プログラミングを行っている時のスクリーンショットを見ても，この表情の時にどんな作業を行っていたかということは，映画とは異なり思い出すことが難しかった．

4

まとめと今後の課題

ある表情に似た表情をしていた時点をライフログ
データから検索することが可能なシステムを作成した．ケーススタディを行った所，映画（動画）鑑賞時に於いて，ユーザによって印象的なシーンを抽出することができた．今後は提案システムのライフロ
グ閲覧に於ける有用性を調べて行きたい．

参考文献[1] K. Fukumoto, T. Terada, and M. Tsukamoto. A
smile/laughter recognition mechanism for smilebased life logging. In Proceedings of the 4th Augmented Human International Conference, AH’13, pp. 213–220, New York, NY, USA, 2013.
ACM.
[2] D. Tancharoen, T. Yamasaki, and K. Aizawa.
Practical experience recording and indexing ofLife Log video. In Proceedings of the 2nd ACM
workshop on Continuous archival and retrievalof personal experiences, CARPE ’05, pp. 61–66,
New York, NY, USA, 2005. ACM.