The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3A3-01

ライフログの取得と処理 －ウエアラブル，ユビキタス，車－Capture and Processing of Life Log: Wearable, Ubiquitous, Automobile
相澤 清晴*1
Kiyoharu Aizawa*1

東京大学大学院新領域創成科学研究科

University of Tokyo, Graduate School of Frontier Sciences
Capturing life log by electronic means enables us to record our daily life in detail. Because of developing technologies
related to wearable, ubiquitous, mobile multimedia, we believe that we will be able to automatically capture and record ourdaily experiences. Research on the capture and retrieval of life logs is emerging quickly. The resulting amount of data isenormous, then automatic or semiautomatic ways to retrieve desired part is indispensable. We have been investigating
capture and processing of life log in three different scenarios; the three different capture systems are a wearable system, aubiquitous system and a automobile based system, which are described in this paper.

1. はじめに
日常生活，体験のデジタル化が我々の研究の課題である．
例えば，一生分の体験ログを映像として残すことができるだろう
か．大変な長時間記録になる．圧縮技術，HDD などの蓄積技術の進歩や小型でウエアラブルやユビキタスになってきた情報機器の進展のおかげでハードウエアの壁は低くなっている．しかしながら，かりに長期間の体験映像を残せたとしても，膨大に残してしまったものの中からどのように欲しい映像をとってくるのかが大きな問題になる．現在，筆者らはライフログの取得と処理について，おおよそ 3 通りの試みを行っており，それらは，(１）ウエアラブルシステムによるライフログの取得と処理，（2)車載センサによるログの取得と処理，（3)ユビキタスシステムで取得されたライフログ処理，である．本稿では，これらの試みについて述べる．

2. ウエアラブルによる取得と検索
我々のグループでは、ウエアラブルシステムによる長時間データの取得、データの効率的な検索に関して研究を進めている[2-8]．映像検索では，広くコンテンツに基づく検索が議論されてきたが，極めて冗長な生活記録の場合には，コンテンツに基づく手法に十分な機能を期待できない．

図１ウエアラブルで取得するデータ

人の追想と同様に，体験記録の場合には，コンテンツそのものよりも状況を表すコンテキストが役に立つと考えられる．このため，我々は，コンテキストに基づく検索の研究を進めてきた．このため，映像や音声の取得ばかりでなく，GPS，ジャイロ，加速度センサ等を用いている．図 1 に取得するデータ，図 2 に第 2バージョンの取得システム外観を示す．
ジャイロ，加速度センサの出力はオンラインで処理し，ユーザの振る舞いを歩，走，止の 3 状態で分類する．また，フリーテキスト形式のアノテーションを，ケータイや検索時のインタフェース上で加えることができる．主観的な状況をみるために，脳波といった生理データも必要に応じて用いてきた．
ＧＰＳの位置データを有するため，電子地図に含まれている店や施設に関してのデータベースを併せて用いることで、店の名前で映像を検索することもできる．いわば，キーワードの付与されていない映像を店の名前や業種のキーワードで探すことができる．そのインタフェースを図 3 に示す．
ウエアラブルシステムでは，文書や電子メール、Web のページの記録を行い，ユーザの様々なデスクワークを記録することもできる．MSOffice のアプリケーションと PDF に関しては，そのオリジナルとテキスト変換データを保持し，文書内のキーワード での検索も可能にしている．
以上のように，現状では映像に合わせてのコンテキストデータの取得とそのコンテキストデータによるナビゲーションでの検索を進めてきた．現在，システムの評価を進めると共にコンテキストデータを様々な視点からのサンプリングすることによる要約とマイニングを行っている．

図２ 概観

連絡先： email: aizawa@hal.t.u-tokyo.ac.jp〒277－8561 柏市柏の葉 5－1－5 東京大学
新領域創成科学研究科 基盤情報学専攻

図３-1-検索インタフェース

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3. 車載映像の取得と処理
車は，日常の移動，旅行など生活の様々な局面で現れる．車
載カメラ等のセンサによる記録は車での移動の有効なログとして活用できると考えられる．旅行の場合には，追想のための記録として役立つであろうし，通勤など日常的な車の移動であったとしても，長期間の記録となれば，突発的，短期的及び長期的な交通の変化や街並みの変化を映し出すであろう．現在，街並みの変化に焦点をあて，車載映像からの類似検索，相違検出についての試みを進めている[7].
前述のウエアラブルシステムを車載へ転用し，センサとしては，カメラとＧＰＳのみを用いている．ＧＰＳの粗い位置情報を補間しての比較，距離に基づく区間相当の映像に対し，そのエッジ射影を利用したマッチングを行うことで，類似検索と車の位置合わせがかなりの精度で行えることを確認した．さらに，この検討を基に，長期間に渡る映像ログからの相違検出を試みている．

を行うことにより，自動的にユーザの動きを追いかけデータベース中の映像読み出しの切り替えを行うことができた．その一例のキーフレームを以下の図に示す．あたかも人が切り替えるように映像の切り替えが行われる．
さらに，環境センサとウエアラブルセンサの相互利用を進めて，ユーザー中心の視点と環境からの視点を統合した仕組みの検討を進めつつある．

図 4 車載機器の配置

図6

ビデオハンドオーバー：
位置情報とトラッキングによる要約

5. まとめ長時間記録データの処理の一つとして，ライフログに関するテーマを取り上げた．まずは，検索が大きな問題となる．ウエアラブルとユビキタスセンサの利用について述べ，我々の取り組み，今後の課題について紹介した．

図 5 車載映像のＧＰＳを併用した検索 左からクエリ画像，ＧＰＳのみでの検索，ＧＰＳと画像特徴を併用した検索4. ユビキタスによるライフログの取得と処理
ウエアラブルセンサに加えて，環境に埋め込まれたセンサの利用も現実味を帯びつつある．環境センサをコンテキストとして利用するための試みを始めており[8]，NICT（けいはんな）にて 2004 年に構築されたユビキタスホーム[1]でのデータ取得実験とその処理を進めた．
データ取得では，２ＬＤＫのユビキタスホームに 2 名の学生が 5 日間滞在し，その滞在期間中のデータを取得した．ウエアラブルのセンシングシステムも装着し，ユーザの内側からと外側（環境側）からのデータを取得している．
まず，環境センサとして，屋内に配置された２０台ほどのカメラ（各部屋には 4 台程度），及び 18cm 間隔で配置された床の圧力センサを用いた．従って，カメラのデータに対して，人や物の重みに０/1 で反応する床センサがコンテキストデータとして加わっている．
床データに対して以下の処理を行った，(1) 床データからのステップの検出(2) クラスタリングによる歩行とそれ以外の分類(3) 複数のユーザの歩行軌跡のセグメンテーション
この一連の処理により，映像データに対して動対象のタグ付けができる．なお，20 台余のカメラでは動対象が写っているものはわずかであり，人手での長時間の閲覧は困難である．
さらに，(1) 空間とカメラ群との対応付け(2) 動きを考慮したビデオハンドオーバー処理

謝辞 ユビキタスホームでの実験にご協力いただいた上田氏,山崎氏をはじめとするけいはんなＮＩＣＴの皆さんに感謝します．

参考文献[1] NICT ユビキタスホーム,
http://www.khnopenlab.jp/shisetsu/ubiquitous.html[2] 相澤、石島、椎名、ウエアラブル映像の構造化と要約：個人の主観を考慮した要約生成の試み、信学会論文誌 D-II、Vol.J86-D-II, No.6, pp.807-815, June 2003
[3] T.Hori, K.Aizawa, Context-based video retrieval system forthe life-log applications, ACM Multimedia Workshop
MIR2003, pp.31-38,Nov7.2003[4] 相澤，体験の情報処理、ライフログの取得と処理 (特別講演）電子情報通信学会 パターン認識メディア理解研究会
PRMU-2003-285, Mar.2004[5] K.Aizawa, T.Hori, S.Kawasaki, T.Ishikawa ， Capture andefficient retrieval of life log, Pervasive 2004 Workshop on
Memory and Sharing Experiences, pp.15-20, April 20, 2004
[6] K.Aizawa, S.Kawasaki, D.Tancharoen, T.Yamasaki, Efficient
retirieval of life log based on context and content, ACM
Multimedia Workshop on Continuous Archival of Personal
Experience 2004, pp.22-31[7] 石川，角谷，山﨑，相澤，GPS と画像特徴を用いた車載ライフログ映像処理，第一回デジタルコンテンツシンポジウム，
S2-7, May, 2005
[8] G.C.de Silva, T.Yamasaki, K.Aizawa, Video handover for
retrieval in a ubiquitous environment using floor sensor data,IEEE ICME 2005, July 2005

-2-