The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3A3-05

視点映像による記憶支援と情報アクセス
Computer-Assisted Human Memory Support and Information Access
川嶋 稔夫

長崎 健

戸田 真志

Toshio Kawashima

Takeshi Nagasaki

Masashi Toda

公立はこだて未来大学
Future University–Hakodate

In this paper we describe a project that develops a wearable episode recording system using head worn camera.
The wearable system captures and stores snapshot images of episodes from user’s viewpoint based on computer
vision technology. Episode images can be accessed with PDA to recall user’s memory. We also discuss the systemfrom the view point of information access.

1.

はじめにユーザ視点の映像を自動記録して利用するためには，映像記録自体あるいは他のセンサから得られたシーンに関する付加情報をもとに，”重要” な部分あるいはそのスナップショットを切り出すことが必要であると考えた．また，累積してゆく記録をユーザにどう見せるかも課題であった (図 1)．

我々の研究グループは映像による体験記憶とその記憶想起支援への応用に関する研究を約 10 年前に開始し，いくつかの実験システムを構築した．その中では，ユーザが携帯型の計算機を装着しユーザ自身の視点からの映像をセンサ情報とともに記録する手法をとった．これらの研究では，日常生活のなかで撮影された画像処理技術を扱う技術が検討課題になると同時に，抽出された体験記録をユーザに対して有用な情報として提供することが可能であるかどうかも重要な点であった．ここでは，我々が行ってきた映像による体験記録の研究についてふり返るとともに，情報アクセスとの関連性について考えてみたい．

2.

3.

視点映像記録による記憶想起支援の研究

記憶想起支援のできる活動範囲の制約を少なくするために，当初より携帯型のシステムが必須であると考え，カメラと PCを背負う形態をとっていた．この形態は，その後ウェアラブルPC とよばれる形態に近いものであった．

3.1

研究の背景

視点映像の記録と分析・蓄積

大学の校舎内での利用を前提に，図 2 のような研究用システムを構築し，実験を行った．このシステムは 3 か月分の装着者の視点映像を 15frame/sec で記録することができるものであり，画像特徴を計算する処理を行いながらすべて蓄積し，あとで比較, 検索に利用することができる．

体験や思考を”思い出す”想起 (recall) という過程は，覚える過程である”記憶 (memory)”とは区別して扱われている．これは，あることを覚えていても思い出せないことがあることから，理解できることであろう．このことから，記憶を想起するためには映像など想起のきっかけがあれば有効であろうと考え，1994 年に視点映像による記憶想起支援の研究をスタートした．中心は，本人が記憶している内容を想起するためのきっかけとなる情報を自動的に収集し，ユーザ自身にフィードバックするという点にあった [1][2]．

Head-mounted video camera:
Diameter 10mm
Wireless LAN

File serverUsing computer

Viewpoint
image

Processing
computerProcessing
computer

Collect

Wearable PC

Conversation

Wireless LAN

Storage
DocumentTake

図 2: 実験システム．ウェアラブルシステム上からサーバへ映像を送って処理を行い，PDA で結果をブラウズする．

Recording episodes using images
Show episode
Supportremembrance

抽出する情報のなかで重要なものが場所の情報であり，局所的特徴点に基づいて比較する方式を利用している [3]．一般的に，ユーザ視点の映像はおおよそ注視点の方向をみているにすぎず，検索は画像のある程度の範囲が一致していれば同じ場所であると判断しなければいけない．このため，局所的特徴点による手法は有効であった．

図 1: 体験を視点映像として蓄積し，記憶想起支援に利用する．

連絡先: 川嶋稔夫，公立はこだて未来大学システム情報科学部，
北海道函館市亀田中野町 116-2，kawasima@fun.ac.jp1

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
場所の同定ができることで，日常生活を活動の場所に基づいて区分することが可能になり，さらに簡単な動作とその対象の検出を行うことで，その場所での動作，対象を付加することができる．

3.2

HOMEOTHER PLACES
Picked up a key
from keybox

LOCATION1抽出された体験映像を提示するしくみ

Action 1

つぎに収集された行動（あるいは体験）の分析に基づいて，体験履歴情報を提示する二種類の方法について検討を行った．

Went to kitchen

LOCATION2

Action 2◦ 時刻や行為，場所によるアクセス方式： シーンをすべてブラウズして探すことには限界があるので，比較的得られやすい項目で整理したうえでブラウズすることが探索には有効である．この方法は Lamming らの”Forget-me-not”の中でアイコンなどを利用して実現されたものに近い [4]．図 3 はその例で，最初に場所で探した後，気になる動作が見つかると動作で並べ替えてアクセスしている．

Same PlaceSame Action

LOCATION3

Action 3

LOCATION1

Return the keyto keybox

図 4: エピソードのスナップショットをホームポジションに基づいて整理して表示した例．この例のホームは教授室．

Same Action

ROOM1

ROOM1

ROOM2

ROOM3

ACTION1ACTION2ACTION2ACTION2

図 3: 体験記録のアクセスの例．アクセスのための項目（時間，場所など）で整理し，スナップショットから想起のヒントが得られたら方針を切り替えることができる．

図 5: 画像による位置決めを利用した実世界アノテーションのシステム [5]．場所はその場で登録する．

5.

◦ 場所にもとづいて整理要約する提示方式： 一連の動作をそれが行われた場所ごとに分類し，ホームポジションからの移動としてレイアウトを整理して表示する．大半の行動がある場所を中心にして行われ，そこから他の場所への移動の繰り返しであるようなケースには効果的に構造化される (図 4)．

まとめと今後記憶想起支援のインタフェースと実世界アノテーションはつながりの深いテーマである．しかしながら，実世界を記憶の場と選ぶことはユーザ自身の空間的記憶との二重の場を持つことになり不便な側面も存在する．現在，体験した映像記録を利用して実世界を仮想化することについて検討している．

効果的に体験された視点映像を利用する仕組みは確立していない．これは視点映像の解釈がユーザの文脈に依存するものであるからと考えられる．しかし，文脈情報は携帯電話や情報家電，屋内位置ぎめなどに関する技術の高度化とともに，収集可能になっていくと予想している．

4.

Went to print room
to make photocopy
where met MAN1

参考文献
[1] T.Kawashima, K. Yoshikawa, K. Hayashi, Y. Aoki,
Situation-based Selective Video-Recording System forMemory Aid, IEEE Proc. of Int. Conf. on Image Processing,III, 835-838, (1996)

体験の記録から情報のアクセスへ[2] T.Kawashima, T. Nagasaki, M. Toda, S. Morita, Information Summary Mechanism for Episode Recording to Support Himan Activity, Int. Workshop on Pattern Recoginition and Understanding for Visual Information Media, 4956, (2002)

これまで述べたような研究の流れを通じて，体験の記録を想起等に利用することが，情報へのアクセスの研究ときわめて密接な関係があることが明らかになってきた．すなわち，大量の未整理な情報 (ここでは視点映像記録) にどのようにしてそれにアクセスするのかという問題である．これらに対する一つの解が，それらの情報が得られたのと同様の文脈を用意し，その文脈にそって直感的な形式で提供する方法であろう．
文脈には，時間，空間，行動などがあり，それらを計算機上に構築したものが前節の例で，これを実世界に構成したものが実世界アノテーションといえる．すでに，我々は北大田中らのグループと共同で実世界関係アノテーションを実現するシステムを前述の技術を応用して作成した (図 5)[5]．このように，実世界には効果的に文脈を与える機能があり，記憶想起のためのインタフェースとして期待できる．

[3] 寺沢憲吾, 長崎健, 川嶋稔夫, スケールに依存しない局所特徴量の誤差評価と画像検索への適用, 電子情報通信学会論文誌 D-II,（採録決定）[4] Mik Lamming et al., The Design of a Human Memory Prosthesis, The Computer Journal, 37, 3, pp. 153-163, (1994)[5] 藤間淳, 長崎健, 川嶋稔夫, 田中譲, 局所特徴量を用いた画像認識による実世界オブジェクトに対する関係アノテーションシステ
ムの構築, 画像の認識・理解シンポジウム論文集, pp. I143-144,(2004)2