872

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月

特集

ユビキタスと VR特集 ■ユビキタスと VR

拡張記憶インタフェース
河野恭之

奈良先端科学技術大学院大学

KONO YASUYUKI

現」できることが理由であると考えられる [15]．人間の1．はじめに拡張記憶は，ユーザの日々の活動におけるコンテクス

五感のうち視覚と聴覚に対応する画像・映像及びオー

トを計算機が保持しておき，その一部を再現してユーザ

ディオ情報は，ホームビデオなどにより体験を記録すの想起活動を促すことで，ユーザ自身の記憶領域が拡張るものとして広く認知されているのに対し，残りの三したかのように感じられるような支援を行うという考え

感 ( 嗅覚，味覚，触覚 ) は他の感覚と独立したものでは方である [1][2]．拡張記憶インタフェースの実現に際しなく，多くの人にとっては視覚，聴覚情報に付随したては，計算機を身体に装着し常に動作させ，ユーザの日ものとなっている．記録された視覚・聴覚に属する体常活動を入力・記録すると共に，ユーザの置かれた様々験情報を再生すれば，それを閲覧した人が再生時のコな場所や時における状況を認識するために身体装着デンテクストにおいて再解釈を行い，含まれている多様バイスや環境中の様々なデバイスと連携するという意味な情報の中からエッセンスを抽出する．

で，ウェアラブルコンピューティングやユビキタスコン

体験の記録時，及び体験記録再生時における能動的なピューティングと親和性が高い．例えば Remembrance

ユーザオペレーションの必要性により，拡張記憶インタ

Agent1) は，ウェアラブル計算機環境を場所に関連してフェースの特性が異なると考えられる．表 1 にその分類記録しておき，次にその場所に来た際に環境を再現するを示し，以下でそれぞれの特性を論じる．能動とは，個々ことで，その場所で行っていた作業の継続を容易にするのユーザの体験を記録 ( を開始 ) する際，又は再生 ( を[1][3]．作業と関連づける場所情報の取得のために，環境開始 ) する際のトリガとしてユーザの能動的なオペレーに配置された IR ビーコンが用いられている．

ションが必要なもの ( 能動 ) と，インタフェース側が概ここ数年の計算機の小型化，マルチメディア処理能ね自動的に記録，再生を行うもの ( 受動 ) である．記録力の急速な進歩と環境整備に後押しされるように，画時の「受動」は，システム動作時は常時記録を行うと共像・映像やオーディオなどのマルチメディア情報を扱に検索のための自動インデックス付与を前提とするもの

うタイプの拡張記憶インタフェースの研究が増加傾向が多い．再生時にユーザが「受動」的であることを可能にあり，体験記録やその利用方法・技術に関するワーにするためには，記録されている特定の体験と現在の状クショップ等が積極的に開催されるようになってきて況とを結びつけるための状況把握機能が必要となる．

2)いる ．これは，カメラやマイクなどのメディア入力デバイスをユーザが装着すればユーザが「見た」り「聞表1いた」りした一人称情報が獲得・蓄積でき，そのデー

拡張記憶インタフェースの分類

タを再生することで比較的容易にユーザの体験を「再1)

http://www.remem.org/

2)

MSE2004(http://www.ii.ist.i.kyoto-u.ac.jp/ 〜 sumi/pervasive04/) や記録時（入力時）

CARPE2004(heep://research.microsoft.com/CARPE2004/) など

8能動受動

再生時

能動（a）

（b）

（出力時）

受動（c）

（d）

特集

ユビキタスと VRJVRSJ Vol.10 No.2 June, 2005

973(a) システムへの取り込み ( 記録時 ) も，再生開始のした出来事を思い出すために，ユーザがその場所に行くトリガもユーザが能動的に与える．システムの支援ことで拡張記憶要素を参照して内容を確認するという備は最小限となるが，ユーザ個々の目的・視点に応じて忘録的，すなわち表 1(c) 的な使い方である．あらかじ

様々な使い方ができ，適用範囲が広い．Time Machine

め整理されていない体験映像記録に対して，リアルタイ

Computing[4] が広い意味でこのカテゴリに分類される．

ムに得られている頭部装着カメラからの画像をクエリと(b) 常時獲得・記録されるユーザ体験を自動的に索引付して高速に検索できる手段を提供することは，体験時及けしておき，ユーザが明示的に与えたトリガに応じて体びその後の整理の際に重要視していなかった体験から情験記録の検索を行い提示する形式である．探し物や要約報を抽出するために必要と考えられる．我々は拡張記憶といった系統のアプリケーションと親和性が高い [5][6]．の高速な検索手段として，頭部装着カメラ映像の時間的，(c) 記録しておくべき体験 ( コンテンツ ) をユーザが与空間的遷移特性を利用した HySIM (Hybrid-Space ImageMatching) を提案している [9]．

えるとシステムがそれらを構造化し，その情報に基づき「提示するべき時」に「提示するべき体験」を提供する．

頭部装着カメラはユーザと共に空間移動するため，検リマインダ的なアプリケーションに向く．絵画などの対索クエリ画像と検索対象の体験映像記録の間には，頭部象物に関連づけられたビデオコンテンツを，対象物を見動作により類似度の増減を繰り返しながらゆるやかにトたときに再生する DyPERS など，AR/MR でよく見ら

3)

レンドが変化する時間的遷移特性，おおよそ同じ空間でれるアプリケーションがこのカテゴリに分類される [7]．

記録された映像が体験映像記録中には複数存在すると共(d) 記録も提示も自動的に行われる．ユーザの負担は最に類似画像が短い時間内に密集するという空間的遷移特小限となるが，少ないユーザ入力から有用な出力を得る性の二つがある．

必要があるため，適用場面やアプリケーションは限定さ

我々は，二つの特性が共に時系列・連続的に記録されれる．前述の Remembrance Agent がこのカテゴリとなる．

た一つの映像記録を介して関係を持つことから，この関

以下本稿では，上述の特性に合わせて筆者らが取り組係性を連結したままでこれらの特性を考慮すれば，大規んでいるいくつかの拡張記憶インタフェースを紹介する．

模映像記録からの高速な類似視点映像の検索を実現できると考えた．アイデアとしては，時間的特性による探索

2．Residual Memoryを行える空間と空間的特性による探索を行える空間の異Residual Memory は，常時獲得されるユーザ視点画像なる空間を二つ構成し，これらの空間を行き来しながらと既に蓄積された未編集の長大な体験映像記録との類似探索するものである．

性を判定し，類似性の高い映像区間を「ユーザの現在地3．I’m Here!

で過去に記録された映像」であると判断して検索結果とする，表 1(d) のタイプの拡張記憶インタフェースであ

現代人の日常生活環境には数多くの物が存在している．この際に (1) 頭部装着カメラは激しく運動するユー

る．人はそれらを利用することで，日常生活における様々ザの頭部動作の影響を受けるため，カメラ近辺に取り付なタスクを遂行している．前準備としての物探しタスク

けた加速度センサによりユーザの頭部運動を検出するとを遂行することに手間取り，物を利用したタスクを行う

共に，(2) ユーザ自身の手や走行中の自動車などは場所までに時間を浪費する場面は，人の日常生活で頻繁に発の類似性に無関係のため，映像中の運動領域を検出し，生する．一般のビジネスマンが物探しタスクのために浪それらの影響をキャンセルした形で類似度計算を行う方費する時間は 1 年間に 150 時間であると言われる [10]．

式を提案している [8]．

コンピュータの支援によってユーザが物探しタスクを効

このような検索方法を提供し，検索された映像区間を率的に行えるようになれば，ユーザは浪費していた時間提示することで，システムは 2 種類の利用形態をユーザを他の有意義なタスクに費やし，ユーザの日常生活がよに提供することができる．一つはユーザが来たことのあり豊かになると期待できる．

る場所に意識することなく再び訪れた際に，その場所で我々は表 1(b) のタイプの拡張記憶インタフェースとの拡張記憶要素を提示してその場所での思い出を想起さして，これまで物探しタスク支援を行うウェアラブルシせるという形態である． もう一つは，特定の場所で発生ステム I'm Here! を提案し構築してきた [11]．物探しタス
クには，自分自身が最後に置いた物を対象とする場合と，

3)

自分が置いた後で他人が移動させた物を対象とする場合〜

heep://research.microsoft.com/ nuria/dypers/dypers.htm

9

1074

特集

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月がある．我々は前者の物探しタスクに関する支援に着目������������������した．この場合，物探しが失敗する原因は，物を最後にユビキタスと VR������������������� �����

置いた場所を思い出すことができないという記憶活動エ��

ラーにある．人の視点に近い位置から撮影した視野映像を拡張記憶として蓄積・検索し，人の記憶活動を補強す���������
��������

るというアプローチは，日常生活における物探しタスク���� ������
����������

を支援するサービスに適している．
I'm Here! が支援の対象とする物 ( 対象物 ) は，人によって把持され移動される物 ( 把持物体 ) である．日常生活

図1において，把持物体の数は多い．人はそれらの物体を把I'm Here! のハードウェア構成持して頻繁に移動するので，把持物体は物探しの対象となることが多い．

れる．ユーザは，ジョグリモートコントローラを用いてI'm Here! は，ユーザの視野映像が撮影された時点のI'm Here! に指示を送り，頭部装着型ディスプレイによって I'm Here! から提示される情報を受け取る．

対象物の固有名を視野映像にインデックス情報として付加し，インデックス付きの視野映像を視野映像データ

図 2 に I'm Here! の機能フェーズを示す．I'm Here! のベースとして蓄積する．物探しタスクを支援する場面に機 能 フ ェ ー ズ は， 登 録 (Registration)， イ ン デ ク シ ン グ

おいて，I'm Here! は対象物の固有名をキーとして視野(Indexing)，検索 (Retrieval) のフェーズから構成されている．

映像データベースを検索し，対象物をユーザが最後に把登録 (Registration)：ユーザはこのフェーズで対象物を持した時点の視野映像をユーザに提示する．ユーザは映I'm Here! に登録する ( 図 2 A)．この時点でユーザに課さ像中の周辺情報から，対象物の置き場所を推測できる．

れる操作は，対象物を把持して目の前で回転させるとい

図 1 は I'm Here! の ハ ー ド ウ ェ ア 構 成 で あ る．I'm

う簡単なものであり，ユーザが対象物を利用するタスク

Here! が視野映像データベースを構築するためには，ユーのついでに気軽に行える．その後，ユーザは対象物に固ザの視野映像を撮影する機能と，対象物を認識する機能有名を入力する ( 図 2 B)．A において登録された対象物のが必要である．そのために，I'm Here! は頭部装着型カ

画像的な特徴は，B で入力された固有名と関連付けられ，メラを用いてユーザの視野映像を撮影し，視野映像に映I'm Here! の対象物 DB に格納される．

る対象物の見た目の画像に基づいて対象物を認識する．

インデクシング (Indexing)：I'm Here! は，登録のフェー

対象物を認識するための対象物データベースと視野映ズで構築された対象物 DB を利用し，日常生活を送る

像データベースは，ウェアラブルコンピュータに蓄積さユーザの視野映像に対して自動的にインデックスを付加���������������������������������������������������������������������������������������������������������������������������������������������� �������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

��������

図2������������������

I'm Here! の機能フェーズ

10�������������������������特集

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

1175

して視野映像 DB を構築する．ユーザは，このフェーズ
では I'm Here! に指示をする必要はない．
検索 (Retrieval)：ユーザは検索のフェーズを起動し，I'mHere! に登録された対象物の一覧から検索対象となる対象物の固有名を指定する．I'm Here! は対象物の固有名を検索キーとして視野映像 DB のインデックス情報を検(a) カラー画像索し，最後に対象物が把持された時点の視野映像をユー図4

ザに対して提示する．

(b) 抽出結果

ObjectCam2 による対象物画像抽出

I'm Here! がインデクシングのフェーズにおいて視野映像データベースを逐次構築するには，ユーザが把持して体験を思い出すトリガとなる機能を備えている [14]．

た対象物の画像を実時間で入手し，物体認識を行う必要

Ubiquitous Memories では対象物に「触れて」拡張記憶要がある．我々は，背景領域から対象物の画像を実時間素を「貼り付ける」というメタファを，この関連付けで抽出する機能を有する頭部装着型カメラ ObjectCam2の操作に採用している．このメタファを実現するためを開発した [12]．図 3 は装着状態の ObjectCam2 である．に，実世界対象には RFID タグが埋め込まれている / 貼

ObjectCam2 は， カ メ ラ 前 部り付けられているとし，ユーザは手首に小型 RFID タグから前方の環境へ向けて赤リーダを装着しているとする．ユーザはまた，拡張記憶外光を照射し，その反射光を要素を「貼り付ける」「コピーする」といった個々のコ

計 測 す る．ObjectCam2 は 赤マンドに対応するオペレーションタグと呼ばれる特別な外光源を明滅させ，消灯時にRFID タグをいくつか身に着けている．

図 3 ObjectCam2 装着外観はカラー画像を，点灯時には実世界対象を用いた拡張記憶整理操作の基本手順は下反射してくる赤外光を含むカ記の通りである．ある時，ユーザがある場の状況をそのラー画像を交互に撮影する．

場に存在する実世界対象 X に貼り付けようとしたとす

そ し て，ObjectCam2 は 消 灯る．その場合，ユーザはまず貼り付け操作に対応するオ

時と点灯時の画像の明度を差

ペレーションタグ ( 自分の身体 ) に触れる．次にユーザ分し，照射された赤外光の反は実世界対象 X に触れると X に埋め込まれ / 貼り付け射光のみを観測した画像 ( 反射赤外画像 ) を得る．

られている RFID タグの ID がリーダから読み込まれる．

I'm Here! は，ObjectCam2 を用いることでユーザ視点

ユーザの頭部装着カメラから得られた映像が拡張記憶とからのカラー画像と反射赤外画像を共に 30fps で得るこしてタグ ID と関連付けられ，実世界対象 X を管理するとができる．I'm Here! はそれらの画像を利用し，ユーサーバに無線 LAN 等のネットワーク経由でその拡張記ザが把持している対象物の画像を抽出する．反射光の輝憶が転送され蓄積される．

度が距離の二乗に反比例するという原理に基づいて反射

実世界対象 X に対応付けられた拡張記憶に参照しよ

赤外画像を二値化してマスクとして用いることで，I'mうとするユーザは，X に単純に触れると，同様にタグリー

Here! はカメラ，すなわちユーザの顔面からの距離が近ダが X のタグ ID を読み込む．システムは X を管理する

い領域 ( 近接領域 ) の画像を得ることができる ( 図 4)．近サーバに拡張記憶要素の転送を要求し，ダウンロードさ接領域画像からユーザの手領域を肌色に基づいて排除すれた拡張記憶要素がユーザの HMD に再生される．上記

ることで，I'm Here! はユーザが把持している対象物ののような実世界対象に「触れる」という単純な操作構成カラー画像・反射赤外画像を得る．I'm Here! はこれらにより，拡張記憶の整理と参照が可能となっている．の画像を用いて，対象物の認識を行う．

検索された拡張記憶要素の再生中に上記の貼り付け操作が行われると，再生中の拡張記憶要素が貼り付け操作

4．Ubiquitous Memoriesの対象となる．これにより，ユーザはある実世界対象とUbiquitous Memories は，ユーザが記憶を整理するため一旦関連付けた拡張記憶要素を再整理することが可能とに拡張記憶の各要素を実世界に遍在する物理的対象となる．また，本システムのユーザは他のユーザが貼り付関連付ける機能を提供する，表 1(a) のタイプの拡張記

けた拡張記憶要素を参照することができ，これにより拡憶インタフェースである [13]． 実世界物体は，人にとっ張記憶の共有が実現されている．

11

1276

特集

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月

ユビキタスと VR

Ubiquitous Memories は既に述べたように，記録・再生

on Memory and Sharing of Experiences, pp.15-20 (Apr.2004)のどちらの時点においてもユーザの能動的な操作を要す[7]B.Schiele, T.Jebara, N.Oliver:Sensory Augmented

る表 1(a) のタイプのインタフェースである．このため，Computing: Wearing the Museum's Guide. IEEE Micro

ユーザの体験と体験に関連づけられる対象物の選択と意

Journal (2001)

味付けはユーザに任されており，例えばユーザにとって[8] 河村，河野，木戸出：運動情報を考慮した類似映像

重要なイベントの体験を長期間関連付けておくなどのアの検索〜着用指向情報パートナーにおけるユーザの記ルバム的な使用方法 [14] から，一時的なメモ代わりの憶想起支援に向けて〜．人工知能学会全国大会論文集，
3E1-02 (2001)

使い方まで種々のアプリケーションが考えられる．

[9]T.Kawamura, N.Ukita, Y.Kono, M.Kidode. HySIM:AHybrid-space Image Matching Method for High Speed

5．まとめ

Location-based Video Retrieval on a Wearable Computer.

本稿では，ユーザの過去に属する体験記録を蓄積しProc. MVA2002, pp.94-97 (Dec.2002)てそのユーザの記憶を外化し，それを場面に応じて検索し提示することで体験想起を支援する拡張記憶インタ[10]L.Davenport. Order from Chaos. Three Rivers Press, NY,

フェースについて，インタフェースを設計する際の観2001. ( 平石訳．気がつくと机がぐちゃぐちゃになって点を整理し，我々の取り組みを紹介した．人の記憶活動いるあなたへ．草思社 (2002) )は多岐にわたっており，本稿で紹介した以外にも種々の[11] 上岡，河村，河野，木戸出：I’m Here!: 物探しを適用場面を想定した拡張記憶インタフェースの提案が待効率化するウェアラブルシステム，ヒューマンインタ
フェース学会論文誌，Vol.6, No.3, pp.19-30 (2004)

たれる．しかしながら，既に述べたようにユーザが受動的にサービスを受けられるようにしようとすればするほ[12] 上岡，河村，馬場，吉村，河野，木戸出：日常生活

ど，開発した技術の適用範囲が狭くなる傾向にある．我々における記憶活動支援のためのウェアラブルカラーカ

は現在，一般化可能な想起パターンの洗い出しのため

メラ．情報処理学会インタラクション 2005 (Feb.2005)に，既に蓄積された体験記録データを体験の種類と想起[13] 河村，福原，村田，武田，河野，木戸出：対象物に『触パターンの観点から分類・分析を行っている．これによれる』行為と記憶の遍在化による日常記憶支援．電子り，より適用範囲が広くかつユーザ負担の少ない拡張記

情報通信学会論文誌，Vol.J-88-D-I (2005)[14]E . v. d . H o v e n , B . E g g e n . Ta n g i b l e C o m p u t i n g i n

憶インタフェースのデザイン，開発を目指している．

Everyday Life: Extending Current Frameworks for
参考文献

Tangible UserInterfaces with Personal Objects. Proc.

[1]B.Rhodes.The Wearable Remembrance Agent: a System

EUSAI 2004, Netherlands (2004)

for Augmented Memory. Proc. 1st International Symposium[15]J.Gemmell, L.Williams, K.Wood, G.Bell,R.Lueder.

on Wearable Computers (ISWC97), pp.123-128 (1997)

Passive Capture and Ensuing Issues for a Personal[2]M.Lamming, M.Flynn.Forget-me-not:Intimate Computing

Lifetime Store. Proc.CARPE2004, pp.48-55 (2004) http://in Support of Human Memory. Proc. FRIENDS21:

research.microsoft.com/barc/mediapresence MyLifeBits.aspx

International Symposium on Next Generation HumanInterface, pp.125-128 (1994)【略歴】[3]B.Rhodes. Using Physical Context for Just-in-Time Information

河野恭之（KONO Yasuyuki）

Retrieval. IEEE Trans. Computers, Vol.52, No.8, pp.1011-1014

奈良先端科学技術大学院大学(2003)

1989 年大阪大学基礎工学部情報工学科卒．1994 年同大情報科学研究科助教授[4] 暦本 . Time-Machine Computing: 時間指向ユーザイン

大学院基礎工学研究科博士課程了．同年 ( 株 ) 東芝入社．

タフェースの提案，ソフトウェア科学会 WISS99 論文

同社関西研究所研究主務などを経て，2000 年より現職．

集，近代科学社 (1999)

知的 CAI，マルチモーダル理解，音声対話インタフェー[5] 長崎 , 戸田 , 川嶋：日常生活における行動記録映像

ス，ウェアラブルインタフェースの研究に従事．情報処の構造化，信学技報 PRMU，pp.109-114 (Dec.2002)

理学会，人工知能学会，ヒューマンインタフェース学会，[6]K.Aizawa, T.Hori, S.Kawasaki, T.Ishikawa.Capture and

電子情報通信学会，認知科学会，IEEE-CS，ACM 各会員．

efficient retrieval of life log. Proc. Pervasive 2004 Workshop

博士 ( 工学 )．

12