実世界で遍在化された記憶を共有するためのウェアラブルシステム
河村竜幸 † , 福原知宏 † , 武田英明 † †† , 河野恭之 †, 木戸出正継 ††
奈良先端科学技術大学院大学 情報科学研究科, †† 国立情報学研究所

1

はじめに

本研究の目標は「記憶を実世界に貼り付ける -Digital Nostalgia- 」の実現である．計算機の小型化，記憶容量の増大，情報インフラの普及により，実世界の日常生活を対象とした記憶支援が現実味を帯びてきた．今後，これらの技術が促進・統合されてゆくことで，日常生活で獲得された情報が実空間の拘束を受けることなく共有され，利用者の日常生活に役立てられてゆくことが期待できる．
我々は，これまでに Ubiquitous Memories [1] というコンセプトを提案し，“いつ”，“どこで”，“どう”，の用途を特定せずに記憶想起をサポートするシステムを開発してきた．
本システムでは，実世界の対象（人，物：コップ，椅子，壁etc.）と出来事（コーヒーを飲む，ポスターを貼る etc.）を関連付ける基本性能を持ち，それを用いて利用者は電子的に実世界の対象に記憶を貼り付けることができる．そして，その貼り付けられた記憶は人間の記憶のように変質することはない．本研究では，利用者視点からの映像を「記憶」として記録することとする．そして，人間の自然な行為である “触れる”ことで，利用者視点からの映像を対象に関連付け，また，対象に関連付けられた映像を再生することで，システムは利用者の記憶想起を支援する．さらに，利用者同士は対象を介して，他者との記憶共有を支援する．
本稿では，記憶を貼り付けるという行為を基礎として，利用者間の記憶共有と対象間の記憶共有という２種類の記憶共有について考える．利用者間の記憶共有では，利用者は，他者がある対象に関してどのような体験をしたのかを映像を介して具体的に知ることができる．この記憶共有は，他者に対して伝達しにくい個人体験の参照を可能とし，他者とのコミュニケーションを促進する可能性を持つ．対象間の記憶共有では，利用者は，複数の対象で共通した記憶を空間的距離な拘束を受けずに参照することができる．この記憶共有は，物理的・空間的拘束を受けない記憶の関連付けを可能とし，人と物との新たなインタラクションを促進する可能性を持つ．

2

偏在化された記憶の共有

人は，ある対象を見たり，触れたりするときに，以前にその対象と関わってきた体験が思い出されることがある．このような事象は，人が対象に記憶を貼り付け，また，対象から記憶を引き出す，というプロセスに抽象化できると考えられる．人が対象に記憶を貼り付けるときは，その人と対象が一緒に何かしらの出来事に関わったときであると考えられる．
本研究では，関係を見出したあらゆる対象へ記憶を貼り付けるという行為により，その人の記憶想起を支援するという Ubiquitous Memories のコンセプトが実現できると考えている．我々は，このような記憶の貼り付けの積み重ねにより Digital Nostalgia が実現されることを期待している．
A Wearable System for Sharing Ubiquitous Memories in the RealWorld
Tatsuyuki Kawamura† , Tomohiro Fukuhara †, Hideaki Takeda † †† ,Yasuyuki Kono† and Masatsugu Kidode †† Graduate School of Information Science, Nara Institute of Scienceand Technology†† National Institute of Infomatics{tatsu-k, tomohi-f}@is.aist-nara.ac.jp, takeda@nii.ac.jp,{kono, kidode}@is.aist-nara.ac.jp

2.1

対象間の記憶共有

出来事には，単一もしくは複数の対象が関係を持つ．また，出来事に関係しない場合であっても，人間の概念分類により人や物が関連付けられる．例えば，バットを見ても，ボールを見ても，その人が野球部に在籍していた頃の出来事を思い出せることがある．しかし，このような関連付けは非明示的なものであり，他者がどのように対象を関連付けているかを認識することは困難である．本稿では，UbiquitousMemories システムで利用しているタグ情報を関係する対象間で共通化することで，対象間の記憶共有を行う．対象間の記憶共有を実現するには，大きく分けて 2 つの方法がある．
1 つは静的な対象間の記憶共有法である．静的な記憶共有法
は，記憶を貼り付けるより以前に，あらかじめ，対象間で記憶を共有するかどうかを決定するものである．例えば，野球のボールとバットの間で静的な記憶共有を行った場合，ボールに触れることで貼り付けられた記憶は，そのままバットに触れることで参照することができる．この記憶共有法は，記憶を共有する対象の選択が最初の 1 回だけで良いという利点を持つ．もう 1 つは動的な対象間の記憶共有法である．
動的な記憶共有法は，記憶を貼り付ける時ごとに，記憶を共有する対象を選択するものである．例えば，野球のボールに記憶を貼り付ける．その後，記憶共有がされていない対象であるグローブと記憶共有を行う．この記憶共有法は，貼り付ける記憶ごとに共有したい対象を選択することができるという利点を持つ．本稿では，まず，静的な記憶共有法について実装を行う．

2.2

利用者間の記憶共有

図 1: 言語だけの情報伝達（左）と共有可能なメディアを介した記憶の直示表現を付加した情報伝達（右）人は，他者との関係から，個人が体験するよりも多くの知識を獲得することができる．さらに，他者と共同して問題を考えることで，問題解決の効率が良くなる場合がある．
高取 [2] は，特に記憶過程におけるコミュニケーションの効果について実験を行い，コミュニケーションを用いた記憶想起は個人に閉じた想起を行うよりも想起の効果が高いという結果を得ている．このことから，本稿では，コミュニケーションによる記憶想起をサポートすることに着目した．
他者とのコミュニケーションでは，お互いの文脈を一致させることが重要である．特に，自己の体験について，その体験を共有しない他者と会話をする場合，言語や身振りによって情報伝達を行う必要がある．しかし，言語を伝達の主体とした場合は，伝達されるものは体験そのものではなく，その要約情報となってしまうため，たびたび相手が内容を誤解する場面に遭遇する．記憶を誤解なく他者に伝えるためには，記憶を他者に直示できる手段が必要になる．これに対し，要約された言語情報と要約されていない共有可能な記憶の直示を利用すれば，会話者の間でより円滑なコミュニケーションが期待できる（図 1）．ここでいう記憶の直示は映像などのメディアを利用することを指し，この記憶の直示を適切なときに行えることが必要となる．本稿では，既存の Ubiquitous Memories から，Web のネットワークを利用することで，他者が貼り付けた記憶を参照することができる枠組みへと機能を拡張した．

3

構成と処理の流れ

本稿では，利用者が計算機を装着するウェアラブルコンピュータと，対象と関連付けられた出来事の情報を格納するためのサーバを用意した．ウェアラブルコンピュータに使用した装置は演算用のノート PC，映像出力用の HMD（Headmounted Display），映像入力用の小型カメラ，および手袋に組み込まれた RFID（Radio Frequency Identification）小型タグリーダ/ライタによって構成される．サーバにはデス
クトップ PC を用いた．これらの計算機は共にネットワークを介してデータのやりとりを行うことができる．
図 2 に示すように，小型カメラからの画像は PC に取り込まれ，現在の映像はビデオシースルー型 HMD にそのまま投影される（図 2 右上）．本システムでは，利用者から対象に関連付けられた映像の再生要求があった場合，ディスプレイ中の一部に関連付けられた映像が再生される（図 2 右下）．RFID タグリーダ/ライタは，利用者が対象に触れた時，対象に貼り付けられたタグの ID と内容を読み込む．

状態を再生モードから記録モードへと変更する（I）この状
態で，利用者が記憶を関連付けたい対象に手袋で触れると，その対象のタグ情報がタグリーダで読み取られる（II）．シ
ステムはタグに書き込まれた情報を読み込むと同時に，小型カメラから視点映像を取り込む (III）．その後，システムはタグの情報を元に映像を格納するためのサーバを特定し，取り込まれた映像をサーバに格納する（IV）．利用者が対象に関連付けられた映像を参照したくなったとする．システ
ムの平時状態は再生モードであるため，利用者は参照したい対象に触れることで，すぐに，その対象のタグ情報をタグリーダで読み取ることができる（V）．システムはタグから取得すべき映像が格納されているサーバを特定し，映像を取得する（VI）．そして，取得した映像を利用者の HMDに提示する（VII）．本システムには，場所に関する記憶想起を支援するシステム [3] が組み込まれており，利用者がその時点で見ている視点映像だけでなく，過去にその場所で起きた出来事の視点映像も対象と関連付けることができる．
こにれより，以前は気に止めていなかった出来事の重要性をその後利用者が認識するような場合から，発生時から重要であると考えている場合までを網羅的に扱うことが可能となる．
対象間の記憶共有には静的な記憶共有法を用いる．具体的には，対象に貼り付けられたタグの情報を記憶共有したい対象間で同一にしておく．これは，記憶を格納するためのサーバーを特定する情報を対象間で同一にしておくためである．これにより，場所や対象に関わらず，対象間で同じ記憶にアクセスすることが可能になる．利用者にとっては，どちらの対象から記憶を貼り付けても，参照しても，同じ記憶として扱うことができる．

4

おわりに

本稿では「記憶を実世界に貼り付ける -Digital Nostalgia- 」の実現を目指した一環として，利用者間の記憶共有と対象間の記憶共有が可能なシステム構成を提案した．今後は，対象間の静的な記憶共有と動的な記憶共有が共存可能なシステム構成について検討してゆく予定である．

謝辞
図 2: 利用者がシステムを装置し，RFID タグリーダを介して対象に触れることで，対象に関連付けられた記憶を参照している（左），対象に触れる（右上），関連付けられた映像が再生される（右下）

本研究の一部は，科学技術振興事業団（JST) の戦略的基礎研究推進事業（CREST)「高度メディア社会の生活情報技術」プログラムによる．

参考文献[1] 福原 知宏, 河村 竜幸, 松本 文宏, 高橋 徹, 寺田 和憲, 松塚 健, 武田 英明. Ubiquitous memories:実世界の物理的オブジェクトを用いた記憶外在化システム. 第 15 回人工知能学会全国大会, 2001.
[2] 高取 憲一郎. 記憶過程におけるコミュニケーションの役割-個人再生と共同再生の比較研究-. 教育心理学, Vol.
28, pp. 108–112, 1980.

図 3: 利用者間の記憶共有を可能とするシステム構成
図 3 では，利用者の記憶共有を可能とする，操作手順を示している．システムが取り得る状態には，再生モード・記録モードがある．平時には，システムは再生モードを維持しているものとする．利用者は，自分の体の特定部位（腰など）にある記録モードタグに触れることで，システムの[3] T. Kawamura, Y. Kono, and M. Kidode. A novel
video retrieval method to support a user’s recollctionof past events aiming for wearable information playing. In Proc. of The Second IEEE Pacific-Rim Conference on Multimedia (PCM2001), pp. 24–31, Springer
LNCS2195, 2001.