実世界対象物とのインタラクションによる体験映像の整理
Interactions for Associating Real World Objects with Video Data of Experience河村竜幸 † , 福原知宏 † ，武田英明 ‡ ，河野恭之 † , 木戸出正継 †（ † 奈良先端科学技術大学院大学 情報科学研究科/‡ 国立情報学研究所）

1

はじめに

我々は，自らの体験を記録した映像（ 体験映像）を実世界の対象物と直接関連付けることが可能であり，かつ，その対象物から直接参照可能な枠組み Ubiquitous Memories を提案し，システムの開発を行ってきた [1]．我々の日常生活を情報技術により豊かにしようとする研究は多い．近年では，ウェアラブルコンピューティングの技術により，情報生活の拡張を試みた研究が行われている [2]．また，実世界の日常生活を拡張しようとする試みにおいて，日常生活の重要な要素である記憶活動に着目して，その支援を実現させようとしている研究がある [3, 4]．本研究は，実世界に存在する対象物に着目し ，人の記憶活動における体験の整理に重心を置いたものである．
実世界に存在する対象物と直接インタラクションすることで体験映像を外化し 整理するという本研究で注目している行為が持つ特性を，従来の記憶外在化手法と比較するために，本研究では 4 つの記憶条件（ メディア属性）について比較実験を行った． 1) 暗記による条件，2) 関連付ける体験の特徴を自らが記録する条件，3) 体験する内容がすでに整理されているという提案方法による条件，4) 実世界の対象物と体験映像を 1 対 1 で関連付ける条件である．実験結果から，
Ubiquitous Memoris は体験中の文脈をバランス良く扱うことで，体験中の文脈に関する記憶保持能力を強化していることが確認できた．

2

Ubiquitous Memories

人は馴染みの深い対象物に注目することで記憶を想起できる．小学生の時に徒競走で一等になったトロフィーを見てその時の記憶を思い出す．高校で野球部に所属していた時のバットを見てその時の記憶を思い出す．しかし ，その想起した記憶は曖昧であり，時として全く思い出せなくなることもある．このような体験は写真やビデオテープのようなメディアで記録する方法で残されてきたが，反面，これらの方法は “トロフィー” と “ビデオテープ ” のように想起のきっかけを作る対象物と体験を記録したメデ ィアとの乖離を生み出している．
本研究の Ubiquitous Memoreis は，実世界に存在する対象物に着目し，体験映像を実世界で直接整理可能にするためのインタフェースとして，その対象物自身を利用した枠組みである．
本システムは，各ユーザが装着するウェアラブルコンピュータと，映像を蓄積するためのサーバコンピュータで構成される．これらは無線 LAN により接続可能である．ユーザは CCD カメラがついたHMD（ Head-Mounted Display ）を装着する．頭部に装着されたカメラによりユーザの体験映像を記録することが可能である．HMD により体験映像をユーザに提示することで，ユーザは映像に関連する記憶を想起する．ユーザは手首/手袋内に小型 RFID(Redio FrequencyIDentification) タグ リーダを装着する．RFID タグは対象物と実世界でインタラクションすることで体験映像を整理するために，対象物に貼り付けられたり，埋め込まれる．と，リーダが対象物のタグ ID を読み込む．システムは対象物を管理するサーバに体験映像の転送を要求し (VI)，ダウンロード された体
験映像がユーザの HMD 上で再生される (VII)．

3

対象物を介した体験の整理

3.1

体験と対象物との関連付けと想起ある対象物が特定の体験と関係する時，人はその対象物と体験を関連付けて覚える．これは，対象物が特定の体験の一部に関わりを持った文脈として覚えこむことで，記憶想起時には文脈（この場合は対象物）を頼りにして体験を思い出そうとする一般的な現象である．

図 2: 対象物に関する体験の二段階想起
図 2 は，対象物と体験が関わりを持つときに，人が体験を想起する手順を示している．人がある対象物に注目する (I) と，その対象物が持つ概念的・機能的意味として持ちうる可能性の中から人が注目している範囲について候補を選択し (II)，人に認知させる (III)．次に，その対象物が持つ意味の認知を元にして，対象物が関連したであろう体験に注意を向ける (IV)．対象物に関係し うる可能性の中から人が注目している範囲について候補を選択し (V)，人に体験を想起させる (VI)．文脈に関係ない体験を対象物と関連付け覚えようとしても，(IV) の候補選択時に失敗することは図によって説明可能である．体験想起プロセス (V) において範囲を選択可能となるためには，対象物が特定体験中で注目されることで文脈の一部として取り込まれるという過程が必要となる．
直感的ではあるが，人がある体験を抽象的に想起しているときに，どの対象物が関係していたかを思い出す過程を同図によって説明可能である．ある体験を抽象的に思い出している時 (VI)，その体験が想起可能な選択候補を (V) 逆写像し ，その範囲を注意可能な意味を探索する (IV)．探索された意味群から，その意味を認知可能な対象物を探索する (III)．ただし ，この逆想起を行う場合は注意可能な意味を探索する時点で解候補が多くなり，適切な対象物が解候補として選択されない可能性を持つ．
提案システムの利用を考えると，以下のようにして扱うことになる．人が対象物と体験との間に関係を見出した時，体験映像を対象物で直接整理する．対象物に注目して曖昧な体験を想起した時，対象物と直接インタラクションすることでより鮮明な体験映像を参照できる．また，ある曖昧な体験を思い出したとき，その体験と関係した対象物自身を探すことでより鮮明な体験映像を参照できる．

3.2

実世界における体験整理方法

図 1: Ubiquitous Memories システムの操作概要
体験映像の整理・参照手順を図 1 に示す．ユーザはシステムに体験映像を整理する旨を伝える (I)．次にユーザは対象物に触れる (II)と対象物に埋め込まれ /貼り付けられている RFID タグの ID がリーダから読み込まれる．ユーザの頭部装着カメラから得られた体験映像がタグ ID と関連付けられ (III)，対象物を管理するサーバにネットワーク経由でその体験映像が転送される (IV)．特定の対象物に整理された体験映像を参照しようとするユーザは，対象物に触れる (V)

図 3: 暗記，メモ，アルバムと提案手法
図 3 は提案システムを含む，実世界における体験整理方法について例示している．提案手法との比較のために，暗記・メモ・アルバムという異なるメディア属性による整理方法を説明する．暗記は脳内のみで記憶するため，非常に膨大な記憶に対して直接アクセスすることが可能である反面，記憶が曖昧になったり，忘れてしまうと言った欠点を持つ．これに対し，メモは体験を手軽に抽象的な情報として外化することで，重要な情報を安定して保持することが可能である．アルバムはメモと比較してより具体的な情報として記録可能であり，ある体験における多視点の解釈を行うには優れた体験の整理方法である．
提案手法は対象物を利用して体験映像を直接整理できるため，アルバムのように具体的なメディアを提示できる機能を持ち，かつ，再剥離式の付箋紙（例えば，ポストイット ）のように直接的な情報整理の手軽さを有した機能と持つ．このことから，提案システムは少なくともアルバムと似た特性を持つことが予想される．さらに，提案システム
では体験映像を対象物により直接整理することから，アルバムより体験映像を整理する方法として優れていることが予想される．

4方法

記憶材料は，10 個の実空間にある対象物，10 枚の顔写真（ 以後，写真），写真の四隅のいずれか（左上，右上，左下，右下）を選択する行動と 1 から 10 までの 2 枚のトランプの組（順不同）で構成される．実験は実験室で行い，被験者には最初に 10 種類のオブジェクトと写真の組が順に与えられる．次に，被験者は各組に対して写真の 4角のいずれかを選択する（以後，行動）．オブジェクトと写真と行動との組み合わせにより，フィード バックキーワード（以後，キーワード ）として 1 組のトランプの組み合わせが決定され，被験者に与えられる．本実験では，この一連の流れを記憶試行における文脈と呼ぶことにする．被験者は各試行に対して，オブジェクト，写真，行動，キーワード の全てを記憶してもらう．この一連の動作を記憶試行と呼ぶ．10 回の記憶試行と 1 回の再生試行（後述）で実験が構成される．
1 回の実験において被験者は以下の条件（ メディア属性）のいずれか割り振られる．
条件 1 : 何も用いず，被験者は頭の中だけで記憶（暗記）条件 2 : 記憶試行中に参照した写真の顔特徴のみを筆記で記録し，再生試行時に参照可能（ メモ）条件 3 : 記憶思考中は暗記するだけだが，記憶試行中に参照した 10組の写真リストが再生試行時に参照可能（アルバム）
条件 4 : 記憶試行中は暗記するだけだが，再生試行時に提案システムを利用し ，被験者はオブジェクトに触れることで組となっていた写真を参照可能（提案方法）
被験者がキーワード を参照可能な時間は 30 秒とした．30 秒経過
した後にキーワードは回収され，次の記憶試行へと移ってゆく．全ての記憶試行が終了したら被験者は別室へと移動し，再生試行が行われる．記録用紙と 40 人の写真に番号が割り振られたリストが与えられる．被験者は筆記で，写真の番号の記入，行動の選択，キーワードである数字の組の記入という 3 つの項目について再生させた．ただし ，記入用紙には記憶試行時と異なる順番でオブジェクトの写真が並んでいる．解答は順不同で，解答時間は 10 分とした．
被験者は 24 名（女性 2 名，男性 22 名）であった．被験者を実験タイプにより 4 グループに等分した．それぞれの実験タイプにより実験は 2 種類行われ，条件 1 の後に条件 3 の組，条件 3 の後に条件1 の組，条件 2 の後に条件 4 の組，条件 4 の後に条件 2 の組に振り分けられた．

4.2

表 1: F 流量モデルにおける各経路流量の割合
of
op*
ob
pf
pb
bf†

体験整理の比較実験と評価

本実験では，記憶保持に使用するメディア属性の違いによる再生される文脈の量と内容の変化を調査した．これにより，提案するシステムが他のメディア属性と比較して持つ性質の違いを分析することが目的である．

4.1

ワード ）上を流れる仮想流体と考えた．その仮想流体がどの再生経路をどれだけの流量で流れるかを知ることで，各条件がキーワード を再生するときに，どのような方法を取っているかを調べることが可能である．P を経由する流れは写真を再生できたことを意味する．その他，B を経由する流れは行動を再生できたことを意味し ，F はキーワードを再生できたことを意味する．小文字で表された，op，ob，of，pb，pf，bf は，その経路上の流量である．O から F に至る全流量は100%である．

結果

条件１15.0%
78.9%
6.1%
49.8%
29.2%
35.2%

条件２8.2%
89.0%
2.8%
50.7%
38.3%
41.1%

条件３6.6%
90.5%
2.9%
40.5%
50.0%
52.9%

条件４2.1%
97.9%
0.0%
45.4%
52.5%
52.5%

表 1 は図 4 に対する流量を表している1 ．分散分析を行った結果，op については各条件の間に有意差が見出された．bf については各条件の間に有意差はなかったが傾向が見出された．

4.3

考察

表 1 において，各隣合う条件間を分析すると興味深いことがわかる．条件 1 と条件 2 では，of，ob が減少し，pb が上昇している．特に，pb が上昇していないことから，記憶の外化は暗記と比べて文脈全体の再生量が上昇していると考えることができる．条件 2 と条件 3
では，of，op，ob に大きな変化が無く，pf が減少し，pb が増加している．これは写真の想起対象範囲の限定が原因というより，対象物と体験の関連付け負荷の減少が原因で，文脈全体の再生量が増大したと考えられる．条件 3 と条件 4 では，bf にほとんど 変化がないことから，条件 3 と条件 4 は類似した性質を持っていると考えられる．しかし，対象物と体験を直接結びつけることで，of，ob が減少し，opの増加が見られることから，条件 4 は体験整理の方法として条件 3よりも優れていると考えられる．総合的な結果から，提案システムは他のメディア属性と比較して，行動と参照の機能をバランス良く扱うことで，写真・行動・キーワード の結び付けを強化する効果を持っていることが推測される．

5

おわりに

本論文では，実験によって以下のことを確認した．人は提案システムをアルバムのように扱っている．提案手法はアルバムによる体験整理方法と類似する特性を有しながら，対象物から直接体験映像を参照できることにより，アルバムよりも記憶保持に対して優れた能力を有している．
本提案システムでは，システムが確実に選択された対象物を認識できるように，「 触れる」という操作を採用したが ，現実として人は対象物を「見る」ことで記憶を思い出すことがある．また，本実験では，触れる行為・見る行為の区別なく，記憶試行時には見ることで覚えてもらい，再生時には触れることで体験映像を再生してもらった．
この触れると見るという行動の違いによる記憶整理への影響について議論の余地はある．

Acknowledgements
本研究は，科学技術振興事業団（ JST ）の戦略的基礎研究推進事業「高度メディア社会の生活情報技術」プログラムによる．
（ CREST ）参考文献[1] 福原知宏，河村竜幸，松本文宏，高橋徹，寺田和憲，松塚健，武田英明:
Ubiquitous Memories: 実世界の物理的オブジェクトを用いた記憶外在化システム, 第 15 回人工知能学会全国大会, 2001.
[2] M. Kidode: Design and Implementation of Wearable Information Playing Station, Proc. 1st CREST Workshop on Advanced
Computing and Communicating Techniques for Wearable Information Playing, pp.1–5, 2002.

図 4: F 流量モデル
図 4 は結果的にキーワード を再生させた全ての正答パターンの組を表す F 流量モデルである．F 流量モデルとは，文脈再生パターンとその各パターン再生経路を詳細に分析可能にするために，文脈再生経路の可能性を再生開始起点（ O:対象物）から再生終了点（ F:キー

[3] M. Lamming, and M. Flynn: Forget-me-not: Intimate Computing in Support of Human Memory, Proc. FRIEND21: International Symposium on Next Generation Human Interface,pp.125–128, 1994.
[4] B. J. Rhodes: The wearable remembrance agent: a system foraugmented memory, Proc. the First International Symposium
on Wearable Computers (ISWC’97), pp.123–128, 1997.
1 **：p<0.001，*：0.001≤p<0.05，†：0.05≤p<0.1