The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3A3-08

実環境におけるインタラクションヒストリ: 表現と活用
Representation and Use of Interaction Histories on real environments
白井 良成∗1∗2

中小路 久美代∗2∗1

山本 恭裕∗2

平田 圭二∗1

松下 光範∗1

Yoshinari Shirai

Kumiyo Nakakoji

Yasuhiro Yamamoto

Keiji Hirata

Mitsunori Matsushita∗1

日本電信電話 (株) NTT コミュニケーション科学基礎研究所
NTT Communication Science Labs, NTT Corporation∗2

東京大学 先端科学技術研究センター

Research Center for Advanced Science and Technology, University of Tokyo

We have studied how to use interaction histories eﬀectively on real environments when they are captured andaccumulated over a long period of time. This paper introduces our approach and presentation framework which
we have bulit for interaction histories.

1.

はじめに

ടᎿ

センサの高性能化や小型化, 安価な記録媒体の出現により,実生活における様々な人や物の活動の記録を蓄積するインフラが整いつつある. このような状況を背景として, 各所で人や物の活動を記録する研究が盛んに行われている [Gemmell 2003,Sumi 2004]. 我々は, これらの長期間に渡る膨大な活動の記録（インタラクションヒストリと呼ぶ）が将来, 様々な視点で持続的に記録されることを念頭に, これらの記録をどのように活用するか, ユーザに対してどのように提示するべきかについて研究を進めている. 本稿では, インタラクションヒストリに対する我々のアプローチ, 及び現在構築を進めているインタラクションヒストリ提示のための枠組みとその事例について述べる.

2.

ࠗࡦ࠲࡜࡚ࠢࠪࡦࡅࠬ࠻࡝⟲㑛࡙ⷩ࡯ࠩߩ
ℂ⸃ᄖ࿷ൻߐࠇߚࡅࠬ࠻࡝ࠕ࡚ࠢࠪࡦ⸥㍳ࠪࠬ࠹ࡓታⅣႺ࡙࡯ࠩ図 1: インタラクションヒストリ活用の概念図

加によりその量は膨大になる一方である. また, センサ/記録装置の種類の増加やインタラクションの取得目的の多様化により, 蓄積されるインタラクションヒストリも複雑で多様なものになっている. このような現状を鑑み, 我々は様々なインタラクションヒストリを, 環境や想定されるユーザの行為や利用意図, 提供したいサービスの種類などに応じて適切に再利用できるようにするための基本的な枠組みを構築したいと考えている.

インタラクションヒストリの活用

我々はインタラクションヒストリが意思決定の材料として利用可能な点に着目して研究を進めている. ここで云う意思決定とは, 特定のタスクや課題の解決というよりは, むしろ我々の日々の活動の場面において行う選択 (e.g., コンビニで飲料を選ぶ) や, 新しい情報に対する気付き (e.g., 新作映画に興味を持つ) などを想定している. このような意思決定の場面において, 我々は他者の過去の行為を利用する場合が多々ある[Dieberger 2000]. 例えば, 登山においては地面に残る足跡が,進路を決定するための重要な手掛かりとなり得る. 計算機上においても, ファイルの閲覧頻度や回数が, 探索のキーとなり得ることが指摘されている [Hill 1992].
環境中に自然な形で残される他者の行為, 謂わばナチュラルなインタラクションヒストリはかつてに比べて減少して来ている (例えば, 道路が舗装されたため道路に足跡は残りにくくなっている). その半面, 計算機環境や各種センサの普及により, 人工的に取得され利用可能なインタラクションヒストリは,格段に増加している. 我々の着眼は, このような人工的なインタラクションヒストリ (断らない限り, 本稿ではこれをインタラクションヒストリと呼ぶ) を利用することで, ユーザの日常活動に於ける意思決定の手がかりとして利用可能にすることである.
現在ないし近い将来においてインタラクションヒストリとして利用可能なものは, 監視カメラの映像のようなものから計算機上の作業履歴まで様々である. これらは記録媒体の容量増

3.

インタラクションヒストリ活用のための提示の枠組み

3.1

インタラクションヒストリの提示形態

上述のように, 我々はインタラクションヒストリの活用のための足掛かりとして, 記録されたヒストリの中から, ユーザの意思決定に有益だと思われるヒストリを必要な時に適切な量で提示するための枠組みの構築を進めている. 本項では, ヒス
トリにはどういった形態のものがあり, それぞれの役割は何か,ユーザはそれをどのように使うかについて考察する.
ユーザの意思決定には, インタラクションヒストリのコンテンツが必要となる場合もあれば, インタラクションに関する存
在, 時間, 場所, 他のインタラクションとの関係といったメタな要素が参考になる場合もある. また状況により, 適切なインタラクションヒストリの提示量や抽象度, 表現等は異なるであろう. 提示量とは例えば, 蓄積されたインタラクションヒストリの全体なのか, 一部なのかということであり, 抽象度とは例えば, それらのそのまま提示するのが良いか, 要約を提示するのが良いかということである. また, 表現とは, 例えばそれらをテキスト表現で見たいのか, 非テキスト表現が望ましいのかといったことである. インタラクションヒストリを提示するシス

連絡先: E-mail: way@cslab.kecl.ntt.co.jp

1

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
テムの実現においては, ユーザの意思決定すべき事柄や情報取得に対する積極性, 取得プロセス等に応じて, ヒストリ全体を抽象化して視覚的表現でメタな要素を明示しつつ提示するのが良いのか, ユーザの要求に応じてヒストリの一部をそのままテキスト形式で提示するのが良いか等を検討する必要がある.

3.2

インタラクションヒストリ活用のための提示モデル

ユーザに対してインタラクションヒストリを提示し, 意思決定の手掛かりとして活用してもらうための基本的なモデルを図1 に示す. システムはユーザが実環境に対して行うアクションを常にインタラクションヒストリとして記録する. 同時にシス
テムはこれらの記録されたインタラクションヒストリを適宜加工し, 実環境に対して提示する. ユーザは提示されたヒストリを閲覧, 理解し, 意思決定に役立てることができる. 例えば, 登山道に残る足跡の場合では, 先人の移動というアクションが大地 (というシステム) によって記録され, 足跡という表現に加工されてから実環境に外在化され, ユーザに意思決定の材料として閲覧される, という一連の流れで解釈できる.
前項で述べたように, インタラクションヒストリを意思決定の手掛かりとして提示するためには, 提示するインタラクションヒストリの要素, 提示量, 抽象度, 表現等を適切にデザインする必要がある. 自然に外在化される足跡のようなインタラクションヒストリは, 外在化の一形態に過ぎず, ある状況下のユーザ (例えば, インタラクションヒストリを概観しすばやく意思決定したいユーザ) に対しては意思決定の手掛かりとして有効に機能するが, それ以外の状況下のユーザ (例えば, インタラクションヒストリを詳細に閲覧したいユーザ) に対しては,適切な外在化形態であるとは云い難い. インタラクションヒストリを提示するシステムのための, ユーザの状況に応じたインタラクションヒストリの加工, すなわち提示要素, 提示量, 抽象度, 表現の適切な決定の枠組みが必要である.

4.

図 2: 段階的提示の枠組み

Step 1 のユーザに対し, システムはまずインタラクションヒストリの存在のみを提示することで, ユーザにインタラクションヒストリを必要としているかを判断してもらう. 次にインタラクションヒストリが必要と判断し Step 2 に遷移したユーザに対しては, ヒストリが何であるかの識別子を提示し, ヒストリの取捨選択を行ってもらう. 最後に, 見たいヒストリを選択しStep 3 に遷移したユーザに対しては, ヒストリを詳細に提示することで, 必要なヒストリを十分に閲覧してもらう. それぞれの段階の提示方法, 情報量, 提示表現等を適切にデザインすることで, ユーザはその段階で必要な情報のみを閲覧することができる.

4.2

インタラクションヒストリの段階的提示の枠組み

我々は, 上記枠組みを検討するための足掛かりとして, ユーザの情報取得プロセスに焦点を当て, プロセスに応じて段階的に情報を提示する枠組みの構築を行っている [白井 2005]. 本章では, 我々が構築しているインタラクションヒストリの段階的提示の枠組みについて述べ, それぞれの段階に適した情報の提示量, 抽象度, 表現について考察する.

4.1

グラウンディング

段階的情報の提示を有効に機能させるためには, 図 2 に示す三つの段階の間をシームレスに統合することが必要である．
我々は, この問題に対し, それぞれの段階に必要な情報をインタラクションが行われた場に接地 (グラウンディング) させることで各段階を統合するアプローチを採用した. これは, 「歩いた場所に足跡が残る」のと同様に, インタラクションが行われたその場にインタラクションヒストリが存在することが直感的だと考えるからである. 3 段階の提示を同じ場に重ねて行うことが, ユーザの次の段階の提示へのスムーズな移行を可能とすると考える.

4.3

適切な提示に関する考察

提示量
Step 1 は, ユーザが提示されたインタラクションヒストリの存在を見てインタラクションヒストリに気づくという段階である. ユーザは, この段階では特定のインタラクションヒストリを志向していない. そのため, この段階では, システムは蓄積されているインタラクションヒストリのうちできるだけ多くのヒストリの存在をユーザに提示するべきである. 一方, Step2, Step 3 とユーザの認知プロセスが遷移するにつれて, ユーザが必要とするインタラクションヒストリは徐々に明確なものとなる. そのため, システムはこれらの段階のユーザに対しては, ユーザの明確化した情報要求に応じて, ユーザが必要とする部分のヒストリを提示する必要がある.

情報取得プロセスに基づく段階的情報の提示

人間が提示された情報を取得する際の認知プロセスは大きく分けて, 以下の 3 つの段階にモデル化できる.

Step 1 情報の存在に気付く段階
Step 2 気付いた情報を確認する段階
Step 3 確認した情報を詳細に閲覧する段階
上記 3 つの step を考慮すると, それぞれの段階に必要な情報提示は以下のようになる.

抽象度
Step 1 のユーザは, まだ必要なインタラクションヒストリを明確に意識していないため, システムはインタラクションヒストリの存在のみをユーザに提示すればよい. 従って, Level 1 の提示の際には, インタラクションヒストリを十分に要約し, その存在を最低限の手がかりとともに提示すればよい. 一方, Level2, 3 の段階に移行するにつれ, ユーザの情報要求が明確化していくので, それに応じて徐々に具体的なインタラクションヒス

Level 1 情報の存在の提示
Level 2 情報の識別子の提示
Level 3 情報の詳細な提示

2

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

図 3: システムの提示例 (左: 存在を可視光により提示, 中央: 識別子を赤外光により提示, 右: 詳細な情報を携帯端末へ提示)

トリが必要となる.

図 3 のように携帯端末を痕跡に翳すことで貼り変えが行われた際の映像を閲覧することができる. 携帯端末に提示される映像は, システムによって記録された映像そのものであり, ユーザが選んだインタラクションヒストリの一部が再生される.
それぞれの段階においてどのような要素をどの程度の提示
量, 表現, 抽象度で提示するのが適切かについて, 現在様々なバリエーションを試作し, 考察を進めている.

提示表現
Step 1 の段階では, ユーザはまだ特定の情報を志向していないため, 様々なヒストリをすばやく処理できるように一瞥性に優れる視覚的表現で提示するのが適していると考えられる. 一方,
Step 2 の段階では, ユーザはそれぞれのインタラクションヒストリが何であるかの確認を行う. そのため, 正確性に優れるテキスト表現等を用いてインタラクションヒストリの識別子を提示するのがよいと考える. Step 3 の段階では, ユーザはインタラクションヒストリを詳細に閲覧するため, インタラクションヒストリ本来の表現を用いて提示するのが良いと考える.

5.

6.

おわりに

本稿では, インタラクションヒストリの活用に対する我々のアプローチ, 及びそれを実現するため枠組みの一つとして, 我々が構築しているインタラクションヒストリの段階的提示の枠組
みと事例について紹介した. 我々が構築している枠組みは, 掲
示板環境におけるインタラクションヒストリに限らず, 計算機上を含む様々なヒストリに適用可能であると考える. 今後, 枠組みを用いた幾つかのシステムのデザインを通して, 枠組みの有効性についての評価, 及びそれぞれの段階における適切な提示についての検討を進めていく予定である.

適用事例

我々は, 段階的情報提示の枠組みにおける, それぞれの段階に適切なインタラクションヒストリの提示量, 抽象度, 表現等について具体的に検討するため, 掲示板環境を題材としてシステムの構築を行っている. 本システムは, 可視光と共に赤外光で情報を投光可能なプロジェクタ [白井 2003] を用い, 掲示板環境における掲示物の貼り替えや閲覧といったインタラクションをカメラで持続的に記録し, 記録した過去のインタラクションをインタラクションが起きた場所に対して提示する. 本システムは以下の方法で 3 段階の情報の提示を実現している.

参考文献[Dieberger 2000] A. Dieberger, et al.: Social navigation:techniques for building more usable systems, interactions, Vol. 7, No. 6, pp. 36-45, 2000.

Level 1 可視光により, ヒストリの存在を実環境に投影[Gemmell 2003] Gemmell, J. and Lueder, R. and Bell, G.:
The MyLifeBits Lifetime Store, ACM
SIGMM 2003
Workshop on Experiential Telepresence, 2003.

Level 2 赤外光により, ヒストリの識別子を実環境に投影
Level 3 カメラ付きの携帯端末で読み取り可能なマーカを赤外光で投影することで, 携帯端末に詳細なヒストリを投影[Hill 1992] Hill, W. C., Hollan, J. D., Wroblewski, D., McCandless, T.: Edit Wear and Read Wear, Proceedingsof ACM Conference on Human Factors in Computing
Systems(CHI’92), pp. 3-9, 1992.

ヒストリの存在, ヒストリの識別子, ヒストリを携帯端末に提示するためのマーカをプロジェクタにより重ねて投光することで, 全ての段階のヒストリを同じ場に提示することができる.
本システムによるインタラクションヒストリの投影例を図 3 に示す. 図 3 左は, 可視光により掲示物の貼り変えを示す掲示物型の痕跡を提示した例である. Level 1 の提示として, インタラクションヒストリの存在を最近起きたインタラクションを中心にインタラクションが起きた場所に痕跡表現を用いて視覚的に提示している. 図 3 中央は, 識別子として赤外光により貼り変えが行われた日付を提示した例である. ここでは, Level 2の提示として, Level 1 より具体的な情報をテキスト表現を用いて提示している. また, Level 3 の提示として, 実際のヒスト
リ (映像) のアドレスがエンコードされた QR コードを赤外光で提示している. これにより詳細なヒストリを希望する人は,[白井 2003] 白井 良成, 松下 光範, 大黒 毅: 秘映プロジェク
タ: 不可視情報による実環境の拡張, The 11th Workshop
on Interactive Systems and Software(WISS2003), pp.
115-122, 2003.
[白井 2005] 白井 良成, 松下 光範, 中小路 久美代: 実環境における段階的情報提示のためのインタラクションデザインの枠組み, 情報処理学会論文誌, 2005(in press).
[Sumi 2004] Sumi, Y, et al.:Collaborative capturing andinterpretation of experiences, PERVASIVE 2004, pp.
253-258, 2004.

3