特集1983

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

特集 ■ユビキタスと VR

映像と音声のコラージュによる体験のアウェアネス支援角康之

京都大学 /ATR

SUMI YASUYUKI

1．はじめにの周辺にあるアウェアネスを表現する手段が欠かせない．

本稿では，体験の記録と利用を支援するシステムの構

本稿ではまず，体験を記録し緩い構造を与えるシステ

築に関する筆者らの試みを紹介する．

ムの紹介を経て，筆者らが開発を進めている，体験デー

我々は，日々の体験やアイデア，知識を様々な手段タの利用を促すシステムの紹介をする．紹介するシステで蓄積し共有している．例えば，今やインターネット

ムは，緩い構造を与えられた体験データの断片を，視覚上には様々な情報が発信され，時間や空間の隔たりを的，聴覚的にコラージュ状につなぎ合わせて表示するア超えて， 我々は情報を共有することができるようにプローチをとる．そうすることで，( 複数の ) 体験者になった．時空間の隔たりを超えて適確な情報にたどりよる視点や，その場のざわめき，雰囲気といったアウェ着くことを可能にしているのは，情報にインデクスがアネス情報を提示し，時空間を超えてその体験データに与えられているからである．そのインデクスは，しかアクセスしたユーザに追体験のアフォーダンス ( 手がかし，現状ではほぼ自然言語表現，さらに言えばキーワーり ) を与えることができると考えている．

ドに頼り切った状態である．
2．体験の記録「体験」をデータとして扱うことを考えると，言語化されたデータよりも映像や音声といったデータが圧倒的体験を記録する試みの第一歩として，環境センサと装に多く，またそれに付随する感情，雰囲気といった情報着型センサを併用した体験記録システムを開発した [1]．

が重要である．したがって，時空間を超えた体験データ

図 1 は，2002 年 11 月の ATR 研究発表会のポスター発の共有 ( つまり，記憶支援，追体験支援，ノウハウ共有の支援など ) を実現するには，体験データに何らかのインデクスを付与することが必要である．
また，体験を共有するということは，見たこと，聞い

環境側のセンサ(ビデオカメラ,マイク,��トラッカ)たことを忠実に再現するだけで良いかと言うとそうではない．その場の雰囲気や，誰がどういう状況で居合わせ環境側に貼られた���タグたのか，といった周辺情報 ( ここでは「アウェアネス」と呼ぶ ) を提供することが重要であると考える．同一時空間を共有しているときはアウェアネス情報も当たり前に共有しているので，その存在が意識されることはないが，ビデオカメラ,��トラッカ,���タグ

時空間を超えてアウェアネス情報を共有するのは難しい．
他人が撮影した写真やビデオをいくら見ても，その場のマイク

コミュニケーション・ロボット

雰囲気や体験者の感動を共有することが困難である原因の一つは，そこにあると考える．したがって，体験の記��

録やその利用を支援するシステムには，体験コンテンツ

図1

19

展示見学イベントにおける体験記録

2084

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月

特集

ユビキタスと VR

表会場を利用して体験記録システムの実証実験を行った様子である．各展示ブースの天井には，カメラとマイク見学全体のサマリビデオを設置した．また，体験者の一人称的視点の映像を記録するために，デモ説明者と希望する来訪者には記録シス
見学中のハイライト
シーン

テムを身に着けてもらった．
また，各カメラの映像に何が写っているのかを実時間

シーンごとの注釈:
開始時刻,説明,時間で認識するために，赤外線を使った ID システムを開発した．個別の ID を発信する赤外線 ID タグ ( 以下，LEDタグ ) を会場内の展示物やポスターに貼り付け，会場にいる人にも身に着けてもらった．そして，その ID を認

会話シーンのビデオ例

識するビジョンセンサ ( 以下，IR トラッカ ) をカメラと組み合わせることで，すべてのカメラ映像に実時間で「写っている対象物 ( 人 )」のインデクスを付与することが天井設置カメラ可能になった．

図3

3．体験データの解釈

会話相手のカメラ

自分のカメラビデオサマリによる体験要約

記録された体験データは，その内容を理解し，適切に表現することで，意味のあるデータになる．我々は，「体て話した」といったような，より抽象度の高い意味解釈

験」の意味を解釈する指標として，人と人，人とモノのを自動的に行うことが可能になった [2]．

間のインタラクションに着目した．具体的には，前述のその結果，大量に記録された体験データから，個人にIR トラッカのデータによって解釈される「見つめる」とってのハイライトシーンを抽出したり，複数カメラの行為と，個人マイクのデータから解釈される「発話」行映像を切り替えながら臨場感のある体験ビデオを作製す為の組み合わせで，人のインタラクションを解釈した．

る，といったことが，自動的に，かつ，ほぼ実時間で行うことができる．前述の ATR 研究発表会では，来訪者ひとりひとりに見学要約のビデオサマリを作成し，Webエリア滞在共存からアクセスできるサービスを提供した ( 図 3)．
4．追体験メディアとしての 3 次元仮想空間構築
我々の体験記録システムは，イベント空間を撮影しオブジェクトの注視

共同注意

視線の集中：重要な社会的イベントた大量のビデオデータを収集する．それらのビデオデー
タを活用して，イベントの追体験メディアとしての 3次元仮想空間を構築することを考えた [3][4]．我々のシステムの特徴の一つは，同一シーンを複数の視点から会話観測したビデオ映像が得られることである．そこで，
� トラッカの視野

図2

同一時刻のビデオ映像を，撮影時の空間的な位置と方LEDタグ向を再現するように 3 次元仮想空間内に配置することを考える． そうすると，イベント参加者の視線を集め体験要素の解釈たエリアは複数の視線からの映像によりその存在感が浮かび上がり， 逆に，誰の視線も得られなかった部分

例えば図 2 に示したように，「X の展示ブースに滞在は映像が割り当てられない．我々はこの方法を「時空した」，「展示物 Y をしばらく見た」，「A さんと会話した」

間コラージュ」と呼んでいる．

といったような体験の要素を簡単に認識することができこれまでに構築された 3 次元仮想空間の多くは，言わる．また，同時に発生している要素を組み合わせることば「神の視点」で均一的に 3 次元モデリングされていたで，「3 人で会話した」，「B さんと一緒に展示 Z についが，空間に存在する人の生命感に乏しかった．一方，時20

特集

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

2185

空間コラージュによる空間は不均一的であり表示の一貫性には欠けるが，逆に，イベント参加者の社会的視線が静的対象物→空間のランドマーク顕在化し，空間にメリハリがつくと想像される．その不注目対象の時系列変化均一さがつまり，追体験への手がかりを提供すると期待している．
時空間コラージュの考え方は，20 世紀の芸術活動の，ピカソやブラックらによるキュビズムや，ホックニーらによるフォト・コラージュ [5] の考え方から影響を受けている．これらの芸術家の試みについて，例えば伊藤 [6]は，次のように述べている．

視線が集中した対象物

美術史の 20 世紀は，遠近法という，それまでの世界を見，知るシステムを再検討し，新しいモデルをつ「体験者」の身体の一部の写り込みくろうと模索した時代だったのではないだろうか．
図4

つまり，キュビズムやフォト・コラージュは，遠近法 ( 空フォト・コラージュの例

間の 3 次元性 ) へのこだわりを捨て，複数視点の共存を許すことで，「見た目のリアリティ」よりも「印象や感覚でいる子供たち ) の時系列変化を示す複数の画像が共のリアリティ」を表現することを目指しており，筆者ら存している．こうすることで，体験者の興味対象の生の時空間コラージュもその考え方に共鳴したものである．

き生き感が表現される．
・静的な対象物 ( ここでは木と遠景 ) が空間のランドマー

さらに伊藤は次のように述べている．

クとなっている．これは，コラージュによる印象空間を 3 次元ユークリッド空間にグラウンディングする効

個人とは，異質な社会空間の交差や連結の所産として絶えずつくられていくものである．確かに身体果がある．

はユークリッド空間で活動しているのだが，同時に・体験者の身体の一部 ( ここでは足の先 ) が写り込んで身体は位相空間で物に触れ，苦痛や快感を感じるのいる．これは観測者の身体性を顕在化し，追体験者はまた別の空間であり，音を聞き，歌を歌うのはま( フォト・コラージュを見ている人 ) の没入感を促進た別の空間であり…という具合に変転していく．

する．
以上のことから明らかなように，フォト・コラージュ

伊藤が言うような，身体性に応じた複数空間の移動のとその発展系としての時空間コラージュは，客観的に正実現には，電子メディアによるインタラクティビティが確な 3 次元仮想空間を作ることが目的なのではなく，体有効な解法を提供できるのではないかと考える．時空間

験者と追体験者の間のコミュニケーションの場を提供す

コラージュは，身体が存在しているユークリッド空間と，ることが目的である．

対象に対する体験者の印象を表現する位相空間の共存の時空間コラージュを実現するには，少なくとも以下の一試みであると考えている．

二つの技術的課題がある．
1) 各ビデオ映像が撮影されたときの観測点と視線方向時空間コラージュの設計方針を説明するために，ホックニーの作品を真似て筆者がつくったフォト・コラージュの情報が必要である．の例を図 4 に示す．この例は，ある庭園の池の周りの光

2) 任意視点の 3 次元仮想空間をレンダリングする際に，景である．筆者が撮影した写真を手作業でコラージュし複数のビデオ映像を利用して，上記で述べたようなコた．時空間コラージュのポイントを書き込んである．

ラージュ手法を自動化する必要がある．

・視線が集中した対象物 ( ここでは，池の中の鯉 ) の複1) についての最初の試みとして，屋内展示室での体数視点の画像が共存している．こうすることで，体験験記録を想定して，前述の赤外線 ID システムを利用し者と対象物のインタラクションの奥行きが顕在化する．て，LPS(Local Positioning System) を試作した．天井に赤・注目対象 ( ここでは，池の向こう側で鯉をのぞき込ん

外線 ID タグを網の目状に貼り付け，ユーザの位置や視21

2286

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月特集

ユビキタスと VR

注目オブジェクト
展示会場を歩き回っていると…

描画されないオブジェクト

特定の展示ブースの前に立ち止まっていると…

さらにその展示ブースに滞在し続けると…

環境音

展示概観

展示詳細

展示会場全体で記録されたすべての会話の合成音

その展示ブースでなされた過去の会話の合成が再生される．
にぎわいの表示ユーザの「文脈」にもっともふさわしい特定の会話のみ再生される

▲

図5

図6

時空間コラージュによる追体験空間

線方向をトラッキングすることを試みた．

音声コラージュによるアウェアネス表示

合成した環境音を提示することで，各展示の賑わいや

2) については，赤外線 ID タグが取り付けられた対象人気といったアウェアネス情報を表示することを目的物をとらえた複数ビデオの映像を，仮想的な映像スクとしている．

リーンの衝立とし，赤外線 ID タグが検出された点で複図 6 に概念図を示す．このシステムは，展示会場を見合させる，という簡易的な方法を試した．

学しているユーザに対して，既述の体験記録システムの図 5 に，時空間コラージュの最初の試作による 3 次

センサを利用して，ユーザの現在の状況を認識し，それ元仮想空間のスナップショット例を示す．この例では，に合わせて，ヘッドホンを通して各展示の雰囲気を環境

LPS データとしては視界の中に四つのオブジェクト ( 人音として表示する．展示会場を歩き回っていると，展示や展示物 ) が検出されているが，そのシーンに参加して会場全体のざわめきが提示され，個別の展示ブースの前いる複数の観測者の視線を集めたオブジェクト ( 例えばで立ち止まるとその展示ブースの前でなされた過去の会

画面中央の人 ) のみ表示される．こうすることで，シー話の合成音が提示される．そうすることで，個別の展示ンに参加している複数人の視線が顕在化される．の賑わいが直感的に得られる．また，その展示ブース前

図 5 の例は，まだ図 4 に示した目標とはほど遠い．筆にしばらく立ち止まり続けると，ざわめきの中から個別者らの体験記録システムは，単に映像を取りためるだけの会話に焦点が絞られ，過去の来訪者たちの会話を聞くでなく，そこに写っている対象物と観測者の間のインタことができる．

ラクションの意味 ( 会話していたのか，単に一方的に見このシステムを発展させて，二つめのシステムとして，ていただけか等 ) や，対象物の社会的役割 ( 静的対象物

展示説明を行う分身エージェントのシステムを試作したか，それとも，人の視点を集める社会的アトラクタか )[8]．このシステムは，展示の説明員と来訪者の間の会話といった属性情報を提供する．今後はそういった属性情の詳細な構造に踏み込み，より精度良く展示説明のシー報を利用して，図 4 に示したような，対象物に応じた表ンを分解し，その会話要素 ( 我々は「会話量子」と呼ん現のバリエーションを実現していきたい．

でいる ) を状況に応じて使い分けて，新しい来訪者に対して自動プレゼンテーション ( もどき ) を行う．
図 7 に概念図を示す．まず，記録された体験データか

5．音声のコラージュによる会話の追体験
前節では視覚的なコラージュについての試みを紹介しら，説明員と来訪者の間の会話シーンに構造を与える．

たが，ここでは聴覚的なコラージュに関する試みを紹介

その際，発話交代の情報や展示パネルのタッチ情報を利する．展示会場での見学体験を例にして二つのシステム用して，会話内容の詳細な分割とその内容の推定を行う．

を試作した．

分割された「会話量子」は，大きく分けて，説明員によ

一つめは Ambient Sound Shower と呼ばれるシステム

る説明シーン (Lecture) と，説明員と来訪者の間でなさである [7]．このシステムは，各展示の前で行われた過れた質疑応答シーン (Interaction) に分類される．そして，去の来訪者たちの会話音声データを利用し，それらを説明員が不在中に訪れた新しいユーザに対して，自動で

22

特集

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR�������

謝辞�����������

本稿で紹介したシステムは，情報通信研究機構の研究委託および科学研究費補助金の補助を受けて，主に ATR

その他抽出部

表現部
インタラクションをフィードバック

人物ごとの音声
赤外線��センサ情報
パネルタッチにおいて開発された．開発や日頃の議論に参加頂いていルールベースによるプランニングる皆様に感謝する．

実世界状況のセンシング

説明員エージェント

説明員

参考文献

来訪者

来訪者

[1] 角康之，伊藤禎宣，松口哲也，Sidney Fels，間瀬健二：
来訪者

協調的なインタラクションの記録と解釈，情報処理学

エージェント

会論文誌，Vol. 44, No. 11, pp. 2628-2637 (2003)▼����

図72387[2] M. Takahashi, S. Ito, Y. Sumi, M. Tsuchikawa, K. Kogure,
K. Mase, and T. Nishida: A layered interpretation of human

分身エージェントによる展示説明

interaction captured by ubiquitous sensors. In The First
ACM Workshop on Continuous Archival and Retrieval of

説明シーンを提示し，ユーザの反応 ( 滞在時間や視線情

Personal Experiences (CARPE 2004), pp.32-38 (2004)

報 ) に応じてふさわしい会話量子を選択・つなぎ合わせ[3] 大高雄介，角康之，岩澤昭一郎，伊藤禎宣，間瀬健二：て，仮想的なプレゼンテーションを行う．分身エージェ

多視点ビデオデータの時空間コラージュによる追体験

ントは，簡易的なアニメーションキャラクタとして電子空間の構築，第 18 回人工知能学会全国大会 (2004)的な展示パネル上に現れ，再生される音声に合わせて「口[4] 岩澤昭一郎，角康之，間瀬健二：追体験を目的としパク」を行う．また，閲覧者が展示パネル上の興味のあたウェアラブルカメラ画像の時空間コラージュ手法のるエリアをタッチすると，その場所に連想づけられた質検討，情報処理学会研究報告，Vol. MBL32/UBI7 (2005)[5] デイヴィッド・ホックニー ( 訳：斉藤泰嘉 )：僕の視疑応答シーンが再生される．

点 芸術そして人生，美術出版社 (1993)

これら二つのシステムの設計意図は，過去の体験デー
タを実空間の状況に埋め込み，時間を超えた体験共有の[6] 伊藤俊治，電子の遠近法 美術史と CG．藤幡正樹 ( 編 )：アウェアネスを高めることである．いずれのシステムもコンピュータ・グラフィックスの軌跡，ジャストシス

体験空間としては展示会場そのものを利用しており，実テム，pp. 178-185 (1998)..

空間には身体的没入感，体験コンテンツのリアリティに[7] C. Muller, Y. Sumi, K. Mase, and M. Tsuchikawa:Experience

ついて圧倒的な優位性がある．したがって，過去の体験

sharing by retrieving captured conversations using non-

データの提示手法としては，なるべく直感的で，目の前verbal features. In The First ACM Workshop on Continuousの現実空間とのインタラクションの邪魔にならない手段

Archival and Retrieval of Personal Experiences (CARPEが求められる．そこで，音声やその合成音としての環境2004),pp.93-98 (2004)[8] 川口洋平，角康之，西田豊明，間瀬健二：展示会場

音を利用するアプローチをとった．

における過去の対話データを利用した分身プレゼンテーション，情報処理学会研究報告，Vol. MBL32/UBI7

6．おわりに(2005)

体験共有を支援するシステム構築の事例を紹介し，体験のアウェアネスを表示する手法として，ビデオと音声のコラージュ手法を利用することを提案した．そ【略歴】の試みの意義を，写真技術誕生後の画家の意識の変化角になぞらえて議論し，「知覚 ( 見え方，聞こえ方 ) のリ

京都大学アリティ」だけでなく「感覚 ( 感じ方 ) のリアリティ」

1990 年早稲田大学理工学部電子通信学科卒業．1995の実現を目指した試みを紹介した．個別のプロジェク

年東京大学大学院 ( 情報工学 ) 修了．同年，( 株 ) 国際

トの技術的詳細や関連研究については省いてしまった

電 気 基 礎 技 術 研 究 所 (ATR) 入 所．2003 年 よ り 現 職．

ので，興味のある方は参考文献に挙げた元の文献を参博士 ( 工学 )．

照頂ければ幸いである．

23

康之（SUMI Yasuyuki）
情報学研究科助教授