代替現実：「いま・ここ」を体験するＶＲシステム
鈴木啓介

脇坂崇平

藤井直敬

本デモでは「いま・ここ」にいる感覚を与える新しいバーチャルリアリティ（VR）システムを提案する. 本システムでは, 透過型 HMD によるライブの映像から同じ場所で過去に撮影された映像へと, 視覚・運動系の自然なカップリングを維持したまま切り替えることができる. これによりユーザ
ーは「いま・ここ」の現実を体験しているという信念を持ちつつも, 実際はあらかじめ記録された「代わりの」現実を体験することになる. 今後, 本システムを用いることで, 現実への強い信念が我々の知覚や認知にどのように影響するかを明らかにできると考えている.

Substitutional Reality System
KEISUKE SUZUKI†SOHEI WAKISAKA‡

NAOTAKA FUJII†

We proposed a novel VR system that can provide people with a strong feeling of presence. This systemoffers switching from a live scene to recorded movies, keeping natural visuo-motor coupling with a HMD. In
this system, people can retain strong belief of “here and now”, even when they actually experience the movies
recorded in advance. Our future goal is in determining the extent to which belief in reality, with a strong feelingof presence, can change our perceptual and cognitive experiences.

1.

い臨場感を持っており, それが夢であるという認識をはじめに持つことは通常難しい（明晰夢という例外はあるが）.

VR 技術は, 感覚刺激を人工的に置き換えることに

しかし実際には夢での知覚体験は不完全であり, 生じより, あたかも現実の環境にいるかのような主観的体ている出来事も断片的である. このことは, 我々の現験を作り出す技術である[1]. 一般的な VR システムで実感の経験は知覚上のリアリティだけではなく, いまは, コンピュータグラフィックス(CG)による VR 空間

まさに現実にいるという, ある種の信念によっても作を HMD などの没入度の高い視聴覚デバイスを通してられていることを示唆している.

体験することによって, 現実と同じような現実感を作

このような「いま・ここ」にいるという信 念が ,り出している. 一方, テレイグジスタンスの分野では,我々が経験する現実感にどのように影響を与えるのか

主に遠隔コミュニケーションを目的として, 実際の現は, 今後登場する高い臨場感を持つシステムが人に与実映像を用いることで, より現実に近い没入体験が可える影響をはかる上でも重要である. ここでは, この能となる[2].

現実であるという信念を VR 環境に対して持つようなこれらの VR, 及びテレイグジスタンスでは, 通常,システムを構築することを目的とする

ユーザーは体験している VR 空間が本物の現実である

本デモで我々が提案するのは, 「もう一つの現実」という信念は持つことはない. これは, VR システムにを実現する「代替現実(Substitutional Reality)」システ

おいては, 現状の CG による VR 空間と現実の空間のムである. 本システムでは, ユーザーが実際に今見て知覚的な差異が未だに大きいことが理由の一つである.

いる映像と, 記録した過去の映像を切り替えることで,またテレイグジスタンスにおいては, ユーザーは実際ユーザーが「いま・ここ」の現実を体験しているといの映像を体験するが, 使われる映像はユーザーが実際う信念を保ちつつも, 実際はあらかじめ記録され, まにいる場所と異なる場所で撮影されるため, 同じく映た編集された映像を提示することを可能にする.

像の差異は容易に判断することができる.
一方, 我々が睡眠時に夢を見ているとき, 非常に強2.

システム構成代替現実システムは記録モジュールと体験モジュー
独立行政法人

理化学研究所

脳科学総合研究センター
独立行政法人

理化学研究所

脳科学総合研究センター
ム

適応知性研究チーム
創発知能ダイナミクス研究チー

ルに大きく分けられる. パノラマビデオカメラ（PointGrey Research, Ladybug3）とマイクから構成される記録モジュールは, あらかじめ特定のシーンの全方位動

情報処理学会 インタラクション 2011

画を音声付きで録画することができる. 体験モジュー
ルは, HMD（Vizux, VR920）, それに搭載するカメラ（サンワサプライ, CCD-V21）, モーションセンサー（Intersense, InertiaCube3）及びヘッドフォンから構成される(図 1).

3.

観察システムの機能を評価するため, ドッペルゲンガー現象（自分自身と対面する非常に稀な認知現象）の擬似的再現を試みた. 参加者（ナイーブ, 計 12 人）本人が実験室に入ってくる映像を予め撮影しておき, これを記録映像として体験したときに, どの段階で切り替えに気付くかを調べた. （また, 体験時の感情等について口頭報告をとったが本稿では省略する. ）ライブ映像から過去映像への切り替えは, 1 人を除
く参加者全員が全く気付かなかった. 一方自分自身を見たあとには, 全ての参加者が体験しているものが「いま・ここ」ではないと気づいた.

4.

考察

上述の観察の様に, 記録映像中に極端な矛盾（自分自身を観察する）を埋め込めば映像の差替えに気付く
図1 代替現実システムの概要図ことも可能である. 逆に, 埋め込まれた矛盾が極端でパノラマビデオカメラを用いたテレイグジスタンス

なければ, ユーザーはそれを「いま・ここ」として体はこれまでにも提案されている[3][4]が, 代替現実シ験・処理することを確認している. （見たい方向が自ステムにおいては基本的に記録時と再生時に同じ場所在に見ることができるにも関わらず, 映像が「用意さの異なる時間の映像・音声を使う点が特徴的である.

れたもの」であると思い当たることは困難であること（以後簡便の為, 音声についての記述は省略する.）は容易に想像できよう. ）これらの知見は, 本システ

体験モジュールの HMD には, 搭載したカメラからムを操作することにより「現実への信念」が我々の知出力されるライブ映像と, 記録モジュールで予め撮覚・認知にどのような影響を与えるか, 或いはその様影・編集された映像（記録映像）が投影される. 後者な信念が如何に生み出されているか, について調べるにおいては, HMD に搭載したモーションセンサーを新しい実験プラットフォームとして利用できるという用いてユーザーが向いている方向の映像を切りだすこことを意味しており, 現在各種実験を進行させている.とで, 頭部運動と視覚のカップリングを実現している.

また見当識障害や離人症などでは, 現実に対する臨

これにより, どちらの映像においてもユーザーが頭部場感を失っている心的状態が見られる[5]が, このようを向けた方向の映像が投影されることとなる. また,な精神疾患の原因解明や治療方法としての応用も視野

これらの映像の撮影にはそれぞれ異なるカメラを用いにいれている.ているため, 各種画質調整, レンズ歪曲補正をOpenGL 及び OpenCV による画像処理によって行い,映像の質をマニュアルにてできるだけ近づける.
ユーザーがある程度の急速頭部運動を行っているときにライブ映像と記録映像間を切替えることにより,切替え自体に気付く確率が著しく低下することを確認した. この切替えは, 手動, もしくは頭部の急速運動検知アルゴリズムを用い自動的に行う. 以上の構成によりユーザーは, ナイーブである場合には（すなわちHMD には搭載カメラからのライブ映像が常に呈示されると事前に説明され, 記録映像への切替えについては伏せられた状態のとき）, ライブ映像を見ていると信じたまま, 記録映像を見て体験することとなる.

参考文献

1) 廣瀬 通孝, 他, “バーチャルリアリティ学”, 工業調査会, 20102) S. Tachi and H. Arai, “Study on Tele-existence(II) Three Dimensional Color Display with Sensation ofPresense-“, Proceedings of the 85ICAR(International Conference on Advanced
Robotics), pp. 345-352, 1985 ．
3) Mark Fiala, “Pano-presence for Teleoperation”,
IEEE/ RSJ International Conference on Intelligent
Robots and Systems, pp.2170-2174, 2005.
4) 加藤伸明, 他, “放射状カメラによる実時間前周囲立体映像撮像システム”, TVRSJ 13(3), pp.353362, 20085) 高橋三郎, 他, DSM-IV-TR 精神疾患の診断・統計マニュアル, 医学書院, 2003