WISS 2019

Past Brush: 過去を追体験するために現実世界を塗り替えるブラシ
川島 莉杏*

宮下 芳明*

概要．代替現実感により，現実世界を仮想世界にすり替え，現実には起こり得ない現象をあたかも実際に起きているかのように提示することができる．本研究では，実空間で同じ場所の過去の映像を，体験者の任意の方向に対し境界線を描かず部分的に表示することで，現実に起きていると錯覚させつつ，能動的に過去を追体験できるシステム Past Brush を提案する．実空間を過去に塗り替える行為には過去と現在が繋がっているかのような一体感があり，過去の映像をただの映像ではなく自分の体験として記憶することができる．

1

はじめに

本研究では，自分のいない間に撮影された過去の全天球映像を現実に起きていると錯覚させ過去を追体験させることを目的とする．代替現実とは現実世界と仮想世界をすり替え，体験者に仮想世界を「いま・ここ」で起きていると錯覚させる技術である．
藤井らは HMD を装着した体験者にライブ映像と過去の映像を切り替えて提示することで，過去の映像を現実に起きていると錯覚させる代替現実システムを提案した[1]．これにより体験者は過去の映像を自分の体験として記憶することが可能である．
しかし，映像提示は受動的であり，体験者は見たい過去に直接アクセスすることができない．このような時間変化を伴う視覚表現の情報理解においては，体験者のインタラクションを支援し能動的閲覧を可能にすることが必要である．高嶋らは動画の一部分の切り出し表示や早送りといった，映像に対する時間的・空間的インタラクションを可能にすることで能動的閲覧を支援するシステム TbVP（Time-based VisualPresentation）を提案した[2]．過去の映像を追体験する環境においても，この能動的閲覧を可能にすることは情報理解のために有用であると考えられる．
能動的に過去を閲覧する方法として，過去を部分的に表示する研究が行われてきた．大島らは PC のディスプレイの状態を常に記録し，マウスカーソルで囲んだ位置に対して数分前のディスプレイの状態を表示することで，直前に行った作業の内容を確認しながら現在の作業を行える Rewind-ow システムを提案した[3]．これにより，直前に入力したパスワードや Twitter のタイムライン上で流れてしまったツイートを把握できるようになった．このシステム
Copyright is held by the author(s）．
*明治大学

ではマウスカーソルを回転させる動作により，過去の閲覧時間の指定ができ，過去の状態を半透明表示にすることで，過去と現在の状態を重ね合わせながら変更した場所を探索することができる．また，現実世界で過去を部分的に表示する研究として，佐藤らはスマートフォンの GPS データと端末のカメラからユーザの位置を推定し，同じ場所の過去の全方位画像を端末に提示するシステムを提案している[4]．ユーザの向いた方向に対して，端末に表示する全天球画像の切り出し領域が変化するため，ユーザは同じ場所の過去の景色を観察できる．ただし，これらの研究では過去と現実は「窓」のような概念で隔てられており，過去の出来事が現実に起きている感覚を起こすことはない．
一方，Diminished Reality の分野では，背景に透明化・擬態化する研究や，物を視覚的に見えなくする研究が行われている[5]．また，Alvaro らは映像が投影されたスクリーンを変形させることで映像の一部分を進めたり，巻き戻したりできる Khronos
projector を提案した[6]．これらの研究では，視覚的に変化のあった部分との境界線を描かないことにより，現実と非現実の境目を曖昧にする．
本研究では，実空間で同じ場所の過去の映像を，体験者の任意の方向に対し境界線を描かず部分的に表示することで，現実に起きていると錯覚させつつ，能動的に過去を追体験できるシステム Past Brushを提案する．

2

提案システム2.1 概要システムのイメージを図 1 に示す．HMD を装着した体験者には全天球カメラから取得したライブ映像が見えている．体験者がコントローラを向け，トWISS 2019

図 1．システムのイメージリガーボタンを引いた箇所に対し，システムは同じ場所の過去の映像を提示する．表示した部分の過去の映像は保持されるため，体験者は実世界を過去に塗り替えるように過去の映像を閲覧することができる．また，コントローラのスティックを上下させることで塗り替える範囲の大きさを変えることができ，コントローラの A ボタンを押すことで塗り替えた過去をリセットすることができる．なお，図 1 では体験者が過去に塗り替える様子をわかりやすくするた
め画像加工を施しているが，実際には提示する映像に対して加工や編集は行っていない．
2.2 実装全天球カメラは THETA V を使用し，体験者の目線の高さに合わせ設置している．なお，過去の映像を収録する際とライブ映像を取得する際とでカメラの位置は動かさないものとする．HMD には Oculus
Rift S を用いた．解像度は片目あたり 1280×1440pixels，リフレッシュレートは 80 Hz，視野角は 110度である．また，ソフトウェアは Touch Designer を用いた．システムでは，体験者がコントローラで指定した範囲に対してマスク画像を生成し，過去の映像を切り取り，それをライブ映像に合成したものを体験者に提示している．なお，過去の映像はシステ
ムの起動と同時に再生される．

3議論と展望能動的に，部分的に，境界線を描かず実空間を過去に塗り替える行為には過去と現在が繋がっているかのような一体感があり，体験者は自ら塗り替えた過去と現実を区別することができなくなっていく．
これにより体験者は自分のいない間に撮影された過去の全天球映像をただの映像としてではなく，目の前で起きた自分の体験であると錯覚する．
今後は，体験者が過去の状態からどんな変化があったか探索するための機能拡張を検討している．現在のシステムでは具体的にどの部分に過去との違いがあるのかを見分けるのが難しいため，過去との差分を発光処理によって可視化することで体験者が過去を表示する場所を明確化できると考えている．
また，現在のシステムでは表示できる過去の映像は一つに限られているが，複数の映像を提示できるようにすることで，あらゆる時間軸を混在させることができると考えている．
さらに，過去の映像に対し早送りや逆再生をすることで，体験者は実空間を操作する感覚が生み出せるのではないかと考えている．ただし，従来の時間操作インタフェースでは過去との一体感が損なわれると考えられる．
今後は，これらの機能を実装し，一体感が損なわれないようなインタフェースについて検討していきたい．

参考文献[1] 鈴木啓介，脇坂崇平，藤井直敬．代替現実:「いま・ここ」を体験する VR システム．インタラクション
2012 論文集，pp.869-870，2011．
[2] 高嶋章雄，山本恭裕，中小路久美代．探索的データ分
析のための時間的な概観と詳細の表現およびインタ
ラクションに関する研究．情報処理学会論文誌，
Vol.44，No.11，pp.2767-2777，2003．
[3] 大島裕樹，宮下芳明．Rewind-ow: 特定領域の時間を巻き戻して閲覧するツール．インタラクション 2013
論文集，pp.556-561，2013．
[4] 佐藤慎也，岡谷貴之，出口光一郎．過去の街並みを可視化するスマートフォンを用いた拡張現実．研究報
告コンピュータビジョンとイメージメディア（CVIM），Vol.2012-CVIM-182，No.3，pp.1-4，2012．
[5] 森尚平，一刈良介，柴田史久，木村朝子，田村秀行．
隠消現実感の技術的枠組と諸問題: 現実世界に実在する物体を視覚的に隠蔽・消去・透視する技術について (<特集> 複合現実感 5)．日本バーチャルリアリ
ティ学会論文誌，Vol.16，No.2，pp.239-250，2011．
[6] Cassinelli Alvaro，Masatoshi Ishikawa．Khronos
projector ． ACM SIGGRAPH 2005 Emerging
technologies．p.10，2005.