情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-38
2019/3/6

MR を用いた現実空間で移動可能な遠隔旅行システム
畑中 衛1,a)

濱川礼2

概要：本論文は現実空間を移動しながら複数人での遠隔旅行を可能とするシステムについて述べる. 自身を遠隔地に存在しているかのようにする技術としてテレイグジスタンスがある. この技術を利用し遠隔地旅行を行う研究が行われている. これらの研究の多くはディスプレイ表示や完全没入型 VR を利用している. しかしこれらの手法ではディスプレイの前にいなければならないことや,VR を利用している時に周辺の状況がわからないことから自由な移動ができない. またディスプレイの操作や VR システムの利用は複数人で行うことができない. これらの問題を解決するために透過型 MR ヘッドマウントディスプレイを用いてユーザが指定した旅行コース上の風景と現実の風景を重畳し, 旅行コースの道路部分と現実の道路以外の部分を切り抜き, さらに自分以外のユーザをアバターとして表示する手法を提案する. 本手法を実装したシステムにより友人と同じ旅行コースを指定することで友人のアバターと共に現実で移動しながら遠隔旅行することが可能になる. ユーザのアバターはヘッドマウントディスプレイの位置と同期しており, ユーザが移動を行うとアバターも同様に移動を行う. 旅行コース上の風景表示は全天球パノラマ画像を用いてユーザ周囲の風景に重畳する. その際に視野確保のため道路部分を切り取る. これにより現実の道路を視認可能になり他者との衝突などの危険を抑制し現実空間での移動を可能にする.

1. はじめに

これらの手法により複数人で身体動作を伴った体験が可能となりよりリアリティのある遠隔旅行体験が可能になる.

本論文は現実空間を移動しながら複数人で遠隔旅行がで我々はこれらの手法の有効性を評価するため, 現実空間をきるシステムについて述べる. 遠隔地に自身が存在するか移動しながら複数人での遠隔旅行を可能にするシステムをのような体験を可能にする技術としてテレイグジスタンス開発した. 開発したシステムは MR を用いて他ユーザをアがある [1]. この技術を利用し遠隔旅行をする研究が行われバターとして表示し, ユーザが指定した旅行コース上からてきた [2]. これらの研究の多くはディスプレイや完全没入見る風景のパノラマ画像を表示する. これにより友人と同型 VR を利用して遠隔地の風景を表示し遠隔旅行を可能にじ旅行コースを設定することで, 近所にいながら友人と遠している [3][4]. しかしディスプレイを用いて遠隔旅行する隔旅行を行うことが可能となる.

時ユーザはディスプレイの前にいる必要があり, さらに同時に画面操作を行えないため 1 人での利用になる. また完
全没入型 VR を利用する時ユーザは周囲の状況を把握できず移動しながらの利用はできない.
我々はこれらの問題を解決し, 遠隔旅行を移動しながら2. 提案手法
我々の目的はユーザが現実空間を移動をしながら遠くにいる友人と, 遠隔旅行を体験をすることであり, その目的を実現するために以下の手法を提案する.

複数人で行うことでより現実感のある体験が可能になると考え, 以下の２つの手法を提案する. １つはユーザが指定

2.1 風景重畳した遠隔地の旅行コースから見られる風景を現実の風景に現実空間を移動しながら遠隔旅行しているかのような体重畳表示することである. 風景を重畳する際は道路部分は験をするためユーザが指定した旅行コース上の風景を現実現実の風景を表示し, 道路以外の部分のみ旅行コースの風の風景に重畳表示し, ユーザが見ている風景を変化させる.

景を表示することで現実空間を移動しながらの遠隔旅行を

この時道路部分のみ現実の風景を表示することで, 他の歩行可能にする. もう 1 つの手法は自分のアバターを他ユーザ者や乗用車などと衝突する危険を抑制する. 重畳イメージの前に投影することで, 複数人での遠隔旅行を可能とする.
12a)

中京大学 工学研究科 情報工学専攻
中京大学 工学部 情報工学科
mamoru.hatanaka@gmail.com© 2019 Information Processing Society of Japanを図 1 に示す. 図 1 においてシステムを通してユーザが見ている風景の道路部分は現実地の風景であり, 道路以外の部分はユーザが指定した旅行コース上の風景である. これ858

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-38
2019/3/6

図 2 風景重畳:(a) 現実の風景.(b) ユーザが指定した遠隔地の風景.(c) 遠隔地の風景から道路部分切り抜き.(d) 重畳.

によりユーザは現実の道路を歩きながらあたかも旅行コーのユーザのアバターを表示する. 表示する他ユーザは指定ス上を歩いているような体験ができる. 本手法を実装する

した旅行コースの出発地点が自分が指定した地点と同じかためユーザが指定した旅行コース上の風景を 360 度パノラによって決定する. 図 3 は 2 人のユーザが同じ旅行コースマ画像として取得し, 球体オブジェクトに貼り付けることで遠隔旅行してる例である. 名古屋にいるユーザ 1 が旅行でユーザの周囲の風景を変化させる. パノラマ画像を貼りコースとして指定したローマのコロッセオを, ロサンゼル付けるだけではユーザの視線を覆ってしまうため, 歩行者スにいるユーザ 2 も同様に旅行コースとして指定しているや自転車などと衝突する危険性がある. そこで本手法ではため, ユーザ 1 の視点には遠くにいるユーザ 2 のアバター

図 2 のように重畳表示する風景の道路部分を切り抜くことが見える. 逆も同様である. これにより他ユーザと一緒に行で道路部分のみ現実の道となり衝突の危険を抑制する. 道動することが可能となる. 本手法ではユーザ同士のマッチ路部分の切り抜きにはマスク処理を用いる. マスク画像はングをユーザが指定した旅行コースの出発地点の座標を比事前に手動で風景のパノラマ画像の道路部分を黒くし, 風較し, 距離が近いユーザがいた場合に行う. そしてマッチン

景部分を白くすることで作成した.

グされたユーザのアバターを表示する事で, ユーザはあたかも複数人でいるかのように感じることが可能となる. この時のユーザ同士を引き合わせる処理はオンラインゲーム
で Room と呼ばれるサーバにユーザを接続し同期処理を行う Photon Unity Cloud を利用した [6]. アバターとユーザは体の向きと座標を同期しており, ユーザ同士が一緒に行動することができる. ユーザとアバターの同期はヘッドマ
ウントディスプレイの自己位置推定機能を用いて取得した端末の座標と方向を用いて行う.

図 1 風景変化

2.2 他ユーザのアバター表示

図 3 他ユーザのアバター表示

複数人で遠隔旅行しているかのような体験のために, 他© 2019 Information Processing Society of Japan859

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-38
2019/3/6

2.3 旅行コースと現実の道路のマッピング
現実の道路と指定した旅行コースは曲がり角やカーブなどの構造が異なる. そこで本手法はユーザの進行方向を元に旅行コースの向きを操作することで, 常にユーザが移動する方向へと旅行コースが続くように風景の表示を行う.
風景更新前と更新時のユーザの座標を元にユーザの進行方向を算出し, それを元に風景表示用の球体オブジェクトの向きを調整する. ユーザの進行方向と風景の向きの調整を
図 4 に示す. 図 4(a) のようにユーザが画像奥方向に進んでいる時, 遠隔地風景から切り取った道路部分はユーザの進行方向と同様に画像奥方向へ続く. その後ユーザが進行方

図 5

システム構成向を変え, 図 4(b) のように右方向に進行するとそれに合わせ遠隔地の道路部分も右方向へ続く. これにより常にユーメラと指向性マイクにより没入感の高い体験が可能である

ザの進行方向へと道が続き, ユーザが歩いている道が遠隔が, 現実環境を視認できず移動範囲も制限がある. 本システ

地の風景の切り抜き部分に表示される.

ムは表示する遠隔地の風景から道路部分を切り抜くことで,現実の道路を視認可能にしている. そのため実際に移動しながら遠隔地に行ったかのような体験を可能にしている.

3.2 他ユーザの表示
遠くにいる他ユーザを表示し互いにコミュニケーションをとる研究が行われている. 上らは対話相手に自身の空間へと侵入されている感覚「被侵入感」を提示し，テレプレゼンスの向上を目指すビデオチャットシステム「ドアコム AR」を開発した [5]. ドアコム AR は Kinect により取得したユーザのカラー情報, 深度情報から 3 次元点群データを取得する. 取得した点群データを遠隔地にいる別の図 4 (a) 奥に向かい歩くと道が奥に続く.(b) 歩く方向を変えると道が続く方向も変わる

ユーザの前に表示することで同室感のあるビデオチャットが可能になる. このようにユーザの姿を遠隔地に表示しコミュニケーションを取るシステムは他にも存在する.

3. 関連研究

Cutler らは Hololens を利用し遠隔地にいる友人の存在をリアルタイムで表示するシステム Holopotation を開発し本章では関連研究として本手法で使用している風景の変た [9]. Holopotation は深度情報を取得可能なカメラを複化, 遠隔地にいる他ユーザの表示に関するシステムや研究

数使いユーザを撮影し，ユーザの 3D モデルを作成する.

について述べる.

そして作成した 3D モデルを遠隔地にいる別のユーザの前に Hololens を通して表示することで, 遠隔地にいるユーザ

3.1 遠隔旅行
パノラマ画像による風景表示は Chen により提案され, 遠とコミュニケーションを取ることができる. ドアコム AR,Holopotation はリアルなユーザのモデルを表示可能である

隔旅行に数多く使用されている [7]. Ruyg らはヘッドマンが, 自分が Kinect やカメラに映る範囲にいなければならな

トディスプレイ Oculus Rift を用いて Google Street View

いため, 移動範囲に制限が存在する. 本システムはユーザを表示する Oculus Google Street View を実装した [2]. この存在をアバターとして表示し, その制御を Hololens の自れによりユーザは Google Street View が存在する場所を己位置推定機能により行なっているため, 設置が必要な機表示し, あたかもその場所に行ったかのような体験ができ器がなく遠隔旅行の際制限なく移動ができる.

る. 本手法と同様に MR を用いて遠隔旅行を行ている研

4. システム概要

究も存在する. Haley らは Hololens により, 観光地の環境音を流し, 周囲の映像を表示することであたかもその場所提案手法に基づきシステムを実装した．実装にはゲームに言ったかのような体験を可能にする HoloTour を開発し開発エンジン Unity を使用し, ヘッドマウントディスプレた [8]. 環境音は指向性マイクにより録音し周囲の風景は

イは Microsoft 社の Hololens を使用した. 本システムの構360◦ カメラを使い撮影している. HoloTour は高性能なカ成を図 5 に示す. 本システムはデータ取得部, 風景生成部,© 2019 Information Processing Society of Japan860

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-38
2019/3/6

図 6

システム使用例と出力出力部から構成されている.

ノラマ画像を作成するライブラリである. パノラマ画像の生成はパノラマ表示された GoogleStreetView について複4.1 データ取得部

数の視線の向きで 28 枚の画像を取得する. その後パノラマ

データ取得部は, 出力部でのユーザ識別, 風景表示のため画像になった時, 隣接する部分の画像同士を結合すること

ユーザ情報, 遠隔地の StreetView に関する情報を取得する

で一枚のパノラマ画像を生成する. その後システムは生成処理群である. データは遠隔地設定ページでユーザが入力したパノラマ画像から余白部分を削除する.

した値を使用する. 取得したデータはデータベースに保存

4.2.2 道路部分切り抜きし管理する. 本システムでは Unity の標準クラスで利用可

StreetView 取得部で取得した画像に対し道路部の切り能な json を利用しデータを管理する. 以下に json に含ま抜きを行う. 切り抜きにはマスク処理を用いる. マスク画れる各データの詳細を示す.

像は事前に手動で StreetView の道路部分を黒くし, 風景部分を 白くすることで作成した. StreetView 取得部で取得

ユーザ ID

ユーザを識別するための固有 ID

表示遠隔地

遠隔地の情報からユーザが現在見ている遠隔地の場所を抽出するための値

遠隔地の情報群したパノラマ画像に対し作成したマスク画像を用いてマスク処理を行い道路部分を切り抜く.

指定遠隔地の経度, 緯度, パノラマ ID

4.3 出力部
4.1.1 ユーザ情報取得
ユーザ情報取得部ではユーザの識別のために使用する固有のユーザ ID を取得する. ユーザ ID として遠隔地設定の際にユーザが入力した Hololens の端末 ID をサーバに送信し, データベースを更新する. これによりシステムを使用する際にどのユーザがどのアバターの制御するかを識別する.

4.1.2 StreetView 情報取得部
StreetView 情報取得部はユーザが遠隔地設定ページから設定した出発地点と目的地点の 2 地点間を繋ぐルート上のうち StreetView が存在する地点の座標, StreetView の固有 IDを取得する.2 地点間を繋ぐルートの設定は GoogleMapsApiを用いた.

4.2 風景生成部
風景生成部はデータ取得部で取得した StreetView の情報からパノラマ画像の生成, 道路部分切り抜きを行う処理群である.

4.2.1 パノラマ画像生成
パノラマ画像の生成には GSVPano ライブラリを利用した [10].GSVPano ライブラリは GoogleStreetView からパ© 2019 Information Processing Society of Japan

出力部は風景生成部で生成したパノラマ画像とデータ取得部で取得したユーザ情報を元に風景, 他ユーザの表示,またユーザの移動による風景の更新を行う処理群である.
ユーザ A とユーザ B がシステムを使用している出力例を
図 6 に示す. (a),(b) はそれぞれ ユーザ A, ユーザ B が実際にいる場所 (ユーザ A:名古屋, ユーザ B: 仙台) の風景である.(c) はユーザ A, ユーザ B が旅行コースとして設定した場所 (東京) の風景を示している.(d) は ユーザ A, ユーザ

B が実際にいる場所と, 指定した旅行コース上の位置関係である. (e) はユーザ A から見える風景である. 現実空間に旅行コースから見られる風景が重畳され, 同じ旅行コースを指定したユーザ B のアバターが表示されている.(f) は反対にユーザ B から見える風景である. (g) はシステム使用
時に旅行コース上における二人のユーザの位置関係である.

4.3.1 風景表示
現実風景への重畳は球体のオブジェクトにテクスチャとして風景生成部で生成したパノラマ画像を貼り付けることで行う. パノラマ画像が貼り付けられた球体オブジェクトの中にカメラを配置する事により周囲の風景は旅行コース上の風景へと変化する.

861

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

4.3.2 他ユーザの表示

3B-38
2019/3/6

現実感高さ (現実感)

他ユーザの表示では指定遠隔地が近いユーザのアバターシステムで行える行動のレベル (行動)を表示する. ユーザ間のアバターの同期処理にはオンライ表示や操作などの質 (インタフェース)

ンゲームの同期処理に使われる仮想環境でどれだけ探索や調査ができたか (調査)

Photon Unity Cloudを利用した [6]. 表示するユーザはデータ取得部で生成したjson データを元に決定する. システムは json データのユー
ザ情報と現在地情報から, 設定した旅行コースの出発地点

仮想環境での自身のパフォーマンスの熟練度 (パフォーマンス)
音響の質 (音響)触覚フィードバックの質 (触覚)同士の距離が近いユーザのユーザ ID を取得する. そしてこの中から本システムに実装されていない音響と触覚に取得したユーザ ID を元に Photon Unity Cloud のルーム

関する項目を抜いた現実感, 行動, インタフェース, 調査, 自を検索する. ユーザは旅行コースの出発地点同士の距離が身のパフォーマンスの 5 項目について行う. スコアは原著近いユーザの ID と同じ名前のルームが存在する場合, 入室論文の方法通り現実感, 行動, 調査, 自身のパフォーマンスする. 検索した結果近いユーザの ID と同じ名前のルームがはスコアが高い方が優れている事とし, 逆にインタフェーなければシステムは自身のユーザ ID と同名のルームを作スはスコアが低い方が優れている事とする.

成する. これにより他ユーザとのアバターの共有を行う. 自また ITQ はスコアが高いほど没入感を感じやすいこと

分の設定地点と距離が近いユーザがいた場合アバターを表を示している. PQ の結果について 2 標本 t 検定を行い 2示する. アバターの向きは Hololens の y 軸方向のみ同期しつのシステムの間に有意差が存在するか調査する. この時ており, アバターの回転を水平方向のみに制限している. ま有意水準を 0.05 とした.

たアバターの座標は Hololens の座標と同期しており, ユーザが進行した方向にアバターも進行する.

4.3.3 風景更新
風景更新ではユーザが歩くことでパノラマ画像を更新す

5.2 結果各項目について本システムと HoloTour を比較した結果を図 7 に示す.

る. ユーザの位置は Hololens の自己位置推定機能によって算出する. また更新は 3 メートル移動するごとに行う. これはGoogle が定めた StreetView 認定要件において StreetView間の距離が 3 メートルとなっていたためである. システム
は風景更新時のユーザの座標と, 前回の更新時のユーザの座標から移動方向を算出し, ユーザの移動方向に道が存在するよう風景表示用の球体オブジェクトの方向を調整する.

5. 評価・結果
本章では提案手法を評価するために行った評価実験と結図 7

Presence Questionnaire 結果

果について述べる.
図 7 では 2 つのシステムの現実感の平均スコアは本シス

5.1 評価方法

テムが 31.8, HoloTour が 34.8 と HoloTour の方が高い値と実装したシステムを使った実験とアンケートにより本手なった. 平均値について有意差があるか検定を行った結果,法の有効性を評価した. 実験は被験者 10 人に対して行なっp 値は 0.46 であったため本システムと HoloTour の現実感た. 被験者は本システムと関連研究であげた HoloTour を使に有意差はみられなかった. 行動の平均スコアを比較する用して遠隔地の風景を体験した後アンケートに回答した.と本システムの平均は 18.4, HoloTour は 18.0 と僅かに本

この時システムを使用する順番はランダムに決定し, 体験すシステムの方が高かった. 検定を行った結果, p 値は 0.78 とる遠隔地は 2 つシステムで同じ場所に統一する. また本シ有意差はみられなかった. またインタフェースに関して平ステムを使用する際被験者の前にアバターを表示し, 我々均を比較すると本システムの平均は 12.1, HoloTour は 12.7がノートパソコンを通してアバターを操作した. 実験後アと僅かに本システムの方が低い結果となった. 検定を行っンケートとしてプレゼンスシステムの優位性を測ることがた結果, p 値は 0.39 とこの項目も有意差はみられなかった.

できる Presence Questionnaire(PQ) と [11], 個人が感じる調査に関する平均スコアは本システムが 12.4, HoloTour

没入感の傾向を測ることができる Immersive Tendencies

が 13.6 と僅かに本システムの方が低い結果となった. 検定

Questionnaire(ITQ) を利用し 2 つのシステムの比較を行を行った結果, p 値は 0.27 とこの項目も有意差はみられな

う [12]. PQ は以下の項目をスコア化することでシステムかった. パフォーマンスに関する平均スコアを比較するとの優位性を算出できる.

本システムの平均は 8.5, HoloTour は 8.9 と僅かに本シス© 2019 Information Processing Society of Japan862

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-38
2019/3/6

テムの方が低い結果となった. 検定を行った結果, p 値はきる点をあげた人が多かったため, 遠隔存在する際の移動0.71 と有意差はみられなかった.

は現実感を高めるのに有効であると考えられる.

続いて ITQ と PQ のスコアの関係を図 8 に示す. 図 8 は一方システムの改善してほしいところとして, 音がなくPQ の各項目の値を縦軸, ITQ の値を横軸にとったグラフ

寂しいところや風景の更新がスムーズに行われないところである. 丸い点は本システムのスコアを示しており, 菱形のをあげるユーザが多かった. 我々は Hololens の内蔵スピー

点は HoloTour のスコアを示している. 縦軸方向に丸い点

カーによるガイドや他ユーザの声の出力, 風景更新時のサーと菱形の点が離れている時 2 つのシステムのスコアの差がバとの通信回数削減によりこれらの問題を解決可能である大きいことがわかる. 図 8 から現実感に関して ITQ のスコと考えている.

アが低い被験者ほど本システムを使用した時の方が現実感を高く感じていることがわかる. 逆に ITQ のスコアが高い

7. 結論

人は, 本システムより HoloTour を使用した時により高い現本論文では現実空間をよりリアリティのある遠隔旅行を実感を感じている. HoloTour を利用した時に感じる現実感可能にするため, 移動しながら複数人で遠隔旅行を行う手が高かった被験者は遠隔地の風景が動画で動いているとこ

法を提案した. 手法を元に実装したシステムにより本手法

ろに現実感を感じていた. 逆に本システムの方が現実感がの有用性の評価を行った. その結果, 遠隔旅行する際の移あると感じていた被験者は実際に歩くことができることろ

動行動は遠隔地での体験をリアルに感じさせる効果があっに現実感を感じるとのことだった.

た. そしてこの効果は ITQ のスコアが低く没入感を感じに最後に被験者に本システムの良いところ, 改善してほしくいユーザに対してより有効に働くことがわかった. しかいところを質問した. その結果, 本システムのよかったとし実装したシステムについて遠隔地風景の更新がスムーズころとして表示されたアバターに対し親近感を覚えるとこに行われないために, 遠隔地を歩いている気になれないとろや, 実際に歩くことができるため没入感が高いとの意見の意見があったので, 風景の更新処理をスムーズにするこがあった. 改善してほしい点として, システムを使用中にとでこの問題を解決する必要がある.

音の情報がないことが遠隔地で行動する時の楽しさを減少させているとの意見があった. また風景の更新が遅いこと

参考文献

が, 実際に遠隔地を歩いている感覚を損ねているとの意見[1]もあった.

6. 考察

[2]

本システムと HoloTour を比較した時, ITQ の値が高い
人は HoloTour を使用した際に感じる現実感が高かった. アンケートの回答により表示された風景が動画で出力されて[3][4][5]いたのが現実感を高める理由であった. そのため没入感を感じやすい人は身体動作よりも視覚情報によって現実感を感[6]じやすくなると考えられる. 逆に ITQ の値が低い人は, 視覚情報より身体動作によって現実感を感じるため,HoloTour[7]

より本システムを使用した方がより現実感を感じることが[8]できたと考えられる.
本システムのよかったところとして実際に歩くことがで

[9]

[10]
[11]
[12]

[13]
図 8

PQ と ITQ の関係© 2019 Information Processing Society of Japan

S.Tachi, K.Tanie, K.Komoriya,
M.Kaneko:Tele-existence (I):Design and Evaluation of
a Visual Display with Sensation of Presence Theory
and Practice of Robots and Manipulators pp 245-254
Marjolijn Ruyg:Virtual Reality for the Web: Oculus
Rift, 2014.
FirstAirlines, http://firstairlines.jp/.
Google Earth VR, https://vr.google.com/earth/ .
上 宏樹, 吉野 孝: ドアコム AR：ポータルを用いた空間
接続表現手法による対話相手の存在感の強化, 情報処理学会インタラクション (2018),
Photon Unity Cloud, https://www.photonengine.com/enUS/photon.
Shenchang Eric Chen:QuickTime VR -An Image-BasedApproach to Virtual Environment Navigation, SIGGRAPH (95)David Haley, Danny Askew, Jason Syltebo, Travis
Steiner:Case study - Capturing and creating content
for HoloTour, https://docs.microsoft.com/enus/windows/mixed-reality/case-study-capturing-andcreating-content-for-holotour
Ben Cutler, Spencer Fowers, Wayne Chang, SamuelOgden:Holoportation, https://www.microsoft.com/enus/research/project/holoportation-3/
GSVPano, https://juampi92.github.io/ GSVPano/
Bob G. Witmer, Michael J. Singer:The factor structureof the Presence Questionnaire.
Bob G. Witmer, Michael J. Singer:Measuring presencein virtual environments: A presence questionnaire.
Presence : Teleoperators and Virtual Environments, 225240.
畑中 衛, 濱川 礼: AR を用いた風景重畳によるウォーキ
ング意欲向上システム, WISS (2017).

863