3D-05
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere

第 24 回日本バーチャルリアリティ学会大会論文集（2019 年 9 月）

Tabletop ARrietty市川 将太郎 1)，鈴木 蒼生 1)，邱 家輝 1)，遠藤 勇 1) , 大坂 侑平 1) ，土田 太一 1) , 丹野 隆幸 1) , 泉 健太 2)
Shotaro ICHIKAWA, Aoi SUZUKI, Pascal CHIU, Isamu ENDO, Yuhei OSAKA,
Taichi TSUCHIDA, Takayuki TANNO, and Kenta IZUMI1)東北大学 電気通信研究所
2)

東北大学 工学部

概要：本企画は，バーチャル空間内で“小人”として VR 体験をする HMD 装着者と，スマートフォンの画面を通してバーチャル空間を AR 体験する非 HMD 装着者が互いにインタラクション可能なコンテンツである．小人となった HMD 装着者は，現実空間内の HMD 装着者の位置をバーチャル空間内部に投影される全天球映像で確認しながらバーチャル空間内を探索する．スマートフォンとHMD，360 度カメラを組み合わせることで，1 つのバーチャル空間を異なる視点から共有し，HMD装着者と非 HMD 装着者がともに楽しめる体験を提供する．
キーワード：仮想現実，拡張現実，全天球映像，複数人体験

図 1: (左)コンテンツのイメージ, (右)体験中の様子

1. はじめにタラクションを行うもの[1, 2, 4]などが提案されている．

HMD を用いた VR 体験は，現実空間の物理的な制約に本企画では，図１に示すようなスマートフォンを利用し縛られることなく，非現実的なコンテンツを楽しむことがた AR 体験と，360 度カメラで撮影した現実空間映像のバ可能である．一方で，HMD を使用した VR コンテンツは，ーチャル空間への投影により，HMD 装着者と非 HMD 装体験者が 1 人に限られる場合が多く，HMD を装着してい着者が 1 つのバーチャル空間を異なる視点から共有，体験ない体験者（非 HMD 装着者）にはバーチャル空間内の体可能なシステムの実現を目指す．

験が伝わらないという問題点がある．これに対して AR/VR

2. システム概要体験(XR 体験)を複数人で体験するものとして，VR Chat[6]

本章では企画を実現するシステムの詳細と実現方法に等のネットワーク上でバーチャル空間を共有するものや，ついて述べる．

スマートフォンを利用してバーチャル空間を体験する

2.1 複数人でバーチャル空間を共有するシステム

REARITY[7]などが提案されている．一方で，本企画では 1

提案システムの利用場面は図 1 右，図 2 のように，HMD台の HMD のみを使用して，複数人で XR 体験を行う場面

装着者 1 人と，テーブルを囲うように立った状態でスマーにおいて，非 HMD 装着者がバーチャル空間を体験できなトフォンを使用して AR 体験を行う複数人の非 HMD 装着い点に着目する．

者を想定する．非 HMD 装着者は，スマートフォンを使用この問題に関する過去の検討として，HMD 装着者が見して HMD 装着者が VR 体験しているバーチャル空間と同ている映像を非 HMD 装着者にプロジェクション等の方法じ空間を AR 体験する．この時，HMD 装着者が操作するで表示するもの[2, 3, 5]や，非 HMD 装着者がコントローラ

バーチャル空間内のキャラクターの位置情報や，AR 体験やディスプレイへのタッチ入力により HMD 装着者とイン中のスマートフォンの位置情報は AR Kit2 と，Photon UnityⒸ 2019 日本バーチャルリアリティ学会-3D-05-

3D-05

図 2: 体験中の俯瞰図

図 3: 360 度映像を投影する半球体モデルの概略図

Networking (PUN) を利用して共有する．この共有した位置

2.4 使用デバイス・ソフトウェア

情報を基に各デバイス内で描画処理することで，リアルタ

本企画の実現にあたって使用予定のデバイスやソフトイムでバーチャル空間を共有する．

ウェア情報とシステム構成の概略図を図 4 に示す．AR 体

2.2 VR 空間への現実空間映像の投影

験の実現には iPhone を利用する（AR Kit2 を利用，iOS12

スマートフォンを利用した AR 体験により，非 HMD 装以降）
．XR コンテンツの実装には Unity と PUN を利用す

着者は HMD 装着者が体験しているバーチャル空間を共有る．HMD は HTC Vive を利用し，HTC Vive Controller 及びすることができるが，HMD 装着者は非 HMD 装着者が現Base Station を利用して，HMD 装着者のトラッキングや入実空間内のどこにいて，どんな様子でバーチャル空間との力操作を行う．また，VR コンテンツを制御する PC にはインタラクションを行っているか確認できない．本企画で360 度カメラ（RICOH THETA S）が USB 接続されており，は，現実空間の様子をバーチャル空間内へ投影するため，360 度映像をリアルタイムでバーチャル空間内へ表示する

図 1 右のようにテーブル上に 360 度カメラを設置し，撮影

3. Tabletop ARrietty

した映像をリアルタイムにバーチャル空間へ表示する．こ

本企画では，HMD 装着者と非 HMD 装着者が同じバーの時のバーチャル空間の構成を図 3 に示す．バーチャル空チャル空間を別々の視点から体験する XR コンテンツとし間内の HMD 装着者を包囲するように半球体の 3D モデルて，“小人”と“巨人”をモチーフにしたコンテンツ「Tabletop（図 3 中，外側の緑の半球）を表示し，その内面にカメラARrietty」を展示する．小人や巨人を題材にした童話やアからの映像を描画することで，HMD 装着者が周囲を見回ニメは，「進撃の巨人」，「借りぐらしのアリエッティ」，「ジすと現実空間の 360 度カメラの位置から周囲を見回したャックの豆の木」など古くから馴染みがあり，体験者によ際と同じ映像を見ることができる．って異なる位置，大きさの視点から体験するコンテンツはまた，前節で述べた仕様から，現実空間内のスマートフ高い表現自由度を持つバーチャル空間との相性も良い．

ォンの位置情報を取得することができるため，これを利用

Tabletop ARrietty では，HMD 装着者が小人，非 HMD 装着

して 360 度カメラ映像を表示している球体モデルの内側者が巨人役となり，コンテンツを体験する．に配置した半球体モデル（図 3 中，内側のピンクの半球）

3.1 体験時のレイアウトに，スマートフォンの位置情報を基にした 3D モデルやエ体験スペースは，主に HMD 装着者が VR 体験をするエ

フェクトを配置することで，小人は，現実空間とバーチャリアと，非 HMD 装着者が AR 体験をするエリアに分かれル空間が混ぜ合わされた空間を見ることができる．

る．非 HMD 装着者は図 1 右，図 2 右のように 360 度カメ

2.3 操作方法・インタラクション

ラが中心に置かれたテーブルを囲うようにして体験を行

体験中の HMD 装着者と，非 HMD 装着者のシステムのう．HMD 装着者が見ているバーチャル空間の映像は，操作方法について説明する．HMD 装着者は展示スペースの制約から，椅子に座って体験し，ハンドヘルドコントローラを利用して操作を行う．移動操作はバーチャル空間内に設定されたテレポート可能な場所をコントローラ操作で指定し，テレポート移動する．この移動操作は非HMD 装着者には 2 点の間を移動するアニメーションとして表示する．その他のバーチャル空間内の物体とのインタラクションは，コントローラのボタン入力を使用する．
スマートフォンを手に持った非 HMD 装着者は，現実空間を歩き回ることで，AR 表示されるバーチャル空間内を移動し，スマートフォンの画面上でのタップ・スワイプ操作や，マイクを利用した入力でインタラクションを行う．これらのインタラクション操作も PUN を利用した通信によって同期され，各デバイス内で描画処理を行う．

Ⓒ 2019 日本バーチャルリアリティ学会-3D-05-

図 4:システム構成図

3D-05
HMD が接続された PC のモニタ映像として表示され，非参考文献

HMD 装着者や傍観者がバーチャル空間で起こっているこ[1] Foreign VR. Ruckus Ridge VR Party. Game[HTC Vive].とを HMD 装着者の視点から確認することもできる．

2016.
[2] J. Gugenheimer, D. Dobbelstein, C. Winkler, G. Haas, and E.

3.2 体験の流れ
体験中のイメージ図を図 1 に示す．小人となった HMDRukzio. FaceTouch: Enabling touch interaction in display

装着者の目的は，巨人に奪われてしまった小人族の魔法のfixed UIs for mobile virtual reality. In Proceedings of the

種を取り返す事である．種は巨人が暮らす世界の，テーブ

29th Annual Symposium on User Interface Software andルの上に落ちている．小人は自分の体よりも大きいものにTechnology (UIST '16). 49-60. 2016.

隠れ，巨人に見つからないように種を集める．一方で，非[3] J. Gugenheimer, E. Stemasov, J. Frommel, E. Rukzio.

HMD 装着者の目的は，種を奪おうとしている小人を見つ

ShareVR: Enabling co-located experiences for virtual reality

け出し，捕まえることである．現実空間にあるテーブルのbetween HMD and non-HMD users. In Proceedings of the

方向へスマートフォンを向けると，テーブル上にバーチャ2017 CHI Conference on Human Factors in Computing

ル空間が広がっている．現実空間内を歩き回ったり，スマSystems. 4021-4033. 2017.

ートフォンを移動させることでバーチャル空間内を移動[4] H. Ibayashi, Y. Sugiura, D. Sakamoto, N. Miyata, M. Tada, T.

し，小人を探し出す．巨人に見つかってしまった小人は，Okuma, T. Kurata, M. Mochimaru, T. Igarashi, Dollhouse

テーブル上に置いてある花火やパチンコなどの道具を利

VR: A multi-view, multi-user collaborative design workspace

用して巨人へ攻撃することができる．巨人が攻撃をうける

with VR technology, In ACM SIGGRAPH ASIA 2015と，スマートフォンの画面に煙や汚れのエフェクトが表示

Emerging Technologies. 2015.

され，バーチャル空間が見えにくくなる．非 HMD 装着者[5] A. Ishii, M. Tsuruta, I.Suzuki, S.Nakamae, T.Minagawa,

は，スマートフォンへのタッチ，スワイプ，マイク入力にJ.Suzuki, Y.Ochiai. ReverseCAVE: Providing reverse

より汚れを拭ったり，小人に対して反撃する操作を行うこ

percepectives for shareing VR experience. In Proceedings ofACM SIGGRAPH 2017 Posters. 28. 2017.とができる．小人を捕まえるためには，小人の動きを妨害[6] VR Chat Inc., VR Chat, https://www.vrchat.net/

し檻で捕まえる操作が必要となる．
このコンテンツは，体験する全員が同じバーチャル空間[7] Wrightを共有し，現実空間の体験者の様子を見たり，互いにコミュニケーションを取りながら体験できる．バーチャル空間
内で起きる出来事を，共感することでより没入度の高い魅力的な XR 体験が可能となると期待する．

Ⓒ 2019 日本バーチャルリアリティ学会-3D-05-

Flyer

LiveEntertainment,

https://le.wrightflyer.net/reality/

REALITY,