WISS 2018

CompoundDome: スクリーンを部分的に透過することにより現実世界とインタラクションを可能にする装着型ドーム装置
丸山英梨子*

暦本純一* †

概要．仮想空間を体験する手法として，頭部搭載型ディスプレイ（HMD）が広く使われている．しかし，HMD には，他人が使用した機材に肌が触れるなどの装着上の課題や，VR 酔いを誘発しやすい，face to face のコミュニケーションを実現することが困難であるなどの機能上の課題がある．これらの課題を解決するために，本研究では，直径 600mm のドーム状の装置を装着し，プロジェクタから装着者の視界を覆うようにドームに映像を投影する構成，CompoundDome を提案する．この構成により，機材が肌に触れず，VR 酔いを軽減できる．また，CompoundDome では透明なドームにメッシュ状にスクリーン塗料を塗布し，映像を投影すると映像が見え，投影しないとドームの外側が透けて見える機構を実現した．さらに，ドーム内のカメラにより顔を撮影することで，遠隔会議や仮想空間内に利用者の顔を反映し，face to face のコミュニケーションが実現できる．本論文ではCompoundDome の構成，他の仮想空間提示手段との比較，CompoundDome によって可能となる種々の応用について述べる．

1

はじめに仮想空間を体験する手法として，頭部搭載型ディスプレイ（HMD）が広く使われている．しかし，HMD にはいくつかの問題点がある．筆者らは，その課題を 5 つに分類した．
1. 装着性の課題（装着が煩雑，閉塞感がある，他人が使用した機材に肌が触れる，髪の毛や化粧が崩れることが不快など）
2. 視野角の課題（広視野を確保することが構造上困難）
3. VR 酔いの課題（頭部運動に追従させて映像を更新するため，映像の遅延から VR 酔いを誘発しやすい）
4. 実世界とのコミュニケーションの課題（仮想空間の体験中に，装着者が実世界の状況を把握できず，装着者と周囲の人が話すことができない）
5. 仮想空間内のコミュニケーションの課題（仮想空間を介したコミュニケーション応用が注目されているが，HMD が顔を覆ってしまうため，顔を撮影することができず，通常のテレビ会議のような face to face のコミュニケーションを実現できない）
HMD 以外の仮想空間を体験する手法としては，
Copyright is held by the author（s）．
* 東京大学，† ソニーコンピュータサイエンス研究所

HoloLens に代表される透過性 HMD があるが，視野が狭く，仮想空間に没入することは難しい．また，
CAVE（Cave automatic virtual environment）[15]に代表される多面立体表示システムでは，体験を周囲の人と共有できるが，装置の規模が大きすぎる．
これらの課題を解決するために，本研究では，ドーム状の装置を装着し，プロジェクタから装着者の視界を覆うようにドームに映像を投影する構成，CompoundDome を提案する．この構成により，広視野を確保でき，頭部運動と映像の変化が分離できVR 酔いを軽減できる．ドーム型の仮想空間提示装
置 は 従 来 か ら も 提 案 さ れ て い た が ，CompoundDome では透明なドームにメッシュ状にスクリーン塗料を塗布することで，映像を投影する

図 1．
（a）映像有りの装置の外観，（b）映像無しの装置の外観（F 値: 4.0, シャッタースピード：30）

WISS 2018

図 3．装置構成図．
表 1．提案方式の特徴（○: good， -: fair， △: depend ondevices， ×: poor ）．

図 2.（a）映像が投影されている部分では，装着者と遠隔地の人はお互いの顔が見え，周囲の人は装着者の見ている

図 4．ドームの映像投影部位．（a）映像を投影していない時，（b）映像投影時．

仮想空間が見える．（b）映像を投影していない部分では，装着者と周囲の人はお互いの顔を見て話すことができる．と映像が見え，投影しないと外が透けて見える機構を実現している．例えば，利用者の周囲に人がいる
場合はその人の部分だけ現実空間が見え，コミュニケーションが取れる，歩行する場合は足元が透けてみえるなど，仮想空間と現実空間の視認性の割合が自在に設定可能である．また，ドームの内側に向けられたカメラにより装着者の顔を撮影することで，遠隔会議や仮想空間内に利用者の顔を反映させることが容易に実現可能である．以上の議論の結果を踏
まえ，他の機器との比較を表 1 として示す．

2CompoundDome

2.1 システム概要
本システムは，映像の有無により face to face のコミュニケーションをする相手が変わる（図 2）．ドームに映像が投影されている部分を見ると，周囲の人は，ドームに投影された映像を外側から見ることができ，装着者は投影された映像を内側から見る．
遠隔地の人が投影されている場合には，装着者は遠隔地の人と face to face のコミュニケーションができる．映像が投影されていない部分は，周囲の人はドームの内側（装着者）を見ることができ，装着者はドームの外側（実世界）を見ることが可能だ．つまり，周囲の人と装着者は，face to face のコミュニケーションが取れる．
2.2 システム構成
この装置は，プロジェクタ，プロジェクタの映像を広くするための広角レンズ，半球のドーム，コン
ピュータ，iPod touch からなる（図 3）．
プロジェクタは，大きさ 77mm×150mm×13mmのレーザプロジェクタであり，重さ 210g である．
レーザプロジェクタのため，ドーム内全面でピントが合う．プロジェクタの先には 10 倍の広角レンズを使用した．ドームは，アクリル製の直径 600mm，重さ 1,2kg の半球である．この筐体にスクリーン用の黒い塗料を塗布し，ドーム上部から映像を投影している．視野角は，約 160 度である（図 4）．
制御用コンピュータは，MacBook Pro を使用した．
2.3 メッシュスクリーン
スクリーン用塗料とマスキングシートを用いて，アクリル製のドームに 2mm 幅，2mm 間隔のドットを描画し，メッシュスクリーンを作成した．マスキン
グシート一枚の形状は，舟型多円錐図法を用いて半球の表面を 12 分割した，半径約 300mm，中心角 30度の扇型である．
レーザーカッターを用いて計 12 枚

CompoundDome: スクリーンを部分的に透過することにより現実世界とインタラクションを可能にする装着型ドーム装置

図 5．メッシュ状のスクリーンを作る過程．
（a）マスキングシートをレーザーカッターで加工し，ドームに貼り付けてスクリーン塗料を塗布した，（b）ドットの切り出し，シートの貼り付
け，スプレー塗布の作業の様子．

図 7．映像が一部投影されないことで，現実世界が見える．
（a）
映像が投影されると，現実世界（周囲）は見えない（背景モード），（b）映像が一部投影されないことで，現実世界（周囲の人の顔）が見える（透過モード），（c）（a）の状態での装着者からの見え方，（d）（b）の状態での装着者からの見え方．（e）（c）と同じ状態（f）（d）のピントをドットに合わせた状態．

図 6．システム概要．のシートに穴を開け，ドーム上に貼り付け，黒色のスクリーン用スプレーを塗布した（図 5）．
2.4 コンピュータ，カメラと iPod touch
ドームの前面には，WEB カメラと iPod touch を設置し，コンピュータは背中に背負うように設置した．カメラは，背中にあるコンピュータと繋がっており，装着者の顔側に向けられている．ドームの先端に取り付けられた iPod touch は，加速度センサとして使用した．
2.5 ソフトウェア
システム概要を図 6 に示す．ソフトウェアの開発
環境は，産業や研究において広く使われる Unity を使用した．Photon Unity Network（PUN）という，リアルタイムのマルチプレイヤーゲーム開発フレームワークを用いることで，仮想空間内に複数人が同時に存在できる環境を構築した．そのため，複数人が仮想空間内でお互いの存在に気がつき，コミュニケーションを取ることができる．また，iPod touchの加速度をコンピュータに送信するために，ZIGSimulator というアプリケーションを使用した．加速度の値を送ることで，ドームの動きと映像の動きを一致させ，装着者の動きと仮想空間の向きを同期させている．
また，遠隔地にいる人，装着者の顔を表示するため，インターネット電話サービスである Skype を用いてビデオ通信を行った．装着者の顔は，ドーム前面に内側に向けて設置されたカメラによって取得され，遠隔地の人の見るディスプレイやスクリーン上に表示される．また，遠隔者の顔はドームの仮想空間内に表示される．

3

評価実験

3.1 実験の目的と概要
装置の有用性を確かめるため，装置を使用したことにより酔いが発生したか，映像の切り替えによりコミュニケーションが取れたかという 2 つの観点からの評価実験を行った．対象は，本装置を使用したことのない 8 名（22-25 歳，男性）である．
実験１
システム使用時の酔いと，映像を頭部運動に追従させる方法による酔いを確認するために，30 秒ずつ頭のみを動かし首を振る（実験 1.1），装置ごと首を振る実験（実験 1.2）を行った．評価は，首を振ったことで酔わなかったかという項目に対し，7

WISS 2018

ドームの外側が透けて見えることが分かった．この点について，外側の人の顔が暗く，見えづらかったという声もあったため，今後，明るさの調整を行う．
また，コメントによる結果では，“仮想空間内に現実世界の人の顔が見えるのは，新しい感覚だった”，“ゲームみたいで面白かった”，“今ある HMD より装着した時の圧迫感がないため，ずっと装着して映画や VR コンテンツを見るのに適している”，などのフィードバックを得た．
図 8．実験 1，2，3 の結果（平均と，標準誤差）．

4議論

4.1 スクリーンの解像度・輝度

図 9．応用例．
（a）ドームに顔を投影した，（b）体験中に携帯を見ることが可能．

段階（当てはまらない＝１，少し当てはまらない＝２，どちらかというと当てはまらない＝３，どちらでも無い＝４，どちらかというと当てはまる＝５，少し当てはまる＝６，とても当てはまる＝７）で評価を行った．
実験２
黒い映像を投影することでドームの外部が透けて見え，周囲の人と装着者がコミュニケーションを取れるか確認するために実験 2 を行った（図 7）．具体
的には，仮想空間上に配置した黒い円に人が入ることで人が見えたか質問し，実験１と同様 7 段階で評価した（実験 2.1）．また，装着者側からだけでなく，周囲の人が装着者の顔が見えたか（実験2.2），会話することができたか（実験 2.3），7 段階で評価した．
実験３
装着者と遠隔地の人が話せたか，実験を行った．遠隔者は，部屋の外に出て会話をした．装着者が遠隔地の人とコミュニケーションを取れたか質問した（実験 3）．
3.2 実験結果
実験 1 から 3 の結果の平均と標準誤差を，図 8 に示す．
実験 1.1 と 1.2 において t 検定を行った結果，有意差が見られた（p<0.05）．よって，映像を頭の動きに追従しない方法を用いることで，VR 酔いが軽減することがわかった．
実験 2 においては，黒い映像を投影することで，現在，メッシュスクリーンは，幅 2mm，間隔 2mmのドットの描写により作成したが，メッシュの粗さは，画像の荒さとなる．そのため，より高解像度の映像を投影するためには高密度な印刷が必要であると考える．将来は，印刷業者に製作を委託するなどの手段により，解像度の高いスクリーンを目指す．
また，現状の装置ではプロジェクタの輝度が低いため，暗い環境下でのみ体験可能である．そのため，ドーム内部に光を入れる，外部を照らす機構を作る，プロジェクタの輝度を高くするなど，明るさを調整することで，より多くの状況下で使用可能になるだ
ろう．
4.2 ドームの大きさ
現在は，直径 600mm のアクリル製の半球を用いたが，大きさは検討の余地がある．ドームが大きければスクリーンが遠いため，より自然な映像を投影できるが，重くなり，暗くなる．小さくすると，ヘルメットや HMD のように頭に追従して動いてしまうという問題がある．今後は，最適な装置の大きさを模索する．
4.3 コミュニケーション
図 3 から分かるように，本装置では，装着者と周囲の人，装着者と遠隔地の人とのコミュニケーションは可能だが，遠隔地と装着者付近の人とのコミュニケーションは取ることができない．そのため，遠隔地の人と装着者付近の人がコミュニケーションを取りたい場合は，装着者はいつも仲介人となる必要がある．本システムでは，周囲の人が遠隔地の人と装着者の会話に入ることを考慮していないが，ドームの外側にマイクを付けるなどの改良により，三者間での会話が可能になるだろう．また現状では，コミュニケーションを取る相手の顔を仮想空間の任意の場所に表示しているが，対話相手の仮想空間内での位置を把握できない．そのため，今後，仮想空間内の装着者の位置と顔の位置を同期することで，より多くの人とのコミュニケーションや，仮想空間のCompoundDome: スクリーンを部分的に透過することにより現実世界とインタラクションを可能にする装着型ドーム装置

場所に応じた会話が可能になるだろう．

5

今後の応用

5.1 顔の拡張
例えば，スクリーン上に顔の映像を投影することで，自分の顔があたかも投影された他人の顔や化粧をした顔であるように見せることができるだろう（図 9）．このような手法は他にもあるが[1]，投影する映像を自在に加工，変更することで，顔を提示する一つの手法になると考える．
5.2 ドームを利用した機構
HMD は機器が目の辺りにあるため，顔全体に触覚を提示することは不可能であったが，頭に装着しないドーム型であることで，顔全体に触覚提示が可能だ．例えば，ドームの内側の両端にファンを設置し，左右から風を送ることで，装着者の顔正面に風を送ることができる．顔に風を送ることで，ジェットコースターの風や吹いているそよ風といった仮想空間内での風の体験を，顔への触覚によって体験できるだろう．
5.3 インタラクション
ドームの外側に向けたカメラを設置することで，実世界の認識を行うことを検討している．例えば，顔認識を行うことで，周囲の人が装着者を見ているときに黒い映像を自動で投影し，装着者が仮想空間の体験に没頭している時でも周囲の人とコミュニケーションが行えるようになるだろう．また，カメラによりスマートフォンを認識し，黒い映像を投影することで，体験中に現実世界のモノに対し操作を行うことが可能だ（図 9）．他にも，装着者が，遠隔地の人と話しているのか周囲の人と話しているのか分かるような設計や，歩き始めたことを認識し，足元が見えるような設計を検討する．

6

関連研究

6.1 仮想空間体験時の外界とのコミュニケーション仮想空間の体験が閉じた体験になっているという問題があることから，仮想空間を体験している装着者が周りの人とコミュニケーションを取る方法が提案されてきた．一つの手段として，外側に向けられたカメラで読み取った映像にデジタル情報を被せて表示する，ビデオシースルーHMD が使用されている．また落合らは，プロジェクタの映像を壁面に出すことで体験を周囲の人と共有する方法を提案している[9]．Jan らは，HMD の映像を床面と外部ディスプレイに表示することで，HMD を装着していない人も仮想空間での体験を可能にする手段を提案している[3]．暦本らは，装着者の体験中の顔を共有する手法として，HMD を被っている状態での顔の動きから表情を推定する手法を提案している[1][4][5]．
これらの手法は，体験者の体験を共有すること，見えなかった装着者の顔を外側に提示することを可能にしたが，装着者を直接見ることができないため，装着者と周囲の人が face to face のコミュニケーシ
ョンを行うことはできない．
6.2 仮想空間内での遠隔地とのコミュニケーション
仮想空間を介したコミュニケーションの方法として，アバターを使用する，遠隔地の情報を広い空間に表示するという手法がある．Justus らは，HMD内部に向けられたカメラを用いて，HMD を被っている状態で顔全体の表情を推測し，リアルタイムにアバターとして出力している[5]．また，NEC のSmoothSpace[10]は，遠隔地の状態をプロジェクションすることで，離れた空間と空間を接続する環境を実現している．しかし，顔推定では現状，深刻な話題のテレビ会議に使用できるような微細な表情変化の表現は難しい，プロジェクションの方式では広い場所を必要とする，という課題がある．
6.3 ドーム型装置
ドーム型の VR 体験装置は，プラネタリウムのような大型スクリーンや，持ち運び可能な中型の映画鑑賞などを目的にしたスクリーン，一人で持ち歩けるほどの小型のスクリーン[2]など様々な大きさの装置がある．例えば岩田らのドーム型 VR 装置は，一人用の装置であり，ドームを被りながらトレッドミル上を歩くことで，仮想空間を歩いているような体験が可能となる提案をしている[8]．これらの手法は，VR 体験を目的としており，周囲を見ることや，周囲から体験者が見えるというような機構は無い．
そのため，実際に実世界の道を歩く，コミュニケーションを取るという行為は難しい．

7

むすび

本稿では，ドーム状の装置を装着し，プロジェクタから装着者の視界を覆うようにドームに映像を投影する構成，CompoundDome を提案した．このシステムにより，HMD の持つ課題を解決し，周囲の人や遠隔地の人とのコミュニケーションを可能とした．実験結果から，本装置を用いてコミュニケーションを取ることが可能だと分かった．
また，今後は，ドーム外部の実空間を把握すること，複数人が同時にシステムを使用することを目指す．

WISS 2018

参考文献
[1] Christian Frueh ， Avneesh Sud ， and Vivek
Kwatra． 2017． Headset removal for virtual andmixed reality ．
In ACM SIGGRAPH 2017
Talks（SIGGRAPH '17）
．ACM，New York，NY，USA， Article 80， 2 pages．
， 2017[2] HaruhikoOkumura，Takashi Sasaki，Aira Hotta，Kazumitsu Shinohara，Monocular hyper-realistic
AR head-up display，Journal of the SID， pp34-43，
2017[3] Jan Gugenheimer， Evgeny Stemasov， Julian
Frommel， and Enrico Rukzio． 2017． ShareVR:
Enabling Co-Located Experiences for Virtual
Reality between HMD and Non-HMD Users ．
In Proceedings of the 2017 CHI Conference on
Human Factors in Computing Systems （CHI '17）．
ACM，New York， NY，USA， 4021-4033．，2017[4] Jun Rekimoto， Keishiro Uragaki， and Kenjiro
Yamada． 2018． Behind-the-mask: a face-throughhead-mounted display． In Proceedings of the 2018
International Conference on Advanced VisualInterfaces （AVI '18）
． ACM， New York， NY，USA， Article 32， 5 pages．
， 2018

New York， NY， USA， Article 11， 9 pages．，
2014[7] Kana Misawa ， Yoshio Ishiguro ， and Jun
Rekimoto ． 2012 ． LiveMask: a telepresence
surrogate system with a face-shaped screen forsupporting nonverbal communication ．
InProceedings of the International Working
Conference on Advanced Visual Interfaces （AVI'12）， Genny Tortora， Stefano Levialdi， andMaurizio Tucci （Eds．
）． ACM， New York， NY，USA， 394-397．
， 2012[8] Shibano N ， Hareesh P ． V ， Hoshino H ，Kawamura R， Yamamoto A， Kashiwagi M andSawada K ， CyberDome: PC Clustered Hemi
Spherical Immersive Projection Display， ICAT
2003，2003[9] Yoichai Ochiai,ReverceCave, Siggraph E-tech
2017,2017[10] NEC,SmoothSpace,http://www.nesic.co.jp/solution/eo/smoothspace.html[11] Cave,https://ntrs.nasa.gov/archive/nasa/casi.ntrs.n
asa.gov/19960026482.pdf[5] Justus Thies ， Michael Zollhöfer ， Marc
Stamminger， Christian Theobalt， and Matthias
Nießner． 2017． Demo of FaceVR: real-time facial
reenactment and eye gaze control in virtual reality．
In ACM
SIGGRAPH
2017
EmergingTechnologies（SIGGRAPH '17）
． ACM， New York，NY， USA， Article 7， 2 pages．
， 2017[6] Kaan Akşit， Daniel Kade， Oğuzhan Özcan， andHakan Ürey． 2014． Head-worn mixed reality
projection display application． In Proceedings ofthe 11th Conference on Advances in ComputerEntertainment Technology （ACE '14）． ACM，

未来ビジョン
本研究は，「自分が存在したいパーソナルな空間を持ち運ぶこと」を目標としている．現状
では，空間を持ち運ぶ手段として映像をドームに投影した．映像を投影するためにはスクリーン部分が必要であったため，本稿ではドーム型の装置を用いたが，今後はより軽量化，透明化を行うことで，日常的に使用できる装置を製作することを目指す．例えば，ホログラムの技術の発達や，変形可能なディスプレイが開発されることで，肩の上に置くことのできる小さな装置，折りたたむことで小さく運べる形状の装置に応用できると考える．日常的に使える形状になることで，また，このようなウェアラブル装置がより一般化し社会に受け入れられることで，図のように，多くの人が装着し，装着者同士が語り合うこと，体験を共有することが可能になるだろう．