WISS 2022

周囲の環境への同時投影も可能な全周囲ディスプレイの提案と実装
西村 晶太郎 ∗橋本 侑樹 ∗佐藤 颯一朗 † 宮崎 竜輔 †佐藤 俊樹 ∗概要.
全周囲に映像を投影したものを全周囲ディスプレイという．全周囲ディスプレイには，ある形と大きさをもつ立体物の表面全周囲に映像を投影したものと，ユーザの居る環境全周囲に映像を投影したものが存在する．我々は，この 2 つの異なる全周囲ディスプレイの要素を同時に表現可能にすることで，2 つの映像間をなめらかに行き来することが可能になり，新たな映像体験を得られると考えた．本研究では，1 点からの 360 度全周囲投影・撮影技術と，ディスプレイの透過不透過の高速切り替え技術により，本来 2 つのデバイスを必要とするディスプレイを，1 つのデバイスに実装することで，2 つの利点を併せ持つ全周囲ディスプレイを提案する．本稿では，提案プロトタイプの具体的な設計と実装方法，また，アプリケーション案と今後の展望について述べる．

図 1. 外から眺める場合 (左)，内から眺める場合 (右)図 2. 提案機構の概要

1

はじめに全周囲に映像投影が可能な立体的なスクリーンを持つディスプレイ (以下，全周囲ディスプレイと呼ぶ) は，複数ユーザでの様々な位置・角度からの閲覧を可能にする．このような全周囲ディスプレイには，主に 大きく 2 つの種類があると考える．1 つ目の全周囲ディスプレイは，図 1 の左に示すような，ユーザがスクリーンの外 (周囲) に立ち、外から眺めるタイプの閲覧が可能なタイプである [1]．一方，2 つ目の全周囲ディスプレイは，図 1 の右に示すような，ユーザがスクリーンの内部に入り，周囲を眺めるタイプの閲覧を可能にする [2]．このような 2 つの全周囲ディスプレイは，それぞれ全く異なる映像体験を有しているが，これまでそれぞれ全く別のディスプレイとみなされてきた．そこで本研究では，これまで全周囲ディスプレイのスクリーンに光学的な透過性を持たせることでこの 2 つの異なる全周囲ディスプレイを 1 つのハードウェアとして統合する試みを行ってきた．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗北陸先端科学技術大学院大学†電気通信大学

2

提案と目的
2 種類の異なる立体的なスクリーンの全周囲に映像投影・撮影を行う場合，投影に必要なプロジェクタの台数も必然的に多くなり，非常に大規模な装置が必要となる．そこで我々は，「立体的なスクリーンの中央一点からの超広角投影・撮影技術」と，「スクリーンの透過と不透過の制御技術」により，1 台のプロジェクタ・カメラシステムを用いた全周囲スクリーンおよびその周囲の環境への全周囲映像投影，全周囲映像撮影が可能な全周囲ディスプレイ機構を提案してきた．この機構の概要を図 2 に示す．
図 2 におけるスクリーン A およ B は，外から眺めるスクリーン A と内から眺めるスクリーン B がそれらの中央に配置された 1 台の超広角プロカムユニッ
トを中心に配置されたものである．またスクリーンA の材質は，動的に透過率が制御可能な材質が用いられている．まずスクリーン A が透明状態の場合，プロジェクタ光は A をすり抜け，周囲の環境 (B) に投影される．また，スクリーン A が不透明状態の場合，プロジェクタ光は A のみの全周囲に投影される．さらに，スクリーン A の透過率をプロジェクタのリフレッシュレートと同期させることにより，Aと B それぞれに映像を投影することも可能になる．
以上の機構により，「外から眺める」ことと「内かWISS 2022ら眺める」ことを 1 つのシステム上で同時に行うことが可能になる．これにより，異なる閲覧スタイルを必要に応じて動的に行き来しながらの新たな映像体験の可能性が可能になると考える．以下に本論文
では，提案機構を実現するために本研究が行った試作開発について具体的に述べ，アプリケーションの可能性についても述べる．

3

実装

本研究では，プロトタイプの開発を段階的に行っており，第一段階では，センシングを行う技術，つまり撮影技術に関しては考慮せず，全周囲投影技術と，ディスプレイの透過と不透過の高速切り替え技術の試作を行った．第二段階では，第一段階のプロトタイプに対し，撮影技術を実装した．
まず投影には，最大 240Hz での投影が可能なプロジェクタ (ViewSonick PX701-4K) と超広角レンズ (Opteka Vortex) を用いることとし，ハーフミラー (透過率 80%) を介してカメラ (FLIR CM3U3-13Y3) での同軸撮影も行えるようにした．
ディスプレイの透過と不透過の切り替えには高分子分散型液晶 (PDLC)，特に，入手可能だったものの中では最も応答性の高い日本板硝子の umu フィルムを使用し，これを一辺 30cm 四方のものを 5 枚使用組み合わせることで四方と天面を持つ立方体形状に構成した．
本全周囲ディスプレイの特徴の一つは，PDLC への映像投影と，PDLC を透過させることでの環境への映像投影を同時に，かつ独立した映像を投影可能な点である．これを行うための透過と不透過の高速なスイッチングは，投影するプロジェクターの垂直同期信号と同期させる必要がある．そのため画像処
理・映像投影用の計算機 (Corei7, 16GB, GTX1050)から出力された映像信号は，HDMI スプリッタを介してプロジェクタに送ると同時に HDMI 信号をデコードするために用いた VGA 信号変換器を介して，PDLC 制御用のマイクロコントローラ (Arduino)に送信されるようにした．
また UMU フィルムは仕様上，不透明から透明が約 1ms，透明から不透明が約 10ms の変化時間を要する．透過率が切り替わる途中で投影をすると，両方のスクリーンに意図する映像を投影することはできないため，変化に要する時間を考慮し，連続的に生成される画像のうち，その半分のコマは，ブランク (黒) 画像の挿入を行った．これにより，垂直同期信号をもとに制御を行う場合は，透明から不透明の切り替えに 10ms かかること，黒画像の挿入があることを考慮すると 100Hz でプロジェクタを動作させるのが妥当であると考えらえる．一方で，現状では，秒間 30 コマ映像をそれぞれのスクリーンに投影している．このとき，プロジェクタは 100Hz ではなく，120Hz で動作させている．一秒間あたりに図 3. システム構成図

生成する画像の内訳は，不透明から透明に変わる間の黒画像を 30 コマ，透明の間に表示する画像 30 コ
マ，透明から不透明に変わる間の黒画像 30 コマ，不透明の間に表示する画像 30 コマ，この 4 パターンの画像を 1 コマずつ周期的に切り替え，120 コマの映像をプロジェクタを投影する．120Hz の場合，1コマ切り替わるのにかかる時間は 8.3ms であるため，前述の説明と矛盾するが，それでも 120Hz で動作せている理由としては，120Hz での動作でも，見かけ上問題が無いということがあげられる．おそらく，完全に透明から不透明にかかる時間は 10msかかるが，8.3ms 経った時点で，ほぼ不透明の状態（PDLC ディスプレイに投影される状態）になっており，120Hz で動作させても問題が無いと推測している．

4アプリケーション案

全周囲ディスプレイは立体的な形状を有している
ため，ユーザはスクリーンの全体像を一望できないという特徴が存在する．これはユーザがスクリーンの外から眺めた場合でも内から眺めた場合でも発生しうる特徴である．しかし提案システムを用いることで，例えばスクリーンの見えない部分に映る情報の存在感を，その周囲の環境 (壁面等) にアンビエン
トに投影することで，本来は見えないはずの情報を補うことや，見えない部分への興味を引き立てることもできると考えている．
また，没入型の全周囲スクリーン内部に入って閲覧する場合は，壁の高い場所等，ユーザが物理的に手が届かない場所が存在する場合もある．この場合も，没入型スクリーンを縮小させた小型全周囲スクリーンが同時に閲覧可能であれば，俯瞰と没入を選択的に切り替えながらの閲覧が可能になると考える．

5

課題と展望

現在の技術的な課題としては，PDLC は透過状態でも完全に不透過にはならず，透過させる映像が映ってしまう問題が挙げられる．今後は反転映像の投影などを行うなどの対策により実装の完成度を高めていく．

周囲の環境への同時投影も可能な全周囲ディスプレイの提案と実装

参考文献[1] H. Benko, A. D. Wilson, and R. Balakrishnan.
Sphere: Multi-Touch Interactions on a Spherical
Display. In Proceedings of the 21st Annual ACM
Symposium on User Interface Software and Technology, UIST ’08, p. 77–86, New York, NY, USA,2008. Association for Computing Machinery.
[2] B. Jones, R. Sodhi, M. Murdock, R. Mehra,H. Benko, A. Wilson, E. Ofek, B. MacIntyre,N. Raghuvanshi, and L. Shapira. RoomAlive:
Magical Experiences Enabled by Scalable, Adaptive Projector-Camera Units. In Proceedings ofthe 27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, p.
637–644, New York, NY, USA, 2014. Association
for Computing Machinery.