WISS 2023

懐中電灯メタファを用いた複数人での裸眼立体視映像コンテンツの共有手法
大塚 眞柊 ∗ 権田 夏実 † 佐藤 颯一朗 †佐藤 俊樹 ∗概要.
従来のプロジェクションマッピング技術は, 立体物に映像を投影し, 複数のユーザに対してその映像コンテンツを提供することができる. しかし, スクリーンに投影される映像は平面的な映像であるため, スクリー
ンの奥側の空間の存在を立体的に表現することが難しいという課題がある. その課題を解決する手法として,各ユーザの視点位置に合わせた裸眼立体視映像をユーザが固有に見ることができる映像として局所的に投影することが考えられる. そこで, 我々はプロジェクションマッピング中に局所的に映像を投影するという動作をユーザの懐中電灯で照らすような動作で行うことのできる裸眼立体視映像システムを制作する. このシステムによって, 複数のユーザが 1 つの立体的な 3 次元コンテンツを共有することができる.

1

背景

現実世界の立体的な構造物に直接映像を投影し, 立体的な映像空間を作り出すプロジェクションマッピ
ング技術は, その場にいる複数のユーザが VR ゴーグル等の特殊なデバイスを装着することなく体験を共有できる利点があり, 様々なイベントで用いられてきた [3]. しかし, スクリーンに投影される映像そのものは平面的な映像 (奥行きのないテクスチャ) であるため, スクリーンの奥側の空間の存在を立体的に提示するような映像表現は困難であった [5].
この問題の解決手法として, カメラを用いて人の頭部位置・視線方向を 3 次元的に追跡し, ユーザ視点の立体感のある映像を合成する手法がある [1]. この手法は安価であるが, ユーザが複数人いる場合は視線情報が定まらず, あるユーザの視点に定めた場合, 他のユーザにはただ歪んだ映像を見せてしまうという課題がある [2]. つまり, ある一人のユーザの視点に基づいた立体視映像を, 複数ユーザが共有するスクリーン全面に映し出していたため, 映像に矛盾が発生していた.

2

提案と目的

本研究は, 複数人同時利用可能な裸眼立体視映像技術を実現することで, 映像体験における表現の幅を広げることが目的である. そこで本研究では, 安価な頭部追跡式の裸眼立体視技術を複数人に拡張する手法として,「懐中電灯メタファ」を用いた立体視映像重畳技術を提案する (図 1). 提案手法では, 図 1 に示すように, ユーザが「懐中電灯光を照射する」とい

図 1. 懐中電灯メタファを用いた立体視コンテンツ

う自然な動作により, コンテンツ中の任意の場所に「覗き穴 (Peephole)」を作り出す. そして, その穴の中にのみ立体視映像を提示することで, プロジェクションマッピング空間上に各ユーザ視点の局所的な立体視映像を自由に重畳可能にし複数人での共有を実現する.
しかし, 本研究で提案する方法では, 複数人のそれぞれの位置や懐中電灯の照射範囲の重なりについて細かく場合分けして対応する必要がある. コンテンツを同時に共有するユーザが多くなるほど, 懐中電灯の照射範囲が重なる確率は高くなり, 重なり方の場合分けも複雑になってしまう. このような状況に対して, 本研究では, 懐中電灯のスクリーン上の照射範囲の重なりとユーザの位置関係による複数の状況について考え, それらの対応方法を提案する.

3Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗北陸先端科学技術大学院大学†電気通信大学

プロトタイピング

制作したプロトタイプは, 映像投影用のプロジェ
クタ (日立製 CP-WU8450), 頭部追跡用深度カメラ(Kinect V2), 各ユーザが手に持って使用する波長850nm の小型赤外線懐中電灯 (UF1504), およびスWISS 2023

図 2. システム構成図 (左), 立体視のシステム (右)クリーンに照射された赤外線を撮影する赤外線カメ
ラ (FLIR 製 GS3-U3-41C6NIR) から成る.
各ユーザに向けた立体視映像をレンダリングするために, ユーザの頭部 3 次元位置を, それぞれ深度カメラの骨格検出機能を用いて求めた頭部位置, およびスクリーンに照射された懐中電灯光の 3 次元重心位置を用いて求める (図 2(右)). 得られたユーザ毎の頭部位置・姿勢情報は, 実世界と対応した 3 次元
CG 空間内のカメラに対して適用し, 生成した立体視映像をスクリーン上の各ユーザの懐中電灯光領域内に重畳させて提示する. なお, 今回のプロトタイピン
グでは, 基幹となる技術として懐中電灯メタファを利用したインタラクション手法である MlioLight[4]を用いた.

4

図 3. 1 つのスクリーンを 2 人で見る場合ザのライトと判断する方法も考えられる.

5

アプリケーション

構造物の内部構造を懐中電灯で覗き見る体験ができるアプリを実装した.
図 4 のアプリでは, ライトが照射された範囲の壁が透過して, その向こう側にある部屋が覗き見えるような体験ができる. 加えて, 透過して覗き見える部屋の見え方はユーザの位置によって変化し, 奥行きがあるように見ることができる.

二人いる場合の局所的映像の投影方法

図 3 のようにユーザが二人の場合, いくつかの状況を考慮する必要がある. 図 3 の左上や右上のようなユーザ間が近い状況では, ライトの照射位置がどのような場合でも各ユーザの頭部座標の中間座標からの立体視映像を提示することで, 各ユーザにとって違和感の少ない立体視映像を投影することが可能であると考えられる. 次に, 図 3 の左下のようなユーザ間が遠く, ライト照射箇所も遠い状況では, システム側で制限を設けることなく各ユーザがユーザ固有の立体視映像コンテンツを視聴することができると考えられる. その次に, 図 3 の右下のような状況は, あるユーザがユーザ固有の映像を視聴しているときに,異なるユーザが視聴している映像が視界に入りやすくなると思われる. このような状況の時は, ユーザが他のユーザの見ている映像に注視することを避けるために各ユーザが視聴している映像の範囲を小さくすることなどを行い, ユーザの映像がお互いに気にならないように処理する必要があると考えられる.
また, 図 2 の左のような場合において, ユーザの視線方向を検出するためには, どのライトの照射範囲を誰のライトが照らしているのかを判断する必要がある. その判断方法としては, ライトとシステムを通信させて,1 つずつライトを光らせることで照射範囲とライトを対応付けする方法が考えられる. また,別の方法としては, スクリーン上のライトの照射範
囲の大きさやその形の変形度合いからライトの位置を逆算し, その位置に最も近い頭部座標を持つユー

図 4. 壁の奥の空間を懐中電灯で覗き見る体験

6

今後の展望

本研究では, 懐中電灯メタファを用いた複数人での裸眼立体視映像コンテンツの自然な共有手法を提案した. 我々が提案した手法では, ユーザの視界をデバイスで覆わずに立体視映像を共有することで, 実際に対面している複数のユーザ間でのコミュニケーションを円滑にできると考える. 将来的には, プロ
ジェクションマッピングと同様に, 立体物に映像を投影することで立体物の中身の様子を見ることができるような体験を行うようにして, エンタテインメント性を高める. また, 望遠鏡や銃などの懐中電灯以外のインタラクション手法も用いた局所立体視映像の提示手法なども実装してみたい. また, 複数人の視線方向が重なった際は, ユーザの位置関係とアプリケーションの内容を踏まえて処理を検討し, それらの処理が裸眼立体視コンテンツの共有にどのような効果をもたらすかを評価していきたい.

懐中電灯メタファを用いた複数人での裸眼立体視映像コンテンツの共有手法

参考文献[1] K. W. Arthur, K. S. Booth, and C. Ware. Evaluating 3D Task Performance for Fish Tank VirtualWorlds. ACM Trans. Inf. Syst., 11(3):239–265,
jul 1993.
[2] L. Cosmo, A. Albarelli, F. Bergamasco, andA. Torsello. Design and Evaluation of a ViewerDependent Stereoscopic Display. In 2014 22ndInternational Conference on Pattern Recognition,
pp. 2861–2866, 2014.
[3] A. R. Fender, H. Benko, and A. Wilson. MeetAlive: Room-Scale Omni-Directional Display System for Multi-User Content and Control Sharing.
In Proceedings of the 2017 ACM International

Conference on Interactive Surfaces and Spaces,
ISS ’17, p. 106–115, New York, NY, USA, 2017.
Association for Computing Machinery.
[4] T. Sato, D.-H. Hwang, and H. Koike. MlioLight: Projector-Camera Based Multi-Layered
Image Overlay System for Multiple Flashlights
Interaction. In Proceedings of the 2018 ACMInternational Conference on Interactive Surfaces
and Spaces, ISS ’18, p. 263–271, New York, NY,USA, 2018. Association for Computing Machinery.
[5] 古都 唯希, C. R. J. Maria, 小林 孝浩, 平林 真実.
プロジェクションマッピングのコンテンツにおける視覚的認知効果を用いた演出技法の体系化. イ
ンタラクション 2014 論文集, pp. 391–396, 2014.