情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2C-61
2020/3/9

空中立体映像システムでの空中 CG 物体による実物体の遮蔽の再現法の提案
高崎 真由美1,a)

水野 慎士1,b)

概要：本研究では，空中立体視 CG 映像システムにおいて空中 CG 物体と実物体との適切なオクルージョンを再現する手法を提案する．著者らは，マイクロミラーアレイプレートを用いた空中立体映像に対して手による直接的なインタラクションを行うシステムを開発してきた．しかし，従来システムでは空中 CG物体と手との位置関係にかかわらず，必ず手によって映像が遮蔽されてしまうという問題があった．本研
究では，深度カメラを用いて手を三次元的にスキャンして，ユーザから見て空中 CG 物体が手より手前にあると判断した場合，ユーザから見えるはずの映像をプロジェクタを用いて手に投影する．実験では，ユーザの視点と手の位置や形状を考慮した映像を生成して投影することで，空中 CG 物体による手の遮蔽を擬似的に再現できることを確認した．

1. はじめにディスプレイがそのまま仮想的に空中に存在している状態であり，空中に表示される映像も二次元である．そこで，映像生成に関する技術や機器の進歩に伴い，三次元 CG

著者らは空中映像に運動視差を取り入れることで，空中にを様々な方法で観察したり対話操作したりすることがで立体的な CG 映像を表示する手法を開発してきた [7]．こきるようになった．その中でも，空間中に映像を表示しての手法では，ユーザは空中に実際に CG 物体が存在するよ様々な位置から観察したりインタラクションを行うことうな立体感を感じながら観察することができ，CG 物体には，スターウォーズやアイアンマンなどの映画の中でも近手で直接触れて変形や三次元的移動などのインタラクショ未来の技術として扱われるなど，究極の映像表現の一つとンを行うことも可能である．しかし，ユーザから見て手が言える．そして，ホログラム [1]，プラズマ [2]，ハーフミ

空中 CG 物体より奥に存在している場合でも手は CG 物

ラー [3] などを用いた空中映像やインタラクションを実現

体を遮蔽してしまい，実物体と CG 物体の間で正しいオクする手法が研究されてきた．

ルージョンが表現できない問題があった．

近年，空中映像を実現する技術としてマイクロミラーア

そこで，本研究では著者らによる従来手法を拡張して，レイプレート（MMAP）が注目されている [4]．MMAP は手などの実物体に映像を投影することで，実物体と空中垂直に並べたマイクロミラーで構成されたプレートをミ

CG 物体との正しいオクルージョンを擬似的に実現する手ラーが直交するように 2 層に重ねた構造となっており，実法を提案する．ユーザから見て手などの実物体が空中 CG物体の映像をプレートに対して面対称の位置に結像する性物体よりも奥に存在する場合には，ユーザから見えるはず質を持つ．そのため，実物体としてディスプレイを用いれの映像をプロジェクタを用いて実物体に投影する．このとば，MMAP に対してディスプレイと面対称の空間中にディきに投影する映像はユーザの視点位置や実物体の形状を考スプレイ映像が観察され，映像を直接手で触れることも可慮して生成する．これにより，従来手法では不可能であっ能となる．そして，この性質を利用して，CG 物体が空中た空中 CG 物体による実物体の遮蔽を再現して，オクルーに存在するように表示したり，空中映像とインタラクショジョンの矛盾の解消や低減を実現する．

ンを行ったりする研究がいくつも報告されてきた [5][6]．
このように，MMAP とディスプレイの組み合わせで空中映像を表示することは可能となったが，空中映像は平面

2. 空中立体視 CG 映像手法の概要
図 1 に著者らが開発してきた空中への立体視 CG 映像の表示とインタラクションを行うシステムの従来構成を

1a)b)

愛知工業大学 情報科学部
k16065kk@aitech.ac.jp
s mizuno@aitech.ac.jp© 2020 Information Processing Society of Japan

示す．システムは MMAP，ディスプレイ，Kinect，LeapMotion，制御用 PC で構成されている．MMAP はボック

707

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2C-61
2020/3/9

図 2

空中 CG 物体の表示と手によるインタラクションの様子(a) 外観図 3 拡張手法の方針

中 CG 物体に対する手による直接的なインタラクションの際に，空中 CG 物体と手の間においてオクルージョンの矛(b) 構成
図 1

盾が生じる場合がある．

従来システムス上に設置されており，ボックス内にディスプレイが設置されている．これにより，ディスプレイに表示した映像はMMAP 上方の空中に観察され，空中に仮想的なディスプレイが存在している状態になる．
空中 CG 物体の立体視は運動視差によって実現する．運動視差は立体物を観察するときに観察者または立体物が移3. オクルージョン矛盾を解消するための従来手法の拡張
3.1 方針前章で述べたように，MMAP を用いて空中に表示した

CG 物体は空中の実物体と重なった場合でも手前に表示することはできないため，オクルージョンの矛盾が生じる場合があった．

動することで生じる見え方の変化で，人の立体知覚にとっそこで，本研究ではプロジェクタで実物体に映像を投影て両眼視差に匹敵する大きな手がかりとなる [8]．システムすることで，空中 CG 物体による実物体の遮蔽を再現する

では，Kinect を用いた人の骨格検出に基づいてユーザの視手法を提案する．図 3 に拡張手法の方針を示す．手による点の三次元座標を追跡しながら，その視点に基づいた CG

空中 CG 物体との直接的なインタラクションを行うとき映像を逐次生成することで運動視差を再現する．そして，に，ユーザから見て手が空中 CG 物体の内部や奥にあるとアナモルフォーシスの原理を用いながら CG 映像を空中の判定された場合，CG 物体の映像をプロジェクタを用いて仮想的なディスプレイに提示することで，空中への CG 物手に投影する．このとき，適切な映像を投影することで，体の立体的な表示を実現している．

ユーザからは手の手前に見えるはずの空中 CG 物体がそのユーザの指先の三次元座標は Leap Motion によって追跡している．そして指先の三次元座標に基づいて CG 物体のまま観察できるため，オクルージョンの矛盾が解消，低減されることが期待される．

変形，移動，生成などを行うことで，空中に立体的に存在する CG 物体に直接触れながらインタラクションを行う感覚を実現している．図 2 にシステムによって表示した空中CG 物体や手によるインタラクションの様子を示す．

3.2 拡張手法の実現法
前節で述べた手法で従来手法の拡張を実現するには，ユー
ザから見たときの空中 CG 物体と手などの実物体とのオク

ただし，空中に存在する CG 物体はその下に設置されたルージョンの状態を正しく把握することと，空中 CG 物体MMAP を介して表示しているため，手を空中 CG 物体のによって手の遮蔽が生じたときに手に投影するための映像内部や奥に移動したとしても，ユーザからは手が CG 物体を適切に生成することが必要になる．以下に従来手法の拡を遮蔽した状態で観察される．このように，本手法では空張を実現するための方法を述べる．

© 2020 Information Processing Society of Japan708

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 42C-61
2020/3/9(a) 空中 CG 物体による実(b) 空中 CG 物体による実物体の遮蔽が発生してい物体の遮蔽が発生していない状態

る状態

拡張システムの構成

3.2.1 システム構成
従来手法を拡張するためのシステム構成を図 4 に示す．

(c) (b) から視点が移動し従来システムの構成に加えて，MMAP 上方に深度カメラ（Kinect）とプロジェクタを設置する．深度カメラは手など空中に存在する実物体を三次元的にスキャンするためにた状態
図 5

ユーザ視点から見た場合の空中 CG 物体（青色立方体）と実物体とのオクルージョンの状態を把握する模式図用いる．そして，プロジェクタは空中の CG 物体によって実物体が遮蔽されたと判定された場合に，実物体に映像をり，オクルージョンの矛盾が生じている．そのため，実物投影する．

体の該当部分に対してプロジェクタで映像を投影する．

3.2.2 空中 CG 物体と実物体とのオクルージョンの把握

そこで，ユーザ視点から見た実物体 CG モデルに対して，空中 CG 物体と実物体とのオクルージョンの把握は，前節で生成した見かけ映像を投影マッピングする．これに3DCG の隠面消去処理に基づいて行う．
まず，MMAP 上方の深度カメラによって得られた手などの実物体のスキャンデータを CG モデルとして再構築しよって実物体 CG モデルに施されたテクスチャは，ユーザ視点から見たときに実物体を遮蔽する空中 CG 物体を適切に再現するものとなっている．て，空中に表示する CG 物体と同じ CG 空間に配置する．

そして，今度はプロジェクタに相当する位置を視点としそして視点追跡用の Kinect で取得したユーザ視点に基づいてテクスチャ付きの実物体 CG モデルのレンダリングをて，空中 CG 物体と再構築した実物体 CG モデルの 3DCG行って，生成された映像をプロジェクタで投影する．これの映像のレンダリングを行う．このとき，通常の 3DCG 生により，実物体に対しては，ユーザ視点から見たときに空成の隠面消去法に基づいて視点からのデプス情報を用いて中 CG 物体で遮蔽される部分だけに適切な映像が投影さレンダリングすることで，ユーザ視点から見た CG 物体とれる．

実物体とのオクルージョンが正しく再現される．図 5 に空図 6 に，図 5 に示したユーザ視点から見た空中 CG 物体

中 CG 物体と手の CG モデルを同じ CG 空間に配置すること実物体とのオクルージョン状態での実物体に対するプロとで，両者のオクルージョンの状態を把握する様子を模式ジェクタ投影映像の生成の様子を示す．

的に示す．
なお，このときのレンダリングは背景色と実物体 CG モ

4. 実験

デルを黒色で行う．生成された映像中で黒色で塗りつぶさ

提案手法の有用性を検証するため，システムを実装してれなかった部分がユーザから直接観察されるべき空中 CG実験を行った．実装では，MMAP およびプロジェクタ用物体の見かけ映像となる．の CG 映像生成や手によるインタラクションを行うために3.2.3 投影用映像の生成と投影iMac（3.4GHz Core i7）を用いている．また，ユーザ視点

前節でユーザ視点から観察されるべき空中 CG 物体の見追跡のために MacBook Air（1.6GHz Core i5）を用いておかけの映像を生成したが，映像中で空中 CG 物体が実物体り，UDP 通信で iMac に情報を送信している．映像生成は

CG モデルを遮蔽している部分は，実際に空中映像システ

OpenGL で行っており，実物体の CG モデルはポイントク

ムで観察したときには実物体が空中 CG 物体を遮蔽しておラウドで構築している．

© 2020 Information Processing Society of Japan709

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2C-61
2020/3/9(a) 図 5(a) の状態での実物体 CG モデルに対する見かけ映像の投影マッピング結果と投影用映像(b) 図 5(b) の状態での実物体 CG モデルに対する見かけ映像の投影マッピング結果と投影用映像(c) 図 5(c) の状態での実物体 CG モデルに対する見かけ映像の投影マッピング結果と投影用映像
図 6

図 7 実物体として平板を使った実験

図 5 で示したユーザ視点から見た空中 CG 物体と実物体とのオクルージョン状態における実物体に対するプロジェクタ投がやや大きくなる場合があった．これは，MMAP 上部に影用映像の生成の様子設置した深度カメラ（Kinect）は手のような細かい凹凸がある形状をスキャンするには解像度や精度が不足しており，初めに，平板と空中 CG 物体とのオクルージョンを検証する実験を行った．実験の様子を図 7 に示す．視点から見て平板が空中 CG 物体の手前に位置する場合には従来通りに平板は空中 CG 物体を遮蔽しているが，平板が空中手に映像を投影した場合に映像のずれが目立ってしまった可能性がある．

5. まとめCG 物体の奥に位置する場合には，プロジェクタによって本研究では，MMAP を用いた空中立体視 CG 映像シス平板に映像が投影された．このときに投影される映像はテムにおいて，実物体に映像を投影することで空中 CG 物

MMAP によって空中に表示されている映像とほとんど同体による実物体の遮蔽を再現する手法の提案を行った．シじであり，平板の位置や角度を変更したりユーザが視点位ステムを実装した実験では，ユーザ視点から見て平板や手置を移動したりしても，平板には適切な映像が投影された．などの実物体が空中 CG 物体よりも奥に位置した場合，実これにより，提案手法によって空中 CG 物体による実物体物体に適切な映像が投影されて，空中 CG 物体による実物の遮蔽が再現できることを確認した．

体の遮蔽を再現した．これにより，従来手法の問題であっ次に，手と空中 CG 物体とのオクルージョンを検証する実験を行った．実験の様子を図 8，図 9 に示す．平板のとた実物体と空中 CG 物体とのオクルージョンの矛盾が解消されたり低減されたりすることが確認された．

きと同様に，ユーザから見た空中 CG 物体と手の位置関係

今後の課題としては，実物体をスキャンする深度カメラに応じて，手に対してオクルージョンを再現する映像が投の高解像度化，深度カメラやプロジェクタの設置位置の適影されることを確認した．ただし，平板の場合に比べて投切化などを行い，手などの複雑な実物体と空中 CG 物体と影される映像と MMAP で空中に表示される映像とのずれのオクルージョンをより適切に行うことが挙げられる．

© 2020 Information Processing Society of Japan710

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 8 実物体として手を使った実験（その 1）

参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

A. Jones, I. McDowall, H. Yamada, M. Bolas, P. Debevec: Rendering for an Interactive 360◦ Light Field
Display, ACM Transactions on Graphics, Vol. 26, Issue
3, Article No. 40, 2007.
Y. Ochiai, K. Kumagai, T. Hoshi, J. Rekimoto, S.
Hasegawa, Y. Hayasaki: Fairy Lights in Femtoseconds:
Aerial and Volumetric Graphics Rendered by Focused
Femtosecond Laser Combined with Computational Holographic Fields, Proc. of SIGGRPH 2015 Emerging Technology, 2015.
巻口誉宗, 高田英明: 両面透過型多層空中像表示技術の提案と実装, 情報処理学会研究報告, Vol.2019-DCC-21, No.
50, 2019.
“ASKA 3D”, https://aska3d.com/ja/ (参照 2019-12-23).
H. Kim, I. Takahashi, H. Yamamoto, S. Maekawa, T.
Naemura: MARIO: Mid-air Augmented Reality Interaction with Objects, J. of Entertainment Computing, Vol.
5, Issue 4, pp. 233–241, 2014.
Y. Matsuura, N. Koizumi: FairLift: Interaction with
Mid-air Images on Water Surface, Proc. of SIGGRAPH
2018 Emerging Technology, 2018.
高崎真由美, 水野慎士, “空中への運動視差立体視 CG 映像の投影と手による直接的なインタラクションの提案”, 情報処理学会 インタラクション 2019, pp.669–673, 2019.
B. J. Rogers, M. Graham: Motion Parallax as an Inde-© 2020 Information Processing Society of Japan

2C-61
2020/3/9

図 9 実物体として手を使った実験（その 2）

pendent Cue for Depth Perception, J. of Perception, No.
8, pp. 125–134, 1979.

711