情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D01
2022/2/21

テーブル上に投影された空中立体映像に対する影を用いたインタラクション手法
福地 健太郎1,a)

松浦 向日葵1

大野 貴広1

概要：再帰反射を利用した空中結像技術 (AIRR) を応用し，空中に立体映像を投影するテーブル型装置を構築した．具体的にはレンチキュラー方式により視差を作り出す立体ディスプレイ上に奥行を反転させた映像を出力し，これを AIRR を用いてテーブル面上にその鏡像を結像させることで立体映像を投影する．
この手法は机上の遮蔽物と映像との奥行関係に齟齬をきたしやすく，特に映像に直接触れようとすると違和感が大きい．そのため映像に直接触れようとするようなインタラクションにはやや難があった．今回はそれを避けて，なおかつリアルタイムでのインタラクション可能性をユーザに感じさせるための手法として，影を用いたインタラクション手法を構築した．机上で手をかざすと立体映像に手の影が落ちるようにすることで，映像の奥行感が捉えやすくなり，実在感が増すように感じられる．

1. はじめに
空中への映像投影技術には様々な試みがこれまでになされている．中でも，遮るもののない空間に立体映像を投影する手法は，その映像への観ている者からの直接的なインタラクションの可能性を持つため，重要な技術とみなされる（例えば文献 [1]）．
山本らが開発した，再帰反射を利用した空中結像技術(AIRR) [2] は，再帰反射性を持つ素材とハーフミラーを用いて映像をなにもない空間に結像させることができるもので，比較的安価に構築可能である．同技術の立体映像投影への応用については，DFD 技術を応用したもの [3] など，基礎的な原理検討はすでに行われているが，応用例は少なかった．
今回，基本的な構成は山本らの手法そのままに，ディスプレイ部にレンチキュラー方式による立体表示可能なディスプレイを組み合わせ，これをテーブル型にまとめた装置を開発した（図 1）．これにより，机上にリアルタイムでレンダリングされた，高さ 5cm 程度の 3DCG キャラクターを，両眼視差および運動視差による立体感を伴って投影す

図 1 試作したテーブル型の空中立体映像投影装置ることができた（図 2）．
同装置向けのインタラクション手法を検討するにあたっ

ラクション手段をなんらかの形で提供し，映像へのインタて，空中の映像に直接触れようとすると，今回投影されるラクション可能性を提示しないと実在感を与えることが難

映像の大きさに比べてユーザ自身の手による映像の隠蔽がしい．

大きく映像の実在感を損うことがわかった．しかしインタ

そこで今回はひとまずインタラクション可能性の提示に狙いを絞り，映像に対して手をかざすとその影が投影され

1a)

明治大学
kentaro@fukuchi.org© 2022 Information Processing Society of Japanた映像に落ちるという仕組みを構築した．これにより映像747

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 2

6D01
2022/2/21

投影された映像を左・中央・右から見た図．見る方角に応じて提示される映像も変化する．左右の眼に対してそれぞれ異なる方角からの映像を見せることができるため，左右方向の運動視差に加えて両眼視差による立体感が提示できる．

がリアルタイムに生成され，かつそれへ対してユーザが作用できそうであるという感覚を与えられるようにした．著者らが試した範囲においては影の提示の効果は非常に高く，机上のキャラクターの実在感をより強めているように感じられた．
本報告の技術的貢献は以下の 2 点に整理される．

• AIRR 向けの立体映像の投影手法• 影を利用した空中映像とのインタラクション

2. AIRR 向けの立体映像の投影手法構築した投影装置の概略図を図 3 に示す．テーブルの図 3

システム概略図．図中の「空中像」はユーザが観察する鏡像を模擬的に表したもの．

大きさは天板の大きさが 60cm 四方，天板までの高さは100cm である．テーブル面にはアクリルハーフミラーを使はそのまま保存される．ここで，空中映像を観察するのは用している．天板の下には再帰性反射材（日本カーバイドディスプレイの表示面が向く方向とは反対の方からである工業製 RF-Ax）を表面に貼った板が斜めに設置されておため，この像をいわば裏から見ているような恰好となる．

り，またレンチキュラー方式の立体ディスプレイ（Look-従って，ディスプレイ上では図 5 右下図のように仮想物ingGlass Portrait）を設置している．ディスプレイの表示体の前後関係そのままに表示したとしても，ユーザが観察面の大きさは横 115mm × 縦 155mm である．天板の上にするのはそれを裏から見透かしたような形となる．すなわ

は，天井や周囲からの光を遮蔽するための天蓋を設置してち，ユーザはディスプレイに表示された像の奥行が反転しいる．テーブルはアルミフレームにより構築した．

た像を観察することとなる．なお，図 5 右上図の「ユーザAIRR の基本原理を図 4 に示す．ディスプレイからのが観察する立体像」は，あくまでも仮想物体の前後関係は光はハーフミラー表面で鏡面反射し，その後再帰性反射材このような順で見えるということを模式的に示したものでによって再帰性反射される．反射光はハーフミラーを通過あり，実際にこのように重なって観察されることを意味しし，これが空中で結像する．このときこの鏡像は，ディスていない．

プレイに表示された映像があたかもハーフミラーを境界面さて，本実装ではレンチキュラー方式によって視差を作として反転したかのように結像することとなる．詳しい原り出す立体ディスプレイを使用している．これは運動視差

理は文献 [2] を参照されたい．

および両眼視差によって奥行感を提示するものであり，最このとき，平面映像ではなく立体映像を投影する際には大で約 40 方向からの視差映像を表示することができる．

注意を要する．図 5 を用いて説明する．いま，同図左図

このとき，前述の理由で，通常通りの方式でこのディスプの下側では立体ディスプレイにより，図中に示されるようレイに 3DCG のレンダリング結果を表示すると奥行が反な前後関係で仮想物体を表示しているものとする．これを転した映像が結像することとなる．そこで，レンダリング

AIRR によって鏡像をテーブル上面に空中結像させたもの

時に奥行をあらかじめ反転させてこれを行い，その結果をが，図中で「観察される仮想物体」と説明されている部分

立体ディスプレイに表示することで，AIRR によって再度である．ディスプレイ映像の鏡像はテーブル面を境界面と奥行が反転し，結果としてユーザには正常な立体映像が視して反転した位置に結像するため，仮想物体の前後関係認されるようになる．結果を図 2 に示す．

© 2022 Information Processing Society of Japan748

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D01
2022/2/21

図 6

実物体による遮蔽の様子．左図のように遮蔽物が像の手前にある場合には違和感を生じないが，右図のように像の奥に遮蔽物がある場合，遮蔽物の手前にあるはずの映像（矢印位置に立つ）が遮蔽されて見えてしまい，不整合を生じることとなる．

図 4 AIRR 原理図．立体ディスプレイの映像はハーフミラーで鏡面反射の後に再帰性反射され，ハーフミラーを通過する．これにより，立体ディスプレイに表示された映像がハーフミラーを境界面として反転したかのように結像する．
図 7

システム概観図．図中の「空中像」はユーザが観察する鏡像を模擬的に表したもの．

実装しようとするとこの不整合が視認されることとなり好ましくない．特に現時点での実装では投影映像の大きさが小さく，相対的に手指が大きな遮蔽物となってしまい，不整合は目立ちやすい．そこで，映像に触れない形でのインタラクションを設けることで，できる限り不整合を感じさせないで映像とユーザとの相互作用を演出したいと考えた．
そこで今回は簡易的な手法として，影を用いるインタラクションを考案した．具体的には，テーブル面手前に手指の位置姿勢認識装置（LeapMotion）を設置して手指の位置
図 5

奥行を反転させたレンダリングの説明図．机上に仮想物体を，姿勢をリアルタイムで追跡し，仮想空間内に同じ位置姿勢手前から緑・青・赤の順序で表示したいとする．観察者は机上の仮想手指を配置し，机上の空中映像にその影が落ちて見に投影された立体ディスプレイ映像の鏡像を裏から観察するこえるように仮想光源の位置を設定したものを構築した．ことになるため，立体ディスプレイ上では仮想物体を奥から緑・れにより，図 7 に示すような，机上の仮想キャラクターに青・赤の順序で表示する必要がある．

手をかざすとほぼ瞬時に手の影が落ちて見えることとなる．
現時点では仮想キャラクターの行動に対して，この影を3. 影を利用した空中映像とのインタラクション用いて働きかける操作は未実装だが，ユーザ自身の手の影提案手法により投影された空中映像とのインタラクショ

ルタイムに生成されていること，また手と映像との相対的ンを実現するにあたっての問題点の一つに，遮蔽の問題がな位置関係や大小関係がわかるようになり，投影されていある．図 6 に示すように，テーブル面上の実物体が映像よる仮想キャラクターの実在感が，著者らにはより強く感じりも手前に置かれている場合（左図）には整合性を保ってられた．その原因については今後の検証を要するが，複合観察される．しかし右図に示すように遮蔽物が映像よりも現実感環境において影が実在感に与える影響の大きいこと奥にあったとしても，本来ならば遮蔽物の手間に見えるべが知られている [4]．

き空中映像はやはり遮蔽されてしまい，前後関係の不整合

4. 議論を引き起こす．
このため，空中映像に直接触れてのインタラクションを© 2022 Information Processing Society of Japanが立体映像上に見えると，まず投影されている映像がリア

影による空中立体映像とのインタラクションの利点は749

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D01
2022/2/21

様々に考えられる．まず，映像に直接触れる前の段階で，投影されている映像がユーザのいる空間とあたかも地続きであるかのように感じられることである．現在の実装が抱える，映像に直接触れようとするインタラクションが引き起こす映像の不整合の問題を回避できる．
一方で，やはり直接的なインタラクションの必要性は強い．例えば仮想物体をつかんで動かしたり，形状を変形させるといったような操作は，ほとんど触れるような操作が不可欠である．たとえば遮蔽されることで不都合が生じやすい，記号や文字といった情報が映像として投影されている場合には，指先を避けるような映像提示を考える必要があるだろう．
投影映像の画質は，現時点では山本らがすでに指摘しているように，再帰反射材の解像度に依るところが大きい [2]．加えてレンチキュラー方式の立体ディスプレイの採用も解像度を落とす要因の一つとなっている．これらは今後のディスプレイ技術および素材開発による解像度の向上を待ちたいが，装置全体を大きくして相対的な解像感を高めることは考えられる．
参考文献
[1]

[2]

[3]

[4]

Yoshida, T., Shimizu, K., Kurogi, T., Kamuro,S., Minamizawa, K., Nii, H. and Tachi, S.: RePro3D: full-parallax 3D display with haptic feedback using retro-reﬂective projection technology, Proceedings of ISVRI 2011, IEEE, pp. 49–54, DOI:
10.1109/ISVRI.2011.5759601 (2011).
山本裕紹： 再帰反射による空中結像 (AIRR) による空中ディスプレイ，日本画像学会誌，Vol. 56, No. 4, pp. 341–351(2017).
Terashima, Y., Suyama, S. and Yamamoto, H.: Aerial
depth-fused 3D image formed with aerial imaging byretro-reﬂection (AIRR), Optical Review, Vol. 26, No. 1,
pp. 179–186, DOI: 10.1007/s10043-018-0473-9 (2019).
山本紘暉，金ハンヨウル，小泉直也，苗村 健： 複合現実
感システムのための空中像に対する影のプロジェクションの提案，3 次元画像コンファレンス 2014 (2014).

© 2022 Information Processing Society of Japan750