情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1C-692024/2/28

可視化された光線の空中映像化とインタラクションの実現
杉本 佳亮1,a)

水野 慎士1,b)

概要：本研究では，光線を可視化するとともにインタラクションを可能にする手法を提案する．提案手法
では，まずミストで充満した空間に光線を照射して，光線を可視化する．さらに，マイクロミラーアレイプレート（MMAP）を可視化された光線に適用することで，ミストのない空中で光線を確認することが可能になる．また，指で触れたり動かしたりすることで，空中の可視化された光線とインタラクションを行うことができる．

1. はじめに像として結像するという特性を持っている．MMAP は通常はソース画像としてディスプレイを使用して，MMAP を用近年，単なるディスプレイを超えて，球面スクリーン，いた空中映像のための様々な研究が報告されている [2][3]．

透明スクリーン，ヘッドマウントディスプレイなど，さま提案手法では，ミストで満たされた空間にプロジェクタざまな映像表示ディスプレイが開発され，利用されている．

で点や線で構成された映像を投影することで可視化した光

その中でも，まるで映像が空中に浮かんでいるかのように線を，MMAP のソース画像として使用する．これにより，感じられる，空中映像を用いたコンテンツに注目が集まっユーザがいる空間にはミストがないにも関わらず，空中でている．

光線が可視化された状態を再現できる．さらに，空中で可空中に映像を表示する方法の一つとして，レーザ光線な視化された光線との様々なインタラクションが可能であどをミストで満たされた空間に照射することで，光線を可る．たとえば，ユーザの操作に応じて投影される画像が変視化することが挙げられる．この方法はコンサート会場な化したり，光線に触ることで音が生成されたりすることがどで非常によく使われる．そして，レーザ光線の代わりに挙げられる．空中の可視化された光線を介した幅広いイン点で構成された映像をプロジェクタを使用して投影するタラクションが可能である．

ことでも，光線は可視化される．プロジェクタ映像では点本研究に関連した手法として，MMAP のソース画像としの位置や色の制御を非常に容易に行うことができるため，て 3D 画像を使用する手法が報告されている．Kimura ら

ユーザの操作に応じて点を動かしたり色を変えたりするこによる手法では，高速に回転する点滅する LED を使用すとで，空中の可視化された光線とインタラクションを行う

る [4]．空中インタラクションが可能であるが，16×16×16ことも可能である [1]．のドットで表現できる円筒の半径を変更することに制限が

ただし，この手法ではユーザがミストで満たされた空間ある．MMAP と運動視差立体視を組み合わせることで，空に入る必要があるため，人の動きによってミストが散った中での立体的な画像を実現する手法も報告されている [5]．

り消えたりしてしまい，その結果として可視化された光線

しかし，人間の視覚特性に依存しているため，立体感が十が消える可能性がある．また，インタラクションのために分に感じられない場合がある．著者らは，流れるミスト使用するセンサがミストによって影響を受ける可能性もや溜めたミストにプロジェクタで映像を投影したものをある．

MMAP のソースとして利用することで，空中にミストでそこで，本研究では空中映像の表示のために使われるこできたような少し厚みのある物体を表示する手法も開発しとが多いマイクロミラーアレイプレート (MMAP) と，ミている [6]．ただし，空間中の光線を可視化するという表現ストによる空中での光線の可視化とを組み合わせた映像提方法は用いていない．

示手法を提案する．MMAP はガラス板に似た外観だが，これらの既存手法に対して，本研究では空間中に可視化

MMAP の一方の側に位置する物体を面対象の位置に空中映された光線を MMAP のソース画像として使用することで，

1a)b)

愛知工業大学b22711bb@aitech.ac.jp
s mizuno@aitech.ac.jp© 2024 Information Processing Society of Japan

ミスト等がない場所でも光線を可視化してインタラクションを行うという，今までにない新しい空中での立体映像を

490

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1C-69
2024/2/28(a) 点

図 1システム構成図

(b) 線
図 3

映像を投影して可視化した結果視化される (図 3(a))．一方，線がボックス内に投影されると，空間内では光の面として可視化される (図 3(b))．
(a) ミスト生成器
図 2(b) ボックス内のミストの様子

ボックス内で充満させるミスト

このようにミストが充満したボックス内で可視化された
光の線や面は，MMAP によってミストのない空間中に表示される．

実現している．

2. 提案手法について
2.1 システム構成

2.3 空中の光線とのインタラクション
ボックスの上に配置された Leap Motion を使用すると，ユーザの各指先の位置を三次元でトラッキングできる．ま

提案手法のシステム構成を図 1 に示す．

た，プロジェクタの設定，投影パラメータ，および表示さ提案手法では MMAP 下の空間のボックス内にミストをれる点や線に関する情報に基づいて，空中で可視化された充填させる．ミスト生成の方法は様々な手法が存在する

光線を 3D 空間の線として数学的に表現することが可能でが，本研究では超音波を水に当てることでミストを生成しある．そのため，ユーザの指と光線との空間的な関係を計ている (図 2)．このように生成したミストは空気よりも重算することは容易であり，例えばユーザーの指が空中の光いため，連続してミストを生成することでボックス内にミ線に触れているかどうかなどを判定することができる．

ストが蓄積していき，徐々に水に戻る．

ユーザの指と空間中に可視化された光線との空間的な関プロジェクタを使用して点などで構成された映像をボッ係を利用することで，さまざまなインタラクションが可

クス内に投影することで，光線はボックス内で可視化され能になる．例えば，ユーザの指が光線に触れると色が変わる．そして，ボックス内で可視化された光線は MMAP にり音が生成されることで，仮想の弦楽器が作成できる．まよって空中で観察できることになる．

た，指の移動に従って連続して光線を生成することで，指ミストを充満させたボックスの上には，ユーザの指をトを使って空間にオーロラのような効果を作り出すことがでラッキングするための Leap Motion が取り付けられてる．

きる．このように，提案手法による映像表現ならではのさ

通常，Leap Motion は赤外線を使用しており，ミストの影まざまなインタラクションの可能性がある．

響を受けやすいが，本研究の手法では Leap Motion デバイ
スはミストから完全に隔離されているため，ミストの影響を受けない．

3. 実験
3.1 実験環境提案システムを実装して実験を行った．使用した PC

2.2 空中への光線の表示

は MacBook Air(2.2 GHz デュアルコア Intel Core i7) で，MMAP のソース画像を生成するために，プロジェクタC++で OpenGL と OpenCV を組み合わせて実装した．使を使用してミストで満たされたボックス内に映像を投影す用したプロジェクタは，解像度が 1280x720 ピクセルで輝る．投影する映像は点または線で構成されている (図 3)．

度が 800lm である．MMAP のサイズは 42 センチメート

点がボックス内に投影されると，空間内では光線として可ルの一辺を持つ正方形である．ミストは，高さ 36 センチ© 2024 Information Processing Society of Japan491

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 41C-692024/2/28(a) 実際に投影した映像 (点)(a) 実際に投影した映像 (線)(b) 空中で可視化された光線(b) 空中で可視化された光の表面

空中で光線を表示する実験の様子

図 5

空中で光の面を表示する実験の様子

図 6

空中で光線を移動させる実験の様子

メートル，幅 50 センチメートル，奥行き 86 センチメート
ルの空間に充填した．

3.2 空中への光線の表示実装したシステムを使用して，空中に光線を表示する実験を行った．
図 4 に空中に光線を表示した実験結果を示す．ミストによって画像内の点が光線として可視化され，MMAP によって空中に表示されたことを確認した．写真では判別が難しいが，実際に空中の各光線が空間に三次元的に存在していることが観察された．この実験で投影した点の映像がミストによって可視化されると．光線は目視で直径 0.5mmから 1cm 程度の厚みがある．そして，MMAP は画像を面対称な位置に表示するため，空中に表示された光線は垂直方向に反転する．そのため，各光線の奥行き感は厳密にはあり得ないものになるが，ミストの揺らぎなどからほとん
ど違和感は感じられなかった．
図 5 に空中に光の面を表示した実験結果を示す．映像中

図 7

光線とのインタラクションを行う実験の様子の線はミストによって光の面として可視化されて，それがMMAP によって空中に表示されたことを確認した．空中器を演奏しているような雰囲気が生まれた．光線の色を変に表示された光の面は，まるでオーロラのような雰囲気をえたり，音が発生した際に振動させたりすることで，従来持っていた．の弦楽器とは異なる独自の視覚表現を持つ楽器となった．

図 6 に光線を動かした実験結果を示す．投影された画像の点の位置を操作することで，空間中で光線の位置や方向が三次元的に順次変化する様子を観察することができた．

4. まとめ本研究では，ミストによって可視化された光線と MMAPを組み合わせて，空間中に光線を表示するシステムの提案

3.3 空中に表示された光線とのインタラクション
空中に表示された光線を楽器の弦と見なして，指が空中の光線に触れたときに音を生成するようにシステムを拡張した．
図 7 に指を使った空中の光線とのインタラクションの様子を示す．指が空中の光線に触れると音が生成され，弦楽© 2024 Information Processing Society of Japanと開発を行った．本研究の手法によって，ミストがない空間中でも光線が立体的に可視化されて，それらとインタラクションを行うことも可能となった．
今後の課題としては，複数のプロジェクターを活用してより多様な空中光線の表示を行ったり，それらを用いて高度なインタラクションを実現することが挙げられる．

492

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1C-692024/2/28

謝辞
本研究の一部は，JSPS 科研費基盤研究 (C)22K12337 および (C)23K11182 の支援を受けています．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

N. Kotani., S. Mizuno: A Proposal of Interactive Projection Mapping by Touching Rays Visualized by Smoke,
Proc. of NICOGRAPH International 2019, P08 (2019).
Y. Matsuura, N. Koizumi: FairLift: Interaction withMid-air Images on Water Surface, ACM SIGGRAPH
2018 Emerging Technology, Article No. 6 (2018).
M. Takenawa, T. Takenawa, Y. Yahagi, S. Fukushima,
T. Naemura: ReQTable: Square tabletop display thatprovides dual-sided mid-air images to each of four users,
ACM SIGGRAPH 2022 Emerging Technologies, Article
No. 8 (2022).
Y. Kimura, Y. Makino, H. Shinoda: Computer-CreatedInteractive 3D Image with Midair Haptic Feedback,Proc. of AsiaHaptics 2016: Haptic Interaction, pp. 491–494 (2017).
M. Takazaki, S. Mizuno: A Method for Appropriate Occlusion between a Mid-air 3DCG Object and a Hand by
Projecting an Image on the Hand, ACM SIGGRAPH
2020 Emerting Technologies, Article No. 14 (2020).
杉本佳亮, 水野慎士: MMAP とミストを使った空中立体映像システムの開発, 情報処理学会論文誌・デジタルコンテンツ, Vol. 11, No. 2, pp. 1–11 (2023).

© 2024 Information Processing Society of Japan493