「新産業を生む科学技術」 研究成果報告会２０２３

空中映像産業の基盤技術としての建築調和型空中像光学系の構築研究代表者

小泉 直也 電気通信大学 助教＜Space＞
1. 研究の背景と達成目標
背景：
空中像とは、光源から出た光が反射・屈折して結像することによって空中に表示される映像のことである。２０１９年の技術では、光学素子によってどのような像が表示できるのか、その像の明るさや解像度、さらには迷光の発生が予測できないなどの課題があった。そこで新たにシミュレーション技術によって、これらを CG 上で設計可能にする必要があった。これによって設計業界の参入障壁を下げると同時に、提示技術とインタラクション技術を洗練して空中像プラットフォームを提供し、コンテンツメーカーの参入・普及を促すことが必要とされていた。
達成目標：
本研究は、空中映像産業の基盤技術として、空間と映像が調和する表現技術の構築を目的とする。達成手段
として、物理モデルベースのレイトレーシングによる空中像光学素子のシミュレーションを用いた設計手法を提案する。現在は光学等の専門家しかできない装置設計を、UI/UX や映像のデザイナが CG を用いて設計・検討できるようにする。
2. 主な研究成果と社会、学術へのインパクト主な研究成果：1.

空中像の設計を設計するため、再帰透過光学素子（micromirror array plates, MMAP)やルーバーフィルムなどのレイトレーシングで使用可能なモデルデータの作成し、その評価から、空中像の面対称性・迷光の発生・視域の限定・輝度の再現ができていることを確認した。

2.

上述 1 の成果をもとに、レイトレーシングでレンダリングした結果にコンピュータビジョンで評価を行うという一連の研究手続きを確立することができた。

3.

可視光と赤外光を組み合わせて使用することを提案し、空中像インタラクションとして利用しやすい構造を提案・実装した。

学術へのインパクト：
4.

上述 2 の手続きによって、当研究室で多くの研究が実施されており、空中像設計の基盤技術となっている。

5.

上述 3 の成果は、現在心理学実験に応用されており、空中像の技術的側面ではなく、心理的側面の影響調査などが今後進むと考えている。

社会へのインパクト：
6.

Covid-19 の影響もあり、空中像に関する研究そのものが社会に与えた影響が大きかった。特に 1 の成果によって、企業との仕事が進んでいる。

-1-

「新産業を生む科学技術」 研究成果報告会２０２３

3. 研究成果
空中像とは、光源から発された光が光学素子によって反射・屈折し、空中に結像したものである。光源に液晶モニター等の発光する映像装置を用いることで、映像を空中に浮かばせることができる。もちろん、観察者は特別な装置を身につける必要なく裸眼で見ることができる。建築空間のような不特定多数の人が関わる公共空間に拡張現実感を組み込む際の技術基盤になりうるものと考えている。
①

レイトレーシングによる空中像シミュレータの作成

空中像光学系では迷光・観察可能範囲の限定・輝度減衰といった課題が存在する。これらの性質を実際の光学系を組み立てながら考慮するには、多くの時間と試行回数を要する上に、光学的知識が必要とされる。そこで空中像の見た目を、物理ベースレイトレーシングを用いて CG によって再現できる空中像のシミュレーションを実装した。図１に実物の写真及びシミュレーション結果を示す。

図 1 物理ベースレイトレーシングによる空中像再現（左）実際の空中像（右）シミュレーションによる再現

このシミュレーションが現実とどの程度一致しているのかを、光学素子の持つ面対称性・迷光・視域の限定・輝度減衰の 4 つの性質に関して検証した。面対称性の実験では、ステレオマッチングを用いて空中像の奥行位置を測定し、光源と空中像が光学素子に対して面対称な位置関係であることを確認した。迷光の実験では、シミュレーションと実際の空中像から得た、空中像と迷光の間のアフィン変換行列の類似度を計算し、結果として97.6 %の類似度が得られた。視域の実験では、結像する空中像の面積を計測し、シミュレーションと実際の空中像における面積変化の傾向が類似することがわかった。
最後に輝度減衰の実験では、レンダリングした空中像と光源の輝度比を、実際の空中像のデータと比較し 2.5 %程度の誤差でシミュレーションできることがわかった。こ
こで制作したシミュレーション環境は github に公開している。
さらにレイトレーシング法によるシミュレーションを活用し、屈折・反射面の内外に歪みのない空中像を表示する手法を開発した。シミュレーションにおいて歪みの無い空中像が観察されるときの視点映像を、視点から対象となる空中像光学系を介して光源位置まで逆伝搬させることで歪みの無い空中像を結像するための光源映像を生成した。本手法による空中像歪みの補正を屈折・反射面の両方に適用し、その効果を検証した。さらに、光源画像をテクスチャマッピング等で用いられる UV 情報として扱うことで動的な空中像の歪み補正を実現した。図２に本手法でレンダリングした成果を示す。
図 2 透明物体内物および湾曲反射面上における映像表示技術（左が補正あり・右が補正なし）（上）透明物体内での表示における補正の有無の差（下）湾曲反射面上における補正の有無の差-2-

「新新産業を生む科科学技術」 研究
究成果報告会２００２３② 空中像
像提示技術のの設計
このシミュュレーション環
環境は Blendder で動作してており、レンダダリングする際際に、光線の反射回数を設設定して複数数枚の画像ををレンダリンググし、OpenCVV で処理を行行うことで、空中中像・迷光のの領域を計算すすることもでききる。建築環境
境との調和をを踏まえ、光沢沢のある水平面に装置を置置くと空中像がが表示もののの設計を行った。具体的にには、ミラーとディスプレイイの角度を変変更しながら大大量のレンダダリングを行いい、その画像にに OpenCV にによって処理をを行い、迷光光の有無や空空中像の視域域を算出し、適適切なパラメーータの選択をを行った。そのの結果、既存存研究の 63%ままで装置を小小型化するこことができた。
像インタラククション手法
法の開発
③ 空中像
ユーザー
ーが空中像そそのものに注目し、その周辺のセンサーー等を意識すすることなく空中像とインタラクションでききる光学系のの実現を目的的として、ホットトミラーによるる赤外光反射射を用いた空中中像インタラク
クション手法もも提案していいる。
具体的にはは、ホットミラーーと再帰透過過光学素子をを組み合わせるることで、空中中像に影響をを与えずにユーザーからカカメラを見えななくするものでである。これにによって、例ええばアミューズズメント施設にに、妖精などの空中像を表表示して、それれと鑑賞者ががインタラクシションをするよううなしくみを提提供する際にに、鑑賞者がセセンサなどの「しかけ」に気気がつくことががなく空中像像とインタラクシションすることとができるようになる。
るシステムは、、図 3 のようにホットミラーーと提案する
MMAP を重重ね合わせたた光学系であある。光学系はは赤外線カメ
メラ・ディスプレ
レイ・MMAP・ホットミラー・遮光部からななる。ディスプ
プレイから出たた光は 45 °傾
傾
けて設置さされた MMAPP で反射し、MMAP に対対して面対称なな位置に空中中像として結像像する。このとき、可視光はホホットミラーを透過するためめホットミラーによる影響はは受けない。一
一方で赤外光
光はホットミラーーで反射するるため、赤外線線カメラの映像内でホットミラーは鏡のよように振る舞うう。こうし て、ホットミラー上上部に下向ききで配置された赤外線カメ
メラ はホットミミ

図 3 ホッットミラーと MMAP の組みみ合わせによるユーザーラーに映りこむユーザーーの撮影が可可能となる。

からセンンサが不可視視な空中像イン
ンタラクション
ンの光学系

4. 今後の展展開
引き続きき空中像研究究に取り組んででいく。今回ののアプローチ
チによって、研研究の基盤技術術ができ、次次の大きなステテップを踏みみ出すことがでできた。今回理理解した現在在の研究の最最大の課題は、、物理的に手手に入る光学素子や光源・ディスプレイイからのボトムムアップ的なアプローチししかできていなない点である考えている。この現状を打打破する方法
法
として、私はは機構的・実実装的な課題をを無視して、物物理的・原理理的にできるデディスプレイのの限界を追求求することを提提案し、レイトトレーシングにによる設計を進めている。さらに、VR 空間にシミュレ空レーションしたた映像空間をを再現することとで、使いややすさや魅力ななどを含めたた空中像の設設計を進めていいる。
さらに、制制作した装置
置を心理物理理実験に活用していくことでで、映像と人がが同じ空間をを共有する空空中像インタラ
ラクションそのもものの価値をを定量的に評評価・理解してていく。

-3-

「新産業を生む科学技術」 研究成果報告会２０２３

5. 発表実績
1.

論文掲載 Shunji Kiuchi, Naoya Koizumi. Simulating the appearance of mid-air imaging with micro-mirror
array plates. Computers & Graphics, Vol. 96, pp. 14̶23, doi.org/10.1016/j.cag.2021.02.007, 2021.

2.

学会発表 Shunji Kiuchi and Naoya Koizumi. Distortion-free Mid-air Image Inside Refractive Surface and onReflective Surface. In Proceedings of 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR),
pp. 606-614, doi:10.1109/VR51125.2022.00081 , 2022.

3.

学会発表 Shohei Ando and Naoya Koizumi. 2022. Floagent: Interaction with Mid-Air Image via HiddenSensors. In SIGGRAPH Asia 2022 Emerging Technologies (SA '22 Emerging Technologies). Article 4, 1‒2.
DOI: https://doi.org/10.1145/3550471.3558398

4.

学会発表 齋藤 旭， 木内 舜司， 小泉 直也． レイトレーシング法を用いた再帰反射による空中像の CG再現のための基礎検討．第 26 回バーチャルリアリティ学会，1D3-5，2021.09.12．

5.

学会発表 安藤 将平，小泉 直也．ホットミラーによる赤外光反射を用いた空中像インタラクション手法の提案．第 64 回 情報処理学会エンタテインメントコンピューティング研究会, 2022.06.16．

6.

学会発表 木内 舜司， 小泉 直也． パストレーシングを応用した透明物体内映像の屈折歪み補正．情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 第 181 回研究発表会，一般セッション 2(11)，2021.02.16

7.

学会発表 星 彩水， 木内 舜司， 小泉 直也． 環境反射空中像装置において迷光を見せないための設計．第 25 回日本バーチャルリアリティ学会大会， 2B3-1， 2020.09.17

8.

学会発表 木内 舜司， 小泉 直也． 再帰透過光学素子を用いた光学系設計のためのレイトレーシング法によるシミュレーションの応用検討．第 25 回日本バーチャルリアリティ学会大会， 2B3-2， 2020.09.17

9.

特許出願 特願 2022-093116, 空中像インタラクティブ装置, 安藤 将平, 小泉 直也. 2021.06.08.

10. 特許出願 特願 2021-017987, 空中像生成装置、歪み補正関数生成方法及び空中像生成方法. 木内舜司 , 小泉 直也. 2021.02.08.
11. 学術講演 小泉 直也. 空中像の原理、シミュレーション及びインタラクション. 画像電子学会セミナー「研究から実用まで、AR/VR ユーザーインターフェースの最新動向」. 2022.06.16
12. 学術講演 Naoya Koizumi. Application of mid-air image: Interaction Technology. 映像情報メディア学会
2021 年冬季大会 KIBME/ITE Joint Session 〜 AR/MR/XR Technology 〜. 2021.12.16
13. 学術講演 Naoya Koizumi. Simulation of micro-mirror array plates with Blender. The 27th International
Display Workshops (IDW '20). 2020.12.11
14. 学術講演 小泉 直也. 空中像の作り方・使い方. 情報処理学会第８５回全国大会 IPSJ-ONE 2023,2023.0３.04
15. 総説記事 小泉 直也. 空中像表示を利用した最新 AR/VR 研究. 映像情報メディア学会誌, Vol. 76, No. 3,pp.24 ‒ 28, 2022.
16. 総説記事 小泉 直也. 空中像光学系とセンシングシステムの融合について. 画像ラボ. vol. 34, No. 2, pp.
41-45, 2023.
17. 総説記事 小泉 直也. 光沢平面上に直立空中像を表示する可搬式光学系. 機能材料. vol. ４３, No. 2,pp. 19--２5, 2023.
18. 総説記事 小泉 直也. 再帰透過光学素子による空中像の設計. 光技術コンタクト. vol.60, No. 9, pp.
28-33, 2022.
19. 雑誌報道 浮遊なるか空中ディスプレー. 日経エレクトロニクス. vol. 5, 2022.

-4-