情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-28
2024/2/28

現実空間の光源情報を反映した空中像提示
平井 良磨1,a)

井村 誠孝1,b)

概要：再帰反射素子を用いた空中ディスプレイ技術において実世界の物体に近い自然さやリアリティを高めることは，よりリアルな視覚体験を実現する上で重要な要素である．本研究では，様々な照明環境における空中像の光学的整合性を考慮できるシステムを提案する．空中像カメラシステムにより取得した画像から機械学習によって全天球画像を推定することで，空中像提示位置における現実空間の大域的な光源情報の取得を実現する．推定した画像を利用したイメージベーストライティングによる CG モデルのレンダリングにより周囲の光源と一貫性のある空中像を提示する．

1. はじめにリアリティを向上する上で重要な要因となる．
空中像の光学的整合性について，山本らは，プロジェク

VR ・ AR 技術の発展に伴い，平面的なディスプレイにタによる影のプロジェクションを提案し，空中像に対するよる映像にとどまらず，自身が映像内に溶け込むバーチャ

陰影表現の付加は物体の位置や形状，実在感の知覚に効果

ルな世界や現実世界の環境を映像により拡張した空間で没を与えられること確認している [2]．矢野らの研究では，空入感や立体感のあるよりリアルな空間提示が可能になって中像に異なる形状の影を投影することにより，影が空中像きている．の形状の知覚にどのような効果を与えるのか調査し，影が空中ディスプレイ技術は，何もない空間に像を形成しス
クリーンの枠にとらわれない映像を演出する技術であり，空中像の奥行方向の厚みの知覚に影響を与えることを確認している [3]．

光源からの光をそのまま入射方向に反射させる再帰反射方

従来の研究では，空中像提示の際に影を付加することが式の空中ディスプレイ [1] などがある．空中ディスプレイ

立体感や実在感の向上に有効であることを報告しているが，技術はタッチレスレジやデジタルサイネージに導入されて陰影表現の効果は確認できていない．また，あらかじめ想いる．平面的なディスプレイとは違い，現実空間に映像と定された照明環境における影を再現するシステムであるた

して提示できる空中像は実物体との融合によるコンテンツ

め，様々な照明環境下において活用することは難しい．

としても期待されている．従来の空中ディスプレイ技術は空中像が周囲の照明状況を反映していないために周辺環境や物体との違和感が生じる．そのため現実物体のような自然さやリアリティの向上が課題として挙げられる．

3. 提案手法
本研究では，様々な照明環境において空中像の光学的整合性を考慮できるシステムを提案する (図 1)．提案システ

本研究では，様々な照明環境下においてリアルタイムでムの処理の流れを図 2 に示す．再帰反射素子の特性を利光学的整合性を考慮した空中像を実現するシステムを提案用した空中像カメラで撮影することで，空中像提示位置にする．周囲の環境と一貫性のある空中像の物体表面の陰影おける光源情報を画像として取得する．取得した空中像カ表現を再現することで，再帰反射方式による空中像提示にメラ画像から空中像提示位置における現実空間の大域的なおいてよりリアリティのある空中像を実現する．

光源情報を得るため機械学習によって全天球画像を推定す

2. 関連研究る．生成された全天球画像を利用したイメージベーストラ
イティングにより陰影を付与した CG モデルのレンダリン

光学的整合性とは現実空間の光源分布を考慮しバーチャグ画像を生成する．生成したレンダリング画像を再帰反射

ル物体のレンダリングに適用することで，陰影や影の付き素子に反射させることで光学的整合性を考慮した空中像を方を違和感なく提示することである．AR・MR における提示する．

1a)b)

関西学院大学
hfr55891@kwansei.ac.jp
m.imura@kwansei.ac.jp© 2024 Information Processing Society of Japan750

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-28
2024/2/28

ASKA3Dプレート

光学的整合性を考慮した空中像

空中像カメラ10cm

45度

ASKA3Dプレート

空中像カメラ

再帰反射素子カメラ

再帰反射素子ディスプレイ
カメラ

取得した画像PC

レンダリング画像

PC(a) カメラ視点位置の転送(b) システム配置

図 3: 空中像カメラシステム
機械学習により全天球画像推定

図 1: 提案システム概要3.3 大域的な光源情報を得るための機械学習
空中像カメラシステムでは，再帰反射素子が光を反射することで像を生成するため，素子とカメラの相対位置姿勢やカメラの視野角によって撮影できる風景画像の範囲が制空中像カメラ生成限されることから，空中像提示位置における現実空間の大域的な光源情報の取得が困難である．本研究では空中像カ空中像カメラで画像取得

機械学習により全天球画像を推定

データセットの作成

メラからの画像にゴースト像からの画像が重畳されている空中像カメラシステムで取得した画像から，機械学習に推定した全天球画像を元にIBL(イメージベーストライティング)空中像として提示するCGモデルのレンダリング画像取得

光学的整合性を考慮した空中像を提示

図 2: 提案システムの処理の流れ

よって全天球画像を推定することで，空中像提示位置における現実空間の大域的な光源情報の取得を実現する．

3.4 空中像として提示する画像のレンダリング
空中像は CG モデルのレンダリング画像をディスプレイに表示し再帰反射素子に反射させることで提示する．全方向の光源情報をキャプチャした画像を光源として用いる

3.1 空中像提示位置からの画像の取得

3D レンダリングの手法であるイメージベーストライティ

空中像と現実空間との光学的整合性をとるためには，空ングに，機械学習で推定した全天球画像を利用することに中像提示位置における光源情報を取得する必要がある．本

より，現実空間と光学的整合性の高い CG の画像をレンダシステムでは，小泉ら [4] が提案した再帰反射素子を利用リングする．

してカメラ視点位置を光学的に転送する手法を利用する．
再帰反射素子が光源からの光線を面対称の位置に再結像す

4. 空中像カメラでの画像取得

る光学系であることを利用し，再帰反射素子にカメラを向3.1 節で述べた再帰反射素子を利用してカメラ視点位置けることで，カメラから再帰反射素子に対して面対称の位を光学的に転送 (図 3a) する手法を利用して，空中像カメ置にカメラ視点位置が転送できる．この空中像カメラシス

ラで撮影した空中像提示位置での画像から全天球画像を推テムを利用することで，空中像提示位置からの画像を取得

定する機械学習に必要なデータセットの画像を取得するた

する．

め，空中像カメラシステムを設計した．

3.2 ゴースト像

平に置き，下側にレンズ (TAMRON 28-200 mm F2.8-5.6

再帰反射素子 (ASKA3D プレート，ASUKANET) を水
再帰反射素子は複数個の鏡を平面内に一定間隔でアレイ

Di III RXD，TAMRON) を装着したカメラ (α 7III ILCE-状に配置したパネル 2 枚を，上下で直交するように作られ7M3，SONY) を配置する．再帰反射素子とカメラは 10 cmた光学素子である．上下に直交する 2 つの各パネルに対し離し，カメラの光軸が ASKA3D プレートに対してなす角て光が偶数回反射・屈折した光はゴースト像と呼ばれる．

が 45 度になるように配置した (図 3b)．ASKA3D プレー

ゴースト像は空中像付近に発生し観察の妨げになる可能性

トによる空中像カメラシステムの光学系において被写界深があるため再帰反射方式による空中像生成において課題と度の逆転を防ぐためレンズには凹レンズを装着した．

されている．本研究では，一般的に障害とみなされている空中像カメラと通常のカメラで撮影できる範囲の違いゴースト像を空中像カメラシステムによって生成された空を比較した画像を図 4 に示す．設計した空中像カメラで中像カメラとともに撮像手段として利用することで，より撮影した画像は図 4c のようになっており，通常のカメラ広範囲の光源情報の取得を実現する．

(図 4b) で撮影した際の青枠の部分が空中像カメラでも同© 2024 Information Processing Society of Japan751

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-28
2024/2/28(a) 横から撮影した画像(b) 通常カメラ画像(c) 空中像カメラ画像

図 4: カメラと空中像カメラの比較(a) 入力画像(b) 出力画像(c) 正解画像 (全天球カメラで撮影した画像)

図 5: 空中像カメラで撮影した画像 (a) から機械学習による全天球画像の推定様に撮影できていることが確認できる．また，通常のカメた．ネットワーク構造は，Encoder-Decoder 構造をとり，ラでは図 4a の赤枠の部分が視野外となっているが，空中Decoder によるアップサンプリング時に，Encoder の各層像カメラではゴースト像によって赤枠の部分の情報も撮影で出力される特徴マップを Decoder の対応する各層の特徴できていることから，通常のカメラよりも広範囲の情報をマップに別のチャネルとして連結することで, 入力画像の画像として取得できることを確認できた．

各ピクセルの情報を出力画像に反映できる U-Net 構造 [5]5. 機械学習による全天球画像の推定
5.1 データセットの作成とした．入力は， 空中像カメラシステムで撮影した空中像カメラからの画像にゴースト像からの画像が重畳されている 256 × 256 × 3 の画像とし，空中像カメラシステムの視ゴースト像を含めた空中像カメラ画像から，全天球画像野外領域を含めた空中像提示位置における 256 × 256 × 3を推定する機械学習ネットワークを実現するため，空中像の画像を出力する．学習には 5.1 節で作成した訓練データカメラで撮影した入力画像と全天球カメラで撮影した正解

5000 セット，検証データ 1700 セット，テストデータ 150

画像を 1 セットとする学習データセットを作成した．

セットを用いた. 実装には Python3.9.13 と機械学習ライブ

空中像カメラと全天球カメラを覆えるように半球ドーム

ラリの PyTorch を使用した．

を設置し，半球ドームに対して様々な画像を投影し空中像学習したネットワークに空中像カメラシステムで取得しカメラで撮影したものを入力画像，空中像カメラの提示位た画像を入力した結果の例を図 5 に示す．図 5a の画像

置と同位置に全天球カメラを設置して撮影したものを正解を入力した結果として，図 5b の画像が出力され，正解画画像として画像を取得した．空中像カメラと全天球カメラ像である図 5c と類似した画像が生成できることを確認でを同時に同位置に配置し撮影することはできないため，空きた．

中像カメラが生成される位置に全天球カメラを設置し，空中像カメラで撮影する際の照明環境や位置関係を同様の条

6. 空中像提示件になるようにして撮影することで、入力画像と対応した機械学習により推定した画像を元に，イメージベースト正解画像である全天球画像のデータ画像を取得した．全天ライティングを行い CG モデル (bunny) のレンダリング画

球カメラには RICOH THETA S を使用した．

像を統合型ゲーム開発環境である Unity を用いて作成した．機械学習で出力した画像をライティングに用いたレン

5.2 全天球画像の推定ダリング画像図 6a と全天球カメラで撮影した画像をライゴースト像からの映像を含めた空中像カメラ画像を機械ティングに用いたレンダリング画像を図 6b に示す．それ

学習したネットワークに送り，空中像提示位置で撮影したぞれの画像を比較し，機械学習で出力した画像をライティような全天球画像が出力されることを目標に学習を行っングに用いたレンダリングが全天球カメラで撮影した正解© 2024 Information Processing Society of Japan752

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-28
2024/2/28

参考文献
[1]

[2]

[3]
(a) 図 5b の画像をライティン(b) 図 5c の画像をライティン

グに用いたレンダリング

グに用いたレンダリング[4]

図 6: レンダリング画像の比較[5]

山本裕紹：再帰反射による空中結像 AIRR(aerial imagingby retro-reﬂection)；空中ディスプレイの開発と応用展開，
pp. 114–121，シーエムシー出版 (2018)山本紘暉，金ハンヨウル，小泉直也，苗村健：複合現実感シ
ステムのための空中像に対する影のプロジェクションの提案；3 次元画像コンファレンス 2014 講演論文集，pp. 51–54(2014)
矢野裕太郎，星彩水，小泉直也：影プロジェクションによる空中像の立体感錯視；第 26 回日本バーチャルリアリティ学会大会論文集，3B1-5 (2021)
N. Koizumi, Y. Niwa, H. Kajita, and T. Naemura: Opticaldesign for transfer of camera viewpoint using retrotransmissive optical system; Optical Review, Vol. 27, pp. 126–
135 (2020)
O. Ronneberger, P. Fischer, and T. Brox: U-Net: Convolutional networks for biomedical image segmentation;
Proceedings of Medical Image Computing and ComputerAssisted Intervention, pp. 234–241 (2015)

図 7: 図 6a の空中像

画像をライティングに用いたレンダリングと類似した結果であることを確認できた．機械学習で出力したレンダリン
グ画像 (図 6a) を利用し，空中像として提示したものを図 7に示す．レンダリング時のライティングを反映した CG が空中像として提示されていることを確認できた．

7. おわりに本研究では，様々な照明環境における空中像の光学的整合性を考慮できるシステムを提案した．ゴースト像を含めた空中像カメラシステムにより取得した画像から機械学習によって全天球画像を推定することで，空中像提示位置における現実空間の大域的な光源情報の取得を実現し，推定した画像を利用したイメージベーストライティングにより，正解画像に似たレンダリングがなされていることを確認できた．
今後の展望として，提案システムにより生成された空中像の評価，現実空間の光源情報をより忠実にレンダリングした空中像提示システムの構築を目指す．
謝辞
本研究は JSPS 科研費 JP22H03681 の助成を受けたものです．

© 2024 Information Processing Society of Japan753