1D4-1
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 27 回日本バーチャルリアリティ学会大会論文集（2022 年 9 月）

再帰性反射型コーナーリフレクタアレイを用いた空中像の MTF 測定
矢田捷真 1) ，小池崇文 2) ，大西康司 3)

Shoma YADA, Takafumi KOIKE, and Yasushi ONISHI
1) 法政大学 情報科学研究科（〒 184-8584 東京都小金井市梶野町 3-7-2, shoma.yada.3h@stu.hosei.ac.jp）
2) 法政大学 情報科学部（〒 184-8584 東京都小金井市梶野町 3-7-2, takafumi@hosei.ac.jp）
3) 有限会社オプトセラミックス（〒 601-8213 京都府京都市南区久世中久世町 5-35, onishi@optceramics.name）
概要:

再帰性反射型コーナーリフレクタアレイ（以下，RMA）は飛び出し距離の長い空中像を表示できる光学デバイスである．しかし，RMA は比較的新しいデバイスであり，また既存の光学結像素子と異なる光学特性を持つため，表示した空中像がどの様な画質なのか定量的に評価されていない．そこで
本研究では，RMA で表示した空中像を縦と横の 2 方向から Modulation Transfer Function を測定し定量評価する．
キーワード： 再帰性反射, MTF, 空中像

1.

はじめに関連研究

2.

SF 映画等では何もない空中に映像を表示する空中ディス2.1

光学結像素子を用いた空中ディスプレイ

プレイに関する描写があり，現実でも空中ディスプレイの光学結像素子を用いた空中ディスプレイには，Miyazaki ら実用化が期待されている．近年では，空中像がもつ裸眼でが提案している Dihedral Corner Reﬂector Array (DCRA)の観察ができることや非接触技術との相性の良さを生かし[6]，また Otsubo が提案している Aerial Imaging Plate

た，非接触ユーザインタフェースやデジタルサイネージで(AIP)[7] がある．DCRA は 2 枚の直交する平面鏡を多数の社会実装が進んでいる．

配置したもので，AIP は DCRA の平面鏡の代わりにスリッ

空中ディスプレイには光学結像素子を用いたものがあり，トミラーを直行するよう 2 層重ねたものを使用している．

その 1 つには小池らが提案している Retroreﬂective Mirror

DCRA と AIP で表示する空中像は，光源との位置が面対Array (RMA) [1] がある．RMA は空中像の飛び出し距離称になっている．それに対し，RMA は図 1a のように 1 枚が長くても画質の劣化が少なく，また設置の自由度が高いのプレート形状内部に，短冊状のガラスプレートが多数配利点をもつ．我々は RMA を用いた胸像立体空中像表示シ置されている．ガラスプレートの 1 部面には反射面が形成

ステムの開発 [2, 3] や，視距離によって縦横比が変化する問されており，入射した光が図 1b 及び c に示すように地面に題に対応した映像変形システム及び，それを用いたインタ

垂直方向には鏡面反射，水平方向には再帰性反射する光学ラクションの実装 [4] など RMA の実用化に向けた取り組み特性を持つ．この内部構造及び光学特性から，RMA に対しを続けている．て鏡面反射した位置に空中像が表示される．表示位置の違RMA は既存の光学結像素子を用いた手法とは異なる内いや光学特性の違いから，空中像の見え方に違いが生じる．

部構造，及び光学特性をもつ．そのため，RMA を用いて表また再帰反射を用いた空中ディスプレイに，Yamamoto ら示する空中像は既存手法を用いて表示した空中像とは異なが提案する Aerial Imaging by Retro-Reﬂection (AIRR)[8]る見え方をする．我々は RMA がどの様な空中像を表示すがある．AIRR はビームスプリッタと再帰性反射材を組みるのか調べるため，アンケート調査による主観評価を行い，合わせており，比較的安価に空中像を表示できる．RMA とその評価手法についても検討した [5]．しかし，RMA がどは内部構造が異なり，表示される空中像も異なって見える．の様な空中像を表示するか定量的な評価は行われていない．

2.2

空中ディスプレイで表示した空中像の定量評価

そこで本研究では，RMA を用いて表示する空中像の定空中ディスプレイで表示する空中像を定量評価した例が量評価として，Modulation Transfer Function (MTF) を存在する．Kawagishi らは AIRR を用いて表示する空中像測定する．MTF の測定では，エッジ法を用い，地面に対しの MTF を測定し，再帰反射材が空中像の画質に与える影て水平・垂直の 2 方向から測定する．2 方向から測定するこ響を調べている [9]．AIRR は地面に水平方向と垂直方向のとで，鏡面反射と再帰性反射のそれぞれが，空中像の画質それぞれで光学特性の違いがなく地面と水平方向のみ MTFにどの様な影響を与えているか調べる．

を測定している．

Ⓒ 2022 日本バーチャルリアリティ学会-1D4-1-

1D4-1

RMA

空中像
ユーザ

光源
(a)

図 2: Kawagishi らの投影方法．推定した傾斜角度をもとに，エッジと垂直な方向に投影する．

RMA

RMA
空中像 / 光源と垂直な方向に投影する方法を提案している．この方法では求めた ESF 曲線のサンプリング点が等間隔でなく，その空中像ユーザ

まま LSF を求めることができない．そこでビンを設定し，ユーザサンプリング点を平均化している．本研究では，Kawagishi

光源(b)

らの傾斜角度推定方法と投影方法を用いたエッジ法による(c)MTF 測定を行う．
図 1: (a) RMA の概略図．(b) 地面に垂直な方向の光線模式図．(c) 地面に水平な方向の光線模式図．
本研究では，RMA が持つ光学特性が表示する空中像にどの様な影響を与えるか調べるため，地面に水平方向と垂直方向の 2 方向から MTF を測定する．RMA と AIRR の内部構造や光学特性の違いを考慮し，Kawagishi らの手法[9] を適用する．

3.

4.

実験

4.1

実験概要

RMA を用いて表示した空中像の画質を定量評価するため，MTF 測定を行った．実験ではエッジ像を表示したディスプレイを用意し，ディスプレイからの光を RMA で反射することでエッジ像の空中像を表示する．図 3 に実験システ
ムの概要図を載せる．またその外観を図 4 に載せる．RMAと空中像間，また空中像とカメラ間の距離はともに 1m である．RMA は 15 度傾けて配置し，ディスプレイは RMA のMTF
MTF とは画像の鮮鋭さを表す指標であり．空間周波数での画像のコントラストをどの程度維持して表示しているか示すものである．MTF を測定する手法の中にエッジ法がある．エッジ法はカッターの刃などのエッジを，光源からの光を遮るよう斜めに配置したものを撮影したエッジ画像からMTF を求める手法である．エッジ法は次の順番で MTF を求める．まず，取得したエッジ画像から各行のエッジ位置を中心部に向けて配置する．エッジ像の撮影時には室内灯を消し，光源以外からの光を反射しないようにする．焦点は空中像の表示位置であるカメラから 1m の位置と RMA が配置されている 2m の位置の 2 種類を測定する．
今回使用した機材を図 5 に載せる．図 5a の RMA は幅が602mm，高さが 188mm と横に広く，水平方向の光を広く反射できる．使用したカメラは sony の α7R で，撮影時のパ推定し，各行ごとのエッジ位置を重ね合わせて投影することで Edge spread function (ESF) 曲線と呼ぶ各ピクセルのプロファイルを求める．次に，ESF 曲線から Line Spread

空中像

カメラ

RMAfunction (LSF) 曲線を求める．LSF 曲線は ESF 曲線を微分した物であり，ピクセル間のプロファイル変化を表す．最後に LSF 曲線をフーリエ変換することで MTF を求める．
ノイズがあるエッジ画像の ESF 曲線を求める際にはノイ1m1m

ズの影響を受け，エッジの正確な傾斜角度を推定することが難しく，推定した傾斜角度を用いるエッジ位置推定も正確な位置を推定できない．そこで Kawagishi らの手法 [9] でディスプレイ
エッジ像はバイラテラルフィルタでノイズ除去をしたエッジ画像を2 値化し，エッジ推定をした後，ラドン変換して角度を推定する方法と，図 2 に示す推定した傾斜角度をもとにエッジⒸ 2022 日本バーチャルリアリティ学会-1D4-1-

図 3: 実験システム図．

1D4-1

図 4: 実験システムの外観．台の後部にディスプレイが配置されている．

図 6: 焦点をカメラから 1m にした場合の MTF 測定結果．
青の曲線が RMA での結果，緑の曲線がアクリルミラーでの結果である．実線が水平方向の，点線が垂直方向の結果である．lp/mm の lp は line pair の略で，1mm の間に白黒の線が何本描画できるかを表す．

(a)

(b)

(c)

図 5: 実験で使用した機材，(a) RMA，(b) ディスプレイ，(c) アクリルミラー．
図 7: 焦点をカメラから 2m にした場合の MTF 測定結果．
ラメータが F 値が 5.6，シャッタースピードが 1/60，ISO 値が 1250 である．焦点は空中像の表示位置である 1m に合わ5.

せる．図 5b のディスプレイは幅が 926mm，高さが 280mmの 37 インチで，液晶ディスプレイを使用した．解像度は1920 × 540 で輝度は 2500cd/m2 である．

いて表示したエッジ空中像及びアクリルミラーで反射したエッジ画像の MTF 測定結果を図 6 に載せる．また，焦点を本研究では，RMA を用いて表示した空中像から測定した

MTF との比較として，RMA の手前に図 5c のアクリルミラーを設置し，それに反射したエッジ像を撮影して MTF を測定する．アクリルミラーは幅が 545mm，高さが 320mmで，RMA と同じく 15 度傾けて配置する．

4.2

カメラから 2m に合わせた場合の結果を図 7 に載せる．図6 を見ると，焦点を 1m に合わせた場合での RMA の MTF
は，アクリルミラーの MTF に近い結果になった．0lp/mm
から 20lp/mm では 10lp/mm につき MTF が 0.4 程度下がり，50lp/mm あたりで水平，垂直両方向の MTF の変化がエッジ画像の縦横比補正なくなる．それ以降では 0 近くで推移する．この結果からRMA で表示される空中像は RMA と空中像間，空中像とカメラ間の距離によって縦横比が変化する．本実験環境

焦点をカメラから 1m に設定した場合では再帰性反射及び，鏡面反射が空中像の画質に影響しないことがわかる．の場合，縦横比は横幅が 3 倍に引き伸ばされる．そこでディスプレイで表示するエッジ像の横幅を，事前に 1/3 に補正する．撮影したエッジ画像は ROI 領域 (中心部 500pixel ×500pixel) を切り取り入力画像として MTF を求める．

焦点を 2m に合わせた場合の結果では，アクリルミラーと RMA の MTF 測定結果の差が大きくなり，RMA で表示する空中像の水平方向での結果では，30lp/mm で 0.0 あたりまで MTF が減少している．垂直方向と水平方向の結またエッジ画像は，エッジが右肩上がりに 5 度傾けてあり，エッジより左が黒色，右が白色になるようにする．垂直方向のエッジ画像では，反時計回りに 90 度回転した際に上果を比較すると，水平方向の MTF の減少が大きく，水平方向の画質が劣化していることがわかる．また，垂直方向の MTF は焦点を変えても MTF があまり変化していない記の条件に適するよう撮影する．

Ⓒ 2022 日本バーチャルリアリティ学会

結果
焦点をカメラから 1m に合わせた場合での，RMA を用-1D4-1-

1D4-1

ことがわかる．この結果から，焦点をカメラから 2m に設謝辞 本研究の一部は，JSPS 科研費 JP20K04604 の助成を定した場合では，再帰性反射が空中像の画質に影響を及ぼ受けたものである．

していることがわかる．

6.

参考文献

考察
焦点をカメラから 2m に設定した場合の結果では，RMA[1] T. Koike and Y. Onishi： Aerial 3d imaging byの水平方向の画質の劣化が見られた．これは再帰性反射しretroreﬂective mirror array”, in Proceedings of theた光が，反射したガラスプレートとは異なるものに再度入2018 ACM Companion International Conference on
Interactive Surfaces and Spaces, 2018.

射したためだと考えられる．また一方で，垂直方向の画質の劣化は水平方向と比べると少なかった．これは鏡面反射[2] 矢田捷真, 小池崇文, 大西康司： 再帰性反射型コーナー

した光が反射したガラスプレートとは異なるガラスプレー

リフレクタアレイと凹凸形状スクリーンを用いた胸像立

トに再度入射せず，空中に結像したからだと考えられる．

体空中像のライブ表示”, 情報処理学会第 83 回全国大会,2021.

アクリルミラーと垂直方向の結果を比較すると似たようななだらかに MTF が低下する結果になったが，垂直方向の[3] 矢田捷真, 小池崇文, 大西康司： 再帰性反射型コーナー方が MTF の低下が速かった．これはアクリルミラーが 1 枚リフレクタアレイと凹凸形状スクリーンを用いた胸像立の板で，光源からの光を鏡面反射しているのに対し，RMA体空中像の幾何学的キャリブレーション手法”, 第 26 回が短冊状のガラスプレートを多数並べて鏡面反射している

日本バーチャルリアリティ学会大会論文集, 2021.

ため，ガラスプレート間の境目の影響が出たためと考えら[4] 宮崎駆, 矢田捷真, 小池崇文, 大西康司： 再帰性反射型
コーナーリフレクタアレイを用いた空中像の自然で安定れる．今後の画質向上には，この境目が目立たなくなる手した像表示とインタラクション”, 情報処理学会第 84 回

法についても検討する必要がある．
焦点をカメラから 1m に設定した場合では，アクリルミ
ラーと RMA で同様の MTF 測定結果が得られたが，カメ全国大会, 2022.

[5] 矢田捷真, 宮崎駆, 小池崇文, 大西康司： 再帰性反射型
コーナーリフレクタアレイを用いた空中像の展示会でのラから 2m に設定した場合では，アクリルミラーと RMA

アンケート調査 −空中像の主観評価手法の基礎検討−”,の MTF 測定結果の差が開く結果になった．これは，RMA自体に焦点が合い，RMA 内部に配置されたガラスプレートの影響が表れたからだと考えられる．今後は焦点をより細映像情報メディア学会技術報告, 2022.

[6] D. Miyazaki, N. Hirano, Y. Maeda, S. Yamamoto, T.
Mukai, and S. Maekawa： Floating volumetric im-かく変更し，MTF を測定していく必要がある．

7.

age formation using a dihedral corner reﬂector arraydevice”, Applied Optics, 2013.

まとめ
本研究では，RMA で表示した空中像の画質を定量評価[7] M. Otsubo： Optical imaging apparatus and optical imaging method using the same”, US Patentするため，MTF の測定を行った．結果から，焦点の位置によって異なる結果が得られ，焦点の位置をより細かく変更し，MTF を測定する必要があることがわかった．今後は，

8,702,252, 2014.
[8] H. Yamamoto, Y. Tomiyama, and S. Suyama： Floating aerial LED signage based on aerial imaging by

この定量評価結果をもとに RMA で実装するコンテンツの検討や，画質向上の検討を行いたい．

retro-reﬂection (AIRR)”, Opt. Express 22, 2014.
[9] N. Kawagishi, R. Kakinuma, and H. Yamamoto,
Aerial image resolution measurement based on theslanted knife edge method”, Opt. Express 28, 2020.

Ⓒ 2022 日本バーチャルリアリティ学会-1D4-1-