1D3-2
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 26 回日本バーチャルリアリティ学会大会論文集（2021 年 9 月）

再帰性反射型コーナーリフレクタアレイと凹凸形状スクリーンを用いた胸像立体空中像の幾何学的キャリブレーション手法
Geometric Calibration for Aerial 3D Imaging of Upper Body
by Retroreﬂective Mirror Array and 3D-shaped Screen
矢田捷真 1) ，小池崇文 2) ，大西康司 3)

Shoma YADA, Takafumi KOIKE, and Yasushi ONISHI
1) 法政大学 情報科学研究科（〒 184-8584 東京都小金井市梶野町 3-7-2, shoma.yada.3h@stu.hosei.ac.jp）
2) 法政大学 情報科学部（〒 184-8584 東京都小金井市梶野町 3-7-2，takafumi@hosei.ac.jp）
3) 有限会社オプトセラミックス（〒 601-8213 京都府京都市南区久世中久世町 5-35，onishi@optceramics.name）
概要: 短冊状のコーナーリフレクタアレイと凹凸形状スクリーンを用いた，飛び出し距離が長い飛び出し距離が長い，人物胸像立体空中像の表示システムを開発した．再帰性反射を用いた空中像の表示では，飛び出し距離が長くなるほど像がぼやけてしまう．本システムでは，短冊状のコーナーリフレクタを複数アレイ状に並べた光学系を使用し，飛び出し距離の長い空中像をぼやけさせず表示する．また，表示対象として，人物胸像の凹凸形状をもったスクリーンを使用することで，上記の光学系がもつ，逆視になる課題を解決した．
キーワード： 空中像，再帰性反射，幾何学的キャリブレーション

1.

はじめに
立体空中像

未来を題材にした映画では，裸眼で人物の立体像を観察実物する様子が描かれている．現実でも，立体空中像を表示すユーザる手法が提案されており，その中の一つである再帰性反射を用いた手法では，裸眼での観察が行えることや，表示さユーザれる空中像が実像であることによるインタラクションのし立体空中像やすさから注目されている．

再帰性反射

再帰性反射を用いた手法に，小池らが提案した Retrore-

実物

鏡面反射

ﬂective Mirror Arrey（以下，RMA）[1] がある．RMA の原理を図 1 に載せる．光源からの光を，地面対して垂直な（左）横方向の再帰性反射,（右）縦方
図 1: RMA の原理．

平面を基準に鉛直方向には鏡面反射し，水平方向には再帰向の鏡面反射．[2] より引用

性反射をする．これによりビームスプリッタを用いて光線経路を分ける手法 [3, 4] と比べ簡単に空中像を表示できる．

ンの凹面を RMA で反射する．すると，逆視により凹凸形

再帰性反射を用いた手法では，回折の影響から空中像を状スクリーンの凸面と同様の胸像立体空中像を表示する．

表示位置がデバイスから離れるほど像がぼやける問題があ

顔画像の投影では，人の胸像という曲面に対して複数台る．RMA の内部は短冊状のコーナーリフレクタを複数並べのプロジェクタを用いて投影を行うため幾何補正が必要でた光学系になっているため回折を抑えられ，表示像がぼやある．既存システムでは手動によって幾何補正を行っていた

けない．

が，投影映像がズレて見えることや，プロジェクタの投影

我々は，上述した RMA の応用システムとして，人の胸映像が重なることで過剰に明るく見える課題があった．そ像を立体空中像として表示するシステム [2] を提案している．

こで本研究では，上述した RMA のシステム [2] を改良し，このシステムでは RMA と図 2 の人の胸像形状をもった凹シームレスな胸像を凹凸形状スクリーンに投影することで，凸形状スクリーンを組み合わせて胸像立体空中像を表示す

凹凸形状スクリーンと同様に立体空中像でもシームレスにる．凹凸形状スクリーンは RMA の光学特性から発生する胸像を表示するシステムを提案する．

逆視を解決するために採用されている．凹凸形状スクリー
ンに複数視点から撮影した顔画像を投影し，そのスクリーⒸ 2021 日本バーチャルリアリティ学会-1D3-2-

1D3-2

図 4: 顔展開図[6] を用いた．特徴点を検出後，各画像を比較し，同じ特徴
図 2: （左）前方からの胸像形状スクリーン，（右）右斜め点を見つけマッチングしていく．マッチング後，各画像から後方からの胸像形状スクリーン．[2] より引用

カメラパラメータを推定する．推定したカメラパラメータから，画像を重ね合わせた画像を作成する．

:プロジェクタ

次に，重ね合わせた画像からグラフカット [7] 手法で画像:カメラ
ライト同士が自然に繋がるつなぎ目を探し，その部分でつなぎ合RMA

暗室
ユーザ

わせることで，シームレスに画像をつなぎ合わせる．つなぎ合わせは，左と正面，正面と右の画像に対して実行し，2つの展開図を作製した後，その展開図画像をつなぎ合わせ，顔全体の展開図を作成する．つなぎ合わせる画像は，展開図を作成する際には，顔の特徴点を検出しやすくするため，前髪を上げて撮影した．

PC

図 4 につなぎ合わせた顔展開図を載せる．正面左右の 3ヶ凹凸形状スクリーン所の画像がシームレスにつなぎ合わされている．目や鼻の図 3: 提案システム構成図．撮影した映像は PC を介して位置は正面の画像の位置につなぎ合わされ，左右の画像はプロジェクタへ送られ凹凸形状スクリーンへ投影される．そ

側面部の耳などが残った画像が出力されている．の後，凹凸形状スクリーンから出た光を RMA で反射する

2.2

ことで立体空中像を表示する．[2] より引用

顔特徴点の検出

次に，顔展開図から，顔の特徴点を検出する手法について説明する．特徴点の検出には，Ensemble of regression trees

幾何補正手法の改良

2.

アルゴリズム（以下，ERT）[8] を使用した．ERT は形状

既存システム [2] は図 3 のように人を 3 方向から撮影し，回帰モデルを用いて，データセットから得た，特徴点の位置その映像をそのままプロジェクタで図 2 に投影する．投影を更新することで，高精度に特徴点を検出する．本研究でされた凹凸形状スクリーンからの光を RMA で反射し，胸は，顔の特徴点として検出する部位として，目，鼻，口，眉像立体空中像を表示する．この時，幾何補正が必要になるに加え頬及び顎の輪郭を検出する．検出する点の総数は 68

が，手動による補正を行っていたため投影映像のズレが発点である．これは使用するデータセットに合わせこの数字生した．にした．また，上記アルゴリズムが実装されている Dlib[9]本研究では，既存システム [2] における，手動補正時に使用した凹凸形状スクリーンの 3D モデルへ，撮影画像から作を用いて特徴点を検出した．

2.3

顔展開図のマッピング成した顔展開図のテクスチャをマッピングし，凹凸形状スマッピングでは，正確な投影を行った場合と同様の凹凸クリーンにシームレスな顔画像を投影した状況を再現する．

形状スクリーンの 3D モデルを得られるよう，事前に推定しその 3D モデルを現実のプロジェクタと同じ位置に配置した特徴点をもちいる．まず，凹凸形状スクリーンの 3D モデた仮想カメラで撮影し，その映像をプロジェクタで投影すルを uv 展開する．展開された uv マップに事前に推定したることでシームレスな胸像を投影する．具体的には，1．顔特徴点を重ねる，その後，特徴点のある位置に，目や鼻を展開図の作成，2．画像から顔特徴点の検出，3．特徴点をが来るよう顔展開図を重ね，凹凸形状スクリーンの 3D モ

もとに 3D モデルへマッピングの 3 つに分けられる．

デルへマッピングするテクスチャを作製する．最後にテク2.1

顔展開図の作成

スチャを適用する．図 5 が 3D モデルにテクスチャを適用

正面左右の 3 方向から撮影した画像をもとに顔展開図の作した結果である．

成するため，パノラマ画像の作成にも用いられる，OpenCVマッピングを行った凹凸形状スクリーンの 3D モデルを仮の Stitching Module を使用した．Stiching Module では，想カメラで撮影し，現実のプロジェクタで投影することで，まず各画像の特徴点を検出する．特徴点の検出には Oriented

人の胸像を凹凸形状スクリーンへ投影する．各プロジェク

FAST and Rotated BRIEF アルゴリズム（以下，OBR）Ⓒ 2021 日本バーチャルリアリティ学会-1D3-2-

1D3-2

左正面

右

図 7: 顔展開図画像をマッピングする幾何補正手法を用いて表示した胸像立体空中像．
図 5: テクスチャとして凹凸形状スクリーンに適応した様子．図は左から左視点，正面視点，そして右視点のものにスクリーンへの投影結果表示された胸像立体空中像なっている．

手動による幾何補正手法[2]

左

正面

右

顔展開図画像のマッピングによる幾何補正手法

図 6: マッピングした凹凸形状スクリーンの 3D モデルを各投影範囲に分け撮影し，凹凸形状スクリーンへ投影した
結果．
タは，凹凸形状スクリーンを左右と中央の 3 つに分け，各範囲に対して投影を行う．この時，各投影範囲の境目を目立たなくするため，投影範囲の端が一部重なって投影される．本研究では投影範囲が重なった部分で発生する，過剰に明るくなる課題に対応するため，他プロジェクタの投影範囲と重なる部分に対して段階的に黒色になるようグラデーションをかける．

2.4

いた幾何補正手法の比較．上が手動による補正の結果であり，下が顔展開図画像のマッピングを用いた幾何補正手法になっている．

8 に載せる．顔展開図のマッピングを用いた幾何補正手法はズレが無くシームレスな胸像を表示できていることが分かる．またグラデーション加工により投影範囲の境目が見え

幾何補正の結果マッピングした凹凸形状スクリーンの 3D モデルを撮影し，投影領域の境目にグラデーション加工を行った後，プロジェクタで投影した凹凸形状スクリーンを図 2 のような後方から撮影した結果を図 6 に載せる．投影された凹凸形状
スクリーンでは，凹凸形状スクリーンの 3D モデルと同様，シームレスな胸像立体像の表示を確認した．耳などの左右のプロジェクタが投影する領域も人の顔として自然な位置に表示されていることを確認した．投影画像では，投影範囲が重なった部分にグラデーションをかけたことで，投影範囲の境目が目立たなくなっていることが確認できた．

3.

図 8: 手動による幾何補正と顔展開図画像のマッピングを用なくなっている．

4.

顔展開図をマッピングすることでシームレスな胸像立体像を表示できた．これは，現実の凹凸形状スクリーンと凹凸形状スクリーンの 3D モデルには形状やサイズの誤差が十分に小さかったため，凹凸形状スクリーンの 3D モデル
上でシームレスな胸像立体像を表示し，仮想カメラとプロジェクタの位置及び FOV 等のパラメータを同じ値にすることで，現実空間でシームレスな胸像立体像を表示している環境を再現できたことが理由だと考えられる．

顔展開図画像のマッピングを用いた，胸像立体空中像表示システムの実装結果

また，グラデーションをかけたことで，投影範囲の境目が目立たなくなった．これは，各投影範囲の境目にグラデーションをかけると，投影範囲が重なっている部分の輝度の顔展開図をマッピングする幾何補正手法を実装し，空中像を表示した結果を図 7 に載せる．凹凸形状スクリーン同変化が連続的に行われるため，各画素の周囲の画素との輝度の差が小さくなったことが原因だと考えられる．

様，シームレスな胸像立体空中像を表示することができた．
また RMA を用いたことで表示像の輪郭がぼやけなかった．
既存システムにおける手動補正手法と比較した結果を図Ⓒ 2021 日本バーチャルリアリティ学会

考察-1D3-2-1D3-2

5.

結論[4] Y. Tokuda, A. Hiyama, M. Hirose, and H. Ya-

撮影した顔画像から顔展開図を作製し，顔展開図から検mamoto,R2d2 w/ AIRR: Real time & real space

出した顔特徴点を用いてマッピングを行うことで，シーム

double-layered display with aerial imaging by retro-レスな胸像立体像を表示できた．また，投影領域の境目にreﬂection,グラデーションをかけることで，境目が目立たなくなった．

Technologies. Association for Computing Machin-

これらの結果から，既存システムの手動補正手法を，顔展開図画像をマッピングする手法に改良することで，シームin SIGGRAPH Asia 2015 Emergingery, 2015.
[5] F. Bernardini, J. Mittleman, H. Rushmeier, C. Silva

レスな胸像立体空中像表示システムを実装した．

and G. Taubin, ”The ball-pivoting algorithm for sur-

今回の実装では，首から上の部分に対してシームレスな

face reconstruction,” in IEEE Transactions on Visu-

投影を実現した．しかし，首から下の部分は，顔展開図のalization and Computer Graphics, vol. 5, no. 4, 1999,

作成時に特徴点として検出される部分が少なく，シームレ

pp. 349–359.

スなつなぎ合わせが難しい．今後は，首から下の部分に対[6] E. Rublee, V. Rabaud, K. Konolige and G. Bradski,

してもシームレスに投影する手法について検討する予定で

ORB: An eﬃcient alternative to SIFT or SURF,”
2011 International Conference on Computer Vision,ある．

2011, pp. 2564–2571.

6.

謝辞[7] V. Kolmogorov and C. Rother,Minimizing Non-submodular Functions with Graph Cuts-A Review,”

本研究の一部は，JSPS 科研費 JP20K04604 の助成を受

in IEEE Transactions on Pattern Analysis and Ma-けたものである.

chine Intelligence, vol. 29, no. 7, 2007, pp. 1274–

参考文献

1279.

[1] T. Koike and Y. Onishi,

Aerial 3d imaging byretroreﬂective mirror array,in Proceedings of theAlignment with an Ensemble of Regression Trees,”

2018 ACM Companion International Conference onProceedings of the IEEE Conference on Computer

Interactive Surfaces and Spaces. Association for

Vision and Pattern Recognition, 2014, pp. 1867–

Computing Machinery, 2018, pp. 25–29.

1874[2] 矢田 捷真, 小池 崇文, 大西 康司,

再帰性反射型コー[8] V. Kazemi and J. Sullivan,[9] Davis E. King.

One Millisecond Face

Dlib-ml: A Machine Learning

ナーリフレクタアレイと凹凸形状スクリーンを用いたToolkit,” The Journal of Machine Learning Re-

胸像立体空中像のライブ表示,

search, vol. 10, 2009. pp. 1755–1758.

情報処理学会第 83 回全国大会, 2021．

[3] H. Yamamoto, Y. Tomiyama, and S. Suyama,
Floating aerial ledsignage based on aerial imagingby retro-reﬂection (airr), in Opticsexpress, vol. 22,no. 22, 2014, pp. 26919—26924.

Ⓒ 2021 日本バーチャルリアリティ学会-1D3-2-