情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-16
2017/3/2

二面直交リフレクタアレイを用いた視点追従空中ディスプレイ
藤原 徹平†1井村 誠孝†1

概要：本研究では，視点追従を用いた空中像を表示するディスプレイシステムを提案する．二面直交リフレクタアレ
イを用いて提示する空中像ディスプレイは，光源からの光を反射等の光の性質を用いて空間上の任意の点に結像させるものである．既存のシステムでは，空中映像を適切に視認できる角度が限られており，利用者は映像が適切に見える位置を自分で発見しなければならない．提案するディスプレイは，空中像を見ている利用者の位置や視線をセンシングし，その結果に応じてディスプレイや AIP の位置や向きをリアルタイムに制御する．装置の試験的実装を行い，従来であれば正面からのみ空中像を視認できるところを本システムでは前後左右いずれの方向に対しても空中像を提示できることを確認した．

Eye Tracking Floating Display with Micro Dihedral Corner Reflector
Array
TEPPEI FUJIWARA†1 MASATAKA IMURA†1
Abstract: In this study, we propose a floating image display with eye tracking. Micro dihedral corner reflector array technology
makes floating image by utilizing optical properties such as reflection. The problem of current system to create floating image isthat we can only see the floating image in the very limited viewing angle and we must discover where floating image appears
properly. Therefore, we design 360 degree floating display which we can see at any directions. The proposed system can detectfrom where an observer is watching floating image, and control relative positions and orientations of optical devices in real-time.
We made prototype device and confirmed that it showed floating image to 4 directions, left, right, back and forth.

1. はじめにた映像に直接触れるようなインタラクションの実現を目標としているため，空中に結像させる方式が適している．

現在，ディスプレイはコンピュータやスマートフォン，光学系の工夫によって空中に映像を提示するディスプテレビ等で利用されており，私たちが日常生活を営む上でレイにはいくつかの手法が存在する．その中に，三菱電機欠かせない物となっている．光学系の工夫により，ディスのハーフミラーと再帰性反射材を用いた装置[2]が存在す

プレイの映像を空中に表示しようという試みが盛んに行わる．この方式では，表示される空中映像の隣に連続した画れている．空中像提示の利点として，物理的な制約を受け像が描かれたパネルを配置することによって，空中映像のずにどこにでも映像を表示できるという点や，ディスプレ

臨場感を高めながら利用者が空中映像を見られる角度を適イの枠が無いため通常のスクリーンよりも臨場感があると切な方向へと誘導している．一方，表示したい映像と同等いう点などが挙げられる．本研究では，空中映像を結像さの大きさのディスプレイ，ハーフミラーと再帰性反射材，せられる二面直交リフレクタアレイの一つである Aerial

そしてパネルが少なくとも必要となるため，デバイス全体Imaging Plate（以下 AIP）[1]と呼ばれる光学素子を用いた空の複雑化は避けられない．

間投影ディスプレイシステムについて提案する．

2. 関連研究
まず，現在空中映像を表示するために取られている手法
は 3 つに分類される．プラズマ発光等を用いて空間上の任意の点を直接発光させる方式，霧や透明なスクリーン上に映像を投影する方式，そして光学系を工夫することで空間上に映像を結像させる方式である．本研究では，投影され本研究で使用する AIP とは，素子面に垂直なマイクロミラーから構成される，微小な二面直交リフレクタが格子状に配置されている光学素子である[1][3]．AIP の格子内に侵入した光は，格子側面の 2 つのマイクロミラーによって反射され，AIP 面と対称な方向へと進む． 例えば，図 1 の物
体 A から発せられた散乱光は，AIP を挟んで物体 A と対称の位置へと反射して点 B で再び結像する．その結果，利用者には点 B に物体が存在するように見える．

†1 関西学院大学理工学部
School of Science and Technology, Kwansei Gakuin University© 2017 Information Processing Society of Japan162

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-16
2017/3/2

AIP を用いて奥行きのある空中像の提示を行う研究[4]や3 次元の映像を表示する研究[5]も行われている．しかし，3.2 ディスプレイの位置計測
3.2.1 計算法の概要

AIP を通過しない散乱光を目視することはできないため，ディスプレイの上端に設置されているカメラに写され利用者は一定の範囲からしか映像を見ることができない．

たシステム利用者の画像から，どの位置にディスプレイをさらに，光路の AIP への入射角によっては，光が AIP 内で配置する位置を計算によって求める．各種装置の位置関係

マイクロミラーと 1 度も反射せずに透過，または 2 回以上を図 3 及び図 4 に示す．尚，カメラによる利用者の検出は反射することによって適切に結像しない場合があり，利用AIP 越しに映し出された利用者の映像を用いて行うものと者が適切に空中像を見られる範囲はさらに制限される．

する．

Virtual userin AIP

z

User

P’

PD

Floatingimagey

図 1

AIP の結像の様子

Fig 1

Image forming by AIP

AIP

zcam

xxcam
display
C:camera

3. 提案システム

ycam

3.1 空中像提示手法

図 3

前述の通り，AIP を用いることで本来何もないはずの場

Fig 3

座標空間上での配置 1

device positioning in coordinate space1

所に映像を提示できる一方，デバイスの大型化や視野角の狭さなど抱えている課題も多く存在する．そこで本研究では，利用者の視線位置の制限を軽減し，任意の位置に空中映像を表示できるような空間投影ディスプレイを提案する．

zcam

Virtual userin AIP

提案するディスプレイシステムの構成を図 2 に示す．人のβ顔の位置や視線をカメラによってリアルタイムに計測し，ycam

それに応じてディスプレイや AIP を回転及び移動させ各種装置の相対位置を制御する． ディスプレイの表示方向を常に利用者の正面に向けることで，AIP の視野角の狭さを克d

服し，映像が視認できる範囲を広くする事ができる．上記

φyφxのシステムを実現するためには，カメラから利用者の顔をAIP の位置をリアルタイムに制御する技術が必要となる．

camera

図 4
Fig 4display

カメラ

位置・視線を計測

xcam

α

センシングするための画像処理の技術と，ディスプレイや座標空間上での配置 2

device positioning in coordinate space2

3.2.2 カメラによる利用者の位置計測
カメラから得られた画像を用いて利用者がどの位置から映像を見ているかを計算する．そのために，まずカメラと利用者の距離を決定する必要がある．カメラの視野角を𝛼，AIP
floatingimage

図 2Fig 2

提案システムの概要

利用者の目と目の間の距離を𝛽，カメラの横幅に対する𝛽の割合を𝛾とする．この時，カメラから利用者直線上の距離 dは次のように求められる．

Structure of proposed system© 2017 Information Processing Society of Japan163

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

𝑑=1-503-16
2017/3/2

𝛽𝛼2
この時，カメラ座標系での図 4 上の点 P’cam の座標は次の2𝛾 tanように求められる．て AIP の回転が可能である．装置の外郭として各辺 560mmの立方体のフレームを使用し，AIP とディスプレイ移動部をそれぞれ上面と内部に設置した．さらに，環境光が AIP越しの空中映像に映り込むのを防ぐために装置全体を暗幕

𝑃′𝑐𝑎𝑚 = (𝑑 tan 𝜑𝑥 ,で覆った．

𝑑 tan 𝜑𝑦, 𝑑)cos 𝜑𝑥4.2 ディスプレイ移動部

ワールド座標系でのカメラ座標系は，ワールド座標系のディスプレイを前後左右に移動および回転させるためにy 軸まわりに𝜃𝑦 ，z 軸まわりに𝜃𝑧 回転し(𝑥𝑐 , 𝑦𝑐 , 𝑧𝑐 )平行移動

2 個のステッピングモータと 2 個のサーボモータを使用ししたものとなるため，P’cam をワールド座標系に変換した座た．それぞれのモータはマイクロコントローラに接続され

標 P’は次のようになる．ており，ステッピングモータは制御基盤を通して SPI 通信を用いて，サーボモータは PWM 制御を用いてコントロー′

𝑃 =cos 𝜃𝑧−sin 𝜃𝑧(00sin 𝜃𝑧
cos 𝜃𝑧000010cos 𝜃𝑦000)(sin 𝜃𝑦0100 −sin 𝜃𝑦100 cos 𝜃𝑦000100)(000101000010−𝑥𝑐−𝑦𝑐) 𝑃′𝑐𝑎𝑚−𝑧𝑐1ルを行った．実装の様子を図 5 に示す．

さらに，直線 CP’と xy 平面の交点を通る yz 平面に平行な面について P’を対称に変換した座標が，求める利用者の視点の座標 P(𝑝𝑥 , 𝑝𝑦 , 𝑝𝑧 )となる
3.2.3 利用者への空中像提示
次に利用者の視点の座標が与えられた場合に，ディスプレイの座標及び向きを計算する．AIP とカメラの平行距離
𝑧𝑐 が一定であり，利用者の視線が AIP の中心に向けられていると仮定すると，求めるべきディスプレイの傾き𝜃𝑦 及び𝜃𝑧 は次のようになる．
𝜃𝑧 = tan−1
𝜃𝑦 = tan−1

𝑝𝑥
𝑝𝑦𝑝𝑧√𝑝𝑥 2 + 𝑝𝑦 2

図 5−𝜋2

AIP の正面方向を x 軸の正方向と置くと，AIP を利用者

Fig 5ディスプレイ移動部の全体図

Picture of display position control system

4.3 画像処理部
空中映像を見ている利用者の位置を特定するためにカメの正面に向けるために回転させる角度は𝜃𝑧 と等しい．

ラによって外界の様子をセンシングする．本システムでは，次に，表示させる空中像の中心の座標を D(𝑑𝑥 , 𝑑𝑦 , 𝑑𝑧 )と置

ウェブカメラをディスプレイに装着し AIP 越しに移っていく．本システムでは AIP とディスプレイの中心の距離は一る利用者の顔を検出する．カメラとディスプレイの相対位定となる．この時，利用者が空中像を通じて AIP の中心，置が常に一定となりカメラ座標系とディスプレイ座標系をすなわちワールド座標系の原点を見ていると仮定すると，統一できるため，システム外にカメラを設置するよりも位

利用者の視線の方程式は次のようにあらわされる．

置計算の手間を削減することが可能となる．AIP 越しに顔𝑑𝑥 − 𝑝𝑥 𝑑𝑦 − 𝑝𝑦 𝑑𝑧 − 𝑝𝑧==𝑝𝑥𝑝𝑦𝑝𝑧検出を行うことになるため認識精度の低下が懸念されるが，視線の座標と空中像の中心の z 座標𝑑𝑧 は定数であるためんど差がない程度の精度を出すことができることを確認し以上の式から𝑑𝑥 及び𝑑𝑦 が求められる．ディスプレイを配置た．また顔検出については，Processing の OpenCV ライブ

する座標は AIP の面すなわち xy 平面に対称となるのでラリを用いて行った．

(𝑑𝑥 , 𝑑𝑦 , −𝑑𝑧 )となる．

4.4 予備実験と考察

4. 装置の試験的実装
4.1 装置の概要
AIP やミラー，ディスプレイ等の各種装置の相対位置を環境光が適切な明るさであれば直接顔検出する場合とほと以上の項を踏まえて実装したディスプレイシステムを用いて，適切な空中像の提示が行われるかを確認する実験を行った．視線の高さがおよそ 160cm の実験協力者が，AIPと水平方向に 30cm 離れた状態で空間映像を正面から見る制御することが可能なデバイスのプロトタイプを実装した．

ことを想定した．以上の前提条件をもとに，計測アルゴリ

本装置では，ディスプレイの水平面内における前後左右方ズムにパラメータを代入し，各種装置の位置制御を手動で向への移動及びディスプレイの前後左右方向の回転，そし行った．実験結果は，図 6 で示されるように，映像が利用© 2017 Information Processing Society of Japan164

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-503-16
2017/3/2

者の方向へ適切に表示されていることが確認できた．加え

参考文献て，フレームの前後左右の 4 方向から同様に映像を視認す[1]

る実験を行ったところ，全ての方向から空中映像が適切にみられることが確認できた．しかし，画像処理を行う上で“株式会社アスカネット：エアリアルイメージング”.
https://www.asukanet.co.jp/contents/product/aerialimaging.html(参照 2016-5-20).
[2] “空中に大型映像を表示する「空中ディスプレイ」を開発”.の適切な環境光の明るさと AIP を利用する上での適切な環

http://mitsubishielectric.co.jp/news/2016/pdf/0217-e.pdf,(参照 2016-5-10).

境光の明るさの両方に適した明るさが必要となり，利用で[3]

前川 聡, 仁田 功一, 的場 修. 微小 2 面コーナーリフレクタ
アレイを用いた面対称結像光学素子. 映像情報メディア学会
技術報告. Vol. 30, No. 52, pp. 49-52, 2006.
[4] 梶田 創, 小泉 直也, 苗村 健. OpaqueLusion: 動的マスクを用いた多層空中像におけるオクルージョン表現. 情報科学技術フォーラム. Vol. 14, No. 3, pp. 77-84, 2015.
[5] 前川 聡. 鏡映像を実像として結像することができる受動結像光学素子. 立体視テクノロジー, pp. 363-370, NTS, 2008.

きる環境が限られてしまうことを確認した．

CA

D

B

A からの映像

B からの映像

C からの映像

D からの映像

図 6
Fig 6

映像提示の実験結果

Result of imaging experiment

5. おわりに本研究では AIP を用いたあらゆる方向から見ることができる空中像ディスプレイシステムを提案した．本来視野角の狭さが欠点である AIP を，ディスプレイや AIP の位置をリアルタイムで制御する事によってあらゆる角度への適切な空中映像の提示を実現した．今後の展望として，空中映像に対する利用者とのインタラクションの実装を予定している．加えて， 本システムの環境光による制約を克服しあらゆる環境で利用できるよう改善に務めたい．

© 2017 Information Processing Society of Japan165