情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C692016/3/4

環境光適応型空中像ディスプレイの基礎検討
小泉 直也1,a)梶田 創1

山本 紘暉1

苗村 健1

概要：本研究では，環境光の明るさに応じて受動的に適応する空中像を提案する．空中像ディスプレイは，光源の光を反射等によって空間上に結像する手法である．既存のシステムでは光源がディスプレイやプロジェクションされた映像であり，表示される像の明るさに限界がある．そこで環境光に適応するディスプレイを設計した．透過拡散素材をマスク素材の上部にのせたテーブルによって，環境光の取り込み，ディスプレイとして機能させた．このディスプレイの光を，光学素子によって反射させ，テーブル上面で結像させることで，空中像を表示した．試験的実装を用い，太陽光によって照らされた空間において像が視認できることを確認した．また，環境の光源を変化させた際の輝度の測定と，指向性のある光に応じた動きを確認した．

Towards Passive Mid-air Display
Koizumi Naoya1,a)Kajita Hajime1

Yamamoto Hiroki1

Naemura Takeshi1

Abstract: In this study, we propose a mid-air imaging that is passively adapted according to the brightnessof the ambient light. Mid-air image display is a technique for focusing of the light source in the air by reflection. The problem is attenuation in the brightness of the light. Therefore, we design a table type ambient
light display by putting the transmission diﬀuser at the top of the mask material. It can form mid-air image
by reflection with real imaging optical systems. We prototype and test under the sunlight or various kind oflight, and confirm the validity of our system.

1. はじめに空中像は，光源の光を反射・屈折し結像することで情報を空間に配置した実像のことであり，様々なサイエンス・フィクションの作品に登場しており，未来を象徴するアイコンの一つになっている [1]．物理的なディスプレイと実物を一緒に配置すると装置同士の物理的干渉が生じるが，空中像では物理的干渉が無いため，実物と空中映像を一緒に配置できる点が，空中像の主なメリットとしてあげられる．
図 1 環境光適応型空中像ディスプレイ

ただし，既存の空中像システムは，ディスプレイやプロFig. 1 Passive mid-air display

ジェクションされた映像を光源としているため，像の輝度に限界があり，周囲の環境が明るいほど見にくくなるという問題がある．その一方で，実物は環境光の反射によって視認されるため，明るいほうが見えやすくなる．したがっ1a)東京大学
7-3-1, Hongo, Bunkyo, Tokyo 113-8656, Japankoizumi@nae-lab.org© 2016 Information Processing Society of Japanて，実物と空中像を同時に表示しようとしたとき，現状では実物への照明と空中像の明るさを十分にコントロールした空間においてしか使用できない．
そこで本研究では，環境光の明るさに応じて空中像の明るさが変化する光学系を提案する．具体的には環境光の反1063

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C692016/3/4

射を用いて空中像を形成する方法を用いる．これにより，太陽光の下などの照度が高い環境であっても，実物と空中像を調和的に提示できる．さらに，ユーザーによる環境光の操作に対して光の速度でインタラクティブに変化する空中像インタラクションを実現する．図 1 に提案手法の試験的実装による空中像表示を示す．

2. 関連研究2.1 空中像ディスプレイ
本研究では，光源の光の反射や屈折を用いて空中に光の像を結ぶしくみのことを空中像ディスプレイと定義する．

図 2

本研究では，格子型に配置されたミラーをによって構成さ光学設計

Fig. 2 Optical designれた光学素子（DCRA[2], Aerial Imaging Plate[3], CMA[4]) を実像鏡と定義する．これらは光源の面対称な位置に光とで像を結ぶことができる空中ディスプレイを提案する．

を結像することで，空中に像を結ぶ素子である．空中像具体的な設計を図 2 に示す．環境光の取り込みとして，透ディスプレイに有用な光学素子としては，山折り構造のミ過拡散素材をマスク素材（透明液晶や OHP シートなどのラーを用いた RMA 方式 [5] や，再帰性反射材とハーフミ透明フィルム）の上部にのせることで，ディスプレイとしラーを使用した AIRR 方式 [6] などが挙げられる．て機能させることにした．このディスプレイ位置を屋根にこれらの研究は光源としてディスプレイやプロジェク取り付けることも可能であるが，本研究ではユーザ自身がションされた映像を用い，さらに光源となる光を反射して光を動かすことで見えない空中像を照らし出すようなイン結像する過程で光量が減少し像の輝度が落ちてしまうたタラクションも実現したいと考え，このディスプレイ面がめ，環境を暗くしないと見えないという課題がある．

テーブルとなる位置に設計した．

2.2 環境光適応型ディスプレイ

鏡の AIP を配置し，その下に AIP と平行に置かれた鏡をこのディスプレイを光源とし，45 度に交わる様に実像ディスプレイとセンサの組み合わせによって環境光に適配置した．ディスプレイからの光は AIP によって用いて応的な情報提示を実施する手法として BiDi Screen[7] が挙図中 I1 の位置に結像する．さらにこの像 I1 が AIP と平行げられる．これはセンサを用いてディスプレイ前面の光学に置かれた鏡で反射することで，I2 に虚像ができる．この情報を取得したうえで，提示する情報を変換するしくみで

I2 からの光が AIP によって反射することで，空中像 I3 があり正確なライトフィールドの再現において優れているもテーブル上に結像する．のの，原理的にセンサによる時間遅延と解像度や輝度向上が難しいという課題がある．

3.2 試験的実装

一方，Fuchs らによって，Integral Photography を応用試験的実装を図 3 に示す．ミラー等に入り込む環境光のしたレンズアレイによるパッシブ型 6D reflectance ディス影響を除去するために，周囲を暗幕で覆った．透明液晶はプレイが提案されている [8]．これは，表示は静止画であ透過率 20%の LTI220MT02(SUMSUNG) を使用した．鏡るがディスプレイ背後の環境光の変化に応じて表示が動的にはアクリルミラー，実像鏡として AIP を用いた．またに変化することのできるディスプレイである．また，楽らガラス面で蛍光灯などの光が反射してしまうことを防ぐた

はプロジェクタや太陽光からの光線を透明物体に当てたとめ，黒色スチレンボードなどで上からくる光を遮断した．

き，その透明物体の集光模様がユーザの入力した所望の画使用するマスク素材として現状では透明液晶や OHP シー像になるような透明物体の設計手法を提案し，NC 機器にトを用いている．透明液晶は動的な表現が可能である一方よる実物の試作を行っている [9]．これらの研究は，環境光で，透過率が低いために輝度の減衰が大きい．一方で OHPの変化が文字通り光速に反映されるため，遅延がない点が等のシートでは映像を扱うことは難しいが透過率が高いた

優れている．本研究もこういった環境光を取り込むことでめ，マルチレイヤー化などができる．

ダイナミックな変化するに対応できる表示を，環境光適応型空中像と定義し，その実現方法を提案する．

3. 提案手法
3.1 提案する光学系
本研究では，太陽光や蛍光灯など，環境光を取り込むこ© 2016 Information Processing Society of Japan

4. 評価
4.1 暗所における環境光変化への適応
環境光の変化に応じて空中像の輝度が変化している様子を確認した．暗い居室内において，テーブル面全体の光量を変化させ，空中像の様子を確認した．具体的には，撮影1064

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

図 3

163C692016/3/4

試験的実装の外観

Fig. 3 Prototype
図 5

左側から見た空中像

Fig. 5 Mid-air image view from left side

図 6 左側照明における空中像Fig. 6 Mid-air Image by left projected light
図 4

右側から見た空中像

Fig. 4 Mid-air image view from right side

用照明及び LED クリップライトを当てた際の，空中像の輝度の違いを確認した．LED クリップライトを用いた低照度環境（照度：97 lx）では，輝度 3.3 cd/m2 であった．一方，撮影用照明を用いた高照度環境（照度：735 lx）では，輝度 12cd/m2 であった．したがって，環境光の明るさに応じて空中像の明るさが変化していることがわかる．環境図 7 右側照明における空中像

Fig. 7 Mid-air Image by right projected light

光 735lx 時の左右から見た空中像の様子を図 4，5 に示す．
この写真に見られるように，環境光が使用している実像鏡全体が明るくなるため，暗所での照明条件とは大きく異なに反射してしまい，ガラスの光沢が目立ってしまった．

る．実験では，太陽光が拡散板に当たるように装置を配置し，同時に実像鏡に直接太陽光が当たらないように屋根を4.2 指向性照明光による局所的光源変化への適応取り付けた．この実験環境下の明るさは 2990lx であった．

テーブル面を一様に照らすのではなく，指向性のある光透明液晶でイラストを表示した際の空中像の様子を図 8 にをテーブルの一部に当てることで，空中像の局所的な輝度示す．同様に，OHP フィルムを用いて文字を表示し実物変化を確認した．具体的には，懐中電灯で左右の方向からと一緒に配置した様子を図 9 に示す．図に示すように，太照らした際の空中像の見え方を確認した．図 6 に左側を照陽光を用いて空中像が浮かび上がっていることが確認できらした際の空中像の様子を，図 7 に右側を照らした際の空る．ただし，視認は出来るもの，環境の明るさの影響でコ中像の様子をそれぞれ示す．これらの図より，空中像が指ントラストの低い空中像になってしまった．

向性のある照明によって照らしだされていることがわかる．

4.3 太陽光下における視認性

5. 考察
5.1 本手法の技術的課題

太陽光を活用した視認が可能であるかどうかを確認し本研究では，環境光の明るさに応じて空中像の明るさがた．太陽は平行光であり，その光量も非常に大きく，環境変化するしくみを提案した．また試験的実装でその有効性© 2016 Information Processing Society of Japan1065

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C692016/3/4に応じた明るさの変化が起きること，指向性のある光源によって空中像の明るさが変化すること，及び太陽光を光源にしても視認できることを示した．その上で現状の技術的課題をまとめた．今後は光学系の洗練を実施し，技術的課題に取り組む．さらに太陽光発電と組み合わせ，屋外での実証実験に向けた取り組みを実施したい．また，マスク素材の複数レイヤー化や，AIRR 等の光学系を用いた大型化などの表示手法の開発も引き続き検討する．
謝辞
図 8

太陽光下における透明液晶を用いた空中像の様子

本研究は，JST，CREST の支援を受けたものである．

Fig. 8 Mid-air image under the sunlight

参考文献
[1]

[2]

[3]
[4]
図 9

太陽光下における東京タワーの模型と空中像による文字表示(”Tokyo Tower”が空中像)[5]Fig. 9 Mid-air image and toy under sun light( the ”TokyoTower” is mid-air image.)を確認した．この過程で得た現状の技術的課題を下記に

[6]

示す．
人工影提示ができない[7]

空中像ディスプレイは奥行きの把握が難しいことが指摘されているが [10]，空中像に対して影を人工的につくることで奥行き知覚が向上することがわかっている [11]．本提[8]

案手法ではテーブル面に当たった光によって像を結像させるため，プロジェクタ等で人工影を重畳する手法では，空中像の輝度が相対的に低下してしまう．このため，人工影[9]とは異なる手法で奥行き知覚を補助する必要がある．
実像鏡ガラスの反射上記の図に見受けられるように，AIP のガラス面での反[10]射が非常に目立っている．そのため，空中像よりも反射のほうが明るくなってしまっている．今後，偏光や光線の指向性を制御するフィルム等でこの反射を低減する手法の開発が必要になる．

6. まとめ[11]

Nathan Shedroﬀ, Christopher Noessel, 安藤 幸央, 赤羽太郎, 飯塚 重善, 飯尾 淳 ：SF 映画で学ぶインタフェー
スデザイン アイデアと想像力を鍛え上げるための 141 のレッスン，丸善出版 (2014).
Maekawa, S., Nitta, K., and Matoba, O.: Transmissive
Optical Imaging Device with Micromirror Array, Proc.
SPIE 6392, Three-Dimensional TV, Video, and Display
V, 63920E
株式会社アスカネット:光学結像装置特開 2012-155345(P2012-155345S)
Yamamoto, H., Bando, H., Kujime, R. and Suyama, S.:
Design of crossed-mirror array to form floating 3D LED
signs, Proc. SPIE 8288, p. 828820, (2012)
Maeda, Y., D. Miyazaki, and S. Maekawa. Aerial imaging display based on a heterogeneous imaging system
consisting of roof mirror arrays, Proc. IEEE 3rd Global
Conference (2014).
Yamamoto, H., Tomiyama, Y. and Suyama, S.: Floating
aerial LED signage based on aerial imaging by retroreflection (AIRR), Opt. Express, Vol. 22, Issue 22, pp.
26919-26924 (2014)
Hirsch, M., Lanman, D., Holtzman, H. and Raskar, R.:
BiDi screen: a thin, depth-sensing LCD for 3D interaction using light fields, ACM Trans. Graph. 28, 5, Article
159 (2009)
Fuchs, M., Raskar R., Seidel, H. P. and Lensch, H. P. A.:
Towards Passive 6D Reflectance Field Displays, ACM
Transactions on Graphics, Volume 27, Issue 3, Article
58 (2008)
Yue, Y., Iwasaki, K., Chen, B.Y., Dobashi, Y., andNishita, T.: Pixel Art with Refracted Light by Rearrangeable Sticks, Proc. of EUROGRAPHICS 2012,Vol.31, No.2, pp.575-582 (2012)
Chan, L. W., Kao, H. S., Chen, M. Y., Lee, M. S., Hsu,J., and Hung, Y. P.: Touching the void: direct-touch
interaction for intangible displays, Proc. Conference on
Human Factors in Computing Systems, pp. 2625-2634(2010)
Kim, H., Takahashi, I., Yamamoto, H., Maekawa, S. andNaemura, T.: MARIO: Mid-air Augmented Reality Interaction with Objects, Entertainment Computing, Vol.
5, Issue 4, pp. 233-241 (2014)

本研究では，環境光適応型空中像を提案した．その実現手法としてマスク素材と透過拡散素材によるテーブル面に配置し環境光を取り込み，実像鏡と一般鏡の反射を組み合わせることで，テーブル面上に空中像を結像させる光学系を設計した．光学系の試験的実装をもとに，環境光の変化© 2016 Information Processing Society of Japan1066