情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C75
2015/3/7

OpaqueLusion: 多層空中像におけるオクルージョン表現の基礎検討
梶田 創1,a)

小泉 直也2

苗村 健1,2

概要：
空中像はディスプレイから飛び出し，光学系により反射・屈折し，実空間へと結像されるので，像に手を伸ばすことによるインタラクションが可能である．複数の空中像を表示する方法として，ハーフミラーを用いた像の重ね合わせによる多層化手法がよく知られている．しかし，ハーフミラーを用いると前後の層の光線が重なってしまい，オクルージョン表現ができないという問題があった．本稿では光線制御のためのマスクとして液晶シャッターを利用することで，上記の問題を解決する．液晶シャッターの階調と，実際の透過率の関係を実験によって明らかにし，不透過空中像を利用したアプリケーションを示した．

OpaqueLusion: Occlusion Expression for Mid-air Images
using Opaque Mask
Hajime Kajita1,a)Naoya Koizumi2

Takeshi Naemura1,2

Abstract: Mid-air images are displayed in the real space with optical systems. Mid-air images can bedisplayed at hand, and therefore people can interact with images due to reach out to them. To express
more wealthily, mid-air images are multi-layered using half-silvered mirror. However, if mid-air images areoverlapped, they cannot express the occlusion because the light from the rear layer is transmitted throughthe front layer. In this paper, we solve the occlusion problem by using a mask to bloak oﬀ the light. We
clarified the relationship between the gradation of the mask and the brightness of the mid-air image, andmade application using opaque mid-air images.

1. はじめに
現実空間にデジタル視覚情報を付加・提示する方法の 1
つとして空中像を用いる方法がある．空中像とは光源からの光線を光学系によって反射・屈折させて，空中に結像させたものであり，光源としてディスプレイを用いることで，映像を空中に表示することができる．空中像はディスプレ
イ内から飛び出し，実空間に結像されるので、像に手を伸図 1

従来の空中像

Fig. 1 transparent

図 2

不透過空中像

Fig. 2 Opaque

mid-air images.

mid-air images.

ばすことによるインタラクションが可能である．
空中像を手元の空間に表示するとき，2 次元ディスプレ

イを光源として用いると，空中像の表示範囲は 1 平面に限られる．1 平面でなく，複数の奥行きに同時に空中像を表

1

2

a)

東京大学工学部 電子情報工学科
Dept. of Inform. and Commun. Eng., The Univ. of Tokyo東京大学大学院 情報学環
Interfaculty Initiative in Information Studies, The Univ. ofTokyokajita@nae-lab.org© 2015 Information Processing Society of Japan

示したい場合には，光源として立体ディスプレイを用いる方法もあるが，本稿ではハーフミラーによって 2 次元ディスプレイを前後に重ねる方法を用いる．
多平面の積層で奥行きを表現するディスプレイは体積型

1010

ディスプレイと呼ばれている．多平面を密に並べること

本システムでは，2 枚の実像鏡を用いて空中像を結像さで，連続的な奥行きを表現した例としては DepthCube[1]せている．なぜなら，実像鏡を用いる場合，結像される実がある．体積型ディスプレイは，すべての層の光を足し合

像は奥行き方向が反転された状態になるからである．表示

わせることによって立体表示を実現するが，その原理からしたい空中像が奥行きをもつ場合は，空中像の奥行きを正後ろが透けて表示される．よって，手前の表示が見にくくしくするため，実像鏡に 2 回通して奥行きを再反転させるなるという問題がある．

必要がある．

空中像を多層化するとき，ハーフミラーでディスプレイ
を積層すると，体積型ディスプレイと同様に前後の空中像

2.2 空中像とのインタラクション

が透けて表示されてしまう．透けて表示されると図 1 の空中像は手を伸ばせる位置に表示できるので，これを利ように前後の像の混色が生じて，手前の空中像が見にくく用して様々なインタラクションシステムが提案されている．

なってしまう．手前の空中像を見やすくするためには，図例として，MARIO(Mid-Air Augmented Reality Interac-2 のように手前の空中像によって後ろの空中像を隠す表現

tion with Objects)[6], HORN[7], AIRR Tablet[8] が挙げらが必要である．このように，前が後ろを隠す表現のことを，れる．MARIO はテーブル上のブロックや手の位置を深度

本稿ではオクルージョン表現とよぶ．

センサーで認識し，その情報を元に空中像を表示するシス

本稿では空中像を多層表示する際のオクルージョン問題

テムであり，空中像の足元に影をプロジェクションするこを，マスクを用いた光線の透過率制御によって解決する．

とで，空中像の実在感を高めている．HORN は空中像に超本システム名 “OpaqueLusion”は不透明 (Opaque) なマス

音波の定在波を利用した触覚を重畳させることで，空中像クを用いてオクルージョン (occLusion) を表現することにに触れたような感覚を提示できる．AIRR Tablet は再帰性由来する．マスク用の液晶シャッターの階調と光線の透過

反射材とハーフミラーを組み合わせた光学系を用いること率の関係を実験によって明らかにし，マスクの光線制御性

で，ディスプレイからの光線を実像鏡を用いる場合と同じ能の評価を行った．

位置に結像させることができ，ユーザーの手の 3 次元位置

2. 関連研究2.1 空中像の結像方法とジェスチャーを超高速のステレオカメラで認識すること
で，遅れのないジェスチャー操作を実現している．
しかし，これらのインタラクションシステムは表示され

空中像はレンズやミラーなどの光学系によって，ディスる空中像が 1 平面に限られていた．本システムの光学系

プレイからの光線を反射・屈折させて結像させたものであは，これらの光学系を発展させ，2 平面の不透過空中像のるが，実像か虚像かという観点からみると，像に手を伸ば表示を実現している．

してインタラクションできるという点において実像の方が望ましい．実像を結像する代表的な光学系は，凸レンズ

2.3 多層空中像ディスプレイ

や凹面鏡などがある．実像光学系を用いた空中像の例とし

空中像を多層化することは，異なる奥行きに情報提示がて，透明なボール内に空中像を表示する i-ball[2] や，多方できるという利点がある．多層空中像の例として Exfloa-

向から鑑賞可能な Floasion Table[3] がある．しかし，これsion[9] と MRsionCase[10] が挙げられる．Exfloasion は展らの光学系で結像した空中像は，適切な視点位置からでな

示物の前と後ろに空中像が 2 層ずつ表示できるシステムでいと歪みが生じてしまうという問題があった．

あり，正面からのみ鑑賞可能である．MRsionCase は展示

本稿では歪みのない実像光学系である実像鏡を用いている．実像鏡は入射光を微小なミラーアレイによって 2 軸再物の前と後ろに空中像が表示でき，展示物の前後左右四方向から鑑賞できる．

帰反射させて鏡面対象の位置に結像させる実像光学素子で従来の多層化手法では後ろの層の光線が前の層の光線とある．実像鏡によって結像される空中像は，視点位置によ重なってしまい，オクルージョン表現ができないという問る歪みがなく，光源位置と結像位置が線形であり，従来の題がある．オクルージョンは重要な奥行き手がかりの 1 つ

実像光学系より扱いやすいという利点がある．

であり，オクルージョン表現ができないと，奥行き関係が実像鏡に分類される素子としては，2006 年に前川らにわかりづらくなるほか，手前の層の表示が見づらくなってよって提案された DCRA[4] や，アスカネット社の AI プ

しまう．Exfloasion や MRsionCase では空中像が重ならな

レート [5] がある．2 つの違いは微小なミラーアレイの構成

いように表示領域を制限することでオクルージョン問題の方法である．前者は四角い微小な穴の 2 面の内壁にマイク発生を回避している．本システムでは空中像の重なりによ

ロミラーが配置され，後者は線状の微小なマイクロミラー

る表示領域の制限を気にすることなく多層空中像を表示すを平面上に多数並べたものを 2 層にし，直行させることでることが可能である．

構成されている．本システムでは実像鏡として AI プレー
トを用いている．

© 2015 Information Processing Society of Japan

1011

2.4 液晶シャッターを用いた光線制御
光線制御のためのマスクとして，液晶シャッターが利用されることがある．液晶シャッターは動的にマスクの位置
や形，透過率を変えることで，光線の進行方向を制限することができる．液晶シャッターを視差バリアとして用いる
方法は文献 [11] に示されている．液晶シャッターを空中像の視差バリアに利用した例として，Fuwa-Vision[12] とHaptoMIRAGE[13] が挙げられる．Fuwa-Vision は両眼視差を用いた立体空中像ディスプレイである．結像した視差
映像が右目と左目に正しく入るように，モーションキャプ

図 3

ハーフミラー方式

Fig. 3 Half-silvered mirror system.

チャと液晶シャッターを用いて光線の進行方向を動的に制御している．HaptoMIRAGE は Fuwa-Vision を発展させ，鑑賞方向を 150°まで広げたものである．また， Tensor

displays[14] では光線を複数の制御層によってコントロー
ルすることで，立体表示を実現している．以上に述べた例
は，すべて立体表示を目的としたものである．
本システムは，平面の空中像を複数並べることを目的としている．本システムは実像結像方式を採用しており，視図 4

透明有機 EL 方式

Fig. 4 Transparent OEL display system.

差バリアとして液晶シャッターを用いるわけではない．実像結像方式での液晶シャッターの役割は，後ろの層を前の層の表示によって遮蔽しているように見せることである．
マスクによる遮蔽によって，前後の空中像のオクルージョン表現が可能になる．

3. 提案手法
液晶シャッターをマスクとして用いることで，多層空中像において前後の光線の重なりを制御し，オクルージョン
表現を実現することができる．本章では，その光学系の構成について述べる．

3.1 遮蔽原理
前後の空中像の光線の重なりを液晶シャッターによって

図 5

光学系図

Fig. 5 Optical system design.

制御することによって，オクルージョン表現は可能となる．

加算することができる．透明有機 EL 方式は，後ろのディ

従来手法との差はマスクを配置することにある．マスクのスプレイの前に透明有機 EL ディスプレイを置くだけで光

位置は，後ろの層の前であり，かつ前の層と光学共役であ線を加算することができる．

ることが条件である．マスクは前の層と同期させて形を変遮蔽原理を満たすためには以上のような装置を使って光える必要がある．以上で，後ろからの光線を透過しなくな

線の足し引きをすることで，レイヤーに発光・遮蔽の 2 つり，前後のオクルージョン表現が可能となる．

の性質を与えればよい．ハーフミラー方式と透明有機 EL

遮蔽原理を満たすのに必要な装置は 2 つあり，それは遮方式は以下のようなトレードオフの関係がある．前者は蔽を担うマスク用の装置と，マスクと前の層を光学共役のディスプレイを光学共役位置に配置するため，ディスプレ

位置に配置するための装置である．前者は光線の減算，後イの厚みの問題がなくなる一方，光学系が大きくなる．後者は光線の加算装置だと言い換えられる．

者は，ディスプレイの厚みの問題からマスクと完全な重畳

光線の減算には液晶シャッターを用いる．液晶シャッができないが，システムがコンパクトになる．本システム

ターはピクセル単位で光線の透過率を変化させることがででは，透明有機 EL ディスプレイの入手しづらさからハーきる装置である．光線の加算にはハーフミラー（図 3）や透フミラー方式を用いている．

明有機 EL ディスプレイ（図 4）を用いる．ハーフミラー方式は，一方のディスプレイと，もう一方のディスプレイを積層するように光学共役の位置に配置することで，光線を© 2015 Information Processing Society of Japan

3.2 光学系の構成
本システムは図 5 のように構成した．

1012

図 8

各光学装置の透過率

Fig. 8 The transmittance of each optical device.
図 6

a < d なら実像が結像される．

Fig. 6 If a < d, real image is displayed.

ことで，2 つの実像鏡の間隔は x + y = 90 cm に決定する．

2 つの実像鏡の間隔と光源の配置によっては，空中像が手元に結像されないことがある．図 6 では実像鏡の間隔が
光源位置よりも広く，実像鏡間に一度実像が結像される．
さらに，その実像が光源となり，実像鏡に入射することで，実像が結像される．つまり，図 6 のような配置にすると，手元に空中像を表示することができる．図 7 では実像鏡の間隔が光源位置よりも狭く，実像鏡間で実像鏡を結像しない．さらに，その次の実像鏡を通しても実像は作られず，
虚像が見えることになる．つまり，図 7 のような配置にす
ると，空中像は実像鏡の奥に表示され，空中像に手を伸ばすことができなくなってしまう．空中像に手を伸ばしてイ
ンタラクションすることを考慮すると，図 6 のような配置が適切だといえる．
図 7

a > d なら虚像が結像される．

Fig. 7 If a > d, virtual image is displayed.

本システムで表示される空中像の輝度は，使用する光源
ディスプレイの輝度と光学装置の透過率に依存する．本シ
ステムの光線経路と輝度減衰箇所を図 8 に示す．なお，液遮蔽原理を担うのは図 5 の右下部分である．ディスプレ

晶シャッターに関しては，透過率を最大にした場合を想定

イ 1-a とマスク 1-a はハーフミラーによって光学的に共している．この図が示すように，手前の空中像では光源か役の位置に配置されている．ディスプレイ 2-a からの光線

らの光線がハーフミラーと 2 枚の実像鏡を透過しており，はマスク 1-a によって遮蔽されるが，ディスプレイ 1-a に

一方で後ろの空中像ではハーフミラーと 2 枚の実像鏡に加よって遮蔽されているように見える．

えて，液晶シャッターを透過している．装置全体の透過率

本システムでは，空中像の奥行き関係を正しく表示し，は各装置の透過率を掛け合わせることで，計算できる．本

マスクの効果を正しく得るために，実像鏡を 2 枚用いた．

システムでは，前の空中像に関する透過率は 1/8，後ろの実像鏡 1 枚だけだと空中像の奥行きが反転してしまうため

空中像に関する透過率は 1/40 となっている．

である．マスク効果を得るためには，2 枚の実像鏡を用いて奥行きを再反転させることが必要である．

2 枚の実像鏡の間隔は，空中像の飛出し量 x と，ディス

4. 実験
4.1 目的

プレイ位置 y に依存している．図 5 をみると，ディスプレ

ディスプレイからの光線をマスクによって制御する場合，

イ位置 y はハーフミラーの大きさによって最小値が決定すマスクとして用いる液晶シャッターの階調を変化させる

ることがわかる．空中像の飛び出し量 x に関しては，イン

ことで，光線の透過率を変えることができる．液晶シャッ

タラクションしやすい範囲を選ぶことになる．本システム

ターの階調は 256 段階変化させることができるが，実際では，x = 45 cm, y = 45 cm に設定した．x, y を設定したの透過率が線形にが変化するとは限らない．ここでは液晶© 2015 Information Processing Society of Japan

1013

図 9

図 10

実験装置

Fig. 9 Experimental apparatus.

マスクの階調と空中像の輝度の関係．

Fig. 10 The relationship between the gradation of the LCD
mask and the brightness of the mid-air image.

シャッターの階調と空中像の輝度の関係を実験によって測定し，実際の透過率を明らかにする．

4.2 方法本システムのマスクによって減衰した空中像の輝度を測定することで，マスクの透過率を計算する．液晶シャッターの階調設定変化によるマスク透過率の変化を測定する．

図 11

左視点

Fig. 11 left view.

図 12

右視点

Fig. 12 right view.

実 験 装 置 は 図 9 の よ う に 構 成 し た ．使 用 し た 実 験
機材は，空中像の光源となるディスプレイが EIZO 社

大輝度を等しくするためのハーフミラーの理想の透過率・FlexScan S1903，透 明 液 晶 デ ィ ス プ レ イ が SAMSUNG

反射率を計算することができる．例として，空中像用の社 LTI220MT02，ハーフミラーが Edmund 社の透過率がディスプレイとして同じ輝度特性を持つディスプレイを用

50%のもの，実像鏡が ASUKANET 社の AI プレートであいる場合は，理想のハーフミラーの反射/透過比は 1/5 にる．手前の空中像は表示しないので，ハーフミラー下のなる．

ディスプレイは使用しない．輝度測定に使用した色彩輝度計はコニカミノルタ社 CS-100A である．

5. アプリケーション

計測する空中像の色 (R, G, B) は 4 種類で，光源用ディ

不透過空中像を利用したアプリケーションを試作した．

スプレイをそれぞれ (255, 0, 0), (0, 255, 0), (0, 0, 255),

試作したアプリケーションは，2014 年 11 月 8 日に日本科(255, 255, 255) に設定した．使用した液晶シャッターの階

学未来館で行われたサイエンスアゴラの研究棟ツアーにて

調は 256 段階だが，実験では階調を 5 の倍数に設定し，52展示した．ツアー参加者に不透過空中像の体験をしてもら段階に分けて測定した．環境光の輝度への影響を取り除くうことで，本システムで空中像のオクルージョン表現がでため，空中像を表示しない場合の輝度も計測した．また，きていることを確認できた．また，2 層になっていること

液晶シャッターの有無による輝度の変化をみることで，液は視点の違いによる見えの違いで確認できる．展示したア晶シャッターの最大透過率を確認した．

プリケーションの左視点は図 11，右視点は図 12 である．
さらに，Leap Motion を用いて，手の動きで空中像とイ

4.3 結果・考察
実験の結果を図 10 に示す．このグラフは，それぞれの色の輝度から空中像以外の輝度成分を除いて作成した．
液晶シャッターの階調の変化に応じて，空中像の輝度が変化しており，マスクによる光線制御が可能であることが確認できた．空中像の輝度変化を線形に変化させるときは，この結果のように重みづけをしなくてはならないことが明らかになった．

ンタラクションできるアプリケーションを試作した．試作
したのは図 13 のようなアプリケーションである．手でス
ワイプ動作をすることで空中像を動かすことができる．マ
スクの有無によって，手前の空中像の見えやすさの変化を体験することができる．

6. おわりに
本稿では，空中像の多層表示の際に透過してしまう光線

液晶シャッターの最大透過率は 20%であることが確認でを，マスクによって制御する手法を提案した．提案手法にきた．この最大透過率を用いることで，前後の空中像の最よって前後の空中像の透過光を制御することでオクルー© 2015 Information Processing Society of Japan

1014

[4]

[5]
[6]

[7]
図 13

インタラクティブなアプリケーション

Fig. 13 Interactive application.

[8]
[9]

[10]

[11]

[12]

[13]
図 14

検討中の光学系

Fig. 14 New optical system for opaque mid-air images

ジョン表現が実際に可能であることを示した．今後は空中像による床面表示とそれに垂直な空中像を用いたインタ
ラクションシステムを検討している．床面空中像からの光線は本システムの機構によって制御し，空中像のオクルー[14]

cal report of IEICE. Multimedia and virtual environment
109(466), 29-34 (March 05, 2010).
Maekawa, Satoshi et al.: “Transmissive optical imaging
device with micromirror array”, Proc. SPIE 6392, ThreeDimensional TV, Video, and Display V, 63920E (October 17, 2006).
ASUKANET: “AI Plate”, http://aerialimaging.tv/
index.html
Hanyuool Kim et al.: “MARIO: Mid-Air Augmented
RealityInteraction with Objects”, Advances in Computer Entertainment, 10th International Conference,
ACE 2013, Boekelo, The Netherlands, November 12-15,
2013. Proceedings, pp. 560-563 (2013).
Seki Inoue et al.: “HORN: the hapt-optic reconstruction”, SIGGRAPH ’14 ACM SIGGRAPH 2014 Emerging Technologies, Article No. 11 (2014).
http://www.k2.t.u-tokyo.ac.jp/perception/AIRR_
Tablet/index-j.html
Totaro Nakashima et al.: “ExFloasion: Multi-layered
Floating Vision System for Mixed Reality Exhibition”,
16th Intern. Conf. Virtual Systems and MultimediaVSMM2010, pp. 95-98 (Octobar 2010).
Hanyuool Kim et al.: “MRsionCase: a glasses-free mixed
reality showcase for surrounding multiple viewers”, SA’12 SIGGRAPH Asia 2012 Technical Briefs Article No.
10 (2012). . A281-A289 (2013).
J. R. Moore et al.: “The implementation of a multi-view
autostereoscopic display”, Stereoscopic Television, IEE
Colloquium on 4/1 - 4/16 (1992).
Hideaki Nii et al., : “Fuwa-Vision: an auto-stereoscopic
floating-image display”. SIGGRAPH Asia 2012 Emerging Technologies Article No. 13 (2012)
Yuta Ueda et al., : “HaptoMIRAGE: mid-air autostereoscopic display for seamless interaction with mixed reality
environments”, SIGGRAPH ’14 ACM SIGGRAPH 2014
Posters Article No. 30 (2014).
Gordon Wetzstein et al.: “Tensor displays: compressive
light field synthesis using multilayer displays with directional backlighting”, ACM Transactions on Graphics(TOG) - Proceedings of ACM SIGGRAPH 2012 TOG
Homepage archive Volume 31 Issue 4, Article No. 80(2012)

ジョン表現を可能にする予定である．
また，システムの光学系を見直すことを検討している．
図 14 が検討中の新しい光学系である．ハーフミラーによる前の層の重ね合わせ位置を，2 枚の実像鏡の間に変えることによって，実像鏡の通過回数を減らすことができ，前の層の輝度減衰を小さくすることができる．これによって，前後の空中像の最大輝度を等しくする場合，透過率の大きなハーフミラーを用いることで，後ろの層の輝度を本システムよりも大きくすることができる．
参考文献
[1]

[2]

[3]

Alan Sullivan: “DepthCube solid-state 3D volumetricdisplay”, Proc. SPIE 5291, Stereoscopic Displays andVirtual Reality Systems XI, 279 (May 21, 2004).
Hiromi Ikeda et al.: “i-ball: Interactive Information Display like a Crystal Ball”, ACM SIGGRAPH 2001 Emerging Technologies, (August, 2001).
和田 拓朗, 苗村 健: “FloasionTable： 複合現実展示のための多方向から鑑賞可能な空間立像ディスプレイ”, Techni-© 2015 Information Processing Society of Japan

1015