情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

Scoopirit: 水面反射を用いた空中像とのインタラクション
松浦悠†1	
  小泉直也†1,†2
概要：本稿では，水面反射を用いて空中像を水上および水中に結像する光学系 Scoopirit を提案する．実装したシステ
ムを光学的に評価し，本手法の有用性を検証した．また，水位の変動に対して超音波センサを用いたトラッキングを行い，空中像を水ごとすくい上げるインタラクションを実現した．

Scoopirit: Interaction with a Mid-air Image on a Water Surface
YU MATSUURA†1	
  NAOYA KOIZUMI†1,†2	
  	
  	
  	
 
Abstract: In this paper, we propose an optical system, Scoopirit, that can display mid-air images on a water surface and in waterusing water surface reflection. We evaluated the system optically and verified the usefulness of this method. In addition, by
tracking water level using ultrasonic sensors, we designed interaction for scooping up mid-air images.

1. は じ め に 	  	 	  公共空間において，水辺は重要な構成要素である．世界の都市には，その都市を代表する河川や，噴水などの水辺を中心とした美しい空間が形成されている．日本国内においては近年，国土交通省が水辺を生かした公共空間の形成を推進する，かわまちづくり支援制度[1]を規定したことで，水辺の活用が注目されている．
	  また，水辺を彩るインタラクティブな映像表現が盛んになっている．そのような取り組みの例として，川の水面に浮いた多数の光る球にユーザが触れると，球の光の色が変

図 1	
  提案システムによって表示した水上空中像化し，それが隣接する球に広がっていく作品[2]や，池に投影された映像の鯉が，実物体の船に集まったり，あるいは透過光学系によって反射したディスプレイの光が水面で反船を避けたりする作品[3]などが挙げられる．

射され空中像を結像する．再帰透過光学系は視界制御フィ	  公共空間に立体像を表示する装置を提案した永徳ら[4]ルムによって隠消し，装置をユーザの目から遮蔽する．

は，不特定多数の人が公共空間で日常的に楽しむための視	  また，提案した光学系と流体の反射素材である水の特性

覚メディア装置の要件として，「非装着性」，「空間共有性」

を利用して，空中像をすくい上げるインタラクションを実を挙げた．
「非装着性」は，映像を見るために特別な装置を現した．超音波距離センサを用いて水位を検出し，水位に要さない性質，「空間共有性」は，映像の位置に手を伸ばす

合わせて空中像の結像位置を変化させる手法を実装するこことができ，触れても安全とユーザが感じられる性質のことで，手のひらですくった水面上に，直立した空中像が表とである．また，山本らは映像の表示装置が見えない，も示できることを確認した．本手法を用いて，空中像をすくしくはわかりにくい状態にすることで，ユーザの興味をひい上げた様子を図 1 に示す．

くことができると指摘している[5]．
	  上記の「非装着性」，「空間共有性」に加え，「表示装置が

2. 関 連 研 究

見えない，もしくはわかりにくい状態」を満たすメディア

2.1 水 の 性 質 を 利 用 し た 視 覚 メ デ ィ ア 装 置装置として，本研究では水面反射を用いて水上および水中	  これまでに，水の性質を利用した視覚メディア装置が数に空中像を表示する光学系 Scoopirit を提案する．水場の奥多く提案されてきた．その中でも特に非装着性と空間共有に再帰透過光学系とディスプレイを設置することで，再帰性を満たすものを挙げ，本研究の位置付けを説明する．ウォータースクリーンは，水の噴射によって作られた水膜に，†1 電気通信大学
The University of Electro-Communications†2 JST さきがけ
JST PRESTO© 2018 Information Processing Society of Japan

プロジェクタによって映像投影することができるシステムである． しかしウォータースクリーンは，水膜を作るのに7

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

大掛かりな装置が必要となるため，設置できる場所が限ら

インタラクションする MARIO[10]を開発した．このシステれてしまうという問題がある．

ムでは空中像を再帰透過光学系によって結像しているが，

	  小池らは，入浴剤によって白濁した浴槽の水面に映像をユーザの目から再帰透過光学系までの空間にしか空中像を投影し，手指のジェスチャーで映像を操作するシステムを表示することができないため，ユーザが斜め上からテーブ構築した[6]．しかし，プロジェクタの光を水面で拡散させルを見下ろした時に空中像が表示できない問題があった．

るためには多量の入浴剤が必要となり，公共空間の水辺にこれに対し山本らは，テーブル面の反射を用いて空中像を適用するのは難しい．

表示する手法を提案した[5]．この手法では，ユーザはテー	  杉原らは流れ落ちる水流の下に円盤を置き，跳ね返った

ブル面に置いたハーフミラー越しに再帰透過光学系を見る

ドーム状の水膜に映像を投影することで，水と映像に包まことになるため，テーブル面を見ながら空中像を見ることれる体験が行える作品を発表した[7]．このシステムでは，ができる．また，再帰透過光学系を視界制御フィルムによ

水膜の向こうにプロジェクタが存在する位置関係でのみ，って遮蔽するため，表示装置が見えない，もしくはわかり

水膜に映る映像を観察することができる．中垣らは，水道にくい状態を満たしている．本研究でもこの表示光学系をの蛇口から出る水流の落下点に，形が変化する受け皿を設援用し，表示装置が見えない，もしくはわかりにくい状態

置することで，様々な形の水膜を形成するシステムを提案を実現する．

した[8]．ユーザの行動に合わせ，動的に形状を変化させる	  これらの空中像光学系が抱える問題として，オクルージ

インタラクションが行えるが，形成できる形状には限りがョンの問題がある．実物体に手を伸ばす際，ユーザから見あるため，ユーザに伝えられる情報量が限られてしまうとて実物体の後ろに手を伸ばすと，実物体がユーザの手を隠いう問題がある．

す．しかし，空中像に対して手を伸ばす際，空中像の結像

	  永徳らは，2 次元の平面状に並べられた水滴群に対し，

位置より後ろに手を伸ばすと，空中像の結像のための光路

落下地点ごとに異なる映像を投影することで，空中に 3 次が遮られてしまうため，空中像が見えなくなってしまう．

元像を表示するシステムを開発した[4]．このシステムでは

つまり，空中像はその後ろにある物体を隠せないという問

高さ 309mm の映像を 1 フレーム表示する際に水滴の落下

題である．そのため，これまで空中像とユーザのインタラ時間である 1/6 秒を必要とするため，フレームレートが著クションでは，ユーザは空中像結像位置の手前の空間にししく低くなる問題や，解像度が低いという問題がある．

か手を伸ばすことができなかった．空中像を重ねて表示す	
  本研究では「非装着性」，「空間共有性」，「表示装置が見る際のオクルージョンの問題を解決する手法が提案されてえない，もしくはわかりにくい状態」を満たし，かつ水にいる[11]が，空中像の後ろに手を伸ばせない問題は解決さ

特殊な処理を施さず，一定の解像度とフレームレートを持れていない．

った映像を水面に表示できる視覚提示手法を提案する．

	  提案システムでは，水面の反射を用いて空中像を結像す

2.2 空 中 像 光 学 系

るため，その光路で水中を通らない．よって，空中像の後

	
  映像の位置に手を伸ばすことができる視覚提示手法としろの水に手を伸ばしても像が消えることはなく，水ごと空て，空中像がある．空中像とは，光源から出た光がレンズ

中像をすくい上げることができる．これは，ユーザと空中などの光学系によって反射・屈折し，空中に結像した像の像のインタラクション空間を大きく広げることを意味する．

ことである[9]．従来の 3D ディスプレイのように，立体像を見るために特殊なメガネなどの装着物を必要としないた

3. 提 案 シ ス テ ムめ，不特定多数の人が訪れる公共空間でも活用できる．ま3.1 目 的た空中像は物理空間で実物と干渉しないため，公共空間に	  提案システムの目的は，水中から水上にかけて実空間において安全な運用が可能である．

映像を表示し，水を介したインタラクションを実現するこ	  光学系の手前に空中像を結像する方法は，大きく分けてとである．ユーザが空中像とインタラクションを行うためレンズや凹面鏡を用いるものと，再帰透過光学系を用いるには，手を伸ばして触ることができる距離に空中像を表示

ものの二つがある．再帰透過光学系とは，光源から出た光する必要がある．また，ユーザの興味を空中像に惹きつけを面対象の位置に結像する光学系のことである．再帰透過るためには，その周辺にある表示装置を出来る限り目立た光学系を用いる利点として，焦点距離がないため像の形成

なくし，興味を集中させる必要がある．

位置が焦点距離によって制限されず，素子のすぐそばにも

3.2 設 計 方 針像を形成できる点がある[9]．本研究では，提示できる距離	  水中と水上に空中像を結像するためには，それぞれ異なの制限を回避し，空中像を表示できる空間をより広くするる光路が必要となる．地面に水平な水面に空中像を表示すため，再帰透過光学系を用いる．

る場合の光路を図 2 に示す．水面より高い位置にある光源	  再帰透過光学系を用いた空中像インタラクションの研究

D1 から出た光は，再帰透過光学素子(Micro Mirror Array

として，Kim らは，実物体を用いてテーブル上で空中像とPlates, MMAPs)によって反射され，I1’の位置に空中像とし© 2018 Information Processing Society of Japan8

情報処理学会 インタラクション 2018
IPSJ Interaction 2018て結像する．結像した I1’が，水面によって反射され I1 のINT18002
2018/3/2の水面反射率を求めた．図 6 のように，水上空中像から正位置に虚像として表示される．このとき，水面を斜め上から見たユーザには，I1 のみが見えることになる．水面より低い位置にある光源 D2 から出た光は，MMAPs によって反射され，水面での反射後に I2 の位置に結像する．水面がな
かった場合は反射せず，I2’の位置に空中像が結像する．
3.3 光 学 設 計	  提案システムの光学設計を図 3 に示す．水平な水面に空中像を表示するため，水平面の反射を用いて空中像を結像する，山本ら[5]の手法を適用した．
	  システムはディスプレイ(D)，MMAPs，視界制御フィルム(VCF), 水槽，暗幕(LS)から構成される．D は MMAPs に
よって水中，水上空中像 I を結像する．このとき，MMAPsを透過し上方向に進む光線を，上向きの光を遮る VCF を用

図 2	
  結像の光路

いて遮蔽する．VCF は MMAPs により反射し，下向きに進む光線は遮らないため，ユーザから D と MMAPs を隠した
まま，I を結像することができる．また，外光の影響を遮断するため，装置全体を LS で覆う．
	  山本らが既に検証している[5]通り，ユーザが見ることのできる空中像の表示領域は，ユーザの目を頂点とし，水面に反射した MMAPs の像(Virtual MMAPs[13])を底面とした
緑色で表示する四角錐の領域となる．本研究ではそれを踏
まえて，インタラクションの範囲を検証する．
3.4 実 装	  光学設計を元に実装したシステムを図 4 に示す．用いた機 器 は 以 下 の 通 り で あ る ． D と し て ASUS TransBook
T303UA，MMAPs として ASUKANET 社のピッチ 0.5mm のAerial Imaging Plate [12]を，水槽として奥行き×幅×高さが

図 3	
  光学設計450mm×300mm×450mm であるガラス製水槽を用いた．また，VCF としてリンテック製のウインコスビジョンコント
ロールフィルムを用いた．
	  また，ユーザが手を伸ばせる位置に空中像を表示するため，I が AIP から水平距離 30cm の位置に表示されるようにD を配置した． この距離は日常的に手を伸ばす水場である，
洗面台の一般的な中心位置を元に設計した[14]．更に，水面が水槽の外壁を反射しないように，水面に両手を入れても水がこぼれない程度まで水槽を水で満たした．
3.5 表 示 の 確 認	  実装したシステムを用いて，空中像が水中および水上に表示できることを確認した．図 5 に示すように視点位置を左右に変化させても，水面に浮かぶ実物体の葉に対する結像位置を保っていることがわかる．

4. 光 学 的 評 価
4.1 計 測 方 法
	  実装したシステムについて，表示できる水上空中像の輝度を計測した．また，水面反射前の空中像との輝度比を測定し，水面反射を用いて空中像を結像する際の，角度ごと© 2018 Information Processing Society of Japan

図 4	
  装置(装置側面の暗幕を取り除いたもの)

9情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

Luminance[cd/m2]	
  	
 

60	
  

  Ip	
  
  I	
  

50	
  
40	
  
30	
  
20	
  
10	
  
0	
  
0	
  

図 5	
  水上像と水中像の表示 (a)(b)水上像 (c)(d)水中像

10	
  

20	
  
30	
  
40	
  
50	
  
Eleva2on	
  Angle(θ)[deg]	
 

60	
  

図 7	
  各光線方向における空中像の輝度(Ip：水面反射前空中像	
  I：水上空中像)

	
 
図 6	
  計測した角度：(左) 水面反射前の空中像 (右)水上空

Transmi<ance[%]	
  

100	
  
垂直偏光反射率	
 80	
  計測輝度比	
 

60	
  
40	
  
20	
  
0	
  
0	
  

10	
  

中像

20	
  
30	
  
40	
  
50	
  
Eleva2on	
  Angle(θ)[deg]	
  

60	
  

図 8	
  各光線方向における空中像の水面反射前後の輝度比面の位置を基準として，緯度方向の角度をθと定義し，空及び空気中から水面に向かう入射面に垂直な偏光の反射率

中像が結像した θ：10°~ 55°の範囲で 5°刻みで測定した．輝度を測定する際は，白色の円を像として表示し，コニカミ

異なる 2 つの媒質 1,2 の絶対屈折率が n1, n2 のとき，媒質 1

ノルタ製 CS-150 を用いた．

から媒質 2 へ光線が入射角 α で入射した際の屈折角 β には，	  予備計測としてディスプレイを縦に置いた状態と横に置次の関係が成り立つ[15]．
sin 𝛼 𝑛!
=                          	
    	
  	
  	
  	
  	
  	
  (1)
sin 𝛽 𝑛!

いた状態を比較した．縦に置いた状態の方が水上空中像の輝度が高かったため，ディスプレイを縦に置いた状態で輝度を計測した．

	  また，ある界面への光線の入射面に対して垂直な成分を4.2 実 験 条 件

持つ光線の，界面における反射率 Rs は，フレネルの公式を	  水面に揺れが発生すると，反射面の角度が変わり，空中用いて次式で求められる[15]．

像の輝度が大きく変化してしまう．そのため，赤外線 LED

𝑅! =とフォトトランジスタを用いて，水面が揺れを起こすとブザー音を鳴らす検出器を作成した．水槽の側面に定規を貼

𝑠𝑖𝑛! 𝛼 − 𝛽              	          	
  	
  	
  	
  	
  (2)
𝑠𝑖𝑛! 𝛼 + 𝛽	  本計測において，入射角 α は図 6 のφであるから，∅ = 90° − 𝜃          	      	          	
  	
  	
  	
  	
  (3)

り付け水面に波を起こし，側面からハイスピードカメラで撮影した映像を確認し，水面が 1mm 以上大きく揺れた時，が常に成り立つ．

正しく検出器が動作することを確認した．以降の輝度計測

	  空気中の絶対屈折率を 1，水の屈折率を 1.33 とすると，の結果は，常にブザー音が鳴っていない状態であることを(1)，(2)，(3)より，Rs を求めることができる．計測したθ

確認して計測したものである．

に対応するそれぞれの入射角の際の Rs を求めたグラフを

4.3 結 果図 8 に示す．さらにそこに図 7 に示す輝度計測値を元に算	  輝度の測定結果を図 7 に示す．水面反射前の空中像の輝出した I/Ip の輝度比をプロットすると，その値はほぼ一致

度はθ=40°にピークがあるのに対し，水上空中像の輝度はしている．従って，空中像の水面反射後の輝度は，フレネ

θ=20°をピークに，角度が大きくなるにつれて輝度がゆる

ルの公式を適用することで求められると考えられる．

やかに減少した．

	  本実験においては偏光板を用いてディスプレイから出る

4.4 水 面 反 射 率 に つ い て の 考 察

光が直線偏光であることも確認した．空気中から水面へ向	  計測した水面反射率について考える．スネルの法則より，

かう光線の反射において，入射面に垂直な偏光の反射率 Rs© 2018 Information Processing Society of Japan10

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

は，水平な偏光の反射率 Rp に対して常に大きい[16]．加えて，計測の際，ディスプレイを縦に置いた状態の方が水面反射した空中像の輝度が高かったため，今回用いたディス

定義した 30cd/m2 を超える値となる．

5. 水 を 用 い た イ ン タ ラ ク シ ョ ン

プレイは縦に置いた状態で入射面に垂直な偏光を発するデ

5.1 イ ン タ ラ ク シ ョ ン デ ザ イ ンィスプレイであった．光源として直線偏光のディスプレイ

	  水面は，鏡のような固体の反射素材と異なり，ユーザがを用いる際は，入射面に垂直な偏光のみが入射するようにすくい上げることで容易に空間内を移動させることができ

設置することで，輝度を最大まで高められることが確認でる．この特性と提案した光学系を用いて，ユーザが空中像

きた．

を水ごとすくい上げ，手のひらの上に空中像が表示される

4.5 提 案 シ ス テ ム の 輝 度 に つ い て の 考 察というインタラクションが可能であると考えた．

	
  今回実装したシステムでは，蛍光灯などの明かりのない	  ただし，水をすくって水位が変化するとき，水位を基準

部屋で，日中に視認できる程度の輝度で空中像を表示できとした空中像の上下位置も変化する．例えば水上に空中像

た．部屋の照度を，水上空中像の位置に置いたコニカミノを表示している際に水位が 3cm 上昇すると，空中像の結像

ルタ製 T-10A によって計測したところ，照度は 62.3lx であ

位置はその 2 倍の 6cm 上昇する．これは水面反射前の光路った．その際の様子を図 9 に示す．計測した水上空中像のと反射後の光路の垂直成分が同時に水位の上昇分変化する

輝度は，θ: 10° ~ 25°の範囲において 5.15~6.46cd/m 以上でためである．そこで，この変化に適応する手法を設計する．

あり，これは iPhone6 で白色を表示し，最もバックライト

5.2 設 計 要 件

を暗い設定にした状態で正面から測定した輝度 4.84cd/m2

	  空中像を水ごとすくい上げるインタラクションを，水位と同程度以上の値である．

をトラッキングすることで実現する．水位の変化と同じ距

2離だけ光源の像の表示位置を上下に変化させれば，水位を基準とした空中像の垂直位置は常に一定となる．
	  本研究では，水位計として超音波距離センサを用いた．
水位計の方式として，投げ込み式，フロート式，超音波式などがある[17]．投げ込み式とフロート式の水位計は水中または水上に装置を設置する必要があり，装置がユーザの目に入ってしまうため，空中像の視認を妨げる可能性がある．これに対し超音波式水位計は，ユーザが空中像を見る
際に視界に入らない位置に設置することができる点で，投げ込み式およびフロート式より今回のシステムに適している．また，超音波距離センサを用いて簡単に実装ができる．
5.3 実 装	
  5.2 の要件を元に，実装したシステムの概要を図 10 に示
す．システムは超音波センサ(PARALLAX 社製 PING)，マ
図 9	
  照度 62.3lx の環境下で撮影した水上空中像

イコン(mbed LPC1768)，タブレット PC(ASUS TransBook
T303UA)から構成される．タブレット PC の垂直方向の表	  山本ら[5]のテーブル面の反射を用いて表示した空中像

示領域は 26.2cm である．超音波センサは空中像の水平表示

は，θ=40°における輝度が最も高く，θ=20°における輝度は位置の直上かつ，AIP の下端から 50cm の位置に設置した．

その半分程度であった．これに対し，今回実装したシステ	  タブレット PC は表示領域の下端と AIP 下端の高さの差

ムでは θ=20°における輝度が最も高く，θ=40°における輝度が 10cm になるように設置した．水槽が満たされている状はその半分程度であった．この変化は水面の反射率が光線態から水位を 5mm 間隔で最大 10cm 下げ，水位を超音波セの入射角によって異なることによるものである．よって今ンサで計測し，正しく水位を検出していることを確認した．

回の光学設計は，山本らの先行事例よりも低い視点で空中	  超音波センサが現在の水位までの距離 Lw を取得し，マイ像を視認するのに適していると言える．

コン経由でタブレット PC に送信する．タブレット PC は	  本計測に使用したディスプレイの最大輝度を計測すると，Processing によってその値を取得し，距離の変化量である

315.4cd/m だった．現在は 2000cd/m 程度の高輝度ディス

ΔLw だけ表示する光源となる像の位置を上下に動かす．表

プレイが入手可能であり，これを提案システムのディスプ

示位置のリフレッシュレートは 100Hz に設定した．距離のレイとして用いた場合，θ: 10° ~ 25°の範囲における水上空

変化量をそのまま表示位置に適用すると，細かい水面の揺2

2

中像の輝度は約 6.3 倍の 32.4~40.7cd/m 程度になると思われが起きた際，像が細かく振動してしまう．そのため，直れる．この値は山本ら[5]が「空中像が見える輝度」として

近の計測 10 回分を平均した変化量から位置を決定した．

2© 2018 Information Processing Society of Japan11

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

えなくなる．この制約はタブレット PC の表示領域の限界によるものであり，表示領域の大きいディスプレイを用いて解決できる．しかし，3.3 で述べたように，水面に反射した AIP の像が見える範囲までしか空中像は結像しない．
つまり実装したシステムでは使用した AIP の高さである40cm より高くすくいあげると空中像が結像しない．この制
約は AIP のサイズを大きくすることで解決できる．
	  水平方向のインタラクション可能空間は超音波センサの指向特性による制約を受ける．今回の実装では空中像の水平位置を固定することで制約の影響を回避しているが，より広い領域に表示した空中像とインタラクションを行うた
めには，ステレオカメラを用いる方法や，超音波センサを複数並べ時分割で制御するといった方法など，よりよいセ
図 10	  システム図ンシング方法を検討する必要がある．

5.4 評 価	  また，インタラクションの結果，水量が減って水位が下	
  水位が変化した際に，水上に表示した空中像が水上の位がった場合についても，本手法のトラッキングによって水置を保っていることを確認する．水槽の高さから 5cm 水位

位と空中像の位置関係を保つことができる．

が低い状態で水上に表示した空中像と，そこから水槽を水	  空中像を両手ですくい上げた後のユーザの行動は，大きで満たし，水位トラッキングを行って表示した空中像，水く次の 3 つに分類できる．

位トラッキングを行わずに表示した空中像をそれぞれ撮影

1.

すくい上げた軌道を通って手を下ろす．

した様子を図 11 に示す．表示する像は，高さと最大幅が2.

両手を離して水を落とす．

3cm のものを表示した．水位トラッキングを行って表示し3.

すくいあげた水面を水平方向に移動させる．

た像の垂直位置が，水位の上昇分と同じだけ上昇した．

1 の場合，実装したシステムに手を加えることなく，下げ	  また，両手で水をすくい，空中像がすくった水面上に結た手に追従して空中像を表示できる．2 の場合，両手を離像していることを確認した(図 1)．

した直後は光源の位置が上昇したままになるので，水中深くに空中像が表示される．これは 3.2 で述べたように，水面より高い位置に存在する光源から出た光が，水中に像が見えるように結像するためである．また，この現象は光源の位置決定に過去 10 回の平均値を用いたために生じている．結果的に，空中像の位置が 10 回更新されることで 1/10
秒かけて徐々に元の位置に戻るため，水中深くに沈んだ像が水面に浮かび上がってくるような視覚表現が発生した．3の場合，2 と同じく水中に像が見える．しかし，超音波距
離センサは水平に移動した手のひらまでの距離を返すため，像の位置は水中に沈んだままになる．移動した手のひらの上に空中像を表示する方法としては，カメラを用いて手の水平位置のトラッキングを行い，光源をアクチュエータに

図 11	
  左から水位上昇前の像，水位上昇後水位をトラッキ

よって動かす手法[10]を適用できる．また，2 と 3 を，超音ングして表示した像，水位をトラッキングせず表示した像

波センサの値が急変するか否かという違いで検知し，状況に応じた表現を行える可能性がある．

5.5 イ ン タ ラ ク シ ョ ン に つ い て の 考 察	  上記で述べたように超音波距離センサは水面以外にも反	  実装したシステムを用いることで，ユーザが空中像をす

応してしまう．そのため，水上に手をかざしたり，水面か

くい上げるインタラクションが実現できた．ユーザは水面

ら指を突き出したりする動作をした場合，光源の位置が上に浮かぶ実物体をすくい上げる動作と変わらない日常的な昇し空中像が水中に沈んでしまう．Kinect を用いてすくう，

動作で空中像をすくい上げることができる．

指を突き出すなどの動作を検出する手法[6]や，ユーザが水	  鉛直方向のインタラクション可能空間は，装置を構成すに触れた際の電気的特性の変化からジェスチャーを判別するディスプレイと AIP の高さによって決まる．水槽を満たる手法[18]を用いることで，すくい上げる以外のインタラした状態の水面から 15cm 程度すくい上げると空中像が見クションへの個別な対応が可能になると考えられる．

© 2018 Information Processing Society of Japan12

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

INT18002
2018/3/2

6. 考 察	  今回実装した光学設計では水面反射前の時点で, 空中像の輝度が光源のディスプレイの輝度から大きく減衰している．これはディスプレイから正面に向かって出る最も明るい光線が，空中像の結像に使われていないためである．このことから，次の 2 つの手法で水面反射後の空中像の輝度を改善できると考えられる．まず，光学素子の配置を変更する方法である．図 12 に示すように，AIP を 45°ユーザ側に傾けて配置することで，AIP に対するディスプレイの角度関係を変えて水中および水上に空中像を表示できる．この配置では正面方向に近い角度の明るい光線を結像に利用
図 12	
  AIP を 45°ユーザ側に傾けた配置

できるため，輝度が向上すると考えられる．ただし，表示装置が水上にはみ出してインタラクションの領域が減少するため，利用場面に合わせて選択する必要がある．次に，プリズムシートを用いて最も明るい光線を曲げ，AIP に入射させる方法がある．この場合，AIP とディスプレイの位置関係を変えることなく輝度が向上すると期待できる．
	  本手法によって提示する水中像は，水中の実物体を視認する際に生じる光の屈折を考慮していない．そのため，水中の実物体と水中像を重畳表示した際，表示位置に矛盾が生じるという制限がある．
	  また，水面反射を用いた結像手法は，静止した水面に空中像を表示する以外に，流水面の反射を用いた表示や，物
体表面を濡らすことで形成した水面上への表示にも適用で

図 13	
  噴水面上に表示した空中像

きる．空中像を噴水から流れ出る水面上に表示した様子を図 13 に，濡らした木板の上に表示した様子を図 14 に示す．
今後はこのような環境の変化と情報提示が融合した新しい表現を提案したい．

7. 結 論	  本研究では，水面反射を用いて水中および水上に空中像を表示する光学系を提案した．提案した光学系は，空中像による提示という点で非装着性，空間共有性を，装置を遮蔽する点で，表示装置が見えない，もしくはわかりにくい
状態を満たしている．更に，反射面の中に手を伸ばすことのできる水の特性によって，ユーザは自分の手のひらです
くった水面上に空中像を見ることができる．
図 14	
  濡らした木板上に表示した空中像	  また，超音波センサを用いて水位をトラッキングし，水位に合わせて光源位置を上下に動かすことで，空中像を水ごとすくい上げるインタラクションを実現した．

	  謝 辞 	  本研究は，科学技術振興機構戦略的創造研究推進	  提案した光学系を用いて公共空間の水辺で空中像を表示

事業（さきがけ，JPMJP16D5）によるものである．ここにするため，今後は表示可能輝度と，表示可能サイズの 2 つ

記して謝意を表す．

の課題に取り組む必要がある．
	  インタラクションに関して，今回は空中像をすくい上げ
る操作に着目して実装を行った．今後はよりインタラクシ
ョンの幅を広げるためのセンシング手法を検討していく．

© 2018 Information Processing Society of Japan

参考文献
[1]

“かわまちづくり -国土交通省水管理・国土保全局”．
http://www.mlit.go.jp/river/kankyo/main/kankyou/machizukuri/，(参照 2017-10-09)

13

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

[2] “呼応する球体のゆらめく川”.
https://www.teamlab.art/jp/w/shimmering_river_of_resonating_sp
heres, (参照 2017-10-12)[3] “小舟と共に踊る鯉によって描かれる水面のドローイング”.
https://www.teamlab.art/jp/w/mifuneyama/, (参照 2017-10-12)[4] 永徳 真一郎, 谷川 智洋, 鈴木 康広, 広田 光一, 岩井 俊雄,
廣瀬 通孝. 水滴を利用した VR オブジェクトを表示するディ
スプレイに関する研究, 日本バーチャルリアリティ学会論文誌, 2007, Vol. 12 No. 3, p. 425-435[5] 山本紘暉，梶田創，小泉直也，苗村健．EnchanTable: テーブ
ル面の反射を用いた直立空中像ディスプレイ．日本バーチャ
ルリアリティ学会論文誌，2016, Vol. 21 No. 3, p. 401-410[6] Hideki Koike，Yasushi Matoba，Yoichi Takahashi. AquaTop
Display: Interactive Water Surface for Viewing and Manipulating
Information in a Bathroom. ITS '13 Proceedings of the 2013 ACM
international conference on Interactive tabletops and surfaces，
2013, p.155-164.
[7] 杉原 有紀, 舘 暲. かぶり型水ディスプレイの開発. 日本バー
チャルリアリティ学会論文誌, 2001, Vol.6 No.2. p.145-152.
[8] Ken Nakagaki, et al. HydroMorph: Shape Changing Water
Membrane for Display and Interaction, Proceedings of the TEI '16:
Tenth International Conference on Tangible, Embedded, andEmbodied Interaction, 2016, p. 512-517.
[9] 宮崎 大介. 三次元像の空中表示技術の現状と展開. 光学 / 応
用物理学会分科会日本光学会 [編],2011, Vol.40, No.12,
p.608-615.

© 2018 Information Processing Society of Japan

INT18002
2018/3/2[10] Hanyuool Kim, et al.. MARIO: Mid-air Augmented Reality
Interaction with Objects. Entertainment Computing, 2014, Volume
5, Issue 4, Pages 233-241.
[11] 梶田 創, 小泉 直也, 苗村 健. OpaqueLusion: 多層空中像におけるオクルージョン表現の基礎検討. 情報処理学会 イン
タラクション 2015, インタラクション 2015 論文集, pp.1010 1015, 2015.3.7[12] 株式会社アスカネット：光学結像装置特開 2012155345(P2012-155345S)[13] Hajime Kajita, Naoya Koizumi, Takeshi Naemura. SkyAnchor:
Optical Design for Anchoring Mid-air Images onto PhysicalObjects. Proceedings of the 29th Annual Symposium on User
Interface Software and Technology, 2016, p.415-423.
[14] “株式会社 LIXIL”. http://www.lixil.co.jp/lineup/powderroom/ (参照 2017-10-13)[15] Max Born, Emil Wolf, 草川 徹(訳). 光学の原理 第 7 版 I . 東海大学出版会, 2005, p.65-73.
[16] 西信 元嗣，岩田 耕一，魚里 博．新しい眼光学の基礎．金原出版株式会社，2008，p.78-80．
[17] “JFE アドバンテック株式会社”．
http://water.jfe-advantech.co.jp/technical/knowledge/measuring_m
ethod/ (参照 2017-10-19)[18] Munehiko Sato, Ivan Poupyrev, Chris Harrison. Touché:
enhancing touch interaction on humans, screens, liquids, andeveryday objects. Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, 2012, p.483-492

14