情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P09
2018/3/5

空間中任意点へ生成したフォグスクリーンによる生活空間への適用を指向した空中映像提示手法の基礎検討
草深 宇翔1,a)

永徳 真一郎1,b)

概要：本稿では，利用者と空間を共有し，空間中の任意点への空中映像提示を行う手法について提案する．
既存の手法では映像の提示位置が装置上に固定される，映像提示位置を制御できない等により，3 次元空間中の任意点への映像提示を行うことが難しい．そこで，本研究では，散乱特性を有する粒子を空間中の任意点において滞留させ，スクリーンとして用いる．具体的には，粒子を安定運搬可能な渦輪という現象に着目し，複数地点から射出した渦輪同士を空中で衝突させることで，空中スクリーンを生成する．プロトタイピングによる基礎検証を通して，空間中の指定した地点へスクリーンを生成し，プロジェクションにより空中映像提示が可能なことを確認した．また，アプリケーション適用へ向けた課題の抽出を行った．

1. はじめにへスクリーンを生成し，そのスクリーンへ映像を投影する
空中映像提示手法を提案する．具体的な実装として，粒子ディスプレイ技術の発達により，屋内外に視覚ディスプを安定運搬可能な渦輪を複数の空気砲から射出し，渦輪同レイが配備され，ナビゲーションやサイネージに利用され士を衝突させることで粒子を滞留させ，それをスクリーンている．しかし，このようなディスプレイは特定の位置のとして映像を投影する．

みに固定的に設置されているため，ディスプレイ位置に合わせて人が動く必要があった．
そこで本研究では，従来のように「ディスプレイ位置に合わせて人が動く」のではなく，「人の位置に合わせてディスプレイが動く」というコンセプトの元，環境設置型で 3次元空間中任意の位置に映像提示可能なシステムの実現を目指す．
図 1 は，本システムにより実現されるユースケースの例

本稿では，視覚情報を 3 次元空間中任意の位置へ提示可能なことを確認するプロトタイプを構築し，その実現可能性を確認した (図 2, 3)．また，最終的な目標の実現にあたり，プロトタイプを通した課題の抽出を行った．

2. 関連研究2.1 利用者と空間を共有する 3 次元空間内映像提示に関する研究であるナビゲーションを表している．ユーザごとの目的にFogScreen[1] は環境設置型の空中映像提示手法としてよ

応じ，空間中の異なる位置へ行き先を示す矢印がユーザのく知られおり製品化もされている．これはファンにより形移動に伴って表示される．ユーザは表示される矢印に着い成される水蒸気の薄い層をスクリーンとして用いる手法でていくのみで目的地へたどり着くことができ，従来のように環境に設置されているディスプレイに表示された地図を確認しに行く必要がなくなる．
本システムの実現へ向けては，以下の 2 点を満足する必要がある．

• 視覚情報を必要な時間だけ滞留させて表示できること• 利用者と同じ 3 次元空間中の任意の位置に情報を提示できること
本研究では，その実現方式として，3 次元空間中の任意点
1a)b)

NTT サービスエボリューション研究所
takahiro.kusabuka.bh@hco.ntt.co.jp
shinichirou.eitoku.bf@hco.ntt.co.jp© 2018 Information Processing Society of Japan

図 1: 本研究により実現されるユースケースの例

833

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P09
2018/3/5

3. 提案手法
本研究では，渦輪を空間中任意点において衝突させ，滞留した粒子に対して映像投影を行うことで空中映像を提示する．提案手法を実現するシステムは，渦輪を射出する空
図 2: 空気砲から射出される渦輪気砲，映像を投影する映像投影装置，およびこれらを制御する空気砲・映像投影装置制御機器から構成される (図 4)．

3.1 システム構成• 空気砲
空気砲は，1) 渦輪に内包させる粒子を生成する機構，

2) 射出方向を制御する機構，3) 空気を渦輪として射出する機構からなる．また，1)2)3) を制御するために,空気砲・映像投影装置制御機器との通信機能を有する．
図 3: 生成されたスクリーンによる映像提示渦輪へ内包される粒子は，映像投影を行うためミー散乱を引き起こすサイズ (可視光の波長の 10 倍程度以ある．水蒸気の粒子は数〜数十μ m 程度であり，可視光の波長である 0.38〜0.78 μ m より大きいため光の進行方向に対して強い散乱を起こすミー散乱が生じるため，スクリーン後方から映像を投影することで映像提示が可能となる．またすでに加湿器などが生活空間で利用されていることから霧をスクリーンとして用いる手法は安全性や心理的障壁の観点から生活空間との親和性が高い．しかし本手法はその構造上，映像提示位置が装置上に固定されるため，任意点への映像提示が行えない．
このような映像提示位置に関する制約を緩和する研究も存在する．Tokuda らは，空気砲より射出される渦輪に散乱特性を有する粒子を内包させ映像を投影することで，渦輪射出方向への映像提示が可能な手法を提案している [2]．
また，粒子を含ませたシャボン玉を画像処理によりトラッキングすることで，浮遊するシャボン玉への映像提示を行う手法も提案されている [3]．しかし，空間中の任意点にスクリーンとなる粒子群を滞留させることができない．また，スプレーから射出される粒子をスクリーンとして活用した，小型軽量なフォグスクリーン装置を移動・飛行ロ下) の粒子を用いる．

• 映像投影装置
映像投影装置は，1) 映像投影機構，2) 映像投影方向を制御する機構からなる．また，1)2) を制御するために，空気砲・映像投影装置制御機器との通信機能を有する．

• 空気砲・映像投影装置制御機器
空気砲・映像投影装置制御機器では，空気砲・映像投影装置の動作に関するパラメータの設定や動作タイミングの同期制御，投影する映像の生成および投影位置に応じた映像のアフィン変換・射影変換といった機能を担う．

3.2 構築したプロトタイプ
本稿では，実現可能性の確認を目的として，空気砲における射出方向を制御する機構，および映像投影装置における映像投影方向を制御する機構の実装を省略し，映像提示位置を予め定めた 3 箇所へ固定した．空気砲および映像投影装置を各地点に対応する角度で固定する治具を作成し，ボットへ搭載する手法 [4] が提案されているが，スプレーを用いることにより連続映像提示時間への制限がある．

2.2 利用者と同じ 3 次元空間中任意点への情報提示に関する研究
渦輪同士を衝突させた際に渦輪が崩壊する物理現象を応用し，香料を内包させた渦輪同士を空間中任意点で衝突させることで，においを提示する場を生成する手法が提案されている [5]．本研究で提示する情報は嗅覚情報のみにとどまっており，視覚情報の提示に関する検討は行われていない．
図 4: システム構成© 2018 Information Processing Society of Japan834

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P09
2018/3/5

手動で角度を変更することで提示位置の切り替えを行った．
以下へ各装置の詳細について述べる．また，図 5 へ接続構成を図示する．

• 空気砲実装した空気砲の外観を図 6 へ示す．空気砲は，図 6左下に示すような直径 60mm の円形開口部を有しており，ここから直径約 60mm の渦輪が射出される．文献 [6] を参考とし，ソフトウェアによる駆動パラメータの制御しやすさの観点からサブウーファーにより渦輪
図 6: 実装した空気砲の射出を行うこととした．サブウーファーは GRS 社製の 10PF-8 を用いた．空気砲は，マイコン (ArduinoDue) が空気砲・映像投影装置制御機器から命令を受信し，制御することとした．渦輪に内包させる粒子の生成源としてプロピレングリコールを用い，フォグ生成装置 (Antari 社製 Z-800II) により空気砲内へ粒子を充満させた．プロピレングリコールは煙を発生させる舞台装置において一般的に用いられ，粒子はミー散乱を起こす．また，食品添加物や保湿剤としても用いられ人体への影響が無いことからこれを用いた．

• 映像投影装置

図 7: 実装した映像投影装置

実装した映像投影装置の外観を図 7 へ示す．プロジェク
タとして EPSON 社製の EMP-1825(三原色液晶シャッタ式投映方式，3500lm) を用いた．

• 空気砲・映像投影装置制御機器
制御ソフトウェアは openFrameworks*1 を用いて Ma-cOS 用アプリケーションとして作成した．空気砲や映像投影装置と空気砲・映像投影装置制御機器の接続は，同期制御を行う必要があることからレイテンシが小さ
いこと，空気砲や映像投影装置間の距離が離れても通信劣化が起きないことを考慮し Ethernet ケーブルを用いた．空気砲・映像投影装置を制御するための通信は，TCP 上に規定する独自の制御プロトコルにより行った．

飛行する距離に応じて徐々に速度が低下し直進性も失われる．これにより，渦輪の位置制御が困難になり目的の位置で渦輪を衝突させることができない．そのため，安定した軌道で直進飛行可能な距離を予備実験において確認した．
結果，おおよそ 1m の距離までであれば直進性が失われなかったため，本稿では空気砲の砲口から半径 1m の球面内を映像提示対象空間とし，2 つの空気砲の映像提示対象空間の和となる空間を今回の映像提示空間として規定した．

4.2 3 次元空間中へ生成したスクリーンによる映像提示
可否の確認

4. プロトタイプによる提案手法の検証
4.1 予備実験による映像提示対象空間の規定
映像提示空間は各空気砲の砲口を中心とした半径 1m の範囲が重なる箇所とした (図 8)．今回制作した空気砲から

図 5: 各装置の接続構成*1射出される渦輪の飛距離はおよそ 1.5m であるが，渦輪はopenFrameworks: http://openframeworks.cc/© 2018 Information Processing Society of Japan

4.1 節において規定した映像提示空間内のうち，予め定めた 3 点で映像提示可否を検証する実験を行った．提示する
映像は赤色の矢印とした．図 9 へ予め定めた 3 点，および各点へ映像を提示した際に撮影を行った地点を示す．ミー

図 8: 本プロトタイプにおける映像提示対象空間 (各空気砲から半径1m の範囲をそれぞれ赤，緑の半球で示す)

835

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2P09
2018/3/5

散乱による視野角への影響を考慮し，図 9 中 c 地点のみ図

9 中 a,b 地点とは異なる位置から撮影を行った．また，部屋の空調は停止した状態で検証した．結果を図 10 へ示す．
図 9 中 a,b,c 地点と，図 10a,b,c がそれぞれ対応する．いずれの図においても赤色の矢印が表示されていることが確認できる．これにより，定めた位置においてスクリーンが生成され，3 次元空間中に映像提示が可能であることが確認できた．

図 11: ゆらぎと多重により視認性が低下した例 (図中左上が投影した映像)

5. 考察流に流されてしまいスクリーンが生成されないというプロトタイプによる確認を通して，図 1 で例を挙げたよ

事象が生じ，気流に対する耐性の低さが確認された．

うなユースケースへの適用へ向けた課題を確認した．

そのため，空調の影響を考慮して渦輪の射出計画を行• 精細な画像への対応：視認性の向上

う等の改善を図る必要がある．

渦輪が衝突する際に内包する粒子が奥行方向にも広がり映像が層状に重なって表示される，揺らいで表示さ

6. まとめれることで細かな映像のエッジやテクスチャの視認性が低下した (図 11)．精細な写真や細かな文字を提示

本稿では空間中任意点へ散乱特性を有する粒子を滞留さする際には，こうした事象を考慮し，視認性を向上すせたスクリーンを生成し，これへ映像投影を行うことで，る改善を図る必要がある．

空間中任意点への空中映像提示を実現する手法を提案し• 長時間滞留可能なスクリーン生成への対応た．空気砲より射出する渦輪に散乱特性を有する粒子を内動画の提示や利用者が同じ位置に長時間滞在する場包させ，複数渦輪を空間中の任意点で衝突，内包する粒子合，生成するスクリーンを長時間滞留させる必要があを滞留させることで空中へスクリーンを生成するプロトタ

る．本プロトタイプでは，おおよそ 1.5〜2 秒間の映像イプを構築し，空間中の異なる複数地点へスクリーンを生提示が可能であったが，スクリーンの滞留時間を延ば成し空中映像が提示可能なことを確認した．今後は，抽出す改善を図る必要がある．

された視認性，スクリーンの滞留時間，気流への耐性に関• 空調への対応：気流に対する耐性の向上する課題へ取り組む．

予備実験において空調を動作させた状態で本プロトタ
イプを動作させたところ，射出された渦輪が空調の気

参考文献
[1]
[2]
[3]

[4]

[5]

図 9: 映像提示箇所と撮影箇所[6]

Rakkolainen, Ismo, et al.. The interactive FogScreen.
Proc. of ACM SIGGRAPH 2005, 2005.
Yutaka, Tokuda, et al.. Vortex fing based display. Proc.
of Virtual Systems and multimedia 2010, pp.51-54, 2010.
Seah, Sue Ann, et al.. SensaBubble: a chrono-sensory
midair display of sight and smell. Proc. of ACM SIGCHI
2014, pp.2863-2872, 2014.
Ippei, Suzuki, et al.. Gushed light field: design method
for aerosol-based fog display. Proc. of ACM SIGGRAPH
ASIA 2016 pp.9:1-9:2, 2016.
Fumitaka, Nakaizumi., et al.. SpotScents: A Novel
Method of Natural Scent Delivery Using Multiple ScentProjectors. Proc. of IEEE Virtual Reality 2006, pp.2072012, 2006.
Sodhi, Rajinder, et al.. AIREAL: interactive tactile experiences in free air. ACM Trans. Graph. 2013, 32, 4,
pp.134:1-134:10.

図 10: 確認結果

© 2018 Information Processing Society of Japan

836