情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-21
2017/3/2

霧の形状変化に適応した映像投影を実現する
インタラクティブフォグディスプレイの基礎的検討
大峠 和基1古賀崇了1,a)

概要：フォグディスプレイは空中に映像を提示できるディスプレイの一形態であり，霧の透過性や霧に触れられるという特長を生かして，様々なインタラクション技術へ応用されている．しかしながら，鑑賞者が触れることによる霧の形状変化と映像の変化が自然に結びつくようなインタラクションに関しては報告が少なく，未だ研究の余地がある．本研究では，鑑賞者が霧の流れを「手で遮る」動作を行う際の手の形状とそれに伴う霧の形状変化に応じて映像が自然に変化するようなインタラクションを実現することを目的とする．本研究では，ダウンフロー型の半円筒形フォグディスプレイに対し，霧の流れに沿って落下するパーティクルを映像として投影する．また，鑑賞者の手の位置及び姿勢を Leap Motion によって 3 次元的に検出する．提案手法では，鑑賞者の手の位置・形状と霧の形状変化の関係を物理エンジンによってあらかじめ対応付けておき．投影するパーティクルの動きに反映することで前述の自然なインタラクションを実現する．本稿では，構築したシステムおよび提案手法の具体的内容と，アンケートによる客観評価の結果について報告する．

Fundamental Study on Interactive Fog Display
Realizing Adaptive Image Projection to Deforming Fog Screen
Kazuki Otao1

Takanori Koga1,a)Abstract: A fog display is one of the aerial display techniques; and it has been applied to various interactive
devices, arts, etc. by taking advantages of its transparency and accessibility. However, few studies have beenreported aiming at interaction based on the natural association between the deformation of the fog causedby the viewer’s action and the change of the projected image; and there is room for further research intosuch interaction. In this study, we aim at realizing a natural interaction between a viewer and the projected
image induced by the positions and postures of the viewer’s hands in “Shielding by hands” action. Concretely, particles falling along with the flow of the fog are projected onto a down-flow fog display having
semi-cylindrical figure. The three-dimensional position and posture of the viewer’s hands are detected byusing the Leap Motion. In the proposed method, by using a physical engine, the above-mentioned naturalinteraction is realized by reflecting the pre-simulated relationship between the position and posture and thedeformation of the fog to the motion of the particles. In this report, we describe the specifications of theproposed system and details of the proposed method, and the results of the subjective assessment using aquestionnaire.

1. はじめにされている．特に，身近で安全な水や風などの流体を用いる方法が注目を集めている．水などの流体に直接触れる

近年，鑑賞者が作品に参加することのできるインタラクインタラクションを実現しているものとして，米澤らのティブアートへの関心が高まっており，多数の作品が提案

Tangible Sound [1] や佐川らのバブルディスプレイ [2] などがある．Tangible Sound は流水をインターフェースに用1a)

国立高専機構. 徳山工業高等専門学校
National Institute of Technology, Tokuyama College
koga@tokuyama.ac.jp© 2017 Information Processing Society of Japan

いた楽器システムであり，鑑賞者が水を出す・流れに触れる・妨げる・開放するといった行動をとることにより，音響752

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-21
2017/3/2

や音楽を変化させ楽しむことが可能となっている．バブル
ディスプレイは水中に発生させた気泡へプロジェクタで映像を投影することで水中に映像を提示し，鑑賞者が気泡の動きや形状を変化させる・切断する・かき混ぜるといった行動をとったとき，それによって変化する気泡の動きを捉えて映像に反映させるインタラクションを実現している．
一方，空中映像技術の分野ではフォグディスプレイが注目されている．フォグディスプレイとは，人工的に生成した霧によって形成したフォグスクリーンに対して，プロジェクタで映像を投影することで空中に映像を提示するディスプレイの一形態である．フォグディスプレイは霧でスクリーンを形成するため，スクリーンの存在が希薄に感

図 1: 「手で遮る」動作に対する映像の変化の例
Fig. 1 Example of change of the projected image by shieldingby hand.

じられる，投影される映像が浮遊しているように感じられの流れの変化を映像に反映させる．提案手法により，鑑賞る，投影される映像に触れることができるといった特徴が者が霧に触れた際に，鑑賞者の手の形状とそれに伴う霧のあり，それらの特徴を利用したインタラクティブな手法や形状変化に応じて映像が自然に変化するようなインタラク技術が多数提案されている [3–11]. 八木らのフォグディスションを実現する．

プレイ [4–6] では，複数台のプロジェクタを用いて鑑賞者の視点位置に応じた映像を投影することで，多視点観察を可能としている．また，フォグスクリーンに手を差し伸べることで．投影されている動物が飛び跳ねるなどの反応を

2. 提案手法
本節では，霧の形状変化に適応した映像投影を実現する
フォグディスプレイを構築するための手法を述べる．

するインタラクションが実現されている．Lam らのフォグ
ディスプレイ [7] では，格子状に並べたノズルの開閉を制2.1 インタラクション

御することでフォグスクリーンを 3 次元に展開し，鑑賞者

フォグディスプレイにおいて，映像を提示するために空が霧に触れる動作によって空中に線を描くインタラクショ

気中に放出した霧は，最初は一定の流速を保ちながら形状ンを実現している．森らのフォグディスプレイ [8] では，を維持するが，噴出部からの距離に応じて徐々に流速が小

鮮明な映像が２次元的に見える層状霧と，映像に立体感がさくなり，形状も幅広く伸びていく．この霧に対し鑑賞者あり３次元的に見えるドーム状霧を組み合わせることで，が様々な動作を起こすことで，霧の形状変化に適応してリ

鑑賞者の視点に応じて映像の見え方が多様に変化する．さアルタイムに投影する映像を変化させる．

らに，山口らの手法では，鑑賞者の動きや立ち位置の変化

本研究では，その基礎的検討として，鑑賞者が「手で遮を基に，霧に加わる擬似的な外力を求め，映像に反映するる」動作に対してのインタラクションを実現する．「手でことが可能となっている [9]．

遮る」とは，鑑賞者がフォグスクリーンに手を差し入れ，このように流体の特性を利用したインタラクティブアー霧の流れを遮ることをいう．「手で遮る」動作に対する映トや，フォグディスプレイの形態が多数提案されている．

像の変化の例を図 1 に示す．落下するパーティクルの映像

しかし，鑑賞者がフォグディスプレイの霧の動きや形状をに対して，流れを遮る・流れを変える・受け止めるように変化させたとき，霧の形状変化と映像の変化が自然に結び手で遮ると，鑑賞者の手の位置や姿勢に応じてパーティクつくようなインタラクションの研究はあまり見受けられなルの向きや速度も変化する．

い．フォグスクリーンに触れると霧の形状そのものが変化してしまうため，新奇なインタラクティブ表現を実現する

2.2 手の位置及び姿勢の検出ためには，霧の形状変化を検出，もしくは推定する必要が手の位置及び姿勢の検出には，Leap Motion [12] を用いある．しかし，霧は透過性が高いため，画像処理によるリる．Leap Motion とは，手や指に特化したモーションキャ

アルタイムの形状推定及び検出は難しい．

プチャデバイスであり，両手及び 10 本の指を 3 次元的に本研究では，整流や噴出をする際に生じる風によって，捉えることができる．本体の位置から 30 [mm] ∼ 600 [mm]フォグスクリーンを形成する霧が一定方向へ流れているこまでの距離と中心角 110 度の空間の範囲内を 0.01 [mm] のとに着目した．物理エンジンを使用して擬似的に霧の流れ精度で認識する．に沿って落下するパーティクルの映像を生成し，フォグスLeap Motion で手を検出する様子を図 2 に示す．図 2 のクリーンに投影する．その際，鑑賞者の手の位置及び姿勢ように，RGB カメラや磁気センサによる検出手法と違い，をセンサで検出し，落下するパーティクルとの衝突判定を手の位置及び姿勢を 3 次元で捉えることができるため，よ行うことで，鑑賞者がフォグスクリーンに触れたときの霧り直感的なインタラクションの実現を期待できる．

© 2017 Information Processing Society of Japan753情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-21
2017/3/2

図 2: 手の検出の様子
Fig. 2 Hand detection.
図 4: 構築したフォグディスプレイ
Fig. 4 Prototype of the fog display.

3.1 フォグディスプレイと周辺機器
通常のフォグディスプレイは，霧の強い前方散乱特性により，プロジェクタの正面付近の限られた視野でしか映像を観測することができない．そこで本研究では，八木らの手法 [4–6] である，多視点観察可能なフォグディスプレイを参考にした．構築したフォグディスプレイの外観を図 4に，フォグディスプレイを構成する装置の仕様を表 1 に
図 3: 処理の流れ
Fig. 3 Block diagram of the proposed process.

示す．
フォグの生成には超音波振動子 (500 ml/h) を 2 つ使用した．フォグの流路は塩ビ管で構成されており，噴出部に2.3 パーティクルシステム

は ϕ 5 × 50 [mm] の管を半同心円状に並べたノズルを設置

本研究で構築するフォグディスプレイは下向きに送風した．気流の生成には直流式のファンを使用し，電圧を変するため，霧は鉛直下向きに流れ出ている．擬似的に霧にえることで風量の調整をした．映像の投影には LED 光源

沿って流れ落ちる映像を生成するために，物理エンジンをプロジェクタ ASUS S1 を 3 台使用し，映像の生成には 4利用したパーティクルシステムを実装する．
パーティクルシステムは，Emitter と Particle から成り立つ．Emitter は，ランダムな時間間隔で指定半径内のランつの出力先を持つグラフィックボードを搭載した 1 台のWindows PC を使用した．鑑賞者の手の位置及び姿勢を検出するために，Leap Motion を設置した．

ダムな座標に Particle を生成する．Particle はプリミティ
ブな球体であり，質量や摩擦係数，反発係数などの物理的3.2 半円筒状のスクリーンの形成なパラメータを持つ．生成された Particle は重力により落八木らの手法では，単一の観測対象を中心として，その下するが，センサで検出した鑑賞者の手を基にした剛体モ周囲を多視点から観察することを想定している．そのたデルと仮想 CG 空間で衝突判定が行われる．鑑賞者の「手め，図 5(a) のようにフォグスクリーンを円筒形に形成し，で遮る」動作から映像の投影までの流れを図 3 に示す．こプロジェクタの対角線上に映像が提示されるように映像をこで，実際の霧の動きとパーティクルの動きは正確には一補正している．これは，鑑賞者が視点を変えた際に運動視致しないが，実際にフォグスクリーンを手で遮ったときの差を引き起こし，立体感を提示するという付随効果を生み霧の形状変化を観察し，パーティクルの物理的なパラメー出したが，フォグスクリーン上の映像の表示位置が変化しタを霧の動きに近づけることで，霧の形状変化と映像の変てしまう．

化が同期しているような感覚を鑑賞者に与えることができると考える．

3. システム構成と実装
本節では，提案手法に基づいて作成したシステムの構成と実装について述べる．

© 2017 Information Processing Society of Japan

本研究では，多数の観測対象が提示され，鑑賞者が装置の前方に位置することを想定している．そのため，ある程度の立体感を保ちながら，鑑賞者に違和感を感じさせない手法を取る必要がある．そこで，図 5(b) のように半円筒形のフォグスクリーンを形成した．形成したフォグスクリーンに対して，複数台のプロジェクタからの映像が半円筒形

754

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-21
2017/3/2

表 1: 使用した装置の仕様
Table 1 Specifications of the prototype system.
フォグ生成

1-H 霧発生体モジュール DK24
気化能力

気流生成

映像投影

映像制御

500 ml/h

San Ace 80W (三洋電機製)
サイズ

80mm 角回転速度2900 rpm

最大風量1.03 m3 /s

ASUS S1 (ASUS 製)
表示方式

DLP

画素数

854 × 480

光源LED

明るさ200 lm

図 6: 物理シミュレーションの様子
Fig. 6 Physical simulation.

Windows PC
CPUIntel Core i5-6400(2.70GHz)

センサ

GPU

NVIDIA GeForce GT 730

Memory8 GBOS

Microsoft Windows 10

開発環境

Unity 5.4.0f3

Leap Motion(a) 通常時の投影(b) 「手で遮る」時の様子

図 7: 「手で遮る」動作に対する映像の変化の様子
Fig. 7 Change of the projected image by shielding by hand.

られていない場合は，パーティクルが鉛直下向きに落下す(a) 八木らの手法(b) 本研究での投影手法

図 5: 半円筒形のスクリーンに対するマッピング
Fig. 5 Mapping to the semi-cylindrical fog screen.

る映像が表示された．図 7(b) のように，鑑賞者がフォグの流れを「手で遮る」と落下するパーティクルが手の形状に合わせて跳ね返る・手の平に留まるといった動きを見せた．このとき，手を斜めに傾けると，落下するパーティクの同じ曲面上に投影されるようにマッピングを行う．霧のルは手の角度に応じた方向に跳ね返ることが確認された．

強い前方散乱特性により，鑑賞者とフォグスクリーンの成また，パーティクルが手に接触したことを視覚的に表す

す角度によって観測されるプロジェクタの映像が変わるたために，衝突判定が行われた際にパーティクルの色を変えめ，プロジェクタ同士の映像は干渉せず，単一の映像のみる演出を加えた．

を観測することができる．同じ曲面上にマッピングすることで，鑑賞者が視点を変えた際に，フォグスクリーン上の映像の表示位置が変化しない利点がある．

4. 評価と考察
本節では，本研究の評価実験の結果と考察について述べる．

3.3 インタラクション
映像生成には Unity 5.4.0.3f，物理エンジンには Unity に4.1 評価実験

標準搭載されている NVIDIA PhysX を使用した．鑑賞者

本研究の評価のため，10 代から 20 代までの 10 人の被験がフォグスクリーンに手を差し入れたときの，Unity の画者にアンケート調査を行った．アンケートは 1 点から 5 点

面を図 6 に，実際に「手で遮る」動作をしたときの様子をまでの 5 段階で採点する質問を 4 つ用意した他に，自由記

図 7 に示す．図 7(a) のように，フォグスクリーンが手で遮述欄を設けた．質問項目を表 2 に，各項目の採点一覧を図© 2017 Information Processing Society of Japan755

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

表 2: アンケートの質問項目
Table 2 Questionnaire Items.
問1
問2
問3

4.3 自由記述
質問項目と関連するものとして，「実際に触れて遊べる霧に触ることで，映像に変化がため，楽しかった」「手の動きや傾きに応じて映像も変化す起きていることを実感できたか．

る様子が良く分かった」「直感的で分かりやすかった」とい投影される映像の変化はうコメントが複数人から寄せられた．「手の認識がうまく自分の手の形状の変化とよく合致していたか．

いかないことがあった」「本来の霧の動きを再現しきれて投影される映像の変化はいないのではないか」という指摘もあった．

霧の形状の変化とよく合致していたか．
問43-504-21
2017/3/2

本システムを，エンターテイメントとして楽しめたか．

他には「霧に手を入れた際，プロジェクタの光を遮ってしまい，映像が見えなくなった」という，フォグディスプレイ特有の問題が体験者から指摘された．

4.4 考察問 1 では，すべての体験者が「霧に触ったときの映像の変化を実感した」と回答した．問 2 でも同様に，すべての体験者が「映像の変化と自分の手の形状の変化が合致している」と回答した．また，「手の動きや傾きに応じて映像も変化する様子が良く分かった」というコメントが複数寄せられたことから，フォグディスプレイを「手で遮る」動作をしたときのインタラクションが実現できていると言える．
問 3 では，90%の体験者が「映像の変化と霧の形状の変化が合致している」と回答した．このことから，鑑賞者が霧に触れたときの流れの変化が映像に反映されるインタラクションが実現できていると言える．一方，「本来の霧の動きを再現しきれていないのではないか」という指摘もあ
図 8: 採点項目一覧
Fig. 8 Marking items.

り，霧の形状変化とそれに伴う映像の変化は，正確性に欠けているということも分かった．
問 4 では，90%の体験者が「本システムを楽しめた」と回答した．霧に実際に触れられることや直感的に映像が変化することが，ユーザ体験の向上に繋がっているものと考える．問 4 より，フォグディスプレイにおいて，霧の形状変化と提示される映像がより直感的に結びつくことはエンターテイメントとして重要な要素の一つであるということが言える．
評価実験を通して，本システムの問題だけではなく，従来のフォグディスプレイにも問題が残っていることが分

図 9: アンケート結果の採点割合

かった．本研究のように「手で遮る」動作を行うとき，鑑Fig. 9 Result of the questionnaire survey.

賞者の手がプロジェクタの光を遮ってしまい，映像が見えなくなる．これに関しては，プロジェクタを斜め上に設置

8 に示す．この際，ポジティブな評価ほど 5 に近く，ネガするなど，光源の位置を工夫することで解決が図れるのでティブな評価ほど 1 に近い．質問項目に対して適切な評価はないかと考える．

ができない場合は，3 に回答する．
被験者には，事前にフォグディスプレイの簡単な説明を5. まとめ行い，装置の正面に立つよう指示をした．数分間の間，自本研究では，フォグディスプレイの霧の形状変化に応じ由に手を差し入れて体験してもらった後，回答を依頼した．て映像が自然に変化するインタラクションを実現するための基礎的検討として，鑑賞者が霧の流れを「手で遮る」

4.2 結果アンケート調査の結果を採点割合で表したものを図 9 に示す．

© 2017 Information Processing Society of Japan

動作について実装と検討を行った．具体的には，霧の形状変化を直接検出・推定するのではなく，鑑賞者の手の形状を検出し，落下するパーティクルとの衝突判定を行うこと

756

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-504-21
2017/3/2

で，擬似的に霧の形状変化に適応した映像投影を実現した．アンケートによる評価実験より，多くの体験者が投影される映像の変化と霧の形状変化が自然に結びついている[5]

ことを実感し，インタラクションを楽しむことができると分かった．
しかし，以下の点について問題が残っている．

• 手の認識精度が低下する場合がある．
• 霧の形状変化を正確に再現しきれていない．

[6]

[7]

• 鑑賞者の手以外による，霧の形状変化を認識できない．
1 つ目の項目に関しては，手の検出に使用した Leap Mo-[8]tion に苦手な手の形状があるという点である．Leap Motion
に対して手の平や手の甲が見えないように手を差し入れたとき，認識の精度が著しく落ちる．これは，Leap Motion[9]の位置を変える，Leap Motion とコンピュータを複数台使用して死角をなくすといった方法が考えられる．

2 つ目の項目に関しては，物理エンジンによって擬似的[10]に霧の形状変化を再現しているため，実際の霧とパーティクルの動きが正確に一致しない点である．解決法として[11]

は，流体シミュレーションを導入して，より正確に霧の形状変化を再現する方法が考えられる．

3 つ目の項目に関しては，鑑賞者の手以外の要因で霧の[12]degree fog projection interactive display, SIGGRAPH
Asia 2011 Emerging Technologies (2011).
八木明日華, 井村誠孝, 黒田嘉宏, 大城理：多視点観察可
能なインタラクティブフォグディスプレイ, 日本バーチャ
ルリアリティ学会論文誌, Vol. 17, No. 4, pp. 409–417(2012).
井村誠孝: 円筒型フォグスクリーンへのプロジェクショ
ンによる多視点表示, 光学, Vol. 43, No. 10, pp. 469–474(2014).
Lam, M.-L., Huang, Y., and Chen, B.: Interactive volumetric fog display, SIGGRAPH Asia 2015 EmergingTechnologies (2015).
森裕司, 寺田泰晃, 山口恭平, 板井志郎, 三輪敬之: Embodied fog display –霧の空間性を活用した共創表現の支援–,
日本機械学会 2015 年度年次大会 設計工学・システム部
門 ヒューマンインタフェース (2015).
山口恭平, 森裕司, 板井志郎, 三輪敬之, 西洋子: 共創表現
メディアに関する研究 –霧の空間性を活用した表現の場の創出支援–, 第 16 回 計測自動制御学会 システムインテ
グレーション部門講演会 SI2015 (2015).
文奈美, 曽根順治, 夏井伸隆, 長谷部智宏, 吉田康一: Pocket
Cosmos〜手のひらに宇宙を〜, 芸術科学会論文誌, Vol. 3,No. 4, pp. 244–249 (2004).
石川優, 星野准一: 花水: 移動可能なフォグディスプレ
イによるバーチャル手持ち花火, 情報処理学会研究報告,
Vol. 2014-GN-91, No. 72 (2011).
Leap Motion, https://www.leapmotion.com/ (2016 年 12月 21 日参照).

形状が変わった際に，その形状変化を映像に反映できていない点である．例えば，身近な道具を霧に差し入れる，うちわで扇ぐなどして霧の形状を変化させたとき，霧の形状変化を基にしたインタラクションを実現できていない．これは，画像処理などを用いて霧の形状変化を直接検出・推定する必要があると考える．しかし，霧の透過性の高さも相まって，霧の形状変化をリアルタイムかつ 3 次元的に検出・推定することは困難である．この点に関しては，風量のセンシングなどの画像処理以外の方法や，本研究とセンシングや画像処理との組み合わせによる方法を検討していきたい．
今後は画像処理や風量のセンシングなどによる霧の形状変化の検出手法を検討しつつ，本システムを拡張し，「手で遮る」以外のインタラクションも実現していきたい．
謝辞 本研究は JSPS 科研費 16K21580 の助成を受けた．
参考文献
[1]

[2]

[3]

[4]

米澤朋子, 安村通晃, 間瀬健二: Tangible Sound: 流体を用いたインタラクションによる音表現とその拡張, NICOGRAPH/MULTIMEDIA Paper Contest (2000).
佐川俊介, 小川剛史: バブルディスプレイ: 水中の気泡を用いたインタラクティブ映像システム, 情報処理学会論文
誌デジタルコンテンツ, Vol. 2, No. 1, pp. 16–23 (2014).
Rakkolainen, I., DiVerdi, S., Olwal, A., Candussi, N.,
Hllerer, T., Laitinen, M., Piirto, M., and Palovuori,
K.: The Interactive FogScreen, ACM SIGGRAPH 2005
Emerging technologies (2005).
Yagi, A., Imura, M., Kuroda, Y., and Oshiro, O.: 360-© 2017 Information Processing Society of Japan

757