情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-60
2019/3/6

鑑賞者の顔の動きと空間中の対象物の動きに関わる空中像の投影と用いる効果の評価
清川真純†1

伊藤沙恵†1

土屋輝恵†1

川合康央†1

概要：近年，ディジタルコンテンツが再び注目を集めているが，その多くは受け身型の展示が多く，インタラクティブ性の付与が重要だと考えられる．本研究は，展示などの用途を想定した演出手法の提案をする．制作した水槽型装置を用い，2 種類の映像を異なる方向から水中へ投影し，組み合わせる．一つは運動体をカメラで検出し，リアルタイムにエフェクトをかけた映像であり，もう一つはユーザの身体的な情報をもとにした効果を与えた映像である．これにより動的で新しい演出が可能になると考えられる．また，本システムの有用性を複数の実験により評価した．

1. はじめに
近年，プロジェクションマッピングをはじめとする展示れらの多くは大型のプロジェクタが使われており小型の展示には導入されていなかった．また，水面への投影は多くなされているが，水中への投影はなされていない．

用途としてのディジタルコンテンツが多くみられるようにリアルタイムにホログラムを生成する手法についてはなった．これはディスプレイやプロジェクタの高解像度化

過去に泰間ら[2]が工学ホログラムと電子ホログラムを組が進み，ディジタルコンテンツの画質が向上したことによみ合わせ，演算時間を短縮させた．そして近年では，ホロるものである．しかしながら，これまでのものには「参加グラフィを用いた演出はメディア・アートとして利用され感」が少なく，受け身に経験することしかできなかった[1]．ている．これについては，三田村[3]がホログラフィを用いその解決策として，事前に用意したものを表示するだけでた芸術表現について作例を挙げている．さらに使用する機はなく，インタラクティブ性を持たせることが重要だと考材として，より入手しやすいタブレット型端末やスマートえられる．

フォンなどの液晶画面と透明フィルムを用いた 3 次元表示

本研究は対象とする空間内の運動体へ映像を投影する技術が一般に知られるようになった．この空中結像によるものである．これに複数のインタラクティブ性を追加する．

空中ディスプレイは山本[4]により先行事例が挙げられて一つ目はその場で動く物体をカメラで検出し，その動きにいる．本稿ではこの方法により表示される像を空中像と呼合わせた動きをもつ任意の画像を投影すること，二つ目はぶ．

鑑賞者の顔の動きを視覚化させた画像を投影することであ

また，運動体へのプロジェクションマッピングは，西尾る．これらを組み合わせることで動的で新しい演出を実現

ら[5]による Kinect と iclone5 を用いた人体へのリアルタイすることができる．

ムプロジェクションマッピング，奥村ら[6]による高速光軸インターフェースには製作した水槽型の装置を用いる．
このような頭部装着型ディスプレイ（Head Mounted Display，制御を用いたもの，酒巻ら[7]による動的なプロジェクショ
ンマッピングにおける遅延補償手法などがある．

HMD）などの装着型インターフェースを使用しない方法でまた，空中結像を用いた水中という環境での空中像の投は，ユーザが気軽に体験することが可能となり，一度に複影には，先行事例として渡辺ら[8]による円筒型のものが挙数人を対象者とすることができるという強みをもつ．

げられる．この事例では，水中で行動するメダカの行動観

本研究の目的は，展示やプロモーションといった用途と察に空中像を用いている．

して使用が可能となる演出手法の提案をするものである．

今回は水槽内に透明フィルムを設置することで，水中へ拡張現実（Augmented Reality，AR）やプロジェクションマの空中像の表示を可能にする．さらに合わせて水中内の運ッピングに挙げられるような実在する物体や空間と仮想的動体へ干渉をもつ映像を投影することで新しい演出が可能な視覚情報を重ね合わせる手法も展示やプロモーションなになる．

どの一環として広く使われるようになったため，本研究の特性と有効である.

空中像用の液晶画面として今回は装置底面と同程度の大きさのディスプレイを用いる．また，上下方向から二枚また，この装置を暗所で高輝度のディスプレイを用いてのフィルムへ投影するとこで，鑑賞者の方向からは前後空設置することで水中への応用も可能であると考えられる．

間の奥行きを感じさせ，鑑賞物としての興味深さを作り出

これまでも水中に映像を投影する試みは行われてきた．こす．

†1 文教大学© 2019 Information Processing Society of Japan664

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-60
2019/3/6

さらに，顔認識用と水槽内部撮影用の web カメラを用意した．

図 2

水槽型装置

2.2 運動体と投影映像
本研究は空間内を動く物体にインタラクションを与えた映像を投影するものであり，運動体には生物を例に挙げると小鳥や水中での魚などが考えられる．
今回は水槽内の演出対象となる生物として，疑似的に魚型のロボットを用いる．この魚型ロボットを水槽内部撮影
図 1

システムの構成図

開発環境にはゲームエンジン Unity を用いた．水槽内部を撮影しているカメラから取得した映像へリアルタイムに用の web カメラで検知する．
映像は仕組みの異なる二種類を用意した．
(1) 取得した映像にエフェクトかける

エフェクトをかける（図 1）．これを動画として画面に表示

画像の取得，エフェクトの追加は Unity 内でスクリプトし，直接水槽内部に向けて投影する．さらに，別途取り付を用意して行った．web カメラの画像を取得，平面へ表示

けたカメラにより鑑賞者の顔を検出し，動きを演出の一つした． Main Camera にはエフェクト用のスクリプトを割りとして用いた映像として出力する．また，エフェクトをか当て，色や効果の大きさを任意に設定した．これを exe とけた動画とは別に，今回は水槽内部の運動体の位置へ画像して書き出し，再生する（図 3）．

を投影するシステムも実装した．

(2) 魚の位置に画像を投影する

2. システムの構成
2.1 水槽型装置
本研究において水槽型装置を制作した（図 2）．水槽上下

図 3 に実際の投影中の様子を示す．水槽内の魚型ロボッ
トの位置は Cam Shift 法により追跡させた．これには一部，Asset の OpenCV For Unity[10]を用いた．この方法をとることで，異なる運動体でも同様のシステムで適応可能となる．にはディスプレイを水槽内部へ画面を向けて取り付けた．

本システムでは撮影している画面の中から追従させたい物

また，正面奥の面にはミラーを取り付けた．この装置の形

体を 4 回クリックし，撮影している映像だけを一時的に非状に類似するものとして小型の箱上面にスマートフォンを表示にすることで対象物へ追従させながら必要な画像のみ置いたものが先行事例として挙げられる．これは一方向かを表示することが出来る．

ら画像を投影するものであるが，今回は上下 2 方向から映像を投影することで空間に奥行きを感じさせる演出を行うことが可能である．また，2 層の空中像を出現させる技術として高田[9]による「Kirari!」が類似のものとして挙げられる．これは一画面を二分割して使用し反射させることで2 層の像を表現するものである．今回は大画面での応用を考慮し，1 層につき 1 台のディスプレイを用いることにした．

© 2019 Information Processing Society of Japan

図 3

投影中の様子（左）と追従させた画像（右）665情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2.3 顔認識による演出制御

2C-60
2019/3/6

3.3 実験 2

顔認識には水槽内部撮影用とは別の Web カメラを使用

本研究において事前に用意した映像ではなく，リアルタする．水槽型装置に取り付けた web カメラで人の顔を認識”

イムにエフェクトをかけた映像を用いる点はインタラクテした場合”視線などの情報を視覚化した映像を Unity 内で

ィブ性の追求のために重要となる．そのためには多くの観生成， exe として書き出して装置内部へ投影する．顔の認

測者から運動体の動きにリンクしていると評価される必要

識には，Dlib Face Landmark Detector [11]を用いた．

がある．そこで，これを検証するために評価実験を行った．

視線情報を用いることで，ユーザに対し本装置への注視

被験者には 2.2（1）で制作した映像について 2 種類のエフを促すことが出来ると考えられる．本装置への注視は，展ェクトを用意し，web カメラで撮影方向（水槽内部または示やプロモーションなどの用途としての演出手法を提案す外部）を変えたものを用意した．

る本研究では重要となる．

I.

エフェクト A，内部

3. 実験

II.

エフェクト A，外部

III. エフェクト B，内部

実験は投影方向，運動体の検出に関して行った．さらに

IV. エフェクト B，外部投影する映像に関して見え方の違いがある可能性が浮上し，以上 4 つの環境を前方から撮影し，カメラの方向が被験者映像に関する実験も実施した．

から特定できないかたちでⅠとⅡ，ⅢとⅣでそれぞれどち

3.1 実験 1-1

らが魚型ロボットの動きに連動しているかを選択させた投影する向きに関するものは，水槽に対し任意の位置に（図 5）．

ディスプレイを設置することで行った．方向は上部からのみ，下部からのみ，上下 2 方向からの 3 種を設定した．
この投影する向きに関する実験を行うなかで，投影される元の映像と空中像の見え方が異なることに気づき，次のような映像に関する実験の必要性が生じた．
3.2 実験 1-2
図 4 は実験 1-2 で使用された画像を示す．RGB および彩度は，互いに隣り合う色と等しい間隔で指定した．これらを一方向から投影した際の見え方に関する評価を行い，使用する際の適切な色を選定した．被験者には，元の画像と一方向から投影したときに撮影した写真を比較し，色について変化が最も小さい範囲と広い範囲の両方を選択させた．

図 5

また，写真から最も視認しやすい色とそうでない色を選択させた．

撮影方向による違いの検証

評価の結果は，選択された範囲の中に含まれていた色に

4. 結果

は 1 ポイントを与え，全被験者のポイント数を合計した数

4.1 実験 1-1

値でそれぞれの色を比較することとした．

2 種類のエフェクトを用いた時の

図 6 は，3 つの投影方向からの空中像を示す．投影方向

また，視認しやすい色とそうでない色についても被験者は上下両方向から 2 層に表示することができた．しかしなから選択された回数をポイントとして集計し，比較した．

がら，見やすさは周囲の明るさやディスプレイの輝度に大きく依存しており，現状の方法を適用する場合は暗所で展示する必要があった．
4.2 実験 1-2
被験者は 20 代 13 人である．図 4 下部のグラフは元の画像との変化が小さい範囲を選択させたものである．変化が大きいと評価された色は概ねこの結果と反転する形となった．黒背景では彩度が高いほど変化は小さくなり，この傾向は赤と橙で強く見られた． 一方，変化が大きい色は彩度が最も低い色に集中した．白背景でも黒と同様の傾向が見られたが，若干の違いがあった．小さな変化と思われるも

図 4

投影画像（上），再現性が高いと評価された色（下）© 2019 Information Processing Society of Japanのに関する傾向は，赤紫と赤の 2 番目に高い彩度で強く見られた．大きな変化と思われるのは，彩度が最も低い赤，666

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

黄，緑などの色にも集中した． どちらの背景色においても最も視認しやすい色は，彩度の高い青色で，最も視認しにくい色については彩度の低い緑色であった．

2C-60
2019/3/6

使用することで，連動状態を確認しやすくなる．
実験 2 から撮影した映像にエフェクトをかけたものを実物の背景に投影することで連動性を一定数感じられるといえる．しかしながら，個人差も見られるため他のエフェクトの場合やより効果を与えられる方法の検討が必要になる．

6. おわりに
本研究は一般的な動画編集ソフトではなくゲームエンジンを用いることで，運動体や顔の動きを用いた映像を生成，それを装置内へ投影する技術を提案することが出来たのではないかと考えられる．また，装置の前に立つ人の顔を認識して視線情報を投影することで注視を促がすことができ，展示やプロモーションなど人を引き付けるための演出として使用できる．
さらに，一般的な水中への投影，ライティングにはプロ
図 6

3 種の投影する向きによる水中の空中像（A：下から，B：上から，C：上下から）ジェクタやライトを用いるが今回はタブレット型端末の画面を用いた．これにより，小型の展示や複雑な図案の投影をこれまで以上に容易に行うことができた．

4.3 実験 2
被験者は 20 代の男女 19 人である．図 7 のグラフは図 5

しかしながら，これらの動きを持たせた映像について客のⅠとⅡ，ⅢとⅣでそれぞれどちらが魚型ロボットの動き観的に連動性を感じさせるためのデザインや技術的な改良に沿っているかを選択させた結果である．の余地がみられた．また，現在は顔の動きと運動体を撮影

ここから，いずれのエフェクトの柄でも魚型ロボットとの連動性は確認できたと言える．しかしながら，実際とは異なった選択肢を選ぶ被験者もいた．

している背景の映像に明確な関りが無い．ここへ関りを持たせる方法も検討する必要がある．
今回は評価実験を 2 種類取り入れ，投影に最適な映像の検討を行うことが出来た．今後はこの方針に沿った映像の制作，異なる身体情報を取り入れる方法の考案等を計画している．

参考文献
[1]

図 7

実験 2 の結果

5. 考察
実験 1-1 から，装置の環境に適しているのは暗所であることが分かった．しかしながら web カメラによる顔認識が可能な程度の暗さに調節が必要である．また，顔以外の身体情報を使用する場合は周囲の明るさに左右されないセン
サを用いると良いと考えられる．また，水中への投影ではより輝度の高いディスプレイを用いらなければならないが，システム上は基本的に同様の方法でも実装可能であった．
実験 1-2 から，以下の組み合わせは，各背景色（黒；高彩度の赤と橙，白；高彩度の赤紫と赤）で元画像の再現性が高い色と考えられる． また，文字の表示などを想定すると，視認性の高い色として彩度の高い青色を用いることが考えられる． さらに，動体に連動した彩度差のある映像を© 2019 Information Processing Society of Japan

齋藤 精一． 「インタラクティブプロジェクションマッピン
グ」の可能性. 映像情報メディア学会誌, 2014, vol. 68, no. 2,
p. 136-140.
[2] 泰間 健司, 高橋 秀也, 志水 英二. 光学ホログラムとの合成により画質改善したリアルタイム電子ホログラフィ. テレビジョン学会誌, 1994, vol. 48, no. 10, p. 1245-1252.
[3] 三田村 俊右. 芸術表現-メディア・アートとしてのホログラ
フィー. 日本写真学会誌, 2002, vol. 65, no. 1, p. 44-48.
[4] 山本 裕紹. 再帰反射による空中結像 (AIRR) による空中ディスプレイ. 日本画像学会誌, 2017, vol. 56, no. 4, p. 341-351.
[5] 西尾 賢人, 伊藤 弘樹, 菊池 司. Kinect を用いた人体へのダイナミクス・プロジェクションマッピング. 映像情報メディア学会技術報告, 2013, vol. 37, no. 17, AIT 2013- 80.
[6] 奥村 光平, 奥 寛雅, 石川 正俊. 高速光軸制御を用いた動的物体への投影型拡張現実感. 映像情報メディア学会誌, 2013,vol. 67, no. 7, p. J204-J211.
[7] 酒巻 祥平, 橋本 直己. 動的なプロジェクションマッピングにおける遅延補償手法. 映像情報メディア学会誌, 2015, vol.
69, no. 9, p. J278-J284.
[8] “仮想メダカ像を用いたメダカの行動解析 - 基礎生物学研究所”. http://www.nibb.ac.jp/neurophys/iden.pdf, (参照 2018-1222).
[9] 髙田 英明. イマーシブテレプレゼンス技術"Kirari!". 日本画
像学会誌, 2017, vol. 56, no. 4, p. 366-373.
[10] “OpenCV For Unity”，

667

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

2C-60
2019/3/6

https://assetstore.unity.com/packages/tools/integration/opencv-forunity-21088，(参照 2018-12-22).
[11] “Dlib Face Landmark Detector”，
https://assetstore.unity.com/packages/tools/integration/dlibfacelandmark-detector-64314，(参照 2018-12-22).

© 2019 Information Processing Society of Japan668