情報処理学会 インタラクション 2019
IPSJ Interaction 20193C-61
2019/3/6

Scanimate Projection: 現実環境への映像貼付を用いたインタラクティブ・プロジェクションマッピング
赤星 俊平1,a)

松下 光範1,b)

概要：現実環境の物体に対してプロジェクタを用いて映像を投影し，外観を変化させるプロジェクションマッピングと呼ばれる技術が存在する．しかし，ユーザの体験は映像を受動的に鑑賞することや，既に投影された映像を部分的に変化させる内容に留まる．本研究ではユーザが小型のコントローラから任意の映像を自ら投影し，現実環境に設置した大型のプロジェクタから投影することで映像が貼付していくインタ
ラクティブ・プロジェクションマッピングを用いて，よりユーザとの相互作用を持つ没入間の高い表現を実現する．また，スキャニメーションの技法を用いることで，投影した映像と現実環境の図柄が融合し，現実環境の実物体が動いているように錯覚する錯視コンテンツを実現する．

1. はじめに近年，現実環境と人工環境を融合する複合現実感と呼ばれる概念が注目されている．現実だけでは不可能な表現を実現し，オフィスでの遠隔会議のような実利用から，現実環境にキャラクタが現れるようなエンタテインメント利用まで，幅広い分野への活用が取り組まれている*1 *2 ．
複合現実感の一つにプロジェクションマッピングと呼ばれる技術が存在する．プロジェクションマッピングでは，人工的に生成された映像を現実環境に存在する実物体に重図 1

システムのイメージ畳することで，実物体の外観を変えたり，静的な物体であるにも関わらず動的なものに見せたりする表現を実現している*3 ．通常のプロジェクションマッピングはユーザが映

しかし，ハンドヘルドプロジェクタは投影範囲の狭さや像を受動的に視聴することが主な体験である．これに対し輝度の低さなどの問題から，実現可能なコンテンツに制限てユーザと映像の能動的な相互作用を含むことで，現実物がある．本研究ではハンドヘルドプロジェクタの投影映像体があたかも本当に変化しているようにユーザが感じるこを人工環境上にシミュレーションし，それらの映像を現実とを実現する手法が提案されている．これまでもタブレッ

環境に据え置く大型のプロジェクタ（以下，スタンドプロトを用いた操作 [3] や深度センサを用いた操作 [4]，小型のジェクタ）から投影することで，ハンドヘルドプロジェクプロジェクタ（以下，ハンドヘルドプロジェクタ）を用いタの直感的な操作を維持しつつ実物体としては不可能なた操作 [2] が提案されている．特に，ハンドヘルドプロジェ複製を行う手法を提案する．さらに，スキャニメーション

クタを用いた手法では，ユーザが懐中電灯の光で部屋を照の技法を用いることで，投影映像と現実環境の図柄が融合らすような，現実環境における自身の経験に即した直接的することによって新たな映像の鑑賞や，実物体を変化させな操作によって映像を投影することが可能である．

ることが可能なアプリケーション「Scanimate Projection」

1a)b)
*1
*2
*3

関西大学大学院 総合情報学研究科
k854371@kansai-u.ac.jp
mat@res.kutc.kansai-u.ac.jp
https://meleap.com/ (2018/12/10 確認)
http://www.dreamnews.jp/press/0000168089/ (2018/12/10確認)
https://pmaward.jp/ (2018/12/22 確認)© 2019 Information Processing Society of Japanを実装する（図 1 参照）．これらにより，ユーザ自身が映像自体を現実環境に対して直接的に投影して貼付することで，能動的な体験が可能なインタラクティブ・プロジェクションマッピングを実現する．

935

情報処理学会 インタラクション 2019
IPSJ Interaction 20193C-61
2019/3/6

マッピングを体験するにあたって，本システムが満たすべ

2. 関連研究
プロジェクションマッピングの能動性を向上させる研究として，小笠らの TTPM [3] では，プロジェクションマッピングの映像をユーザが動的にタブレット上で生成する手法を提案している．ユーザがタッチしたタブレット画面の位置にパーティクルや波紋が発生し，それらが投影される映像に反映されることでプロジェクションマッピングの能動性を向上させている．この研究では映像の操作にユーザの操作を取り入れているが，タブレット上でタッチした座標を相対的に映像へ反映させており，操作と映像の間に隔たりがある．
ハンドヘルドプロジェクタを操作デバイスに用いる研究として，Yoshida らの Twinkle[1] では，投影した映像が現実環境に応じて変化するゲームコンテンツを提案している．
イラストが描かれた投影面に対してハンドヘルドプロジェクタからキャラクタの映像を投影し，プロジェクタに搭載されたカメラで認識したイラストに応じて，キャラクタのアニメーションやエフェクトが変化するコンテンツを実現している．ハンドヘルドプロジェクタを用いた操作は，光源を向けた先に映像が直接的に投影され，直感的な操作を実現している．しかし，スタンドプロジェクタと比較してハンドヘルドプロジェクタは投影範囲が狭く，広い範囲の投影対象に同時に複数の映像を提示することや，映像を固定して実物体に貼付するような表現を実現することは難しい．本研究ではハンドヘルドプロジェクタの操作を取り入れつつ，上記の問題を解消する手法を提案する．
現実環境に対して人工環境で生成した映像を融合する研究として，水野らの研究 [6] では，物体に光を当てて生成された実影と，深度センサを用いて認識した人物を元に CGで生成された仮想影を重ね合わせることで，実影が変形したり複製したりする手法を提案している．本研究でも，こうした現実環境と人工映像を融合させることによって，現実環境に新たな演出をもたらす体験を実現する．
また，吹上らの変幻灯 [7] では，静止画に対してゆらめきのみを映像として投影し重畳することで，動きがあるように見える錯視を表現している．この研究の体験はゆらめ
く静止画を鑑賞するのみに留まる．本研究ではこうした錯視映像をユーザ自ら投影する能動的な体験を実現する．

3. 提案手法：Scanimate Projection
3.1 デザイン指針
本研究で提案する「Scanimate Projection」は，ユーザ自らが現実環境に配置された静止画像に対して，付加情報となる映像を投影して融合させることで，静止画像があたかも動き出しているように見えるプロジェクションマッピ
ングシステムである．ユーザが能動的なプロジェクション

© 2019 Information Processing Society of Japan

き要件を以下のものとする．

( 1 ) 任意の位置と範囲に映像を投影できる( 2 ) 複数の投影対象に映像を同時に重畳できる( 3 ) 投影した映像と現実環境の図柄が融合される(1) (2) を実現するために，ハンドヘルドプロジェクタを用いる．しかし，実際のハンドヘルドプロジェクタは映像の投影範囲に制限があるため，本システムでは，人工環境上で再現したバーチャルなハンドヘルドプロジェクタ（以下，VR ハンドヘルドプロジェクタ）を用いる．位置と角度をリアルタイムでセンシングした手持ちのコントローラを用いることで，擬似的にハンドヘルドプロジェクタの映像を人工環境上に生成する．投影対象と光源の距離に応じて画角が広がるというプロジェクタの特性も再現することで，映像の範囲を素早く変更することを可能にする．生成した VR プロジェクタの影像を出力するために，投影範囲が広く，輝度の高いスタンドプロジェクタを用いる．人工環境と現実環境の位置座標が合致するようにキャリブレーションを行い，投影することで人工環境上の VR ハンドヘルドプロジェクタの映像が実際に現実環境のコントローラから投影されているように提示される．これにより，懐中電灯を扱って周囲を光で照らすように，任意の位置と範囲に対して容易に映像の投影を行うことを可能にする．さらに，VR ハンドヘルドプロジェクタは実体を持たないバーチャルなものであるため，任意のタイミングで人工環境上に複製し，その場に残存させることができる．これにより，複数の映像を同時に投影し，現実物体に重畳することを実現する．

(3) を実現するために，スキャニメーションの技法を用いる．スキャニメーションとは後述するように，ある静止画像に対して別のパターン画像を重畳し動かすことで，静止画像があたかも動いているように見せる錯視手法である．この静止画像を投影対象とし，パターン画像の役割となる映像を投影映像とすることで，投影映像と現実環境の融合を実現する．

3.2 スキャニメーション
スキャニメーションとは，一方向に分割した複数の画像を合成した静止画像（図 2A 参照．以下，スリットイラスト）と，スリットが入ったシート（図 2B 参照．以下，スリットシート）を用いてスリットイラストが動いているように見せる錯視手法である．
スリットイラストの上でスリットシートをスライドすることによって，スリットイラストが部分的に見え隠れす
る．スリットイラストは等間隔で交互に並ぶ形で複数のイラストが描かれており（図 2C・D 参照），スリットシートによって 1 つのイラスト以外は遮蔽される．遮蔽後に残ったイラストは輪郭を完全に視認することはできないが，ア936

情報処理学会 インタラクション 2019
IPSJ Interaction 20193C-61
2019/3/6

図 2 スキャニメーションの概略図
図 3 システム構成図

モーダル補完と呼ばれる不完全な情報を脳が補完する知覚現象によって一つのイラストとして認識される．さらにス
リットシートを左右に動かすことによって遮蔽されるイラストが変わり，それが高速で繰り返されることで複数のイラストが連続しているように感じる仮視運動が発生し，アニメーションが知覚される．この二つの現象が合わさることでスキャニメーションは実現される．
福井らの研究 [5] において，上述したスキャニメーションに用いるスリットシートを，プロジェクタから映像として投影する手法が提案されている．この手法では，投影映

図 4 人工環境上に再現された現実環境 1

像と投影対象は単体で意味を為さないが，重畳することによって融合され，一つの映像として完成される．本システ
ムはこの研究に基づき，ユーザが自ら投影する映像の内容をスリットシートとし，投影対象をスリットイラストとすることで，現実環境と映像の融合によって成り立つコンテンツを実現する．

4. 実装
4.1 ハードウェア構成
本システムのハードウェアは，トラッキングシステム，コントローラ，スタンドプロジェクタ，スリットイラストによって構成される．システム構成図を図 3 に示す．

図 5 人工環境上に再現された現実環境 2ントローラを用いる．Vive コントローラに備わる赤外ト

まず，トラッキングシステムとして HTC Vive *4 のラッキングを用いて，位置や角度の認識を実現しているたLighthouse を用いる．赤外光の照射と認識を行うベースス

め，VR ハンドヘルドプロジェクタの投影映像をユーザのテーションを対角線上に配置することで，後述する Vive動きに沿ったものに更新することが可能である．さらに，コントローラや Vive トラッカーの位置や角度を検出する．

ユーザは Vive コントローラに備わる物理ボタンを用いて，スタンドプロジェクタには BenQ の MW632ST を用い映像を残存させるタイミングを決定することが可能である．本システムではスタンドプロジェクタの画角によってる．また，物理ボタンを用いて，投影する映像を切り替え体験範囲が決定される．ユーザが投影できるスリットイラることで，多くの種類の投影対象に対応することが可能なストをより多く配置するために，通常のプロジェクタよりシステムを実現する．

もプロジェクタの設置位置と投影対象が短距離でも広範囲に映像を投影可能な短焦点プロジェクタを用いた．
コントローラには HTC Vive の周辺機器である Vive コ*4https://www.vive.com/jp/（2018/07/14 確認）© 2019 Information Processing Society of Japan

4.2 ソフトウェア構成
ス タ ン ド プ ロ ジ ェ ク タ と VR ハ ン ド ヘ ル ド プ ロジ ェ ク タ の 投 影 を 制 御 す る た め の シ ス テ ム は Unity937

情報処理学会 インタラクション 2019
IPSJ Interaction 20193C-61
2019/3/6（ver.2017.2.1f1）*5 を用いて実装している．Unity で作られた人工環境上で，ユーザが用いるハンドヘルドプロジェクタや，現実環境の形状を再現する（図 4 参照）．まず，ハンドヘルドプロジェクタの投影画角や投影映像といった特性を設定し，VR ハンドヘルドプロジェクタとして生成する．今回は Bacio Japan の SmartBeamLaser *6 を元に設定を行った．次に，人工環境上の投影映像が現実環境上の投影対象に沿って正しく形状を変化させる必要がある．そのため，壁や床や物体など，投影対象となる現実環境の形状とスケールを人工環境上に再現している．

図 6

投影対象（投影前）

図 7

投影対象（投影後）

さらに，上述したトラッキングシステムによって認識したコントローラの位置と角度をリアルタイムに反映させることで，VR ハンドヘルドプロジェクタからの映像をユーザの動作によって更新する．これらをユーザが物理ボタンを押下した時点で複製し，スタンドプロジェクタから投影することで投影映像が残存する（図 5 参照）．スタンドプ
ロジェクタの設置角度や，投影範囲と現実環境のサイズの差によって生じる投影の歪みやズレに対しては，起動時のキャリブレーションによって解決する．キャリブレーショ
ンには Unity 上での射影変換に加えて，マッピングソフトである MadMapper*7 を用いている．
影するスリットシートのコマ数を動的に変更可能であり，4.3 スリットイラスト
投影対象であるスリットイラストは，プロジェクタ映像

この利点を活用する目的も含め，2 から 6 のコマ数を選定した．

によってスキャニメーションを実現する福井らの研究 [5]

投影対象の色については，黒のみのスリットイラストを（以下，先行研究）に基づき選定した．選定した内容は，用いる．従来のスキャニメーションでは，スリットか覆っ

投影対象となる素材，投影対象のコマ数，投影対象の色でた部分のスリットイラストは完全に遮蔽されるため，色ある．のついたスリットイラストも使用可能である．しかし，スまず，投影対象となる素材は，従来のスキャニメーショリットを映像で投影する場合には，色がついたスリットをンの手法と同じように，紙で行う．今回用いる投影対象の投影する場合には明度が上昇してしまい，スリットイラス

スリットイラストは，200 mm × 200 mm で作成し，A4トの視認性が低下するという先行研究の結果が確認されてサイズの用紙に印刷した．

いる．そのため，本システムにおいても黒のみを用いる．

次に，スリットイラストのスリット数（以下，コマと記

なお，本システムで使用したスリットイラストには，スす）は，2 から 6 コマのものを用いる．本システムで用いキャニメーション名人会*8 のスリットイラストを参考にるスリットシートを映像として投影する手法では，コマ数Adobe Illustrator で作成したものを用いる．

が増加するにつれてスリットイラストが動作する様子をユーザが予測しにくい（予想外の表現が可能）という結果

5. アプリケーション

や，スリットで遮蔽された部分の幅が長くなり，映像の視「Scanimate Projection」のコンテンツとして，6 種類認性が下がるという結果が先行研究において確認されていのスリットイラストを提示した．スリットイラストを現実る．そのため，先行研究ではユーザが投影前に映像の変化環境に配置した様子を図 6 に示す．体験する室内は投影すを予測することを防ぎつつ視認性を損なわない 4 コマのもるスリットシートによってスリットイラストが上手く遮のを選定している．しかし，一度に多量のスリットイラス蔽されるように，プロジェクタの投影光以外をできる限りトを鑑賞することを想定している本システムにおいては，遮断した暗室を設定している．ユーザは現実環境に配置さコマ数を限定することで表現可能なスリットイラストの種れたスリットイラストに対して，コントローラから映像を類を制限することは望ましくない．加えて，本手法では投投影する．配置したスリットイラストと投影するスリットシートが融合することで，静止した動物や，人物の図柄が*5*6*7

http://japan.unity3d.com/（2018/07/14 確認）
http://smartbeamlaser.jp/index.html（2018/12/20 確認）
https://madmapper.com/（2018/12/22 確認）© 2019 Information Processing Society of Japan

動いているように見える（図（7 参照）．配置したスリッ*8

https://scanimation-meijinkai.info/（2018/12/22 確認）

938

情報処理学会 インタラクション 2019
IPSJ Interaction 20193C-61
2019/3/6

トイラストにはコマ数がそれぞれ違ったものを用いている

参考文献

が，ユーザがコントローラの入力によって投影するスリッ[1]

トシートを切り替えることで，一つのコントローラで複数のスリットイラストを体験することが可能である．

6. 議論と展望[2]

本システムで投影対象として用いたスリットイラストには，視認性の高さを優先し，従来のスキャニメーションでも用いられるものを選定したが，本システムでは映像のス[3]

リットを用いているため，紙やフィルムなどのアナログな素材を用いたスキャニメーションには不可能な表現が可能であると先行研究の結果からも考えられる．今後は複雑な[4]合成がなされたスリットイラストの使用も検討する．
本システムでは，スリットシートとなる映像をユーザ自らが投影することでスリットイラストに動きを付与する．

[5]

そのため，ユーザの習熟度によってはスリットシートが不的確な位置や角度で重畳されてしまう可能性がある．その[6]ため，今後は本システムを実際にユーザに体験してもらうことによって投影の成功率を検証する．さらに，ユーザが体験する様子やアンケート調査を分析することで，投影画角や光源から射出される投影光の角度といった，操作性に関わる設定の改善や，位置や角度を自動的に補正して投影するなどの操作補助機能の実装を検証する．

[7]

Takumi Yoshida, Yuki Hirobe, Hideaki Nii, Naoki
Kawakami, Susumu Tachi: Twinkle: Interacting with
Physical Surfaces Using Handheld Projector, Proceedings of the Virtual Reality Conference, pp. 87-90 (2010).
Karl D. D. Willis, Ivan Poupyrev, Scott E. Hudson,
Moshe Mahler: SideBySide: Ad-hoc Multi-user Interaction with Handheld Projectors, UIST 11 Proceedingsof the 24th annual ACM symposium on User interface
software and technology, pp. 431-440 (2011).
小笠 航，片寄晴弘: TPPM(Take Part in Projection Mapping): タブレット端末を用いた多人数参加型プロジェク
ションマッピングアプリケーション, エンタテインメント
コンピューティングシンポジウム 2014 論文集, pp. 77-79(2014).
大島登志一, 川口 駿, 田中友麻, 田中千遥: MR Coral Sea- フィジカル MR ディスプレイによる多感覚的な複合現実型アクアリウム，インタラクション 2015 論文集, pp.
778-782 (2015).
福井真理子，阪口紗季，松下光範: 映像重畳による選択的情報表示手法の検討, 研究報告エンタテインメントコン
ピューティング, 2016-EC39(1), pp. 1-8 (2016).
水野慎士，岩崎妃呂子，近藤桃子，伊藤 玲，杉浦沙弥，
大葉有香: 実物影シミュレーションと 2 台のプロジェク
タ によるインタラクティブシャドウ, インタラクション
2016 論文集, pp. 937-942 (2016).
吹上大樹, 河邉隆寛, 西田眞也: 変幻灯―錯覚を利用した光投影による実物体のインタラクティブな動き編集―, 研究報告コンピュータビジョンとイメージメディア,2017-CVIM-206(8), pp. 1-6 (2017).

本稿では，プロジェクタから現実物体への映像重畳のみを実装したが，従来のプロジェクションマッピングでは映像に合わせて音楽を同時に再生するなどの表現が取り入れられている．本システムにおいても，投影前は何が描かれているか予測できないスリットイラストを配置しておき，投影によってスリットイラストの動作が開始すると共に効果音や音楽を再生し，より映像と現実環境の融合や没入感を強化するコンテンツも期待される．また，投影映像の種類に関してもスキャニメーションに限らず，変幻灯 [7] のような，現在は受動的な鑑賞を目的としているプロジェクション技法を取り入れるコンテンツも期待される．

7. おわりに本研究では既存のプロジェクションマッピングに対して，ユーザ自らがハンドヘルドプロジェクタから映像を投影する「Scanimate Projection」を提案した．把持したコントローラから現実環境に対して映像を投影し，それらを残存させることで複数の投影対象に映像を重畳させるシステムを実装した．さらにスキャニメーションの技法を取り入れることで，投影映像と現実環境の図柄を融合するコンテンツを実現した．今後は通常のスキャニメーションに用いられる物理的なスリットでは不可能な，映像投影によるスリットならではの表現を取り入れる拡張や，実際にユーザに体験をしてもらうことによる視認性の検証を行う．

© 2019 Information Processing Society of Japan939