情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-70
2020/3/9

ダイナミックプロジェクションマッピングを用いた動物体への視点依存映像の投影
深水 健太郎†1,a)

宮下 令央†1石川 正俊†1

概要：高フレームレートかつ低遅延なカメラとプロジェクターを組み合わせて，動く投影対象に人間に遅延を知覚させずに張り付いた映像を投影できるダイナミックプロジェクションマッピングの手法を用いてレンチキュラーレンズに映像を投影し，動物体上に視点依存映像を形成する手法を提案する．さらに，本研究ではシステム遅延によって引き起こされる投影像の位置ずれを補正するために，視点依存映像の品質を表す尺度を定義し，その尺度からシステム遅延時間を推測した．また，その遅延を元に映像を補正することで，問題である視点依存映像の品質を改善した．

1. 背景絵を提示することができる．
レンチキュラーレンズに画像を投影した例として，多人間が持ち運んだり，触れることでインタラクションが数のプロジェクターを使って 3D 映像を形成する手法が報可能な 3D 映像は表現の可能性を広げる強力なメディアに告されている [1]．しかし，同手法では 72 台のプロジェクなると考えられる．3D ディスプレイは 3D モデルを直感ターを並べる必要がある．この手法ではカメラで人の視線的かつ自然な方法で立体的に提示することが可能であり，追跡を行い，その場所にいる人に尤もらしく見える映像を高品質な 3D ディスプレイの開発に向けて様々な研究が行提示する．そのため，センシングなどの機器の性能限界のわれている [1–4]．一般に普及した商用立体視ディスプレため，6 人までしか同時に視聴することができない．レンチ

イとして，レンチキュラーレンズまたは視差バリアに基づキュラーレンズにプロジェクターで投影してライトフィーく立体視ディスプレイが存在する [2, 3]．しかし，従来の立ルドを形成し，同時視聴人数の制限を克服した研究も報告

体視ディスプレイは重量があり，落下時の故障などリスクされているが [2]，アプリケーションの実行中にディスプが大きく，電源コードの必要性により激しい動きに合わせレイを動かし，投影対象にリアルタイムに張り付いたようて動かすことが困難なものが多い．

な映像を投影するには至っていない．

この問題の解決のためには，提示ディスプレイは電源不一方，ダイナミックプロジェクションマッピング (DPM)要で，人間の動作に影響がない程に軽く，動的に映像を差という手法が提案されており，動的に変化する実世界に対し替えることが可能で，さらに激しい動きや落下がによっして人間の知覚上ずれを感じさせない投影を通した情報提て破損しても交換コストが小さいというような特性を持つ示が可能となっている [5]．同手法では，1 秒間に 1000 枚ことが好ましい．の画像投影が可能で遅延が 3ms である DynaFlash [6] を用

視点依存の映像を提示することができると，各視点に対いることで，人間に投影対象と投影画像との間の幾何学的応した映像を制作することで，3D 映像を提示することがで不整合を知覚させないことに成功している．この他にも，きる．そこで，上記の特性を満たし，動物体への視点依存

DynaFlash の高速性を生かした DPM の研究が多数報告さの映像を投影する手法として，本研究ではレンチキュラーれている [5, 7, 8]．理論的には，同手法と同一のシステム

レンズとダイナミックプロジェクションマッピングを用いを用いてレンチキュラーレンズに DPM を行うことで，要た手法を提案する．このレンチキュラーレンズは，見る角件を満たすようなアプリケーションが実現可能である．レ度によって画像が変化する絵を作成する際に用いられておンチキュラーレンズは，投影された絵が少しでもずれていり，複数の画像を組み合わせた絵をレンズの平らな面に印ると見える絵柄が変わってしまうため，位置ずれに敏感で刷することで，視点に依存して変化する絵や立体感のあるある．そのため，DPM の精度検証やその補正について検†1a)

現在，東京大学
kentaro fukamizu@ipc.i.u-tokyo.ac.jp© 2020 Information Processing Society of Japan

討する必要がある．しかし，従来の論文では具体的にプロジェクターがどのくらいのフレームレートを有していれば

431

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-70
2020/3/9

像座標である．プロジェクター座標上のマーカーをもとにレンダリングを行い，最終的に投影する画像を決定する．
ホモグラフィー変換を用いているため，投影対象は同一平面上で動くことを仮定している．

2.2 投影精度の評価手法
レンチキュラーレンズは背景に投影された絵が少しでもずれていると見える絵柄が変わってしまうため，投影位置のずれに敏感である．本研究ではその性質を利用した
図 1: 実験に使用したシステム構成

DPM の精度の評価を行い，その結果を基に投影像を補正し，より高品質の視点依存映像提示を目指す．投影画像を有効な DPM が 行えるのか厳密な調査は行われていない．
以上の背景より，本研究ではまず DPM の手法を拡張してレンチキュラーレンズに画像を投影し，ライトフィールドを形成することで，カメラで人の視線を追跡しなくても異なる視点に異なる画像を見せることが可能で，かつ，人間の動きに合わせて動かせるような投影手法を提案する．
さらに，システム遅延時間を推定しそれを用いて遅延を補正することで，投影される映像の品質を向上させる手法を提案する．

A，その反転画像を Ā，レンチキュラーレンズに投影するため画像を組み合わせる操作を f とする．このとき，A と Āを入れ替えた f (A, Ā) と f (Ā, A) も反転の関係となる．静止したレンチキュラーレンズに f (A, Ā) または f (Ā, A) を投影し，ある視点から撮像すると，g(f (A, Ā), g(f (Ā, A))として観測されたとする．さらに，動いているレンチキュラーレンズに f (A, Ā) を投影し，レンチキュラーレンズと視点が静止時と同じ位置関係となった瞬間に h(f (A, Ā)) として観測されたとする．このとき，

2. 動物体への視点依存映像の投影手法

h(f (A, Ā)) = a ∗ g(f (A, Ā)) + (1 − a) ∗ g(f (Ā, A))

2.1 レンチキュラーレンズへの投影手法(2)

本手法では，図 1 に示すようなハードウェアを用いてシステムを構成する．また，本研究では投影対象に赤外線を反射する再帰性反射材マーカーを貼り，そのマーカーを高速カメラを用いてトラッキングする．赤外域でこのマーカーをトラッキングすることで，プロジェクターの投影結果に影響を及ぼすことなくトラッキングすることができる．マーカーのトラッキングには Mean Shift 法 [9] を用いる．コールドミラーを用いて赤外光を透過させ，プロジェクターの光は可視光として反射させることで，カメラとプロジェクターを疑似的に同じ光軸上に置くことができる．
これにより，カメラとプロジェクターの間に遮蔽が生じないシステムを構築することができる．
カメラから得られたマーカーの位置を基に適切な投影像を生成するため，プロジェクターで投影する際にトラッキングしたマーカーの位置をカメラの画像座標からプロジェクターの画像座標に変換する必要がある．あらかじめカメラとプロジェクターの間で対応する 4 点をとり，その 4 点からホモグラフィー行列を計算することで，マーカーの座標を変換することができる．カメラ上の画像座標 (uc , vc , 1)Tは，ホモグラフィー行列 H を用いて，
upuc vp  ∼ H  vc 
11なる a を純度と定義する．すなわち，純度 a は対象が静止している場合を基準とした視点依存映像の品質を示す尺度である．

2.3 純度を用いたホモグラフィー行列の補正
レンチキュラーレンズは空間的な投影誤差に敏感で，プロジェクターで投影された画像が数ピクセルでもずれていると見える絵柄が変わり，投影品質が悪化する．そのため，ホモグラフィー行列は高精度である必要がある．本研
究では再帰性反射材マーカーをプロジェクターとカメラでのそれぞれの対応点として，ホモグラフィー行列を計算するが，その場合マーカーを貼付したときの貼り付け位置の誤差や，対応点指定時の座標の誤差が生じてしまう．そこでプロジェクター上の対応点の座標をそれぞれ周囲 1 ピクセル分ずつずらしてその都度ホモグラフィーを計算し，投影結果から純度を計算する．このうち最も純度が高い場合のホモグラフィー行列を用いることで，高精度な投影を行うことができる．

2.4 システムの遅延時間の計測手法
以上の手法で投影した際，カメラで撮像したタイミング(1)から画像処理を経て投影するまでのレイテンシによりマーカーの撮像時点の座標と投影時の実際の座標がずれることが原因で，レンチキュラーレンズを動かすと提示目標ののように変換される．(up , vp , 1)T はプロジェクター上の画© 2020 Information Processing Society of Japan

絵柄が変わってしまう場合があると考えられる．本研究で432

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-70
2020/3/9は，純度からシステムの遅延時間を推定し遅延を補正する手法を提案する．画像が反転しない程度に投影対象をレンズの短冊の向きに垂直な方向に速さ v で等速運動しているとする．レンチキュラーの短冊の幅 l，純度 a，遅延時間 tの間には，l− vt : vt = a : 1 − a2が成り立つ．よって遅延時間は，t=(1 − a)l2v(3)(4)となる．この式を用いて純度から遅延時間を計測することができる．

図 3: 遅延補償をしたときの投影対象の速さと純度の関係と投影時点での投影対象の位置の誤差が l/2 に収まる程度に十分遅い速さでレンズを動かした．この時の速さと純度2.5 遅延時間の補償による性能改善手法
遅延時間が幅 e によって t ± e と表されると仮定する．
このとき，映像を vt ずらした位置に投影すると遅延によるずれが補正され，純度が高くなる．vt ずらした位置に投の関係を図 3 の青丸に示す．この計測結果及び (4) 式より，システムの遅延時間を 4.84 ± 0.79ms と導出した．また，推定した遅延時間を基に遅延補償を行ったときのレンズの速さと純度の関係を図 3 の赤丸に示す. 遅延補償を行う

影すると，投影位置には ±ve のばらつきがある．純度をあと，遅延補償がない時と比べて純度が高くなり，投影品質る値以上に保つには，このばらつきがある範囲に収まる必が改善した．(5) 式より導出した理論直線と比較して純度要がある．このとき，必要な平均純度を aI ，視点数を n とは低い結果となったが，これは動物体撮像時のモーションすると，ブラーや計算機のバックグラウンドプロセスによる処理時v≤(1 − aI )lne

間の誤差により事前推定した遅延時間とのずれが生じてい(5)の制約があり，投影対象を動かせる速さには上限がある．

たためと考えられる．さらに，遅延補償が最適に行われていたとしても，フレーム間で投影対象が動くため，フレーム開始時点で投影した画像はフレーム中間時点の画像とし3. 結果と評価
3.1 システム構成
マーカートラッキング用のカメラは HSV-MC1(モノクロ，1000fps，640*470px2 )，計算機の CPU は Intel Corei7-6950X，レンダリングの GPU は NVIDIA Quadro RTXては適さない．この問題の解決のためには，システム全体のフレームレートをさらに高める必要がある．投影対象の速さを v ，必要な視点数を n とする．撮像時点と投影時点での位置の誤差が 0 であるとき，投影してから時間 t が経過したときの純度 a(t) は，5000，プロジェクターは DynaFlash(モノクロ，1000fps，a(t) = 1 −1024*768px2 ), 投影評価用のカメラは XIMEA MQ003MGCM (モノクロ，500fps，648*488px2 ) ，レンチキュラーレ
ンズは短冊の幅が l = 0.169cm のものを使用して提案システムを構築した．プロジェクターと投影評価用のカメラはトリガによって同期をとった．

えることが確認できた．また，3D オブジェクトを各視点から見た画像から生成した投影像を投影することで，3D映像も提示することができた．

3.3 遅延時間の計測結果
遅延時間を計測するためにシステム遅延による撮像時点© 2020 Information Processing Society of Japan(6)フレーム全体に渡る平均純度は，
∫1 Tnvt
1 − dt
E[a(t)] =T 0l=1−

2 視点にシステム遅延を補正してプロジェクションマッ
れたが，提案手法により視点ごとに見える画像の強度を変lである．1 フレームあたりの時間が T であったとき，この3.2 投影結果ピングした様子を図 2 に示す．他視点の画像の混入が見ら

nvt

nvT
2l(7)となる．例えば，v = 100cm/s に対して視点数 n = 10 を保って平均純度 E[a(t)] = 0.75 を保証するには，約 11000fpsのフレームレートが必要である．

4. まとめ本研究では，位置が動的なレンチキュラーレンズに視点依存映像を投影するための，フレーム間での投影位置補正手法を提案し，その手法を用いて動物体への視点依存映像

433

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-70
2020/3/9

図 2: 遅延補償をしたときの投影結果の例．上段が異なる 2 枚の画像が見えるように投影したもの，中段が 3D オブジェク
トを各視点から見た画像から生成した投影像を投影したもの，下段が動画を投影したものである．

© 2020 Information Processing Society of Japan434

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-70
2020/3/9の投影を行い，システム遅延時間の補償をすることで純度が改善できることを示した．さらに，提案手法を用いて実際にレンチキュラーレンズに 2 視点の視点依存の画像を投影できた．また，提案手法により，3D 映像も提示することができた．
今後は，本技術を用いてプロジェクターの画素数の高解像度化による投影画像の視点数の増加や，人間と動的視点依存映像との効果的なインタラクションの手法を検討する予定である．
参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

Jones et al.: Interpolating vertical parallax for an autostereoscopic 3D projector array, Journal of Electronic
Imaging, Vol. 23, No. 1, pp. 1–13 (2014).
Yu, X., Sang, X., Gao, X., Chen, D., Liu, B., Liu, L.,
Gao, C. and Wang, P.: Dynamic three-dimensional lightﬁeld display with large viewing angle based on compound
lenticular lens array and multi-projectors, Opt. Express,
Vol. 27, No. 11, pp. 16024–16031 (2019).
Chang, Y.-C., Tang, L.-C. and Yin, C.-Y.: Eﬃcientsimulation of intensity proﬁle of light through subpixelmatched lenticular lens array for two- and four-view autostereoscopic liquid-crystal display, Appl. Opt., Vol. 52,No. 1, pp. A356–A359 (2013).
Liu, X. and Li, H.: The Progress of Light ‐ Field 3D
Displays，Information Display, Vol. 30, pp. 6–14 (2014).
Narita, G. et al.: Dynamic Projection Mapping onto Deforming Non-Rigid Surface Using Deformable Dot Cluster
Marker, IEEE Transactions on Visualization and Computer Graphics, Vol. 23, No. 3, pp. 1235–1248 (2017).
Watanabe et al.: High-speed 8-bit Image Projector at
1,000 fps with 3 ms Delay, The International Display
Workshops (IDW2015), pp. 1064–1065 (2015).
Mikawa, Y., Sueishi, T., Watanabe, Y. and Ishikawa,
M.: VarioLight: hybrid dynamic projection mapping using high-speed projector and optical axis controller, SIGGRAPH ASIA Emerging Technologies (2018).
Miyashita, L., Watanabe, Y. and Ishikawa, M.: MIDAS
Projection: Markerless and Modelless Dynamic Projection Mapping for Material Representation, ACM Trans.
Graph., Vol. 37, No. 6, pp. 196:1–196:12 (2018).
Comaniciu, D., Ramesh, V. and Meer, P.: Kernel-based
object tracking, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 5, pp. 564–577(2003).

© 2020 Information Processing Society of Japan435