情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P022021/3/10

3 枚鏡方式の視線制御系による広範囲かつ高速な動的プロジェクションマッピング手法
樋口 詩乃1

奥 寛雅1

概要：近年，プロジェクションマッピングを用いた演出が盛んに行われている．現在，広く実施されているものの投影対象は静的な物体が主であるが，今後は動的な対象への投影技術開発が重要となる．しかし，従来の動的対象への投影技術には投影可能な範囲に制約がある．本研究では，飯田らが提唱したサッカー
ドミラー 3[1] という高速視線制御装置を用いた，投影機材周囲の広範囲を高速に運動する対象に動的プロジェクションマッピングを実現する手法を提案し，実際に実装して評価した．ドローンを追従対象として投影を行った結果，投影機材を中心に 180 度以上にわたって投影方向を変更させ，追従対象が高速に動いてもトラッキング及び投影が可能であることが確認できた．

1. はじめに
近年，プロジェクションマッピングを用いた演出が盛ん

高速視線制御系を用いて，カメラとプロジェクターを同軸上に設置することで対象を追従しながら映像を投影する手法である．に行われている．投影対象としては静止した物体が多く利

一方，固定したプロジェクターには投影可能な角度範囲用されているが，今後は動的な対象への投影技術開発が重が限られているという制約がある．これを解決するため要である．に，光学的な視線制御系と高速プロジェクターを組み合わ

動的プロジェクションマッピングを実現するためには投影対象の位置・姿勢を計測し，それに合わせて投影を行うせてより広い空間での投影を目指した研究として，三河らによる VarioLight[3] がある，ことが必要となる．森久保らによる Dynamic Projection

しかし，既存の光学的な高速視線制御系はパン・チルト

Mapping のための輪郭に基づく反復計算によるロバストな方向についてそれぞれ 1 つの回転鏡で視線を制御している

位置姿勢推定 [4] では，一般的な形状の投影対象をユーザため，その視線制御範囲は垂直・水平方向共に最大 60 度が把握して自由に動かすことの出来る動的プロジェクショ程度と限られており，例えば投影系の周囲を囲むような範ンマッピングを実現している．

囲に広く映像を投影することはできない．一方，プロジェさらに，動的プロジェクションマッピングでは対象の運クションマッピングを鑑賞する人の周囲の広い範囲に映像動や変形に対して投影の更新までに遅延があると，投影像を提示することは，没入感の向上などが期待でき有用であと投影対象との間に大きな幾何学的誤差が発生し，見ていると考えられる．

る人間に大きな違和感を与えてしまう．そのため，少ない

そこで本発表では，投影系周囲の広範囲を高速に運動す遅延時間で幾何学的に対応した投影をするのかが重要となる対象に対する動的プロジェクションマッピングを可能にる．この問題を解決した研究として，成田らによる高速プする手法を提案し，評価のために試作したシステムとそのロジェクタを用いた変形する非剛体曲面へのダイナミック評価実験の結果を報告する．

プロジェクションマッピング [2] がある．この手法では遅延を 3ms 程度に抑えた高速プロジェクターを利用すること2. 提案手法

で動的な対象の変形に高速に追従する投影を実現している．

本発表で提案する手法は，水平方向について 180 度以上

また，対象の形状が球形などで対称性がある場合は，投の範囲で視線を制御できる高速視線制御系とプロジェク

影方向の制御に関する遅延を低減させるだけでも効果的なターを組み合わせ，投影系の周囲 180 度以上の範囲にわ動的プロジェクションマッピングが可能となる．奥村らにたって運動する対象に映像を投影することを可能とするもよるるみぺん [6] は，サッカードミラー [5] という光学的なのである．この実現にあたっては，水平方向に広範囲に視

1

群馬大学

© 2021 Information Processing Society of Japan

線を制御する高速視線制御が重要な要素であるため，まず668

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

最初に広範囲に視線を制御する高速視線制御系であるサッ2P02
2021/3/10

Z(a)

M3 θ

カードミラー 3 を説明する．
Pupil shift lenses

2.1 サッカードミラー 3Tilt
φPanCamera

サッカードミラー 3[1] は，図 1 のようにカメラの前に 3Y

M1枚の回転鏡と瞳転送系が置かれた構造をしている．このう
ち，瞳転送系は，小さな鏡でもカメラに入射するすべてのM2X光線を反射できるようにするために，カメラの入射瞳を前方の鏡が配置されている空間に転送する光学系である．

(b)(b-5) Upward(b-2) Rightward(b-1) Frontward

3 枚の回転鏡は，組み合わせて角度を制御することでパン方向については原理的には全周 360 度で視線を制御可能な構造となっている．M3 と示された鏡の軸が鏡面と一定の角度をなしていることで，この鏡を 360 度回転させるこPupil shiftlensesとでパン方向について全周の視線方向制御が可能となる．

(b-3) Lefttward

M3M1

なお，この機構は 3 枚の回転鏡を有しており，その 3 自由

M2度は視線方向のもつ 2 自由度に対して冗長な構成となって(b-6) Downward

いる．この構成は特定の視線方向で 3 枚のうち 2 枚の鏡の(b-4) Backward

もつ自由度が縮退してしまうという特異姿勢があり，その時でも視線方向の 2 自由度を確保するために採用された．

3 枚の鏡の回転を高速に制御しカメラに入ってくる光の方向を変えると，本来固定されているカメラが空間中の異図 1 サッカードミラー 3 の構成概要 (a) と視線方向制御の原理 (b)なる位置・姿勢に存在している時と同じ映像を撮影できる．
これは，カメラを他の場所に転送しているという見方もできる．この仮想的な位置・姿勢に存在するカメラを以下では「仮想カメラ」と呼び，それに対して実際のカメラを「実カメラ」と呼ぶことにする．
また図 2 のカメラポート 2 にプロジェクターを接続し，ハーフミラーを用いてカメラの視線方向と同軸上にプロジェクターの投影方向を転送させることで，プロジェクターの投影位置を広範囲に変えることも可能になる．よって同様に，仮想的な位置・姿勢に存在するプロジェクター
を以下では「仮想プロジェクター」，実際のプロジェクター

図 2

サッカードミラー 3 の写真を「実プロジェクター」と呼ぶことにする．
方向は同時に制御されるため，動的プロジェクションマッ

2.2 トラッキングアルゴリズム
高速視線制御系によるプロジェクションマッピングではピングのための投影光軸の制御はつまり，カメラの視線方向の制御である．

常に対象上に視線方向が重なるようにして投影を行うこと

回転鏡の制御はサッカードミラー用に開発されたビジュで対象に合わせた投影を可能とする．そのためは視線方向アルサーボアルゴリズムで実現した [1]．ここでは紙面の都を対象にトラッキングすることが必要である．これを実現

合上概略のみ紹介する．前述したようにサッカードミラーするために，視線制御系にはプロジェクター以外に高速ビには冗長な自由度があるため，画像内の偏差だけからではジョンも光軸を共有する形で設置し，高速ビジョンで撮像各鏡がとるべき角度が一意に決まらない．そこで，角度範された画像から対象位置を認識してそこに視線が重なるよ

囲に制約がある M1 と M2 の鏡について，鏡の角度が可動うに回転鏡を制御している．

範囲の中心になるべく近くなるような制約条件を課して，本研究では，対象の認識に HSV 色空間での色認識を用各鏡に対する指令値を求めている．

いている．追従対象とする色を登録し，その色の値を用いてカメラから取得した画像を二値化して，追従対象色の重2.3 投影像の回転補正方法

心位置を常にカメラの中心に捉え続けるように鏡の角度を3 枚の鏡の配置による影響で，仮想プロジェクターの投制御している．なお，先述の通りカメラの視線方向と投影影座標をなす基底ベクトルは，現実世界の天地・水平方向© 2021 Information Processing Society of Japan669

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P02
2021/3/10の軸とは一致しない．そのため，投影対象に提示される画像はプロジェクションマッピングの鑑賞者には傾いて見える．そこで，現実世界の軸から投影座標をなす基底ベクトルがどれだけ傾いているか求め，傾いている角度分画像を反対方向に回転させることで，観測者に投映画像の天地を正しく表示するようにする．軸の傾きを求める計算は次の通りである．
まず，プロジェクターの光源と投影方向が単体の鏡によってどのように転送されるか考える．
実プロジェクターの光源位置を p(= [px , py , pz ]T )，投影方向を d(= [dx , dy , dz ]T , |d| = 1) と置く．また，同じ空間にあ図 3 3 枚のミラーによるプロジェクターの転送る鏡の鏡面の法線ベクトルを n(= [nx , ny , nz ]T , |n| = 1)，鏡面上にある基準点の位置を q(= [qx , qy , qz ]T ) と置く．この基準点は鏡面上かつ回転軸上にあるとすると鏡の回転によらず一定値となり都合がよいので，回転軸上にとるものとする．この鏡によってカメラが反射されると，仮想プロジェクターは次の位置 p′ にあり，投影方向 d′ をもつように見える．

d′ = d − 2(dT n)n= (I − 2nnT )dp′ = (I − 2nnT )p + 2(nnT )q(1)

(2)
図 4

ここで，I は 3 × 3 の単位行列である．

投影座標の傾き

次に，三枚の鏡，M1, M2, M3 の法線ベクトルをそれぞれ n1 , n2 , n3 ，鏡面上の基準点をそれぞれ q1 , q2 , q3 とす

おくと，Z と仮想プロジェクターの視線方向が張る平面にると，上述した操作を 3 枚の鏡について順番に適用するこ対する epyv の射影 e′pyv が epyv と成す角 θ が求めたい傾とで，3 枚の鏡を通した仮想プロジェクターの位置 pv ときで，θ は次のように求められる．

(投影方向 dv は次のように記述できる．

θ = arccos
pv = U p + r(3)dv = U d(4)epxv e′pxv|epxv ||e′pxv |)(8)

3. 評価実験
提案する投影手法が確かに投影機材を中心とした投影可

ここで,TT
U = (I − 2n3 nT3 )(I − 2n2 n2 )(I − 2n1 n1 )TT
r = 2(I − 2n3 nT3 )(I − 2n2 n2 )(n1 n1 )q1
T
T+2(I − 2n3 nT3 )(n2 n2 )q2 + 2(n3 n3 )q3

能範囲の広さ及びトラッキングの高速性を実現しているこ(5)とを確認するために，試作システムを構築し，投影可能範囲と高速な動的対象への投影結果についての評価を行った．

(6)
3.1 実験環境とした．
また，プロジェクタ−の投影画像座標系の 3 次元基底ベクトルを ex , ey ，仮想プロジェクターの画像座標をなす基
底ベクトルを exv , eyv とすると，投影座標の基底単位ベク
トルも投影方向ベクトルと同じ作用を受けるので，exv , eyvはそれぞれ，以下の実験ではサッカードミラー 3 にプロジェク
ター (EB-4950WU, EPSON) と高速ビジョン (IDP-ExpressR2000, Photron) を接続したシステムで投影を行った．高速ビジョンは 512 × 512 画素をもち，500fps を利用した．
撮像された画像は制御用 PC(Intel Core i9-10900X, 64GB)のメモリに転送される．この PC は取得した画像から対象

exv = U ex , eyv = U ey

(7)

枚の回転鏡に指令値を出力した．制御周波数は 500Hz を用となる．
T

現実世界の天地方向を向くベクトルを Z(= [0, 0, 1] ) と© 2021 Information Processing Society of Japanの位置を認識し，ビジュアルサーボ制御処理に基づいて 3いた．

670

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

図 52P022021/3/10

手で弾いた風船に対する投影方向の遷移

図 6

手で弾いた風船への投影の様子 (連続写真)

3.2 高速対象への投影実験
高速かつ不規則な運動をする対象に対して追従しながら映像を投影できることを確認するために，対象を人間が手で弾きながら映像を投影する実験を行った．

3.2.1 実験方法
対象は再帰性反射材を貼った半球状の発泡スチロールと風船を固定したものとした．再帰性反射材が投影光を反射した光を追従対象としてトラッキングし，発砲スチロールに固定された風船上に USB カメラで撮影した人間の顔を投影した．この状態で風船を手で弾く．この時，風船は常にサッカードミラー 3 から約 2〜3[m] の距離にあるように
図 7 投影対象となるドローンおよび積載物した．トラッキング対象に向けて映像の投影を続けられたか目視で確認した上で，サッカードミラー 3 のミラー角度のログから投影方向の遷移および投影できた範囲を求めた．

3.2.2 実験結果
ミラーのログから算出した投影方向の角度の遷移は，図 5の通りである．風船の上下移動に対応して，投影方向が垂直方向に変化していることが分かる．また，トラッキングしている間，図 6 のように対象に向けて画像の投影を続けられたことを確認した．なお，図 6 の 1 から 8 までは約0.5 秒である．
手で弾いた風船はバウンドするボールのように，急激に図 8ドローンと投影システムの位置関係

加速したりその進行方向を高速に変化させながら動いていたが，風船上に安定して映像を投影できていることがわかラー 3 の周囲を水平方向に移動するようドローンを飛ばしる．よって，提案手法は高速な動きの変化にも対応した動た．この時，ドローンが常にサッカードミラー 3 から約 1.5的プロジェクションマッピングが可能である事が分かる．

〜3[m] の距離を飛ぶようにした．また，投影する映像はシステムを制御している PC と繋いだ USB カメラからの映

3.3 周囲 180 度以上にわたる投影実験像とした．トラッキング対象に向けて映像の投影を続けら

次に，対象を投影システム周囲に 180 度以上にわたってれたか目視で確認した上で，サッカードミラー 3 のミラー移動させながら投影が可能であることを検証する実験を角度のログから投影方向の遷移および投影できた範囲を求行った．

めた．

3.3.1 実験方法

3.3.2 実験結果

まず，図 7 のようにドローン (Mavic Mini, DJI) の機体

ミラーのログから算出した投影方向の角度の遷移は，図 9上部に周囲に再帰性反射材を貼った半球状の発泡スチローの通りである．この算出結果から求められた水平方向におルと風船を固定する．再帰性反射材が投影光を反射した光

ける投影方向角度の最小値と最大値は以下である．

をトラッキング対象とし，図 8 のように，サッカードミ© 2021 Information Processing Society of Japan• 投影方向の角度 (水平方向)

671

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P02
2021/3/10

可能範囲の広さ及びトラッキングの高速性を確認した．今後は，投影映像を Web 会議ツールと同期させ，遠隔コミュニケーションツールとしての有用性を高めるなど，提案システムの特徴をより活かした応用実験を行う予定である．

謝辞
本研究の一部は JST ACCEL No. JPMJAC1601, 総務省 SCOPE No.181608001 の助成により実施された．
図 9

ドローンに対する投影方向の遷移

参考文献
[1]

[2]

[3]

図 10

ドローン上の風船への投影実験の様子 (連続写真)[4]– 最小角度 -100.92 [degree]– 最大角度 110.47 [degree][5]

また，トラッキングしている間，図 10 のように対象に向けて画像の投影を続けられたことを確認した．なお，図 10の 1 から 8 までは約 3 秒である．よって，この投影システ
ムは水平方向約 210 度にわたって投影を行うことが出来ると言える．これは，視線制御範囲が垂直・水平方向共に最大 60 度程度である従来の投影方法よりも投影機材を中心とした投影可能範囲の角度が広い．

[6]

Kazuhisa Iida and Hiromasa Oku: Saccade Mirror 3:
High-speed gaze controller with ultra wide gaze control
range using triple rotational mirrors, Proc. 2016 IEEE
International Conference on Robotics and Automation ,pp.624-629 (2016).
Gaku Narita, Yoshihiro Watanabe, and Masatoshi
Ishikawa: Dynamic Projection Mapping onto Deforming Non-rigid Surface using Deformable Dot Cluster
Marker, IEEE Transactions on Visualization and Computer Graphics, Vol.23, No.3, pp.1235-1248 (2017).
Yuri Mikawa, Tomohiro Sueishi, Yoshihiro Watanabe,and Masatoshi Ishikawa: VarioLight: Hybrid DynamicProjection Mapping Using High-speed Projector andOptical Axis Controller, ACM SIGGRAPH Asia 2018
/Emerging Technologies, Article No. 17 (2018).
森久保優輝, 橋本直己 : Dynamic Projection Mapping のための輪郭に基づく反復計算によるロバストな位置姿勢
推定, 第 24 回日本バーチャルリアリティ学会大会論文集,
5C-08 (2019).
Kohei Okumura, Hiromasa Oku and Masatoshi Ishikawa:
1ms auto pan-tilt-video shooting technol- ogy for objects
in motion based on saccade mirror with background subtraction, Advanced Robotics, Vol.29, No.7, pp. 457-468(2015).
Kohei Okumura, Hiromasa Oku and Masatoshi
Ishikawa: Acitve Projection AR using High-speed
Optical Axis Control and Appearance Estimation
Algorithm, Proc. 2013 IEEE International Conference on Multimedia and Expo (ICME 2013) (2013),
doi:10.1109/ICME.2013.6607637.

また，ライブカメラの映像を投影したこのデモは，以下の理由からも提案システムの有用性を示している．まず，人を投影することである種のアバターロボットとして利用できる可能性を示している．一般的なオンラインツールと提案システムを使った遠隔地とのコミュニケーションとで異なるのは，提案システムが遠隔地の 3D 空間内で自由に移動することを可能にする点，さらにその自由度が高い点である．また，ドローン自体は積載できるエネルギーが限られており明るい光源を載せることに適していないため，地上からプロジェクターで映像を投影するのは適切な方法だと言える．

4. まとめ本研究では，3 枚鏡方式の視線制御系による広範囲かつ高速な動的プロジェクションマッピング手法を提案し，試作したシステムを使って行った実験の結果から，その投影© 2021 Information Processing Society of Japan672