情報処理学会 インタラクション 2014
IPSJ Interaction 2014

14INT009
2014/2/28

解像度を維持しつつ自然な
Bullet Time を実現する射影変換の検討
坂本 竜基1,a)陳 鼎1

概要：ネットワークにおける情報伝達の手段は、文字から画像、画像から映像へとシフトしつつある。この映像も単一の映像ではなく、多視点映像をもちいた表現も多くなってきた。このうち、被写体を中心に等間隔に並べた多視点カメラからの映像を同時刻のフレームを順に切り替えると Bullet Time と呼ばれるカメラワークをもった映像表現となり、近年よく使用されている。この時、各カメラを被写体の一点が画像の中心となるように設置しなければ不自然な映像となってしまうが、厳密な位置合わせは非常に困難であるため各フレームを射影変換で補正する方法がよくとれれる。しかし、この射影変換は元のフレームを変形するため、そのままでは空白部分ができてしまう。これを回避するには変換後の画像を拡大すればよ
いが、過度な拡大をすると画像が劣化してしまう。本稿では、この拡大をなるべく抑えつつ、Bullet Time
カメラワークとして自然な射影変換の方法を提案する。

Optimized Homography for
Natural and High-Quality Bullet-Time Camera Work
Ryuuki Sakamoto1,a)Ding Chen1

Abstract: The “Bullet Time” camera work is realized with flipping through frames at same moment taken
by multi cameras surrounding an object at even distances. For making outcome frames of the camera
work, the Homography transformation is adapted for rectifying inaccurate camera poses. Therefore the
Homography transformation, however, makes some blank spaces during distorting the frame, the scale up
transformation should be applied after that. The scaling up, however, makes the quality of the outcame
down. In this paper, we proposed a method to calculate Homography matrices for keeping the quality andnaturality of outcome frames of the camera work.

1. はじめにを端に位置するカメラから順に切り替えることで得られる。ただし、例えば、光軸が交互に上下するといった、各映画や映像表現の現場で古くから知られる専門知識であカメラの映像を切り替えてみたときに、それらが滑らかにるカメラワークは、その選択如何によって受け手の印象に連続した変化として認知できないようにカメラが配置され大きく影響を及ぼすことが知られている。このうち、時間ている場合は、非常に違和感のある映像となってしまう。

を止めて被写体の周りを回っているかのような映像である、

よって、各カメラの設置は厳密におこなう必要があるが、俗に Bullet Time と呼ばれるカメラワークは、映画をはじ

実際は、光軸が 3 次元空間中に位置する任意の 1 点を通過

めとしてここ 10 年ほどで映像表現に広く用いられるようするように手動でカメラの向きを調整することは極めて難になった。Bullet Time は、被写体の周囲に複数台のカメしい。そこで、ポストプロセスとして各カメラのフレーム

ラを等間隔に並べ、ある時刻における各カメラのフレーム

を、あたかもカメラを正しい向きに厳密に調整して撮影したかのように補正するのが一般的である [1]。

1a)

ヤフー株式会社
Yahoo Japan Corp. Mid9-7-1 Akasaka, Minato-ku
ryusakam@yahoo-corp.jp© 2014 Information Processing Society of Japan

一方で、この補正は、あらかじめカメラを校正した上で適切な射影変換行列を掛けることで実現されるため、元の65

矩形のフレームは歪んだ四角形に変換されてしまう。そこవ๫㒊ศで、その歪んだ四角形を矩形でクロッピングして、出力したい解像度まで拡大したものを出力とするが、これは結局、元のフレームの構成要素である全画素のサブセットである
௄ため実質的な解像度は低下してしまう。
ὀどⅬ'

しかし、過去の研究では、この実質的な解像度の低下を

✵ⓑ㒊ศ

ὀどⅬ'䛜
⏬ീ୰ᚰ䛻⛣ື抑制する最適な変換行列に関する研究はなされていない。
図 1 式 3 による変換

現在、8〜 12 台程度のカメラを同期させたうえ 30fps 以上

Fig. 1 Conversion by eq.3

で撮影する場合、解像度を XGA 以上にするとシステム全体が高価なものになる。つまり、システムのコストを考えこの変換をおこなう射影変換行列 Hk （k = 1, ..., N ）は

ればカメラの解像度は VGA 以下に抑える必要があるため、以下のように求める。まず、各カメラは強校正されている

例えば、いまや FullHD が珍しくない TV や PC に配信すので、k 番目のカメラの内部パラメータ行列 Ak および外ることを鑑みれば可能な限り解像度は維持するほうが望ま部パラメータのうちの回転 Rk と並進 Tk は既知である。

しいであろう。そこで、本稿では、Bullet Time において

このうち、Ak は以下の要素で構成されているとする。

実質的な解像度の低下をなるべく抑える最適な射影変換を提案する。

2. Bullet Time と射影変換



0

u0k


Ak =  0

fk


v0k 

0

地面を xyz 座標系における xz 平面（y = 0）
、天方向を y軸とした空間に被写体が立っている状態で、N 台のカメラ
で Bullet Time を実現するカメラの配置を考える。最も単純に実現するには、被写体が内包する 3 次元点 G（以下、



fk

0

(1)

1

ただし、fk は焦点距離、u0k 、v0k は画像中心とする。ここで Ck = −R−1
k Tk から G に向く新しい光軸にあたるベ
クトル ez を求める。ez と y 軸との外積から新しいカメラ
座標系での x 軸 ex が求められ、ez × ex から新しいカメラ

注視点と呼ぶ）から等距離かつカメラ間の距離を等間隔になるよう各カメラを並べ、各カメラを G に向ければよい。
つまり、G を含む xz 平面に平行な平面上に G を中心とし座標系での z 軸 ez を求める。これらから新しい回転行列

R′ k が以下のように求まるため、た円を考え、各カメラをピンホールカメラモデルとして捉え、k 番目のカメラの焦点位置を Ck （k = 1, ..., N ）とした時、Ck を円周上に等間隔で設置したうえで、Ck から画
像平面の中央を通る直線（以下、光軸とよぶ）が G を通過するようカメラの向きを変えればよい。

ex /|ex |R′ k =  ey /|ey | (2)−1
Hk = Ak R′ k R−1
k Ak

(3)

ez /|ez |これらから射影変換行列 Hk が以下のように求まる。

しかし実際は、三脚などを使って設置をする場合、上記の手順に厳密に従うことは不可能である。その主な理由は
以下の 3 点である。
イ

実空間における Ck が判らない

ロ

円周やカメラ間の間隔を厳密に測定できない

心に G が正確に位置する仮想的なパン・チルトした画像

ハ三脚の手動操作では G を光軸上に設定できないが得られる。

あとは、これをフレームに適用して変形させれば画像中

このうち、イとロに関しては、被写体から比較的遠い位

しかし、図 1 にあるとおり変換結果は空白部分を含むた置から撮影するのであれば、カメラの大よその中心と巻尺

め、このままでは出力フレームとすることができない。出

程度の精度の計測で設置しても問題がない。しかし、ハに力フレームから空白部分を排除する単純な方法は、画像が関しては、事前にモニタ上に出力した格子線を頼りに時間

元のフレームサイズを覆うまで拡大することである。しかをかけて調整しても実際は十数ピクセルは誤差が生じてししながら、拡大をすれば空白はなくなるが余剰部分が増えまう。

る、すなわち元の画像にあった余剰部分の画素を捨てるこ

しかし、もしカメラが強校正済みであるならば、本来撮とになるため、実質的な解像度は低下してしまう。

影されたフレームを任意の 3 次元点を通過するよう光軸をこの画質の劣化をなるべく抑えるには、元々 G が映っ

向けて設置したかのような画像に射影変換する、いわばカていた画像上の位置 gk に変換後の G の 2 次元位置が近づ

メラに仮想的なパン・チルトをさせることができる [2], [3]。

くよう画像を平行移動させたうえ、拡大率を余白部分が丁よって、厳密に光軸を G に向ける射影変換を各カメラの度なくなるようにすればよい（図 2）。しかし、各カメラで出力フレームに適用すればハの問題も解決する。

これらの最適化を個別におこなうと、隣のカメラへと画像© 2014 Information Processing Society of Japan66

′vαk (α = 0, 1, 2, 3) が H′k によって vβk(β = 0, 1, 2, 3) へ移వ๫㒊ศ䛿ᗈ䛟䛺䜛

動するとする。

௄ᣑ኱䛻䜘䜚✵ⓑ㒊ศ䛜䛺䛔ὀどⅬ'λ⏬ീ୰ᚰ௨እ䛻
'䜢タᐃ

"

#

′
vβk

1

= H′k

"

vαk
1

#

(6)

最終的な出力フレームから空白をなくすには、vαk すべ

図 2 最適化′てが、vβkで形成される四角形の内部に必ず存在する必要

Fig. 2 Conversion by eq.3があるため、元の画像の全画素のうち、出力フレームに含′まれる画素数の割合は vβkで形成される四角形の面積 Skを切り替えた時に認知的な連続性がなく大変違和感があると元々の長方形の面積 S0 の比 S0/ Sk で定義できる。Sk

カメラワークとなってしまう。本稿では、この違和感をな

は fk′ 、(u0′k , v0′k ) に依存し、S0 は固定値であるため、ここるべく抑えた上で、実質的な解像度の低下を減らす Hk を

での問題は
提案する。

3. 拡大と平行移動を含む射影変換

3

Sk =前章で、解像度の低下を抑えるには、拡大と平行移動の3

1 XX ′(v(β mod 4)k − vαk )8×(v′ (β+1 mod 4)k − vαk )二つの手段があることを述べた。アフィン変換における拡大のパラメータは式（1）における fk 、すなわち焦点距離(7)α=0 β=0という制約条件の下での面積比 E の最大化と定義できる。

である。内部パラメータにおいて焦点距離が増加するということは、画像面を Ck から離して G に近づける、すなわちズームしていることに他ならない。実際には fk は

|Ck − G| という距離のみで決定され、G をその距離に応じた大きさにするのだが、G は固定であるため裏返せばCk を G に近づけることに相当する。これは、カメラの物

argmax E(fk′ , u0′k , v0′k ) =

N
X
S0
k=1

Sk

(8)

5. 滑らかなカメラワークを実現するアルゴリ
ズム

理位置を仮想的に前後させることになるため、先行研究では、イ、ロに起因する G と Ck 間の距離が各カメラで一致

E を維持しつつ fk′ 、(u0′k , v0′k ) をどう設定すればスムー
スな Bullet Time になるかを検討した結果、以下の４つのしない誤差を補正するのに用いている [1]。
一方、平行移動は、(u0k , v0k ) を変更することで達成され、これは Ck と R′ k はそのままに画像面を平行移動させることに相当する。すなわち、光軸が画像中心を通過しな戦略を考えた。
戦略 1: (u0′k , v0′k ) の固定化

(u0′k , v0′k ) とは、実質的に画像における G の位置を制御する変数であり、これらを各カメラで共通の値にすいカメラとなり、通常にはないカメラの構造になるが、実れば注視点は見た目上、不動になり違和感がない。こ
質的には光軸が画像中心を通った画像と大差がないため認の共通の値は、元の画像における G の位置 gk に近い

知的な問題は少ない。
こ れ ら か ら 、新 し い 焦 点 距 離 fk′ と 新 し い 画 像 中 心(u0′k , v0′k ) が設定された内部パラメータ A′k を用いた新
しい H′k が導出される。

PN

ほど E は高くなるため、

k=1 gk /N と設定できる。
′′
戦略 2: (u0k , v0k ) の変動化
戦略 1 は、(u0′k , v0′k ) を各カメラ共通とする上では適切であるが、各カメラにおいて gk が滑らかに移動し





fk′

0

u0′k


A′k =  0fk′

v0′k 

0

0ても経験上、違和感はそれほどない。そこで、k が１(4)モデルに回帰させる。直感的に考えると、このモデル

1−1
H′k = A′ k R′ k R−1
k Ak

から N まで変化するときの gk の軌跡を何らかの線形は単純であるほど違和感が少ないため実験では直線と(5)

4. 実質的な解像度の定義した。これは gk の分布によっては残差が少なくなり
戦略 1 よりも E を増大させる。
戦略 3: フォーカスの固定化

fk′ を増加させれば、擬似的にカメラを近づけたかのよ

ここで、元のフレームを構成していた全画素が変換後うな見えになる。よって、fk′ を以下のように設定すれの画像の中にどの程度含まれるのか、すなわち実質的なば注視点に居る被写体の見た目の大きさを一定に保つ

解像度を計測する指標を作る。画像の四隅の 2 次元座標ことができる。

© 2014 Information Processing Society of Japan

67

表 1

戦略の組み合わせ

6. 関連研究とマイルストーン

Table 1 Combination of each technique
戦略 3

戦略 4

映画ではなく現実に起こった出来事を多視点映像を処理

戦略 1

コンビネーション A

コンビネーション B

することで効果的に表現するシステムは、古くから応用研戦略 2コンビネーション C

コンビネーション D

究がなされ専らスポーツをその撮影対象に発達してきている [4], [5], [6], [7], [8], [9], [10]。このうち、多視点映像を自由視点映像化する場合は Bullet Time が可能であり、本稿

fk′|Ck − G|= faveragezaveragefaverage =

N
X
k=1

zaverage =

N
X
k=1

(9)

のようにカメラを連続的に切り替える方法は 3 次元モデルを復元する必要がないため最も頑健な手法の 1 つである。
この手法を用いたシステムとして最も著名なのは Eye

fk
N

Vision[11] であろう。Eye Vision は、各カメラの光軸が写したい G で交差するように、各カメラをロボット雲台で|Ck − G|N

制御することで、アメリカンフットボールの試合中継において Bullet Time を実現した。これに対し、冨山らは、高被写体の大きさがカメラ間で不規則に大小すると違和価で調整に時間がかかるロボット雲台を用いるのではな
感があるため、このような処理は自然な Bullet Timeく、おおよその被写体の位置を向くようカメラを三脚で固を演出する上では効果的である。
定し、位置を合わせをポストプロセスとして画像処理で補戦略 4: フォーカスの変動化

正することで仮想的に実現した例を紹介している [1]。こ滑らかに gk を変化させた戦略 2 と同じく、被写体のの冨山らのシステムは Eye Vision と違い、被写体が大きく

見た目の大きさも滑らかに変化させても違和感は少な
動くシーンには適用できないものの、ロボット雲台を導入い。これは、カメラが被写体を取り囲んでいるようなするよりも圧倒的に設置が容易であるため全日本体操選手
配置を天から見下ろした場合、Ck を G と Ck を結ぶ権において TV 放送用途での運用が可能であったと報告さ

直線上で前後に動かし、Ck が全体として何らかの滑れている。本稿で提案した手法は、このようなシステムにらかな軌跡上に存在しているかのように fk を設定す適用することを想定している。なお、冨山らのシステムでると達成され、その解の一つは、以下の α を何らかのは本稿での戦略 1 で (u0′k , v0′k ) を画像中心に固定したうえ

線形モデルへの回帰させ fk′ を得ることで求まる。

で、戦略 3 を適用するコンビネーション A の特殊ケースとなる射影変換が採用されている。以下の結果や実験では、

fk
Ck − G= α(Ck − G)

α =
fk′

(10)

この冨山らの変換をマイルストーンとして提案アルゴリズ
ムによる E の改善を述べたい。

7. 変換結果

実験では、天方向から見下ろした 2 次元空間においてα を 2 次曲線で回帰させた。この回帰の結果得られる
fk′ の残差が戦略 3 で決定した fk′ と fk の距離の和よりも低い場合は E は戦略 3 より高くなる。

8 台のカメラにより撮影したデータセットに対して、提案アルゴリズムを適用した結果を示す（図 3）。図の 1 段目が撮影した元画像であり、画像におけるぬいぐるみの位置や大きさが微妙に違うことがわかる。これに対して、戦略

これらの方法を適用した全体の処理は以下のようになる。

1、3 の組み合わせであるコンビネーション A で変換した
2 段目を見ると位置も大きさも揃い、Bullet Time の際に( 1 ) ユーザが G を入力する( 2 ) 方法 1 か 2 を適用して (u0′k , v0′k ) を決定する( 3 ) 方法 3 か 4 を適用して fk′ を決定する( 4 ) 式 (7) を満たす最小値まで全 fk′ を一定の割合まで増

自然な切り替えになることが想像できる。3 段目のコンビ
ネーション B は、戦略 3 の代わりに fk′ を回帰により最適化した戦略 4 を用いており、2 段目に比べて大きさが徐々に変化して、全体としてはぬいぐるみが小さく写っている。

加させる
被写体が小さくみえるということは、実質的な解像度が高( 5 ) 各フレームに H′k を適用する

いということになり、表 2 によると E は 0.33 から 0.60 へ

このアルゴリズムでは戦略 1、2 および戦略 3、4 はお互と改善している。図 4 は元々の α とコンビネーション A、

いに排他的であるため、実質的に 4 種類の変換行列が出力

B の α をプロットした結果であり、コンビネーション B の可能である。以下では、この表 1 のように 4 種類の戦略のほうが元々の α に近く滑らかに回帰されていることがわ

組み合わせをそれぞれコンビネーション A、B、C、D と

かる。

呼ぶ。

© 2014 Information Processing Society of Japan

一方、コンビネーション C は、コンビネーション A の戦

68



 



 



図 3

各シーンの Bullet Time

 



 

Fig. 3 Bullet Time camera work on each scene
表 2

各方法によって変換したときの E

Table 2 E values of each technique.
コンビネーション A

コンビネーション B

コンビネーション C

コンビネーション D

冨山の方法

0.33

0.60

0.72

0.78

0.26

図 5 コンビネーション A、C における (u0′k , v0′k )Fig. 5 (u0′k , v0′k ) on combination A and C

図 4 コンビネーション A、B における α

Fig. 4 α on combination A and Bを提案した。これらの戦略は特に回転中心が画像中心から
略 1 を戦略 2 に変更し、(u0′k , v0′k ) を回帰により最適化し離れている場合における解像度の維持に非常に効果的であ

たものである。図の 4 段目を見ると、この効果により、2ることを示した。今後は、本提案のような段階的な解法ではなく、これを初期値とした非線形最適化により直接的な段目と比べて大きさは一定であるが、全体的に小さくなっていることが判り、E は 0.72 へと改善している。図 5 は、解法について研究を進めたい。

各カメラの (u0k , v0k ) とコンビネーション A、C による(u0′k , v0′k ) の位置をプロットしたものであり、コンビネー

参考文献

ション C は直線上に回帰していることが判る。最後に 5[1]

段目は fk′ および (u0′k , v0′k ) 両方を回帰させたコンビネーション D であり、E は全体で最高の 0.78 となっている。
[2]

これらは何れも既存手法である冨山の方法よりも大きく改善しており、提案手法は元画像が持つ解像度を損なうこと[3]

なく変換できているといえる。
[4]

8. 結論
本稿では EyeVision のように、カメラ映像の切り替えによって Bullet Time を実現するシステムにおける射影変換による補正を解像度維持の面から最適化する 4 種類の戦略© 2014 Information Processing Society of Japan[5]

冨山仁博， 宮川勲，岩舘祐一：多視点ハイビジョン映像生成システムの試作: 全日本体操選手権での中継番組利用，電子情報通信学会技術研究報告. PRMU, パターン認
識・メディア理解， Vol. 106, No. 429, pp. 43–48 (2006).
Hartley, R. and Zisserman, A.: Multiple view geometry
in computer vision, Cambridge Univ Press (2000).
Szeliski, R.: Computer vision: algorithms and applications, Springer (2011).
Kanade, T., Rander, P. and Narayanan, P.: Virtualized
reality: Constructing virtual worlds from real scenes,
MultiMedia, Vol. 4, No. 1, pp. 34–47 (1997).
Kitahara, I. and Ohta, Y.: Scalable 3D representationfor 3D video in a large-scale space, Presence: Teleoperators and Virtual Environments, Vol. 13, No. 2, pp.
164–177 (2004).

69

[6]

[7]

[8]

[9]

[10]

[11]

Inamoto, N. and Saito, H.: Intermediate view generationof soccer scene from multiple videos, Proc. on 16th International Conference on Pattern Recognition, Vol. 2,
IEEE, pp. 713–716 (2002).
Hilton, A., Guillemaut, J., Kilner, J., Grau, O. andThomas, G.: 3d-tv production from conventional cameras for sports broadcast, Broadcasting, IEEE Transactions on, Vol. 57, No. 2, pp. 462–476 (2011).
Hashimoto, T., Uematsu, Y. and Saito, H.: Generationof see-through baseball movie from multi-camera views,
IEEE International Workshop on Multimedia Signal
Processing, IEEE, pp. 432–437 (2010).
Kimura, K. and Saito, H.: Video synthesis at tennis
player viewpoint from multiple view videos, Proceedings.
VR 2005., IEEE, pp. 281–282 (2005).
Tomiyama, K., Miyagawa, I. and Iwadate, Y.: Prototyping of HD Multi-Viewpoint Image Generating
System-Live broadcasting use at gymnastics competition (60’th’National Championships)-, IEIC Technical
Report, Vol. 106, No. 429, pp. 43–48 (2006).
Kanade, T. et al.: EyeVision, Web, http://www. pvi-inc.
com/eyevision.

© 2014 Information Processing Society of Japan70