論文

複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定佐藤 智和†

池田聖†

横矢 直和†

Determining Extrinsic Camera Parameters of an Omni-directional Multi-camera
System from Multiple Video Streams
Tomokazu SATO† , Sei IKEDA† , and Naokazu YOKOYA†

あらまし 複数のカメラユニットから構成される全方位型マルチカメラシステムを用い，移動を伴って取得した全方位動画像を基に，カメラブロックの位置・姿勢パラメータであるカメラ外部パラメータを推定する手法を提案する．本論文ではまず，三次元位置が既知の基準マーカと全方位画像から，PnP(Perspective n-Point) 問
題を解くことにより，カメラブロックの外部パラメータを統合的に推定する手法について述べる．次に，動画像
中のキーフレームにおいて基準マーカを画像上で指定し，三次元位置が未知の特徴点 (自然特徴点) と同時に自動追跡することで，基準マーカが観測できないカメラ位置においてもカメラブロックの外部パラメータを推定する手法について述べる．実験では，屋内・屋外の実環境を撮影した全方位動画像を用いてカメラ外部パラメータを推定し，定量的評価を行なう．
キーワード

全方位型マルチカメラシステム，PnP 問題，Structure from motion ，特徴点追跡

1. は じ め に撮影された全方位動画像中のキーフレームで絶対指標

近年，全方位を一度に撮影可能な全方位型カメラシ勢を推定する手法について述べる．本手法では，推定ステムが多数開発され，テレプレゼンスや遠隔ロボッされるカメラパラメータと画像情報を屋外三次元モデ

ト操縦，ビデオサーベイランスなどの幅広い分野にリングに応用することを想定しており，町並みにおけ(基準マーカ) を与えることで，高精度に絶対位置・姿

応用されはじめている [1]〜[6]．これら全方位カメラ

る交差点など，キーとなる地点 (キーフレーム) においのなかでも，複数のカメラユニットを放射状に配置すて絶対指標が設定・計測できることを前提としている．

ることで一つのカメラブロックを構成し，一度に全方以下では，従来手法の概要と問題点について述べる．

位を撮影する全方位型マルチカメラシステム (Omni-

まず，単眼カメラにおけるカメラ外部パラメータのdirectional Multi-camera System，以降 OMS) [4]〜[6] は，カメラシステムの校正が難しい反面，高解像度推定手法について述べる．単眼カメラで撮影される 1であることや，視線方向によって解像度があまり変化とその画像上の二次元座標の組から，カメラ外部パ

しないという特長から，注目され始めている．しかし，的なカメラ外部パラメータの推定手法が従来提案されラメータを推定する問題は，PnP 問題 (Perspective
n-Point problem) と呼ばれ，現在までに多くの研究が成されている [7]〜[9]．一般に，PnP 問題は 6 点以ていないために，OMS の利用はテレプレゼンスなど

上の基準マーカを画像上で観測できれば，最小自乗法

各カメラユニットの投影中心の不一致を考慮した統合

枚の画像において，複数の基準マーカの三次元座標のカメラの位置・姿勢パラメータを必要としない分野

によって解くことができる [10]．しかし，三次元位置に限定されてきた．そこで本論文では，移動を伴ってが既知の基準マーカが常に画像フレーム内に撮影されている必要があるため，広い範囲の移動を伴って撮影† 奈良先端科学技術大学院大学，奈良県

Nara Institute of Science and Technology, 8916–5 Takayama,
Ikoma, Nara, 630–0192 Japan

電子情報通信学会論文誌 D–II

された動画像の各フレームに対してこれらの手法を適用し，カメラの外部パラメータを推定するためには，

Vol. Jxx–D–II No. xx pp. 1–11 xxxx 年 xx 月

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D–II No. xx

多数の基準マーカを広く配置することが必要となる．

(A) Marker specification at key frames

また，OMS への応用を考えた場合，複数カメラの投
影中心の不一致を考慮した PnP 問題の解法が従来提(B) Initial estimation of camera parameters

案されていないために，そのままでは手法を適用でき(a) Feature tracking in each camera

ないという問題がある．
(b) Extrinsic camera parameter estimation

一方で，単眼カメラで撮影される動画像において，
画像上の三次元位置が未知の特徴点 (以降，自然特徴(c) Feature tracking between different cameras

点) を追跡することで，カメラの外部パラメータを推定する Structure from motion と呼ばれる手法が研究(d) 3-D position estimation of features

されている [11]〜[13]．また，これらを全方位カメラ(e) Computing confidence of featuresに適用する手法 [14]〜[16] が複数提案されている．これらの手法では，三次元位置が既知の基準マーカを必(f) Addition and deletion of features

要としないが，自然特徴点の誤追跡や量子化誤差の影
響によるカメラパラメータの推定誤差が累積するために，多くの画像を扱うことが困難であるという問題がある．また，これらの手法はカメラが一点透視投影であることを仮定しているため，複数の投影中心を持つ

OMS への適用は困難である．
そこで本研究では，OMS を構成する複数のカメラ(C) Global optimization in video sequences
図 1 特徴点追跡によるカメラ外部パラメータ推定の処理
手順
Fig. 1 Flow diagram of extrinsic camera parameter
estimation by tracking features.

ユニットで撮影される動画像間に渡って基準マーカとする．また，基準マーカは，全方位動画像中の各キー

自然特徴点を同時に追跡することで，広範囲の移動をフレームにおいてそれぞれ 6 点以上が観測可能である

伴う長時間の全方位動画像においてもカメラ外部パラ

ものとする．

メータを安定に推定する手法を提案する．本手法では，

以下，2. ではまず，ステージ (B) で利用する，OMS

図 1 に示すように，まず移動を伴って撮影した全方位を構成するカメラユニット間の投影中心の不一致を考

動画像中のキーフレームにおいて，基準マーカを画像

慮した PnP 問題の統合的な解法について述べる．3.

上で指定する (A)．次に，基準マーカと自然特徴点をでは，基準マーカと自然特徴点を複数の動画像上で同複数の動画像に渡って自動追跡することで，カメラ外時に追跡し逐次 PnP 問題を解くことで，カメラ外部

部パラメータと自然特徴点の三次元位置をフレームパラメータを推定する手法について述べる．4. では，毎に逐次推定する (B)．このとき，OMS のカメラブ

市販の OMS を用いた実験と定量的評価実験について

ロックの外部パラメータは，基準マーカと自然特徴点報告する．最後に，5. でまとめと今後の課題についての三次元位置および画像上の追跡座標を用いて，PnP述べる．

問題をフレーム毎に解くことで得る．最後に，キーフ
レームにおいて指定した基準マーカを用いて動画像全

2. OMS における PnP 問題の解決

体で投影誤差の和を最小化することで，カメラ外部パ

本章では，複数の基準マーカの三次元位置とその画

ラメータの累積的な推定誤差を最小化し，精度の高い像上の座標から，PnP 問題を統合的に解くことによっ

カメラ外部パラメータを推定する (C)．本手法では，て，OMS のカメラブロックのカメラ外部パラメータ

ステージ (B) において，カメラユニット間の投影中心を推定する手法を提案する．本手法は，複数のカメラの不一致を考慮した PnP 問題の解法が必要となるたユニットに写る基準マーカを統合的に扱うため，カメめ，本論文では OMS における PnP 問題についても新ラユニット全体で合計 6 点以上の基準マーカが観測でたに統合的な解法を提案する．ただし，本研究で扱うきることを想定している．以下では，まず，OMS のOMS は，位置関係が固定された複数のカメラユニッ

カメラ外部パラメータと基準マーカの投影誤差についトで構成されており，カメラブロックの内部パラメーて定義を行なう．次に，定義した投影誤差を最小化す

タ (各カメラユニット間の位置・姿勢関係および各カることで，OMS のカメラ外部パラメータを推定する

メラユニットの内部パラメータ) は校正済みで既知と手法について述べる．

2

論文／複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定

Local camera coordinatey

量子化誤差の影響によって，画像上での基準マーカの検出座標 (ûp , v̂p ) とは一致しない．一般的な単眼カメ

Lk=TkMラにおいては，この (ûp , v̂p) と (up , vp) の距離の二乗

Camera unit kx

和を評価尺度とし，最小化することでカメラパラメー

Camera unit 1

TkzM
Camera unit 2
World coordinate
Camera block coordinate

タを推定する手法が広く用いられている [13], [17]〜[19]．本研究においても，これらの手法と同様に，各カメラユニットの画像上への基準マーカの投影誤差の

図 2 OMS における座標系の関係
Fig. 2 Coordinate systems of an OMS.

二乗和を評価尺度とし，誤差関数 E を以下のように定義する．

2. 1 カメラ外部パラメータと投影誤差の定義
まず，本論文で扱う座標系について定義する．図 2に示すように，一般に OMS はカメラブロックの特定n(up − ûp )2 + (vp − v̂p )2

E=

(4)

k=1 p∈Fkの位置に固定された複数のカメラユニットから構成さ

ただし Fk は，k 番目のカメラユニットの画像上におれている．本論文では，OMS のカメラブロックの位

いて観測可能な基準マーカの集合を，n は OMS を構置・姿勢を表すカメラブロック座標系を設定し，世界座標系からカメラブロック座標系への変換行列 M を，
位置 (r1 , r2 , r3 )・姿勢 (t1 , t2 , t3 ) の 6 パラメータを用

⎞

m11
⎜ m
⎜ 21
M = ⎜
⎝ m31

m12
m22
m32

m13
m23
m33

m14
⎟
m24 ⎟
⎟
m34 ⎠

0

0

0

1


=

2. 2 投影誤差の最小化によるカメラ外部パラメー
タの推定
前節において誤差関数 E として定義した基準マー

いて以下のように定義する．

⎛

成するカメラユニットの数を表す．

R(r1 , r2 , r3 ) (t1 , t2 , t3 )T01

カの各画像面への投影誤差の和を最小化することで，自由度 6 のカメラ外部パラメータ M を推定する．こ

(1)の問題は，非線形最小化問題となるため，最適な解を得るためには良い初期値が必要となる．
本研究ではまず，線形手法によって 12 自由度の M

を初期値として算出し，6 自由度への補正を行なった(2)

後に，最急降下法によって E を最小化する M を算出する．以下では，それぞれの手順について詳述する．

ただし，R は 3 × 3 の回転行列である．また，カメラ
ルカメラ座標系への変換を，同じく 4 × 4 の行列 Tk

2. 2. 1 線形演算による初期値の算出
ここでは，n 台のカメラに写る合計 j 個 (j >= 6) の基準マーカを統合的に扱いながら線形に PnP 問題をで表す．このとき，世界座標系から k 番目のカメラユ解くための手法について述べる．まず，世界座標系かニットのローカルカメラ座標系への変換行列を Lk とら k 番目のカメラユニットのローカルカメラ座標系へ

ブロック座標系から k 番目のカメラユニットのローカ

すれば，Lk = Tk M である．

の変換行列 Lk を 3 つの行べククル (lxk , ly k , lzk ) を次に，基準マーカの投影誤差について定義する．以降，基準マーカの画像上での検出座標は画像歪み補正
後のものとし，記述の簡単化のため，カメラ内部パラ
メータである各カメラユニットの焦点距離およびアスペクト比を 1，投影中心の座標を (0, 0) とする．このとき，基準マーカ p の 3 次元座標 Sp = (xp , yp , zp , 1)Tと，その k 番目のカメラユニットの画像上への投影座
標 (up , vp) には，以下の関係が成り立つ．

(aup , avp , a, 1)T = Lk Sp = Tk MSp(3)

用いて以下のように再定義する．

⎛

⎞

lxk
lyk

⎜
⎜
⎝

Lk = Tk M = ⎜

⎟
⎟
⎟
⎠

lzk
0

0

0

(5)

1

上式により，式 (3) は以下のように変形できる．

lxk Sp − ûp lzk Sp = 0 ,lyk Sp − v̂plzk Sp = 0(6)

ただし，a は媒介変数である．一般に，式 (3) によって

このとき，行列 M の各成分をパラメータベクトル

求まる投影座標 (up , vp ) は，基準マーカの検出誤差や

m = (m11 , · · · , m 14 , m21 , · · · , m 24 , m31 , · · · , m 34 )T3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D–II No. xx

で表せば，式 (6) は合計 j 点の基準マーカについて，
以下の形にまとめることができる．

Am − s = 0(7)

ただし，ki を i 番目の基準マーカが撮影されたカメラ

2. 2. 2 カメラ外部パラメータの自由度の補正
前述の手法によって得られた 12 パラメータの M
は，正規直交基底を満たしておらずユークリッド復元
ではないために，これを用いた三次元復元結果には歪みが生じる．そこで，これを 3 自由度の位置パラメー

ユニットの番号と定義すれば，A, s は以下のように表タ (t1 , t2 , t3 ) と 3 自由度の姿勢パラメータ (r1 , r2 , r3 )される．

から成る 6 自由度のカメラパラメータに補正する．

 

s1(ki ) s2(ki ) s3(ki ) s4(ki )s5(ki ) s6(ki ) s7(ki ) s8(ki )

1 0 ûi 0=
0 1 v̂i 0(i = 0, · · · , j)⎛s1(k1 )S1

s2(k1 )S1 s3(k1 )S1

Tki
(8)

⎞

s6(kj )Sjに対応する残りの 9 パラメータ R̂ から，特異値分解を用いる手法 [20] によって以下のように最適な回転成

⎜
⎟
..
..
..
⎜
⎟
.
.
.
⎜
⎟
⎜
⎟
⎜ s1(kj )Sj s2(kj )Sj s3(kj )Sj ⎟
A=⎜
⎟ (9)
⎜ s5(k1 )S1 s6(k1 )S1 s7(k1 )S1 ⎟
⎜
⎟
..
..
..
⎜
⎟
⎝
⎠
.
.
.
s5(kj )Sj

M の定義である式 (1),(2) か ら，OMS の位置成分(t1 , t2 , t3 ) は容易に (m14 , m24 , m34 ) として決定可能である．また，姿勢パラメータ (r1 , r2 , r3 ) は回転行列分を計算する．

R(r1 , r2 , r3 ) = Udiag(1, 1, det(UVT ))VT (12)
ここで U と V はそれぞれ，R̂ の左特異ベクトル行
列，右特異ベクトル行列である．また，diag(x) は xを対角成分に持つ対角行列を表す．

s7(kj )Sjs =(−s4(k1 ), · · · , −s4(k j ), −s8(k1 ), · · · , −s8(k j ))T(10)

2. 2. 3 投影誤差の非線形最小化
6 自由度に補正済みのカメラ外部パラメータ (r1 , r2 ,式 (7) において，m 以外のパラメータは全て既知でr3 , t1 , t2 , t3 ) を初期値として，式 (4) で定義した誤差
関数 E を最急降下法によって最小化する．本手法である．

は，各パラメータを以下のように更新し，収束するま

ここで，式 (6) より，|Am − s|2 は，各特徴点の画
2

像上の投影誤差をそれぞれ (lzk Sp ) 倍した和，すなわ
ち，画像面上での投影誤差の和ではなく三次元空間中

で繰り返すことで，最適なパラメータの推定を行なう．

ri ← ri −lriδEδE, ti ← ti −lti(i = 1, 2, 3) (13)δri
δti

での誤差の和を意味している．本論文では，|Am − s|2

ただし (lr1 , lr2 , lr3 , lt1 , lt2 , lt3 ) は導関数のスケール項を最小化する m を線形に求め，カメラ外部パラメー

で，これらは各パラメータ更新の時点で E が最小とな

タの初期値とする．一般に，|Am − s|2 を最小化する

るように動的に決定する．既に述べたように，2. 2. 1

パラメータベクトル m は，基準マーカの数 j が 6 点で得られる線形解は，各基準マーカの投影誤差の重み以上あれば，一般化逆行列により以下のように求める付き和を最小化したものであるため，この繰り返しにことができる．

用いる初期値は，真値に近い値であると考えられる．

m = (AT A)−1 AT s

(11)

ただし，基準マーカの三次元座標 Sp の分布範囲が，カメラ間の距離に対して非常に大きい場合，s のスケー
ルが A に対して非常に小さくなるために，式 (11) は不安定となり，m が誤差に敏感となってしまう．そこ

このため，最急降下法によって，誤差関数 E の大域最小解を得る最適な OMS のカメラ外部パラメータ Mを算出することができる．

3. 特徴点追跡による OMS のカメラ外部パラメータの推定で，m の各要素を用いて，新たなパラメータベクトル

本章では，OMS を構成する複数のカメラユニットm : mij = mij /m34 を定義し，s を 0 で近似する．
これらを用い，Am = 0 を解くことで，スケールを除く 11 自由度を持つカメラパラメータの初期値 M を安定に求めることができる．次に，求めた M の回転で撮影された動画像系列に渡って特徴点を追跡し，前行列成分を正規化することでスケールを決定する．

の分野で一般的に用いられる自然特徴点に加えて，三4章で述べた PnP 問題の解法を利用することで，移動する OMS のカメラ外部パラメータを推定する手法について述べる．本研究では，Structure from motion

論文／複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定

次元位置が既知の基準マーカをキーフレームで指定す前章で述べた PnP 問題を各フレームで解くことでカることで，世界座標系に対するカメラブロックの絶対

メラブロックの外部パラメータを逐次的に推定する手位置・姿勢を推定する．また，複数動画像系列全体で法，誤差関数 Etotal を動画像全体で最小化することでの最適化により，逐次処理で発生する累積的な推定誤カメラ外部パラメータを最適化する手法，について順差を最小化する．

に述べる. 本節で述べる手法は，我々が従来提案した，本手法では，図 1 に示したように，まず初期フレー
ム，中間フレーム，最終フレームのようなキーフレー
ムにおいて基準マーカを画像上で指定し (A)，指定された基準マーカと自然特徴点を動画像上で同時に自動単眼動画像からのカメラ外部パラメータ推定手法 [19]を全方位動画像に対して拡張したものである.

3. 2. 1 特徴点追跡によるカメラ外部パラメータの逐次推定追跡することで，カメラ外部パラメータと自然特徴点

以下では，基準マーカと自然特徴点を自動追跡し，2.

の三次元位置の初期値を算出する (B)．次に，キーフで述べた PnP 問題を各フレームで解くことで，OMS

レームで指定した基準マーカを用い，特徴点の投影誤のカメラ外部パラメータの初期値を逐次推定する手法

差を動画像全体で最小化することによって，最適なカについて述べる．本手法では，フレーム毎に新たな自メラ外部パラメータを推定する (C)．

然特徴点を自動で検出し，三次元位置が既知の特徴点

以下では，まず，前章と同様に OMS の動画像におと未知の特徴点を同時に追跡することで，三次元位置

ける特徴点の投影誤差を定義する．次に，定義した誤が未知の特徴点の三次元位置を推定・更新する．三次差関数を最小化することで，動画像から OMS のカメ

元位置が推定された自然特徴点は，基準マーカと同様，

ラ外部パラメータと自然特徴点の三次元位置を推定す

PnP 問題を解くために利用できるため，基準マーカがる手法について述べる．

不可視となるフレームにおいてもカメラ外部パラメー

3. 1 全方位動画像における投影誤差の定義
前章において式 (4) で定義した基準マーカの投影誤
差 E を動画像に拡張する．本手法では，動画像の第 f
フレーム (f = 1, · · · , q) における誤差関数を以下のよ

タの推定を継続できる．

うに定義する．

テップ (a)〜(f) について処理の順に詳述する．

(a) 各カメラ画像内での特徴点追跡: 基準 マ ー カ は ，
一般 的なテ ンプレ ートマッチン グの手 法を用 いて，nWp (uf p −ûf p)2 +(vf p−v̂f p)2 (14)Ef =以下では，第 f フレームにおける逐次処理の各ス

k=1 p∈Fkf

キーフレームから一定フレームの間，自動で追跡する．
自然特徴点は，Harris オペレータ [21] により追跡の容易な画像特徴を検出して特徴点の候補位置とし，ロバ

ただし，Wp は特徴点 p の信頼度による重みであり，

スト推定 [22] によって誤追跡を検出しながら自動で追特徴点 p の投影誤差の分散の逆数として算出する [19]．

跡する．本ステップにおける特徴点追跡は，それぞれまた，Fkf は第 f フレームにおいて k 番目のカメラユのカメラユニットの画像内でのみ行なう．

ニットで観測できる特徴点の集合である.

(b) カメラ外部パラメータの推定: 2. で述べた PnP
問題の解法を用いることで，ステップ (a) で追跡され

本研究では，全方位動画像全体での誤差関数 Etotal
を Ef を用いて以下のように表す．

た特徴点の画像上の座標と三次元座標から，カメラブq

ロックのカメラ外部パラメータ Mf を推定する．ここEtotal =

Ef

(15)

f =1

では，式 (14) で定義した誤差関数 Ef を用いること
で，各特徴点の信頼度を考慮したカメラパラメータの一方，第 f s フレームから第 f e フレームまで追跡される特徴点 p の投影誤差の和は以下のように表される．

(c) カメラ画像間での特徴点追跡: ステップ (a) の追跡処理において，画像からのフレームアウトによって，fe(uf p −ûf p )2 +(vf p −v̂f p)2

EFp (f s, f e)=

算出を行なう．

(16)

追跡が失敗した自然特徴点について，他のカメラ画像

3. 2 全方位動画像からのカメラ外部パラメータのステップ (b) で得られたカメラ外部パラメータ Mf をf =f s推定
本節では，基準マーカと自然特徴点を自動追跡し，への追跡処理を行なう．ここでは，図 3 に示すように，
用い，世界座標系から各ローカルカメラ座標系への変換行列 Lkf (= Tk Mf ) によって，前フレームで推定
5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D–II No. xx

3D position Sp of natural feature p
estimated at the ( f - 1)-th frame
Frame out

Lkf Sp

Camera unit l
Camera unit k(a) 外観Adjacent camera units at the f-th frame
図 3 異なるカメラ画像間に渡る特徴点の追跡
Fig. 3 Feature tracking between images of adjacentcamera units.

(b) 視錘台

図 4 全方位型マルチカメラシステム”Ladybug”
Fig. 4 Omni-directional multi-camera system ”Ladybug”.

済みの自然特徴点の三次元位置 Sp を全てのカメラユ

total δEtotal δEtotal
タであり，これらは導関数 ( δEδx
, δyp , δzp )p

ニットの画像上に投影する．ここで，各画像への投影を用いることで，カメラの外部パラメータと同様の最位置の周辺に Harris オペレータにより算出される特適化処理を行なう．自然特徴点の信頼度 Wp としては，徴点の候補が存在する場合には，その点を追跡位置と逐次処理で得られた値を用いる．また，キーフレーム

する．候補位置が存在しない場合には，その特徴点をで指定した基準マーカ p の信頼度 Wp としては, 自然削除する．

特徴点の信頼度の平均に対して十分に大きな値を設定(d) 自然特徴点の三次元位置の推定: 第 f フレームまで追跡されている全ての自然特徴点について，式 (16)に示した EFp(f s(p), f ) を最小化することで自然特徴
点の三次元位置 Sp を毎フレームで推定・更新する．

する．これにより，キーフレームにおける基準マーカ

ただし，f s(p) は自然特徴点 p が最初に検出されたフ行うことで，累積的な誤差を最小化するカメラ外部パ

レーム番号である．

ラメータと自然特徴点の三次元位置が推定される．こ(e) 自然特徴点の信頼度の算出: 自然特徴点の画像上の最適化は非線形最小化問題となるが，初期値が真値の追跡誤差をガウス分布で近似することにより，特徴に近ければ解は大域最小解に収束しやすくなり，また

点 p の信頼度 Wp を投影誤差の分散の逆数として定義

高速に求めることができる．

し算出する [19]．この信頼度は，毎フレーム更新する．

(f) 自然特徴点の追加と削除: 特徴点の信頼度やテン
プレート間の誤差などの複数の評価尺度を用いて，自然特徴点の追加・削除を自動的に行う [19]．

の三次元位置および画像上の座標を真値とみなした動
画像全体での最適化処理が可能となる．
このような誤差関数 Etotal が収束するまで最適化を

4. 実

験

提案手法を用いて OMS のカメラ外部パラメータを推定し，定量的評価を行なう．本章ではまず，2. で述

上述のステップ (a)〜(f) を，初期フレームから最終フ

べた PnP 問題の解法を用い，計算機シミュレーション

レームまで繰り返すことで，全方位動画像から OMS

によって定量的にカメラ外部パラメータの推定精度をのカメラ外部パラメータと自然特徴点の三次元位置の評価する．次に，実環境において，実際に移動を伴っ初期値を推定することができる．

て撮影した全方位動画像から 3. で述べた手法でカメ

3. 2. 2 複数動画像系列全体での最適化

ラ外部パラメータを推定し，真値と比較することで提式 (15) に示した誤差関数 Etotal を，最急降下法に案手法の有効性を確認する．

よって最小化することで，逐次推定で得られたカメラ

本実験では，計算機シミュレーション・実環境での実

外部パラメータ Mf (f = 1, · · · , q) と自然特徴点の三

験共に，PointGreyResearch 社製の全方位型マルチカ

次元位置 Sp を最適化する．ここでは，2. 2. 3 においメラシステム Ladybug [23] を用いた．図 4 に示すよて述べた最適化の手法を全ての動画像のフレームに適

うに，Ladybug には水平方向に 5 つ，上向きに 1 つの用することで最適化を行なう．ただし，ここでは，自然合計 6 つのカメラユニットが放射状に配置されており，

T

特徴点の三次元位置 Sp = (xp , yp , zp , 1) もパラメー
6

各カメラユニットはそれぞれ 768 × 1024 画素の解像

論文／複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定度の画像を秒間 15 枚撮影可能である．また Ladybug

80

ndma
r

ks

100

f ca

1
2
3
4
5
6

mer
a

s

また垂直方向の距離は 46 ± 4mm であった．

r of la90

ら，水平方向のカメラユニット間の距離は 40 ± 2mm，

60

Numb
e

70

錘台を図 4(b) に示す．このキャリブレーション結果か

40

60
50
40
30
20
10
0

50

レーザ距離計測機器を用いた手法 [6] によって，あらかじめ測定した．この測定結果に基づく各カメラの視

70

10
20
30

よびカメラ間の位置・姿勢の関係は，マーカボードと

Position error [mm](焦点距離，アスペクト比，投影中心，歪み係数) お

70-80
60-70
50-60
40-50
30-40
20-30
10-20
0-10

80

Nu m
ber
o

によって，全天球の 75%の視野を一度に撮影できる．
本実験において，各カメラユニットの内部パラメータ(a) 位置の推定誤差

4. 1 計算機シミュレーションによる PnP 解法の

0.06

る．本実験では，ガウスノイズとして，標準偏差が 1.0画素のものを用いた．
このような仮想環境内で，仮想 Ladybug において

1
2
3
4
5
6

ks

100

ndma
r

Nu m
ber
o

ガウスノイズが付加され，更に画素単位に量子化されr of la

80

Numb
e

90

ムに配置した．これらの基準マーカは，仮想 Ladybugの各カメラ画像上に投影された後に，検出誤差として

60

0

f ca

0.02

mer
a

s

0.04

70

の周囲半径 5m から 50m の間に，基準マーカをランダ

0.08

40

物と同じパラメータを持つ仮想 Ladybug を固定し，そ

0.1

50

定量的評価を行なう．本実験では，仮想空間内で，実0.1-0.12
0.08-0.1
0.06-0.08
0.04-0.06
0.02-0.04
0-0.02

0.12

10
20
30

解法によるカメラ外部パラメータの推定精度について，

Angle error [degree]

定量的評価実験
本シミュレーションでは，2. で述べた PnP 問題の(b) 姿勢の推定誤差

図 5 カメラ位置・姿勢の推定誤差 (計算機シミュレーション)
Fig. 5 Errors in camera block position and angle(simulation).

利用するカメラユニットの数，および基準マーカの数を変化させながら，2. で述べた手法によってカメラ外部パラメータを推定し，カメラ位置と姿勢に関して，て屋内・屋外の２つの異なる実環境を全方位動画像と真値との誤差を測定した．図 5 (a), (b) に測定されたして撮影し，実験を行なった．両実験ともに，実環境

カメラ位置と姿勢の推定誤差を示す．同図から，(a),(b) 共に，カメラの数と基準マーカの数の増加に伴っ中の自然特徴点の一部をレーザ距離計測機器トータルて，誤差が単調減少していることが確認できる．一般

測し，基準マーカとした．また，本実験では以下の複的に，PnP 問題においては，基準マーカの分布範囲の数のパターンの組み合わせをキーフレームとして設定

スケール変化は位置の推定誤差のスケール変化としてし，基準マーカの画像上の位置は，キーフレームでのステーション (Leica TCR1105XR) を用いて三次元計のみ表れることから，本実験で想定した 5m〜50m 以

み手動で与えた．

外の基準マーカの分布スケールに対しても同様に，カ(パターン 1) 初期・最終フレーム

メラ数と基準マーカの数の増加に伴って誤差が単調減
少すると考えられる．特に，基準マーカの数が一定で(パターン 2) 初期・中間・最終フレーム(パターン 3) 初期・最終フレームを含めた 1/4 区間

もカメラの数が増加すれば推定精度が向上することか

おきのフレーム

ら，単眼カメラに比べて OMS を用いることが PnP
問題の解決において推定精度の点で有利であることが分かる．

4. 2 実環境における全方位動画像からのカメラ外部パラメータの推定実験

3. で述べた特徴点追跡によるカメラ外部パラメータ推定手法の有効性を確認するため，Ladybug を用い

4. 2. 1 屋内環境における実験
本実験においては，入力として図 6 に示す屋内環境をそれぞれ 450 フレームから成る 6 つの動画像系列として歩きながら撮影した．まず，3. で提案した手法により，カメラ外部パラメータを推定した．本実験において，自然特徴点は各フレームの画像上で 6 つのカメラに対して平均 440 点が自動で追跡された．また，逐7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D–II No. xx

図 6 入力に用いた全方位動画像の 1 フレーム (屋内環境)
Fig. 6 Sampled frames of input image sequences obtained by six cameras (indoor scene).

(a) 上方(b) 側方図 7 カメラ外部パラメータと自然特徴点の三次元位置の推定結果 (屋内環境)
Fig. 7 Result of extrinsic camera parameter estimation (indoor scene).

図 8 入力に用いた全方位動画像の 1 フレーム (屋外環境)
Fig. 8 Sampled frames of input image sequences obtained by six cameras (outdoor scene).

(a) 上方(b) 側方

図 9 カメラ外部パラメータと自然特徴点の三次元位置の推定結果 (屋外環境)
Fig. 9 Result of extrinsic camera parameter estimation (outdoor scene).

次処理における自然特徴点の平均投影誤差は 2.1 画素

4. 2. 2 屋外環境における実験であった．次に，パターン 1〜3 のキーフレームの画

図 8 に示す複数の建物を含む大学キャンパスにおい像上で基準マーカを指定し，それぞれのパターンにおて，屋内実験と同様に歩きながら撮影を行った．本実

いて，カメラ外部パラメータと自然特徴点の三次元位

験で入力として用いた 6 つの動画像系列は，それぞれ

置を動画像全体で最適化した．図 7 に，パターン 1 を
ト 1 に関するカメラ外部パラメータの推定結果と自然

500 フレームから成る．逐次処理による特徴点追跡の結果，各フレームの画像上で 6 つのカメラに対して平均 530 点の自然特徴点が自動で追跡された．また，自特徴点の三次元位置の推定結果を示す．同図において，

然特徴点の平均投影誤差は 1.6 画素であった．図 9 に，

キーフレームとした場合の，Ladybug のカメラユニッ

曲線はカメラユニットの移動の軌跡を，錘台は 20 フパターン 1 における Ladybug のカメラユニット 1 に

レーム毎のカメラユニットの姿勢を表す．また，黒点関するカメラ外部パラメータの推定結果と，自然特徴は推定された自然特徴点の三次元位置である．本実験

点の三次元位置の推定結果を示す．屋内実験と同様に，で推定されたカメラパスの長さは 29m であり，どの本実験で推定されたカメラパスの長さは 29m であり，パターンのキーフレームを用いた場合にも，パスの不どのパターンでキーフレームを設定した場合にも，パ

連続は見られなかった．

スの不連続は見られなかった．

8

論文／複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定200推定されたカメラ外部パラメータを真値と比較する

180

ことで定量的な評価を行なった．一般に動画像のカメ
ラ外部パラメータの真値を測定することは困難である
ため，本実験では，基準マーカを全てのフレームの画
像上で手動で指定し，2. で提案した手法を用いて全てのフレームでカメラ外部パラメータを算出すること

Position error [mm]4. 2. 3 カメラ外部パラメータの定量的評価

before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)

160
140
120
100
80
60
40
20

で，真値を作成した．表 1 に真値の作成に用いた基

01

準マーカの条件を示す．作成された真値は，フレーム

51

として，1.0 画素の標準偏差をもつガウスノイズおよ

0.8

Angle error [mm]した．ただし，基準マーカを手動で指定する際の誤差0.7

で平均 15mm, 0.014◦ のカメラ位置・姿勢の推定誤差

351

401

351

401

0.6
0.5
0.4
0.3
0.2

0.0
1

51

101

151

201

251

301

Frame
(b) 姿勢の推定誤差

レーションの結果から，本実験で作成したカメラ外部に関して各フレームで平均 5.4mm, 0.014◦ ，屋外環境

301

0.1

び画素単位での量子化誤差を想定した．計算機シミュ
パラメータの真値には，少なくとも屋内環境での実験

251

before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)

0.9に起因するカメラ位置・姿勢の推定誤差が発生する．

うことで，真値算出における推定誤差の平均値を算出

201

1.0

まないが，特徴点位置の指定の誤差および量子化誤差

算機シミュレーションと同様のシミュレーションを行

151

Frame
(a) 位置の推定誤差ごとに独立に算出されるため，累積的な推定誤差を含

ここではまず，表 1 の条件に基づき，4. 1 で述べた計101

図 10 カメラ位置・姿勢の推定誤差 (屋内環境)
Fig. 10 Errors in estimated camera path and posture(indoor scene).

が含まれていることが分かった．
800

次に，屋内環境，屋外環境において推定されたカメ
ラ位置・姿勢の推定誤差を定量的に評価した．図 10,

11 に，それぞれ，屋内環境，屋外環境における各パターンでのカメラ位置・姿勢の推定誤差を示す．また,キーフレームの与え方の各パターンにおける推定誤Position error [mm]ラ外部パラメータと作成された真値を比較し，カメ

before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)700

差の平均値と標準偏差を表 2 に示す．これらの結果か

600
500
400
300
200
100
0
1

ら，どのパターンにおいても，全体最適化によって累

51

indoor outdoor
average numberof feature landmarks
average distribution range ofof feature landmarks (m)

53

51

5〜22

10 〜61

251

301

351

401

451

351

401

451

before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)

1.8で，推定精度の向上を図ることが可能であることを確

1.6

Angle error [mm]カメラ外部パラメータの真値の作成に用いた基準
マーカの条件
Table 1 Conditions of feature landmarks for generating ground truth of extrinsic camera parameters.

201

2.0

ことが確認できる．また，キーフレームを増やすこと

表 1

151

Frame
(a) 位置の推定誤差積的なカメラパラメータの推定誤差が低減している

認できる．先に述べた真値算出時の推定誤差を考慮す

101

1.4
1.2
1.0
0.8
0.6
0.4
0.2
0.0
1

51

101

151

201

251

301

Frame
(b) 姿勢の推定誤差

図 11 カメラ位置・姿勢の推定誤差 (屋外環境)
Fig. 11 Errors in estimated camera path and posture(outdoor scene).

9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–D–II No. xx

れば，パターン 3 におけるカメラ位置の推定誤差の平均値は，屋内環境で 27〜39mm, 屋外環境で 32〜62mm の範囲であると考えられる．本実験で利用した
OMS:Ladybug において，カメラ位置に関して 40mm
程度の位置の推定誤差の影響は，OMS から 20m 以上
離れれば画像上への投影位置で 1 画素以内に収まる [6]文献[1] K. Miyamoto, “Fish Eye Lens,” J. Opt. Soc. Am.,
vol.54, no.2, pp.1060-1061, 1964.
[2] K. Yamazawa, Y. Yagi, and M. Yachida, “Omnidirectional Imaging with Hyperboloidal Projection,” Proc.
Int. Conf. on Intelligent Robots and Systems, vol.2,
pp.1029-1034, 1993.

ため，両実験環境において推定されたカメラ外部パラ[3] S. K. Nayar, “Catadioptic Omnidirectional Cam-

メータは，画素単位での推定精度を必要とするような

eras,” Proc. IEEE Int. Conf. on Computer Vision and

画像解析による三次元モデル復元等への応用が可能な

Pattern Recognition, pp.482-488, 1997.
[4] J. Shimamura, H. Takemura, N. Yokoya, and K. Ya-

レベルであるといえる．

mazawa, “Construction and Presentation of a Vir-5. ま と めtual Environment Using Panoramic Stereo Images ofa Real Scene and Computer Graphics Models,” Proc.

全方位型マルチカメラシステム (OMS) によって得15th IAPR Int. Conf. on Pattern Recognition, vol.IV,
pp.463-467, 2000.

られる全方位動画像から，カメラブロックの外部パラ[5] H. Tanahashi, K. Yamamoto, C. Wang, and Y. Niwa,

メータを推定する手法を提案し，定量的な評価実験を“Development of a Stereo Omni-directional Imaging

行った．本論文では，まず，OMS における PnP 問題とその解法について述べた．次に，キーフレームで基準マーカを指定し，自然特徴点を自動追跡することで，全方位動画像のカメラ外部パラメータを精度良く推定

System(SOS),” Proc. IEEE Int. Conf. on Industrial
Electronics, Control and Instrumentation, pp.289294, 2000.
[6] S. Ikeda, T. Sato, and N. Yokoya, “High-resolution
Panoramic Movie Generation from Video Streams
Acquired by an Omnidirectional Multi-camera Sys-

する手法を提案した．

tem,” Proc. IEEE Int. Conf. on Multisensor Fusion

実験では，まず計算機シミュレーションによって，提案した PnP 問題の解法によるカメラ外部パラメー
タの推定精度について検証し，OMS を用いたカメラ
パラメータの推定が，単眼カメラに比べて有利である
ことを示した．次に，屋内・屋外の実環境において精and Integration for Intelligent System, pp.155-160,
2003.
[7] R. Horand, B. Conio, and O. Leboullex, “An Analytic Solution for the Perspective 4-Point Problem,”Computer Vision, Graphics, and Image Processing,vol.47, pp.33-44, 1989.

度良くカメラ外部パラメータを推定できることを定量[8] J. S. C. Yuan, “A General Photogrammetric Method的に示した．今後，提案手法で推定したカメラ外部パ

for Determining Object Position and Orientation,”

ラメータを用い，マルチベースラインステレオ法 [24]を適用することで，屋外環境の三次元モデル化を行なIEEE Trans. on Robotics and Automation, vol.5,
no.2, pp.129-142, 1989.
[9] R. Krishnan, and H. J. Sommer, “Monocular Poseof a Rigid Body Using Point Landmarks,” Computer

う予定である．

Vision and Image Understanding, vol.55, pp.307-316,
1992.
[10] R. Klette, K. Schluns, and A. koschan, eds., Computer Vision: Three-dimensional Data from Image,

表 2 カメラ位置・姿勢の推定誤差
Table 2 Estimation errors in position and angle.
(a) 位置の推定誤差の平均値/標準偏差 [mm]before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)

indooroutdoor44/23.6 230/173.9
43/22.2
90/34.1
41/23.5
66/26.9
33/24.9
47/22.6(b) 姿勢の推定誤差の平均値/標準偏差 [degree]
before global optimization
after global optimization (pat. 1)
after global optimization (pat. 2)
after global optimization (pat. 3)

10indoor
0.37/0.25
0.12/0.06
0.09/0.06
0.09/0.05

outdoor
0.92/0.44
0.09/0.04
0.08/0.04
0.07/0.04

Springer, 1998.
[11] P. Beardsley, A. Zisserman, and D. Murray, “Sequential Updating of Projective and Aﬃne Structure from
Motion,” Int. J. of Computer Vision, vol.23, no.3,
pp.235-259, 1997.
[12] C. Tomasi, and T. Kanade, “Shape and Motion from
Image Streams under Orthography: A Factorization
Method,” Int. J. of Computer Vision, vol.9, no.2,
pp.137-154, 1992.
[13] M. Pollefeys, R. Koch, M. Vergauwen,

A. A.

Deknuydt, and L. J. V. Gool, “Three-dimentional
Scene Reconstruction from Images,” Proc. SPIE,
vol.3958, pp.215-226, 2000.
[14] J. Gluckman, and S. Nayer, “Ego-motion and Omni-

論文／複数動画像からの全方位型マルチカメラシステムの位置・姿勢パラメータの推定佐藤

directional Cameras,” Proc. 6th Int. Conf. on Computer Vision, pp.999-1005, 1998.
[15]

奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研究科助手．コンピュータビジョンの研究

ture and Motion Parameters for a Roaming Robotthat Scans the Space,” Proc. 7th Int. Conf. on Computer Vision, vol.I, pp.579-584, 1999.
C. J. Taylor, “VideoPlus,” Proc. IEEE Workshop on[17]

R. Szeliski, and S. B. Kang, “Recovering 3D Shape（正員）

1999 年阪府大・工・情報工卒．2003 年

M. Etoh, T. Aoki, and K. Hata, “Estimation of Struc-

[16]

智和

に従事．2001 年電子情報通信学会学術奨
励賞受賞．情報処理学会，IEEE 各会員．

Omnidirecitonal Vision, pp.3-10, 2000.
and Motion from Image Streams Using Non-linear

池田

聖

（学生員）

Least Squares,” J. of Visual Communication and Im2001 年広島大・理・物理卒．2003 年奈
良先端科学技術大学院大学情報科学研究科

age Representation, vol.6, no.1, pp.10-28, 1994.
[18]

B. Triggs, P. McLauchlan, R. Hartley, and A. Fitzgib-

博士前期課程修了．現在，同大博士後期課
程に在学中．IEEE 会員．

bon, “Bundle Adjustment a Modern Synthesis,”
Proc. Int. Workshop on Vision Algorithms, pp.298372, 1999.
[19]

T. Sato, M. Kanbara, N. Yokoya, and H. Takemura,“Dense 3-D Reconstruction of an Outdoor Scene by横矢

Hundreds-baseline Stereo Using a Hand-held Video
Camera,” Int. J. of Computer Vision, vol.47, no.1-3,
K. Kanatani, Statistical Optimization for GeometricComputation: Theory and Practice, Elsevier Science,
1998.
[21]

C. Harris, and M. Stephens, “A Combined Corner and Edge Detector,” Proc. Alvey Vision Conf.,
pp.147-151, 1988.

[22]

M.A. Fischler, and R.C. Bolles, “Random Sample
Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography,” Communications of the ACM, vol.24, no.6,（正員）

1974 年阪大・基礎工・情報工卒．1979
年同大大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフト

pp.119-129, 2002.
[20]

直和

ウェア，画像データベース，コンピュータ
ビジョンの研究に従事．1986 〜87 年マッ
ギル大・知能機械研究センター客員教授．
1992 年奈良先端科学技術大学院大学・情報科学センター教授．
現在，同大情報科学研究科教授．1990 年情報処理学会論文賞受
賞．工博．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE
各会員．

pp.381-395, 1981.
[23]

Point Grey Research Inc., “Ladybug,”[24]

M. Okutomi, and T. Kanade, “A Multiple-baseline

http://www.ptgrey.com/products/ladybug/index.html.
Stereo,” IEEE Trans. Pattern Analysis and MachineIntelligence, vol.15, no.4, pp.353-363, 1993.

（平成 xx 年 xx 月 xx 日受付）

11

Abstract Recently, many types of omni-directional cameras have been developed and have attracted
much attention in a number of diﬀerent ﬁelds. Especially, the multi-camera type of omni-directional camera
has advantages of high-resolution and almost uniform resolution for any direction of view. In this paper,an extrinsic camera parameter recovery method for a moving omni-directional multi-camera system (OMS)
is proposed. First, we discuss a perspective n-point (PnP) problem for an OMS, and then describe a practical extrinsic camera parameter recovery method from multiple image sequences obtained by an OMS.
The proposed method is based on using the structure-from-motion and the PnP techniques. The proposed
method has been successfully demonstrated with experiments using both synthetic environment and real
image sequences.
Key words Omni-directional multi-camera system, Perspective n-Point(PnP) problem, Structure frommotion, Feature tracking