論文

マーカと自然特徴点の追跡による動画像からのカメラ移動パラメー
タの復元佐藤 智和†

神原誠之†

横矢 直和†

竹村 治雄††

Camera Parameter Estimation from a Long Image Sequence by Tracking Markers
and Natural Features
Tomokazu SATO† , Masayuki KANBARA† , Naokazu YOKOYA† , and Haruo
TAKEMURA††

あらまし 動画像からのカメラパラメータの復元は，三次元モデル復元，物体認識，ロボットナビゲーション，
複合現実感など，様々な分野への応用が可能である．しかし，屋外環境のように複雑で広域な環境では，動画像上の特徴点が頻繁に出現・消失するために，安定した特徴点の追跡が困難となりカメラパラメータ推定の誤差が累積する．この問題を回避するため，本研究では三次元位置関係が既知の複数個の基準マーカを利用する．提案
手法では，まず基準マーカを動画像の初期フレームの画像上で指定し，第 2 フレーム目以後で自然特徴点を画像
上で自動追跡することによって，撮影時のカメラの外部パラメータと自然特徴点の三次元位置を逐次推定する．
次に，最終フレームを含む少数の画像上で基準マーカを指定して動画像全体での最適化を行うことにより，累積的な外部パラメータの推定誤差を最小化する．また，自然特徴点の追跡と三次元復元の処理を統合的に扱うことで，安定した自然特徴点の追跡を行う．実験では，屋外環境を撮影した動画像を入力とした復元結果を示し，評価を行うことで本手法の有効性を示す．
キーワード

三次元復元，単眼動画像，カメラパラメータ，自然特徴点，マーカ

1. は じ め にきるが，カメラモデルを線形近似するためにカメラパ
ラメータの復元精度に問題がある．さらに，動画像の動画像からのカメラパラメータの復元は，三次元モ

全てのフレームに撮影されている特徴点を用いるこ

デル復元，物体認識，ロボットナビゲーション，複合とを前提としているため，特徴点が全てのフレームに現実感など，様々な分野への応用が可能である．その渡って連続して観測できない一般的な動画像からの三ため動画像内の見かけの特徴点の動きから，特徴点の次元復元は困難である．近年, 不完全なデータに同手

三次元位置とカメラパラメータを自動的に復元する手法を適用する手法 [9] や透視投影モデルへの適用を試

法 (shape from motion) に関する研究が盛んに行われみる手法 [10] が提案されているが, これらの問題を同時に解決することは難しく, 複雑な屋外環境データへている [1]〜[8]．
それらの代表的な手法に，カメラモデルを線形近似の手法の適用は困難である.

し，線形解法によって撮影対象の形状とカメラの運動

また，射影的な復元を利用する手法が提案されていパラメータを同時に求める因子分解法 [1], [2] がある．

る [4]〜[7]．これらは，各フレームにおいて，逐次的にこの手法は安定かつ高速に対象の復元を行うことがで射影的なカメラパラメータを復元し，射影座標系からユークリッド座標系への変換を行うことでカメラパラ†

奈良先端科学技術大学院大学 情報科学研究科，奈良県

メータを復元する．しかし射影的な復元では，多くのGraduate School of Information Science, Nara Institute of

自由度を残したまま逐次的な三次元復元を行うため，

Science and Technology ，8916-5 Takayama，Ikama， Nara，

特徴点の誤対応による累積的な推定誤差が大きくなり，

630-0101 Japan†† 大阪大学 サイバーメディアセンター，大阪府

Cybermedia Center ，Osaka University，1-32 Machikaneyama，
Toyonaka， Osaka，560-0043 Japan

電子情報通信学会論文誌 D–II

数十枚程度の画像からの復元を行うにとどまっている．
また，これらの手法では現実世界と復元されるデータ

Vol. Jxx–D–II

No. xxpp. 1–10xxxx 年 xx 月

1

電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xxとの位置関係およびスケールの情報が失われるため，複数回に分けて撮影した動画像間の復元データを統合
して広域な環境を復元するのは難しい．

2. 特徴点の追跡によるカメラの外部パラメータの復元一方, 複数の奥行き画像を三次元空間内で統合する

本章では，動画像中の特徴点を追跡し，カメラの外ことによって, 撮影対象の三次元モデルと撮影時のカ部パラメータを推定をする手法について述べる．ただメラパラメータを同時に復元する手法が提案されていし，カメラの内部パラメータは既知であるとする．提る [11], [12]. しかし, カメラパラメータの良い初期値

案手法では，図 1 に示すように，まず初期フレームが必要であることや, 重複領域を持つ高精度な奥行きにおいて三次元位置が既知の 6 個以上の基準マーカ

画像を多数必要とするためにレーザレンジファインダ

を画像上で指定する．これにより，初期フレームにおなどの特殊な機材が必要であることが問題である. まけるカメラの外部パラメータが推定される．次に，フた, 一般にレーザレンジファインダによる奥行き画像

レーム毎の処理 (図 1 中 A) を初期フレームから最終

計測には時間がかかるため, 広域な環境を密に撮影す

フレームまで繰り返すことにより，全てのフレームにるためには撮影コストが膨大となる.

おけるカメラの外部パラメータと自然特徴点の三次元

そこで我々は，屋外環境を動画像として撮影し, 三

位置を逐次的に推定する．この手法では蓄積誤差が含次元位置が既知の特徴点 (以下，基準マーカ) と自然特まれるため，最終フレーム，中間フレームなどの少数徴点を画像上で同時に追跡することでカメラの外部パの画像上で基準マーカを指定し，推定されたカメラのラメータを推定する手法 [8] を提案し，推定されたカ

外部パラメータと自然特徴点の三次元位置を入力動画

メラパラメータを用いてマルチベースラインステレオ

像全体で最適化する (図 1 中 B)．これにより，累積す法によってシーンの三次元モデルを復元する手法 [13]る外部パラメータの推定誤差を最小化する．また，本に応用している．本論文では，文献 [13] の前提となっ手法では，自然特徴点の三次元位置と信頼度を逐次更ていた基準マーカと自然特徴点の追跡によるカメラの新し，次のフレームでの自然特徴点の追跡に利用する

外部パラメータの復元手法に関して詳述し，定量的評ことで，マーカが撮影されていないフレームにおいて価を行う．

も精度良くカメラの外部パラメータを復元する．以下，

本手法では，基準マーカをトータルステーションと呼ばれる三次元測量機材を用いて計測し，初期フレー
ムと最終フレームを含む少数の画像上で基準マーカを各処理について詳述する．

2. 1 逐次処理によるカメラの外部パラメータの推定

指定し，全体での最適化処理を行うことで，カメラの本節では，フレーム毎の処理 (図 1 中 A) によって，

外部パラメータの累積的な推定誤差を最小化する．まカメラの外部パラメータと自然特徴点の三次元位置をた，追跡中の自然特徴点の三次元位置を逐次更新し，推定する手法の各処理について順に述べる．本手法は,次のフレームでの特徴点の探索に利用することで，自追跡中の自然特徴点の三次元位置を逐次更新し，次の然特徴点の安定した追跡を実現している．これにより，フレームでの特徴点の探索に利用することで，安定し複雑で広域な環境を撮影した千枚程度から成る動画像

た自然特徴点の追跡を実現する．また, 自然特徴点ののカメラの外部パラメータを効率的かつ精度良く推定

信頼度や再投影誤差などの複数の評価尺度を用いるこすることが可能となる．ただし, 本論文で用いる基準とで, フレーム毎に自動で自然特徴点を追加・削除す

マーカは, 自然特徴点または環境中に人工的に設置さることができる.

れる色・形状が既知のマーカを想定しており, 基準マーカの三次元位置および画像上の追跡座標は常に信頼できるものとする.

2. 1. 1 マーカと自然特徴点の追跡
一般に, 画像上の情報のみを用いた自然特徴点の追跡手法 [14], [15] における問題点として, (a) フレーム

以下，2 章では，特徴点 (基準マーカと自然特徴点)

が進むに従って増加するテンプレートの中心位置のずを画像上で追跡し，カメラの外部パラメータと自然特れ，(b) 周辺類似パターンとの誤対応，が挙げられる．

徴点の三次元位置を復元する手法について述べる．3

本研究では，(a) を解決するために，入力画像上のエッ章では，実際に屋外環境を撮影した動画像を用いて実ジのコーナなどの追跡の容易な点を Harris のインタ験と評価を行い，本手法の特徴と有用性を考察する．

レストオペレータ [16], [17] を用いて検出し，この出力

最後に 4 章で，本稿のまとめと今後の課題を述べる．

が極大値となる点を自然特徴点の追跡位置の候補とす

2

論文／マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元

marker specification at the first frame(A) initial camera parameter estimation

追跡された特徴点からランダムに n 個 Pi = {pi1 ，pi2，. . . , p in } を選択し，次節に述べる手法によって仮の外部パラメータ M̂i を推定する．次に，追跡された全ての特徴点に対して，図 2 に示すような，特徴点 p がmarker and natural feature tracking
extrinsic camera parameter estimation

追跡された画像上の座標 xf p と特徴点 p の三次元座標

Sp を M̂i によって画像上に投影した座標 x̂f p との距離の二乗誤差 Rif p (以下，再投影誤差) の中央値 RMi

3-D position estimation of natural featuresを算出する．ただし，ここでは Sp として第 (f − 1) フ
レームで推定されている三次元位置を用いる．なお，

computing confidence of features

再投影誤差 Rif p とその中央値 RMi は以下の式によって表される．

adding and deleting natural features

Rif p = |xf p − x̂f p |2

(1)(B) error minimization in the whole input

RMi = med(Rif 1 ，Rif 2 ，. . . ，Rif m )図 1 提案手法の処理の流れ
Fig. 1 Flow diagram of camera parameter estimationand 3-D reconstruction．

(2)

ただし，m はステップ (2) で仮に追跡された特徴点の数である．

(4) ステップ (3) を g 回繰り返して得られる複数のる．また, テンプレートをフレーム毎に更新すること
で, 自然特徴点の見え方の変化に対応する. また (b)に関しては，既に推定されている自然特徴点の三次元
位置とロバスト推定 [18] によって算出される暫定的なカメラパラメータを用いて，追跡すべき自然特徴点の探索範囲を限定することで解決する．
以下に，第 f フレーム (f >= 2) における特徴点の追跡処理手順を述べる．

(1) 第 (f − 1) フレームにおける各基準マーカに対仮の外部パラメータ (M̂1 , . . . , M̂g ) に対して，以下に示す LMedS 基準を満たす外部パラメータを選択し，
暫定パラメータ M̄f とする．

LM edS = min(RM1 ，RM2 ，. . . ，RMg )(3)(5) 暫定パラメータ M̄f を用いて第 (f − 1) フレー
ムにおける全ての特徴点 p の三次元座標 Sp を画像上に投影し，その座標を中心とする探索窓内でステップ

して，画像上での追跡を行なう．基準マーカとして,(2) と同様の対応づけを行い追跡位置を確定する．ただし，ここで用いる探索窓はステップ (2) で用いた探人工的に設置される色・形状が既知のマーカを利用す

索窓より小さくする．

る場合には, 色・形状の情報を用いた一定範囲の窓内

2. 1. 2 カメラの外部パラメータの推定での自動追跡を行なう [8]. また, 自然特徴点の一部を

本節では，特徴点の画像上の二次元座標と，特徴点

基準マーカとして利用する場合には, 他の自然特徴点の世界座標における三次元座標を用いてカメラの外部の三次元位置が精度良く推定されるまでの数十フレー

パラメータを推定する．本手法においては，式 (1) でムの間, 手動での追跡を行なう.

示した再投影誤差 Rf p を誤差尺度として利用する．こ(2) 第 (f − 1) フレームで追跡されている各自然特れにより，第 f フレームにおけるカメラの外部パラ徴点に対し，その特徴点の画像上の位置を中心とする

メータ Mf は次の誤差関数 Ef を最小化することで推探索窓内で SSD を評価尺度としたテンプレートマッ

定される．

チングを用いることで第 f フレームにおける仮の追跡を行う．ただし，テンプレートマッチングは Harris のインタレストオペレータ [16] の出力が極大値となる点

Ef =Wp Rf p(4)pに対してのみ行う．

ここで，Wp は特徴点 p における重みであり，後述す(3) 以下，ロバスト推定の繰り返し処理を開始する．
i 回目の繰り返し処理においては，まずステップ (2) でる特徴点 p の信頼度により決定する．また，外部パ
ラメータ Mf の自由度は 6 とし，カメラ座標系の基
3電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx
center of projectionin f-th frame

projected position of S p : x̂ fp

式 (1) で示した再投影誤差 Rf p を誤差尺度として利用
する．自然特徴点の三次元位置 Sp は，次の誤差関数

Ep を最急降下法によって最小化することで推定する．
Ep =

Rf p

(5)

f

Sp の初期値は，自然特徴点の画像上の座標とカメラ

squared re-projection error:

Rifp = | x fp − xˆ fp |3D position of feature p: S p

tracked position of feature p: x fp
図 2 再投影の誤差
Fig. 2 Reprojection error.

底ベクトルは単位直交条件を満たすものとする．このような誤差関数 Ef の最小化は非線形最小化問題であり，局所解や計算量の問題があるため，本手法では出口らの手法 [19] を利用し，最小自乗法によって外部パラメータの初期値を線形演算によって推定し，補正を行った後に，非線形最適化を行う．以下に外部パラメータの推定手順を示す．

(1) 出口らの手法 [19] を利用し，線形最小自乗法によってカメラの外部パラメータの初期値を推定する．
ここで推定される外部パラメータは，カメラ座標系の基底ベクトルが単位直交条件を満たしておらず，自由度が 12 となるため，推定されるカメラの位置がノイズに敏感となる．

の投影中心を結ぶ直線群との距離の二乗和が最小となる三次元位置を，線形最小自乗法によって算出することで得る．

2. 1. 4 特徴点の信頼度の算出
第 f フレームにおいて算出される自然特徴点の信頼度は，第 (f + 1) フレームにおけるカメラの外部パラメータ推定の重みと，第 f フレームにおける自然特徴
点の追加・削除の指標として用いられる．本節では第f フレームにおける自然特徴点の信頼度の算出について述べる．
先に求まった第 f フレームにおける特徴点 p の画
像上の座標 xf p は，追跡誤差により一般的に，p の三次元位置 Sp を画像上に投影した座標 x̂f p と一致しない．そこで，この追跡誤差が x̂f p 周辺に分散 σp2 をもつガウス分布を成すものとしてモデル化を行う．このとき，xf p が真値である確率密度関数 p(xf p ) は次式のようになる．

p(xf p ) =1|xf p − x̂f p |2
exp(−
)
2
2πσp
2σp2

(6)

(2) ステップ (1) で推定された初期値を補正し，外部パラメータの自由度を 6 に補正する．ステップ (1)これを用い，第 f フレームにおける全ての特徴点 p ので用いた手法では，特徴点の画像上での追跡誤差が，確率密度関数の積 Pf を考える．

推定されるカメラ位置の光軸方向に大きく影響する．

Pf =このため，本手法では真のカメラ位置が推定された光p(xf p )(7)

p軸上に存在すると仮定し，線形演算によって外部パラ
メータの自由度を 6 に補正する．

このような確率密度関数の積 Pf を最大とする外部パ(3) ステップ (2) で求まった外部パラメータを初期値とし，最急降下法により Ef を最小化する．先に行っラメータ Mf は，た線形演算によって求めた初期値は真値に近い推定値

EMf =
p

であると考えられるため，局所解に陥ることを回避し，少ない演算回数で大域最小解を求めることができると|xf p − x̂f p |2
2σp2

(8)

を最小化することにより得られる．本手法では，σp2 と考えられる．これにより，再投影誤差の重みつきの和して第 (f − 1) フレームまでの再投影誤差の分散を用である Ef を最小化する Mf を求める．

い，式 (4) と式 (8) を比較することにより，第 (f − k)2. 1. 3 自然特徴点の三次元位置の推定

フレームから第 (f − 1) フレームまで追跡されている各フレームにおいて推定されたカメラパラメータと特徴点 p の信頼度 Wp を次式のように定義する．

自然特徴点 p の画像上の座標 xf p から，その自然特徴点の三次元位置 Sp を推定し，毎フレーム更新する．
ここでは，カメラの外部パラメータの推定と同様に，
4

1
k
Wp =
=
2σp2
2



|xip − x̂ip |i=f −k



−1

f −1
2

(9)

論文／マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元

2. 1. 5

自然特徴点の追加 · 削除

本論文では, 広域な屋外環境を撮影対象とした動画

3. 実

験

像を扱うため, カメラの動きによって画像上での自然提案手法の有効性を確認するため，実環境における特徴点の出現・消失が起こる. そこで, 複数の評価尺建物として奈良・朱雀門を，広域で複雑な環境として度を用いることで, フレーム毎に自動で自然特徴点の大阪・住道の町並みをビデオカメラで撮影し，カメラ追加・削除を行なう.

パラメータの復元実験を行った．両実験ともに，ワイ自然特徴点の追加は，画像上の情報のみを用いて追ドレンズ (Sony VCL-HG0758) を取り付けたビデオ

跡された自然特徴点の候補から，以下の条件を全て満カメラ (Sony DSR-DP-150) を用いて撮影を行い，得たすものを選択することで実現する．

られた動画像を入力とした．ただし，カメラの内部パ

•
•
•
•

信頼度が一定値以上

ラメータは Tsai の手法 [20] によりあらかじめ得た値

各画像間のマッチング誤差が一定値以下を用いた．

Harris オペレータによる特徴量が一定値以上

3. 1 建物を対象としたカメラパラメータの復元推定される三次元位置と各フレームのカメラ

本実験においては，手持ちのビデオカメラを用いての投影中心を結ぶ直線群の成す最大角が一定値

建物を中心とする円弧を描くように撮影を行い，図以上
また，以下のいずれかの条件を満たす自然特徴点を削

3(a) を含む画像 982 枚 (720×480 画素，プログレッシブ撮影) を得た．また，あらかじめ，図 3(b) に○印

除する．

で示す点を含む複数の自然特徴点を基準マーカとし，• 信頼度が一定値以下• 各画像間のマッチング誤差が一定値以上• 再投影誤差が一定値以上

準マーカの画像上の位置は初期フレーム，第 500 フ

2. 2 動画像全体での最適化

レーム，最終フレームの画像上で指定し, 第 2 フレー

その三次元位置関係を，三次元測量機器トータルス
テーション (Leica TCR1105) を用いて計測した．基

これまでの処理は逐次的に行うため各フレームにおム以降, 第 100 フレームまでの基準マーカの画像上のける処理は短時間で行えるが，誤差が蓄積するという座標を手動で追跡した. また, その他のフレームにお問題がある．そこで，2. 1 節で用いた基準マーカに加いては基準マーカを利用しなかった.

えて，最終フレームを含む少数のフレームの画像上で

図 3(b) に特徴点の追跡結果を示す．図中の○印は指基準マーカを指定し，全体での最適化を行うことで，定した基準マーカを，白点は追跡された自然特徴点を累積的な誤差を最小化する．ここでは，外部パラメー表している．同図に示すように，多数の自然特徴点が

タ Mf と自然特徴点 p の三次元位置 Sp をパラメータ

追加・削除を伴って安定に追跡された．本実験においとし，最後に全フレームに対して最適化を行う．最適ては，各フレームで平均 190 点の自然特徴点がそれぞ化の誤差関数には次式を用い，Mf と Sp の初期値にれ平均 100 フレーム間自動で追跡された．実験には，は逐次処理によって得られた推定結果を用いる．

PC(Pentium4 2GHz，Memory 1GB) を用い，カメE=

Wp |xf p − x̂f p |2

Af

f



ラの外部パラメータの復元処理に要した時間は，自然

(10)

p

特徴点の自動追跡を含む逐次的な復元処理に約 2800
秒，全体での最適化処理における 100 回の繰り返し計

ここで Wp は，逐次処理で得た自然特徴点 p の信頼度

算に約 4700 秒であり，全体最適化後の自然特徴点のである．Af は，フレームの信頼度による重みであり，

平均投影誤差は，0.95 画素であった．

ここでは，基準マーカが存在しないフレームでは 1 を,

図 4 に復元された自然特徴点の三次元位置とカメラ

基準マーカが存在するフレームでは 1 に対して十分にパラメータの推定結果を示す．曲線は推定されたカメ

大きな値を設定する. これにより, マーカが存在する

ラパスを，錘台は 50 フレーム毎のカメラの姿勢を表

フレームでの推定結果を真値とみなして, 動画像全体

す．本実験において復元されたカメラパスの長さは約の再投影誤差を最小化することができる. この最適化

76m であった．同図から分かるように，カメラパスはは非線形最小化問題となるが，初期値が真値に近けれ滑らかに推定されており，また画像上で基準マーカをば解は大域最小解に収束しやすくなり，また高速に求指定しなかったフレームにおいても，自然特徴点を手めることができる．

掛かりにカメラの位置 · 姿勢を復元することができた．
5

電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

ﬁrst frame

図 4 カメラパラメータの推定結果 (建物)Fig. 4 Result of camera parameter estimation (building).
160th frame

3. 2 町並みを対象としたカメラパラメータの復元
本実験では，ビデオカメラを車の上に三脚で固定し，町並みを撮影しながら走行することで，図 5(a) を含む
320th frame

画像 500 枚 (720×480 画素，プログレッシブ撮影) を得た．また，前節の建物の復元実験と同様に，図 5(b)に○印で示す自然特徴点を基準マーカとし，三次元位
置関係をトータルステーションを用いて座標系を統一して計測した．基準マーカの画像上の位置は，初期フレーム，第 250 フレーム，最終フレームの画像上で指500th frame

定し, 第 2 フレーム以降, 第 50 フレームまで基準マー
カの画像上の座標を手動で追跡した. また, その他のフレームにおいては基準マーカを利用しなかった.
図 5(b) に特徴点の追跡結果を示す．図中の○印は指定した基準マーカを，白点は追跡された自然特徴点を表している．本実験において追跡された自然特徴点

640th frameの数は各フレーム平均 110 点であり，それぞれ平均 20
フレーム間自動で追跡された．また，実験には前節と同じ計算機を用い，カメラの外部パラメータの復元処理に要した時間は，自然特徴点の自動追跡を含む逐次的な復元処理に約 1000 秒，全体での最適化処理にお800th frame

ける 100 回の繰り返し計算に約 1800 秒であり，全体最適化後の自然特徴点の平均投影誤差は，0.82 画素であった．
図 6 に復元された自然特徴点の三次元位置とカメ
ラパラメータの推定結果を示す．前節と同様に，曲線は推定されたカメラパスを，錘台は 50 フレーム毎の982th frame(b) Result of tracking(a) Input images
features

カメラの姿勢を表す．本実験において復元されたカメ

図 3 入力画像と特徴点の追跡結果 (建物)Fig. 3 Input images and result of feature tracking(building).

うに，オクルージョンの発生する複雑な町並みを撮影

6

ラパスの長さは約 130m であった．同図から分かるよ
した動画像を入力として用いた場合にも，カメラ位置の軌跡は滑らかに推定されており，また画像上で基準

論文／マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元

ﬁrst frame

図 6 カメラパラメータの推定結果 (町並み)Fig. 6 Result of camera parameter estimation (street
scenery).
85th frame

マーカを指定しなかったフレームにおいても，自然特徴点を手掛かりにカメラの位置 · 姿勢を復元することができた．
170th frame

3. 3 カメラの外部パラメータの推定精度の評価
上述の実験により推定されたカメラの外部パラメー
タの定量的な評価を行う．一般に，屋外環境においてカメラの外部パラメータの真値を得ることは困難であるため，本実験では全ての入力画像上で基準マーカを手動で追跡することで誤追跡による誤差が累積しない

250th frame

外部パラメータを求め，この外部パラメータとの差を推定誤差とみなすことで評価を行った．ここでは基準
マーカとして，3. 1 節における建物を対象とした復元実験では各フレームにおいて平均 30 点，3. 2 節における町並みを対象とした復元実験では各フレームにおいて平均 20 点を指定した．

340th frame

建物を対象とした復元実験により推定された外部パ
ラメータと基準マーカのみで復元された外部パラメー
タの各フレームにおける位置の推定誤差を図 7 に示す．また各フレームにおける光軸ベクトルの角度の推定誤差をグラフで図 8 に示す．図より，2. 2 節で述べ425th frame

た全体最適化によって，外部パラメータ推定の累積誤差が軽減されていることが分かる．また，建物を対象とした復元実験においては，全体最適化前のカメラ位置の推定誤差は平均 240mm，光軸方向の推定誤差は(a) Input images

500th frame(b) Result of tracking
features

図 5 入力画像と特徴点の追跡結果 (町並み)Fig. 5 Input images and result of feature tracking(street scenery).

平均 0.20 °であり，全体最適化後にはそれぞれ，平均
110mm，平均 0.09 °となった．
同様に，図 9，図 10 に，町並みを対象とした実験で復元した外部パラメータと基準マーカのみで復元された外部パラメータとの推定誤差を示す．町並みを対象とした復元実験においては，全体最適化前のカメラ位置の推定誤差は平均 220mm，光軸方向の推定誤差は7電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

平均 0.22 °であり，全体最適化後にはそれぞれ，平均

distance between camera positions [mm]

1000
900

before global optimization

800

after global optimization

90mm，平均 0.17 °となった．建物の復元実験と同様

700に，全体最適化によってカメラの外部パラメータ推定

600の累積誤差が小さくなっていることが分かる. ただし,

500

図 10 に示したカメラの光軸方向の推定誤差に関して,

400
300

全体最適化前には, 中間フレームと最終フレームでの200

推定誤差が周辺のフレームの推定誤差に較べて小さく100なっていたため, 他の結果と比較して全体最適化の明

0
0

100

200

300

400
500
frame number

600

700

800

900

確な効果が現れていない．

図 7 カメラ位置の推定誤差 (建物)Fig. 7 Estimation errors of camera positions (building).
angle between optical axes [deg.]1

本論文では，まず基準マーカと自然特徴点を画像上

0.9

before global optimization

0.8

after global optimization

で追跡することにより逐次的な三次元復元を行い，次0.7に全体最適化によって累積的な推定誤差を最小化する

0.6

ことで，精度良くカメラの外部パラメータを推定する

0.5
0.4

手法を提案した．実験により，提案手法では多くのオ

0.3

クルージョンを含む千枚程度の画像から成る動画像に0.2

対しても累積誤差を抑えてカメラパラメータの復元を0.1行うことが可能であることを確認した．具体的には，

0
0

100

200

300

400
500
frame number

600

700

800

900

カメラの外部パラメータの復元精度について定量的な

図 8 カメラ光軸の推定誤差 (建物)Fig. 8 Estimation errors of camera rotation (building).
distance between camera positions [mm]1000

評価を行い，100m 程度の移動を伴う屋外環境の撮影においては，カメラ位置に関して平均誤差 100mm 程度，カメラの光軸方向に関して平均誤差 0.2 °程度で外900

before global optimization

800

after global optimization

部パラメータを得ることが可能であることを確認した．
今後は，高解像度全方位カメラ [21] を用いた動画像

700
600

からの三次元復元手法や，推定したカメラパラメータ500を用いた三次元モデル獲得手法の検討を行う予定で

400
300

ある．

200

文

100
0
0

100

200
frame number

300

400

500

図 9 カメラ位置の推定誤差 (町並み)Fig. 9 Estimation errors of camera positions (street
scenery).
1
angle between optical axes [deg.]

4. ま と め

献[1] C. Tomasi and T. Kanade: “Shape and Motion from
Image Streams under Orthography: A Factorization
Method,” Int. J. of Computer Vision, Vol. 9, No. 2,
pp. 137–154, 1992.
[2] J. Poleman and T. Kanade: “A Paraperspective Factorization Method for Shape and Motion Recovery,”

0.9

before global optimization

0.8

after global optimization

Tech. Rep. CMU-CS-93-219, Carnegie-Mellon Univ.,
1993.

0.7

[3] R. Szeliski and S. B. Kang: “Recovering 3D Shape

0.6
0.5

and Motion from Image Streams Using Non-linear

0.4

Least Squares,” J. of Visual Communication and Im-

0.3

age Representation, Vol. 6, No. 1, pp. 10–28, 1994.

0.2[4] P. Beardsley, A. Zisserman and D. Murray: “Sequen-

0.1

tial Updating of Projective and Aﬃne Structure from

0500

Motion,” Int. J. of Computer Vision, Vol. 23, No. 3,

図 10 カメラ光軸の推定誤差 (町並み)Fig. 10 Estimation errors of camera rotation (street
scenery).

[5] H. S. Sawhney, Y. Guo, J. Asmuth and R. Ku-

0

8

100

200
frame number

300

400

pp. 235–259, 1997.
mar: “Multi-view 3D Estimation and Application to
Match Move,” Proc. IEEE Workshop on Multi-view論文／マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元
Modeling and Analysis of Visual Scenes, pp. 21–28,

tem,” Proc. SPIE, Vol. 5006, 2003.

1999.
[6]

（平成 x 年 xx 月 xx 日受付）

G. Roth and A. Whitehead: “Using Projective Vision
to Find Camera Positions in an Image Sequence,”
Proc. 13th Int. Conf. on Vision Interface, pp. 87–94,
2000.

[7]

M. Pollefeys, R. Koch, M. Vergauwen,

A. A.

佐藤

Deknuydt and L. J. V. Gool: “Three-dimentional

奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，同大博士後期課程に在学中．コンピュータビジョンの研3958, pp. 215–226, 2000.
T. Sato, M. Kanbara, H. Takemura and N. Yokoya:“3-D Reconstruction from a Monocular Image Se-

究に従事．2001 年電子情報通信学会学術奨励賞受賞．情報処理学会会員, IEEE 各

quence by Tracking Markers and Natural Features,”Proc. 14th Int. Conf. on Vision Interface, pp. 157–
164, 2001.
[9]

会員．

D. W. Jacobs: “Linear Fitting with Missing Data:
Applications to Structure-from-Motion and to Characterizing Intensity Images,” Proc. IEEE Conf. on
Computer Vision and Pattern Recognition, pp. 206–
212, 1997.

[11]

出口: “透視投影条件下での因子分解法による多視点画像
からの形状復元”, 情処研報 CVIM106-6, 1997.
増田: “符号付距離場の一致による複数距離画像からの形[12]状モデル生成”, 画像の認識・理解シンポジウム (MIRU
2002) 講演論文集, Vol. I, pp. 1–10, 2002.
西野, 池内: “大規模距離画像群の頑健な同時位置合わせ”,[13]

電子情報通信学会論文誌（D-II), Vol. J85-D-II, No. 9,
pp. 1413–1424, 2002.
佐藤, 神原, 竹村, 横矢: “マルチベースラインステレオ法[14]を利用した動画像からの屋外環境の三次元モデル化”, バー
チャルリアリティ学会論文誌, Vol. 7, No. 2, pp. 275–282,
2002.
C. Tomasi and T. Kanade: “Detection and Track-

[10]

（学生員）

1999 年阪府大・工・情報工卒．2001 年

Scene Reconstruction from Images,” Proc. SPIE, Vol.
[8]

智和

神原

誠之

（正員）

1997 年岡山大・工・情報工卒．2002 年

奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研究科助手．コンピュータビジョン，拡張
現実感の研究に従事．1999 年電子情報通信学会学術奨励賞受賞．博士（工）．情報処理学会，日本バーチャルリアリティ学会，IEEE 各会員．

横矢

直和

（正員）

1974 年阪大・基礎工・情報工卒．1979

年同大大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフト
ウェア，画像データベース，コンピュータ[15]

Carnegie-Mellon Univ., 1991.
藤井, 神原, 竹村, 横矢: “拡張現実のためのジャイロセン

ビジョンの研究に従事．1986 〜87 年マッ
ギル大・知能機械研究センター客員教授．
1992 年奈良先端科学技術大学院大学・情報科学センター教授．
現在，同大情報科学研究科教授．1990 年情報処理学会論文賞受[16]

サを併用したステレオカメラによる位置合わせ”, 信学技報, MVE99-59, 2000.
C. Harris and M. Stephens: “A Combined Corner and賞．工博．情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE
各会員．

ing of Point Features,” Tech. Rep. CMU-CS-91-132,

Edge Detector,” Proc. Alvey Vision Conf., pp. 147–
151, 1988.
[17]

C. Schmid, R. Mohr and C. Bauckhage: “Comparingand Evaluating Interest Points,” Proc. 6th Int. Conf.
on Computer Vision, pp. 230–235, 1998.

竹村

治雄

（正員）

1982 年阪大・基礎工・情報工卒．1987

栗田, 坂上: “ロバスト統計とその画像理解への応用”, 画像の認識・理解シンポジウム (MIRU 2000) 講演論文集,

同大大学院博士後期課程単位取得退学．同年（株）ATR 入社．3 次元ユーザインタ
フェース，CSCW，仮想現実の研究に従事．

[19]

Vol. I, pp. 65–70, 2000.
出口: “射影幾何学による PnP カメラ補正問題の統一的解法”, 情処シンポジウム, Vol. 90, pp. 41–50, 1990.

1994 年奈良先端科学技術大学院大学・情報科学研究科助教授．2001 年大阪大学サイバーメディアセンター教授．工博．情報処理学会，日本バーチャ[20]

R. Y. Tsai: “An Eﬃcient and Accurate Camera Cal-

ルリアリティ学会，IEEE，ACM ，HFES，映像情報メディア
学会，ヒューマンインターフェース学会各会員．

[18]

ibration Technique for 3D Machine Vision,” Proc.
IEEE Conf. on Computer Vision and Pattern Recognition, pp. 364–374, 1986.
[21]

S. Ikeda, T. Sato and N. Yokoya: “An Calibration
Method for an Omnidirectional Multi-camera Sys-

9

電子情報通信学会論文誌 ’xx/xx Vol. Jxx–D–II No. xx

abstruct
Camera parameter reconstruction from an image sequence is very useful for many applications such as 3Dmodel reconstruction, object recognition, robot navigation, and mixed reality. However, there is a problem of the precision in the camera parameter reconstruction from many images because feature tracking
errors and estimation errors are accumulated. In this paper, we propose a camera parameter reconstruction
method which is based on using a number of markers with known position, color and shape, as well as
natural features. The camera parameters and 3D positions of natural features are estimated eﬃciently inevery frame by tracking these markers and natural features. Finally the accumulation of estimated error
is minimized by specifying the markers in the last frame and optimizing parameters globally in the whole
input. We demonstrate and evaluate experimental results of 3D reconstruction from real image sequences
for showing the validity of the proposed method.

Key words: 3D reconstruction, Monocular image sequence, Camera parameters, Natural features, Markers

10