Vol. 0

No. 13

情報処理学会論文誌

1959

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定
横
佐

地 裕
藤 智

次†,☆ 池 田聖†和†横 矢 直 和†本論文では，屋外環境下で広範囲にカメラを移動し取得した動画像と GPS による位置情報からカメラの外部パラメータを推定する手法を提案する．提案手法は，動画像中の特徴点の追跡により外部パラメータを推定する手法を基に，GPS による位置情報を用いた外部パラメータの最適化により，累積的な推定誤差を軽減するものである．さらに，GPS の位置情報を用いて推定された暫定的な外部パラメータを特徴点の追跡処理にフィードバックすることにより，特徴点の追跡自体についても精度向上を図る．シミュレーションによる精度評価実験および屋外実環境下で取得した動画像と GPS による位置情報を用いた実験により，環境中の三次元位置が既知な点を用いて累積誤差を軽減する手法と同程度の精度で外部パラメータが推定可能であることを確認した．

Estimation of Extrinsic Camera Parameters
Based onFeature Tracking and GPS Data
Yuji YOKOCHI,†,☆ Sei IKEDA,† Tomokazu SATO†
and Naokazu YOKOYA †This paper describes a novel method for estimating extrinsic camera parameters using animage sequence and sparse position data acquired by GPS. This method is based on tracking
a number of image features and optimizing extrinsic parameters using position data from
GPS. The position data are actually used to prevent the algorithm from incorrectly tracking
image features. Moreover, the position data are also used for optimizing extrinsic parameters
over the whole image sequence. The proposed method allows us to estimate extrinsic parameters accurately with little accumulated estimation errors even from a long image sequence.
The scale of estimated extrinsic parameters is automatically determined by position data acquired by GPS. The validity of the proposed method is demonstrated through experiments of
estimating extrinsic parameters for both synthetic and real outdoor scenes.

場合に著しく推定精度が低下する問題がある．また，

1. は じ め に推定される外部パラメータは，フレーム間での相対的現実環境を撮影した動画像からのカメラ外部パラな位置・姿勢関係を表すものであり，スケールについメータの推定は，複合現実感，三次元形状復元，新視ては不定である．そのため，複数回に分けて撮影した点画像生成など様々な分野における基礎技術として利動画像の外部パラメータの統合や，閉曲線上の経路で用されている．これらの応用分野では，近年，広範囲撮影した動画像の外部パラメータ推定のように，同一

1),2)な環境への手法の適用が試みられ，広範囲に移動シーンが連続しないシーケンス上に現れる場合，推定するカメラの外部パラメータを精度良く推定することされるパラメータ間の不整合が問題となる．

が求められている．しかし，動画像のみから外部パラ
3),4)

これらの問題は，従来から，動画像と現実環境に関では，外部パラメータの推する事前知識の使用5)∼8) や，動画像を用いずに複数定結果に蓄積誤差が発生するため，広範囲に移動するのセンサから得られる値を直接外部パラメータとする

メータを推定する手法

こと9) により解決されてきた．環境の事前知識を用いる手法では，三次元的な位置関係が既知のランドマー† 奈良先端科学技術大学院大学 情報科学研究科
Graduate School of Information Science, Nara Instituteof Science and Technology☆
現在，株式会社 本田技術研究所 栃木研究所
Presently with Tochigi R&D Center, Honda R&D Co.,Ltd.

ク群5),6) や，三次元 CAD モデル7),8) が用いられている．文献5),6) の手法では，三次元位置が既知のランド
マークと三次元位置が未知の画像特徴点（以後，特徴点）をフレーム毎に追跡し，その再投影誤差を最小化
1

2

1959

情報処理学会論文誌することで外部パラメータを推定する．文献7),8) の手法では，現実環境の三次元 CAD モデルの輪郭と入力
画像上のエッジを対応付けることで外部パラメータを推定する．これらの手法では，ランドマークや三次元

CAD モデルの現実環境での三次元位置情報を用いる(A) 特徴点の追跡(1) 特徴点の候補位置の検出(2) 特徴点の仮対応づけことで蓄積誤差の問題を解決している．しかし，ラン(3) 暫定外部パラメータの推定

ドマークや三次元 CAD モデルに含まれる三次元位置(4) 特徴点の再対応づけ

情報を屋外で広範囲に取得することは困難であり，また，基準とする三次元情報の獲得のためには，人手に(B) 外部パラメータの初期値推定

よる作業が必要であるという問題がある．
一方，RTK-GPS，磁力計，2 軸角度センサーの値から算出される値を，直接動画像のカメラ外部パラメー
タとする手法9) では，RTK-GPS を用いることによって，誤差の蓄積しない数 cm 精度の位置情報（以後，GPS 測位値）を獲得できる．しかし，センサの組み合
わせによってカメラの外部パラメータを推定する手法

N
i mod k = 0
Y(C) GPS測位値を用いた狭区間最適化(D) GPS測位値を用いた広区間最適化
図 1 提案手法の処理手順
Fig. 1 Procedure of the proposed method.

では，カメラとセンサ類の位置関係が必要であるが，これを正確に計測することは難しい．また，一般的なメラの内部パラメータは既知であり，予めカメラのレGPS では，位置情報の取得レートが動画像より低い

ンズ歪みや焦点距離などを考慮したキャリブレーショ

1Hz であり，カメラの運動に含まれる高周波成分を復ン10) が行われているものとする．動画像と GPS 測位

元することは難しい．

値の同期についても得られているものとする．

そこで本論文では，これらの問題を解決するために，

以下，2 章では，提案手法の流れ及び各処理につい

屋外環境下を広範囲に移動するカメラで取得した動画て詳述する．3 章では提案手法の有効性を確認するた像と GPS 測位値からカメラ外部パラメータを推定す

めにシミュレーションによる実験及び実環境のデータる手法を提案する．提案手法では，動画像中の特徴点を用いた実験を示し，最後に 4 章で本論文をまとめる．

の追跡と GPS 測位値を用いた最適化に基づきカメラ
外部パラメータを推定する．特徴点の追跡では，ラン

2. GPS 測位値を用いた外部パラメータ推定

ドマーク・特徴点追跡による手法6) と同様に，特徴点提案手法では，計算コストの問題から従来手法によの仮対応づけから推定される暫定的な外部パラメータる一括処理が難しいような広範囲にカメラが移動するを用いて特徴点の画像上での探索範囲を限定し，誤追環境を想定し，動画像と GPS 測位値から，特徴点の跡を防ぐ．GPS 測位値を用いた最適化では，動画像三次元位置，カメラ座標系における GPS 受信機の方から推定される外部パラメータに基づく特徴点の再投位，カメラの外部パラメータを推定する．本手法は，

影誤差及び外部パラメータから推定される GPS 受信

主に特徴点追跡と外部パラメータの最適化処理からな機の位置の推定誤差を同時に最小化することで誤差のり，両処理に GPS の位置情報を反映させることで，誤蓄積を防ぐ．本手法では，現実環境に関する事前知識

差の蓄積を防止する．

や，GPS 受信機とカメラの間の正確なキャリブレー

本手法の流れを図 1 に示す．まずフレーム毎の処理

ションを必要とせず，GPS の測位座標系における外として，(A) 特徴点の追跡，(B) カメラ外部パラメー

部パラメータを推定できる特長がある．そのため，乗タの初期値推定を行い，次に一定フレーム間隔 k でり物などで屋外を広範囲に移動しながら撮影した動画(C)GPS 測位値を用いた最適化を行う．処理 (C) で像に CG を重畳表示する，景観シミュレーションや映は，蓄積誤差の影響によって後続のフレームで特徴点

画の特撮などへの利用法が考えられる．

の対応付けの精度が低下することを防ぐために狭区間

ただし，本手法では，動画像全体にわたりカメラにでの最適化を行う．処理 (D) では，処理 (C) よりも対する GPS 受信機の位置は固定されているものとし，広い区間で多くの GPS 測位値を用いて外部パラメー

容易に計測できる両センサ間の距離については既知，

タの最適化を行う． 以下では，まず処理 (C)，(D) で

カメラ座標系における GPS 受信機の方位については共通に用いる GPS 測位値を用いた誤差関数を定義し，推定するものとする．また，本論文で扱う全てのカ

その最適化手法について述べる．次に処理 (A)〜(D)Vol. 0No. 13

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定<< GPS測位座標系 >>Y

係が成り立つ．

Ri , ti

外部パラメータ:Ri gi + ti = d

特徴点j: p j

X

投影座標: q̂ij
投影誤差: Φij
特徴点jの検出座標: qij
GPS受信機の推定位置:
GPS受信機

(2)

フレームの集合を表す．ここで，図 2 に示すように，

Z

GPS測位値: gi(i ∈ F )ただし，F は，GPS の計測時刻に対応する動画像の<< カメラ座標系 >>GPSの測位誤差3

GPS 測位値 gi 及び外部パラメータ Ri , ti に誤差があると，式 (2) は成り立たない．そこで本研究では，
外部パラメータ Ri , ti から推定される GPS 受信機の位置と GPS 測位値との差を GPS 受信機に関する誤差関数 Ψi とし，以下のように定義する．

dΨi = |Ri gi + ti − d|

GPS受信機の位置推定誤差(3)

特徴点と GPS による誤差の定義とその最適化

図 2 座標系と誤差の定義
Fig. 2 Coordinate systems of camera and GPS.

ここでは，外部パラメータ推定に用いる最適化の誤差関数 E を，式 (1) で示した画像上の再投影誤差 Φij
及び，式 (3) の GPS 位置の誤差 Ψi を用いて以下のについてそれぞれ詳述する．

2.1 GPS 測位値を用いた誤差関数の定義とその最適化ように定義する．
X X
1
ω X 2
µi
wj Φ2ij (4)Ψi + P
E=
|F|
|S
|
i
i
i∈F

i

j∈Si

本節では，まず，従来の特徴点のみによるカメラパ

ただし，wj は逐次処理で得た特徴点 j の信頼度であり，ラメータ推定で一般的に用いられる再投影誤差につい

再投影誤差 Φij の分散の逆数とする．µi は各フレームて説明する．次に，カメラと GPS 受信機の幾何学的に対する重み係数を表す．ω は Ψi 及び Φij に対する関係をモデル化し，GPS 受信機に関する誤差 Ψ を定

重み係数であり，予め，特徴点の検出位置精度および義する．最後に，GPS 受信機に関する誤差 Ψ と画像

GPS の測位精度を考慮し，後述するシミュレーションの特徴点の再投影誤差 Φ を組み合わせて，新たな誤差により，真値に対する誤差が最小になるようなωを算

関数 E を定義し，その最小化方法について説明する．

出しておく．一般に，シミュレーションと実利用時の

P

|Si |

特徴点の再投影誤差の定義

環境では，GPS の測位回数 |Fi | と特徴点数

再投影誤差は，特徴点追跡に基づく外部パラメータ推が異なるので，本研究では，これらの値に依らず重みiP定手法で，一般的に用いられる誤差関数であり3),4),6) ，係数 ω を一定値に決めるために，|Fi | 及び再投影誤差の二乗和を最小化することでカメラパラ

より右辺の各項を正規化する．実利用時において撮影i|Si | にメータを推定する手法は，バンドル調整法と呼ばれて対象までの奥行きや使用する GPS の測位精度がこのいる11) ．特徴点 j の第 i フレーム上での再投影誤差

シミュレーションと大きく異なる場合は，重み係数 ωΦij は，推定された三次元位置の画像上への投影座標を求め直す必要がある．

q̂ij と画像上で検出される座標 qij を用いて，以下のラメータ Ri , ti ，特徴点の三次元位置 pj ，及びカメ

ように表される．

Φij = |qij − q̂ij |式 (4) の誤差関数 E を用いた最適化では，外部パ(j ∈ Si )(1)

ラ座標系における GPS 受信機の方位をパラメータと

ただし，Si は第 i フレームの画像上で検出される特徴

して，誤差関数 E を勾配法によって最小化する．た点の集合を表す．

だし，この誤差関数 E には，局所解が多数存在するGPS に関する誤差の定義ため，単純な勾配法では，大域最小解を得ることが難GPS の測位誤差には，真の GPS 受信機の位置を中しい．そこで，最適化の各フレームの重み µi を変化

心に発生する期待値 0 の局所的な測位誤差と平均観測させることで，局所解を回避する．具体的には，GPS位置が真値から外れる大域的な誤差の 2 種類が考え測位値があるフレームの重みを大きく設定することおられる．本論文では，前者の局所的な測位誤差のみをよび，すべてのフレームの重みを等価に設定すること扱う．

を，最適化処理が収束するステップごとに交互に繰り

一般に，GPS 測位値と外部パラメータの推定結果に返す．誤差関数 E の重み µi を変化させても大域最小誤差が含まれない場合，第 i フレームの外部パラメー解を与えるパラメータに大きな差はなく，局所解の位

タ Ri , ti とそれに対応する GPS 測位値 gi 及び，カ置のみが大きく変化するため，局所解を回避できるとメラ座標系での GPS 受信機の位置 d には，以下の関考えられる．

4

1959

情報処理学会論文誌

2.2 各処理の詳細
本節では，先に定義した特徴点と GPS に関する誤差関数 E を用いたカメラパラメータの推定手順について，図 1 に示したフローチャートの各ステップ (A)〜(D) を順に説明する．本手法において，ステップ (A)，(B) は毎フレーム，(C) は一定フレーム毎に実行され，(D) は最終的な最適化処理として 1 回のみ実行される．
(A) 特徴点の追跡
特徴点を入力画像上で検出し，前フレームと現フ

図 3 重み変動の効果
Fig. 3 Effect of changing weight.

レームでの対応関係を求める．特徴点には，回転・拡大縮小等の画像の変形に対して頑健に同一の位置が検出されるエッジの角や交点を用いる．さらに，特徴点

700

]m
600
[m
差 500
誤 400
定
推 300
の
置 200
位
ラメ 100カの仮対応づけの結果から統計的手法によって誤対応結果を排除し，それにより求まる暫定的な外部パラメー
タを用いて，特徴点の対応関係を修正する．これにより，特徴点の周辺類似パターンとの誤対応を防止する．
具体的な処理手順としては，まず，(1)Harris オペ
レータ12) で求められる特徴量が極大値となる位置を

0

-4

-5

-6

-7

-8
-9
logω

-10

-11

-12

-13

図 4 重み係数 ω の決定
Fig. 4 Decision of weighting factor ω.

特徴点の候補位置とする．次に，(2) 前フレーム上の各特徴点の近傍領域を現フレーム上でパターンマッチン
グによって探索し，現フレームにおける仮の追跡位置を決定する．(3) 特徴点の仮の追跡位置から，LMeds

この局所解回避策は経験的に得たものであり，効果基準を用いたロバスト推定13) によって，暫定外部パ

については予めシミュレーションによる予備実験によラメータを推定する．最後に，(4) 暫定外部パラメー

り確認している．図 3 は，真値に誤差を加えることでタを用いて，前フレームにおけるすべての特徴点の三

人為的に作成した初期値を提案手法により最適化した次元位置から，現フレーム上での出現位置を予測し，際のカメラ位置の推定誤差の変化を表す．このシミュステップ (2) よりも小さな探索窓を用いて対応づけを

レーションは，後述する 3.1 節で示すシミュレーショ

行い，追跡位置を修正する．

ンと同様の条件で行い，重み µi は，500 ステップ毎(B) 外部パラメータの初期値推定に変化させている．同図から，重み変動を行わない場

処理 (A) で求めた現フレーム（第 i フレーム）上合は，カメラ位置の平均推定誤差が 200mm 程度のとの特徴点に関する再投影誤差の二乗和を最小化するこきに局所解に陥っているが，重み変動を行うことによとで特徴点の三次元位置，及び現フレームの外部パラ

り，局所解が回避されていることが分かる．

メータである回転 Ri および並進 ti を推定する．再投

また，重み係数 ω を決定するために，予め重み係数

ω が変化したときのカメラ位置の推定誤差の変化を予影誤差の二乗和は，以下のように表される．
i
X

備実験により調べておく．予備実験では，3.1 節で示すシミュレーションと同程度のスケールの環境を使用
し，カメラの移動経路については，異なるものを設定

h=1

µh

X

wj Φ2hj(5)j(C) GPS 測位値を用いた狭区間最適化

した．また，特徴点の検出精度や GPS の測位精度は，処理 (C) では，処理 (A)，処理 (B) で得られるカ環境に大きく依存しないと考え，後述する 3.1 節のシ

メラ外部パラメータを初期値として，前節で定義した

ミュレーションと同じとする．我々が行った予備実験

E を最小化することで，GPS 測位値を反映させた外では，図 4 に示すように，ω = 10−9のときに最も真部パラメータを算出する．さらに，この処理で算出さ値に近いカメラ位置が得られた．この予備実験で使用れたパラメータを処理 (A) にフィードバックすることした仮想環境と類似する環境で提案手法を用いる場合

で，特徴点対応付けの精度向上を図る．

は，重み係数を ω = 10−9 に設定する．

具体的には，図 5 に示すように，処理 (A) 及び(B) で処理の対象となる第 i フレームに対して，第Vol. 0No. 13

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定i-(k+2l)+1i-l

更新される範囲
カメラ位置
i

3. 実

5

験

本章では，まず，式 (4) で定義した誤差関数 E の最小化によって最適化処理 (D) で推定される外部パ

lフレーム

kフレーム

lフレーム

GPS受信位置iフレームの逐次処理に対応する最適化の範囲
図 5 最適化の範囲
Fig. 5 Range of optimization.

ラメータの精度を定量的に評価するために，実環境から作成したデータを用いたシミュレーション実験の結果を示す．次に，提案手法における特徴点検出位置及
び GPS 測位値の誤差モデルや特徴点対応付けの精度を含め，提案手法の有効性を確認するために，実環境i − (k + 2l) + 1 フレームから第 i フレームの特徴点で取得した動画像と GPS 測位値から外部パラメータ

追跡結果および GPS 測位値を用いて狭区間での誤差を推定する．また，推定された外部パラメータを用い

関数 E の最小化を行い，第 i − (k + l) + 1 フレームて動画像上に仮想物体を重畳表示するマッチムーブをから第 i − l フレームの k フレーム分の外部パラメー行うことで，外部パラメータが正しく推定されている

タのみを更新する．これにより，更新する区間に対しことを確認する．最後に，動画像全体の一括最適化にて，前後のフレームにおける特徴点の追跡結果及び，よって推定される外部パラメータと，動画像を複数のGPS 測位値を最適化に反映させる．さらに，一度にシーケンスへ分割して最適化し，最後に統合して得ら

複数のフレーム（k フレーム）を更新し，k フレーム

れる外部パラメータの比較を行うことで，分割による間隔で本処理 (C) を行うことで計算量の増大を軽減す

最適化の有効性を確認する．

る．ただし，多数の追跡済みの特徴点が，推定結果を3.1 シミュレーションによる精度評価

更新する区間 k フレーム内に写るように，l は数十フシミュレーションによる評価では，提案手法の処理

レームに設定する．また，特徴点追跡が外部パラメー(D) によって推定される最終的な外部パラメータの推タの蓄積誤差により破綻する前に GPS 測位値を反映

定精度を定量的に評価する．また，従来手法であるラさせる必要があるため，k は数フレームに設定する．

ンドマーク・特徴点追跡による手法6) と精度を比較す(D) GPS 測位値を用いた広範囲最適化

ることにより，提案手法の有効性を確認する．

処理 (D) では，処理 (A)〜(C) を繰り返すことで得本シミュレーションで用いる仮想環境を図 6 に示られるカメラ外部パラメータを特徴点の三次元位置をす．ここで，図中の曲線はカメラの移動経路を，錘台

初期値として，処理 (C) よりも広い区間で，外部パは 5 フレーム毎のカメラの姿勢を表し，点群は仮想ラメータの最適化を行う．これにより，特徴点追跡と環境中に配置した特徴点の三次元座標を表す．また，GPS 測位の両情報に含まれる局所的な誤差の平均化

グリッドの一辺は実環境での 20m に相当する． 仮想を図る．ただし，本研究では，処理 (C) において間欠

環境中の特徴点には，事前に屋外環境を撮影した全方

的に絶対指標を用いた最適化処理を行うため，時間的位動画像を入力として，佐藤らの手法14) を用いて三に十分離れた 2 フレームに関する外部パラメータや特次元復元を行い，これによって推定された特徴点の三

徴点の三次元位置などの情報は，互いに影響しないと次元位置を本シミュレーションの真値として用いた．

考えられる．そこで処理 (C) での最適化範囲 k + 2l

本実験では，このカメラの移動経路とは異なる経路でよりも十分に長い複数の k 0 + 2l0 フレームのシーケン

仮想カメラを同図に示すように a 地点から b 地点へ

スに動画像を分割し，各シーケンスを独立に最適化す

移動させ，仮想的に 990 フレームの特徴点検出画像

る．ただし，処理 (C) と同様に，最適化区間内に外部を取得した．ただし，仮想カメラの内部パラメータにパラメータを更新する区間 k0 とその前後に更新しなは，次節で述べる実環境で用いたカメラと同一のもの

00い区間 l を設け，区間 l を十分大きくとることで，各を用いた．本シミュレーションにおける入力では，1シーケンスの最適化における独立性を確保する．ただフレームあたり平均 200 個の特徴点が画像上で観測さし，十分な数の GPS 測位値を用いて測位誤差を平均れた．また，カメラ座標系における GPS 受信機の位0化するために，l は数百フレームに設定する．また，置を（600，600，600）（単位 mm）と設定し，GPS分割されたシーケンス間の独立性を確保するために，測位値には，上記 GPS 受信機の位置に誤差を付加し，0k についても数百フレームに設定する．

これを 1Hz に相当するフレーム間隔として 15 フレー
ム毎に与えた．特徴点の画像上での検出座標 qij および，GPS 測位値 gi に付加した誤差を表 1 に示す． ま6

情報処理学会論文誌

1959

900

外部パラメータの初期値提案手法
ランドマークを用いる手法]m800
m[ 700
差誤600
500
の置400
300
位200
100
0

1 101 201 301 401 501 601 701 801 901
フレーム番号

図 7 カメラ位置の推定誤差
Fig. 7 Errors of estimated camera position.

図 6 シミュレーション環境
Fig. 6 Environment for simulation.

た，外部パラメータ Ri , ti の初期値は，表 2 に示す
誤差を真値に付加して作成した．2.1 節で定義した式(4) 誤差関数 E 中の重み係数 ω は，予めシミュレー
ションにより得た値 10−9 とした．また，式 (4) 中の各フレームの重み係数 µi については，GPS 測位値が]da0.035
0.03[r0.025
差誤0.02
のき0.015向の0.01
軸光0.0050

外部パラメータの初期値提案手法
ランドマークを用いる手法

1 101 201 301 401 501 601 701 801 901
フレーム番号

図 8 カメラ光軸方向の推定誤差
Fig. 8 Errors of estimated camera direction.

得られていないフレームで 1.0 とし，GPS 測位値が得られているフレームでは，2.0 と 1.0 を交互に用い性があるため，全てのフレームで 15 個以上のランド

た．逐次処理中に行う最適化処理 (C) においては，更マークが観測されるように設定した．

新対象フレーム k = 5，重複フレーム l = 22 フレー

以上の条件で，特徴点の三次元位置，外部パラメー

ムと設定した．処理 (D) では，動画像全体を一括で最タ，カメラ座標系における GPS 受信機の方位を最適適化した．初期フレームにおける外部パラメータの初化した．実験の結果，外部パラメータは，カメラ位置

期値は，手動で大まかな姿勢を与え，位置に関してはに関して平均誤差 32.9mm，標準偏差 18.0mm，カメGPS 測位値を用いた．また，提案手法の精度評価のた

ラ光軸の向きに関して平均誤差 0.0036rad，標準偏差6)めに，ランドマーク・特徴点追跡による手法によっ0.0016rad で推定された．

て上述と同様の条件で外部パラメータを推定した．た

図 7 および図 8 に初期値として与えた真値からのだし，ランドマークは特徴点の信頼度 wij を十分大き誤差，提案手法における誤差，ランドマーク・特徴点

くしたものとして与え，全ての画像上での位置を与え追跡による手法における誤差を示す．ただし，図 7 は，た．また，ランドマークを与えるフレームの数や設定

外部パラメータの位置に関する誤差，図 8 については，方法により外部パラメータの推定精度が変化する可能

光軸の向きに関する誤差を示す． 実験の結果，ランド
マークを用いる手法では，カメラ位置に関しては平均

表 1 観測データに付加する誤差
Table 1 Errors in observational data.
特徴点の検出座標

標準偏差 0.6 画素のガウスノイズ+量子化誤差GPS の計測誤差

標準偏差 30mm のガウスノイズ

誤差 39.8mm，カメラ光軸の向きに関しては平均誤差

0.0019rad の精度で推定された．これに対して提案手法では，カメラ位置に関しては平均誤差 32.9mm，カ
メラ光軸の向きに関しては平均誤差 0.0036rad の精度で推定された．

表 2 外部パラメータの初期値に付加する誤差
Table 2 Errors in initial extrinsic parameters.
カメラ位置

標準偏差 500mm のガウスノイズ

カメラ光軸の向き

標準偏差 0.020rad のガウスノイズ

提案手法では，人手による計測が必要な事前知識を用いることなく，カメラの位置に関してランドマーク・
特徴点追跡による手法と同程度の精度が得られている
が，カメラの光軸に関しては提案手法で誤差が 2 倍程Vol. 0No. 13

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定7

度に大きくなった．これは，ランドマークを絶対指標とする手法と GPS を指標とする手法で，カメラの位
置・姿勢の拘束のされ方が異なるためであると考えられる．本実験環境のようにランドマークが主に遠方に分布する場合，画像上でのランドマークの位置がカメラの並進の変化よりも回転の変化に敏感に反応することから，ランドマークを用いる場合は，姿勢に関する拘束が強く，結果として推定精度が高くなると考えられる．これに対して，GPS を用いる場合には，GPS
受信機の観測位置とカメラの投影中心間の距離が強く拘束されるため，カメラ位置に関する推定精度が従来

図 9 ビデオカメラと GPS 受信機の位置関係
Fig. 9 Positions of camera and GPS receiver.

手法よりも若干高まった反面，カメラ姿勢に関する精度は劣っていると考えられる．

3.2 実環境データを用いた外部パラメータの推定
本節では，提案手法における特徴点検出位置及びGPS 測位値の誤差モデルや特徴点対応付けの精度を含めて，提案手法の有効性を確認するために，実環境で取得した動画像と GPS 測位値から外部パラメータを推定する．また，推定された外部パラメータを用いて動画像上に仮想物体を重畳表示するマッチムーブを行うことで，外部パラメータが正しく推定されていることを確認する．

図 10 逐次処理で得られた外部パラメータ
Fig. 10 Extrinsic paramters estimated in initial
estimation.

実験では，ワイドレンズ（Sony VCL-HG0758）を取り付けたビデオカメラ（Sony DSR-PD-150）と GPS

双方共に第 1 フレームと第 15 フレームの位置と姿勢

受信機（Nikon LogPakII，測位精度 ±3.0cm）を図 9を与え，ランドマークは用いなかった．動画像のみかに示すように車に固定して取り付けた．このような車ら外部パラメータを推定した結果と，GPS 測位値を用両を用いて，約 1.1km の距離を平均時速 16.5km のいた最適化を行う逐次処理で推定された外部パラメー

速度で走行し，得られた 3600 枚の画像（解像度 720

タを図 10 に示す．

× 480 画素，14.985fps，プログレッシブ撮影）及び，実験の結果，動画像のみから外部パラメータを推定

RTK 法により 1 秒間隔で計測された GPS 測位値を入した場合は，図 10 に示すように第 1409 フレームで力として用いた．ただし，動画像と GPS 測位値は手追跡される特徴点が減少し，以降の外部パラメータは動で開始時刻を同期させ，カメラの内部パラメータは推定されなかった．これに対し，GPS 測位値を用い

10)

予め Tsai の手法

によりキャリブレーションし，そる提案手法の逐次処理では，初期フレームから最終フの値を用いた．また，カメラと GPS 受信機間の距離

レームまで途切れることなく，1 フレームあたり平均は，手動で計測した 1020mm を既知な情報として設定

約 300 個の特徴点が追跡された．このことから，GPSした．初期フレームにおける外部パラメータは，前節測位値を利用することで，利用しない場合よりも安定と同様に，姿勢に関しては大まかな初期値を与え，位に一定数以上の特徴点が対応付けられていることが分置に関しては GPS 測位値を用いた．更新対象フレー

かる．

0

0

ム k, k および重複フレーム l, l は，前節と同様に設定した．

次に，逐次処理で得られた外部パラメータを初期値として動画像全体で最適化した．全体最適化によってまず，逐次処理において GPS 測位値を用いた最適推定された特徴点の三次元位置と外部パラメータを化を行うことにより，安定した特徴点追跡と，誤差の図 11 に示す． 図中 (a) の曲線は推定されたカメラの蓄積しない外部パラメータ推定が実現されることを確

移動経路を表し，点群は外部パラメータ推定に用いら認するため，逐次処理において GPS 測位値を用いてれた特徴点を表す．同図から分かるように，カメラパ最適化する場合と，動画像のみから推定する場合を比スは滑らかに推定されている．また，同図 (b) は，推較した．ただし，蓄積誤差の影響を確認するために，定されたカメラ位置及び GPS 測位値の高度変化を表

8

情報処理学会論文誌

1959の高度方向の測位精度が水平方向よりも低いことと矛盾がない．
推定された外部パラメータを用いて仮想物体を動画像に合成したマッチムーブの結果を図 13 に示す．
仮想物体は，GPS による計測位置および GPS 受信機設置時の道路面からの高さから計算される道路面上に配置した．図 13 に示すシーンでは，仮想物体が現実環境中でほぼ一定の位置に合成されていることから，外部パラメータに大きな推定誤差が含まれないことを確認した（http://yokoya.naist.jp/pub/movie/yokochi/match_move.mpg）．しかし，図 14に示すように，第 995 フレームから第 1030 フレームでは，仮想物体が一定の位置には静止せず，フレームが進むにつれ場所が移動した．これは，RTK-GPS の(a) 水平移動軌跡

測位精度が環境中の遮蔽物により低下したことが考えられる．実際に，図 15 に示すように，RTK-GPS か

4000

]m
[m 3000
化2000
変度
高る 1000
す対に 0
ムー
レフ-1000
期-2000
初-3000

ら出力される信頼度を表す標準偏差が第 995 フレームから第 1030 フレームにおいて増加している．本研究では，遮蔽物などの影響を受ける場合については考慮していないが，このような大域的な誤差に対応するた
めには，GPS 測位値の信頼度等のセンサ情報を考慮
カメラ位置
GPS受信機
1

501

1001

1501
2001
フレーム番号

2501

3001

したに誤差関数を導入する必要がある．
最後に，処理 (D) における分割最適化の効果を検3501

証するために，図 16 に示すように，重複フレーム l0
を 200 フレーム，更新フレーム k 0 を 900 フレームと(b) 高度変化
図 11 カメラ外部パラメータの推定結果
Fig. 11 Result of estimated extrinsic parameters.

し，動画像を 4 つのシーケンスに分割し，各シーケ
ンスのに最適化後に統合した．次に，動画像を一括で最適化して得られる外部パラメータを真値とし，分割

] 400
m
m
[ 300
差200
の
値
定100
推
る 0
す
対-100
に
値-200
測
観
SP-300G-400

最適化によって得られた外部パラメータの誤差を検証

経度方向
緯度方向
高度方向

した．図 17 に，分割最適化によって得られた外部パ
ラメータの誤差を示す．本実験における平均誤差は，6mm であった．この値は，3.1 節で示した実験において示した，カメラ位置の推定誤差 32.9mm に対して比較的小さく，分割最適化により一括での最適化に近い推定結果が得られていることが分かる．計算時間
は，Pentium4 3GHz，メモリ 1GB の PC を用いた場
0

1000

2000
フレーム番号

3000

図 12 GPS 観測位置と推定位置の関係
Fig. 12 Errors of of estimated GPS positions.

合，一括最適化が約 7 時間であったのに対して，分割最適化では各シーケンスがそれぞれ約 1.5 時間であった．誤差が大きなフレームに関しては，3 番目のシー
ケンスにおいて推定をした外部パラメータを更新しな

す．同図から，カメラ位置が GPS 受信機の高度変化

い区間 l0 の大きさが不十分であった可能性がある．実に沿うように推定されていることが分かる．図 12 に際，図 17 に示すように，区間 l0 を 2 倍にすることにGPS 観測位置と推定位置の関係を示す．各成分の平均より，上述した大きな誤差が減少し，平均 0.6mm と絶対値は，緯度方向が 18.5mm，経度方向が 21.2mm，なった．以上により，計算機に搭載されるメモリの量

高度方向が 43.1mm であった．高度方向の誤差が水平の制限など，一括で動画像全体を最適化できないよう

方向の 2 倍程度であることは，一般的な GPS 受信機

な場合においても，最適化の際に外部パラメータを更Vol. 0No. 13

第 100 フレーム

第 3000 フレーム

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定

9

第 105 フレーム

第 110 フレーム

第 115 フレーム

第 3005 フレーム

第 3010 フレーム

第 3015 フレーム

図 13

推定された外部パラメータを用いたマッチムーブの結果
Fig. 13 Result of match move.

第 995 フレーム

第 1000 フレーム

第 1005 フレーム

第 1010 フレーム

第 1015 フレーム

第 1020 フレーム

第 1025 フレーム

第 1030 フレーム

図 14 パラメータ推定の誤差によって仮想物体が静止しないシーン
Fig. 14 Examples of incorrect match move.

新しない区間 l0 のフレーム数を十分大きく設定するこが可能である．しかし，GPS の電波をさえぎる遮蔽とで，一括で最適化する場合に近い結果が得られるこ物に囲まれるような状況下では，外部パラメータの推とが分かった．

定精度の低下が見られた．

4. ま と め

今後は，上記のような環境中に遮蔽物が多数存在す
る場合に対応するために，GPS 測位値の信頼度等の動画像と GPS 測位値からカメラの外部パラメータ

センサ情報を考慮した誤差関数の導入を検討する．まを推定する手法を提案した．提案手法では，画像上でた，異なるシーケンスにおいて同一シーンが撮影され定義される特徴点の再投影誤差と GPS 測位値によっる場合に再出現する特徴点を対応づけすることで，さて定義される位置誤差を同時に最小化することで，外らなる精度向上を図る．

部パラメータを各フレームに対して推定することができる．
シミュレーション実験及び実環境データを用いた実験により，提案手法は，ランドマーク・特徴点追跡による手法に近い精度でカメラパラメータを推定可能であることを確認した．提案手法により，現実環境に関する事前知識の取得に要する人的コストの大幅な削減

参 考 文 献1) Feiner, S., MacIntyre, B., Höllerer, T. andWebster, A.: A Touring Machine: Prototyping 3D Mobile Augmented Reality Systems
for Exploring the Urban Environment, Proc.
1st IEEE Int. Symp. on Wearable Computers10

情報処理学会論文誌

図 15 GPS 測位値に含まれる標準偏差Fig. 15 Standard deviations in GPS data.

0

900

0

899

1800

2700

3599

フレーム

700

1100
1799

900

2000
1600

1800

2699

2900

2700
2500

3599
更新の範囲

最適化に用いるデータの範囲

図 16 分割最適化における各シーケンスの分割範囲
Fig. 16 Range of optimization of divided sequence.

120]m 100
m[
差 80
誤
定 60
推
の
置 40
位
ラメ
カ 20
0

ℓ'=400ℓ'=200

1

501

1001

1501

2001

フレーム番号

2501

3001

3501

図 17 分割最適化の精度
Fig. 17 Result of of optimization of divided sequence.

(ISWC1997), pp. 208–217 (1997).
2) 遠藤隆明, 片山昭宏, 田村秀行, 廣瀬通孝: 写実的な広域仮想空間構築のための画像補間手法, 日本
バーチャルリアリティ学会論文誌, Vol. 7, No. 2,
pp. 185–192 (2002).
3) Fitzgibbon, A. W. and Zisserman, A.: Automatic Camera Recovery for Closed or Open Image Sequences, Pro. 5th European Conference
on Computer Vision (ECCV), pp. 311 – 326(1998).
4) Pollefeys, M., Koch, R., Vergauwen, M.,
Deknuydt, B. and Gool, L. V.: Three-1959

dimentional Scene Reconstruction from Images, Proc. SPIE , Vol.3958, pp.215–226 (2000).
5) Davison, A. J.: Real-Time Simultaneous Localisation and Mapping with a Single Camera,
Proc. 9th IEEE Int. Conf. on Computer Vision, Vol. 2, pp. 1403–1410 (2003).
6) 佐藤智和, 神原誠之, 横矢直和, 竹村治雄: マー
カと自然特徴点の追跡による動画像からのカメ
ラ移動パラメータの復元, 電子情報通信学会論文
誌 (D-II), Vol. J86-D-II, No. 10, pp. 1431–1440(2003).
7) Comport, A.I., Marchand, É. and Chaumette,
F.: A Real-time Tracker for Markerless Augmented Reality, Proc. 2nd ACM/IEEE Int.
Symp. on Mixed and Augmented Reality (ISMAR2003), pp. 36–45 (2003).
8) Vacchetti, L., Lepetit, V. and Fua, P.: Combining edge and texture information for realtime accurate 3D camera tracking, Proc. 3rdIEEE and ACM Int. Symp. on Mixed andAugmented Reality (ISMAR2004), pp. 48–57(2004).
9) Güven, S. and Feiner, S.: Authoring 3D Hypermedia for Wearable Augmented and Virtual Reality, Proc. 7th IEEE Int. Symp. on
Wearable Computers (ISWC2003), pp.118–126(2003).
10) Tsai, R. Y.: An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 364–374 (1986).
11) Triggs, B., P. McLauchlan, R. H. and Fitzgibbon, A.: Bundle Adjustment A Modern Synthesis, Vision Algorithms: Theory and Practice,pp. 298 – 375 (2000).
12) Harris, C. and Stephens, M.: A Combined
Corner and Edge Detector, Proc. Alvey Vision
Conf., pp. 147–151 (1988).
13) 栗田多喜夫, 坂上勝彦: ロバスト統計とその画像理解への応用, 画像の認識・理解シンポジウム(MIRU2000) 講演論文集, Vol. Vol. I, pp. 65–70(2000).
14) 佐藤智和, 池田聖, 横矢直和: 複数動画像からの
全方位型マルチカメラシステムの位置・姿勢パラ
メータの推定, 電子情報通信学会論文誌 (D-II),Vol. J88-D-II, No. 2, pp. 347–357 (2005).
(平成 17 年 5 月 25 日受付)
(平成 17 年 12 月 21 日採録)

Vol. 0No. 13

特徴点追跡と GPS 測位に基づくカメラ外部パラメータの推定

11

横地 裕次

横矢 直和（正会員）

2003 年奈良工業高等専門学校専攻1974 年大阪大学基礎工学部情報科電子情報工学専攻修了．2005 年

工学科卒．1979 年同大大学院博士

奈良先端科学技術大学院大学情報科

後期課程了．同年電子技術総合研究

学研究科修了．現在，株式会社 本田所入所．以来，画像処理ソフトウェ

技術研究所 栃木研究所 勤務．

ア，画像データベース，コンピュー
タビジョンの研究に従事．1986〜87 年マッギル大・知池田聖（学生会員）

能機械研究センター客員教授．1992 年奈良先端科学

2001 年広島大学理学部物理学科

技術大学院大学・情報科学センター教授．現在，同大卒．2003 年奈良先端科学技術大学

情報科学研究科教授．1990 年情報処理学会論文賞受

院大学情報科学研究科博士前期課程

賞．2005 年情報処理学会フェロー，電子情報通信学修了．現在，同大博士後期課程に在会フェロー．工博. 電子情報通信学会，情報処理学会，

学中．電子情報通信学会，情報処理

人工知能学会，日本認知科学会，映像情報メディア学

学会，IEEE 各会員．
佐藤 智和（正会員）

1999 年大阪府立大学工学部情報工学科卒．2003 年奈良先端科学技
術大学院大学情報科学研究科博士後期課程修了．現在，同大情報科学研
究科助手．コンピュータビジョンの研究に従事．2001 年電子情報通信学会学術奨励賞受
賞．電子情報通信学会，情報処理学会，IEEE 各会員．

会，IEEE 各会員.