動画像と GPS の併用によるカメラ位置・姿勢推定における GPS 測位精度の考慮

Consideration of GPS positioning accuracy for camera parameter estimationfrom GPS and video images
粂 秀行

武富 貴史

佐藤 智和

横矢 直和

Hideyuki Kume, Takafumi Taketomi, Tomokazu Sato and Naokazu Yokoya
奈良先端科学技術大学院大学

情報科学研究科

Graduate School of Information Science, Nara Institute of Science and Technology
ABSTRACT This paper proposes a method for estimating extrinsic camera parameters without accumulative errors using video
images and position data acquired by GPS. Conventional methods assume that GPS error is normally distributed. However, GPSerror generally includes bias errors, and the accuracy of the estimated position becomes lower as this bias becomes larger. In
order to resolve this problem, instead of the assumption for the normal distribution error, the proposed method assumes that true
GPS position exists in the certain range whose size depends on the GPS positioning accuracy. Concretely, the proposed method
estimates camera parameters by minimizing the error function that summing up the reprojection error and the penalty term for
GPS positioning.

1 はじめに

画像中の特徴点の追跡によって得られるカメラの位置・姿
勢と GPS から得られる位置情報を同時に用いることで，現実環境を撮影した動画像に対するカメラの位置・姿勢事前準備なしに，GPS 測地座標系における蓄積誤差のない情報は三次元形状復元や自由視点画像生成，拡張現実感カメラの位置・姿勢を得ることができる．これら動画像とをはじめとする多くの分野への応用が可能である．このよGPS を併用する手法は情報の融合にカルマンフィルタを用うな目的に対して，従来，撮影された動画像のみからカメいる手法 [5, 6] と bundle adjustment を用いる手法 [7] に大ラの位置・姿勢を推定する手法 [1, 2] が提案されている．

別できる．

Klein ら [2] は特徴点の再投影誤差の最小化処理 (bundleカルマンフィルタを用いる手法 [5, 6] は低い計算コストadjustment) と特徴点の追跡処理を並列に実行することにで最小二乗規範に基づく入力データの統合を行うことがより，実時間での高精度なカメラ位置・姿勢推定を実現しできる．しかし，カルマンフィルタは直前の状態と現在のている．しかし，動画像のみを用いる手法では推定結果に入力情報から現時刻の状態を逐次的に予測するため，既誤差が蓄積するという問題や，スケール情報が得られないに決定された過去の状態を修正することは難しい．一方，という問題がある．

bundle adjustment を用いる手法 [7] では，一般的な動画像

このような問題に対し，動画像に加えて環境に関する事に対する bundle adjustment の誤差関数に GPS の測位位置前知識や GPS を併用する手法 [3, 4, 5, 6, 7] が提案されてに関する誤差の項を追加することで，動画像と GPS の情いる．環境に関する事前知識を併用する手法 [3, 4] では，報を融合している．この手法では，一定の範囲内の全ての三次元位置が既知の基準点 [3] やシーン中の一部の領域にパラメータに対する最適化処理を行うことで，現在の入力対するワイヤーフレームモデル [4] を利用する．これらの情報を用いて過去の推定結果を修正することができる．こ

手法では基準点やモデルの三次元位置情報を用いることでれにより，カルマンフィルタに対して，より精度の高い推蓄積誤差とスケールの不定性の問題を解決している．しか定を可能とする．しかし，カルマンフィルタを用いる手法

し，広範囲な屋外環境での利用においては基準点やモデルを含め，これら GPS を併用する従来手法では，GPS の測の三次元位置を計測するために多くの人的コストがかかる位誤差を平均値が 0 の正規分布と仮定しており，特に GPSという問題がある．GPS を併用する手法 [5, 6, 7] では，動の測位精度が低い float 解や diﬀerential 解が得られた場合(A)特徴点の追跡によるカメラ位置・姿勢の推定などのように，短時間の観測において平均測位位置が真値から大きく外れる誤差が生じた場合においてカメラ位置・(B)特徴点の三次元位置の推定，追加・削除

姿勢の推定精度が大きく低下するという問題がある．
他方，歩行動作に基づくデッドレコニングやオドメトリ

i mod k = 0と GPS を併用することで，人やロボットの位置・姿勢を推NY定する手法 [8, 9] も，誤差が蓄積する点および，相対的な移(C)GPS測位値を用いた狭区間最適化

動しか得られないという点で上記の研究に関連があるが，これらの手法はカルマンフィルタを用いて融合を行ってい(D)GPS測位値を用いた全体最適化

るため，動画像への適用を考えた場合にはやはり上述のカルマンフィルタを用いる手法 [5, 6] と同様の問題がある．

Fig.1 Flow diagram of the proposed method

本研究では，広範囲な環境を移動しながら撮影した動画像に対するカメラの位置・姿勢推定において低い人的コストで高精度な絶対位置情報を推定可能な bundle adjustment

新たに定義する GPS の測位位置と特徴点の再投影誤差にによる GPS と動画像情報の融合手法を基礎とし，手法の基づく誤差関数を最小化することで，カメラの位置・姿勢改良を行う．具体的には，GPS の測位誤差を正規分布と仮と特徴点の三次元位置を最適化する．これにより，逐次的定せず，代わりに GPS 受信機の真の位置が GPS の測位位に蓄積誤差を抑えたカメラの位置・姿勢を得る．拡張現実

置を中心とする GPS の測位精度 (RTK-fix，RTK-float 等)

感などの逐次的なカメラの位置・姿勢を必要とするアプリに依存した一定の範囲内に存在することを仮定し，この仮ケーションではこの処理により得られる結果を用いる．オ

定に基づく誤差関数を最小化することで，GPS の測位精度フラインでの処理が可能な三次元形状復元や自由視点画像に応じて動画像からのカメラの位置・姿勢推定結果を補正生成を目的とする場合には，逐次処理の完了後に動画像全し，GPS の測位精度が低い場合にカメラ位置・姿勢の推定体で誤差関数を最小化する (処理 D)．以下では，まず処理精度が低下することを防ぐ．

(C),(D) で用いる誤差関数を定義し，その最適化手法につ以下，2 節では，GPS の測位精度を考慮した誤差関数の定義とカメラ位置・姿勢推定手法について詳述し，3 節でいて述べる．次に処理 (A)〜(D) について詳述する．

2.1

誤差関数の定義は，屋外環境を移動しながら撮影した動画像に対するカメ

本研究では，最適化処理に用いる誤差関数を，第 i フレーラの位置・姿勢推定結果を示す．最後に 4 節でまとめと今ムにおける特徴点位置に関する誤差 Φi と GPS 測位位置に後の課題について述べる．

関する誤差 Ψi を用いて以下のように定義する．

2 GPS の測位精度を考慮したカメラ位置・姿勢推定
本研究では，文献 [7] と同様にカメラと GPS 受信機の相対位置関係を固定して撮影した動画像と GPS の測位値から GPS 測地座標系におけるカメラの位置・姿勢を推定する．提案手法は逐次処理と全体最適化処理からなり，両処理に GPS の測位値を用いることで誤差の蓄積を抑える．
提案手法の処理の流れを Fig.1 に示す．まず，フレーム毎の処理として，(A) 特徴点の追跡によるカメラ位置・姿勢推定，(B) 特徴点の三次元位置の推定，追加・削除を行う．次に処理 (C) では，一定フレーム間隔 k 毎に本研究でE=∑

Φi + ωi∈F∑Ψi(1)i∈Fgただし，ω は重み係数，F は動画像のフレームの集合，Fgは GPS 測位時刻に対応する動画像のフレームの集合を表す．誤差関数 E を最小化することで，動画像全体でカメラの位置・姿勢と特徴点の三次元位置を最適化する．以下，特徴点位置に関する誤差 Φi と GPS 測位位置に関する誤差

Ψi について詳述する．
2.1.1 特徴点位置に関する誤差
文献 [7] と同様に，動画像からのカメラ位置・姿勢推定において一般的に用いられる再投影誤差を用いて，特徴点

GPS測地座標系

Miz (鉛直上)円柱の外となる場合には非常に大きな値となる．ここではカメラ座標系

Ψi を微分可能な形で定義することで，最適化処理におけるy (東)勾配計算を可能としている．

x (南)カメラ座標系
におけるGPS受信機の位置： d

GPS測地座標系
におけるGPS測位位置： gi

2.2

GPS の測位精度を考慮したカメラ位置・姿勢推定

本節では，Fig.1 に示した提案手法の処理の流れの各処

GPS受信機の推定位置

2 h( p )理 (A)〜(D) について詳述する．処理 (A),(B) はフレーム

M i d − gi毎，処理 (C) は一定フレーム毎，処理 (D) は最終的な最適GPS測位位置r ( p)化処理として 1 回のみ実行される．

2.2.1 特徴点の追跡によるカメラ位置・姿勢の推定 (A)Fig.2 Error associated with GPS position

ここでは，入力画像上で特徴点を追跡することによりカの位置に関する誤差 Φi を以下のように定義する．

µi ∑
Φi =
κ j (xi j − x̂i j )2
|Si | j∈S

メラの位置・姿勢を推定する．ここで得られたカメラの位(2)置・姿勢は後述する特徴点の三次元位置の推定 (B) や GPS
測位値を用いた最適化 (C) における初期値として用いらi

ただし，Si は第 i フレームの画像上で検出される特徴点のれる．

集合，µi は各フレームに対する重み係数であり GPS 測位

具体的には，まず Harris オペレータ [10] の出力が極大とが得られたフレームに大きな値を設定する．κ j は逐次処理なる点を特徴点の追跡位置の候補とする．次に前フレームで得られた特徴点 j の信頼度を表す．また， xi j ， x̂i j はそにおける各特徴点の近傍領域を現フレーム上でSSD(Sum1

れぞれ，第 i フレームにおける特徴点 j の画像上での検出

of Squared Diﬀerences) を評価尺度としたテンプレート

座標と，特徴点 j の三次元位置を画像上へ投影した座標をマッチングによって探索し，現フレームにおける仮の追跡表す．

位置を決定する．仮の追跡位置から，LMedS 基準を用い2.1.2 GPS 測位位置に関する誤差

たロバスト推定 [11] によって誤対応を排除し暫定的なカ

一般に GPS の測位誤差は水平方向と高度方向で異なるメラの位置・姿勢を得る．暫定的なカメラの位置・姿勢とことから，本稿では，GPS の水平方向の誤差と高度方向特徴点の三次元位置から，現フレームにおける特徴点の出の誤差を独立に扱う．すなわち，Fig.2 に示すように，真現位置を予測し，周辺の小さな領域に対して対応づけを行の GPS 受信機の位置は GPS の測位位置を中心とする GPS

い，追跡位置を確定する．最後に追跡された特徴点の画像の測位精度に依存した一定の大きさの円柱内に存在する上の位置と三次元位置から再投影誤差を最小化することにとし，GPS 測位位置に関する誤差 Ψi を以下のように定義

よりカメラの位置・姿勢を得る．

する．

2.2.2 特徴点の三次元位置の推定，追加・削除 (B)(Ψi =)2n)2n (√1
1xi2 + y2i
zi+r(p)h(p)  xi y  i  = M d − gii z  i 1

ここでは，特徴点の三次元位置の推定と追加・削除を行(3)う．まず，各フレームにおいて推定されたカメラの位置・姿勢と特徴点の画像上の位置から，再投影誤差を最小化す(4)

ただし， M はカメラ座標系から GPS 測地座標系への変換行列，d はカメラ座標系における GPS 受信機の位置， g はGPS 測地座標系における GPS の測位位置，r は円柱の半径，h は円柱の高さの 1/2， p は GPS の測位精度を表す．
また，n はあらかじめ与える定数であり，n に大きな自然数を与えることで，GPS 受信機の位置が測位位置を中心とした円柱の中に存在する場合には Ψi が 0 に近い値となり，ることで特徴点の三次元位置を推定し，毎フレーム更新する．また，本研究では，広域な屋外環境を対象とした動画像を扱うため，カメラの動きによって特徴点の出現・消失が起こる．そこでフレーム毎に自動で特徴点の追加・削除を行なう.

2.2.3

GPS 測位値を用いた最適化 (C),(D)

処理 (A),(B) によって得られたカメラの位置・姿勢と特徴点の三次元位置には蓄積誤差が存在する．そこで，処理(C),(D) では式 (1) で定義した誤差関数 E を，勾配法によっの距離を移動しながら撮影した動画像 (解像度 720 × 480

Table.1 Maximum error of each positioning accuracy [mm](a) 全データ(b) 外れ値除外後

測位精度画素，プログレッシブ撮影，15fps，3106 フレーム) と RTK-

水平方向

高度方向

水平方向

高度方向

GPS 受信機 (TOPCON GR-3) から得られた 1 秒間隔で計

RTK-fix

7936772941

測された GPS 測位値を入力として用いてカメラ位置・姿勢

RTK-float

12792

20424

37789504の推定を行い，動画像のみを用いる手法，GPS の誤差とし単独測位

254085356620

19872

29665て正規分布を仮定する従来手法 [7] との比較を行った．ただし，動画像と GPS の測位値は手動で開始時刻を同期さて最小化することで，GPS の測位値を用いてカメラの位置・姿勢と特徴点の三次元位置を最適化する．処理 (C) では k フレームごとに，現フレームから l フレーム前までのフレームを用いて誤差関数 E の最小化を行うことにより，狭区間での最適化を行う．これにより，逐次的な推定において誤差の蓄積を抑える．また，処理 (D) では全てのフレームについて逐次的な処理が終了した後，全てのフレームを用いて誤差関数 E を最小化する．

せ，カメラと GPS 受信機の相対位置関係は手動で計測した値を用いた．カメラの内部パラメータはあらかじめ Tsaiの手法 [12] によってキャリブレーションし，その値を用いた．また，処理の初期化のため第 50 フレームまでのカメラ位置・姿勢を画像上で三次元位置が既知の点を指定することによって与え，狭区間最適化を行うフレーム間隔を

k = 15， 使用フレームを l = 150 に設定した．
水平方向および高度方向の GPS 受信機の位置の推定結果と GPS の測位位置をそれぞれ Fig.3，Fig.4 に示す．た3 実験
本節では，まず GPS を固定して観測を行い，式 (3) で用いる測位精度ごとの位置計測の誤差範囲を決定する．
次に，カメラと GPS を移動させながら取得した動画像とGPS の測位値を用いて従来手法 [7] との比較を行い，提案手法の有効性を確認する．

3.1

測位精度ごとの位置計測の誤差範囲の決定

RTK-GPS 受信機 (TOPCON GR-3) を固定して約 5 時間の連続測位を行った．Table.1(a) は，得られた全ての RTK-

fix データの平均位置を真値とし，測位精度ごとに真値からの誤差の最大値を算出したものである．Table.1(a) より，測位精度ごとに誤差の最大値が大きく異なることが確認できる．同表 (b) には測位精度ごとに，水平方向，高度方向それぞれについて誤差が大きい 5% の測位値を除外した結果を示す．外れ値を除外することにより，誤差の最大値が大幅に小さくなっていることから，GPS の測位値には誤差が極端に大きい外れ値が少数含まれていることが確認できる．以降の実験では，GPS 測位の外れ値が何らかの手法により除外できるものとし，Table.1(b) に示した各測位精度における水平方向の誤差の最大値と高度方向の誤差の最大値を，それぞれ円柱のパラメータ r(p)，h(p) とする．

3.2

動画像と GPS 測位値を用いたカメラ位置・姿勢推定

本実験では，ワイドレンズ (Sony VCL-HG0758) を取り付けたビデオカメラ (Sony DSR-PD-150) を用いて約 240mだし，提案手法では 2248 フレーム，従来手法では 1835
フレーム，動画像のみを用いた場合では 2231 フレームで特徴点の追跡に失敗し，以降のカメラ位置・姿勢は推定されていない．これらの図より，動画像のみを用いて推定を行った場合では蓄積誤差の影響によりカメラパスが大幅に縮んでいることがわかる．また，従来手法ではこのような，誤差が蓄積するという傾向は見られないが，GPS の測位精度が低い場合 (RTK-float，単独測位) において，カメラ位置が GPS 測位位置に引きよせられていることが確認できる．これに対して，提案手法では，GPS の測位精度が低い場合においても，このような問題が生じていないことが分かる．また，提案手法において，全体最適化を行うことにより，逐次的な推定結果に対して，より滑らかなカメラパスが推定されていることが確認できる．
提案手法によって推定されたカメラ位置・姿勢を用いて仮想物体を動画像に合成したマッチムーブの結果を Fig.5に示す．ワイヤーフレームはトータルステーションを用いて計測したビルの角の三次元座標をもとに描画されている．同図 (a),(b) は，それぞれ逐次処理，全体最適化により得られた結果を用いたものである．ワイヤーフレームがおおむね正しい位置に描画されていることから推定されたカメラ位置・姿勢に大きな計測誤差が含まれていないことが確認できる．しかし，逐次的な推定結果において 686 フ
レームと 691 フレームの間でワイヤーフレームが大きく動3560
地点1初期フレーム50

地点240(i)地点125南北方向[m]南北方向[m]

3030
範囲A2020地点310(ii)地点2150010203040東西方向[m]50提案手法(逐次)提案手法(全体最適化)
従来手法(全体最適化)
動画像のみ(全体最適化)

60
RTK‑fix
RTK‑float
単独測位10(a) 全体

1 2 3 4 5 6
東西方向[m](iii)地点3(b) 範囲 A の拡大(c) 入力画像

Fig.3 Result of estimated GPS positions(horizontal direction)

いていることが分かる．これは 691 フレームにおいて測位謝辞

精度の高い GPS 測位 (RTK-fix) が得られ，蓄積誤差が急激

No.19200016)，総務省・戦略的情報通信研究開発推進制度に小さくなったためだと考えられる．これに対して，全体(SCOPE) による．

最適化を行った結果では，ワイヤーフレームが実環境中の一定の位置に描画され，カメラ位置・姿勢が滑らかに推定されていることが確認できる．

本研究の一部は科学研究費補助金 (基盤研究 (A)，参考文献
[1] M. Pollefeys, R. Koch, M. Vergauwen, B. Deknuydt andL. Van Gool: “Three-dimensional scene reconstruction from4 まとめimages,” Proc. SPIE, Vol. 3958, pp. 215–226, 2000.
[2] G. Klein and D. Murray: “Parallel tracking and mapping for

本稿では，GPS 受信機の真の位置が GPS の測位位置を中心とする GPS の測位精度に依存した一定の大きさの円柱内に存在することを仮定し，この仮定に基づく誤差関数

small AR workspaces,” Proc. Int. Symp. on Mixed and Augmented Reality, pp. 225–234, 2007.
[3] 佐藤, 神原, 横矢, 竹村: “マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元”, 電子情報通信学を最小化することで，GPS の測位精度に応じて動画像か会論文誌 (D-II), Vol. J86-D-II, No. 10, pp. 1431–1440, 2003.

らのカメラの位置・姿勢推定結果を補正する手法を提案し[4] G. Bleser, H. Wuest and D. Stricker: “Online camera pose

た．実験では，提案手法を用いることで，GPS の測位精度

estimation in partially known and dynamic scenes,” Proc. Int.

が低い場合においても，GPS の測位位置に大きく依存する

Symp. on Mixed and Augmented Reality, pp. 56–65, 2006.

ことなくカメラ位置が推定できることを確認した．今後の[5] M. Agrawal and K. Konolige: “Real-time localization in outdoor environments using stereo vision and inexpensive GPS,”

課題として，GPS 測位に含まれる外れ値の除外手法の開Proc. Int. Conf. on Pattern Recognition, Vol. 3, pp. 1063–

発，GPS 測位値を用いた初期化などが挙げられる．

1068, 2006.
[6] D. Schleicher, L. M. Bergasa, M. Ocana, R. Barea and43

高度[m]

21
0-1-20500

提案手法(逐次)提案手法(全体最適化)
従来手法(全体最適化)

1000
フレーム番号1500

動画像のみ(全体最適化)
RTK‑fix
RTK‑float

2000

単独測位

Fig.4 Result of estimated GPS positions(altitude)

681 フレーム

686 フレーム

691 フレーム

696 フレーム

691 フレーム

696 フレーム(a) 逐次処理

681 フレーム

686 フレーム(b) 全体最適化
Fig.5 Result of match move by the proposed method

E. Lopez: “Real-time hierarchical GPS aided visual SLAM onings based on DGPS and odometry data fusion,” Proc. Int.

urban environments,” Int. Conf. on Robotics and Automation,

Conf. on Robotics and Automation, pp. 1978–1984, 2003.

pp. 4381–4386, 2009.

[10] C. Harris and M. Stephens: “A combined corner and edge de-[7] 横地, 池田, 佐藤, 横矢: “特徴点追跡と GPS 測位に基づtector,” Proc. Alvey Vision Conf., pp. 147–151, 1988.

く カ メ ラ 外 部 パ ラ メ ー タ の 推 定”, 情 報 処 理 学 会 論 文 誌:

[11] 栗田, 坂上: “ロバスト統計とその画像理解への応用”, 画像のコンピュータビジョンとイメージメディア, Vol. 47, No.

認識・理解シンポジウム (MIRU2000) 講演論文集, pp. 65–70,

SIG5(CVIM13), pp. 69–79, 2006.

2000.

[8] M. Kourogi,

N. Sakata,

T. Okuma and T. Kurata:[12] R. Y. Tsai: “An eﬃcient and accurate camera calibration tech-“Indoor/outdoor pedestrian navigation with an embeddednique for 3D machine vision,” Proc. IEEE Conf. on Computer

GPS/RFID/self-contained sensor system,” Proc. Int. Conf. onVision and Pattern Recognition, pp. 364–374, 1986.

Artificial Reality and Telexistence, pp. 1310–1321, 2006.
[9] K. Ohno, T. Tsubouchi, B. Shigematsu, S. Maeyama andS. Yuta: “Outdoor navigation of a mobile robot between build-