カーナビゲーションのためのランドマークデータベースを用いた高精度な自車位置・姿勢の推定
武富貴史 ，佐藤智和（奈良先端科学技術大学院大学），山口晃一郎（株 豊田中央研究所），横矢直和（奈良先端科学技術大学院大学）

                                               !"# #                  $  % $ $   &"                ' "  (&    #   '  (           (      (            (  )& $ "  (    #    ' (      $     $     "                  #                *   $    $      (     "       "#      "     "    & &   "   '  (    #  %  + (  $ $               " %                  (  #キーワード：ランドマークデータベース，' カーナビゲーション，拡張現実感，カメラ位置・姿勢推定  " '  (        $     $        はじめに
現在，一般的に用いられているカーナビゲーションシス
テムでは，,- および内界センサによって取得した位置と地図情報を利用することで自車位置を推定し，二次元の地図上でのナビゲーションを行っている．このような二次元の地図に基づくカーナビゲーションシステムでは，実環境と案内情報の対応関係を瞬時に把握することが難しく，ナビゲーション画面を注視することによる交通事故の発生が問題となっている．これに対して，実環境と案内情報の対応関係の把握を容易にするために，交差点などにおいて三次元の , モデルを表示する機能を有する製品が販売されているが，, モデルの作成コストが大きく都市部などの主要な交差点でのみ利用が可能な状態となっている．このような問題に対して，近年，車載カメラにより実環境を撮影した画像上に案内情報を合成提示する拡張現実感技術を用いたカーナビゲーションシステム（以下，' カーナビ）に関する研究が行われている   ．' カーナビでは，実際の走行環境を撮影した画像上に案内情報の提示を行うため，実環境と案内情報の対応関係を直感的かつ瞬時に把握することができるという特長を持つ．このような ' カーナビを実現するためには，車載カメラの絶対位置・姿勢を推定する必要がある．従来から様々なカメラ位置・姿勢推定手法が提案されているが，本報告では ' カーナビでの利用を想定し，実環境と案内情報の画像上での位置合わせの精度を高めやすい，画像に基づくカメラ位置・姿勢推定手法に着目する．
一般に，画像からカメラの絶対位置・姿勢を推定するためには，利用環境の事前知識が必要となる．利用環境の事前知識として，環境の三次元モデルを用いる方法   が提案されている．しかし，広域で複雑な屋外環境では環境の三次元モデル作成の人的コストが膨大となるため，これを ' カーナビで利用することは難しい．一方，これまで
我々は，環境中に存在する自然特徴点の三次元位置と自然特徴点周辺の局所的な画像情報をランドマークとしてデータベースへ登録しておき，ランドマークと入力画像中の自然特徴点を対応付けることでカメラ位置・姿勢の推定を行う手法を提案している  ．ランドマークデータベースを用いる手法  では，  & &   法を利用することで自動でランドマークデータベースを構築することができるため，広域で複雑な屋外環境においても，比較的容易にランドマークデータベースを構築することができる．本
研究では，ランドマークデータベースを用いる手法を基礎とし，カメラ位置・姿勢推定に車両の動き予測モデルを導入することによって，推定されるカメラ位置・姿勢を安定化し，' カーナビを実現する．

（A）ランドマークデータベースの構築(A-1) 走行環境の三次元復元(A-2) ランドマーク情報の取得

ランドマークデータベース
ランドマーク１(B-3) ランドマークの選択

図

全体の処理の流れ カーナビのためのカメラ位置・姿勢推定

本研究では，ランドマークデータベースを用いて車載カメラの位置・姿勢を推定することにより，' カーナビを実現する．提案手法の処理の流れを図 . に示す．ランドマー
クデータベースを用いたカメラ位置・姿勢推定処理は，オ
フラインでのデータベースの構築処理 ' とオンラインでのカメラ位置・姿勢推定による案内情報の提示処理 / からなる．
〈・ 〉 ランドマークデータベースの構築
本節では，ランドマークデータベース構築処理 ' について述べる．
ここでは，ランドマークデータベースを構築するために，まず，全方位画像を用いた走行環境の三次元復元を行う．次に，三次元復元結果を用いてランドマーク情報を取得する．
以下では，各処理について詳しく述べる．
走行環境の三次元復元
まず，走行環境内を移動しながら全方位カメラを用いて撮影する．次に，動画像中の自然特徴点を自動追跡することで，  & &   によって自然特徴点の三次元位置，および全方位カメラの外部パラメータを推定する．最後に，カメラパラメータと自然特徴点の三次元位置の累積的な推定誤差を最小化するために，三次元位置が既知の少数の基準点  または ,- から得られる絶対位置  を利用して，動画像全体での最適化処理を行う．
ランドマーク情報の取得
本研究で用いるランドマークデータベースには図 ) に示
すように， 自然特徴点の三次元位置，" 撮影地点ごとの情報， ランドマークの優先度の情報が保持される．以下ではそれぞれの情報の取得方法について述べる．
ランドマークの三次元位置：オンライン処理では，ランドマークの三次元位置と画像上の二次元座標を対応付けることによりカメラの位置・姿勢を推定するため，ランドマークの三次元位置情報が必要となる．ランドマークの三次元位置は '&. で述べた処理によって得られるものであり，環境に固定された世界座標系で保持されている．

ランドマークＮ（b） 撮影地点ごとの情報（b-1)多重スケールの画像テンプレート（b-2）固有スケール（b-3）SIFT特徴ベクトル（b-4）撮影時の全方位カメラの位置(B-2) 現フレームのカメラ位置・姿勢の予測付けによるカメラ位置・姿勢推定(B-5) 案内情報のレンダリング・・・（a） ランドマークの三次元位置（B） カメラ位置・姿勢推定による案内情報の提示(B-1) カメラの初期位置・姿勢の取得(B-4) ランドマークと自然特徴点の対応

ランドマーク２（c） ランドマークの優先度

図

ランドマークデータベースの構成要素

撮影地点ごとの情報の取得：撮影地点によるランドマー
クの見え方の違いに対応するため，撮影地点ごとにカメラの撮影姿勢に依存しない多重スケールの画像テンプレート
"&. を作成し，データベースへ登録する．また，カメラの初期位置・姿勢を推定するために 0&!$  ， 1 &$   を用いて，自然特徴点の固有スケール "&)，1 特徴ベクトル "&2 を算出し，データベースへ登録する．さらに，オンライン処理でのランドマーク選択処理
/&2 において，撮影可能なランドマークを選択するために，ランドマーク撮影時の全方位カメラの位置をデータベースへ登録する "&3．
ランドマークの優先度：オンライン処理でのランドマー
クの選択処理 /&2 において，正しく対応づく可能性の高いランドマークをデータベース中から効率的に選択するた
めに，ランドマークに優先度を付加する．ここでは，事前に ' カーナビを利用する環境でランドマークの優先度を学習するための動画像を撮影しておき，撮影された学習用の動画像に対して，後述する処理 / と同様のカメラ位置・姿勢推定を行うことで，各ランドマークの優先度を決定する．本研究では，ランドマーク の優先度  として，ランドマーク が推定に利用される確率  4   を用いる．
ここで， ， は，それぞれ，学習データに対するカメラ位置・姿勢推定の処理結果について，ランドマーク がデータベースから選択された回数とカメラ位置・姿勢推定の際に誤対応として排除されずに推定に用いられた回数を表す．

〈・〉 カメラ位置・姿勢推定による案内情報の提示
オンラインでのカメラ位置・姿勢推定による案内情報の提示処理 / について述べる．オンライン処理では，図 . に示したように，まず初期フレームでのカメラ位置・姿勢を取得し /&.，続いて処理 /&)〜/&5 を繰り返す．本研
究では，ランドマークの画像上の探索範囲を車両の動きを予測することによって限定することで，カメラ位置・姿勢推定処理の安定化を図る /&)．以下では，各処理について詳しく述べる．
カメラの初期位置・姿勢の取得
本研究では，初期フレームのカメラ位置・姿勢は，ランドマークデータベースを用いた静止画像からのカメラ位置・姿勢推定手法   によって自動で取得する /&.．初期フレームのカメラ位置・姿勢推定処理では，まず，入力画像中の自然特徴点の固有スケール， 1 特徴ベクトルを算出した後，これらをデータベース中の全てのランドマークの 1 特徴ベクトルと照合することで自然特徴点とランドマークを対応付ける．次に，ランドマークの観測地点の整合性を利用して，対応付けられたランドマークから誤対応を排除する．最後に，得られた対応関係を用いて，-問題  を解くことで 6 自由度のカメラ位置・姿勢を推定する．
現フレームのカメラ位置・姿勢の予測
車両の位置・姿勢は連続フレーム間で急激に変化しない
ことから，車両の運動を局所的には等速運動で近似できるものとする．すなわち，現フレーム  のカメラ位置・姿勢  を以下の式で予測する．

 

4 

½

図  全方位画像

.

ここで，  ½ は  . フレーム目で推定されたカメラ位置・姿勢を表し，  はフレーム間でのカメラの相対的な運動を表す．本研究ではフレーム間での細かな振動を抑制するため，  として， . フレームから  
フレームまでの各フレームに対するカメラの相対運動を用いる．
ランドマークの選択
ランドマークの選択処理 /&2 では，まず処理 /&) で予測されたカメラ位置・姿勢  とランドマークが撮影された全方位カメラの位置の幾何学的な関係を用いて，予測されたカメラ位置から撮影可能なランドマークをデータベース中より選択する．次に，選択されたランドマークの候補から優先度の高い順にランドマークを  個選択する．
ランドマークと自然特徴点の対応付けによるカメラ位置・姿勢推定
処理 /&2 で選択したランドマークと入力画像中の自然特徴点を対応付け，カメラ位置・姿勢の推定を行う /&3．
ここではまず，予測されたカメラパラメータ   を用いて，処理 /&2 で選択されたランドマークを入力画像上へ投影する．次に，投影したランドマークの画像上の位置内に存在する全ての自然特を中心とする一定ウィンドウ
徴点周辺の画像パターンとランドマークの画像テンプレートを正規化相互相関法によって照合する．最後に，ランドマークと対応付けられた自然特徴点を用いて，現フレーム
 のカメラパラメータ を推定する．現フレーム  のカメラパラメータ  は処理 /&. と同様に，誤対応の排除後に，-- 問題を解くことによって推定する．
案内情報のレンダリング推定された現フレームのカメラパラメータ を用いて，カメラで撮影した画像上に事前に三次元位置が与えられた案内情報をレンダリングする /&5．本研究では，案内情報の画像上での提示位置を安定させるために，現フレーム
 からフレーム までの案内情報の投影位置の重心に案内情報を提示する．











図 実三次元復元結果

験

ここでは，従来手法  との比較により，提案手法の有効性を示す．本実験では，自動車に全方位型マルチカメラシ
ステム -  ,  社 !") を固定し，屋外環境 約 .)7 を走行しながら撮影した全方位動画像 577
フレーム を用いてランドマークデータベースの構築を行った．図 2 に，データベースの構築に用いた全方位動画像の一部を示す．また，データベース構築時のカメラパスと復元されたランドマークの三次元位置を図 3 に示す．本実験では，全方位動画像撮影の際に，助手席に単眼カメラ  8
&- &.57 を固定することで動画像 解像度 9)73:7 画
素，プログレッシブスキャン，.5$，377 フレーム を撮影し，評価用として用いた．また，提案手法において，カメラの動きの算出 /&) に用いるフレーム数を  4 .7 とし，案内情報のレンダリング /&5 では 4 5 フレーム分の平均位置を案内情報の提示位置として用いた．なお，従来手法，提案手法ともにデータベースより選択するランドマーク数  を 97 個とし，ランドマークと自然特徴点の対を従来手法では .)7  67
応付け処理 /&3 のウィンドウ
画素，提案手法では 27  27 画素とした．
従来手法（予測無し）により推定されたカメラパスを図5 に，提案手法（予測有り）により推定されたカメラパスを
図 6 に示す．本実験では，データベースの構築用の全方位動画像と案内情報合成用の入力画像を同時に取得したため，
図

推定されたカメラパス（予測無しの場合）

図推定されたカメラパス（予測有りの場合）

参考文献

 フレーム目 フレーム目

図  案内情報の提示結果

本来は全方位カメラのカメラパスと単眼カメラのカメラパスがおおむね一致する．これに対して，従来手法を用いて推定されたカメラパスは全方位カメラのカメラパスから大きく外れており精度が低い．一方，提案手法を用いて推定されたカメラパスは細かな振動はあるが，全方位カメラのカメラパスと同様の軌跡を描いていることが分かる．このことから，提案手法は，従来手法よりも安定したカメラ位置・姿勢推定処理を実現できていることが分かる．
図 9 に，提案手法によって推定されたカメラ位置・姿勢を用いて案内情報を提示した結果を示す．生成された動画像から案内情報が位置ずれなく幾何学的に正しい位置に描画されていることを確認した．
 ま と め
本報告では，ランドマークデータベースを用いたカメラ位置・姿勢推定手法  に予測モデルを導入することで，カメラ位置・姿勢推定処理の安定化を行い，' カーナビへの応用が可能であることを示した．今後は，よりロバストなカメラ位置・姿勢推定処理を実現するために，車載セン
サ情報との統合を図る．
謝 辞
本研究の一部は，科学技術振興機構 ;  の戦略的創造研究推進事業 <  「デジタルメディア作品の制作を支援する基盤技術」プログラム，総務省・戦略的情報通信研究開発推進制度  8-< の支援による．

（ ） 赤穂 加藤 西田 実写ベースカーナビにおける交差点案
内の検討と評価  信学技報
   （  ） 澤野 岡田 車載カメラによる実時間画像処理とその 技術に基づく表示方式によるカーナビへの応用  芸術科
学会論文誌       （  ）      ! " #$$ $% & '('() (#% $% *+ ,-*,$ ., (-/#$% ,) $* &, 01   2 （  ）      $% & '( 3#+$$- %-
$% 4(, $.,#$ ., ,/# (, ! #/, ,5$- &, 01    （  ） " "5# " 1 $%  65) /# #/, *$ $% *(, *#$ (*$-  .(,
$%#,5 %+* 7 ,,* 3!/8 &,
03& （  ） 佐藤 池田 横矢 複数動画像からの全方位型マルチカメ
ラシステムの位置・姿勢パラメータの推定  信学論（!/009
 :/!/00     （  ） 1 05% " 1 ; 6#-(  $%  65) 3$/*,($ . .(, $%#,5 %+* (*$- #$%/,$ <%* $% =&1 *$* &, 0$ 3$.
$ !0   2 （  ） ; 5>?)5 $% 3 1 #% 1 @ Æ$ $<,/$ $,* $ %,* 0$ : . 3#(, /*$       （ 2 ） ! = 7!*$< #- .(,* .,# */$<,$ 5)$* 0$ : . 3#(, *$     2   （ ） 薄 中川 佐藤 横矢 ランドマークデータベースに基づ
く静止画像からのカメラ位置・姿勢推定  日本バーチャ
ルリアリティ学会論文誌        （ ）  ; ; 1 ($* $%  5* $ %* 3#(,*$ " ,/%#$*$ ! .,# 0#- 22