基礎論文

ランドマークデータベースに基づく
静止画像からのカメラ位置・姿勢推定
薄 充孝 

中川 知香 

佐藤 智和 横矢 直和                                



 

                                                                                                                                                                                      !"          "                 #          $ %#       



 

はじめに
近年，携帯電話によるヒューマンナビゲーションや
ユーザ位置に依存した情報配信が実用化されている．
現在実用化されているナビゲーションシステムでは，携帯機器に内蔵された  や複数の基地局からの電波強度を利用してユーザの位置を特定し，地図上での道案内を実現している．これらのナビゲーションシス
テムでは，一般に二次元の地図を利用してユーザの位
置やガイド情報をディスプレイ上に提示しているが，ユーザにとって実環境と二次元地図上のガイド情報の関係を正しく把握することは必ずしも容易ではない．
これに対して，拡張現実感技術を用いたナビゲーションシステムが複数提案されている     ．これらのシステムでは，実環境を撮像するカメラの位置・姿勢を推定し，仮想環境と現実環境の位置合わせを行った上で，実環境の映像上にナビゲーション情報やガイ
ド情報を重畳表示することで，ユーザに対する直観的なナビゲーションを実現している．
このような拡張現実感によるナビゲーションを実現するためのカメラ位置・姿勢推定手法として， や  &   '  !  組み合わせてカメラの位置・姿勢を推定することで比較的ロバストな推定を実現しているが，センサの実装
コスト・サイズの問題から一般的な携帯電話で利用することは難しい．後者は，入力画像中の自然特徴点やエッジなどの自然特徴をあらかじめ構築されたデータ
ベース内の情報と照合することで，特殊なセンサを用いることなくカメラ位置・姿勢を推定する．しかし，計算機リソースの乏しい携帯端末上において，広域環境を対象としたデータベースを保持することや，比較的計算コストの高い特徴照合の処理を行うことは困難である．これに対して，サーバ・クライアント型の枠組みを用い，サーバ上でデータベースと入力画像上の特徴を照合することでカメラ位置・姿勢推定を実現するアプローチが考えられるが，ネットワーク帯域の問
題，サーバ側の計算負荷の問題，伝送遅延の問題から，動画像をサーバに伝送し処理することは現実的ではない．これに対して本研究では，以下のような枠組みで
静止画像一枚からカメラ位置・姿勢推定を行うことで，
ネットワーク帯域の問題およびサーバにおける計算負荷の問題を回避する．

ジャイロなどのセンサを組み合わせて用いる手法やカ! " ユーザは携帯電話に内蔵されたカメラで静止画をメラから得られる画像を用いる手法などが提案されて撮影し， や電波強度による位置情報と共にいる．前者は，複数のセンサにより得られる計測値を

写真をサーバに送信する．

¶½ 奈良先端科学技術大学院大学¶½

  

情報科学研究科      !#" サーバは事前に構築されている環境のデータベー日本バーチャルリアリティ学会論文誌

スと写真を照合し，カメラ位置・姿勢を推定する．

!$" サーバは受信した写真にナビゲーション情報およ  
オフライン処理 ランドマークデータベースの構築
全方位動画像による環境の三次元復元
(

)

(A-1)

ランドマーク情報の獲得

び各種ガイド情報を合成し，ユーザに返送する．
上記の枠組みにより，現在既に市販されている携帯電話や，将来においても大勢を占めるであろう比較的安価で低機能な携帯端末上においても拡張現実感による(A-2)

オンライン処理 ランドマークデータベースを用いた
カメラ位置・姿勢推定()

・電波強度によるランドマークの選択(B-1) GPS

ナビゲーションを実現することができる．ただし，静止画像一枚を対象とした場合には，従来手法の多くが(B-2)

用いてきた時系列情報を用いたデータベースの探索範
囲の限定が行えないため，比較的広い空間範囲に対応(B-3)

するデータベースから，入力画像中の自然特徴と正し
く対応づく対応点を探索する必要がある．

類似度評価に基づくランドマークの選択

観測位置の整合性によるランドマークの選択(B-4)

カメラ位置・姿勢パラメータの推定

提案手法の処理の流れを図  に示す．本研究では，
まず対象となる環境を全方位カメラで撮影し，オフラ
イン処理で  ! "     法 #以下， $ 法%

図



提案手法の処理の流れ    

 

による三次元復元を行うことで，自然特徴点の三次元
位置とその見え方の情報をランドマークとしてデータベースに登録する #以降，本論文では三次元位置と見え方の情報が既知の自然特徴点をランドマークと呼ぶ%．
オンライン処理では，データベースに登録された膨大な数のランドマークから，入力画像中の自然特徴点に対応する正しいランドマークを検索するために，
または電波強度による位置情報，ランドマークの類似
度，ランドマーク観測時のカメラ位置の整合性，を順に用いてカメラ位置・姿勢推定に利用するランドマー
クを段階的に絞り込み，最終的に誤対応を排除した上で & 自由度でのカメラ位置・姿勢推定を行う．
以下， 節では本研究に関連が深い画像を用いたカ
メラ位置・姿勢推定の従来手法について概観し，本手法の位置づけを述べる． 節では，本研究で用いるランドマークデータベースの構成要素および作成方法について詳述し，続いて  節では，作成したランドマー
クデータベースを用いた静止画像一枚からのカメラ位
置・姿勢推定手法について述べる．また， 節では，実際に携帯電話に内蔵されたカメラで撮影した画像を用いたカメラ位置・姿勢推定実験について報告し，最後に，& 節でまとめと今後の課題について述べる．

#

関連研究

本節では，拡張現実感への応用が可能なカメラ位置・姿勢の推定手法を分類し，本研究の位置づけを述べる．
画像を用いてカメラの位置・姿勢を推定する手法は，事前知識を用いない手法と，事前知識として各種のデー

置・姿勢を同時に推定する．このようなアプローチを用いれば拡張現実環境をその場で簡単に構築できるため，近年盛んに研究されている & ,． '( は，コンピュータビジョンの分野で研究されてきた $ 法を，オンラインで実行可能なように拡張・改良したものであると言えるが，広域な環境において '( のようなオンライン推定の枠組みを用いた場合には誤差の蓄積が問題となり，何らかの手法を用いて蓄積した誤差を解消する必要がある．また， '( によって得られる自然特徴点の三次元位置およびカメラ位置・姿勢は相対的なものであるため，位置に依存した情報を利用するナビゲーションなどのアプリケーションにそのまま応用することはできない．これに対して，本研
究では， 節で述べる  または基準点を用いたオ
フラインでの最適化処理を行う $ 法をデータベースの構築に用いることで誤差の累積の問題を解決し，また同時にランドマークの三次元位置を絶対座標で算出する．
事前知識を用いてカメラ位置・姿勢推定を行う手法
は，事前知識として用いるデータベースによって以下のように分類できる．

#%  次元位置関係が既知の人工的なマーカを用いる手法 - . / 
#0% 環境中を事前に撮影した画像群とその撮影位置・
姿勢情報などの付加情報から成る画像データベースを用いる手法   

事前知識を用いない手法は '(# )!  ' *# % 事前に作成した環境中の三次元モデルやランド
マークなどを用いる手法  & , - .

)   ++% と呼ばれ，動画像上の自然特徴点の動きから自然特徴点の三次元位置とカメラ位

置した位置関係が既知の多数のマーカを利用すること

タベースを用いる手法に大別することができる．

人工的なマーカを用いる手法 #% では，環境内に配薄，中川，佐藤，横矢

ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定

でカメラ位置・姿勢の推定を行う．これらの手法の多く

定開始時点における初期フレームでは時系列情報を用

は動画像を入力として想定しているが，大半の手法はいることができないため，初期フレームにおけるカメ

静止画像一枚を入力とした場合にも利用できる．しかラ位置・姿勢推定の問題 #初期化の問題% は，それ以し，広域環境へのマーカの配置に多大な人的コストが降のフレームに対する推定の問題とは問題設定が異なかかるという問題や，マーカによって景観が損なわれる．本研究で扱う静止画像一枚からのカメラ位置・姿るという問題があり，特に屋外環境での利用は難しい．

勢推定の問題は，このカメラ位置・姿勢の初期化の問

画像データベースを用いる手法 #0% では，環境を事前に撮影した画像群とその撮影位置・姿勢情報などの付加情報からなるデータベースを利用する．岩佐ら や 1   ら  は，全方位画像をデータベースに登録し，入力画像との見え方が近い位置・姿勢を探索することでカメラ位置・姿勢を推定する手法を提案している．これらの手法は，入力として静止画像を扱うことができるが，データベース中で最も類似した画像の撮影位置をそのまま入力画像のカメラ位置として出力するため，精度の高いカメラ位置・姿勢が要求される
拡張現実感への応用は難しい．これに対して，2+ ))
ら  は画像データベースを用いたカメラ位置・姿勢推定の精度を高めるために，画像中に写るビルなどの輪郭や壁面上から縦・横方向の多数の平行線を用い，これらを用いてデータベース中の画像と入力画像間の平面射影変換行列を算出することで，入力画像と最も類似した画像からの相対的なカメラ位置・姿勢を推定する手法を提案している．この手法では，データベー
ス構築時に，二次元地図上の建物の正面に相当する輪郭線を画像上で指定しデータベースを二次元地図と対応付けておくことで，静止画像一枚を入力とした二次
元地図上での撮影位置と方位の推定を実現している．
しかし，二次元地図を基礎としているため，建物の高さ方向に関する情報が与えられず，最終的にカメラ位
置の高さ成分と姿勢の仰角成分を推定することができない．また，対象となる実環境に多数の平面や平行線が存在していることを前提としており，利用可能な環
境が限定されるという問題がある．
三次元モデルやランドマークを用いる手法 # % では，
ワイヤフレームモデルなどによる環境の三次元モデ
ルや，ランドマークから成る三次元情報を含むデータ
ベースを事前に作成しておき，それらを入力画像上の自然特徴 #エッジや自然特徴点% と対応付けることでカメラの位置・姿勢を算出する．このようなアプロー
チを用いれば，マーカなどを用いることなく & 自由度
でカメラ位置・姿勢推定を推定できるため，マーカを用いないカメラ位置・姿勢推定手法として盛んに研究されている．このような従来手法の大半は動画像を扱うことを前提としており，一般的に時系列情報 #例えば前フレームのカメラ位置・姿勢の推定結果% を用る
ことで，利用するデータベースの範囲をフレーム毎に限定し，推定のロバスト性を高めている．しかし，推題と本質的に同等の問題設定となる．

+ ら .
は， 3$ 特徴点を用いてデータベース構築用の画像
群から初期フレームの画像に最も類似した画像を探索し，その画像取得時のカメラ位置・姿勢を初期フレー
ムのカメラ位置・姿勢として与えている．この手法では，データベース構築時のカメラ位置から離れた場合
において正しく初期化を行うことができない．また，この手法は比較的小規模な環境を対象としている #上記の手法では / 枚程度の画像からデータベースを構築している% が，広域環境での利用を前提とした場合には，データベース中に見え方が類似したランドマー
クが多数登録されるため，自然特徴点の対応付けにおける誤対応率が過半数を上回り，正しいカメラ位置・姿勢を与えることが難しいという問題がある．一方，あらかじめ物体ごとに分類された特徴を用いて入力画
像中に撮像されている物体を認識することで，撮影されている物体に対するカメラ位置・姿勢の初期化を行う手法 /  が提案されているが，類似した物体が多数存在し，また物体自体の分離が難しい広域環境に対するカメラ位置・姿勢推定に利用することは難しい．
また，エッジ特徴を用い投票に基づいて初期化を行う
手法  が提案されているが，エッジのみから得られる特徴量は乏しく，この手法では傾斜角センサの利用が前提となっている．4! ら  は，屋外環境において  により計測された位置に対して，計測位置を中心とした一定の範囲内に複数の位置候補を生成し，各地点において実際に推定処理を行った上で信頼度の高い推定結果を初期値として採用している．この手法では，姿勢は磁気コンパスと傾斜角センサから得られる情報をそのまま用い，位置についても高さは から得られるデータの平均値を用いることで，推定すべきパラメータの自由度を  に限定している．
本研究では，上記の動画像を対象としたカメラ位
置・姿勢の初期化に関する従来研究ではあまり扱われてこなかった比較的広域で複雑な屋外環境を対象とし，データベース中に多数の類似したランドマークが存在する場合にも画像に基づいて & 自由度のカメラ位置・姿勢推定を実現する手法を提案する．提案手法では，
入力画像中に存在する自然特徴点と類似したランドマークを観測可能な空間中の位置・姿勢に投票を行う
ことで，誤対応を効果的に排除する．
このような初期化の問題に対して，

日本バーチャルリアリティ学会論文誌

ランドマークデータベース
ランドマーク(I)

1

ランドマーク2...

いる ．以下では，自然特徴点の固有スケール #33*0% お

ランドマーク

よび 3$ 特徴ベクトル #33* % の算出手法について詳N

自然特徴点の三次元位置
撮影地点ごとの情報

(II)

(a)

(b)

ランドマーク観測時のカメラ位置
固有スケール
特徴ベクトル(c) SIFT

図  ランドマークデータベースの構成要素        

$ランドマークデータベースの構築

本節では，オフラインでランドマークデータベースを構築する手法について述べる．図  に示したように，
本研究では，まず撮影対象となる環境を全方位カメラ
を用いて撮影し， ! "     法によって自然特徴点の三次元位置と全方位カメラのカメラパラ
メータを算出する #(*%．次に，三次元復元結果に基づきランドマークデータベースを構築する #(*%．以下では，これらの処理について詳しく述べる．

$%

  

全方位カメラによる環境の三次元位置復元

本研究では，対象となる環境を多眼型の全方位カメラを用いて移動撮影し，5 オペレータ  を用いて動画像中から物体の角などの自然特徴点を抽出す
る．次に，抽出された自然特徴点を画像間で対応づけ，

0)! 6! の枠組みで再投影誤差を最小化することで，自然特徴点の三次元位置と全方位カメラの位置・姿勢を推定する．ここで，実環境と自然特徴点の三次元位置の間の幾何学的な位置関係は，基準
マーカと自然特徴点を同時に画像中で追跡する手法
& または  による位置計測情報と画像からの三次元復元情報を併用する手法 , を用いて求める．
$%# ランドマーク情報の獲得
ランドマークデータベースの構成要素を図  に示
す．ランドマークデータベースは #3% 自然特徴点の三次元位置と #33% 撮影地点ごとの情報から成る．ラン
ドマークの見え方は撮影地点によって異なるので，本研究では各ランドマークに複数の撮影地点情報を登録
する．撮影地点情報は，#33*% ランドマーク観測時のカメラ位置，#33*0% 自然特徴点の固有スケール， #33*
% 3$ 特徴ベクトルから成る．本研究では，前節の三次元復元結果を，自然特徴点の三次元位置 #3% およびランドマーク観測時のカメラ位置 #33*% としてそのまま利用する．また，自然特徴点の固有スケール #33*
0%， 3$ 特徴ベクトル #33* % の算出には，それぞれ
5*'+) - および 3$ *! + . を用述する．

!自然特徴点の固有スケールの算出"
7 節の手法によって三次元位置が推定されたすべての画像特徴点に対して，特徴点の固有スケールを算出する．特徴点の固有スケールとは，特徴点周辺のテク
スチャの局所構造から決定される特徴点固有のスケー
ルであり，これを用いることで，物体とカメラ間の距離の変化による画像スケールの変化や画像解像度の変化が起こった場合にも，一定の空間領域に対応する
画像の局所領域を切り出し，特徴点を正しく対応づけることができる．また，入力画像から検出した自然特徴点とそれに対応づけられたデータベース中のランドマークの固有スケールの比によって， 節で述べるオンライン推定におけるカメラ位置とランドマークの間の距離を推定できる．これらについては  節で詳しく述べる．以下では固有スケールの算出手法について述べる．
ここではまず，カメラの姿勢変化による画像上の自然特徴点の見え方の違いをなくすためにレンズ歪みを排除した上で，カメラの投影中心を中心とする球
面上に撮影した全方位画像を投影する．次に，球面画像上における自然特徴点の位置を中心として，スケー
ル を変化させながら式 #% で表される '+) * "*#' % フィルタを適用し，極値をとるスケー
ルを自然特徴点の固有スケールとする -．

 #% 8
ここで，スケール



 

 

#



 

%

#%

は  フィルタのサイズを表しており， はオペレータ中心から注目画素までの距離を示す．図  は，同一のランドマークを異なる距離で撮影した  枚の画像に対して，'  値を算出した例である．同図から，'  の極値に対応するスケー
ルが，全ての画像上において同一の空間範囲に対応していることが分かる．本研究では，'  の極値に対応したスケールを自然特徴点の固有スケール  とすることで，自然特徴点までの撮影距離の違いにより画像スケールが異なっていても，空間的に同範囲の領域を決定する．

#& 特徴ベクトルの生成"
上記の手法により算出された自然特徴点の固有スケー     

½ 文献
では，画像の特徴を記述すると共に，自然特徴点の位置と固有スケールを算出するが提案されているが，本研究では三次元復元処理における自然特徴
特徴点を用いているため，固有スケールの抽出
点の抽出に特徴点に適したを採用する．
にも




薄，中川，佐藤，横矢

ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定

1500

1500

1500

1200

1200

1200

900

900

G
o600
L

G
o600
L

画素

32

300

900

G
o600
L

画素

23

300

0
15

画素

18

300

0

スケールσ
図

    による自然特徴点の固有

35



画素

[

]

15

スケールσ

0

45

25

25

スケールの算出35          

45

画素

[

15

]

スケールσ 画素
25

35

45

[



]

ルに対応する球面投影画像上の自然特徴点周辺の画像から， 3$ *! + . を用いて画像の回転に対して不変な特徴ベクトルを生成する．本研究では，

5*'+)  により算出された自然特徴点の固有スケール  を用いて，自然特徴点の座標を中心とする
半径  # 9 定数% の領域内の画像データから 次元の 3$ 特徴ベクトル  8 #    % を生成する．

'

静止画像からのカメラ位置・姿勢推定

本節では， 節で述べた手法により作成したランド

// 程度の単位に分割されているものとし，まず
 ・電波強度によって得られる観測位置周辺に存在するデータベースを全て選択する．次に，選択されたデータベースに登録されているランドマークから，
 ・電波強度による計測地点を中心とした半径 
内の領域に，ランドマーク観測時のカメラ位置が存在するものを全て，以降の処理で用いるランドマークとして選択する．半径 は計測誤差および携帯機器から最も近いランドマーク観測時のカメラ位置までの距離を考慮して決定する必要がある．
ただし，ここで述べた手法は大規模なデータベースを扱うことを想定した場合に必要となるものであり，本論文では，上記のランドマークの選択について，実装および実験による検証は行わない．
'%# 類似度評価に基づくランドマークの選択
入力画像上で検出された自然特徴点と見え方が類似したランドマークをデータベースから選択する．ここではまず，入力画像上の自然特徴点を 5 オペレー
タによって抽出し，抽出された各自然特徴点に対する3$ 特徴ベクトル   8 #      % をデータベース
構築時と同様の手法によって算出する．次に，以下の式を用いて，入力画像上の自然特徴点とランドマークの類似度  を算出する．

マークデータベースを用いて，一枚の静止画像から撮 8  

影時のカメラ位置・姿勢を推定する方法について述べる．本手法では，まず  や携帯電話の電波強度を用いておおよそのカメラ位置を特定することでデータ  8



# 

 %

#%

最後に，各自然特徴点に対して算出された類似度  をを用いた類

昇順に並び替え， が一定の閾値以下の上位  個のラ似度評価により入力画像上の自然特徴点と対応付くランドマークを自然特徴点と対応づける．これにより，ンドマークの候補を複数選択する #:*%．更に，選択

画像上の各自然特徴点との類似度の高い複数のランドされた各ランドマークが，それぞれ対応付いた入力画

マークをデータベース中から選択する．

ベースの選択を行う #:*%．次に， 3$

像上の自然特徴点と同じ見え方で観測できるカメラ位'%$

観測位置の整合性によるランドマークの選択

置・姿勢を算出し，投票によって  地点から最も多く

前節の処理で対応付けられた自然特徴点とランドのランドマーク候補を観測できるカメラ位置・姿勢のマークの組み合わせには，自然特徴点と真に対応する候補を決定する #:*%．最後に，決定されたカメラ位

ランドマーク以外の誤対応が多数存在する．提案手法

置・姿勢の候補に投票したランドマーク群を用いて最では，このような誤対応を排除するために，入力画像

終的に & 自由度のカメラ位置・姿勢推定を行う #:*%．

が環境中の単一の位置・姿勢で撮影されているという

以下では各処理について順に述べる．

事実に着目し，前節の処理で選択されたランドマーク'%( ・電波強度によるランドマークの選択を最も多く観測可能なカメラ位置・姿勢を投票によっ

現在，携帯電話に内蔵された  によって / かて算出する．またこれにより，投票値が最大となった

ら // 程度，複数の基地局からの電波強度を用いて

カメラ位置・姿勢以外に投票したランドマークを排除

// から // 程度の誤差を含んだ端末位置の特定が可能である．本研究では，あらかじめ多数の地点・地域においてランドマークデータベースが構築されていることを想定し， または電波強度を用いて検索に用いるデータベースを選択する．
ここでは，ランドマーク観測時のカメラ位置を基準に，あらかじめランドマークデータべースが //

する．
まず， または電波強度から得られる誤差を含む
端末位置 #   % を中心とする一定範囲の領域を，
図  に示すように，地面に対して水平方向に格子状に分割し，それぞれの格子に水平方向の姿勢の回転に対応する  個（&/ 度を &/ 度ずつ分割）の投票箱を設置

する．ここでは，世界座標系における # ;% # ;%  
元位置を ) ランドマーク  を撮影したデータベー

日本バーチャルリアリティ学会論文誌

ランドマーク pの三次元位置 Q:

p

ス構築時のカメラ位置を

格子点 に対応する
三次元位置
T

y

z

データベース構築時のランドマークpの撮影位置 Cz y

 の固有スケールを  とすれば，以下の式によって，ランドマーク  と入力画像を撮影したカメラ位置の間の距離  を算出することができる．

GPSの計測位置 : ( g , g , g )x:p

ランドマークpによって投票される格子点
図!

 

ωA
焦点距離 FA

地点A
図"

焦点距離 FBLAL A FB ω B=
LB FA ω A

ωB

ただし，

はデータベース構築時のカメラの焦点

距離を 

は携帯端末に内蔵されたカメラの焦点距離を表わす．
ここでは，前節において選択された各ランドマーク

 に対して算出された距離  を用いて，以下に示す
条件 #% #% を同時に満たすすべての格子点  の 
る * は 格子点  に

ランドマーク p

条件 ! " 格子点とランドマークの間の距離が式 #% によって算出される距離  に一致すること．すな " #     
            

 8

8

 ; 
 ;         ;  #9定数%7

わち，    %

条件 !#" 格子点からランドマーク  への視線方向がデータべース構築時と一致すること．すなわち，          を以下のように定義する．



の高さ成分を与えた三次

元位置 #   % を表わす．

自然特徴点の固有スケールとランドマーク
撮影距離の関係個の格子点の  座標  # #%番目の投票箱に投票する．ただし，以下の条件におけ

LB

地点B

)    8

つのランドマークからの投票例



の画像上

ドマーク  に対応づけられた入力画像上の自然特徴点

: Wij

x

とし，地点

におけるランドマーク  の固有スケールを  ，ラン(i , j )#%ただし， は格子間隔を表す．



# % # 9定数%．

なお， は以下の式により決定する． 8  ．ただし，  はを超えない最大の整数を表し，世界座

標系における  軸に対するベクトル *) の水平

次に，前節の処理で選択された各ランドマークが，面上での回転角を ラジアン とする．以上の処理にそれぞれ対応付いた入力画像上の自然特徴点と同じ見より得られた投票結果に対して，投票数が最大となるえ方で観測できるカメラ位置・姿勢を算出し，投票を位置・姿勢に投票したランドマークを抽出し，次節で行う．ここでは，まず自然特徴点の固有スケールを用述べるカメラパラメータ推定処理に用いる．

いることで，カメラと各ランドマークの間の距離を算

カメラ位置・姿勢パラメータの推定出する．図  に示すように，ランドマーク  との間'%'

投票により抽出されたランドマークと各ランドマーの距離が異なる  つの地点 ( : において撮影されたクに対応けられた入力画像上の自然特徴点を用いて & 枚の画像上で，同一のランドマーク  に対応する自然特徴点の固有スケールがそれぞれ   であるとする．ただし，以下では簡単のために，地点 ( 地点
: において用いられたカメラの画素サイズ # 画素の物理的な大きさ% の違いはあらかじめ正規化されているものとする．このとき，固有スケール   に対応する実空間中での範囲は同一である．物体の画像上での大きさは，物体とカメラ間の距離に反比例し，カメラの焦点距離に比例するため，地点 ( : とランドマーク  の間の距離をそれぞれ   地点 ( : におけるカメラの焦点距離をそれぞれ   とおけば，    8   が成り立つ．
よって，図  に示すように，ランドマーク  の三次

自由度のカメラの位置・姿勢を推定する．ここでは，各ランドマークを画像上に投影した座標と，各ランドマークに対応する自然特徴点の画像座標の間の二乗距
離 #再投影誤差% の総和を最小化することで & 自由度のカメラ位置・姿勢を推定する．ただし，前節の投票
結果には誤対応が含まれるため，ここでは投票結果からランダムに自然特徴点・ランドマークの組を繰り返し抽出し，'! 基準 / を最小とする自然特徴点・
ランドマークの組を抽出することで，誤対応を含まない自然特徴点・ランドマークの組からカメラ位置・姿勢を選択する．
ここで，最終的に得られるカメラ位置・姿勢パラメー
タに対して，再投影誤差の平均値が ! 画素を上回る

薄，中川，佐藤，横矢図$

ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定

データベースの構築に用いた全方位型マルチカメラシステム   と入力画像の一部 $ %            &  '     

場合には，システムは推定結果を失敗と判定する．こ図(の場合には，ユーザは入力画像を撮り直し，再度カメ ( )            

ラ位置・姿勢推定を実行する必要がある．

+

   

実験

提案手法の有効性を示すために，屋外環境においてランドマークデータベースを構築し，提案手法による
カメラ位置・姿勢推定の精度と推定成功率を検証した．

+%

データベースに登録された自然特徴点と全方位カメラの位置データベースの構築

本実験ではまず，図 & 左に示す全方位型マルチカメ
ラシステム # !4!! < 社製 '0% を用いて，実験対象となる環境内の  本の経路上を移動しながら撮影し，ランドマークデータベースを構築した．

'0 は水平方向に  つ，上方向に  つの合計 &つのカメラユニットから構成されており，各カメラユ
ニットはそれぞれ ,&-  / 画素の解像度で動画像を同期撮影できる．ここでは，図 & 右に示す & 枚の画像を含む，合計 , // 枚 # // フレーム% の撮影画像を入力として用い，7 節で述べた手法を用いて，動画像上の自然特徴点の動きから自然特徴点の三次元位
置と全方位カメラのカメラパラメータを復元した．また，撮影した環境中において自然特徴点をトータルス
テーションで計測し，その三次元座標を全方位動画像のキーフレームで手動で指定することで，トータルス
テーションでの計測時に設定した実環境中の世界座標系に対するランドマークの三次元位置と全方位カメラの位置を得た &．
次に，得られた三次元復元結果を用いて 7 節で述べた手法によりデータベースを構築した．本実験では，
3$ による特徴ベクトルの次元数 を - 次元とした．図 , に，データベースに登録されたランドマークの三次元位置と全方位カメラの位置の関係を，地表に対する上面図として示す．同図中の太い実線は全方位

カメラのカメラパスを，点群はランドマークの位置を表している．本実験では，データベースに約  // 個のランドマークが登録され，各ランドマークに対して
平均 ,7 地点の撮影地点ごとの情報が登録された．

+%#

カメラ位置・姿勢の推定

市販の  ・カメラ付き携帯電話 #2 社製 =!

>2(% を用いて撮影した静止画像を用い，提案手法
によるカメラ位置・姿勢の推定結果と真値を比較することで推定精度を評価する．カメラ位置・姿勢の真値
は，あらかじめ環境内の自然特徴点をトータルステー
ションで計測し，入力画像上で手動で位置を指定した上で再投影誤差の最小化によりカメラ位置・姿勢を算出することで作成した．本実験ではサーバ・クライア
ント型システムは構築せず，携帯電話による画像撮影
後に 2 上に画像を転送した上でカメラ位置・姿勢推定処理を行った．また，用いたデータベースの規模が比較的小さいため，7 節で述べたデータベースの選択は行わず，今回は登録されたすべてのランドマークを用いて実験を行った．なお，携帯電話に内蔵されたカメラの内部パラメータは  の手法  によってあらかじめ校正した．
まず，図 - に示すように，データベース構築時の全方位カメラの撮影経路周辺において， 間隔の格子
点上 #&  & 8 & 地点% で，異なる  方向 #方向  方向
% に対して &/  -/ 画素の , 枚の静止画像を撮影した．本実験では，, 枚の画像のうち，カメラ位置・姿勢の真値を作成することが可能な & 枚の画像を入力画像として用いた．次に，表  に示すパラメータを用いて各画像に対するカメラ位置・姿勢推定を行った．

  

日本バーチャルリアリティ学会論文誌

データベース構築時のカメラパス
推定に成功した地点推定に失敗した地点
真値が利用できない地点
方向1

投票値最大位置
3
6
0

5
0
m

35
[m]

度

30

(画像A)

真値

(画像B)

25
20
15

50m

10
5
0
-35

-25

-15

-5

5

50m

#% 画像 2 に対する結果 #成功例%

[m]

-5

投票値最大位置-10(a) 方向1
[m]

(画像D)

35

(画像C)

方向2

30

3
6
0

5
0
m

25
20

真値

度

15
10
5
0
-35

-25

-15

-5

5

[m]

50m

-5
-10

(画像E)

図*

(画像F)

(b) 方向2

入力画像の撮影地点，撮影画像例と各地点における推定成功・失敗の判定結果

 * )    + ,        - .  表

カメラ位置・姿勢の推定に用いたパラメータ/ 

0&    条件 の閾値閾値  2度3
再投影誤差の閾値 #（画素）
投票箱の設計パラメータ 2  3



1
1
"1
2*1+ 1" + (3ただし，本実験では，投票空間の設定に  による
計測値は用いず，上記の格子点の重心位置を中心とする -/ × -/ の範囲を投票空間として用いた．
図 - に，7 節で述べた再投影誤差による基準に基づきシステムが判定した，撮影地点ごとの成功・失敗の結果を示す．また，表  に，方向  および方向  におけるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差の平均と標準偏差を示す．画像中に人工物を主に捉えることができる方向  に関しては，多くの入力画像で推定に成功した．図 - の画像 2 に対する位置の投票結果を一部拡大したものを図 .#% 左に，姿勢に関する投票結果を同図右に示す．ただし，位置の投票結果は，位置  次元・姿勢  次元から成る三次元の投票空間 #?  % に対して，姿勢方向に対する投票
値を各位置でそれぞれ累計したものを表わしており，濃度値が濃いほど投票数が多い．また，姿勢の推定結果は，真値を通過する  平面上の投票結果を表わしている．この例では，投票数が最大となった位置が真値から約 7 離れているが，7 節で述べた手法により誤対応を排除した上でカメラ位置・姿勢を推定することで，最終的なカメラ位置・姿勢の推定誤差はそれぞれ約 7 /7, 度となった．方向  に対して成功

50m#0% 画像 @ に対する結果 #失敗例%
図4

推定成功・失敗地点における投票結果の例

 4 ,  & 

と判定された全ての画像に対する推定誤差の平均は，位置誤差が 7，姿勢誤差が 7 度であり，これは静止画像による拡張現実感ヒューマンナビゲーションを行うために問題ない精度であると考えられる．
これに対して方向  では，撮影された半数以上の画像上で画像中に自然物が大きく写り込んでおり，方向 に比べ推定成功率が低い．図 .#0% は，画像 2 撮影時と同一の地点から方向  を撮影した画像 @ に対する投票結果である．この例では，投票値が分散したため投票値が最大となった位置が真値から大きく離れており，最終的なカメラ位置・姿勢推定処理において，再投影誤差が閾値 ! 8 "/ 画素を上回った．このためシステムは推定結果を失敗と判定している．方向  に対して推定が成功と判定された全ての画像に対する推定
誤差の平均は，位置誤差が &7-，姿勢誤差が 7. 度であり，方向  に比べて推定精度が低い．この原因として，多くの地点でカメラ位置・姿勢推定に用いられた
建物上のランドマークとカメラ位置の間の距離が，方向  の場合と比較して，撮影場所により  から  倍程度離れていること，また自然物による遮蔽によりカメ
ラ位置・姿勢の推定に利用できるランドマーク数が少ないことが挙げられる．
以上のことから，ランドマークを多数検出可能な建物などの人工物を捉えた画像に対して，提案手法は比較的精度の高いカメラ位置・姿勢を実現できることが分かる．しかし，自然物が画像上の大半の領域を占める入力画像に対しては，ランドマークと自然特徴点が正しく対応付かず，投票値が分散するためにカメラ位
置・姿勢推定が失敗または推定精度が低下することが分かる．

薄，中川，佐藤，横矢表

ランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定

方向 ・方向  におけるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差/   5   

   
方向

システムの判定による推定成功率 263
平均位置誤差 2 3
位置誤差の標準偏差 2 3
平均姿勢誤差 2度3
姿勢誤差の標準偏差 2度3
平均再投影誤差 2画素3
再投影誤差の標準偏差 2画素3,

7 8 澤野弘明+ 岡田稔; <車載カメラによる実時間画像処理とその B# 技術に基づく表示方式によるカーナビへの応用=+ 芸術科学会論文誌+ ! "+ A +  "(@$*+
11$
7"8 C D + A 5   + / %
 / D  ;<>  -       &      0)5-#>E-5     += )  >    B F  #  /,+   1@  + 11"
7$8 0 #  +     / E 
 ; <5       &  +=)  > 5   C,  B  # +  $(@(1+ 11(7(8 0 D  E C ; <)          += )  > 5  C,
 B  # +  "@ +11(7*8 齊藤滋+ 谷川智洋+ 廣瀬通孝; <コード化した模様を内装に施した室内における位置同定システム=+ 信学技報+ C!11$ + 11$
748 羽原寿和+ 町田貴史+ 清川清+ 竹村治雄; <ウェアラブ

(

"

1
1
14

方向 

(
$*
4
4
"
1


まとめ

本論文では，サーバ・クライアント方式による携帯電話上での拡張現実感への応用を想定し，事前に構築したランドマークデータベースを用いる静止画像一枚からの新たなカメラ位置・姿勢推定手法を提案した．
本手法では，静止画像一枚からのカメラ位置・姿勢推

7 18定が可能であるため，現在普及しているカメラ付き携
帯電話をそのまま用いることができるという特長を持
つ．実験により，人工物を入力画像中に十分捉えている場合には，データベース構築時のカメラ位置から離れた地点においても，静止画像へのナビゲーション情報を重畳するために問題ないと考えられる精度でカメ
ラ位置・姿勢推定を行えることを確認した．しかし，樹木などによりランドマークの大半が遮蔽されてしまう場合には，現状の手法ではランドマークを正しく対応づけることが難しいことを確認した．
今後は，環境内に類似したランドマークが存在しな
い特徴的なランドマークを優先的に用いることで推定のロバスト性を高める手法を開発する．また，同一地
点から異なる環境条件で撮影された複数の画像をデー
タベースの構築時に用いることで推定のロバスト性を高める手法についても検討する．
謝辞 本研究は，総務省戦略的情報通信研究開発推進
制度 # 2=@% により実施したものである．

参考文献
7 8 / 9  + 5   : ) &; <5    ;               += )  > 5   ?   +  (4@*$+ 44478 前田真希+ 小川剛史+ 清川清+ 竹村治雄; <ウェアラブル拡張現実感のための赤外マーカのステレオ計測と姿勢センサを用いた位置・姿勢推定=+ 日本バーチャル
リアリティ学会論文誌+ ! 1+ A +  "4@ $$+11"
78 天目隆平+ 神原誠之+ 横矢直和; <「平城宮跡ナビ」マルチメディアコンテンツを利用したモバイル型観光
案内システム=+ 第 回デジタルコンテンツシンポジ
ウム講演予稿集+ A 5$+ 11"

7

ルＰＣのための画像マーカを用いた広域屋内位置検出機構=+ 信学技報+ >/511($+ 11 
中里祐介+ 神原誠之+ 横矢直和; <ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた
位置・姿勢推定=+ 日本バーチャルリアリティ学会論文誌+ ! 1+ A +  4"@1 + 11"

8 E ?   E 5 ; <         += )  >5   ?    +   @+ 11
7 8 岩佐英彦+ 粟飯原述宏+ 横矢直和+ 竹村治雄; <全方位
画像を用いた記憶に基づく位置推定=+ 信学論（E>>3+! :* E>>+ A +   1@1+ 11 
7 8 C D + / D  + D 5    G C ; <B    '    &           +=)  >    C    , 2>C
1113+  $"(@$$1+ 111
7 8 #  + E #   H / I; <>    J += )  >   !   5   C   +  @4+ 11 
7 "8  ! + !   )  ; <5     E      K  += /   )   B   C  >
+ ! $+ A 1+  *"@ 4 + 11 
7 $8  ! + !   )  ; <     ,          E    += )  > 5  C,  B  # +  *@"(+ 11 
7 (8  #  / E 
 ; <        += )  >     !+  "1*@ " "+ 11"
7 *8 大江統子+ 佐藤智和+ 横矢直和; <幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定=+ 日本バーチャルリアリ
ティ学会論文誌+ ! 1+ A +  *"@4 + 11"

7 48 > 5   E 0 ; <5  +     &       += )  > 5   C,  B # +  1@ 4+ 11 
718 0 H   )  ; <#   E . 
       J += ) > 5   B  # +  ("@ ($+11 
7 8 !   )  ; <D     J  += /   )   B 
 C  >+ ! *+ A 4+  $"@日本バーチャルリアリティ学会論文誌(4+ 11$
78 E D + D 5 + 5 L  G 
; <B   J              +=)  > 5   C,  B  # +  4@ *+ 11(78 0 #   / E 
 ; <> J  &        &  += )  >5   C,  B  # +  $ @$1+ 11(7 8     C 5; <B         += )  B& !  +
 (@ " + 4**7"8 H / + ) C  + #    B
J; <H .    += )  > ?   ! B  + 4*@(+ 4447$8 / 5 + 5 >
 A G ; <,     &     '              += )          !+ ! +  $@ 1+ 11 
7(8 5 > + / 5 + D G  A G ;<                &   0)5 += ) >    E E  >   C +  4@"$+ 11(7*8 D C .J   5  ; <5  M Æ&       += > :     !+ ! $1+ A +  $@*$+ 11 
748 E 0 ; <E&       &   += > :      !+ ! $1+ A +  4 @ 11+ 11 
718 ) : #; <      '   += :  B    5   B + !(4+  *( @**1+ 4* 
7 8 # G / ; <B Æ        '  E &+=)    !  )   #+ $ @( + 4*$()**+ 年 ,) 月 ,* 日受付-

  ［著 者 紹 介］
薄 充孝
11" 年神戸大・工・電気電子工卒．11(
年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，トヨタ
自動車株式会社勤務 修士 2工学3

中川 知香
11 年熊本電波高専・専攻科・制御情報システム工学専攻卒．11$ 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，富士ゼロックス株
式会社勤務 修士 2工学3

佐藤 智和
444 年阪府大・工・情報工卒．11 年
奈良先端科学技術大学院大学情報科学研
究科博士後期課程修了．現在，同大情報科学研究科助教．コンピュータビジョン，
画像からの三次元復元の研究に従事．博士 2工学3．電子情報通信学会，情報処理学会，> 各会員．

横矢 直和 （正会員）
4( 年阪大・基礎工・情報工卒． 4(4年同大大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフト
ウェア，画像データベース，コンピュータ
ビジョンの研究に従事． 4*$〜*( 年マッ
ギル大・知能機械研究センター客員教授．
44 年奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科
学研究科教授． 441 年情報処理学会論文賞受賞．工博 電子情報通信学会，情報処理学会各フェロー．電子情報通信学会，
情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，> 各会員