 

修士論文

スケール不変特徴量を用いたランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定

薄 充孝

 年 月 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 工学 授与の要件として提出した修士論文である。
薄 充孝

審査委員：
横矢 直和 教授

（主指導教員）木戸出 正継 教授（副指導教員）スケール不変特徴量を用いたランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定
薄 充孝

内容梗概
携帯電話におけるヒューマンナビゲーションは，二次元的な地図上に  に
よって得られるユーザ位置と経路情報を表示することで道案内を実現している．しかし，二次元地図と現実空間の対応関係を直感的に把握することが難しく，システ
ムの案内に従って移動することは必ずしも容易ではない．この問題を解決するた
めに，現実環境を撮影した画像に対してナビゲーション情報を重畳表示すること
で，利用者に直感的な案内情報を提供する拡張現実感技術（ 

）に関する研究が近年盛んに行われている．案内情報を幾何学的に正しい位

置に重畳表示させるためには，カメラの正確な絶対位置・姿勢を推定することが必要となる．従来，携帯機器による  を用いたヒューマンナビゲーションを想定したシステムはいくつか提案されているが，カメラ位置・姿勢の推定精度が十分でなかったり，動画像による入力を前提としているために携帯機器での処理には計算コストが大きすぎるという問題があった．これらの問題を解決するために，
ランドマークデータベースを用いた静止画像からのカメラ位置・姿勢推定手法が提案されている．この手法では，世界座標における三次元位置と見え方が既知の複数のランドマークを入力画像中から探索することでカメラの位置・姿勢を  自由度で推定できる．しかし，画像のスケール変化に対応していないため，ランド
マークデータベース構築時の撮影経路から大きく離れた地点では推定が失敗するという問題があった．そこで本研究では，この手法を基礎として，スケール不変
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文






年

月

日





特徴量を用いた拡張を行うことで推定のロバスト性を向上させる．提案手法では
まず，画像の局所構造に依存する特徴点ごとの固有スケールを算出する．次に，この固有スケールを用いることで撮影距離に依存しないスケール不変特徴量を生成し，これを用いて入力画像中の特徴点とランドマークを対応付ける．さらに，
カメラ位置・姿勢候補を特徴点の固有スケールを用いた投票により決定することで，誤対応の排除を行う．これにより，データベース撮影経路から離れた地点で撮影された画像を入力として用いた場合にもカメラ位置・姿勢を推定することが可能となる．実験では，屋外環境のランドマークデータベースを構築し，データ
ベース のカメラパスからの入力画像撮影地点の距離とカメラ位置・姿勢推定精度の関係を従来手法と比較することで，提案手法の有効性を検証する．

キーワード
カメラ位置・姿勢推定，静止画像，ランドマークデータベース，スケール不変特徴量                         

   !!!  "# $% ! "  !#! !% & !#'!
$ !     ( #    ) $*  &#+  ! ! !
Æ"  (  &  ( #  ,"! )   !    ( # !#!*  #-  +    "%. " 
  %! , $# $ !  !*   $$" !+ 
( #  ( #  !# ! #&    (  # # *  # ( #    #" " ##" $ ! !  # !+ ,! $ !   $ !# ( #  ( % "# # #.#* % % !#% ! ( #  ,   !! !  % # , $# $ !+  !( %    % !Æ" ""#"+ # % " $  " $/ ! # ( # "# $% !*  %  ( # ! "# $ !   $ !#(#   !  ,!   (# #0 ,! %! ! , $# $ !
 !  %! $# ,!*  &#+  ! "   ! "# $ !  $ !# $##! ""# ( % $  ! 0   $ !  (# (# 
% "# $% &%# % #0 ,! ! "#* %! $# , !  
% "0 ( % !" "%! ( $ !*  %! !+ !"#(#! # ! ( # "#  (# #0 ,!* 1% % $# $ !
       

  !  

        !" 

#$

% + % "# $ !   $ !# " , !""!!( !  ( %
$  ! 0   $ !  (# (#  % "# $% &%# % #0,! ! "#*  /$#!+ % 2"!! ( % $# $ ! % %! , !% & , " $#  &% % $# ! & #0*

"# $ !   $ !# ! ，! ，#0 ,!，!"# (#!



目次

 はじめに カメラ位置・姿勢推定に関する従来研究と本研究の位置付け



**

センサを用いたカメラ位置・姿勢推定
画像を用いたカメラ位置・姿勢推定

**
**
* *3
* *4

人工的なマーカを用いる手法
画像データベースを用いる手法
環境の三次元モデルを用いる手法
自然特徴点ランドマークデータベースを用いる手法*3 センサと画像を用いるハイブリッドなカメラ位置・姿勢推定*4 本研究の位置づけと方針* 提案手法の概要

3
4
4

5
6


 ランドマークデータベースの構築 スケール不変特徴量を用いた静止画像からのカメラ位置・姿勢推定

3* ランドマークデータベースの構成要素
3* 全方位動画像による環境の三次元復元
3*3 特徴点スケールの算出
3*4 多重スケール特徴ベクトルの生成
4*

5



スケール不変特徴量を用いた類似度評価に基づくランドマークと特徴点の対応付け

4* 特徴点スケールを用いた投票によるカメラ位置・姿勢候補の決定
4*3 カメラ位置・姿勢推定
4*3* カメラ位置・姿勢候補に投票されたランドマークと特徴点の組からのカメラ位置・姿勢推定

4*3*

ランドマーク絞込みによるカメラ位置・姿勢の再推定

4

5
5
3



 実験


* 従来手法との比較によるスケール変化への対応の評価 実験
* 実験 に関する考察
*3 提案手法のロバスト性検証実験 実験*3* 方向 に対する実験結果と考察
*3* 方向 に対する結果と考察

3
4
4
44


 まとめ



謝辞



参考文献





図目次

7%# ら 8 9 の  システム
興梠ら 8 9 の注釈表示システム:""% ら 8 39 の手法で用いる三次元モデルとキーフレーム





3
4



5
3
3


各カメラ位置・姿勢推定手法の位置づけ
画像を用いたカメラ位置・姿勢推定の各手法の位置づけ
本研究で想定するサーバ・クライアント型システム
全体の処理の流れ

6

5 ランドマークデータベースの構成要素
6 ##!;$" 適用例
 多重スケール特徴ベクトル生成領域の例
特徴ベクトル生成手順
ランドマークと画像上特徴点の比較例

3
4



つのランドマークからの投票例
再投影誤差の和の最小化によるカメラ位置・姿勢推定
全方位型マルチカメラシステム ;, と全方位画像
推定されたカメラとランドマークの三次元位置

3
3

3


6

実験 におけるデータベース構築時のカメラパスと入力画像の撮影位置・方向56


入力画像
提案手法による位置投票結果
提案手法による姿勢投票結果
従来手法による位置投票結果
データベース構築時のカメラパスからの距離と位置推定誤差

34

データベース構築時のカメラパスからの距離と姿勢推定誤差
実験 におけるデータベース構築時のカメラパスと入力画像の撮影位置・方向




33
3
3
3
35
4
4

実験 の方向 におけるカメラ位置・姿勢推定の成功位置
方向 における推定に成功した入力画像例



43
4
4

方向 における推定に成功した地点での位置投票例

5
6
3
3
3
33
34
3
3

方向 における推定に成功した地点での姿勢投票例
方向 における推定に失敗した入力画像例
実験 の方向 におけるカメラ位置・姿勢推定の成功位置
方向 における推定に成功した入力画像例
方向 における推定に成功した地点での位置投票例
方向 における推定に成功した地点での姿勢投票例
方向 における推定に失敗した入力画像例
類似構造を持つ建物 入力画像
類似構造を持つ建物 データベース構築時撮影画像

45
46


4



5
5

表目次
カメラ位置・姿勢推定の各処理における閾値

33

従来手法および提案手法によるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差

34

カメラ位置・姿勢推定にかかる処理時間 8単位<秒9
方向 におけるカメラ位置・姿勢推定の成功率，推定精度および再

4

投影誤差



36
36

方向 におけるカメラ位置・姿勢推定の成功率，推定精度および再

3

投影誤差



 はじめに
近年，携帯電話や ) などの小型携帯端末によるヒューマンナビゲーション
システムが実用化されている．このようなヒューマンナビゲーションシステムでは，機器に内蔵されている  により取得した位置情報を用い，二次元地図上
での道案内を実現している．しかし，これらのシステムでは，複雑な交差点など
で地図と現実の交差点の関係を正しく把握することが難しく，システムの案内に従って正しく移動することは必ずしも容易ではない．このため，最近では一部の交差点などで三次元的な = を表示することでより直感的な道案内をするサービスが提供されはじめている．しかし，= による三次元地図情報の作成・更新には膨大な人的コストがかかるため，現在，三次元地図情報を利用可能な範囲は極めて狭く，利用できる場所が限定されている．このような問題を解決するために，現実環境を撮影した画像にナビゲーション情報などを表す仮想物体を = で重畳表示することで，利用者に直感的なナビゲーション情報を提供する拡張現実感（  ）の研究が近年盛んに行われている． においては仮想物体を現実環境の正しい位置に重畳表示するために，カメラの正確な絶対位置・姿勢情報が必要となる．
カメラの位置・姿勢の推定を目的とする研究は既に数多く行われており， や

ジャイロなどのセンサを組み合わせて用いる手法 8 ++ 3+ 4+ + + + 5+ 6+ + 9，画像を用いる手法 8 + 3+ 4+ + + + 5+ 6+ + + + 3+ 4+ + + + 5+ 69，
それらのハイブリッド 83+ 3 + 3 + 33+ 34+ 3+ 39 に分類できる．センサを用いる
手法は，一般に複数のセンサを用いることで広域環境での利用に対応可能であり，広く研究されているが，システムが複雑になるという問題があり，携帯端末上で多数のセンサを利用することはサイズやコストの面から難しい．画像を用いる手法は，  人工的なマーカを用いる手法， , 画像データベースを用いる手法， "自然特徴点ランドマークデータベースを用いる手法などに分類できるが，これらの手法は，一般的に入力画像と環境の事前知識を格納したデータベースを照合することでカメラの絶対位置・姿勢を推定するため，利用者が持つ端末はカメラ以外のセンサを必要とせず，システム構成が簡素になる利点がある．しかし，従来提案されている手法では利用可能な範囲，計算コスト，データベース構築コスト

に問題がある．他方，センサと画像を用いるハイブリッド手法は，誤差の累積や計測レート，計算コストといった各手法の欠点を互いに補うことで誤差の蓄積を防ぎ，推定のロバスト性を向上させる．しかし，センサの組み合わせによって利用可能な範囲が限定されるという問題，システムの機器構成が複雑になるという問題が残されている．
このように，カメラ付き携帯端末を用いて広域環境に対応したカメラ位置・姿
勢推定を実現する手法は従来存在しない．そこで，本論文では特徴点追跡に基づ
く三次元復元によって事前に得られる自然特徴点の三次元位置と撮影地点ごとのスケール情報・画像情報をランドマークとして登録した広域環境の自然特徴点ランドマークデータベースを用い，市販されているカメラ付き携帯端末でも容易に取得可能な 枚の静止画像からカメラ位置・姿勢推定を行う手法を提案する．提案
手法は，本研究と同じく携帯端末でのユビキタス  の実現を目的とした静止画

像 枚からカメラ位置・姿勢推定が可能な中川らの手法 8 69 を基礎とし，スケー

ル情報を考慮することで，より広範囲でのカメラ位置・姿勢推定を可能とする．
提案手法では，まず，入力画像上の特徴点と類似度が高いランドマークをスケー
ル不変特徴量を用いて 対多で対応付ける．次に，対応付いた各ランドマークが撮影された可能性の高い領域をスケール情報により限定し投票を行うことで，3自由度のカメラ位置・姿勢候補を決定し，誤対応を排除する．また，カメラ位置・姿勢候補に投票されたランドマークと入力画像上の特徴点の組を用いて， 自由度の暫定的なカメラ位置・姿勢を求める．最後に，暫定的なカメラ位置・姿勢を基に推定に利用する入力画像上の特徴点とランドマークを限定した上でカメラの位置・姿勢を推定する．
以降， 章ではカメラ位置・姿勢推定に関する従来研究と本研究の位置付け・方針について述べる．3 章では，スケール情報を考慮したランドマークデータベースの構築手法について述べる．4 章では，3 章で構築したランドマークデータベースを用い，入力画像上の特徴点と類似したランドマークを同じ見え方で撮影できる領域に投票することでカメラ位置・姿勢を推定する手法について述べる． 章
では，屋外において実環境を撮影した画像を用いたカメラ位置・姿勢推定実験について報告する．最後に， 章でまとめと今後の課題について述べる．

 カメラ位置・姿勢推定に関する従来研究と本研究の位置付け
本章では，本研究に関連する従来研究と本研究の位置付けについて述べる．まず，従来のカメラ位置・姿勢推定手法に関して， での利用を前提としたオン

 やジャイロなどのセンサを用いる手法
8 + + 3+ 4+ + + + 5+ 6+ + 9， 画像を用いる手法 8 + 3+ 4+ + + +5+ 6+ + + + 3+ 4+ + + + 5+ 69， 3 それらのハイブリッド手法
83+ 3 + 3 + 33+ 34+ 3+ 39 に分類し，それぞれの手法の特徴と問題点について述
べ，ユビキタス  への利用可能性を検証する．次に，本研究の位置付けと方針，

ラインでの処理が可能なものを，

および提案手法の概要について述べる．

 センサを用いたカメラ位置・姿勢推定
センサを用いたカメラ位置・姿勢推定は，環境内に人工的に配置した超音波センサなどのインフラを用いる手法 8 ++ 39 と，絶対位置を取得可能な  などのインフラと相対位置・姿勢などを取得可能なセンサを組み合わせる手法 84+ + ++ 5+ 6+ + 9 に分類することができる．インフラとしては，，超音波セン
サ，赤外線ビーコン，無線 ; などが用いられ，絶対位置や姿勢情報を取得するために利用されている．また，相対位置・姿勢などを取得可能なセンサとしては，加速度センサやジャイロセンサ，歩数計などが利用されている．また，特別なインフラを用いないが，絶対方位情報を取得可能なセンサとして電子コンパスが用いられる．
環境中にインフラとしてセンサを埋め込む手法 8 ++ 39 は，超音波センサや赤

外線ビーコンなどのマーカを環境に設置することによって，絶対位置・姿勢を推定する．これらの手法は，利用者の装備が簡易なものとなり，かつ比較的高精度に位置・姿勢を計測できるという特徴がある．しかし，環境に大量のセンサを設置しなければならず，またその幾何学的な位置関係を計測する必要があるため，広範囲な環境を想定した場合，インフラ設置・維持のためのコストが膨大になる

3

という問題がある．
これに対して，絶対位置を取得可能なインフラと相対位置・姿勢センサを組み合わせる手法 84+ + ++ 5+ 6+ + 9 では，インフラでカメラ位置・姿勢が取得できないような状況に至っても，センサを用いて前回取得した絶対位置・姿勢からの相対位置・姿勢を計測し，カメラ位置・姿勢推定を行う．また > な
どのように高精度な位置情報を取得可能なセンサと，推定精度の高い姿勢センサ
を用いることで高精度なカメラ位置・姿勢推定手法が実現できる 8 9．これらの手法ではインフラの設置密度を下げることでコストの削減を図るために自律計測の研究も多く行われている 8 +

9．しかし，これらの手法は利用者が持つシステ

ムに複数のセンサを組み込まなければならないため，システムが複雑になるという問題がある．



画像を用いたカメラ位置・姿勢推定

カメラからの入力画像を用いる手法には，三次元位置関係が既知の人工的なマーカを用いる手法 8+ 3+ 4+ + + + 5+ 69，環境を事前に撮影した画像とその撮影位置・姿勢情報からなる画像データベースを用いる手法 8 + + 9，事前に作成した環境の三次元モデルを用いる手法 8 3+ 4+ 9，環境中の建造物の角などの自然特徴点の三次元位置と撮影地点情報をランドマークとして格納した自然特徴点ランドマークデータベースを用いる手法 8 +

+ 5+ 69 などがある．これらの手法は，一般に，入力画像と環境の事前知識を格納したデータベースを照合することでカメラの絶対位置・姿勢を推定するため，利用者が持つ端末にはカメラ以外のセンサを必要とせず，システム構成が簡素になる利点がある．以下では，それぞれの手法について詳述する．

 人工的なマーカを用いる手法
人工的なマーカを用いたカメラ位置・姿勢推定手法としては，

08 9 に代表されるパターンや形状，色などが既知の画像マーカを利用する手法 8 3+ 4+
+ + 9，人工的なマーカと自然特徴点追跡を併用する手法 8 5+ 69 などが挙げ
4図

7%# ら 8 9 の  システム


られる．これらの手法は，三次元位置が既知のマーカを撮影した画像から，マーカに対するカメラの相対的な位置・姿勢を決定する．1# ら 8 49 や 7
%#
ら 8 9 は，図 に示すように画像マーカを利用することで ) や携帯電話に付いているカメラの位置・姿勢をスタンドアロンで推定する  システムを開発しており，携帯端末でもカメラ位置・姿勢推定ができることを実証した．これらの手法では，ユーザは特殊な機器を用いず，市販の ) や携帯電話で  を利用することが可能である．しかし，画像マーカを用いる手法は環境中に多数の画像
マーカを配置する必要があるため，一般的な画像マーカを用いた場合には環境の景観を損ねてしまうという問題がある．
そこで，中里ら 8 9 は天井に半透明の再帰性反射材を用いた不可視マーカを配置し赤外線カメラで撮影することによって，景観を損ねないウェアラブル拡張現実感のためのカメラ位置・姿勢推定手法を提案している．また，齊藤ら 8

9 は部

屋の内装となる模様に位置情報を埋め込むことで周囲に調和したマーカを用いる手法を提案している．しかし，これらの手法は，画像内にマーカが一定以上の大きさで写らないとカメラ位置・姿勢を推定できないため，広域での利用には前節で述べたインフラとして多数のセンサを設置する手法と同様に，マーカの設置・維持に多大なコストがかかるという問題がある．
このようなマーカ設置のコストを低減するために，  ら 8 59 や )! 

ら 8 69 は，人工的なマーカと環境内の自然特徴点追跡を併用することによってカメラ位置・姿勢推定を行う手法を提案している．これらの手法は，マーカを画像上に捉えなくても位置・姿勢の推定を継続することができる．しかし，人工的なマーカが観測できない場合には，自然特徴点を追跡することで前フレームからカメラの相対的な動きを推定し利用するため，人工的なマーカが写らない状態が長時間続くと推定誤差が累積するという問題があり，誤差の累積を防ぐためにはやはり多くのマーカを設置する必要がある．

 画像データベースを用いる手法
画像データベースを用いたカメラ位置・姿勢推定手法は，環境を事前に撮影した画像とその撮影位置・姿勢情報を画像データベースに登録しておき，入力画像に類似した画像をデータベース内から探索することで，カメラのおおよその位置・姿勢を特定する手法である．この手法には，入力画像と最も類似度の高いデータ
ベース画像の撮影位置を出力する手法 8 +

9 や，入力画像と最も類似度の高い

データベース画像の位置・姿勢からの相対的なカメラの位置・姿勢を推定する手法89 などがある．
岩佐らの手法 8 9 では，事前に複数の地点で全方位カメラを用いて撮影した画像からカメラ位置に固有な自己相関画像を生成し，自己相関画像の集合から識別に有用な特徴軸の抽出を行い，データベースとして固有空間を構築しておく．次に入力画像を固有空間に射影することによって類似性を評価し，入力画像と類似度の高い画像の撮影位置を入力画像の撮影位置として推定する．この手法は，位置推定に有効な大局的な情報を含む全方位画像から自己相関画像を生成することによって，センサの向きに依らない位置に固有な情報を抽出している．また，興梠ら 89 は図 に示すように映像上への注釈情報の重ね合わせを実現するために，

パノラマ画像とその画像上に添付された注釈を情報源として用いるパノラマベー
スト・アノテーション手法を提案している．この手法は，事前に環境中の複数地点で撮影されたパノラマ画像群を用意しておき，入力画像と最も近い視点位置で撮影されたパノラマ画像を選び出すことにより，入力画像の大まかな位置を推定できる．これらの手法は，入力画像の撮影位置を入力画像と最も類似度の高いデー



図

興梠ら 8

9 の注釈表示システム

タベース画像の撮影位置とするため，精度の高い位置・姿勢情報が要求される を行うためには，センサなどを用いてデータベース画像の撮影位置からの相対的な位置・姿勢を推定する必要がある．

=$  ら 8 9 は，画像処理を用いてデータベース画像の撮影位置からの相対的な位置・姿勢を推定する手法を提案している．この手法は，画像中の縦・横方向の直線とその消失点を用いて入力画像に写っている建造物が画面に対して垂直に見えるように画像の垂直化を行い，入力画像と対応するデータベース画像を探索し，対応関係を求めることにより，データベース画像を撮影したカメラの絶対
位置・姿勢からの相対的なカメラの位置・姿勢を推定する．この手法は，静止画
像 枚を入力としており，サーバ・クライアント型システムを想定しているため，携帯端末でも利用可能である．しかし，建造物を対象とし，平行直線が画像内に複数存在していることを前提としているため，利用可能な環境が限定されるという問題がある．また，カメラの位置・姿勢を  自由度で推定できず，精度の高いキーフレーム
物体のキーフレーム 三次元モデル
図 3 :""% ら 8 39 の手法で用いる三次元モデルとキーフレーム
位置・姿勢情報が要求される  には向かない．

 環境の三次元モデルを用いる手法
環境の三次元モデルを用いる手法には，面を持った三次元モデルを用いた手法 8 39 や自然特徴点とワイヤフレームモデルを用いた手法 8 4+

9 などがある．

:""% ら 8 39 は，図 3 に示すような物体や環境の三次元モデルと複数のキー

フレーム画像から得られる特徴点情報を用いて三次元モデルと入力画像の対応関係を求めることで，リアルタイムでカメラ位置・姿勢を推定する手法を提案している．

:""% ら 8 49 は，自然特徴点とワイヤフレームモデルを用いたカメラ位置・
姿勢推定手法も提案している．一般的に，ワイヤフレームモデルを用いたカメラ
位置・姿勢推定は，入力画像中のエッジとワイヤフレームモデルの対応を取ることで位置・姿勢の推定を行うが，環境中にエッジが多いと，ワイヤフレームモデ
ルと入力画像中のエッジの誤対応を起こしやすくカメラ位置・姿勢推定が不安定となる．一方，自然特徴点のみを用いたモデルでは，特徴点と成り得る模様が少ない場所ではカメラ位置・姿勢推定が不安定になるという問題がある．:""%5

らの手法 8 49 では，このような問題に対し，環境中の自然特徴点の三次元位置とワイヤフレームモデルを統合した三次元モデルを作成し，そのモデルと入力画像の対応関係を求めることで，環境中の模様の有無にかかわらずロバストなカメラ
位置・姿勢の推定を実現している．また  ! ら 8 9 は，手法 8 49 と同様環境中の自然特徴点の三次元位置とワイヤフレームモデルを統合した三次元モデルを用い，さらに注目画素とその周辺の 点の輝度差のみを用いて高速に特徴点検出を行うことで，高速な移動や大きな姿勢変化を伴う入力映像に対してもロバス
トなカメラ位置・姿勢を実現している．
このように，環境の三次元モデルを用いる手法は，カメラの位置・姿勢を  自由度で正確に求めることができ， への利用が可能である．しかし，環境の三次元モデルを生成する必要があり，広域での利用を想定した場合はモデル作成のためのコストが膨大になってしまうという問題がある．

 自然特徴点ランドマークデータベースを用いる手法
自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定手法として，0#$0 ら 8 9，大江ら 8

9 ら， ら 8 59，中川ら 8 69 の手法が挙げられる．これらの手法は，まず環境中の建造物の角などの自然特徴点の三次元位置，および自然特徴点の画像テンプレートなどの撮影地点情報をランドマークとして事前にデータベースに格納しておく．次に，入力画像上の二次元特徴点と対応するランドマークをデータベースから探索し，入力画像上の特徴点とランドマークの複数の組からカメラの位置・姿勢を  自由度で推定する．

0#$0 らの手法 8 9 では，まず物体を撮影した複数枚の画像からスケールや回転に不変な特徴量である ? 特徴量を算出し，この ? 特徴量を用いて画像間で特徴点マッチングを行い特徴点の三次元復元を行う．このようにして算出された特徴点の三次元位置と ? 特徴量をデータベースに登録しておき，入力画像から抽出した ? 特徴量との対応付けを行うことで，カメラ位置・姿勢推定を行う．この手法は，特別な機材を用いず，一般的なカメラによって撮影される画像のみから自動でデータベースを構築できるが，広域環境を対象とした場
合には，三次元復元の推定誤差が累積するという問題があり，小物体，小領域へ

6

の適用にとどまっている．従って，広域環境でのナビゲーションに適用することは難しい．
これに対して大江らは，全方位カメラを用いて動きながら環境を撮影すること
で広域環境に対応したランドマークデータベースを構築し，これを利用すること
でカメラ位置・姿勢推定を行う手法を提案している 8

9．大江らの手法では，事前に全方位動画像として広域環境を撮影し，!#"#(#    による三次元
復元によって推定した自然特徴点の三次元位置と撮影地点情報をランドマークとしてデータベースに登録する．次に，入力画像から抽出した特徴点との対応付け
をオンラインで行うことで，カメラ位置・姿勢推定を行う．この手法は，動画像を入力としており，前フレームのカメラ位置・姿勢情報を用いてデータベースの探索範囲を限定することで，比較的高速なカメラ位置・姿勢推定が可能である．
しかし，動画像のリアルタイム処理は，大容量のメモリや高い計算コストを要求する．また，初期フレームのカメラ位置・姿勢が既知であることを前提としており，実際には何らかの手法を用いて初期位置・姿勢を推定する必要がある．

 ら 8 59 の手法では，環境を撮影した複数枚の静止画像から特徴点を対応付け，!#"#(#    により自然特徴点の三次元復元を行い，画像と自然特徴点の三次元位置・? 特徴量をデータベースに保存する．この手法では，静止画像 枚からのカメラの位置・姿勢推定を前提としているが，大江らの手法と同様に，データベースの探索範囲を限定するために，比較的高精度な初期位置を与えることが必要となる．
中川ら 8 69 はカメラの初期位置・姿勢が高精度に得られない場合にも，カメラ
位置・姿勢を推定する手法を提案している．この手法ではまず，大江らの手法と同様に全方位動画像から !#"#(#    によって特徴点の三次元復元を行い，推定した自然特徴点の三次元位置と ?!"#$ # によって算出される特徴点の見え方の特徴量をデータベースに登録しておく．次に，入力画像上から抽出した ?!"#$ # による輝度勾配特徴ベクトルを用いて特徴点のマッチングを行う．さらに，対応付けられたランドマークが撮影された可能性の高い領域に投票を行い，カメラ位置候補を決定することでランドマークを絞り込む．このようにして絞り込まれたランドマークと入力画像上の特徴点の組を用いてカメラ位置・姿勢推定を行う．この手法では，画像 枚のみから初期位置設定なしでカメラ位置・姿勢推定を行うことが可能であるという特徴がある．しかし，手法が画像のスケール変化に対応していないため，システムを利用可能な範囲がデータベース構築時のカメラパス付近に限定されてしまう．そのため，広域での利用においては，利用環境の大半の部分で，あらかじめ全方位動画像を取得しておく必要があり，広域環境で利用するにはデータベース構築に多大なコストがかかるという問題がある．

 センサと画像を用いるハイブリッドなカメラ位置・姿勢推定
センサと画像を用いるハイブリッドなカメラ位置・姿勢推定手法 83+ 3 + 3 + 33+

34+ 3+ 39 は，お互いの欠点を補い合うことで誤差の蓄積を防ぎ，推定のロバス
ト性を向上させるアプローチを採っている．

人工的な画像マーカと加速度センサやジャイロセンサを組み合わせる手法 83+3 + 3 9 では，画像マーカから絶対位置を取得できるため，マーカを定期的に画角内に捉えることでセンサの蓄積誤差を打ち消すことができる．しかし，定期的に画像中にマーカを捉えるために，広域環境で使用する場合はマーカの設置に人的コストがかかるという問題が残る．

画像データベースと加速度計，およびジャイロセンサを組み合わせる手法 8339
は，画像マーカの代わりに画像データベースを用いて絶対的な位置・方位を推定し，これに加えてセンサから取得される相対的な情報を組み合わせることで，利用者の位置・姿勢を推定する．この手法は，画像データベースから絶対位置・方位が推定されるため，センサの誤差の蓄積は防止される．しかし，入力画像と最も類似度の高いデータベース画像の位置・方位情報を用いるため，高精度なカメ
ラ位置・姿勢推定のためには利用者が移動する範囲を密に撮影しておく必要がある．そのため，広域環境をカバーするためには膨大な量の画像データベースが必要となり，同じ範囲の環境の自然特徴点ランドマークデータベースなどと比較し，多くの記憶容量が必要となる．さらに，端末において多数のセンサを用いるため，システムが複雑になるという問題がある．
環境の三次元モデルと加速度センサを組み合わせる手法 8349 は，モデルと入力

画像の対応付けの際にセンサの情報も用いることで，高速な対応付けを可能にしている．これにより，高速で移動した場合や姿勢が大きく変化した場合にもロバ
ストにカメラ位置・姿勢を求めることができる．また，オクルージョンなどで対応付けに失敗しても，過去のカメラ位置・姿勢からの相対位置をセンサ情報から求めることでカメラの位置・姿勢を推定する．しかし，広域環境に適用した場合には，やはり三次元モデルの作成に膨大なコストがかかってしまうという問題がある．
自然特徴点ランドマークとジャイロセンサを組み合わせた手法 83+ 39 は，ジャイロセンサの誤差をランドマークと画像上の特徴点との対応を取ることで補正する手法である．景観を損なうことなく，高精度にカメラ位置・姿勢を推定することが可能であり，データベース構築のコストも低い．しかし，文献 839 の手法では，カメラ位置は固定されており，カメラの移動を考慮していない．また，文献

839 の手法では，ランドマークの探索範囲を  とジャイロセンサで限定する必要があり， の計測精度が悪い環境では利用が難しい．
このように，現時点で提案されているハイブリッドなカメラ位置・姿勢推定手法の大半は，センサによって得られる情報を画像を用いて補正するというアプロー
チを採っており，画像は補助的に利用されている．このため，センサの組み合わせによって利用可能な範囲が限定されるという問題が残されている．

 本研究の位置づけと方針
図 4 に，広域環境におけるユビキタス  での利用を前提とした，従来提案されているカメラ位置・姿勢推定手法の特徴を示す．前節までで概観したように，

 での利用を前提としたオンライン処理での実行が可能なカメラ位置・姿勢推定手法は既に多数提案されており，それぞれ異なった特徴を持つが，従来のカメ
ラ位置・姿勢推定手法を用いて，= よりも計算能力が劣る反面どこにでも持ち運べる携帯端末上でのユビキタス  を広域環境で実現することは容易ではない．
すなわち，センサやインフラを主として利用するカメラ位置・姿勢推定手法には，システムが複雑になるという問題，使うセンサの種類によって利用可能な範囲が限定されるという問題があり，現在既に広く普及している携帯電話や ) など

複雑

センサを用いた手法

機
器
構
成
の簡
易
さ

簡易

センサと画像のハイブリッド手法
画像データベース

画像を用いた手法
ランドマーク 三次元モデル
データベース

人工的なマーカ

小さいシステムの構築・維持コスト大きい

図 4 各カメラ位置・姿勢推定手法の位置づけ

高い
カ

メラ
位
置
・姿
勢
推
定
精
度

低い

三次元モデルランドマーク
データベース

人工的なマーカ

画像データベース小さいシステムの構築・維持コスト大きい

図  画像を用いたカメラ位置・姿勢推定の各手法の位置づけ

3

で利用することが難しい．一方，画像を主として用いる手法は，携帯電話や )
などに内蔵されているカメラを利用することで，カメラ位置・姿勢推定を行える
ため，現在普及している多くの携帯端末において，利用が可能である．しかし，実際には，図  に示すようにデータベース構築コストと位置・姿勢推定の精度にはトレードオフの関係があり，ヒューマンナビゲーションを行うための  を実現可能な位置・姿勢推定精度を保ちつつ，なるべくデータベース構築コストを抑える必要がある．従来手法において，中川らの手法 8 69 は，ヒューマンナビゲー
ションを行うために十分な精度でカメラの位置・姿勢推定が可能で，かつ市販のカメラ付き携帯電話や ) によって撮影される静止画像 枚から初期位置設定なしで推定を行うことができる．このため，携帯端末上で  ヒューマンナビゲー
ションを行うために適した手法であると言える．しかし，中川らの手法では，データベース構築時のカメラパスから離れた地点で正しく推定を行えないため，広範囲でのカメラ位置・姿勢推定を可能とするためには，やはりデータベース構築に大きなコストがかかるという問題が残されている．そこで，本研究では中川らの手法を基礎として，データベース構築時のカメラパスから大きく離れた地点でも推定が可能となるよう改良を行うことで，カメラ位置・姿勢の推定可能範囲の拡
大とロバスト性の向上を目指す．具体的には，中川らの手法に対して以下の つの改良を加える．
・ 画像スケールに依存しない特徴量を用いた特徴点の対応付け
・ スケール情報を利用したカメラ位置・姿勢候補の絞込み
画像スケールに依存しない特徴量 スケール不変特徴量 を特徴点の対応付けに用いることで，撮影距離が大きく異なる画像間においても正しい対応付けが可能となる．また，中川らの投票方法では誤対応が多いと投票がデータベース構築時のカメラパス付近に集中してしまい，入力画像の撮影位置がデータベース構築時のカメラパスから大きく離れた場合には，正しくカメラ位置候補を推定できないという問題がある．そこで本研究では，スケール情報を考慮した投票を用いてランドマークの絞り込みを行うことで，このような問題を解決し，データベース構築
時のカメラパスから大きく離れた地点でもカメラ位置・姿勢推定を可能とする．

4

クライアント

入力画像

サーバ

情報棟
物質棟

画像を撮影

ナビゲーション情報を重畳表示した画像

カメラの位置・姿勢を推定

図  本研究で想定するサーバ・クライアント型システム
なお，本研究では中川らの手法と同様に，図  に示すようなサーバ・クライア
ント型システムを想定し，カメラ位置・姿勢推定処理はサーバ側で行うものとする．このシステムでは，まず利用者はクライアントである携帯端末で撮影した画像と  情報をネットワークを通してサーバに送信する．サーバは受け取った
画像・ 情報とサーバ上にあるデータベースを用いてカメラ位置・姿勢推定を行い，推定されたカメラ位置・姿勢に基づき，入力画像上に = でナビゲーショ
ン情報を重畳表示し，クライアントに結果を送信する．

 提案手法の概要
提案手法は，システムの管理者が事前に行うランドマークデータベースの構築
処理とユーザがシステムを利用する際に行うカメラの位置・姿勢推定処理の二段階から構成される．全体の処理の流れを図 に示す．本手法では，文献 8 69 の手法を基礎とし，スケール不変特徴量生成に必要な特徴点スケールの算出処理 3+,

を追加する．また，その特徴点スケールを用いた投票による撮影位置・姿勢候補の算出 ,4 を新たに行う．ただし，基本的な処理の流れは手法 8 69 と同様である．
ランドマークデータベース構築 オフライン処理 では，まず事前に環境内を移動を伴う全方位カメラによって撮影し  ，撮影した全方位動画像から !#"#(#    により環境の粗な三次元復元を行う  ．次に，三次元復元された
自然特徴点に対して，全方位画像を用いて特徴点スケールを算出し 3 ，その特徴点スケールを用いて多重スケール特徴ベクトルの生成を行う 4 ．最後に，以上のようにして求まった情報をデータベースに登録する  ．
カメラ位置・姿勢推定処理 オンライン処理 では，まずデータベース構築時と同様に入力画像から特徴点スケール算出 ,

成 ,

と多重スケール特徴ベクトルの生を行う．次に，多重スケール特徴ベクトルを用いて入力画像の特徴点と類似度の高いランドマークをデータベースから探索し，これらのランドマークと
入力画像上の特徴点との対応付けを行う ,3 ．さらに，対応付けられたランドマークの投票によりカメラ位置・姿勢候補を決定する ,4 ．最後に，カメラ位
置・姿勢候補に投票されたランドマークと入力画像上特徴点の組を用いてカメラ
位置・姿勢を推定する , ．

（オンライン処理）（オフライン処理）

データベース構築

カメラ位置・姿勢推定(a-1)全方位画像の撮影(b-1)特徴点スケールの算出(a-2)カメラ位置と自然特徴点
三次元位置の推定(b-2)多重スケール
特徴ベクトルの生成(a-3)特徴点スケール(b-3)データベースからの算出

対応点を検索(a-4)多重スケール
特徴ベクトルの生成(b-4)投票によるカメラ
位置・姿勢候補の決定(a-5)データベースへの登録(b-5)カメラ位置・姿勢推定

図

全体の処理の流れ ランドマークデータベースの構築
本章では，次章で述べるカメラ位置・姿勢推定に用いられるランドマークデー
タベースの構築方法 オフライン処理 について述べる．ランドマークデータベースの構築では，図 に示すように，まず広範囲を一度に撮影可能な全方位カメラ
を用いて，システムの利用環境内を移動しながら撮影する  ．次に，全方位動画像上の自然特徴点追跡による三次元復元を行い，自然特徴点の三次元位置と動画像撮影時のフレームごとの全方位カメラ位置・姿勢情報を推定する  ．また，処理 

で追跡された自然特徴点の特徴点スケールを算出 3 し，算出された特徴点スケールを基に多重スケール特徴ベクトルを生成する 4 ．最後に，
自然特徴点の三次元位置，ランドマーク撮影時の全方位カメラの位置，特徴点ス
ケール，多重スケール特徴ベクトルをランドマークとしてデータベースに登録する  ．
以下では，まずランドマークデータベースの構成要素について述べ，次にランドマークの情報を取得するための手順について述べる．

 ランドマークデータベースの構成要素
本研究では，文献 8 69 で用いられているランドマークデータベースを基礎に，特徴点スケール情報を付加したランドマークデータベースを作成する．また，ランドマークの識別性を向上させるために特徴ベクトルを多重スケールで保持する．
本研究で用いるランドマークデータベースには，図 5 に示すようにランドマーク

ごとに  自然特徴点の三次元位置， @ 撮影地点情報，が保持されており，撮影地点情報は  ランドマーク撮影時の全方位カメラの位置， , 特徴点スケー

ル， " 多重スケール特徴ベクトルから成る．以下にそれぞれの要素について述べる．

  自然特徴点の三次元位置
自然特徴点の三次元位置は，ランドマークの三次元位置と入力画像中の自然特徴点の二次元座標の組から端末のカメラ位置・姿勢を推定するために

5

ランドマークデータベース
ランドマーク1

・・・

ランドマーク２

ランドマークN(A)自然特徴点の三次元位置(B)
撮影地点情報(B)
撮影地点情報(B)ランドマーク撮影時の全方位カメラの位置
撮影地点情報(a)

ランドマーク撮影時の全方位カメラの位置
ランドマーク撮影時の全方位カメラの位置
特徴点スケール
特徴点スケール
特徴点スケール
多重スケール特徴ベクトル
多重スケール特徴ベクトル
多重スケール特徴ベクトル

(a)
(a)
(b)
(b)
(c)(b)(c)(c)

図 5 ランドマークデータベースの構成要素
用いる．この三次元位置は，3* 節で述べる環境の三次元復元によって得られる．

 撮影地点情報
ランドマークの見え方は撮影地点によって異なるので，各ランドマークに複数の撮影地点情報を登録する．撮影地点情報は次の 3 つの要素で構成される．

 ランドマーク撮影時の全方位カメラの位置

4* 節で述べる投票によるカメラ位置・姿勢候補の決定に用いる．自然特徴点の三次元位置と同様，3* 節で述べる環境の三次元復元  に

よって得られる．

 特徴点スケール
特徴点周辺の局所構造に依存する特徴点ごとの固有のスケールを表し，
多重スケール特徴ベクトルの生成 4+,

と投票によるカメラ位置・姿勢候補の算出 ,4 に用いる．この特徴点スケールは，3*3 節で述べる ##!;$" による特徴点スケールの算出処理 3+,
て得られる．

6によっ 多重スケール特徴ベクトル

特徴点スケールに対応した特徴点周辺画像領域から得られる ?

!"#$ #83 9 による多次元ベクトルを多重スケールで保持し，ランドマークと入力画像上の特徴点の対応付け ,3 に用いる．3*4 節で述べる多重スケール特徴ベクトルの生成処理 4+, によって得られる．


全方位動画像による環境の三次元復元

ランドマークデータベースは，対象となる環境を全方位カメラで撮影し，!#"#(#    に基づく三次元復元処理を行うことで作成する．本研究では，佐藤らの手法 8359 を用いて，三次元位置が既知の少数の基準特徴点と，移動を伴って取得した全方位動画像上から ##! オペレータ 8369 によって検出された自然特徴
点を追跡することによって，自然特徴点の三次元位置と画像上の座標，および全方位動画像撮影時のカメラパスを取得する．
具体的には，まず基準特徴点の三次元位置をトータルステーションと呼ばれる三次元計測機材を用いて計測し，少数のキーフレームの画像上で基準特徴点を指定する．次に，全方位画像中の三次元位置が未知の自然特徴点と基準特徴点を同時に自動追跡し，動画像全体での最適化処理を行うことで，カメラパラメータと自然特徴点の三次元位置の累積的な推定誤差を最小化する．これにより，複雑で広範囲な環境を撮影した場合でも，全方位動画像のカメラパスと自然特徴点の三次元位置を基準特徴点による絶対座標系で求めることができる．本研究では，これにより得られた三次元復元結果から，自然特徴点の三次元位置  とランドマークの撮影地点情報であるランドマーク撮影時の全方位カメラの位置 @ を取得する．

 特徴点スケールの算出
上述の手法で三次元位置が推定されたすべての自然特徴点に対して，各画像上における特徴点の固有スケールを算出する．ここでは，カメラ姿勢の違いによる同一特徴点の見え方の変化の影響を排除するために，まずレンズ歪みを補正し



LoG

σ)

f (

スケール σスケールσ

図 6 ##!;$" 適用例

た上で，カメラの投影中心を中心とする無限遠の球面上に，撮影した全方位画像を投影する．次に，この球面上に投影された画像上の各特徴点に対して ##!

;$"849 を適用することによって，画像の局所構造に依存する特徴点スケー

ル  を算出する．

##!;$" による固有スケールの算出 849 は，##! オペレータによって検出された画像上の特徴点に対し，スケール  を変化させながら式で表される ;$" (!!（; ）オペレータを適用し，その極大位置を求める
ことで行う．

AA  
ここで，スケール は !! フィルタの半径を表しており， はオペレータ中心から注目画素までの距離を示す．これにより得られる ;  値は，画像の局所




 













ランドマーク p

ωp q
,

2

+1

ω p q +1,

2ω p q + 1,

 多重スケール特徴ベクトル生成領域の例

図構造に依存し，図 6 に示すように同様の局所構造に対しては同様の値の変化を示す．従って，;  の極大値に対応するスケールを特徴点スケール  とすれば，特徴点までの撮影距離の違いにより画像スケールが異なっていても，図 6 の上部のつの特徴点領域のように，空間的に同範囲の領域をスケール  により一意に決定することができる．

 多重スケール特徴ベクトルの生成
本節では，前節で求まった特徴点スケールを用いて，多重スケール特徴ベクトルを生成する手法について述べる．多重スケール特徴ベクトルは以下の手順で撮影地点情報ごとに生成する．

* 多重スケール特徴ベクトル生成領域の決定
ランドマーク の 番目の撮影地点情報における特徴点スケール   を用

 に示すように，特徴点を中心とした  B ×  B ，××のウィンドウを輝度勾配ベ
 B
 B ，
 B
 B

いて，図










クトル生成領域とする．

* 輝度勾配ベクトルからの特徴ベクトルの生成図特徴ベクトル生成手順

特徴ベクトルの生成手順を図に示す．本研究では，?!"#$ #83 9 を用いて輝度勾配ヒストグラムから特徴ベクトルを生成する．?!"#$ #では回転不変なマッチングを可能にするために，まずステップ で求めた特徴ベクトル生成領域に対して !! フィルタをかけ，輝度勾配ヒストグ
ラムを作成する．次に，その輝度勾配ヒストグラムからピークとなる輝度勾配を求め，特徴ベクトル生成領域画像を輝度勾配ピーク方向に回転させる．
さらに，画像を  ×  領域に分割し，各領域ごとに輝度勾配を  方向に分類したヒストグラムを作成する．このヒストグラムの各値を特徴量の要素とすることで， A  ×  ×  次元の特徴ベクトルを生成する 83 9．

3

 A  
 

 

! スケール不変特徴量を用いた静止画像からのカメラ
位置・姿勢推定
本章では，3 章で述べた手法で構築したランドマークデータベースを用いて，静止画像からカメラ位置・姿勢推定を行う方法について述べる．なお，カメラ位置・
姿勢推定処理の基本的な処理の流れは文献 8 69 と同じであるが，入力画像特徴点

からスケール不変特徴量を生成するために，特徴点スケール算出処理 ,

を追加し，また算出された特徴点スケールを考慮した投票処理 ,4 を新たに行う．
すなわち，本手法では，まず入力画像から検出された画像上の特徴点の特徴点
スケールを算出し , ，算出された特徴点スケールを基に多重スケール特徴ベク

トルを生成する , ．次に，データベースに登録されているランドマークを 

情報により限定した上で，ランドマークと入力画像上特徴点を多重スケール特徴ベクトルを比較することで対応付ける ,3 ．また，対応付けられたランドマー
クと同じ見え方で撮影可能な領域に投票を行い，カメラ位置・姿勢候補を決定する ,4 ．最後に，処理 ,4 で決定したカメラ位置・姿勢候補に投票されたランドマークとそれに対応付いている画像上特徴点の組を複数用いてカメラ位置・姿
勢推定を行う．以下では，これら各処理について詳しく述べるが，処理 ,

におけるスケール算出処理は 3*3 節で述べた手法と同様であるため，説明を省略し，
以下では処理 , 〜 , について順に述べる．

なお，本研究では全方位カメラおよび利用者の携帯端末に取り付けられたカメラの内部パラメータはあらかじめ校正済みとする．

 スケール不変特徴量を用いた類似度評価に基づくランドマークと特徴点の対応付け
まず，対応付けに用いるランドマークを  情報を用いてランドマークデー
タベースの中から選出する．その上で，入力画像上で検出された特徴点とデー
タベースに登録されているランドマークを，それぞれの多重スケール特徴ベク
トルを比較することで対応付ける．ただし， つのランドマークには複数の撮影

4

ランドマークデータベース

・・・

入力画像

比較
比較

・・・

比較
図

ランドマークと画像上特徴点の比較例

地点情報が格納されているため，ここでは入力特徴点と見え方の類似度が最も高い

つの撮影地点情報を選択する．各入力特徴点から得られた特徴ベクトル

 A       と，データベース内のすべてのランドマークの撮影地点ごとの特徴ベクトル  A        の比較は，式を用いて，総当りで特徴空間上における二乗距離 非類似度 を算出することで行う．


本研究では，図A     A


 

  に示すように，各スケールに対応する特徴ベクトルを用いて を算出し，それぞれの値が全て一定閾値以下の場合にそのランドマークと入力画像特徴点を対応付ける．このような比較を行うことで，大局的な比較と局所的な比較を同時に行い，対応点決定の精度を高める．ただし，本研究ではデータベース構築時と入力画像撮影時のカメラ光軸回りの回転角が大きく異ならないという仮定の下で，特徴点に対してランドマークが光軸回りに一定以上回転している対応を誤対応とみなして排除する．これをすべての入力画像特徴点に対して行うことで，入力画像特徴点と類似度の高いランドマークを絞り込む．



図



3

つのランドマークからの投票例

特徴点スケールを用いた投票によるカメラ位置・姿勢候補の決定

4* 節で述べた処理で対応付けられた入力特徴点とランドマークの組み合わせには，入力特徴点と真に対応するランドマーク以外の全く異なるランドマークと対応付いているものが多数存在する．提案手法では，このような誤対応を排除するために，特徴点スケールを用いた投票によるカメラ位置・姿勢候補の決定を行う．この処理では，選択されたランドマークと同様の見え方で撮影可能な領域に投票を行い，その投票値により入力画像が撮影された可能性が高いカメラ位置・姿勢を決定する．なお，文献 8 69 でも投票によるカメラ位置候補の決定処理を行っているが，文献 8 69 の投票方法では誤投票が多く存在した場合，投票の極大値がデータベース構築時のカメラ位置周辺に集中してしまうため，正しくカメラ位置候補を決定できない．提案手法では，特徴点スケールを利用して投票位置をさらに限定することでこの問題を回避する．
具体的にはまず，図3 に示すように， から得られる計測地点を中心とす

る一定範囲領域を地面に対して水平方向に格子状に分割し，それぞれの格子に，水平方向の姿勢の回転に対応する  個（3 度を 3  度ずつ分割）の投票箱を設置する．次に，分割された空間に対して 4* 節で述べた手法により選択されたランドマーク の撮影地点情報に基づいた位置・姿勢の投票を行う．以下では，投票手法の詳細を述べる．
まず， の計測位置     B

個の格子点の



A



B



          を以下のように定義

座標

する．

を中心とする世界座標系における

   B
A















B





3

ただし， は格子間隔を表す．次に，すべての入力特徴点について 4* 節で述べた手法により選択された各ランドマーク に対して，以下の条件を同時に満たすの  番目の投票箱に投票する．

すべての格子点

条件  ランドマーク の三次元位置   

とランドマーク  を結ぶ直線，およを与えた点 と三次を撮影した 番目の全方位カメラの位置
び格子点に  の高さ    を結ぶ直線の成す角 が閾値  以下．
条件  ランドマーク の三次元位置  と  の距離，および  と
全方位カメラの位置   の距離の比が一定範囲内．すなわち，
元位置









 
 

B

  
 



 

 
 ．

ただし， + はランドマークおよび入力特徴点の特徴点スケールを， は範A

囲決定のための定数を表す．なお， は以下の式により決定する．


!



4

ただし，8"9 は " を超えない最大の整数を表し，世界座標系における 軸と     の成す角を ! 8ラジアン9 とする．以上の処理により得られた投票結果

に対して，投票数が極大になる位置・姿勢を，入力画像を撮影した可能性の高い
カメラ位置・姿勢候補とする．ただし，カメラ位置・姿勢候補は複数存在するた
め，ここでは投票数が多い順にカメラ位置・姿勢候補の順位を決定しておく．なお，ここで求まるカメラ位置・姿勢候補は，位置 自由度，姿勢 自由度の 3 自由度となるため，次節で述べる手法で  自由度のカメラ位置・姿勢を算出する．

 カメラ位置・姿勢推定
前節で述べた手法により算出されたカメラ位置・姿勢候補および投票結果から
カメラ位置・姿勢推定を行う , ．ここでは，ランドマークの三次元位置と入力

特徴点の二次元位置の組を複数用いて  問題 84 9 を解くことでカメラ位置・姿勢を推定する．提案手法ではまず，前節で述べた手法で決定した 3 自由度のカメ

ラ位置・姿勢候補に対して，投票に用いられた入力画像上の特徴点とランドマー
クの組から  自由度の暫定的なカメラ位置・姿勢を求める．次に，求まった暫定
的なカメラ位置・姿勢に基づいて限定された探索範囲からランドマークを再探索することで，最終的な出力となるカメラ位置・姿勢を求める．以下では，各ステッ
プの処理について詳述する．

 カメラ位置・姿勢候補に投票されたランドマークと特徴点の組からのカメ
ラ位置・姿勢推定
カメラ位置・姿勢候補に投票された特徴点とランドマークの組を用いて  自由度の暫定的なカメラ位置・姿勢を求める手法について述べる．まず，4* 節で述
べた手法により得られたカメラ位置・姿勢候補点に投票されたランドマークとそれに対応する入力特徴点の組み合わせを用いて， 問題を解くことでカメラ位
置・姿勢を推定する．ただし，投票されたランドマーク中には多数の誤対応が含まれるため，それを取り除く必要がある．そこで，投票数が多いカメラ位置・姿
勢候補から順に，; 推定 84 9 を用いて誤対応を排除する．その後，図4に示すように，誤対応排除後の結果から以下のような式で定義される再投影誤差の
和 # が最小となるカメラ位置・姿勢を求める．
#

A




 $  $C

B C 



ただし，% は推定に用いるランドマークと入力特徴点の組み合わせの数， $  は
入力画像上の特徴点の座標， $C C はランドマークの三次元座標を画像上に投影した座標である．この再投影誤差の和の最小化により，尤もらしいカメラ位置・姿勢が得られた時点で推定を完了する．本研究では，推定結果の再投影誤差 # が5

カメラ位置・姿勢候補に投票されたランドマーク
カメラ位置・姿勢候補に投票された入力画像上の特徴点
ランドマークを画像上に投影した点
再投影誤差 R

再投影誤差の和を最小化
図

4 再投影誤差の和の最小化によるカメラ位置・姿勢推定

閾値以下の場合には，システムが尤もらしい推定結果であると判定し，次項で述べる推定結果の高精度化を行う．本手法では，線形解法によってカメラ位置・姿
勢の初期値を求めるため，少なくとも入力画像上にランドマークが  点以上検出される必要がある．そのため，投票されたランドマークが  点未満の場合，もしくは再投影誤差が閾値を上回った場合には推定に失敗したとみなし，システムは利用者に画像の撮り直しを要求する．

6

 ランドマーク絞込みによるカメラ位置・姿勢の再推定
前項で求めたカメラ位置・姿勢を用いてランドマークの探索範囲を限定し，再探索を行うことでカメラ位置・姿勢推定結果の高精度化を行う．本研究における再推定処理は以下のような手順で行う．

手順 暫定カメラ位置・姿勢の画角内に存在するすべてのランドマークを選択する．次に，選択されたランドマークから，ランドマーク の三次元位置

と暫定カメラ位置を結ぶ直線，および  とランドマーク を撮影した

データベース構築時のカメラ位置 & を結ぶ直線の成す角が閾値  以下となるものを選択し，推定に用いるランドマークを限定する．

手順 手順 で限定されたランドマーク と対応付ける入力画像上の特徴点を，ランドマーク を暫定カメラ位置・姿勢を用いて画像上に投影した座標位
置から ' 画素以内にあるものに限定する．

手順 手順 + で限定されたランドマーク と入力特徴点の特徴ベクトルの非類似度  が最小となるものを探索する．さらに，そのときの  が閾値以下となるものを選択し，選択されたランドマークと入力特徴点の組み合わせを用いて再度カメラ位置・姿勢推定を行い，その結果を最終的な出力とする．

3

" 実験
提案手法の有効性を示すために，屋外環境においてランドマークデータベースを構築し，カメラ位置・姿勢推定を行った．本実験では，まずスケール変化への対応を評価するために従来手法との比較を行い 実験，次に提案手法のロバス

ト性を確認するために多地点において推定精度を検証した 実験．実験 では，

撮影方向が一定でデータベース構築時のカメラパスからの距離が異なる複数枚の画像を入力としてカメラ位置・姿勢推定を行い，本手法の基礎となっている手法

8 69 と推定結果を比較することでスケール変化への対応を評価する．実験 では，
撮影位置と方向の異なる複数枚の画像を入力としてカメラ位置・姿勢推定を行い，データベース構築時のカメラパスと入力画像の撮影位置・方向の関係性を考慮しながら提案手法のロバスト性を検証する．なお両実験ともに，入力特徴点とトー
タルステーションで測定したランドマークの三次元位置を手動で対応付けて撮影
位置・姿勢を推定した結果を真値として推定精度の評価を行った．ただし，本実験では，サーバ・クライアント型システムの構築は行わず，カメラ内部パラメー
タはあらかじめ ! の手法 8439 によって校正し，撮影時は内部パラメータを固定した．さらに，今回は用いたデータベースの規模が比較的小さいため，登録されたすべてのランドマークを用いて実験を行った．

 従来手法との比較によるスケール変化への対応の評価 実験 
本実験では，文献 8 69 で用いられた全方位動画像を用いて，スケール情報を含
むランドマークデータベースを新たに構築した．この全方位動画像は，図左に示す全方位マルチカメラシステム   # !#"% 社 ;, を用いて屋外環境 約 を移動しながら撮影することで取得された．図  右にデータベース構築に用いられた画像の一部を示す．また，オフライン処理で復元されたランドマークデータベース構築時のカメラパスとランドマークの三次元位置を図 に示す．図中の四角錘は  フレームごとのカメラ位置・姿勢を，四角錘を結
ぶ曲線は推定されたカメラパスを表す．ここでは約  の経路で撮影した全方位動画像から 3 章で述べた手法により約 +4 個のランドマークがデータベースに3

図

 全方位型マルチカメラシステム ;, と全方位画像

図

 推定されたカメラとランドマークの三次元位置

3

データベース構築時のカメラパス
入力画像の撮影位置
入力画像の撮影方向

[m]
15
5

-65

-55

-45

-35

-25

-15

-5

5

15

25

35

[m]

-15
-25
-35

図

実験 におけるデータベース構築時のカメラパスと入力画像の撮影位置・

方向

表

カメラ位置・姿勢推定の各処理における閾値

輝度勾配ベクトルの次元数5格子の分割数 
条件  の閾値  度条件 @ の係数

尤もらしさを判断する再投影誤差の閾値（画素）手順 の閾値  度
手順 の閾値 ' 画素

33


*




登録された．
次に，構築したランドマークデータベースを用いてカメラ位置・姿勢推定を行った．本実験で使用したカメラ位置・姿勢推定処理の閾値を表 に示す．本実験では，ランドマーク構築時のカメラパスから

〜 3 離れた異なる地点から同一
 × 45 画素）として撮影し，入力との方位・対象を枚の静止画像（解像度

して用いた．図にデータベース構築時のカメラパスと入力画像の撮影位置・方向の関係を示す．図は，環境を水平面に対して上方からの見下ろした図となっており，図中の青の曲線はデータベース構築時のカメラパスを，赤い点・矢印は入力
画像の撮影位置・方向を表す．入力画像の一部を図はそれぞれランドマーク構築時のカメラパスから5 に示す．同図中  + , + "+ + + 離れた地点から撮影した画像である．これらを入力画像として，4* 節で述べた手法により投票を行った結果を図示す．図6+  に示す．また，文献 8 69 の手法による投票結果を図6 および図には環境を水平面に対して上方からの見下ろした図となっており，図中の青の曲線はデータベース構築時のカメラパスを，赤い×印はカメラ位置の真値を，黄色い十字はカメラ位置・姿勢候補点を，緑の十字は推定されたカメラ位置・姿勢を表す．また，図中の濃度値は投票数を表しており，暗いほど投票数が多い．ただし，図 6 での投票数は，真値の姿勢に対応する投票箱に投 は，真値の位置を含む図 6 の横軸に平行な直線
位置における投票箱への投票の様子を示している．横軸は図 6 の横軸と同じ軸
票された数を用いている．図を表しており，縦軸は水平方位を表す．また，カメラ位置・姿勢推定の結果として表 に，従来手法および提案手法によるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差の平均と標準偏差を示す．加えて，図に，データベース

構築時のカメラパスからの距離と位置推定誤差の関係を，図3 に，データベー

ス構築時のカメラパスからの距離と姿勢推定誤差の関係を示す．さらに，カメラ
位置・姿勢推定を処理 , +, ，処理 ,3+,4 ，処理 , の 3 つのステップに分け，提案手法と従来手法のそれぞれの処理時間と処理 , 〜 , までの合計の処理時間を表 3 に示す．

34

図

%&



地点

%$&



地点

% &



地点

5 入力画像3

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
%&

地点



データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
%$&



地点

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
% &

図

地点



6 提案手法による位置投票結果
3

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
90m
%&



3
6
0

地点

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
90m
%$&



3
6
0

地点

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
90m
% &

図



地点

 提案手法による姿勢投票結果

3

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
%&



地点

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
%$&



地点

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

5
0
m
90m
% &

図

地点



従来手法による位置投票結果

35

表

従来手法および提案手法によるカメラ位置・姿勢推定の成功率，推定精度

および再投影誤差
提案手法

従来手法

*
*
*
*
*3
*
*

3*
4*
*3
*3
*3
*5
*

システムが成功と判定した割合 D
平均位置誤差（）位置誤差標準偏差（）平均姿勢誤差 度
姿勢誤差標準偏差（度）
平均再投影誤差 画素
再投影誤差標準偏差（画素）

表 3 カメラ位置・姿勢推定にかかる処理時間 8単位<秒9, +, <特徴ベクトル生成,3+,4<対応付け・投票,<カメラ位置・姿勢推定
合計

36

提案手法

従来手法

5* 
*
*33
*

*4
* 
44*4
*

10
9
8
7
6
5
4
3
2
1
0

提案手法

]m
[差
誤置
位

従来手法

0
5
10
15
20
25
データベース構築時カメラ位置からの距離[m]図データベース構築時のカメラパスからの距離と位置推定誤差

6
5

提案手法

]度4
[差
誤勢3
姿2

従来手法

1
0

0
5
10
15
20
25
データベース構築時カメラ位置からの距離[m]図3 データベース構築時のカメラパスからの距離と姿勢推定誤差
4


図

実験  に関する考察

6 および図から，従来手法に比べ提案手法の方が真値付近に投票が集中し，真値付近にカメラ位置・姿勢が推定されていることが確認できる．また，表から，システムがカメラ位置・姿勢の推定に成功したと判定した割合が従来手法から大幅に向上しており，提案手法では枚全て成功と判定されたことから，

カメラパスから離れた位置で入力画像を撮影した場合における推定のロバスト性が従来手法に比べ向上していることが分かる．また，同表から，提案手法によって得られるカメラ位置・姿勢の推定精度および再投影誤差に関して，従来手法より高精度に求まっていることが確認できる．さらに，それぞれの位置・姿勢誤差の標準偏差を比べると，従来手法に比べ提案手法の方が誤差にバラつきが少ない
ことが分かる．また，図および図3 から，提案手法の位置誤差・姿勢誤差が従来手法に比べ，データベース構築時のカメラパスからの距離にかかわらず一定
であることが分かる．これらの結果から，提案手法を用いることで従来手法に比べ，データベース構築時のカメラ位置から離れた地点におけるカメラ位置・姿勢
推定のロバスト性が向上し，かつ高精度にカメラ位置・姿勢を推定できていることが確認できる．
本実験における提案手法の平均位置誤差は * ，平均姿勢誤差は * 度であり，

 ナビゲーションへの応用において，建物などへの注釈表示には問題がない精度であると言える．ただし，カメラ位置の近くの物体などに = を重畳表示する
場合には，表示位置に大きなズレが生じる可能性がある．
なお， 枚の入力画像に対するカメラ位置・姿勢推定の平均処理時間は表 3 に示すように =（=E<F  3-， #< @）を用いて約 秒であり，その内訳は，入力画像からの特徴ベクトルの作成 処理 , +, に約 5 秒，入力
画像上の特徴点とランドマークとの対応付けと投票によるカメラ位置・姿勢候補点の決定 処理 ,3+,4 に約  秒，カメラ位置・姿勢推定 処理 , に約 秒であった．従来手法と比較すると，対応付け・投票処理とカメラ位置・姿勢推定
処理の合計処理時間はほぼ同等であった．これは，提案手法では投票で姿勢候補を決定しているのに対し，従来手法ではカメラの姿勢をカメラ位置・姿勢推定時に探索しているためで，投票による姿勢決定により，多重スケールによる特徴ベ4

クトルの比較回数の増加を補うだけの高速化を実現していることが確認できる．
しかし，全体としては，従来手法よりも約 秒遅く，その原因は特徴ベクトル

生成処理にある．これは，提案手法ではスケール対応を実現するために，特徴点
スケールの算出処理 ,

が必要となり，加えて特徴ベクトルの多重スケール化

により特徴ベクトル生成時間が増加しているためである．これらの結果から，提案手法を実用化するためには，入力画像上の特徴点を全て使うのではなく，まずいくつかの特異な点を対応付け，その上でランドマークの三次元位置と特徴点の画像上の座標を考慮し，利用可能な特徴点のみを選出するなどの改良を加え処理を高速化する必要があると言える．

 提案手法のロバスト性検証実験 実験 
本実験では，実験と異なる位置において複数の撮影経路上で新たなランド

マークデータベースを構築し，異なる多数の地点・方位で撮影した入力画像から
カメラ位置・姿勢推定を行った．このデータベースは約 5 の経路で撮影した全方位動画像から 3 章で述べた手法により構築され，約+ 個のランドマークが登録された．図 4 にデータベース構築時のカメラパスと入力画像の撮影位置・方向の関係を示す．本実験では，ランドマークデータベース構築時にカメラパスが交差するように撮影を行い，そのカメラパス周辺において  の格子点上で画像解像度 4 × 45 画素 を撮影した  × A3 地点 ．

以下では，撮影方向とカメラ位置・姿勢推定精度の関係について検証するために，まず全ての位置において，画像中に人工物を主に捉えることができる方向 図

4 の方向
の方向

に関する実験結果を示し，次に画像中に自然物を多く含む方向 図 4に関する実験結果を示す．なお，本実験では撮影された画像

枚 3

地点× 方向 の内，手動で画像特徴点とランドマークを対応付けて真値を取得可能な  枚を入力画像として用いた．

4

データベース構築時のカメラパス
入力画像の撮影位置
入力画像の撮影方向

[m]
35

方向1

方向2

30
25
20
15
10
5
0

-35

-25

-15

-5

5

[m]

-5
-10

図

4 実験 におけるデータベース構築時のカメラパスと入力画像の撮影位置・方向

43 方向  に対する実験結果と考察
ここでは画像中に人工物を主に捉えることができる方向 方向

に対するカメラ位置・姿勢推定結果を示し，実験結果に対する考察を述べる．図 にシステムがカメラ位置・姿勢推定に成功したと判断した入力画像に対応する真のカメラ
位置を示す．図中の青の曲線はデータベース構築時のカメラパスを，赤い点・矢印は入力画像の撮影位置・方向を，緑の点はシステムがカメラ位置・姿勢推定に成功したと判断した位置を示す．推定に成功した入力画像の例として，++( 地点

で撮影された画像を図  に，位置投票結果を図す．また，図い．図およびに，姿勢投票結果を図 5 に示

5 の濃度値は投票数を表しており，暗いほど投票数が多 から，++( 地点で撮影された画像は主として人工物を捉えていることが分かる．また位置・姿勢に対する投票結果から，真値付近に投票が集中しており，真値の近くにカメラ位置・姿勢が推定されていることが確認できる．
次に，システムが推定失敗と判定した入力画像の例として，"++% 地点撮影された画像を図6 に示す．図から，これらの画像には大きく木が写り込み，人工物を遮っているのが分かる．そのため，画像中から十分な数のランドマークが検出できず推定に失敗している．また，ランドマークが画像中に写っていたとしても，特徴点スケールを算出する際の ;  適用領域に木などの自然物が入り込むこと
で，特徴点スケールを正しく求められず，対応付けに失敗したり，投票場所が真値から外れ，安定して推定が行えない．また，+, 地点では大きな自然物は写り込んでいないが，撮影方向とデータベース構築時のカメラパスが交わらないために，+, 地点から見たランドマークと同じ見え方のランドマークがデータベース
中に存在せず，推定に失敗している．
方向 に関する全体のカメラ位置・姿勢推定の成功率，推定精度および再投影
誤差の平均と標準偏差を表 4 に示す．推定成功率は6*3D であり，先に挙げたよ

うに，木などの自然物が画像に大きく写り込んでいる場合や，撮影方向とデータベース構築時のカメラパスが交わらない場合を除いてほとんどの画像で推定に成功している．また，推定精度も平均位置誤差が*4，平均姿勢誤差が *4 度で， を用いてヒューマンナビゲーションを行うのに問題ない精度である．これらの結果から，入力画像中に主に人工物を捉えており，撮影方向とデータベース構44

データベース構築時のカメラパス
入力画像の撮影位置
入力画像の撮影方向推定に成功した入力画像の撮影位置 [m]
35

方向1

30
25

f

a
b

20
15

e

c

h

10
5

-35

-25

d

0
-15

-5

g -5

5

[m]

-10

図

 実験 の方向 におけるカメラ位置・姿勢推定の成功位置4

表 4 方向 におけるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差
システムが成功と判定した割合 D
平均位置誤差（）位置誤差標準偏差（）平均姿勢誤差 度
姿勢誤差標準偏差（度）
平均再投影誤差 画素
再投影誤差標準偏差（画素）

6*3
*4
*
*4
*
*
*6

築時のカメラパスが交わるような場合においては，データベース構築時のカメラ
パスから離れた地点でもロバストにカメラ位置・姿勢推定が行えることを確認で
きた．

4

図

%& 

地点

%$& 

地点

% & 

地点

 方向 における推定に成功した入力画像例
4

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
%& 

地点

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
%$& 

地点

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
% & 

図

地点

方向 における推定に成功した地点での位置投票例

45

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
%& 

地点

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
%$& 

地点

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
% & 

図

地点

5 方向 における推定に成功した地点での姿勢投票例
46

図

%&

地点

%$& "

地点

% & 

地点

6 方向 における推定に失敗した入力画像例
 方向  に対する結果と考察
ここでは，画像中に自然物を多く含む方向 方向のカメラ位置・姿勢推定結果を示し，実験結果に対する考察を述べる．図 3 にシステムがカメラ位置・姿
勢推定に成功したと判断した位置を示す．推定に成功した入力画像の例として，

+0+ 地点で撮影された画像を図 3 に，位置投票結果を図 3 に，姿勢投票結果を
図 33 に示すこれらの画像は，比較的画像中に人工物を多く捉えており，推定に成功している．
次に，推定に失敗した入力画像の例として，++G 地点撮影された画像を図 34に示す．これらの地点で撮影された画像も，方向 での失敗例と同様画像中に自然物が大きく写り込んでいるため推定に失敗している．この撮影方向における推定失敗のほとんどは，画像への自然物の写り込みによるものである．その他の失敗の例としては，" 地点などが挙げられる．この地点で撮影された画像を図 3 に示す．画像中にある程度大きく人工物を捉えているが，本実験を行った環境には
この建造物と類似した構造を持つ建造物が他に つ存在し，画像上の特徴点が違う建造物のランドマークと対応付けられ推定に失敗している．図 3 に，図 3 で捉えている建造物と類似した構造を持つ建造物を捉えたランドマークデータベー
ス構築時の撮影画像を示す．図 3 中の中央左側の建造物と図 3 で捉えている建造物が類似した構造をしており，本実験では誤った対応付けが行われた．このよ
うに，環境中に類似した構造が複数存在する場合は，誤った対応により推定が失敗してしまう場合がある．この問題を解決するためには，電子コンパスなどの携
帯端末内臓のセンサ情報を利用してランドマークを限定することが考えられる．
また，このようなあいまい性が存在する場合には，複数箇所に投票のピークが出現することからシステムがこれを自動検出し，ユーザに方向や位置を変えて入力
画像の撮り直しを要求することも解決策として考えられる．
方向 に関する全体のカメラ位置・姿勢推定の成功率，推定精度および再投影
誤差の平均と標準偏差を表  に示す．推定成功率は 4 * D であり，方向 に比べ半分程度の成功率である．これは，方向の違いによる画像中の人工物の割合の差だと考えられる．また，推定精度も平均位置誤差が *5，平均姿勢誤差が 3*6 度と悪く，方向 に比べ大幅に劣る．この原因としては，方向 では画像中に自然データベース構築時のカメラパス
入力画像の撮影位置
入力画像の撮影方向推定に成功した入力画像の撮影位置 [m]

方向2

35
30
25

a

20
15

c

10

j
k

5

-35

-25

d

i

0

-15

-5

5
-5

l

[m]

-10

図 3 実験 の方向 におけるカメラ位置・姿勢推定の成功位置表  方向 におけるカメラ位置・姿勢推定の成功率，推定精度および再投影誤差
システムが成功と判定した割合 D
平均位置誤差（）位置誤差標準偏差（）平均姿勢誤差 度
姿勢誤差標準偏差（度）
平均再投影誤差 画素
再投影誤差標準偏差（画素）

4*
*5
6*
3*6
4*
*
*

物を多く含むため，方向 に比べてカメラ位置・姿勢推定に使われる画像特徴点とランドマークの対応組の数が少ないことが挙げられる．また，推定に成功した
カメラ位置とランドマークの距離が離れていることも原因の つと考えられる．
これらの結果から，安定したカメラ位置・姿勢推定を行うためには，画像中に人工物を多く含むように入力画像を撮影する必要があることが分かった．

3

図3

%& 

地点

%$& '

地点

% & !

地点

方向 における推定に成功した入力画像例

4

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
%& 

地点

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
%$& '

地点

4
0
m

データベース構築時のカメラパス
カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢
40m
% & !

図3

地点

方向 における推定に成功した地点での位置投票例



3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
%& 

地点

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
%$& '

地点

3
6
0

カメラ位置の真値
カメラ位置・姿勢候補点推定されたカメラ位置・姿勢

度
40m
% & !

地点

図 33 方向 における推定に成功した地点での姿勢投票例

%& 

地点

%$& 

地点

% & (

地点

図 34 方向 における推定に失敗した入力画像例

図 3 類似構造を持つ建物 入力画像

図 3 類似構造を持つ建物 データベース構築時撮影画像

5

# まとめ
本論文では，自然特徴点ランドマークデータベースを事前に構築し，画像ス
ケールに依存しない特徴量による特徴点の対応付けとスケール情報を利用したカ
メラ位置・姿勢候補の絞込みを行うことで，データベース構築時のカメラパスから大きく離れた地点においても利用可能な，静止画像からのカメラ位置・姿勢推定法を提案した．提案手法では，まず，スケール情報を考慮した自然特徴点ランドマークデータベースを，環境を撮影した全方位画像から半自動で作成する．次に，作成したランドマークデータベース中のランドマークと，入力画像上の特徴
点をスケール不変特徴量を用いて対応付け，スケール情報を考慮した投票を行う
ことで尤もらしい組み合わせを絞り込む．最後に，このようにして選択されたランドマークと入力画像上の特徴点の組み合わせを用いてカメラ位置・姿勢推定を行う．提案手法は，スケール不変特徴量を用いることで，撮影距離が異なっていても同一特徴点を正しく対応付けることが可能であり，スケール情報を考慮した投票を行うことで，データベース構築時のカメラ位置から離れた場所で撮影された画像を入力とした場合にもカメラの位置・姿勢を正しく推定する．実験では，実際の屋外環境を全方位カメラで撮影することで構築された自然特徴点ランドマー
クデータベースを用いて，複数の静止画像からのカメラの位置・姿勢を推定した．
また，スケール変化への対応評価実験とロバスト性の検証実験の つを行い，それぞれの実験で，推定された位置・姿勢と手動で作成した正解データとを比較した．その結果，人工物を入力画像中に十分捉えている場合は，データベース構築
時のカメラ位置から離れた地点においても， によるヒューマンナビゲーションを行うのに十分な精度でロバストに推定を行えることを確認できた．ただし，自然物が多く存在し，安定に利用可能なランドマークが少ない場合には十分な精度でカメラ位置・姿勢の推定を行うことができなかった．
今後の課題として，処理の高速化やサーバ・クライアント型システムの構築，シ
ステムとユーザのインタラクションなどが挙げられる．処理の高速化では，?

!"#$ # の主成分分析を行い，次元数を削減することが考えられる．また，初めに得られた入力画像からカメラ位置・姿勢推定に失敗した場合，その入力画像から得られた情報からある程度の位置・姿勢を絞り込み，再度ユーザに位置・姿

6

勢を指示しながら画像の撮り直しを要求するなどが考えられる．このような課題を解決することによって，広域環境におけるカメラ付き携帯端末を用いた  によるヒューマンナビゲーションシステムが実現可能となる．

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜った視覚情報メディア講座横矢直和教授に心より感謝致します．また，本研究の遂行にあたり，有益な
御助言，御鞭撻頂いた知能情報処理学講座木戸出正継教授に厚く御礼申し上げます．そして，本研究を通じて温かい御指導をして頂いた視覚情報メディア講座山澤一誠助教授に深く感謝致します．さらに，本研究の全過程において，的確な御助言・御指導を頂いた視覚情報メディア講座神原誠之助手に深く御礼申し上げます．また，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視覚情報メディア講座佐藤智和助手に心より感謝致します．特に，佐藤智和助手には本研究のテーマ設定から本論文の執筆，その他の発表論文の添削，発表練習に至るまで細やかな御指導を頂きました．さらに，本研究の遂行にあたり，細やかな御助言・御鞭撻を頂いた視覚情報メディア講座池田聖特任助手に心より御礼申し上げます．
また，研究室での生活を支えていただいた視覚情報メディア講座事務補佐員守屋智代女史に深く感謝致します．最後に，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア講座の諸氏に心より感謝致します．



参考文献

8 9 * ##+ *  $$#+ * !+ * 1#  * 1,!#< H%  (  " /&# $$" +I # "*=JKKK * = (*   , = $  & #0+ $$* 6L5+ 666*
8 9 * !+ * =#&+ *  !+ M* &+ * !+ *1# *  $$#< H$  ! " $ !!+I KKK = $#-+ : * 34+ * 5+ $$* L+  *839 * @* #%+ * =%0#, #  * @0#!%< H% "#"0 " !$$ # !!+I # "* =JKKK * = (*   , = $  & #0+ $$* 3 L43+ *849 @* % !+ @* = !+ M* )  %+ M* .#!+ * @ + *  ##! 
1* 0#!0< H#.0<   #J #  # N#! $#! $$" +I # "* * $*  1#, = $#!+ $$* 36L 4+ *89 * )7%  M* >#!< H#"% < ! #"%"# (   ,  #  # !!+I # "* * = (*  /   + $$* 3L 4+  *"89 小田島太郎+ 神原誠之+ 横矢直和< H拡張現実感技術を用いた屋外型ウェアラ* + $$* 53 L54+ 3*
ブル注釈提示システムI+ 画像電子学会誌+ : * 3 +8 9 神原誠之+ 横矢直和< H> と慣性航法装置を併用したハイブリッド
センサによる屋外型拡張現実感システムI+ 画像の認識・理解シンポジウム
E  講演論文集+ $$* 633L635+ *859 李欣洙+ 間瀬憲一+ 阿達透+ 大沢達哉+ 中野敬介+ 仙石正和+ 日高裕敏+ 品川準
輝+ 小林岳彦< H，歩数計及び方位計を用いた歩行者移動経路追跡法I+ 電* + $$* 4L 3+  *子情報通信学会論文誌 @ + : * M54@+869 *  0+ * >,#  * O 0 *< H $ !  %  " , !$"N"  ( !#! ,!$ $ !    #"0  ( # &#, # !!+I # "* =KJ1= 1 #0!% $  "= $  = " "%.! ( # 1#, ( #  
+ $$* 6L + 4*
8 9 K* ? /< H!# #"0 &% %   # !! #!+I KKK
= $# #$%"!  $$" !+ : * + * + $$* 35L4+ *8 9 濱口明宏+ 神原誠之+ 横矢直和< H装着した 3 次元位置姿勢センサによるウェア
ラブルユーザの自己位置推定I+ 電子情報通信学会 技術研究報告+ :K 
6+ + *8 9 * >  * @%#!< H#0# #"0  % ",#  ( #  ,!  # " (#" !!+I # "* KKKJ= *1 #0!% $   + $$* 5L64+ 666*
8 39 羽原寿和+ 町田貴史+ 小川剛史+ 竹村治雄< H画像マーカを用いた屋内位置検出機構とその評価I+ 電子情報通信学会技術研究報告+ K  3+ $$* L +
 *8 49 )* 1#  )* "%!< H?#! !$!  &#! %% 
#+I # "* KKK * $*  1#, = $#!+ $$* L 3+ 3*
8 9 * 7%#+ =* ;!!  P* @,#< H: !%# % #  " !#"$% !+I # "* * $*  /   + $$*  L
3+ 4*

8 9 中里祐介+ 神原誠之+ 横矢直和< Hウェアラブル拡張現実感のための不可視マー
カと赤外線カメラを用いた位置・姿勢推定I+ 日本バーチャルリアリティ学会* 3+ $$* 6L34+ *論文誌+ : * +
8 9 齊藤滋+ 谷川智洋+ 廣瀬通孝< Hコード化した模様を内装に施した室内における位置同定システムI+ 電子情報通信学会 技術研究報告+ :K  + + *
3

8 59 E*   * O < H # (# #"0 ( # #+I
KKK #!" !  + : * + * + $$* 3L4+ 666*
8 69 * )! + O* * =  * >< H 3) ! &% &
! +I # "* ?= $*      ! :%"!+ 4*
8 9 岩佐英彦+ 粟飯原述宏+ 横矢直和+ 竹村治雄< H全方位画像を用いた記憶に基づく位置推定I+ 電子情報通信学会論文誌（) + : * M54)+* + $$* 3 L
3 +  *8 9 興梠正克+ 蔵田武志+ 坂上勝彦+ 村岡洋一< Hパノラマ画像群を位置合わせに用いたライブ映像上への注釈提示とその実時間システムI+ 電子情報通信学会* + $$* 63L 3 +  *論文誌 ) + : * M54)+8 9 * =$ + )*  ,#!   @*  # 2< H,!  "- +I # "** = (* :# !!  + $$* L 6+ 4*
8 39 ;* :""%+ :* ;$  * ?< H, # 3) #"0 !
  Q ( # +I KKK #!"   # !! "% "+ : * + * + $$* 35L 36 + 4*
8 49 ;* :""%+ :* ;$  * ?< H= ,   /# ( #  ( # # ""# 3) "# #"0+I # "* KKKJ= *$*  /   + $$* 45L + 4*
8 9 K*  !  * )# < H?! $ !  ! ( # %% $#( #" #"0+I # "* KKK * = (*  = $# :! + : * + * +$$* 5L  + *8 9 * 0#$0  )* * ; &< H"  + #"    #"0&% #  (#!+I # "* * $*  /  
+ $$* L 6+ 4*

4

8 9 大江統子+ 佐藤智和+ 横矢直和< H幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定I+ 日本バーチャルリ
アリティ学会論文誌+ : * +* 3+ $$* 5L 64+ *8 59 * + * * -  * -!0< H%   #!< K/$ # $% " " !  3)+I # "* =  + : * + $$* 53L54+ *
8 69 中川智香+ 佐藤智和+ 横矢直和< H自然特徴点ランドマークデータベースを用いた投票に基づく静止画像からのカメラ位置・姿勢推定I+ 画像の認識・理解
シンポジウム E  講演論文集+ $$* 46L 4+ *
839 ;* #0  K* ? /< H=#"#  #/ N" !! # ,!  $# "!! ( #  &#, ! # !(#"0#+I # "*KKKJ= * $*  /   + $$* L3+  *83 9 * O   E* < H?!  ( !   # #"0 ( # # ,!  # #!# +I # "* KKK  :#  = (*+ $$* L 5+
*
83 9 内山晋二+ 山本裕之+ 田村秀行< H複合現実感のためのハイブリッド位置合わ
せ手法−６自由度センサとビジョン手法の併用−I+ 日本バーチャルリアリ
ティ学会論文誌+ : *5+
* + $$* 6L + 3*8339 * > #   * >#< H#!  $ !  ,!  &0  "    !! &% !("  !! #!  &#, "#+I # "*KKKJ= * $*  /   + $$* 3L + 3*8349 * #  * 1* )# < H  <  ,!  ,! #"0
 ( #  #  #+I # "* KKK  :#  = (*+$$* L 5+ *839 佐藤清秀+ 穴吹まほろ+ 山本裕之+ 田村秀行< H屋外装着型複合現実感のためのハイブリッド位置合わせ手法I+ 日本バーチャルリアリティ学会論文誌+ : *
+ * + $$* 6L 3 +  *839 O* >+ * 0!  O* P%< HP # !%# % !  - !#" "#!+I # "* * $*  /  
+ $$*  L + 4*
83 9 )* * ; &< H)!"  (#! (#  !"# 0$ !+I *M # ( = $# :! + : * + * + $$* 6 L + 4*8359 佐藤智和+ 池田聖+ 横矢直和< H複数動画像からの全方位型マルチカメラシス
テムの位置・姿勢パラメータの推定I+ 電子情報通信学会論文誌（) + : *M55)+ * + $$* 34 L3 + *8369 =* ##!  * $%!< H " , " ##   " #+I # "* :!  = (*+ $$* 4 L  + 655*849 >* 0 G"-0  =* "%< H" R Æ # #! $  " #!+I * M* ( = $# :! + : * + * + $$* 3L5+ 4*
84 9 * >+ >* "%!  * 0 !"% K!< H= $# ! < %#!   (#  +I $##+ 665*
84 9 * M*  !!&< H;!  ( !.#! ##!! +I M* #" *!! "+ : * 6+ $$* 5 L55+ 654*
8439 * O* !< H Æ"  ""# "# ",#  "%. ( #3) "% ! +I # "* KKK = (*  = $# :!   #"  + $$* 34L3 4+ 65*