
修士論文

自然特徴点ランドマークデータベースと
姿勢センサを用いた
高速な回転にロバストなカメラ位置・姿勢推定

松田 幸大

 年 月 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 工学 授与の要件として提出した修士論文である。
松田

幸大

審査委員：
横矢

直和

教授

（主指導教員）

千原

國宏

教授

（副指導教員）自然特徴点ランドマークデータベースと
姿勢センサを用いた
高速な回転にロバストなカメラ位置・姿勢推定
松田 幸大

内容梗概
カメラの位置及び姿勢を実時間で推定する技術は，拡張現実感（

 ）やロボットナビゲーションなど，様々な分野への応用が可能である．これらの分野では，マーカやセンサなど物理的なインフラの整備を必要とせず，誤差が蓄積しない絶対的な位置・姿勢の推定手法が望まれている．従来，事前に環境内の撮影及び計測を行うことで景観内の自然特徴点の三次元情報や画像
テンプレートをランドマークとしてデータベース化しておき，入力画像上の特徴
点とデータベース内のランドマークを複数組対応付けることでカメラの位置と姿勢を推定する手法が提案されている．しかし，従来手法では，カメラが高速に回転する場合，特徴点とランドマークを正しく対応付けられず，カメラの位置・姿
勢の推定誤差が増大する問題がある．本論文では，自然特徴点ランドマークデー
タベースと姿勢センサにより得られる角速度情報を併用することで，カメラが高速に回転する場合においても位置と姿勢をロバストに推定する手法を提案する．
提案手法では，まず角速度情報を用いることで，データベース中の多数のランドマークから推定に用いるランドマークを効果的に選択し，データベース内の画像
テンプレートに対して入力画像と同様のモーションブラーを再現する．次に，テンプレートマッチングによって入力画像内の特徴点とランドマークを対応付け，
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文




年

月  日



カメラの位置・姿勢を推定する．実験では，カメラに高速な回転を与えて取得した動画像からカメラの位置・姿勢を推定し，特徴点とランドマークの対応や推定されたカメラの位置・姿勢の推定精度を検証する．

キーワード
カメラ位置・姿勢推定 自然特徴点 ランドマークデータベース 姿勢センサ 拡
張現実感



    
                     

  ! "!#  $% "! $$  $! $ $  ! $!  &! !' # "$!" $& !$ $$ $& ! &! $ !'  !  (  $  )  "# $  #! $& * "  
!  !$#$ %$(  " *   &!+ !+! $ 
#$ $$  $! $& "! )$   " &!!"! "  !*" !'!(  "$%$ $  &! !'#  ! # &  !+!(   $ "!
$$  $! !  # * "$!! $" #) &!
$   "!!     !'   # #  "( ,$)%!  $ !!$! "! & "$!!" "$!! $"$""!  $   !$$ $& "!( $ $%  !$#   !$$ $  !' ! *! " &!$  # #  !
%$" "+! )  ! $!(  $$ #!   ! !$" $
   $& !'  #!!   !  &$! " )
  
""   

 !  "" ! "#  

"#$ 

"  $     (  - ! "! $$  $! %# ""&   ! %!$("! $$  $! $ ! &! !' #! $!  !

%

目次

 はじめに カメラ位置・姿勢推定に関する従来研究と本研究の位置付け



((

センサを用いたカメラ位置・姿勢計測
動画像からのカメラ位置・姿勢推定

((
((
((

人工的なマーカを用いた手法
人工的な三次元モデルを用いた手法
自然特徴点ランドマークデータベースを用いた手法( センサ情報と動画像からのカメラ位置・姿勢推定(0 本研究の位置付けと方針

 自然特徴点ランドマークデータベースと姿勢センサを用いたカメラ位置・
姿勢推定

(
(
(

提案手法の概要
自然特徴点ランドマークデータベースの構築
カメラ位置及び姿勢の推定手法

((
((
((
( (0
( (

姿勢センサによるカメラ姿勢の算出・ステップ 

0
0


プ 1
画像テンプレートに対するモーションブラーの再現・ステップ 2

入力画像とランドマークの対応付け・ステップ 3

誤対応の排除とカメラ位置・姿勢推定・ステップ 4

定量的な評価実験
回転と並進を伴うカメラで撮影された動画像 入力 
回転のみを伴うカメラで撮影された動画像 入力

%


.



実験環境

0( (
0( (



カメラ位置・姿勢推定に用いるランドマークの選択・ステッ カメラ位置・姿勢推定の精度評価実験
0(
0(


.
.
/



/

0
0

 まとめと今後の課題



謝辞



付録



 カメラと姿勢センサの同期とキャリブレーション
(
(

同期手法
カメラと姿勢センサのキャリブレーション手法



00
0

 カメラの投影モデル



参考文献



%

図目次
無線 5 の電波強度による位置測定 6/7

0

$$' とモバイルコンピュータを用いた拡張現実感システム 6 7
物体の三次元モデルとモデルの周囲を中心とした環境マップ群 6 .7/
8$!$ らの手法による物体の三次元復元 6 /7
9$$1! で構築した環境のポリゴンモデル 6 7
自然特徴点ランドマークデータベースの構成要素

ランドマークとその多重スケールの画像テンプレート
.

0

.
/

カメラ位置及び姿勢推定の処理の流れ
カメラと姿勢センサの座標系の定義



カメラと選択されるランドマークの位置関係
モーションブラー再現による入力画像との正規化相互相関値の変化
モーションブラーのベクトルの算出と画像テンプレートに対する0

モーションブラーの再現
カメラと姿勢センサの位置関係

0

.
/




全方位型マルチカメラシステムと全方位画像
入力画像 入力


入力画像 入力 

入力 におけるカメラ位置・姿勢推定結果を用いた " $%
入力 における " $% の拡大図と被写体が動く方向
角速度の大きさと対応付けられたランドマーク数 入力
角速度の大きさと推定位置誤差 入力

入力 におけるカメラ位置・姿勢推定結果を用いた " $%
入力 における " $% の拡大図と被写体が動く方向

0

.



.

角速度の大きさと対応付けられたランドマーク数 入力
角速度情報  ，  のデータフィッティング
キャリブレーションデータの取得
マーカの投影誤差のヒストグラム
世界座標系とスクリーン座標系の関係

%



0
0.
0
0
0

表目次
従来手法の比較
カメラ位置・姿勢推定に用いた機器/

姿勢センサの仕様

0

推定に用いた入力画像と算出する推定誤差
自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢
推定の各処理における条件.

平均推定誤差と標準偏差 入力
平均推定誤差 入力





%

/
/

 はじめにカメラの位置及び姿勢を実時間で推定する技術は，拡張現実感 6  7 やロボット

ナビゲーション 6 07 など，様々な分野への応用が可能である．特に，屋外などの広範囲な環境を対象としたシステムでは，カメラの絶対的な位置及び姿勢の取得が必要である．従来から，赤外線マーカなどのセンサ 6: 7，画像マーカ 6: 7などの物理的なインフラを用いた手法，予め作成された環境のモデルを用いた動画像処理による手法 6ラを用いた手法 6:: 7 など，多くの手法が提案されてきた．物理的なインフ

7 では，センサからの信号やマーカのパターンから個々を識別することが容易であるため，時系列情報なしでカメラの位置及び姿勢の推定が可能であり，高速な動きに対してロバストな推定が実現できる．しかし，これらの手法では，環境中に物理的なインフラを整備する必要があり，自然環境などイ
ンフラの設置が困難な環境においては利用できない．一方，環境のモデルを用いた手法では，センサやマーカなどのインフラを用いずに，カメラの位置及び姿勢の推定が可能である．環境のモデルとして，ワイヤーフレームモデル 6: 7 や自然特徴点群 6 / 7，テクスチャつきのポリゴンモデルを用いる手法 6 . 7 が提案されているが，これらの手法では，入力画像中のエッジとモデルとを対応付けることによりカメラの絶対的な位置及び姿勢が推定される．一般的に，こういった環境モデルの生成には多大な労力を要するが，自然特徴点を用いた手法 6 /

7では，動画像から !"!&!$$$ の技術を用いてモデルが自動生成されるため，広範囲な景観内の自然特徴点のモデルを容易に構築できるという特長を持つ．しかし，これらの環境のモデルを用いた手法 6 0

: 7 では，モデルと画像中の個々の特徴を一意に識別することが難しく，フレーム間におけるカメラの回
転及び並進が大きい場合，モーションブラーや特徴の探索範囲の拡大によりモデ
ルと入力画像において誤対応が生じ，カメラの位置及び姿勢の推定誤差が増大する問題がある．この問題を解決するために，環境のモデルと姿勢センサから得られる情報を併用してカメラの位置及び姿勢を推定するハイブリッドな手法 6 :が研究されている．しかし，従来のポリゴンモデル 6

ル 6 

7

7 やワイヤーフレームモデ

7 とセンサによる情報を併用した手法では，対象とする環境の規模が大きく複雑な場合，モデルの作成自体が難しいという問題がある．

本論文では，自然特徴点群の三次元位置と画像テンプレートをデータベース化
した自然特徴点ランドマークデータベース 6

7 及び姿勢センサにより得られる角

速度情報を併用することで，カメラの高速な回転が生じた場合においても位置及び姿勢をロバストに推定する手法を提案する．提案手法では，まず，現フレームにおけるカメラの暫定的な位置及び姿勢を求め，フレーム毎にデータベース中の多数のランドマークから推定に用いるランドマークを適切に限定する．次に，限定されたランドマークの画像テンプレートに対して入力画像と同様のモーション
ブラーを再現し，モーションブラーによる入力画像とランドマーク間の類似度の低下を防ぐ．さらに，カメラの並進を考慮した大きさのウィンドウによって入力
画像内の特徴点を検出し，検出された特徴点とランドマークをテンプレートマッ
チングによって対応付けることで，カメラの位置及び姿勢を推定する．実験では，並進移動するカメラに高速な回転を与えて取得した動画像からカメラの位置及び姿勢を推定し，特徴点とランドマークの対応や推定されたカメラの位置及び姿勢の推定精度を検証する．
以下， 章では，カメラの位置及び姿勢の推定に関する従来研究と本研究の位置付けと方針について述べる． 章では，自然特徴点ランドマークデータベースと姿勢センサにより得た角速度情報を併用した逐次的なカメラの位置及び姿勢の推定手法について述べる．0 章では，実環境を撮影した画像を用いたカメラの位
置及び姿勢の推定実験について報告する． 章では，まとめと今後の課題について述べる．

! カメラ位置・姿勢推定に関する従来研究と本研究の位置付け
本章では，まず，絶対的なカメラの位置及び姿勢の推定に関する従来研究を，
赤外線センサや超音波センサなどのセンサのみを用いて計測する手法，ビデオカ
メラからの入力画像のみを用いて推定する手法，姿勢センサなどのセンサから得られる情報と入力画像を併用することで推定する手法に大別し，それぞれの手法の特徴と問題点について述べる．次に，本研究の位置付けと方針について述べる．

 センサを用いたカメラ位置・姿勢計測
センサによる情報のみからカメラの位置及び姿勢を計測する手法は，環境中の基準点に離散的に設置した赤外線マーカなどのインフラを用いた手法 6: 7，イ
ンフラを用いずに絶対的な位置及び姿勢を取得可能なセンサと自律的に位置及び姿勢の変位を計測可能なセンサを併用した手法 6  

7 に分類できる．インフラを用いた手法では，カメラに取り付けられた超音波センサ 6: 7 や無線 5 の端
末 6/7，赤外線カメラ 6  7 などのセンサとインフラ間において，超音波や電波などによる信号を送受信することで基準点を認識する．認識された基準点からカメラの絶対的な位置を取得し，電子コンパスや姿勢センサによって姿勢を計測する手段が一般的である．これらの手法の中でも三辺測量による位置計測手法として，超音波センサを用いる "%1 6.7 では，ユーザが装着する超音波ビーコンから発する超音波を環境中の３台以上の超音波センサで受信し，超音波の到達時間から三辺測量を行うことで対象物の３次元位置が計測される．また，無線 5を用いる 3 6/7 では，図 のように，無線 5 端末から発する信号の強度を複数の基地局で測定し，受信電波強度分布より算出した各基地局からユーザまでの距離を用い，三辺測量によってユーザの位置が計測される．三辺測量以外の計測手法としては，環境に設置した多数の赤外線 543 などの赤外線信号を発す
るインフラを用い，赤外線カメラによりインフラの検出を行うことでカメラの位置を計測する，赤外線マーカを用いた手法 6 7 が挙げられる．

図

無線 5 の電波強度による位置測定 6/7

以上のインフラを用いた手法では，超音波や電波にインフラ側のセンサを識別する情報を付加することが出来るため，個々のセンサを識別することが容易である．このため，時系列情報なしでカメラの位置及び姿勢が推定でき，高速な動き
に対してロバストである．しかし，大量のセンサを環境中に設置しなければならないため，設置や保守に人的コストがかかる点や自然環境などのインフラの設置が困難な環境に対しては適用できない点が問題である．
既存のインフラを利用する手法では，絶対的な位置を計測可能な 898$#

9$$  と姿勢センサ 6  07 や慣性センサ 6  7 などの自律計測型のセンサを組み合わせる手法が主流となっている．  6 7 では，ディファレン
シャル 89 を用いる位置計測と磁気センサ・慣性ヘッドトラッカーによる姿勢計測を統合することでカメラの位置及び姿勢を計測し，広範囲な屋外環境を移動するユーザが見ている現実環境の映像に対して，正しい位置に注釈情報を合成して提示する拡張現実感システムを実現している．また，3 ら 6 7 は地磁気センサで計測した姿勢とディファレンシャル 89 で計測した位置を直接用い，屋0

外に存在する遺跡に復元された当時の建物の 28 を重畳表示する拡張現実感シス

テムを実現している．以上のように，89 と姿勢センサを用いた手法では，ユーザが装着した機器のみにより位置及び姿勢が計測されるため，事前の作業が必要なく，広範囲な屋外においてカメラの位置及び姿勢が計測できる．しかし，絶対的な位置の測定に利用される 89 は屋内での利用が困難であり，絶対的な姿勢を計測できる磁気センサは建築構造物などによって容易に計測誤差が増大するな
ど，センサによって使用出来る環境に制限が多い．このため，環境に依存せずに
位置及び姿勢を計測するには複数のセンサを組み合わせることが必要となり，システムが複雑になる問題がある．また，インフラを用いない手法として，自律計
測型のセンサのみの組み合わせによる計測手法 6  .7 も提案されている．これ
らの手法は，インフラを用いることなく環境によらずにカメラの位置及び姿勢を計測出来るが，相対的な位置や姿勢の計測なので，長時間使用する場合，広範囲な環境における計測では累積誤差が無視できない．



動画像からのカメラ位置・姿勢推定

カメラからの入力画像を用いる手法としては，人工的なマーカを用いる手法 6:.7，事前に作成した環境内の物体の人工的な三次元モデルを用いる手法 6 : 7，
自然特徴点における三次元位置などの情報をランドマークとして格納した自然特徴点ランドマークデータベースを用いる手法 6 /

7 などが挙げられ，三次元位置が既知である環境中の基準点をカメラ位置及び姿勢推定に用いることが共通した特徴として挙げられる．これらの手法では，三次元位置が既知である点と画像中の点を複数対応付け，三次元点の画像面への投影位置と画像中で検出した点との投影誤差が小さくなるカメラの位置・姿勢パラメータを計算することで，各フレームにおいて絶対的なカメラの位置及び姿勢が推定される．以下では，それぞれの手法における，三次元位置が既知である基準点の特徴やカメラ位置・姿勢推
定時における問題点について述べる．

 人工的なマーカを用いた手法
人工的なマーカを用いたカメラの位置及び姿勢の推定手法として，$$' 6などの形状やパターンなどが既知の画像マーカを用いた手法 6

7: .7 が研究されている．これらの手法は，図 に示すように，環境中に事前に設置した三次元位置が既知の画像マーカを撮影した画像から，マーカ上の点の三次元座標と入力画像上の二次元座標を対応付けることで位置及び姿勢を推定する．また，パターンから個々のマーカを識別することが容易であり， ( 節で述べたセンサを用いた手法と同様に，時系列情報を用いずに現フレームの画像のみからカメラの位置及び姿勢が推定できるため，カメラの高速な動きに対してロバストである特長を持つ．しかし，これらの画像マーカを用いた手法では，設置や整備にかかる人的コ
ストや景観を損ねる問題がある．これらの問題を解決する手法として， !'ら6

7 は，設置における人的コストの問題を解決するために，基準となる少数のマーカの三次元位置と相対的な位置関係から周囲のマーカの三次元位置を求める
ことで，全てのマーカに対して三次元位置を測定する手間をなくした．また，中里ら 6 07 は，不可視マーカを用いることで，環境中に設置したマーカが景観を損ねる問題を解決している．
だが，これらのマーカを用いた手法では， ( 節において述べたインフラを用いた手法と同様に，大量のマーカを環境中に設置しなくてはならないため，屋外の自然環境などのマーカの設置が困難な環境に利用できないといった問題がある．

 人工的な三次元モデルを用いた手法
環境の人工的な三次元モデルを用いた手法では，事前に幾何学的・光学的情報を取得した後は，センサやマーカなどの物理的なインフラを用いずに，カメラの絶対的な位置及び姿勢の推定が可能である．環境のモデルとして，ワイヤーフレー
ムモデル 6: 7 やテクスチャつきのポリゴンモデルを用いる手法 6 . 7 が提案されており，これらの手法では，エッジや自然特徴点などの入力画像中の特徴とモデルを対応付けることによりカメラの位置及び姿勢が推定される．だが，環境のモデルを用いた手法の特徴としては，画像中の個々の特徴点を一意に識別することが難しい点が挙げられ，画像中の動きやオクルージョンによってモデルと入.

画像マーカの例
図

使用環境

$$' とモバイルコンピュータを用いた拡張現実感システム 6 7

力画像間において容易に誤対応が生じる．この問題に対し，9!$ ら 6

7は投影誤差を最小化する過程で，全データに対して均等な重みを用いるのではなく例外値には小さな重みを与えて２乗誤差を求め，投影誤差が最小となるカメラの位置及び姿勢を推定する 4$! によって，入力画像中のエッジとワイヤー

フレームモデルの誤対応に対してロバスト性を高めている．また，$ らは，

ワイヤーフレームモデルと入力画像中のエッジの対応付けだけでなく，入力画像上における特徴の動きに比較的ロバストな特徴点追跡を行うことで，推定のロバスト性を高める手法を提案している 6 07．図 に示すような，23 で作成した物
体の三次元モデルと物体を複数の方向から撮影したキーフレーム画像やモデルの周囲を中心とした環境マップ群を用いる手法 6 .

7 では，オクルージョンに対してロバストなカメラ位置及び姿勢推定が可能である．
しかし，フレーム間におけるカメラの並進及び回転が大きい場合，モーション
ブラーや特徴の探索範囲の拡大によりモデルと入力画像において誤対応が生じる
ためにカメラの位置及び姿勢の推定誤差が増大する問題や，人工的な環境モデルの生成には多大な労力を要するといった問題がある．

図

物体の三次元モデルとモデルの周囲を中心とした環境マップ群 6 .7

 自然特徴点ランドマークデータベースを用いた手法
環境のモデルを用いたカメラの位置及び姿勢の推定手法として，三次元位置が既知である環境中の自然特徴点と入力画像中の自然特徴点を対応付けること
で，物理的なインフラを用いずにカメラの絶対的な位置及び姿勢を推定する手法 6 /

7 が提案されている．この自然特徴点群からなる環境のモデルを，以後，

自然特徴点ランドマークデータベースと呼び，登録された自然特徴点をランドマークとする．自然特徴点ランドマークデータベースを用いた手法では，動画像から !"!&!$$$ の技術を用いてモデルが自動生成されるため， ( (節で述べた 23 などを用いて人工的に構築した環境のモデルを用いた手法に比べ，広範囲な景観内の自然特徴点の三次元モデルを容易に構築できるという特長を持つ．自然特徴点ランドマークデータベースには，自然特徴点の三次元情報と共にそれらを識別するための特徴ベクトル 6 /7 や画像テンプレート 6

7 などの情報が登録されており，ランドマークと入力画像中の特徴点の対応付けに用いられる．自然特徴点ランドマークデータベース構築時において，図 0 に示すようなモ/

三次元復元における入力の一部

特徴点の三次元復元の結果を横から見た図（左）と上から見た図（右）図 0 8$!$ らの手法による物体の三次元復元 6 /7
デル化する対象物体を撮影した複数枚の画像のみから特徴点の三次元復元を行う
手法 6 /7 を 8$!$ らは提案している．この手法における自然特徴点ランドマー
クデータベースには，スケールや回転に不変な ; 特徴量が登録されており，これにより入力画像とランドマークを対応付けることで，カメラの絶対的な位置及び姿勢が推定される．しかし，複数枚の画像のみからモデルを構築した場合，広範囲な環境を対象とした場合にはモデル中の特徴点の三次元位置に推定誤差が累積する問題がある．そこで，大江ら 6

7 は，広範囲な環境において三次元位置の推定精度が高い多数の自然特徴点をランドマークとしてデータベースへ登録する手法として，$ らの手法 6

7 を用いて，事前に計測した環境中の複数の自然特徴点と全方位カメラによって撮影した入力画像から環境中の自然特徴点を三次元復元する手法を提案している．
しかし，自然特徴点ランドマークデータベースを用いた手法は，画像中の個々の特徴を一意に識別することが難しく，フレーム間におけるカメラの並進及び回転が大きい場合，モーションブラーや探索範囲の拡大によりモデルと入力画像において誤対応を生じ，位置及び姿勢の推定誤差が増大する問題がある．

 センサ情報と動画像からのカメラ位置・姿勢推定
カメラの高速な回転や並進などの運動によって ( ( 節で述べた人工的な三次元モデルを用いた手法で生じる誤対応の問題を解決するため，環境の人工的なモデルとセンサから得られる情報を併用して，カメラの位置及び姿勢を推定する手法 6 :

7 が提案されている．これらの手法では，センサによる相対的な位置及び姿勢の変化の計測と動画像による絶対的な位置及び姿勢の推定を統合した枠組
みが一般的である．特徴の探索範囲の拡大による誤対応を防ぐ手法として，<ら 6 7 や ! ら 6

7 は，姿勢センサによる姿勢の計測結果と，ワイヤーフ

レームやポリゴンモデルを用いた動画像処理による推定を拡張カルマンフィルタ
によって統合し，カメラの回転やオクルージョンなどの環境変化による誤対応にロバストな手法を提案している．カメラの位置・姿勢推定に用いるモデルの例として，! ら 6

7 の手法で用いる環境モデルを図  に示す．このポリゴンモ
デルは，9$$1! 6 /7 を用いて画像と地図から取得した奥行き情報により構築することができ，人工的なモデルの中では比較的容易に構築することが可能であるが，モデル内の細かな特徴が平面に近似されて登録されているために厳密なカメラ位置及び姿勢推定には向いていない．また，カメラが高速な回転を伴う際のモーションブラーによってワイヤーフレームモデルと入力画像中の物体のエッジの対応付けが失敗する問題を解決するために，= ら 6

7 は姿勢センサにより得られる角速度情報からモーションブラー中のエッジを検出する探索ウィンド
ウを作成することで，モーションブラーによって検出が困難であったエッジを入力画像中から検出し，ワイヤーフレームと対応する手法を提案している．
しかし，従来のワイヤーフレームモデル 6 

7 やポリゴンモデル 6 7 とセンサによる情報を併用した手法では，対象とする物体や環境の規模が大きく，自然物のように複雑である場合には，モデルの作成自体が難しいという問題がある．

 本研究の位置付けと方針
ウェアラブルコンピュータを用いた拡張現実感やロボットナビゲーションなどの対象となる，広範囲な環境において一般的な運動を伴うカメラの位置及び姿勢環境のモデルを上から見た図

環境のモデルを横から見た図

図  9$$1! で構築した環境のポリゴンモデル 6 7の推定には，以下の５点を満たすことが重要である．

( マーカやセンサなど物理的なインフラが不要#( 適用可能な環境が限定されない"( 絶対的なカメラの位置及び姿勢が推定される
( 事前知識として環境のモデルを用いる場合，モデルの構築が容易( 並進や回転などのカメラの動きに対してロバスト
しかし，表 に示すように，従来のカメラの位置・姿勢推定法では，屋外環境のみで利用可能なものやフレーム間におけるカメラの動きが小さいことが前提であるものなど，それぞれ適用可能な条件や範囲が異なり，５つの要求事項を同時に満たすことは困難であった．要求事項の中でも，インフラの設置が必要な手法や環境モデリングが必要な手法は前提条件として人手による事前作業が必要なため，広範囲な環境を対象とした場合に人的コストの増大は避けられない．また，適用環境が限定される手法においても，屋内，屋外を問わず様々な環境において位置及び姿勢を推定するためには他の手法と組み合わせなければならず，システムが

表

カメラの位置及び姿勢の推定手法
入力
センサ情報
環境インフラ＋姿勢計測
自律計測
画像＋モデル
画像マーカ
人工的なモデル
自然特徴点
ランドマークデータベース
画像＋モデル＋センサ情報 人工的なモデル＋センサ
GPS

従来手法の比較

環境インフラ 適用環境の限定 累積誤差 環境モデリング 動きに対するロバスト性○ 必要なし○ 高い
× 必要あり× 限定あり○ なし○ 必要なし○ 高い○ 必要なし× 限定あり○ なし○ 必要なし○ 高い○ 必要なし○ 限定なし× あり○ 必要なし○ 高い○ なし
× 必要あり× 限定あり× 必要あり× 低い○ 必要なし× 限定あり○ なし△ 必要あり○ 必要なし○ 限定なし
○ なし
× 低い
自動生成
○ 必要なし× 限定あり○ なし
× 必要あり
○ 高い
:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

:

(

)

:

複雑になる問題がある．累積誤差が生じる手法も同様に，絶対的なカメラの位置
及び姿勢を推定するには他の手法と組み合わせる必要がある．しかし，動きに対するロバスト性については，センサ情報を併用することで環境の人工的なモデルを用いた手法のロバスト性を高める手法が存在するように，センサ情報を用いることで解決可能であることが分かっている．
そこで，本研究では要求事項 〜 を同時に満たすカメラの位置及び姿勢の推定手法の開発を目的とし，自然特徴点ランドマークデータベースと姿勢センサから得られる角速度情報を併用した手法を提案する．提案手法では，構築が容易な環境のモデルである自然特徴点ランドマークデータベースを用いることで，インフラを用いずに絶対的なカメラの位置及び姿勢が推定される．本手法では，全方位動画像と事前に計測した基準マーカを用いた $ ら 6

7 の手法により環境中の自然特徴点を三次元復元することで，広範囲な環境において正確な三次元位置のランドマークが登録された自然特徴点ランドマークデータベースを用いる．さらに，一般的に生じるカメラの高速な回転に対するロバスト性向上のため，姿勢センサにより得られる角速度情報を用いる．本研究では，まず，角速度情報を用いてデータベース中から推定に用いるランドマークを効果的に選択し，入力画像中における選択されたランドマークの対応点の探索範囲を限定する．また，モーションブラーを考慮したテンプレートマッチングにより，ランドマークと自然特徴点を対応付ける．これらの処理によって，ランドマークと自然特徴点の誤対応を防ぎ，高速な回転に対してロバストに絶対的なカメラ位置及び姿勢を推定する．

" 自然特徴点ランドマークデータベースと姿勢センサ
を用いたカメラ位置・姿勢推定
 提案手法の概要
提案手法では，オフライン処理により予め構築した自然特徴点ランドマーク
データベースを用いてカメラ位置及び姿勢を推定する．以下では，まず，自然特徴点ランドマークデータベースの構築について述べる．次に，オンライン逐次処理の枠組みである，自然特徴点ランドマークデータベースと姿勢センサによる角速度情報を用いたカメラの位置及び姿勢の推定手法について述べる．なお，本研
究では全方位カメラ及びビデオカメラの内部パラメータは既知であるとする．



自然特徴点ランドマークデータベースの構築

自然特徴点ランドマークデータベースは，図 . に示すように多数のランドマー
クから成り，各ランドマークの情報として，ランドマークの３次元位置と外観情報を保持している．様々な位置からのランドマークの見え方の変化に対応するた
めに，外観情報は各ランドマークの撮影地点ごとに以下の情報が保持されている67．

( ランドマークを中心とした多重スケールの画像テンプレート
入力画像中からランドマークの対応点を探索する際に用いられる．本研
究では，図 に示すように，各撮影地点において基本スケールとその２倍，４倍のスケールで作成された多重解像度の画像テンプレートを保持する．ただし，基本スケールとは，入力画像と画像テンプレートの解像度がほぼ等しくなるような画像テンプレートの実空間中での大きさを示す．

#( ランドマーク撮影時の全方位カメラの位置及び姿勢
入力画像と対応付けるランドマークの選択に用いられ，全方位カメラの位置を世界座標系で保持する．

0

自然特徴点ランドマークデータベース
ランドマーク１ ランドマーク２ ランドマーク3 ・・・ ランドマークN
ランドマークの三次元位置
撮影地点A 撮影地点B 撮影地点C ・・・ 撮影地点M
a. ランドマークを中心とした多重スケールの画像テンプレート
b. ランドマーク撮影時の全方位カメラの位置及び姿勢
c. 画像テンプレートの法線ベクトル

図 . 自然特徴点ランドマークデータベースの構成要素"( 画像テンプレートの法線ベクトル
図 に，実空間中における画像テンプレートの法線方向を示す．各ランドマークに対して複数保持される撮影地点毎の情報から，対応点の探索時に用いる画像テンプレートとその法線ベクトルなどを選択する基準として用いられる．また， ( (0 節で述べる入力画像とランドマークの対応付け処理において，入力画像とのテンプレートマッチングに用いる照合用の画像
テンプレートをランドマークの画像テンプレートから作成する際に用いられる．
以上の情報は，事前に環境の撮影及び基準となる自然特徴点の三次元位置の計測を行い，環境内の自然特徴点を三次元復元することで取得する 6

7．

 カメラ位置及び姿勢の推定手法
上記の自然特徴点ランドマークデータベース，姿勢センサからの角速度情報及び入力画像から，カメラの絶対的な位置及び姿勢を推定する手法について述べる．
本手法の処理の流れを図 / に示す．各フレームにおける処理は以下の通りである．
まず，姿勢センサで得られた角速度情報から暫定的なカメラの位置及び姿勢を算出し ，データベースから推定に利用するランドマークを限定する 1．限定さランドマークの三次元位置
基本スケールの画像テンプレート
2倍のスケールの画像テンプレート
4倍のスケールの画像テンプレート
画像テンプレートの基本スケール
画像テンプレートの法線ベクトル

撮影画像

基本
スケール
2倍の
スケール
4倍の
スケール

カメラの投影中心

基本
スケール
2倍の
スケール
4倍の
スケール

多重スケールの画像テンプレート
図

ランドマークとその多重スケールの画像テンプレート.

カメラの初期位置・姿勢決定
前フレームのカメラ位置・姿勢(A)

姿勢センサによるカメラ姿勢の算出(B)

ランドマークの限定(C) 画像テンプレートに対するモーションブラーの再現(D)

入力画像とランドマークの対応付け(E)

誤対応の排除とカメラ位置・姿勢の推定
カメラ位置・姿勢推定に成功
NoYes

図 / カメラ位置及び姿勢推定の処理の流れれたランドマークの画像テンプレートに対して入力画像と同じモーションブラー
を再現する 2．生成したテンプレートと入力画像のテンプレートマッチングにより，入力画像中の自然特徴点とランドマークとを対応付け 3，最後に，それらの対応関係を用いて 99 問題 67 を解くことによりカメラの位置及び姿勢を推定する 4．ただし，本稿では，初期フレームのカメラの位置及び姿勢は何らかの手法によって取得出来ることを前提としており，カメラ位置・姿勢推定が失敗したと判断された場合には，再度，カメラの初期位置・姿勢の推定から各ステップの処理を繰り返す．このカメラ位置・姿勢推定の成功・失敗判定については，ステップ 4 の説明で述べる．以下，ステップ 〜4 について詳述する．

 姿勢センサによるカメラ姿勢の算出・ステップ  
図 に示す座標系において，第  フレームにおける姿勢センサから得られる角
速度  と世界座標系から第    フレームのカメラ座標系への ３  ３ の変換行

列（回転行列）を用いて，第  フレームにおけるカメラの暫定的な姿勢






を算出する処理について述べる．ただし，ここで，センサから得られる角速度情報のみを用いて姿勢を推定すると，ドリフトによる累積的な誤差の影響を受ける

 フレームで推定された絶対的なカメラの姿勢 

ため，本手法では，第  と角速度  ，および予めキャリブレーションにより得たカメラ座標系からセンサ座標系への変換行列

 のみからカメラの姿勢  を算出することでドリフト誤

差の影響を軽減する．キャリブレーション手法については付録  を参照．以下では，カメラの姿勢

 の算出方法について述べる．
 は，カメラの姿
 から  >  

図 に示すように，第  フレームにおける姿勢センサの姿勢勢 とカメラ座標系から姿勢センサ座標系への回転行列で表される．また，第  












 フレームから第 フレームへの姿勢センサの回転を  としてあらわすと， >   が成立する．以上より，第 フレームにおけるカメラの暫定的な姿勢

 は以下の式で算出される．


 >     
















 フレームから第 フレームにおける微小な回転を  >    
で表せば，式   は次式のように変形できる．
第  



 >     >      >      >  





































 

 
















微小な回転は各軸周りの角速度ベクトルとの外積で表すことができるため，  は第  フレームにおける角速度  >       の要素のみからなる行列であり，以下の様に表現できる．

 >   








 

>

/























フレームのセンサ座標系

i

フレームの
センサ座標系

ωRig− i

(i-1)

1,

ω

iy

ω

ix

iz

Rig

R cg

フレームの
カメラ座標系

(i-1)

R

g
i −1

R

c
i −1

フレームの
カメラ座標系

R cg
Ric

i

世界座標系
図

カメラと姿勢センサの座標系の定義( 節で述べたように，姿勢センサとカメラ間の変換行列  はキャリブレーショ
ン済みで既知であり，カメラの姿勢






及び行列

 は累積誤差のない回転をあらわすので，式   を用いることで前フレームのカメラ姿勢と現フレームにおける角速度情報から絶対的なカメラの姿勢を表す ?  を算出できる．

 カメラ位置・姿勢推定に用いるランドマークの選択・ステップ ? を用いて，自然特徴点ランド
ステップ  で算出した暫定的なカメラの姿勢 

マークデータベースに登録されている多数のランドマークから，入力画像との対
応付けに用いるランドマークを限定する処理について述べる．ここでは，第  フ

レームに対して予測されるカメラの位置 ?  及び姿勢 ?  から，画角内に入るラン

ドマークを選択し，入力画像と対応付ける候補とする．具体的には，第    フ

 ，ランドマーク の三次元位置を   とすると，第フレームにおける画像上へのランドマーク の予測投影位置   > 6     7

レームでのカメラの位置を











 

     は以下の式で表される．

      > ?   @ ?
        




0

 

ただし，第  フレームにおけるカメラの予測位置 ?  は，カメラが等速直線運動を

していると仮定し，次式により算出する．

? > 








 





また，  は第  フレームにおけるカメラ座標系でのランドマーク  の奥行きを表す．本処理では，図 に示すように，上式で得られる予測投影位置  がカメラの画角内に存在するランドマークのみを選択し，推定に利用するランドマー
クとする．ただし，既に選択されたランドマークと入力画像上で密接している場
合，このランドマークを用いない．具体的には，格子状に分割された入力画像上

において，? から同じ格子内に投影されるランドマークが既に選択されているか判定し，以降の処理で用いるかを決定する．
以上の処理で選択されたランドマークを入力画像と対応付ける処理  ( (0 節で後述 において，テンプレートマッチングによる誤対応を防ぐため，入力画像と最も見え方の近い画像テンプレートを選択する．具体的には，複数の撮影地点毎の情報に対して画像テンプレートの法線ベクトルとランドマークの三次元位置

から入力画像の撮影カメラ位置 ?  へのベクトルのなす角  を算出し，角度  が

最小であった法線ベクトルを持つ画像テンプレートを以降の処理で用いる．ただし，角度  が閾値以上であった場合，そのランドマークは推定に用いない．なお，
誤対応の排除とカメラ位置・姿勢推定処理  ( ( 節で後述 で用いる 99 問題の解法において，入力画像との誤対応を含まない . 点以上のランドマークが用いられればカメラ位置・姿勢推定が可能であるため，選択されるランドマークの個数に上限を設ける．選択されたランドマークの数が設定した上限を上回る場合，入力画像上での見え方の変化が小さいと考えられるランドマークを優先的に選択するために，ランドマーク撮影時の全方位カメラの位置と暫定的なカメラ位置 ? 



の距離が小さい順にランドマークを選択する．

ランドマークの三次元位置
撮影地点A 地点B 地点C
θA

ランドマーク推定に用いられるランドマーク
現フレームの画像に投影されるランドマーク
ランドマークからカメラ位置へのベクトル
画像テンプレートの法線ベクトル

θC

θB

a. ランドマークを中心とした画像テンプレート
b. 撮影時の全方位カメラの位置・姿勢
c. 画像テンプレートの法線ベクトル

カメラ
フレームの
カメラ位置及び姿勢（真値）i(i− 1) フレームのカメラ位置 Pi −c 1及び姿勢 Ric−1

フレームの暫定的な
カメラ位置 P~ 及び姿勢 R~
i

c

i

図

・・・

c
i

 カメラと選択されるランドマークの位置関係 画像テンプレートに対するモーションブラーの再現・ステップ ステップ 1 により選択されたランドマークの画像テンプレートから，入力画像のモーションブラーを再現した画像テンプレートを生成する処理について述べに示すように，本手法では第  フレームを取得した時点に最もる．なお，図近い瞬間のカメラの位置及び姿勢を推定するため，第  フレームにおいて露光が終了する瞬間のカメラの位置及び姿勢を推定する．本研究では，等速直線運動を仮定した 9; モデルを用いて，各ランドマークに対してデータベースの画像テ
ンプレートにモーションブラーを再現する．この処理により，図に示すように，入力画像とランドマーク間の画像テンプレートの類似度を高めることが出来る．同図から，特に，高周波成分を多く含む画像がブラーによって変化しやすい
ため，複雑な環境の画像テンプレートに対しては，より効果的であることが分かる．モーションブラーの大きさ，方向は，以下のベクトル  >        >   で表される．
 ?   A.

 は第    フレームにおけるカメラ位置  及び姿勢  と三次元位置   から算出したランドマークの第    フレームにおける画像への投影座標，A はフレーム間の時間，   はベクトル   の入力画像上における 成
分，   はベクトル   の入力画像上における 成分を表し，シャッタースピー
ただし，  













 

 





ド は既知とする．
算出されたベクトル  を用いて画像テンプレートに対しモーションブラー


を再現する処理について詳述する．ランドマーク  の画像テンプレートの領域をB とすると， から算出されたモーションブラーを再現するウィンドウ を
 の輝度値   は，B  周囲の輝度値と畳み込むことにより，B  


ベクトル





  から以下の式により算出される．

 





 





>

 



 @      @    


 

 







 

  



ただし， ， はランドマークの画像テンプレートにおける座標を表す．B  に対してウィンドウを走査することにより，ランドマーク  が中心であるモーショ

ンブラーを再現済みの画像テンプレートが生成される．

スケール小

ブラーの
再現なし

ブラーの
再現あり

入力画像

ブラーの
再現なし

ブラーの
再現あり

入力画像

多重スケールの画像テンプレート

スケール大正規化相互相関値

図

０．４０
０．７２
０．７６ ０．９５
高周波成分を多く含む画像テンプレート 高周波成分の少ない画像テンプレート

モーションブラー再現による入力画像との正規化相互相関値の変化

カメラ画像面

位置及び姿勢を推定する瞬間

i フレームシャッタースピード ｓ

時間

1フレームの時間 ⊿t
各瞬間の
撮影画像

i フレームにおける推定に用いるランドマーク ｊ

撮影画像

Ψ

ランドマーク j の画像テンプレート

µ

ν

( j)

位置及び姿勢を推定する瞬間におけるランドマークの投影位置: モーションブラーのベクトル
:
:

M
M~

c
i −1 に対するランドマーク

b

( j)

n の投影位置 c ( j ) i −1~cに対するランドマーク n の投影位置 c( j )ii: テンプレートマッチングに用いる領域: ブラーの再現に用いるウィンドウ

B

ブラー再現後の画像テンプレート( i - 1 )フレームにおける

Pc

カメラ位置 i −1 及び姿勢

図

Ric−1

i フレームにおける暫定的な
カメラ位置

P~i c 及び姿勢 R~ ic

モーションブラーのベクトルの算出と画像テンプレートに対するモーショ

ンブラーの再現

0 入力画像とランドマークの対応付け・ステップ ステップ 1 で限定された各ランドマークに対して入力画像中の自然特徴点を対応付ける処理について述べる．具体的には，ステップ 1 で算出されたランドマーク  の予測投影位置 ?  を中心とする大きさ Æ のウィンドウ内において，ス

テップ 2 で生成されたテンプレートを用いて，正規化相互相関を指標としたテンプレートマッチングを行う．

 入力画像中の対応点の探索
ウィンドウの大きさ Æ は，カメラの並進移動と姿勢センサの計測精度を考慮して設定する．具体的には，ランドマーク  のカメラからの奥行き   ，
アプリケーションに合わせて設定されたカメラの最大並進速度  ，姿勢センサの精度から設定される定数 Æ  を用いて検出ウィンドウの大きさ Æ は以下の式で算出される．
Æ 

>





A @ 

 

Æ/ 画像テンプレートのマッチングによる対応付け
ランドマークと入力画像中の自然特徴点を対応付けるために，入力画像とランドマークの画像テンプレートのテンプレートマッチングを以下の手順で行い，前項で設定したウィンドウ内の各画素とランドマークを識別する．

 対応候補点である探索ウィンドウ内の各画素について，入力画像からその画素を中心とした画像テンプレートを作成する．

# 作成した画像テンプレートとステップ 2 においてモーションブラー
を再現した画像テンプレートを正規化相互相関によって比較し，最も相関値が高い点をランドマークと対応付ける．
以上の処理の詳細を以下で述べる．
正規化相互相関に用いるランドマークの画像テンプレートは，ステップ 2
において作成した画像テンプレートを入力画像面に投影したものであり，カメラ位置 ?  及び姿勢 ?  と多重スケールの各画像テンプレート，ランドマー







クの三次元位置 ，画像テンプレートの法線ベクトルから作成する．一方，対応候補点の画像テンプレートは，対応付けるランドマークの画像テンプ
レートと同一の大きさの領域のものと，その２倍，４倍の多重スケールで構成される．これらの多重スケール画像テンプレート間の正規化相互相関は，!

各テンプレート内の全ての画素の輝度値を並べたベクトルを ， とし，そ!

の平均値を並べたベクトルを ， とした時，以下の式により算出される．

  >     !!!!

  

この相関値が最大かつ閾値以上である対応候補点をランドマークと対応付ける．ここで得られた対応関係から，データベース内の自然特徴点の三次元座標と入力画像上の二次元座標を対応付けることができる．

 誤対応の排除とカメラ位置・姿勢推定・ステップ "本ステップでは，ステップ 3 で対応付けられたランドマークと入力画像中の特徴点の対応関係を用いて絶対的なカメラの位置及び姿勢を推定する．三次元位
置と二次元座標の対応組を６組以上用い，99 問題 67 を解くことで，カメラ位

置及び姿勢は推定される．しかし，これまでの処理で対応付けられたランドマー
クと特徴点の対応組に誤対応が含まれている場合，位置及び姿勢の推定精度が低下する問題がある．そのため，

2 607 により誤対応を排除してカメラ位置

及び姿勢を推定する処理を繰り返し，再投影誤差が最小となるカメラの位置及び姿勢を， フレームにおける最終的なカメラ位置

 及び姿勢  の推定結果とす

る．カメラの投影モデルについては付録 1 を参照．



2 とは，正しいデー

タと誤ったデータが混合したデータにおいて，ランダムなサンプルデータの選択，
サンプルデータから算出したパラメータの評価の 処理を繰り返し，最も評価の高いサンプルデータを正しいデータとする統計的手法である．理論的には，過半数の正しいデータが含まれれば謝ったデータを除去することが出来るため，正しいデータを取り出す代表的な手法とされる．以下に，
処理について詳述する．

.

2 による具体的な  ステップ 3 で対応付けられた三次元位置と二次元座標の対応組からランダムに . 組以上を選択し，暫定的なカメラ位置及び姿勢を推定する．
    で得られた暫定的なカメラ位置及び姿勢に対し，全ての対応組において再投影誤差 を算出し，その中央値 C を求める．ランドマーク と対応付
けた二次元座標を     ，ランドマーク の三次元座標   を暫定的なカメ
ラ位置及び姿勢で画像上に投影した座標を ? ?  とした時，再投影誤差
は， >    ?  @    ?  として定義する．




























   ，  の処理を複数回繰り返し，再投影誤差の中央値 C が最小となる暫


定的なカメラ位置及び姿勢を選択する．

0 選択されたカメラパラメータによって全対応組の投影誤差を評価し，閾値を超える組み合わせを誤対応として削除する．
以上の処理によって得られた誤対応が排除された三次元位置と二次元座標の対応関係を用いて再投影誤差を算出し，これを最小化することで第  フレームにおけるカメラの位置

 及び姿勢  の推定を行う．再投影誤差の最小化は非線形最






小化問題であり，局所解の問題や計算量の問題を伴うため，まず線形解法を用いてまずカメラ位置・姿勢の初期値を求め 6
影誤差 

7，次に，非線形最小化によって再投を最小化する．ここで，最終的に利用可能な対応点数が . 点を下回るか

再投影誤差が十分に最小化されない場合，推定が失敗したとみなす．

# カメラ位置・姿勢推定の精度評価実験
提案手法の有効性を検証するために，実動画像を用いた精度評価実験を行った．
以下，まず実験環境について述べ，次に，提案手法の定量的な評価実験について述べる．

 実験環境
本実験で入力として用いた動画像，角速度情報，ランドマークデータベースのデータの取得方法について述べる．以下に，これらのデータの取得方法について述べる．使用する機器構成を表 に示す．図に示すように，動画像は手持ちのビデオカメラ，姿勢情報はカメラに固定された姿勢センサで得た．姿勢センサの主な仕様を表 に示す．自然特徴点ランドマークデータベースの生成には，図0左に示すような放射状に固定された複数のカメラにより全天球の動画像を取得できる全方位型マルチカメラシステム 9$ 8! !" 社 5#，解像度./  0 . 台 を用いた．このカメラシステムにより屋外環境を図 0 右に示すような画像系列として移動撮影し，佐藤らの手法 6 7 によりカメラパスと自然
特徴点の三次元位置を推定することにより自然特徴点ランドマークデータベースを構築した．自然特徴点ランドマークデータベース中のランドマーク数は約 個であり，１つのランドマークあたりの撮影地点数は平均 /ヶ所であった．なお，

定量的な評価に用いるカメラ位置及び姿勢の真値は，環境内の特徴点の三次元位
置をトータルステーションを用いて測定し，各フレームの画像上でそれらの特徴
点を手動で対応付け，99 問題を解くことで算出した．
表

カメラ位置・姿勢推定に用いた機器

入力撮影カメラ%& '(



広角レンズ

%& )*+,

-

姿勢センサ

%./*  0

マシンスペック*(12(!

/



,3

2 4

図

カメラと姿勢センサの位置関係

表
方位角誤差

姿勢センサの仕様
±

°

ドリフト2

°5

スケールファクタ2 ± 
ロール角誤差±  °

ピッチ角誤差±  °

最大角速度

0 -

計測レート

°5

,3

6

図



0 全方位型マルチカメラシステムと全方位画像

定量的な評価実験

上記の実験環境において，以下に述べる２つの比較手法と提案手法で推定されたカメラの位置及び姿勢を真値と比較することで推定精度を調べた．ただし，モーションブラーが生じた画像から直接カメラの位置・姿勢の真値を求め，推定誤差を計算することは困難なので，推定に用いた入力動画像は，以下の２種類の方法で撮影したものを用いた．

 回転のみを伴うカメラによる撮影
入力  回転と並進を伴うカメラによる撮影

入力

回転のみを伴うカメラによって得られた動画像 入力

 は，モーションブラーが生じていない初期フレームから算出したカメラ位置を真値とすることで，動画像中の全フレームに対して推定位置誤差を算出した．一方，回転と並進を伴うカメラによって得られた動画像 入力

 は，推定誤差を算出する各フレームにおいてカメラの位置・姿勢の真値を算出し，推定位置誤差・推定姿勢誤差を算出した．

ただし，真値計算時の再投影誤差が ( - 以上となったフレームは，信頼性が低いため，評価対象から除外した．入力 ， に対応する動画像の一部のフレーム

，図 . に示す．これらは，入力画像撮影時において自動設定されたシャッタースピード D  秒で撮影した．また，本実験において，カメラの最
とし，姿勢
大並進速度
 は，一般的な人間のジョギングの速度である /センサの精度から算出した検出ウィンドウの大きさ  を . 画素に設定した．本
実験で使用したカメラ位置・姿勢推定処理の各ステップにおける推定条件を表 をそれぞれ図





Æ

に示す．

５０フレーム１0０フレーム

１5０フレーム

２００フレーム

図 入力画像 入力 

本実験では，上記の入力画像を用い，提案手法と２つの比較手法とを比較する．
つの比較手法は，本研究で新たに導入したステップ 1，2 の有効性を確認す表 0 推定に用いた入力画像と算出する推定誤差評価するパラメータ

対象フレーム

入力

位置

全フレーム

入力

位置・姿勢

再投影誤差が 7#以下のフレーム

表  自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定の各処理における条件
入力画像の画素数 画素

 0/

入力画像のフレームレート フレームD秒ステップ 1 画像テンプレートとカメラの光軸のなす最大角 度ステップ 1 データベースから選択するランドマーク数 個Dフレーム
ステップ 1 入力画像上に設定する格子の間隔 画素0 0
ステップ 3 カメラの最大並進速度/ 'Dステップ 3 センサの誤差を考慮した探索範囲の大きさ  画素.
ステップ 4  2 の繰り返し回数 回





Æ

５０フレーム

１００フレーム

１５０フレーム

２００フレーム

図. 入力画像 入力 るために，提案手法中のステップ 1，2 のうち，１つのステップを以下に示
す処理に置き換えたものとする．

 ステップ 1 において，カメラの予測位置 ? 及び姿勢 ? の代わりに，前フレームで推定したカメラの位置  及び姿勢  を用いて推



比較手法










定に用いるランドマークを限定する．
比較手法

 ステップ 2 において，ランドマークの画像テンプレートに対してモーションブラーを再現しない．

 回転のみを伴うカメラで撮影された動画像 入力 
推定されたカメラ位置・姿勢を用いて仮想物体を一定位置に重畳させた "$% の結果を図 に，モーションブラーが大きい  フレームにおける被写体が動く方向と " $% の結果を一部拡大したものを図 / に示す．ステップ
2 で述べたように，提案手法では露光が終了する瞬間のカメラ位置・姿勢を推定することから，図 ， / より，28 で重畳したワイヤーフレームが入力画像と幾何学的に正しく合成されており，カメラ位置・姿勢推定に大きな誤差が含まれていないことが分かる．各フレームにおける角速度と最終的なカメラ位置・姿勢推定に用いられたランドマークの数を図に，推定位置誤差を図  に，各手法の平均推定誤差と標準偏差を表 . に示す．比較手法   では，
いてカメラ位置姿勢推定が途中で失敗した．図

フレームにおから，比較手法   の推定処理の失敗は，大きな角速度が発生した直後に発生していることが分かる．比較手法

  では，大きな角速度が発生した  フレームや  フレーム付近における対応付けられたランドマーク数の減少が見られる．一方，提案手法にも対応付けられたランドマーク数の変化が見られるが比較的安定しており，全てのフレームで推定が成功した．また，図  から，比較手法は角速度が大きいフレームにおいて推定誤差が増大しているが，提案手法は対応付けられたランドマーク数と同様に，比較手法と比べて安定していることが分かる．このことから，姿勢センサを用いたステップ 1，2 の導入により，高速な回転に対するロバスト性が向上していることが分かる．また，各比較手法に比べ，提案手法は各フレームにおける誤差のばらつきが少なく，大きな誤差を生じることなくカメラの位置を推定できていることが分かる．統計的に推定誤差の検証を行うため，有意水準を Eとして提案手法に対して  検定を行った結果，比較手法   との  値が (.0，比較手法

  との  値が (であり，提案手法と比較手法の推定誤差に有意な差があることを確認した．

 回転と並進を伴うカメラで撮影された動画像 入力 
推定されたカメラ位置・姿勢を用いて仮想物体を一定位置に重畳させた "$% の結果を図に，モーションブラーが大きい  フレームにおける被写体

0５０フレーム

１００フレーム

１５０フレーム

２００フレーム

入力 におけるカメラ位置・姿勢推定結果を用いた " $%図

被写体が動く方向

図/ 入力 における " $% の拡大図と被写体が動く方向


６

さき )ム
大の ーレ ４度 フ/ ２
速角 (度
0
60
60

たれ )個(
らい 数ク4040
ー
用に マド
定 ン2020
推ラ: 提案手法: 比較手法（１ ）

00

6060

たれ )個
(
らい 数
クー4040
用に マド
定 ン 20
推 ラ20
0
0

図

11

: 提案手法: 比較手法（２）

51
51

101
101

151
151

201
201

フレーム番号

251
251

301
301

角速度の大きさと対応付けられたランドマーク数 入力

.



6
5
さき )ム4大の ーレ
度速 フ/ 3角 度( 21
4000
00)m 3500m( 3000
差誤2500
置位20001500
定推1000

500
40000
3500
3000
2500
2000
1500
1000
500
0

: 提案手法: 比較手法（１ ）

)m
m(
差誤
置位
定推

: 提案手法: 比較手法（２）

1

51

101

151

201

251

フレーム番号

図 角速度の大きさと推定位置誤差 入力 301

表 . 平均推定誤差と標準偏差 入力

平均位置誤差 89 標準偏差 89
提案手法

0

比較手法 8 9

:

比較手法 8 9

表

平均推定誤差 入力


:
:



平均位置誤差 89 平均姿勢誤差 8度9
提案手法

0 

 :

比較手法 8 90:0

比較手法 8 9 が動く方向と " $% の結果を一部拡大したものを図に示す．入力に対する実験と同様に，28 で重畳したワイヤーフレームが入力画像と幾何学的に正しく合成されており，カメラ位置・姿勢推定に大きな誤差が含まれていないことが分かる．各フレームにおける角速度と最終的なカメラ位置・姿勢推定に用いられたランドマーク数を図に，各手法の平均推定誤差を表 に示す．比較手法   及び   では，それぞれ 00 フレーム，/0 フレームにおいて，カメラの位置
及び姿勢の推定が途中で失敗した．これに対して，提案手法では，最終フレーム
までカメラ位置姿勢を推定することが出来た．図から，比較手法   では，前述で述べた実験と同様に，大きな角速度が発生した直後に推定処理の失敗が発生
し，表 から位置及び姿勢の推定誤差も増大していることが分かる．比較手法  では，表 から提案手法と同程度の精度が得られているが，比較手法   と同様に，大きな角速度が発生した直後に推定処理の失敗が見られる．今回の実験では，モーションブラーが生じたフレームでは推定誤差が検証できないため，表 はブラーの発生していないフレームにおける平均推定誤差を表しているが，比較手法

 ，  における推定の失敗は，いずれもモーションブラーが生じたフレームにおいて発生しており，推定に用いられるランドマーク数が減少しているため，これらのフレーム付近において比較手法の推定誤差が増大している可能性がある．

/

５０フレーム

１００フレーム

１５０フレーム

２００フレーム

入力 におけるカメラ位置・姿勢推定結果を用いた " $%図

被写体が動く方向

図

入力 における " $% の拡大図と被写体が動く方向さき )ム ６
大の度 ーレフ ４/速角 度( ２
0
60
120
60

たれ )個
40
40
(100
らい 数
クー
用
に マド80定 ン2020
推ラ: 提案手法: 比較手法（１ ）

600
0
60

たれ )個( 4040
らい 数ク
ー
用
に マド20定 ン 20推ラ: 提案手法: 比較手法（２）

0
0

1

51

101

151

フレーム番号
図

角速度の大きさと対応付けられたランドマーク数 入力0以上のことから，位置及び姿勢の推定精度，推定のロバスト性において，提案
手法の有効性を確認した．今回の実験において，提案手法における 枚の入力に対する処理時間は平均 .(/ 秒であり，主にステップ " におけるモーションブラー
の再現に時間がかかった．自然特徴点ランドマークデータベース登録時におけるモーションブラーの影響を受けやすいランドマークの識別や，モーションブラー
の再現における 89F の使用といった処理の高速化により，カメラ位置・姿勢推定のリアルタイム化が実現出来れば，本手法は，屋内などの環境中に光が少なく
モーションブラーが生じやすい状況や，ウェアラブルコンピュータを用いた拡張
現実感やロボットナビゲーションなどの高速な回転を伴う状況においてカメラの位置及び姿勢をロバストに推定することが出来るため，それらのシステムにおいて厳密な位置あわせを必要としないナビゲーションなどのアプリケーションに用いることが可能であると考えられる．

0$ まとめと今後の課題
本論文では，自然特徴点ランドマークデータベースと姿勢センサによる角速度
情報，動画像を入力とし，データベースと入力画像中の自然特徴点を対応付ける
ことにより，カメラの位置及び姿勢を推定する手法を提案した．カメラ位置及び姿勢推定に用いた自然特徴点ランドマークデータベースは，全方位動画像を用いて環境中の多数の自然特徴点をランドマークとして半自動的にデータベース内に登録することで構築した．また，入力画像とランドマークの対応付けのために，撮影時のカメラの位置及び姿勢を考慮した多重スケール画像テンプレートを用いた．提案手法では，推定に用いるランドマークの効果的な選択やデータベース中の画像テンプレートに対するモーションブラーの再現により，物理的なインフラを用いることなく，高速な回転を伴うカメラの絶対的な位置及び姿勢をロバストに推定することができる．
実験では，並進移動するカメラに高速な回転を与えて取得した動画像からカメラの位置及び姿勢を推定し，真値と比較することによって，カメラの位置及び姿勢の推定精度を検証した．評価実験の結果，精度は従来手法と同程度であったが，高速な回転に対するロバスト性が向上したことを確認した．
今後の課題として，処理速度の向上による逐次推定のリアルタイム化が挙げられる．この課題を解決することができれば，広範囲な環境において高速な回転を伴う拡張現実感やロボットナビゲーションなどに利用できると考えられる．

0謝辞
本研究を進めるにあたり，終始暖かく御指導を頂いた視覚情報メディア講座横矢直和教授に厚く御礼申し上げます．本学での研究におけるあらゆる面で，多大な御助言，御協力を賜りましたことを深く感謝いたします．
副指導教官として御助言を頂いた像情報処理学講座千原國宏教授，ならびに視覚情報メディア講座山澤一誠助教授に深く感謝致します．
公私にわたり大変御世話になった視覚情報メディア講座神原誠之助手に心より感謝申し上げます．
本研究の遂行にあたり，様々な相談に応じて頂き，終始有意義な御助言と御鞭撻を頂いた視覚情報メディア講座佐藤智和助手に深く感謝いたします．
本研究にあたってご指導を頂きました池田聖特任助手に厚く御礼申し上げます．
研究方法の初歩から，論文の執筆に至るまでご指導いただきましたことを感謝いたします．
さらに，日々の研究活動を支えて下さった，視覚情報メディア講座守屋知代女
史に感謝いたします．
山中一樹君を始め視覚情報メディア講座の学生諸兄，並びに佐賀野正行君を始め像情報処理学講座の学生諸兄には常に刺激的な議論を頂き，精神的にも支えられました．本当に有り難うございました．学生生活で苦楽をともにした同窓生の皆さんの精神的な支えが無ければ，この論文を完成させる事は出来ませんでした．
感謝の念にたえません．
最後になりましたが，終始御援助を賜り，温かく見守ってくださった両親に厚く感謝の意を表します．

0付録% カメラと姿勢センサの同期とキャリブレーション
本項では，カメラによりデータと姿勢センサから得られるデータの同期手法，
また，両センサのキャリブレーション手法について述べる．本研究では高速な回転に対するロバスト性を高めるための最初の処理として，姿勢センサにより暫定的なカメラ姿勢 ?  の算出を行う．しかし，ビデオカメラによる画像の取得レー

トと姿勢センサによる角速度情報の取得レートが異なるため，まず両センサを同期させる．次に，姿勢センサから得られるセンサ情報は姿勢センサの座標系に対する角度の変化量であるので，両センサの座標系における軸の向きを一致させるため，カメラ座標系から姿勢センサの座標系への回転行列

 を求める．以下に，


同期手法とキャリブレーション手法の詳細について述べる．

 同期手法
本手法では，姿勢センサから得た角速度情報  と画像マーカを回転のみを伴うカメラで撮影した動画像から算出された角速度情報   を用い，以下の手順により両センサの角速度をフィッティングしてデータを対応付け，同期させる．各手順におけるセンサ情報の変位を図 0 として示す．

 画像マーカ撮影時における姿勢センサの開始データ，終了データの決定
姿勢センサから得られた角速度情報において，カメラが画像マーカを撮影し始める際のデータと撮影を終了する際のデータを暫定的に決定する．以降，各データを開始データ，終了データとする．

 １フレームあたりの角速度情報の算出
開始データと終了データ，カメラが画像マーカを撮影したフレーム数から，カメラと姿勢センサの計測レートの比率を算出する．得られた計測レートのG を算出する．
比率と角速度情報  から，１フレームあたりの角速度情報 00 両センサにおける角速度の差分の算出
画像マーカを撮影した全フレームにおいて，両センサの角速度の差分  >  G   を算出する．ただし， はフレーム， は画像マーカを












撮影したフレーム数を示す．
以上の処理を，開始データ，終了データを変化しつつ繰り返し， が最小となる
開始データ，終了データから画像フレームと姿勢センサのデータを同期させる．



カメラと姿勢センサのキャリブレーション手法

姿勢センサとカメラのキャリブレーション手法について説明する．本手法では，両センサの回転軸を一致させるため，以下の２項目の投影誤差  が最小となる
カメラ座標系から姿勢センサの座標系への変換行列

 を算出する．
・ 基準点  のカメラ座標系における位置と  フレームにおける暫定的なカメラの位置 ? 

置 ? 

及び姿勢 ?  ，回転行列・ 基準点  の画像上での検出位置

 から算出した，基準点 の投影位




 

 @ ?    として定義し，    が最小となる  を算出する．ただし，-， は入力画像の座標，3 は
これらの投影誤差を   > ?   



基準点の数を表す．

. に示すようなキャリブレーション時における投影誤差のヒストグ
ラムから，入力画像とランドマークの対応付け処理  ( (0 において用いた，姿勢
なお，図

センサの精度から設定される探索範囲の大きさ Æ  を算出する．具体的には，設定した割合を超える度数の階級を Æ  に設定する．

0

1

） 0.8
秒 0.6

姿勢センサから得られた角速度

)

0
5
/
1
(
/
d
a
r

ωg

0.4

（ 0.20度 1
速-0.2
角201 401 601 801 1001 1201 1401 1601 1801 2001 2201 2401 2601

フレーム

-0.4

開始データ
-0.6

終了データ
開始・終了データから １ フレームあたりの角速度へ変換後，各フレームにおける姿勢センサとカメラによる角速度の差を算出

2

）ム
ーレ
フ

（
度
速
角

）ム
ーレ
フ

1.5

1

フレーム

0.5

・・・

2

1.5

1

フレーム

0.5

/
d
a
r

）ム
ーレ
フ

2

1.5

/
d 0
a
r

・・・

1

（
度
速
角

-1.5

（
度
速
角

-1.5

-1.5

-2

-2

-2

0

-0.5

-0.5

-1

フレーム

/ 0.5
d
a
r

0

-0.5

-1

-1

全てのマーカ撮影フレームにおける角速度の差が最小となる
開始データ・終了データを取得
2

ω g から算出した １ フレーム間の角速度ω g
画像から算出した角速度 ω

1.5

'

c

1

）ム
ーレ 0.5
フ
/
d
a
r

0

649 685（ 1 37 73 109 145 181 217 253 289 325 361 397 433 469 505 541 577 613 フレーム度 -0.5
速
角
-1

-1.5

図

0 角速度情報，  のデータフィッティング0.

姿勢センサ

画像マーカ

x
y

カメラ

入力画像面

: 基準点
: 基準点の検出位置 c~ = (c~ , c~ ): 基準点の投影位置 d = (d , d ): 基準点の投影誤差 N
図

x

y

x

y

 キャリブレーションデータの取得

400
350
300
250

数200
度
150

姿勢センサの誤差から決定する δ
対応点探索ウィンドウの大きさ

100
50
0

1

3

5

7

9

11 13 15 17 19 21 23 25 27 29

図. マーカの投影誤差のヒストグラム

投影誤差（pixel）

0'

& カメラの投影モデル
ピンホールカメラモデルとして仮定した，本手法で用いたカメラの投影モデルについて述べる．点  における世界座標         と画像座標      間の関係を示すため，世界座標系とカメラ座標系，スクリーン座標系間における座標の変換を以下のように定義する．ただし，今回はレンズ歪みによる投影位置の変化は考えないものとする．
環境中における座標系と点を以下のように定義する．図となる世界座標系            における点に示すように基準

 の座標を 







と
 
と







表し，カメラ座標系            における点  の座標を     表す．ただし，  はレンズ中心（ピンホール）を表し，  軸はレンズの光軸に一致するように設定する．
各座標系における点の座標を以下のように定義する．     平面に平行で




座標が

の位置に画像中心が   ，座標軸が      の画像平面を考える．

理想的なピンホールカメラの場合には，点  の座標         は画像平面状で

  ，   と表される．




 











回転行列





 から  













 への変換と平行移動ベクトル














 >  




 
>
















ただし，

 透視変換による を用いて表す．



!

!

!

!

!

!

!

!

!





 @  ， > 









 から   ，   への変換


0/







 

 

P xW yW zW(,,

P xC yC zC
(

,

,

)

S

Y

)

S

(x , y )

S

X

W

Z

ZC

図
焦点距離

YC

XC

OC
カメラ座標系

OS

YW
OW
世界座標系

XW

S

スクリーン座標系

世界座標系とスクリーン座標系の関係を用いて表す．




>






0



，



>







 

参考文献

6 7 ( ;! 1( "! ( ,H$!!  ( I#!J K $! "J
9!$$  3 $#  !  &$! - $!  !#%!$L 9!$"(  444 (  ( $ I!# 2$ ! ( 0:/(
6 7 9( 3  <( =!J K!"$J  !""! $&  $# $$$!  ! L 9!$"(  444 (  ( $ -   ( . : .0  (6 7 松本 稲葉 井上J Kビューベーストアプローチに基づく移動ロボットナビゲー
ションL 日本ロボット学会誌 M$(  $( ( .: 0  (607 石岡 矢晃 油田J K屋内外に渡って人間を誘導するキャンパスガイドロボットの開発L 日本機会学会ロボティクス・メカトロニクス講演会 ( / : (
67 ( I! ( <$  ( ,$ !J K ) $"$ "+ &$!  "%
$Æ"L 444 9!$ 2$"$ M$(0 $( ( 0 :0 (
6.7 ( ,!! ( ,$ ! 9(  ( I!  9( I#!J K $$&  "$-)!  "$L 9!$"(  444 ( 2$&( $ $# 2$  )$!' (  :./(
6 7 ! "(J(K L   



6/7 9( 1  M( ( 9#J K!J  # !&# !
$"$  !"' (L 9!$"(  444 2$&( $ 2$"$
$" ( : /0 (6 7 8( I" 8( 1$  5( M"" ( 1!#"' =( =!  3( 2$""J
K, !&$!" )! $ " !"'  # !"' L

9!"J $ !$!  M! 4%!$ M$(  $(  ( :  (6 7 3( ,) ( ,$!!  ( ;!J K2$! - % &!! !"' &$! )!# "$ L 9!$"(  444 (  ( $ I!# 2$! ( . : /  (6 7 加藤 ( 1! 浅野 橘J Kマーカー追跡に基づく拡張現実感システムとそのキャリブレーションL 日本バーチャルリアリティ学会論文誌 M$(0$(0 ( . :. .
(6 7 羽原 町田 清川 竹村J Kウェアラブル 92 のための画像マーカを用いた屋内
位置検出手法とその評価L 第 回日本 M 学会大会論文集 M$(   $( .
( .:   (6 7 5( !'  4( ;$-J K2!"!  !- *"   !$# !$" &$!  )!# %$! &!"'!L 9!$"(  444
(  ( $ -    ( : .  (6 07 中里 神原 横矢J Kウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定L 日本バーチャルリアリティ学会論文誌 M$( $(  ( : 0 (6 7 N( 2$  F( J K! "$$! *"  &$! "# *" !"'  !L 9!$"( 444 (  ( $ M! 
( :  /(6 .7 <( '$$J K!-J  ! $#O" *"$  !!$
$ &$!  !L 9!$"( ! $  9"*" 2$ ! ,!"$ ( . :./ /(6 7 5( 2 =(  1( ,$P  ( M"J K  % $! &$! !!$   !L 9!$&( $& 444 ( I$!'$ $ 
 ( : (6 /7 ( N$  F( J K;$ $& %$  !$ !"' &$! !$# ! !!$L 9!$"( 444 2$&!" $ M! 
( : /  (6 7 山本 亀田 大田J K複数の定点カメラを利用した屋外における複合現実型情報提示L 第  回計測自動制御学会システムインテグレーション部門講演会
0(
6 7 小竹 佐藤 内山 山本J K傾斜角拘束を利用したハイブリッド位置合わせ手
法L 画像の認識・理解シンポジウム ( 0 : 0/ .(6 7 佐藤 内山 山本J KF8@1 法：主観及び客観視点カメラと姿勢センサを用いた位置合わせ手法L 日本バーチャルリアリティ学会論文誌 M$(  $( ( :0 (6 7 ( 9!$  4( !"J K  $# !"'J 2$#   -! &$!$L 9!$"( 444 ( 2$&( $ $#$" $$ ( .:  .(6 7 5( M"" M( 5   9( ;J K2$#   -! &$!
$ &$! ! ""!  "! !"'L 9!$"( ! 444 (  ($ -    ( 0/:. 0(
6 07 4( $  ( 3!$J K; $   &$!  !&$!
" ! !"'L 9!$"(  444 ( 2$&( $ 2$ ! M$
( /:   (6 7 ( =!  ( ( ,$J K$# $ &$!  $  % L 2$ ! M$ 8! "   9!$"( F! M$(  $(  ( : 0  0(6 .7 ,( O* N( 8"  ( %#J K;$ $&    !" $ &$!
& $#O" "$  $ $L   2$&( $ 2$ !
M$ ( 0 :0 . .(

6 7 M( 5  5( M"" 3(   9( ;J K; $ # !!$ &$!  !  "$L 9!$"(  444 ( ( $ -    ( :    (6 /7 ( 8$!$  3( 8( 5$)J K" $ !"$$  !"' )
%!  &!L 9!$"( ! 444 (  ( $ -    ( :  0(
6 7 大江 佐藤 横矢J K幾何学的位置合わせのための自然特徴点ランドマークデー
タベースを用いたカメラ位置・姿勢推定L 日本バーチャルリアリティ学会論文誌 M$(  $(  ( /: 0 (6 7 1( < F(   ( N$J K !$# #! !"'  &$!
$$$!  !L 9!$"( 444 2$&( $ M!  ( : 
0(
6 7 8( !  ( I(3!$J K8$ $J $# $# !"' &$! $$$!  !L 9!$"(  444 (  ( $ -   (  : / .(6 7 8( ( I( =  ( I( 3!$J K ! $! &$ &$!
!$# % !"'L   M$ 2$  M$(  ( . : .
0(
6 7 神原 横矢J K=89 と慣性航法装置を併用したハイブリッドセンサによる屋外型拡張現実感システムL 画像の認識・理解シンポジウム (
: /
(
6 07 ( 8H%  ( ;!J K$! 3  ! &$! )!# 
 %! !L 9!$"(  444 (  ( $ I!# 2$ !
( /: .  (6 7 2(  2( 3O  ,( !J K9!$ $$ !   !"'$L 9!$"(  444 (  ( $ I!# 2$ !


( ..:   (6 .7 <( = ,( < 3( ,)  2( 9!'J K   !   !
$ &$!  ! %$ L <$! $& 8$# 9$$  $(   ( :  0(
6 7 ( $ ( '  ( N$'$J K4-!" "! !! !"$%!
&!$    +" " ! #  $!"$ "!
L 9!$"( 4!$  2$&( $ 2$ ! M$ M$(  ( .: 00(
6 /7 ( 2 $ 3( $#!$  4( 1$!J K9$$#!  3 $ $& !""! " &!$ "#! L 9!$"( 444 ( 2$&( $ 
 2$    %$(  ( : (
6 7 出口J K射影幾何学による 99 カメラ補正問題の統一的解法L 情処シンポジ(ウム M$(  ( 0 :
607 ( ( ;"!  ( 2( 1$J K$   "$J  !
&$! $ * )  "$ $    $ "!$! L 2$"$ $&  2 M$( 0 ( / :  / (0