    

修士論文

動画像と



による位置情報を用いたカメラ外部パラメータの推定横地 裕次 !" 年  月 # 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 $ 工学 % 授与の要件として提出した修士論文である。
横地 裕次

審査委員：
横矢 直和 教授
小笠原 司 教授
山澤 一誠 助教授

動画像と



による位置情報を用いたカメラ外部パラメータの推定 &
横地 裕次

内容梗概
実環境を撮影した動画像からのカメラ外部パラメータの推定は，物体の三次元
形状復元，新視点画像生成，複合現実感など，様々な分野における基礎技術として利用されている．しかし，動画像のみからカメラ外部パラメータを推定する手法
では，カメラ外部パラメータの推定結果に蓄積誤差が生じるため，カメラを広範囲に移動する場合に推定精度が著しく低下するという問題があった．また，推定されるカメラ外部パラメータには，スケールの不定性が残されていた．この問題を解決する手法として，マーカや他のセンサ等を併用する手法が提案されているが，実環境中に多数のマーカを配置することや，センサ間の正確なキャリブレー
ションが必要になるという問題がある．本論文では，屋外環境下で取得した動画
像と ')(

 による位置情報からカメラの外部パラメータを推定する手法を提案する．提案手法では，まず動画像中の特徴点を自動的に追跡することで，その三次元位置とカメラ外部パラメータを逐次的に推定する．加えて， ')( による測位

データを用いてカメラ位置の推定誤差を逐次最小化することにより，累積的な推定誤差を低減し，安定した特徴点追跡を図る．次に，特徴点の投影誤差およびカ
メラ外部パラメータから推定される ')( 受信機の位置の推定誤差の重み付き和を動画像全体で最小化することで，カメラ外部パラメータの推定精度を向上させる．本手法では，環境中の三次元情報や '*(リブレーションが不要であり，')( 受信機とカメラの間の正確なキャ の測位座標系におけるカメラ外部パラメータ+ 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文 ,.-0/2143576814396: 5<;>=@?#A9ACBDE,FD>;9;@? 年 = 月 A; 日 G
H

を推定できる特長がある．実験では，屋外実環境下で取得した動画像と ')( による測位データを用いた特徴点の追跡精度評価およびシミュレーションによるカ
メラ外部パラメータの推定精度評価を行い，提案手法の有効性を確認する．

キーワード
動画像，カメラ外部パラメータ， ')( ，特徴点追跡HIH

JLKNMPORQESUT0Q#V WXZY [*O\X  XZORXZY [MP[]O^J_T2M`QEY XaMPQEbcSd TPQ#Se XZS f2Y Xgeh[  []ikjl[]SUVm[ XZSUnq VrikjUQEO`[*n sut 

 bhTPQMPQEbcS opXaM`X&

vhwyxEz{v}|U~U|uku@#!
0  H8H8}E c     c      H8  L      H8c!¡!¢ £¤}¥#¦ ¨§y
© HIª¬«l¤ ¨ ! k¤­§ a {H¬®¯   ]° ªI) ¤>¥¢   ¥   ±H8h H  Fª $ ³² %      ¤  H  .´ © ¦HI ©  «  ¥HIr ¡  c   HI  ¡!HI     H    ¦H  ¤ ª  §±µ³  mHI  E ª¯¦"H8 ±¶R·r © @¦   ´    c  ¥    !   H8c  H8¡­  H8H8]E c  g  !h       ¸ ¹HI ¡{ £¤{H8Zª¬H      ¤  º¥¦{  h{   §±ª8h»  ¥  H8´ ª !0 yc ¼   © H  ¥ ¼   ©  ³²   H  H  2  RaHI   <r §   HI  ¥R ¤±½@HI   E¤  !@«)!
    ¹H8  ¥¹ E ªIZ¾!  @¶¹ ¥±HI)!y     HI§¯)k  ¦ @ªc  ¥  U !   H8c  H8¡  H8HIE!h  g¿   c     ¤HI¡¹!cH8c!¡!£"¤] À  H  H  À  ­ £¤±H  §« ')(  $4' ª  § ª (  H  H  ±H8¡  «   % ¶m ¥±H8h  ¥  HI§!     ! ¼ H8¡c¤§y  2H8 ¡]ÁE  ¤  r!    H8¹H8Â@HI¡h   H8HI)E c  ¹  !h    ¤H8¡h  H  H    l    ')( y¶` ¥Ã  H  H  Ä  ¨  N!  ¤ ª¬ªI«Å¤      @¦" Z ¥N ªI¡  H  ¥   pHI !    ª¬«   ! ¼ H8¡ÃH8c!¡!ÀÁE  ¤   ¶¨   ¦  ´  ¥u  H  H  Ä  l  NFª8 ¤N º   HIhHIÂ@H8¡c   HIH8aE c  h  !h      ¦  º ¥ © ¥  ªI)H8c!¡!a £¤ ¶Æ «  ¥­     lc  ¥  .´.  H8H8ZE c  u  !h    )  Z  H8c   ¤    @ªI«© H  ¥Ãª¬H  ªIZ!¤­¤±ª8  Ã  HI  H    ! m@¦N   Çcª  ¡hH8c!¡!g £¤ ¶º ¥EFª8  r  H8c  È  H8H8uE c  l  !h    ZHI¹!¤    HIE ª¬ªI«}    ¹H8È§«
0+ :aÉ>ÊÌË¾Í ÎCÏ Ê 5<Ð ÍÊ¾ÑÒÊ ,PÓ ÍÔFÉ>ÎÌËÌÕ{Í ÖEË]×>Ø 1 Ö#ØÙ×@ÎÌÕºÉ>ËÌÑÚ×@Ö 3@Û Ê¾ËÌÍÕºÊ ,{Ü ÎÌÉ9ÝÞÉ>ËÌÍ 3ßÐ ×@×9àR×áØ 1 Ö#ØÙ×@ÎÌÕºÉ>ËÌÑÚ×@Ö
3Eß ÑâÍÖ ß Í ,#- É>ÎÌÉ 1 ÖÊÌË¾ÑâË4Þ#ËÌÍ`×áØ 3Eß ÑâÍÖ ß Í`É9ÖFÝ 5 Í ß Ð Ö#×9àâ×>ã Û9,E-0/2143576814396 : 5<;9=@?EA9ACBD#, :)É9Î ß³ÐaA;, D>;9;@?EGH¬HIH   H  H  U  À!£¤±H  U§« ')( y¶. ¥g¦ ª¬H8±H  «    ¥Z     lc  ¥  HI]         ¥  ¤¡!¥  ¯  H8h    P  H8c  H8¡c   HIH8gE c     c    r ! § ! ¥ EFª  ¤   !  g ÃH8­¤±ªä  H  k   ¶åæ ç.è¹é¿Fê!ë
H8c!¡* £¤!´  H8HI)E c  h   c    ´ '*(  ´ÁE  ¤    ! ¼ H8¡

HI¦

目次

ìyí はじめに
î7í

ï í

õ2í

û7í

ü.í

ì
ï

カメラ外部パラメータ推定に関する従来研究と本研究の方針

"¶I
"¶ñ
"¶â
"¶Ú

ðgðaðaðaðgðaðgð)ðgðaðgðað
位置・姿勢センサによるカメラ外部パラメータの計測 ðaðgðaðaðaðgð
カメラとセンサの組合わせによるカメラ外部パラメータの推定 ðgð
本研究の位置付けと方針 ðaðaðaðgðaðgð)ðaðgðaðgðgð)ðaðgðaðgð)ðgðaðgðað
動画像からのカメラ外部パラメータの推定動画像からの特徴点追跡によるカメラ外部パラメータの推定

¶I
¶ñ
¶â
¶Ú
¶ñ

ðaðgð)ðgðaðgðaðaðaðgðaðgð)ðgð
カメラ外部パラメータと誤差関数の定義 ðgðað)ðgðgðaðgð)ðaðgðaðgð)ð
動画像からのカメラ外部パラメータの逐次推定 ðaðgðaðaðaðgðaðgð)ðgð
動画像全体での最適化 ðgð)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðaðgð)ðaðgðgðað)ð
問題点の考察とその改善策 ðaðaðaðgðaðgðaðaðaðgðaðgð)ðgðaðgðað)ðgðaðgð
カメラ外部パラメータ推定手法の概要





ò

ó

ô

E
E


ìù
±¶I カメラ外部パラメータ推定手法の概要 ðaðgð)ðgðaðgðaðaðaðgðaðgð)ðgð ú± ¶ñ 誤差の定義と ')(  の位置情報を用いた最適化 ðaðaðgðaðgð)ðgðaðgðað  ô± ¶â 動画像と ')(  測位データを用いたカメラ外部パラメータの逐次推定 F± ¶Ú 動画像全体での ')(  測位データを用いた最適化 ð)ðgðaðgðað)ðgðaðgð 
動画像と ök÷¹ø 測位データからのカメラ外部パラメータの推定

カメラ外部パラメータの推定実験

"¶I
"¶ñ
"¶â
"¶Ú
"¶ñ

動画像と ')(

 測位データの重みの決定 ðaðaðgðaðgð)ðgðaðgðað)ðgðaðgð

シミュレーションによるカメラ外部パラメータの推定精度評価 ðgððaðgðaðaðaðgðað
一括での全体最適化と分割した全体最適化の比較 ðgðgð)ðaðgðaðgðað考察 ð)ðgðaðgðaðaðaðgðaðgð)ðaðgðaðgðaðaðaðgðaðgð)ðgðaðgðaðaðaðgðaðgð)ðað
実環境データを用いたカメラ外部パラメータの推定

îü
ò

ò

ò
õ7ý

まとめ

¦

謝辞

õ ó

参考文献

ûþ

¦H

図目次








ò
ú

ô

ÿ
E
!

E


ò
ú
ÿ
ô
F
"
!
F

!
ò
!ú
ÿ

')(  の種類と計測精度 ðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðgðaðgðað)ðgðaðgð
特徴点追跡によるカメラ外部パラメータ推定の処理の流れ ðaðgð)ð
カメラ外部パラメータと投影誤差の関係 ðgð)ðgðaðgðaðaðaðgðaðgðað)ð
拡張手法で用いるデータの範囲 ðaðaðaðgðaðgð)ðgðaðgðaðaðaðgðaðgð)ðað
提案手法の処理手順 ðaðaðgðaðgð)ðgðaðgðað)ðgðgðaðgðað)ðgðaðgðaðaðaðgð
座標系と誤差の定義 ðaðaðgðaðgð)ðgðaðgðað)ðgðgðaðgðað)ðgðaðgðaðaðaðgð
予備実験の環境 ð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðaðgðaðgð)ð
重み変動の効果 ð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðaðgðaðgð)ð
誤差関数の変化 ð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðaðgðaðgð)ð
最適化の範囲 ðgð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðaðgðaðgð)ð
分割の範囲 ð)ðgðaðgðaðgð)ðgðaðgðað)ðgðaðgðaðaðaðgðaðgðaðaðaðgðaðgð)ðgð
 ðgðaðgð)ðgðaðgðað)ðgðaðgð
ωの決定に用いるシミュレーション環境 ðgðaðgð)ðgðaðgðað)ðgðaðgð
ωの決定に用いるシミュレーション環境ωに対するカメラ位置の推定誤差の変化 $ 環境 %ðaðgðaðgð)ðgðaðgðað
ωに対するカメラ位置の推定誤差の変化 $ 環境 %ðaðgðaðgð)ðgðaðgðað
シミュレーション環境 ðgð)ðgðaðgðaðgð)ðgðaðgðað)ðgðgðaðgð)ðaðgðaðgð)ð
カメラ位置の推定誤差 $ 提案手法 % ðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðað
カメラ光軸方向の推定誤差 $ 提案手法 % ðaðgð)ðgðaðgðaðaðaðgðaðgðað)ð
カメラ位置の推定誤差 $ 基準マーカを用いる手法との比較 % ðaðgðað
カメラ光軸方向の推定誤差 $ 基準マーカを用いる手法との比較 %Ãðgð
ビデオカメラと ')( 受信機の位置関係 ðaðaðgðaðgð)ðaðgðgðaðgð)ðaðgð
逐次処理で得られたカメラ外部パラメータ ðgðaðgð)ðgðaðgðaðaðaðgðað
カメラ外部パラメータの推定結果 ðaðgð)ðgðaðgðaðaðaðgðaðgðaðaðaðgðað
推定されたカメラ外部パラメータを用いたマッチムーブの結果 ðgð
パラメータ推定の誤差によって仮想物体が静止しないシーン ðaðgð
')(  の位置情報に含まれる標準偏差 ð)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðað
複数シーケンスへの分割 ðaðgð)ðaðgðgðað)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðað

シーケンス におけるカメラ位置の推定誤差 ðgðaðgð)ðgðaðgðaðgð)ðgð
¦H¬H

ÿ
#



ÿ
F
 


F
!
!ú
ÿ


"

!
"

ú
"ú

ÿ

± 




ô
!
 




!
! 

シーケンス におけるカメラ位置の推定誤差 ðgðaðgð)ðgðaðgðaðgð)ðgð
" 
分割最適化における各シーケンスの分割範囲 ðgðgðað)ðgðaðgðaðaðaðgð
ò
動画像全体の一括最適化と分割最適化の比較 ðgðgðað)ðgðaðgðaðaðaðgð
シーケンス におけるカメラ位置の推定誤差 ðgðaðgð)ðgðaðgðaðgð)ðgð

表目次









ÿ

ú

ú
 
 
"

ð ð)ðgðaðgðað)ðgðaðgðaðaðaðgðaðgðað
g
観測データに付加する誤差 ðgð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðað
カメラ外部パラメータの初期値に付加する誤差 ðgðað)ðgðaðgðaðaðaðgð
ô
観測データに付加する誤差 ðgð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðað
ô
カメラ外部パラメータの初期値に付加する誤差 ðgðað)ðgðaðgðaðaðaðgð
"
観測データに付加する誤差 ðgð)ðaðgðaðgð)ðgðaðgðaðaðaðgðaðgð)ðgðaðgðað

カメラ外部パラメータの初期値に付加する誤差 ðgðað)ðgðaðgðaðaðaðgð
カメラ内部・外部パラメータ一覧

ò

従来のカメラ外部パラメータ推定手法の特徴 ðaðgð)ðgðaðgðað)ðgðgðað

¦"HIH¬H

はじめに
現実環境を撮影した動画像からのカメラ外部パラメータの推定は，複合現実

感，三次元形状復元，新視点画像生成など様々な分野における基礎技術として利用されている．これらの応用分野では，近年，広範囲な環境への手法の適用が試みられ  ，広範囲に移動するカメラの外部パラメータを精度良く推定することが求められている．しかし，動画像のみからカメラ外部パラメータを推定する
手法  ´   では，カメラ外部パラメータの推定結果に蓄積誤差が発生するため，広範囲に移動する場合に著しく推定精度が低下する問題がある．また，推定される
カメラ外部パラメータは，フレーム間での相対的な位置・姿勢関係を表すものであり，スケールについては不定である．そのため，複数回に分けて撮影した動画
像の外部パラメータの統合や，閉曲線上の経路で撮影した動画像の外部パラメー
タ推定のように，同一シーンが連続しないシーケンス上に現れる場合，推定されるパラメータ間の不整合が問題となる．
これらの問題は，従来から，動画像と現実環境に関する事前知識の使用ò  ô 

や，動画像を用いずに複数のセンサから得られる値を直接カメラ外部パラメータ

 #  により解決されてきた．環境の事前知識を用いる手法では，三次´ ú  や，三次元 ² モデル  ÿ ´ ô  が用いられて
元位置関係が既知の基準マーカ  ò´ ú  の手法では，三次元位置を事前に計測した基準マーカと三次元いる．文献  òとすること

位置が未知の特徴点を画像上で追跡し，その投影誤差を最小化することでカメラ
外部パラメータを推定する．文献 ÿ ´ ô  の手法は，現実環境の三次元 ]² モデルの特徴点情報と画像上の特徴点を対応付けることで，カメラ外部パラメータを推定する．これらの手法では，基準マーカや三次元

]² モデルの現実環境での三次元位置情報を用いることで，蓄積誤差の問題を解決している．しかし，基準
マーカや三次元

]² モデルに含まれる三次元位置情報を屋外で広範囲に取得することは困難であり，また，基準とする三次元情報の獲得のためには，人手による作業が必要であるという問題がある．

` ')(  ，磁力計， 軸角度センサーから得られる値を直接，動画像のカメラ
E  では，0 ')(  を用いることによって，誤差の
外部パラメータとする手法 
蓄積しない数  精度の位置情報を ')( の測位座標系で得ることができる．しかし，センサのみからカメラ外部パラメータを推定する手法では，カメラとセンサの位置・姿勢の関係を正確に計測しておく必要がある．また，一般的な ')( では， 秒おきにしか位置情報を取得できないため，動画像のすべてのフレームに対する正確な位置を算出することが難しいという問題がある．
本論文では，屋外環境下を広範囲に移動するカメラの外部パラメータを精度良く推定することを目的とし，動画像とP ')(  による位置情報からカメラ外部パラメータを推定する手法を提案する．提案手法では，動画像中の特徴点の追跡

 による位置情報を用いた最適化に基づき，カメラ外部パラメータを推定úする．特徴点追跡では，文献  の手法と同様に，特徴点の仮対応づけから推定と '*(される暫定的なカメラパラメータを用いて特徴点の画像上での探索範囲を限定し，誤追跡を防ぐ．パラメータの最適化では，動画像から推定されるカメラ外部パラ

メータに基づく特徴点の投影誤差及びカメラ外部パラメータから推定される ')(受信機の位置の推定誤差を同時に最小化することで誤差の蓄積を防ぐ．本手法で 受信機とカメラの間の正確なキャリブ

は，現実環境に関する事前知識や， ')( の測位座標系におけるカメラ外部パラメータを推定できる特長がある．ただし，本手法では，カメラと ')( 受信機の位置・姿勢

レーションを必要とせず，')(の関係は固定されているものとし，カメラの内部パラメータは既知とする．また，動画像と '*(

 の位置情報の同期はとれているものとする．

以下， 章では，カメラ外部パラメータ推定に関する関連研究および本研究の

位置づけと方針について述べる． 章では，提案手法の基となる動画像からの特徴点追跡に基づくカメラ外部パラメータ推定手法

 ú の処理手順を説明し，'*( の位置情報によりパラメータの推定精度の向上が図れる部分を明らかにする．

 による位置情報を用いた最適化に基づ
きカメラ外部パラメータを推定する手法について述べる． 章では，提案手法を
章では，動画像からの特徴点追跡と ')(用いたカメラ外部パラメータ推定の精度をシミュレーションによって定量的に評価する．また，実環境データを用いた実験によって，実際に広大な屋外環境においても正しくカメラ外部パラメータを推定できることを示す．最後に ò 章で，本論文をまとめる．



カメラ外部パラメータ推定に関する従来研究と本研
究の方針
広範囲な屋外環境下を移動するカメラの外部パラメータ推定で問題となるのは，推定される外部パラメータへの誤差の蓄積および事前知識を用いる際の人的コストの増大である．また，複数回に分けて撮影した動画像を扱う場合には，蓄積誤差の影響による動画像系列間でのパラメータの不整合が問題となる．さらに，移動範囲の拡大に伴って増大する事前作業は，人的コストの面で問題となる．したがって，広範囲な屋外環境下を移動するカメラの外部パラメータ推定では，人手による計測が必要なく，加えて，推定されるカメラ外部パラメータに蓄積誤差が発生しないことが重要である．
本章では，まず，従来提案されている屋外でのカメラ外部パラメータ推定手法
を，動画像から推定する手法，センサのみから計測する手法，動画像とセンサの組み合わせによって推定する手法，の 種類に大別し，それぞれの手法の特徴と問題点について述べる．次に，本研究の位置づけと方針について述べる．



動画像からのカメラ外部パラメータの推定動画像からカメラ外部パラメータを推定する手法は，動画像のみから推定する

  ´  ´ !¿E ，動画像と三次元位置が既知の基準マーカや  次元 ]² モデル
 ´ F に大別できる．
などの事前知識を用いる手法  ò ô
手法

動画像のみを用いたカメラ外部パラメータ推定手法の代表的なものに，線形カ
メラモデルを仮定し，線形解法によって撮影対象の形状とカメラの運動パラメー
タを同時に推定する因子分解法

  ´  がある．この手法は対象形状・カメラ運動

が自由であること，線形解法により高速かつ安定に解を得ることが可能であることなど の理由により，広く用いられており，様々な拡張が試みられている   ．

また他にも，動画像のみからカメラ外部パラメータを推定する手法が数多く提案されている  ´ E ´  ．しかし ，動画像のみを用いる手法は，初期フレームに対する相対的なカメラの位置・姿勢の関係を推定するものであり，また，推定され

る外部パラメータのスケールについては不定である．このため，カメラ外部パラ
メータの推定結果に生じる蓄積誤差の影響で，カメラを広範囲に移動する場合に推定精度が著しく低下する問題がある．また，推定されるカメラ外部パラメータにスケールの不定性が残るため，複数回に分けて撮影した動画像のカメラ外部パ
ラメータの統合や閉曲線上の経路で撮影した動画像の外部パラメータ推定のように同一シーンが連続しないシーケンス上に現れる場合，推定されるパラメータ間の不整合が問題となる．
これらの問題は従来から，現実環境での三次元位置関係が既知の基準マーカ ò ´ ú ´  ò  や三次元 ² モデル  ÿ ´ ô ´ F  などの現実環境に関する事前知識を使用することで解決されてきた．基準マーカを用いる手法では，三次元位置を事前に計測した基準マーカと三次元位置が未知の特徴点を画像上で追跡し，それら投影誤差の和を最小化することでカメラ外部パラメータを推定する．三次元
デルを用いる手法は，現実環境の三次元

² モ

]² モデルの特徴点情報と画像上の特徴点を対応付けることで，カメラ外部パラメータを推定する．しかし，実環境の情報を用いる手法では，基準マーカや三次元

]² モデルの三次元位置情報を人手で計測・作成する必要があるため，人的コストの面で問題がある．



位置・姿勢センサによるカメラ外部パラメータの計測

動画像を用いずに位置・姿勢センサのみからカメラ外部パラメータを計測する
手法では，動画像を用いる手法と比較して必要となる事前知識が少なく，また，')(  などの位置センサを用いれば広範囲に移動しても誤差が蓄積しないという特 ナビゲーション    やロボットナビゲーション  Fú 長がある．このため，屋外などの分野で盛んに研究されている．屋外環境におけるカメラ外部パラメータの が，姿勢の取得にジャイロセンサや電計測では，一般的に，位置の取得に ')(子コンパスが用いられている．

` ')(  ，磁力系， 軸角度センサから得られる値を直接，動画像のカメラ外 ´ # ´  ÿ  では， ')(  を用いることにより，誤差の部パラメータとする手法  精度の位置情報を '*(  の測位座標系で得ることができる．しか蓄積しない数し，一般的な '*( では， 秒間隔でしか位置情報を取得できないため，動画像の

すべてのフレームに対する正確な位置情報を算出することが難しいという問題がある．これに対し，カメラ外部パラメータを ')(手法

 と慣性センサによって算出する

  ô " では，'*(  の位置情報が取得できないフレームにおけるカメラ外部パラメータを慣性航法によって算出する．慣性センサは，高いサンプリングレー
トで加速度を計測できる特長があり，動きの計測に広く用いられている  ．しかし，慣性センサは加速度から位置姿勢を算出するため，長時間使用するとド リ
フトと呼ばれる蓄積誤差が発生する問題がある．また，センサのみからカメラ外部パラメータを計測する手法では，カメラとセンサの位置姿勢の関係を正確に計測することが難しいために， などの利用では，m' と現実環境の表示に位置ずれが発生するという問題がある．

 

カメラとセンサの組合わせによるカメラ外部パラメータの推定

動画像とセンサの組み合わせによってカメラ外部パラメータを推定する手法には，動画像からのカメラ外部パラメータ推定のロバスト性の向上を目的とする手 F ´ F  とカメラ外部パラメータの推定結果への誤差の蓄積を防ぐことを目的
!±  ÿ  が存在する．
とする手法 法

動画像からのカメラ外部パラメータ推定手法では，動画像中のノイズの影響によりカメラ外部パラメータの推定精度が低下する問題がある．向井らはノイズに関する問題を解決するために，カメラとジャイロセンサ   を用いる手法を提案している．この手法は，ジャイロセンサから得られる角速度から，初期フレームに対する相対的なカメラの姿勢を算出し，各フレームにおける特徴点の画像上での出現位置を予測することで特徴点追跡の精度向上を図っている．しかし，ジャイロセンサからは絶対位置・姿勢は得られないため，推定されるカメラ外部パラ
メータには，スケールに関する不定性が残っている．藤井らは，ステレオカメラとジャイロセンサを用いることで三次元位置が既知のマーカをロバストに追跡する手法  を提案している．この手法では，マーカによってカメラ外部パラメー

タの絶対位置を算出するため，マーカの設置が必要となり，人的コストの面で問題が残っている．
一方，センサから得られる絶対位置情報を用いることによって，カメラ外部パ



· ¤

ラメータの推定結果に誤差が蓄積することを防止する手法が提案されている．

 及びジャイロセンサから計測され!  を提案している．
る位置・姿勢をカルマンフィルタの枠組みで統合する手法 
この手法は，まず ')( とジャイロセンサの計測値をカルマンフィルタにより統らは，動画像から推定される位置・姿勢と '*(合して得られる位置・姿勢の情報と道路地図データから道路の形状を算出する．
次に，動画像中の特徴点と算出された道路形状の対応づけによりカメラ外部パラ
メータを推定する．このとき，動画像からカメラ外部パラメータが推定されない
場合は，')(

 とジャイロセンサの計測値からカルマンフィルタによって求められる位置・姿勢をカメラの外部パラメータとする．この手法は，動画像からの外部パラメータ推定とセンサによる計測のハイブ リッド な手法であり， ')( 及び道路地図データから誤差の蓄積しない絶対的な位置を推定することができる利点がある．しかし，移動範囲の詳細な道路地図データを作成する必要があるため，人的コストの面で問題が残っている．興梠らは，撮影された位置・方位が既知のパノラマ画像データと推定するカメラ画像の位置合わせによって推定される絶対位
置・姿勢情報および，慣性センサから推定する相対的な位置・姿勢情報をカルマ
ンフィルタの枠組みを用いて統合することで，カメラ外部パラメータを推定する

  ò  を提案している．Æ ¥  H8¡!  らは，'*(  ，電子コンパスで大まかな位置・手法

姿勢を取得し，デジタル地形高度地図から生成した地平線の輪郭と現実環境との対応づけにより，カメラ外部パラメータを推定する手法 !ú  を提案している．これらの手法では，絶対位置・姿勢が推定されるため，誤差の蓄積は防止されるが，移動する範囲の実環境に関する事前知識を作成する必要があり，広範囲な屋外環境への適用は困難である．

#"

本研究の位置付けと方針既に述べたように，屋外環境下を広範囲に移動するカメラの外部パラメータ推
定では，推定されるカメラ外部パラメータへの誤差の蓄積と事前知識に関する人的コストの増大が問題となる．前節までに述べた つのカメラ外部パラメータ推

定手法の特徴を表 にまとめる．



表 に示す各手法の特徴により，屋外環境下を広範囲に移動するカメラの外部

ò

表



従来のカメラ外部パラメータ推定手法の特徴

カメラ外部パラメータ

人的コスト

推定精度

推定手法

外部パラメータの

処理の

推定レート

ロバスト性

動画像

×

○

○

×

センサ

○

×

×

○

動画像＋センサ

×

○

○

○

パラメータ推定には，動画像とセンサの組み合わせによる手法が適しているといえる．この組み合わせでは，動画像から推定されるカメラ外部パラメータの誤差の蓄積を，センサによって計測される絶対位置を用いて防止することができる．
しかし，従来提案されている手法では，現実環境に関する事前知識を作成する必要があるため，人的コストの面で問題が残っていた．
そこで，本論文では，現実環境に関する事前知識を用いることなく広範囲に移動するカメラの外部パラメータを精度良く推定することを目的とし，動画像からの特徴点追跡に基づく相対的な位置・姿勢推定と ')( による絶対位置計測を組み合わせたカメラ外部パラメータ推定手法を提案する．提案手法では，動画像からの特徴点追跡に基づくカメラ外部パラメータ推定手法

 ú を基とし，基準マー の位置情報を用いることにより手法を拡張する．これにより，ú
人手による作業量の軽減を図る．文献  の手法では，事前知識として現実環境
カの代わりに ')(での三次元位置関係が既知の基準マーカを用いるため，広範囲に移動する場合には基準マーカを広範囲に配置する必要があり，移動範囲の拡大に伴い人手による の位置情報は自動的に計測されるため，位
置情報の取得に人手による作業を必要としない．また，')( によって計測される

位置情報は，現実環境での絶対位置であり誤差が蓄積することはない．この ')(作業量が増大する．これに対し，')(の位置情報を基準マーカの代わりに用いることで，基準マーカ計測に伴う人的コストの問題を解決する．ここで，提案手法で新たに問題となるのは，設置されたカメラと ')(

 受信機の位置・姿勢の関係が必要となることである．カメラと '*( 

受信機の位置・姿勢の関係を人手で正確に計測することは困難である．そこで，
本研究では，設置されたカメラと ')( 受信機の位置・姿勢の関係を自動的に推ú図 ')(  の種類と計測精度定することで，この問題を解決する．

 の位置情報を基準マーカの代わりに用いるため，精度の高 ´ ! 
い位置情報が必要である．図 に ')( の測位手法の種類と計測誤差の関係  ôを示す．図 に示すように，移動を伴いながら最も精度良く位置情報を取得でき` ')(  % である．従って本研究でるのは，リアルタイムキネマティック方式 $P '*(  を用いることとする．また，提案手法ではカメラの内部パラメー
は，

タは既知とし，動画像と ')( による位置情報は同期されているものとする．
提案手法では，')(

ÿ

$%

動画像からの特徴点追跡によるカメラ外部パラメー
タの推定
本章では，提案手法の基礎となっている特徴点追跡によるカメラ外部パラメー ú の処理手順を概説し，')(  による位置情報を用いることにより，
ú
パラメータの推定精度の向上が図れる部分を明らかにする．ただし，文献  のタ推定手法

手法では，動画像中の一部に基準マーカが写り，適当なキーフレーム上でそれらの画像上での位置が手動で与えられていることを前提としている．また，カメラのレンズ歪みや焦点距離などを含む内部パラメータは既知と仮定されている．

&

カメラ外部パラメータ推定手法の概要

佐藤らによる文献
次処理として， $ ú  の手法では，図  に示すように，各フレームに対する逐 % 特徴点の追跡， $ Æ % カメラ外部パラメータと特徴点の三次元



位置の推定を行う．次に，全てのフレームに対する処理として， $ m% 動画像全体での最適化を行う．
まず，初期フレームにおいて三次元位置が既知の ò 個以上の基準マーカを画像上で指定し，カメラ外部パラメータを推定する．次に，フレーム毎の処理を初期フレームから最終フレームまで繰り返すことにより，すべてのフレームにおけるカメラ外部パラメータと特徴点の三次元位置を逐次的に推定する．この時，特徴点の三次元位置と信頼度を逐次更新し，後続のフレームでの特徴点追跡に利用することで，基準マーカが撮影されていないフレームにおいてもカメラ外部パラメー
タを推定することができる．この逐次処理では，カメラ外部パラメータの推定結果に蓄積誤差が含まれるため，最終フレーム，中間フレームなどの少数の画像上で基準マーカを指定し，推定されたカメラ外部パラメータと特徴点の三次元位置を入力動画像全体で最適化する．これにより，累積するカメラ外部パラメータの推定誤差を最小化する．以下では，まず，本手法で用いる誤差について定義し ，次に，各処理について説明する．

ô

図



特徴点追跡によるカメラ外部パラメータ推定の処理の流れ

#

&

カメラ外部パラメータと誤差関数の定義

以後，本論文で用いるカメラの内部・外部パラメータの一覧を表 に，カメラ

外部パラメータと特徴点の投影誤差の関係を図 に示す．カメラ内部パラメータ áFH の手法  ± によってあらかじ
めキャリブレーションしておくものとする．図 に示すように，世界座標系からは，同一の動画像中では変化しないと仮定し，'第 フレームのカメラ座標系への変換行列(*) は，カメラの姿勢パラメータとしてカメラ座標系の 軸に対する回転角 $,+.-0/1-32.% と，カメラの位置パラメータとし#4657-348-049@%6: の ò つのパラメータを用てカメラ座標系における平行移動成分である $いて，以下のように定義する．

(;)=<
@

>?A@

$,+.-B/C-02.%$#45D-0468 -34E9@% :

þ

FG

$%

$,+H-3/H-E2<% は JIN の回転行列の各要素を表す．また，特徴点 K の世界座
標系における三次元位置を LNM<­P$ OQ-SR1-T*% U ，第 ' フレームのカメラ座標系における特徴点 K の三次元位置を )VM<­P$ OXWY-BRZW[-ST\WÙ% U とすると， これらの間には，以下の

ただし，

表



カメラ内部・外部パラメータ一覧$  % カメラ内部パラメータh %
焦点距離 $
 ² のサイズ $ h %]D5 × ]8^!_5 × ^!_8
画像のサイズ $ 画素 %投影中心座標 $ 画素 %,$ `a5 ´ `.8#%
スケール係数´
レンズ歪み係数 $,Qbdc ebgf%^5

jh i ´ h c$ § % カメラ外部パラメータ !±H8! % ,$ +.-3/H-E2<%
姿勢パラメータ $c %平行移動成分 $P$ 4657-0468 -34E99%
図関係が成り立つ．



カメラ外部パラメータと投影誤差の関係

>kk

FEl
>kk
kk OQW lll
kk O
kk RJW llkk?
lG <m(;) kk? R
TW
T


FEll
ll



ll

$ %

Gl

K

レンズ歪みを考慮しなければ，特徴点 の三次元座標n )VM<­$Pop-Bq% は，以下のように定義される．

 )VM の画像上への投影座標n )VM < $Pop-Bq±%1<srut ^!_5 OeW ^ 5xw ` 5 -!t ^!_8 RJW w ` 8y]75 T Wv]D8 T W0v
本手法では，レンズ歪みの影響を考慮し，以下の式 $の入力画像上への投影座標 $±
て用いる  ．

$ % % ， $  % を用いて，特徴点 K

oz- q% をレンズ歪みを取り除いた座標 $Pop-Bq±% に変換し$Pop-Bq±%1<|{@$  w hjiE_ c w h c _ f %y$ o}t~`a5 % w `a57-$  w hjiE_ c w h c _ f %¯$ qt~`a8#% w `.8 $  %
F

c
c
_J<   r ^!_]5 5^5 $ o}t~`a5 %6y w r ^!]7_88 $ qt~`a8%6y$ %一般には，カメラ外部パラメータおよび特徴点の三次元位置に推定誤差や量子化誤差が存在するため，式 $出される座標 % ， $  % で求まる特徴点 K の投影座標 n )M と画像上で検n )M は一致しない．この誤差を投影誤差 Z\)VM とし，以下のように定義する．

)VM< n )VMatn )VMD c
& 

$4ò %

動画像からのカメラ外部パラメータの逐次推定本手法では，カメラ外部パラメータの初期値および特徴点の画像上での検出座標を求めるために，初期フレームから最終フレームまでの逐次的な処理として，$  % 特徴点の追跡， $ Æ % カメラ外部パラメータと特徴点の三次元位置の推定を行Æう．以下では，処理 $ % ， $ % の詳細を述べる．

  特徴点の追跡 特徴点を入力画像上で検出し ，前フレームと現フレームでの対応関係を求める．特徴点には，回転・拡大縮小に強いエッジのコーナーなどの追跡が容易な点のみを検出する．さらに，特徴点の仮対応づけの結果から統計的手法によって誤追跡結果を排除し，それにより求まる暫定的なカメラ外部パラ
メータを用いて，特徴点の対応関係を修正する．これにより，特徴点の周辺類似パターンとの誤対応を防止する．

 % ·   HI オペレータ     で求められる特徴
量が極大値となる位置を特徴点の候補位置とする．次に，$ % 前フレーム上の各特
具体的な処理手順としては，まず，$徴点の近傍領域を現フレーム上でパターンマッチングによって探索し，現フレームにおける仮の追跡位置を決定する． $準を用いたロバスト推定

 % 特徴点の仮の追跡位置から，   基   によって，暫定カメラ外部パラメータを推定する．

 % 暫定カメラ外部パラメータを用いて，前フレームにおけるすべての
特徴点の三次元位置から，現フレーム上での出現位置を予測し，ステップ $ % よ
最後に， $

りも小さな探索窓を用いて対応づけを行い，追跡位置を修正する．

#E  カメラ外部パラメータと特徴点の三次元位置の推定 処理 $  % で求めた現フ
レーム $ 第 ' フレーム % 上の特徴点の投影誤差の和を最小化することで，カメラ外部パラメータ ( ) と特徴点の三次元位置 L M を推定する．カメラ外部パラメータ(;) は，以下の式 $ ú % を最小化することで推定する．
)=< M\)VM$ú %M
ここで， M は特徴点 K の信頼度によって決定される重みであり，前フレームまで
の投影誤差の分散の逆数とする．また，特徴点 K の三次元位置 LNM は，以下の式$4ÿ % を最小化することで推定する．

.M<  Z \)VM
)
&#"

$4ÿ %

動画像全体での最適化

 % ， $ Æ % 終了後に行う動画像全体での最適Æ
化処理 $m% について述べる．処理 $ % ， $ % を初期フレームから最終フレームま本節では，前節で述べた逐次処理 $で繰り返した後に，動画像全体で最適化を行うことで，累積的な誤差を最小化す
る．これにより，処理 $ % ， $ Æ % の繰り返しで生じる蓄積誤差を最小化する．ここでは，全てのフレームのカメラ外部パラメータ(*) と全ての特徴点の三次元位

LNM をパラメータとし，以下の評価関数  を最小化する．
<  $,)  M\)EM %
$4ô %
)
M
ただし，ここでは， M として逐次処理で得た特徴点 K の信頼度を用いる．&) は
フレームの信頼度による重みであり，画像上で基準マーカを指定するキーフレー
置

ムに大きな重みを与えることで，キーフレームのカメラ外部パラメータを真値とみなして動画像全体でパラメータを最適化する．

&

問題点の考察とその改善策

 % ，$ Æ % ，$ r% において ')(  による位置情報を用いる

ことで，精度向上が図れる部分を明らかにする．まず，')( による位置情報を用
本節では，上述の各処理 $

E

図



拡張手法で用いるデータの範囲

 による位置情報は，  秒間隔で得られ計
測誤差が含まれる．このことから， 地点のみの位置情報を用いると ')( の計測ú
誤差の影響によりカメラ位置の推定精度が低下する恐れがある．そこで，手法 
の各処理を '*( による位置情報を利用できる形に拡張する場合は， ')( の計測いるための条件について考察する．')(

誤差を考慮するために，複数地点での位置情報を同時に用いる必要がある．そこ

 の位置情報を用いる拡張手法では，投影誤差の最小化処理において，基
準マーカの代わりに ')( の位置情報を用いることで，画像上の誤差に加え，')(で，')(の位置情報から定義される誤差を同時に考慮する．

 による位置情報を用いた最適化による精度向上の見込み
及び，計算量について考察する．図 に各処理において用いることのできるデー
タの範囲を示す．第 ' フレームにおける特徴点の追跡 $ % では，特徴点の仮対応づけ $ % と暫定カメラ外部パラメータの推定 $ % を１フレームごとに行うことにより，ロバストな特徴点追跡を実現している． ')( を用いた拡張手法において，

この暫定カメラ外部パラメータの推定に '*( の位置情報を用いる場合，既に述次に，各処理での ')(Fべたように ')( の計測誤差を考慮するために，一度に複数フレームを用いる最適化処理を， フレームごとに行うことになり，元の手法と比べて計算量が大幅に増大する．また，逐次処理においては，図 $  % に示すように第 $P' w  % フレー

ム以降のフレームにおける特徴点の追跡情報及び，カメラ外部パラメータの初期

 の位置情報に含まれる誤差の影響が大きい．このため，処理 $ % においては，')( を用いることで特徴点の追跡精度を向上させるこ
値が利用できないため，')(とは難しい．
カメラ外部パラメータと特徴点の三次元位置の推定 $Æ % では，第 ' フレーム以'

前のすべてのフレームにおける特徴点追跡情報を用いて，第 フレームのカメラ'

外部パラメータと特徴点の三次元位置を推定する．拡張手法においては，第 フ
レーム以前の複数フレームのカメラ外部パラメータを '*( の位置情報を用いて Æ最適化することで，誤差の蓄積を防止できる．この最適化では，図 $ % に示す'

ように，第 フレーム以前の複数フレームのカメラ外部パラメータを同時に最適化することで，最適化の対象フレームの前後のシーケンスにおける特徴点の追跡
情報を用いることができるため，パラメータの推定精度向上が見込める．さらに，



数フレーム間隔で最適化することで， フレームごとの最適化に比べて計算量を削減できる．
全体最適化 $ r% についても処理 $Æ % と同様に，')(  の位置情報を用いてカメラ

外部パラメータを最適化することで累積誤差を最小化することができると考えられる．この最適化は，逐次処理の終了後に１度だけ行うものであり，拡張手法における計算量の増大は，逐次処理の拡張に比べて少ないといえる．

'

以上のことから，第 フレームの逐次処理における特徴点追跡 $ % では，第 'フレーム以降の特徴点追跡情報を用いることができず，精度の向上は期待できな
い．また，計算量の点で問題がある．処理 $'Æ % ，$ r% では，最適化の対象フレーム

を第 フレーム以前とすることで最適化対象の前後のフレームにおける特徴点追跡情報を用いることができるため，精度の向上が期待できる．したがって，本研究では，従来手法の処理 $Æ % 及び $ r% を， '*(  の位置情報を用いて拡張する．

ò

e

動画像と

 

測位データからのカメラ外部パラメー

タの推定 の位置情報からカメラ外部パラメータを推定する手法について述べる．提案手法では，動画像と ')( による位置情報から，特徴点の三次元位置，カメラと ')( 受信機の位置・姿勢の関係およびカメラ外部パラ
本章では，動画像と ')(メータを推定する．ただし，本手法では，カメラの内部パラメータは既知とする．
また，動画像と '*( の位置情報は同期しているものとする．さらに，カメラと')(  の受信機の位置・姿勢の関係は固定されているものとし，その距離については既知，角度については未知であるとする．これは，距離に関しては手動での計測が容易であるが，角度に関しては正確に計測することが困難であるためである．

"

カメラ外部パラメータ推定手法の概要

提案手法では，画像上で定義される特徴点の投影誤差および，')( の位置情報

 受信機の推定位置に関する誤差を同時に最小化すること
で，動画像と '*( による位置情報から，特徴点の三次元位置，カメラと ')( 受によって定義される ')(信機の位置・姿勢の関係及び，カメラ外部パラメータを推定する．本手法は，逐次処理と全体での最適化処理の両方で ')( の位置情報を用いた最適化を行うことにより，誤差の蓄積を防止し，精度良くカメラ外部パラメータを推定する．本
手法は，基準マーカの三次元位置のような事前知識を必要としない．また，従来手法では計算機による一括処理が難しいような，広範囲にカメラが移動する環境を想定する．

¶ñ 節に述べたように，従来手法の特徴点の追跡 $  % において ')(  による位置情報を用いると計算コストの面で問題があるため，提案手法では，カメラ外部パ

Æ % 及び，全体での最適化 $ r% に対応する

処理において，')( の位置情報を利用した共通の最適化を行う．図 に，提案手

ラメータと特徴点の三次元位置の推定 $法の処理の流れを示す．本手法ではまず，従来手法と同様にフレーム毎の処理として， $ % 特徴点の追跡， $ Æ % カメラ外部パラメータと特徴点の三次元位置の推
Fú

図



提案手法の処理手順

Æ %'*(  による位置情報を用いた最適化をÆ
行う．処理 $ % では，特徴点の三次元位置を ')( の位置情報を用いて最適化す定を行う．次に，一定フレーム間隔で $ることで，蓄積誤差の影響によって後続のフレームで特徴点追跡の精度が低下することを防ぐ．ここでは，計算量削減のため小区間のデータのみを用いて最適化 % とする．これらを初期フレームから最終フレームまで繰り返し，最後に処理 $  % では，カメラ外部パラメータの推定精度して動画像全体で最適化する．処理 $の向上のために，処理 $Æ % よりも大きな区間で多くの ')(  の位置情報を用いて最適化を行う．ただし，本研究では，長時間の動画像を入力として想定している
ため，動画像全体を一括で最適化することが困難な場合には，全フレームを処理$ Æ % よりも十分に大きな区間に分割し，それぞれを独立に最適化する．
Æ 
以下では，まず処理 $ % ， $ % で共通に用いる ')( による位置情報を用いた
Æ 
最適化について述べる．次に，処理 $ % ， $ % についてそれぞれ詳述する．

ÿ"

誤差の定義と ~ の位置情報を用いた最適化

本節では，まず，')(

 の位置情報を用いた誤差について定義する．次に，最適化に用いる誤差関数を定義し，最適化における問題点とその解決方法について述べる．

 受信機の位置に関する誤差 Z) について定義する．

図 ò に示すように，本研究では，')( の測位座標系から第 ' フレームのカメラ座ê
標系への変換行列を (*) とする．カメラ座標系における ')( 受信機の位置を とすると，カメラと ')( 受信機の位置・姿勢の関係は固定されているため，動画ê
像系列のすべてのフレームで は常に一定である．しかし，実際には，図 ò に示すように， ')( の計測誤差および，カメラ外部パラメータの推定誤差の影響で，

カメラ外部パラメータから算出される ')( 受信機の位置と実際の ')( の計測位置 ¡) は一致しない．この距離 ¢p) を用いると，カメラ外部パラメータと ')( 受信'

まず，第 フレームの ')(機の計測位置には，以下の関係が成り立つ．

(*)Y¡)=< ê w ¢z) $,'1£Q¤¥%$ # %¤a¥ は，')(  の計測時刻に対応する動画像のフレームの集合を表す．このカメラ外部パラメータ (;) から推定される ')( 受信機の位置と実際の計測位置¦) の距離 ¢p) を用いて，誤差 ) を以下のように定義する．
)§< ¢§)B c < ê t~(;)¨¡)0 c$  %

ただし，

次に，カメラ外部パラメータの最適化に用いる誤差関数を定義する．本研究では，カメラ外部パラメータ推定に用いる最適化の誤差関数

 を，前章 ±¶Ò 節の式$4ò % で示した特徴点の画像上への投影誤差 )M 及び，式 $ ! % の ')(  の位置情報) を用いて，以下のように定義する．
 t %$<  ¤x© ª¦  ) w ®  ø=¯!© )0  $,\) Z)VM@%$ F %) MS«°±0²)[«¬g­)
ただし， は Z³) 及び \)VM に対する重み係数，&) は各フレームに対する重み係©
数， ø´¯) は第 ' フレームの画像上で検出される特徴点の集合を表す．重み係数©

から求められる誤差

ô

図ò
は，')(

座標系と誤差の定義

 による位置情報の信頼度に基づき決定する．式 $  % では， '*(  の位置

情報の計測回数および，追跡される特徴点の数を考慮し，それぞれの誤差関数を© を用いた重み付き和を算出している． F
次に誤差関数  の最適化手法について述べる．式 $ % の誤差関数  を用いた最適化では，カメラ外部パラメータ (;) ，特徴点の三次元位置 L´M 及び，カメラと')(  受信機の位置関係 ê をパラメータとして，誤差関数  を勾配法によって最小化する．ただし，誤差関数  には，局所解が数多く存在するため，単純な勾配
正規化し法では，大域最小解を得ることが難しい．そこで，特徴点の三次元位置を最適化する際に，各フレームの重み\) を動的に変化させることで，局所解を回避する．


具体的には， ')( の位置情報があるフレームの重みを大きく設定することおよび，すべてのフレームの重みを等価に設定することを，最適化の一定ステップごとに交互に繰り返す．式 $F % の誤差関数  について重み &) を変化させても大域最適解を与えるパラメータは変化せず，局所解の位置は変化すると考えられるため，多くの場合局所解を回避できると考えられる．
重み\) の変動による最適化の効果を確かめるために予備実験を行った．カメú 
ラは図 に示すように移動させ，仮想的に ò フレームの特徴点検出画像を取得
#! 個の特徴点した．')( の位置情報は フレーム毎に取得するものとする．
$  % 斜め上から図ú$ § % 上から
予備実験の環境をカメラ軌道の外側に円筒状でランダムに配置した．特徴点の画像上での検出座

 の位置情報は，真値に対して表  に示す誤差を付加して作成した．

また，カメラ外部パラメータの初期値は，真値に対して表 に示す誤差を加える
標および ')(\) の変動による最適化の効果を図 ÿ および図 ô に示す．
F図 ÿ は，カメラ外部パラメータを式 $ % の誤差関数  を用いて勾配法で最適化しことで作成した．重みた際の，推定パラメータの平均誤差の変化を表す．横軸は最適化のステップ，縦

表
観測データに付加する誤差¶
特徴点の検出座標 標準偏差 ò 画素のガウスノイズ＋量子化誤差

! h のガウスノイズ')(  の位置情報
標準偏差 カメラ外部パラメータの初期値に付加する誤差表 ! c のガウスノイズ
カメラ位置
標準偏差
¶â Z   のガウスノイズ
カメラ光軸の向き 標準偏差


図ÿ

重み変動の効果図ô

誤差関数の変化軸は各ステップにおける平均誤差である．また，図 ô は，誤差関数

 における投影誤差 µ と ')( の位置に関する誤差  に関する つの項および誤差関数 の変化である．横軸は最適化のステップ，縦軸は各ステップにおける誤差関数の ! ステップ毎に重み変動を行った．図 ÿ か !  程度のときにら，重み変動を行わない場合は，カメラ位置の推定誤差が値を表す．この実験では，最適化の局所解に陥っているが，重み変動を行った場合には，局所解が回避されていることが分かる．重み変動の瞬間にグラフの傾きが不連続となり，これにより局所解が回避されている．

" 

動画像と ~ 測位データを用いたカメラ外部パラメータの逐
次推定

 の位置情報を用いて逐次的にカメラ外部パラメータを推定する

手法について述べる．図 に示したように，本手法ではまず，従来手法の逐次処
理と同様に，特徴点の追跡 $ % および，カメラ外部パラメータと特徴点の三次元ÆÆ
位置の推定 $ % を行う．特徴点の投影誤差のみを最小化する処理 $ % ， $ % の繰
本節では，'*(

り返しでは，推定されるカメラ外部パラメータに誤差が蓄積する問題があるため

Æ % として，一定フレーム間隔で，前節で述べたカメラパラメータの最適化処理を行う．これにより，'*( の位置情報を反映させたカメラ外部パラに，次に処理 $メータを算出し，誤差の蓄積を防止する．さらに，この最適化で得られる特徴点の三次元位置を後続のフレームにおける特徴点追跡に反映させることで，追跡精度の向上を図る．

E に示すように，処理 $  % 及び処理 $ Æ % で処理の対象となる第' フレームに対して，第 $,'zt $¶ w  · % w  % フレームから第 ' フレームの情報を用· % w  % フレームから第 $P'Nt · % フ
いて小区間での同時最適化を行い，第 $P'´t $¶ w
具体的には，図¶レームの フレーム分の情報のみを更新する．これにより，更新するフレームに対して，前後のフレームにおける特徴点の追跡結果及び，')( の位置情報を反映¶ フレーム % を更新し，¶Æ
フレーム間隔で本処理 $ % を行うことで，計算量の増大を軽減する．
させることができる．さらに，一度に複数のフレーム $



図

"#"

E

最適化の範囲動画像全体での ~ 測位データを用いた最適化

前節で述べた小区間でのカメラ外部パラメータの最適化では，最適化に利用で'きる範囲は逐次処理の第 フレームまでである．ここでは，逐次処理終了後に全てのフレームにおける特徴点の追跡情報と ')( の位置情報を用いることで，')( の局所的な誤差の影響を最小化し，カメラ外部パラメータの推定精度の向上を図る．ただし，本研究では，従来手法において計算機による一括処理が難しいような長時間の動画像を入力として想定している．そこで，入力シーケンスが長く全Æ % の±¶ñ 節
最適化範囲よりも長い複数のシーケンスに分割し，各シーケンスで独立にてのフレームを一括で処理することが困難な場合には，動画像全体を処理 $で述べた最適化を実行する．

! $  % に示すような重複部分を持たない単純な分割では，分割の端

ここで，図のカメラパラメータ推定において，その前もしくは後のフレームの情報が使えな
いため，推定パラメータの信頼度が低下し，各シーケンスの統合時に分割部分で不連続が生じる．そこで，本手法では，同図 $§ % のように重複部分を持たせた分割を行い，最適化の対象とするフレームの前後のフレームの情報を用いる．ここ·で，重複範囲 を十分に広く設定することで，各シーケンスの統合結果は全体を一度に最適化した結果と同様の効果が期待できる．すなわち，端のフレームの変動が最適化の対象フレームに影響を与えなければ，全体を一度に最適化することF$  % 重複部分を持たない単純な分割$ § % 重複部分を持たせた分割
 分割の範囲
図と同様の効果が得られるといえる．
また，最適化の範囲を分割することで処理の並列化が可能となるために，処理速度の向上が見込める．ここでの最適化は処理の最後に行うものであり，逐次処理における最適化のように最適化結果を次の処理に反映させることはない．また，各シーケンスの最適化が他のシーケンスに影響を与えることはなく，それぞれ独立である．本手法では，')(

 の位置情報によりカメラ外部パラメータの絶対座標が推定されているため，複数シーケンスの統合に特別な処理は不要である．



¸

カメラ外部パラメータの推定実験©

本章では，まず，提案手法で用いる誤差関数のパラメータ を決定するために，© の値で推定される

カメラ外部パラメータの精度を調査する．次に，提案手法の全体最適化 $ % で推
計算機シミュレーションにより©

を変化させて，それぞれの定されるカメラ外部パラメータの推定精度を定量的に評価するために，実環境から作成したデータを用いたシミュレーション実験を行う．また，基準マーカを用 ú との推定精度の比較を行い，提案手法の有効性を示す．そして，いる従来手法提案手法で安定にカメラ外部パラメータが推定されることを確認するために，実環境で取得した動画像と '*( による位置情報から，カメラ外部パラメータを推定する．また，推定されたカメラ外部パラメータを用いて動画像上に仮想物体を重畳表示するマッチムーブを行うことで，カメラ外部パラメータが正しく推定されていることを確認する．最後に，動画像全体の一括最適化によって推定される
カメラ外部パラメータと，動画像を複数のシーケンスへ分割して最適化し，最後に統合して得られるカメラ外部パラメータの比較を行うことで，分割による最適化の有効性を確認する．



動画像と ~ 測位データの重みの決定

本節では，式 $F % で定義した最適化に用いる誤差関数  中の動画像と '*(  に関する重みパラメータ© の値によるカメラ外部パラメータの推定精度の変化をシミュレーションにより明らかにする．これにより，カメラ外部パラメータが最も精度良く推定される©  の値を決定する．本実験では，© が環境依存であるかを調査するために異なる つの環境を用いてカメラ外部パラメータを推定する．本

実験で用いる つの仮想環境を図F および図 # に示す．図中の曲線はカメラの移動経路を，錐体は フレーム毎のカメラ姿勢を表す．また，点群は，仮想環境



中に配置した特徴点を表す． 仮想環境 では，図F に示すようにカメラを動か  フレームの特徴点検出画像を仮想的に取得した．また，特徴点は，中心!
E! 個をランダムに配置した．こからの距離が  から  の位置に円筒状にú 個が画像上に投影された．他の環境において特徴点は フレームあたり平均

し， ò

ò

$  % 斜め上から図$ § % 上からωの決定に用いるシミュレーション環境ú$  % 斜め上から

図E$ § % 上からωの決定に用いるシミュレーション環境ÿ# に示す仮想環境  は，実環境から作成したデータであり，カメラは同E フレームの特徴点検出画像を仮想的に取得した．
図に示すように移動させ，!! 点存在し ，  フレームあたり平均 !  個の特徴
本環境中には，特徴点が約
点が画像上に投影された． つの仮想環境ともに，')( 受信機はカメラ座標系で$4ò  ´ ò ! ´ ò ! %>$ h 単位 % の位置に設定し，')(  の位置情報は F フレーム毎に真
値の計測位置を算出した．そして，特徴点の画像上での検出座標および ')( の計
測位置は，それぞれの真値に対して表 に示す誤差を付加したものを用いた．表 の誤差は実環境での誤差を想定し，特徴点に関しては画像上で  画素程度の検` ')(  の計測精度を想定して決定した．
出誤差， ')( の計測誤差に関しては
方，図

仮想カメラの内部パラメータは，実環境で用いるカメラの内部パラメータと同一の値を用いた．また，カメラ外部パラメータ推定の初期値は，表 ò に示す誤差を真値に付加して作成した．

E b7f から E b i,¹ まで変化させ，それぞれの の値でカメラ
©
© 


外部パラメータを推定した．環境 に対する実験結果を図 に，環境 に対する
F
E
F
実験結果を図 に示す．実験の結果，図 および図 に示すように，どちらの
#
環境でも の値によって大きく推定精度が変化した．環境 では， を b»º か©
©
#
ら bd¼ に設定したときに他よりも精度良くカメラ外部パラメータが推定された．

#E i,¾
また，環境 では， を bd½ から b に設定したときに他よりも精度良くカメ
©
E
E
ラ外部パラメータが推定された．これにより， の値は bd½ から bg¼ に設定す以上の条件で， を©

ることで，精度良くカメラ外部パラメータが推定されることが分かる．実環境か

ら作成した環境 において

# bd¼ のときに最も精度が良いことから，以降の実験表
観測データに付加する誤差¶
特徴点の検出座標 標準偏差 ò 画素のガウスノイズ＋量子化誤差')(  の位置情報

標準偏差! h のガウスノイズ

表 ò カメラ外部パラメータの初期値に付加する誤差 ! c のガウスノイズ
カメラ位置
標準偏差
カメラ光軸の向き

標準偏差ô¶â Z   のガウスノイズ

図

E

図

F

ωに対するカメラ位置の推定誤差の変化 $ 環境%ωに対するカメラ位置の推定誤差の変化 $ 環境

%



では，



<© # bd¼ とする．

シミュレーションによるカメラ外部パラメータの推定精度評価

  % によって推定される最終的なカ本シミュレーションでは，提案手法の処理 $メラ外部パラメータの推定精度を定量的に評価する．また，基準マーカを用いる
手法と精度を比較することにより，提案手法の有効性を示す．
本実験で用いる仮想環境を図 ò に示す．ここで，図中の曲線はカメラの移動

経路を，錘台は フレーム毎のカメラの姿勢を表し，点群は仮想環境中に配置した特徴点を表す．また，グリッド の一辺は実環境でのに相当する．仮想環

境中の特徴点には，事前に屋外環境を撮影した全方位動画像
佐藤らの手法   を入力として，    を用いて三次元復元を行い，これによって推定された特徴点の三次元位置を本シミュレーションの真値として用いた．このときのカメラの移·¿動経路とは異なる経路で仮想カメラを同図に示すように 地点から 地点へ移動

させ，仮想的に ô!ô フレームの特徴点検出画像を取得した．ただし，仮想カメラの内部パラメータには，次節で述べる実環境で用いたカメラと同一のものを用いF 個の特徴点が画像上で観測された．ま ´ ò  ´ ò ! %>$, 単位 % と設定
た，カメラ座標系における '*( 受信機の位置を $4òF フレーム毎 % でし ， ')( の位置情報の真値に誤差を付加し，これを 秒間隔 $
取得した．特徴点の画像上での検出座標 n )M および，')( の位置情報 ¡) に付加しúた誤差を，表 に示す．また，カメラ外部パラメータ (;) の初期値は，表 ÿ に示±¶ñ 節で定義した誤差関数  中の重み係数
す誤差を真値に付加して作成した．
E bd¼ % を用い，カメラと ')( © は，前節のシミュレーション実験で決定した値 $ <た．本環境では１フレームあたり平均©

受信機間の距離は計測されているものと仮定し，角度については未知とした．
以上の条件で，誤差関数

 を最小化することで，特徴点の三次元位置，カメラ

外部パラメータ，カメラと '*( 受信機の位置関係を最適化した．図 Fú にカメラ ÿ にカメラ光軸の向きの推定誤差を示す．実験の結果，カメ""¶ ô % の誤差で  ÿ ¶â % の標準
ラ外部パラメータは，カメラ位置に関して平均±¶Ú!" _ · ] の誤差で ±¶Ú ò  _ · ] の標準偏偏差，カメラ光軸の向きに関して平均位置の推定誤差，図差で推定された．推定されたカメラ外部パラメータの誤差は，フレームが進んで

±

図

ò

ú

観測データに付加する誤差

表
特徴点の検出座標'*(  の計測誤差
表ÿ

シミュレーション環境±¶ ò 画素のガウスノイズ＋量子化誤差 c のガウスノイズ
標準偏差

標準偏差

カメラ外部パラメータの初期値に付加する誤差 ! h のガウスノイズ¶â F ! のガウスノイズ
カメラ光軸の向き 標準偏差
カメラ位置

標準偏差

"

図

図

ÿ

Fú

カメラ位置の推定誤差 $ 提案手法 %カメラ光軸方向の推定誤差 $ 提案手法 %

も増加しないことから，'*( による位置情報を用いた最適化により，誤差の蓄積が防止されていると考えられる．
また，提案手法の精度評価のために，基準マーカを用いる手法

 ú  によって上述と同様の条件でカメラ外部パラメータを推定した．ただし， フレームあたり 個の基準マーカが撮影されるように仮想環境中の特徴点からランダムに
複数個を選択し，それらを基準マーカとして用いた．図 ô に基準マーカを用いる

手法で推定されたカメラ外部パラメータの位置に関する推定誤差，図 に光軸平均の向きに関する誤差を示す．図中のカメラ外部パラメータの初期値は，提案手法と基準マーカを用いる手法の両方で共通である．実験の結果，基準マーカを用いる手法では，カメラ位置に関して平均て平均 ô ¶ ÿ % の誤差，カメラ光軸の向きに関し±¶Ú ô _ · ] の誤差で推定された．これは，提案手法と同等の精度であることから，提案手法では，人手による計測が必要な事前知識を用いることなく，基準マーカを用いる手法と同程度の精度が達成できていることが分かる．これにより，提案手法の有効性を確認した．

!

              ! "  #$% &        
               ô      

図

カメラ位置の推定誤差 $ 基準マーカを用いる手法との比較 %              ! " #   $%& '                   図F

カメラ光軸方向の推定誤差 $ 基準マーカを用いる手法との比較 %" 

実環境データを用いたカメラ外部パラメータの推定

本節では，提案手法によって安定に特徴点の追跡及びカメラ外部パラメータの推定が行われることを確認するため，屋外実環境下で取得した動画像と ')( の «ÁÀ  ³· '  ú ÿ"% を "« ²)»º ( ²rFF % と ')(  受信機 $ H ¼    ¡ (  ¼C % を取り付けたビデオカメラ $"!¶I ¶»
図 に示すように車に固定して取り付けた．このような車両を用いて，約 ¶Ò  枚の画像 $ 解像度 ú! の距離を平均時速 ò ¶d の速度で走行し，得られた ò ´ E±¶ ô!ÿ  Á´ プログレッシブ撮影 % 及び，  秒間隔で計測された ')(  に× ÿ 画素よる位置情報を入力として用いた．ただし，動画像と '*( の位置情報は手動で FH の手法  ± によりあらか
開始時刻を同期させ，カメラの内部パラメータは，

じめ得た値を用いた．また，カメラと ')( 受信機間の設置距離は，手動で計測
E"F c を設定し，角度については未知とした．初期フレームにおけるカメ
した
ラ外部パラメータは，手動で大まかな姿勢を与え，位置に関しては '*( の位置Æ
情報を用いた．逐次処理中に行う最適化処理 $ % においては，更新対象フレーム¶Â<  ，重複フレーム · < ! フレームと設定した．処理 $  % では，動画像全体を ò  ，· <  フレームと設定した．
一括最適化するために， ¶Ã<
まず，逐次処理において '*( の位置情報を用いた最適化を行うことにより，安
位置情報を用いて実験を行う．実験では，ワイドレンズ $定に特徴点が追跡され，カメラ外部パラメータが推定されることを確認するため，逐次処理において ')( の位置情報を用いて最適化を行う場合と，動画像のみから推定する場合を比較した．動画像のみからカメラ外部パラメータを推定した結 の位置情報を用いた最適化を行う逐次処理で推定されたカメラ外部パ
ラメータを図 に示す．実験の結果，動画像のみからカメラ外部パラメータを!
E ô フレームで特徴点追跡が破綻し，以推定した場合は，図 に示すように第降のカメラ外部パラメータは推定されなかった．これに対し，')( の位置情報を
果と，')(

用いる提案手法の逐次処理では，初期フレームから最終フレームまで途切れることなく， フレームあたり平均約! 個の特徴点が追跡された．

次に，逐次処理で得られたカメラ外部パラメータを初期値として動画像全体で最適化した．全体最適化によって推定された特徴点の三次元位置とカメラ外部パ
ラメータを図  に示す．前節と同様に，図中の曲線は推定されたカメラの移動
ò

図

図



" ビデオカメラと ')(  受信機の位置関係逐次処理で得られたカメラ外部パラメータ"ú$  % 上から図$ § % 斜め上から
カメラ外部パラメータの推定結果

ÿ

経路を，錘台は フレーム毎のカメラの姿勢を表す．また，点群はカメラ外部パ
ラメータ推定に用いられた特徴点を表す．同図から分かるように，カメラパスは滑らかに推定されており，')( による位置情報が計測されていないフレームにおいても連続的にカメラ外部パラメータが推定されている．
推定されたカメラ外部パラメータを用いて仮想物体を動画像に合成したマッチ
ムーブの結果を図よび ')(図 および図 ! に示す．仮想物体は， '*(  による計測位置お 受信機設置時の道路面からの高さから計算される道路面上に配置した．

 に示すシーンでは，仮想物体が現実環境中でほぼ一定の位置に合成されていることから，カメラ外部パラメータが正し く推定されていることが確認でき! に示すシーンでは，仮想物体が一定の位置には静止せず，フ
レームが進むにつれ場所が移動している．このことから，第 ô!ô フレームから第#! フレームではカメラ外部パラメータが正しく推定されていないことが分かP ')(  の位置情報に含まれる信頼度を表す標準偏差を図  ò に示す．同図
る．
る．しかし ，図から，仮想物体が静止しないシーンにおける位置情報の標準偏差が増加しており，')(  の位置情報の信頼度が低下していることが分かる．

ô

図



第

#! フレーム第!! フレーム第#  フレーム第!  フレーム

第E フレーム第!±E フレーム

第 フレーム第!± フレーム推定されたカメラ外部パラメータを用いたマッチムーブの結果 フレーム

第E± フレーム第#! フレーム第E"F フレーム第#!" フレーム第E"! フレーム第## フレーム

第E! フレーム

第 ôô

図



パラメータ推定の誤差によって仮想物体が静止しないシーン



図

#"

 ò ')(  の位置情報に含まれる標準偏差

一括での全体最適化と分割した全体最適化の比較

本節では，動画像全体を一括で最適化する結果と複数に分割して最適化する結¶  節で述べた全体最適化の効果を確認する．実験

果の比較を行う．これにより，には，前節の逐次処理で得られたカメラ外部パラメータを用い，全体を一括で最適化した結果と，複数のパスに分割して最適化した後に一つに統合した結果を比較する．
まず，分割する際の重複部分に必要な最小のフレーム数を調べるため，図



!ú に

F フレームのシーケンス  ，第 #! フレー ! フレームのシーケンス  ，第 FF フレームから第 " ôô フレームのムから第 ò
 
シーケンス の つのシーケンスに分割し，それぞれを独立に最適化した．そし示すように，第 フレームから第て，最適化された各シーケンスのカメラ外部パラメータと一括で最適化したカメ
ラ外部パラメータの比較を行った．動画像全体の一括最適化で推定されたカメラ
外部パラメータを真値とし，各シーケンスの最適化で推定されたカメラ外部パラ ÿ ， ô ， に示す． 図  ÿ から，シーケンス  における分割の!  フレームから第 F ! フレームは誤差が大きいことが分かる．同
端である第


F フレームは一括最適様に，図 ô および図 においても，分割の両端から約メータの誤差を図



1200

0

2400

3599



2400

0
1


1000

2600
2


1200

3599
3



   

図!ú複数シーケンスへの分割                
図

ÿ



シーケンス におけるカメラ位置の推定誤差         

   図ô        



シーケンス におけるカメラ位置の推定誤差                       
図





シーケンス におけるカメラ位置の推定誤差



0

900

0

899

1800

2700

3599


700

1100
1799

900

1600

2000

1800

2699

2900

2700

3599

       

2500

図



分割最適化における各シーケンスの分割範囲化の結果との誤差が大きく，端からことが分かる．端からの ! フレーム以降は誤差が小さくなっている ! フレームを除く中心付近の誤差は，平均 ò であり，一括最適化とほぼ同じ結果が得られていることが分かる．このことから，全体最適化における複数シーケンスへの分割は，重複部分を ! フレーム以上に設定することで一括最適化とほぼ同等の効果が得られると考えられる．

 に示すように，重複フレームを F フレーム，更新フレームを ô 
フレームとし，動画像を つのシーケンスに分割し，各シーケンスを独立に最適次に，図化した後に各シーケンスの更新フレームを統合し，動画像全体を最適化した．動
画像を一括で最適化して得られるカメラ外部パラメータを真値とし，分割最適化
によって得られたカメラ外部パラメータの誤差を図て得られたカメラ外部パラメータの誤差は平均 ò  に示す．分割最適化によっ

% であり，一括での最適化とほぼ同等の結果が得られていることが分かる．このときの計算時間は，(  HI¤ 

 ' · Â!´ メモリ  ' Æ の (. を用いた場合，一括最適化が約 ú 時間であったのに対し¶Ò 時間であった．
て，分割最適化では各シーケンスがそれぞれ約   

 





          

図


図



動画像全体の一括最適化と分割最適化の比較考察 ô および図   に示したシミュレーション実験の結果から，提案手法で推定されるカメラ外部パラメータは，基準マーカを用いる手法と同程度の推定精度であることが分かる．このことから，人手による計測が必要な事前知識を用いることなく，基準マーカを用いる手法と同程度のカメラ外部パラメータが自動的に推定されることを確認した．また，実環境データを用いた実験において，図! に示したように動画像のみを用いたカメラ外部パラメータ推定では，誤差の蓄積により特徴点追跡が破綻したのに対し，提案手法では，最終フレームまで安定に特徴点が追跡された．このことから，提案手法では，逐次処理において '*( の位置情報を用いた最適化を行うことで，カメラ外部パラメータの推定結果に誤差が蓄積することが防止され，安定した特徴点追跡が実現されていることが確認できる．
しかし，逐次的に特徴点の三次元位置の最適化を行うため，追跡精度の低い特徴点も最適化され，結果的に信頼度の低い特徴点が削除されずに追跡され続ける現象が起こった．このような誤追跡を含む特徴点は，カメラ外部パラメータの精ò

度低下の原因となるため，最適化の過程で特徴点の信頼度を算出し，自動的に削除する処理を導入する必要がある．また，図 に示したように，仮想物体が現

実環境で一定の位置に合成されないシーンが見られた．このことから，カメラ外部パラメータの推定精度が一部のシーンで低下していることが確認できる．この ò に示したように，')(  の位置情報の信頼度が低下している．このシーンは，背の高い建物に囲まれた場所であり，'*( の位置情報に含まれる誤シーンでは，図

差が数秒間にわたって増加したことが，カメラ外部パラメータの推定精度が低下した原因であると考えられる．そこで，')(に対応するために，')(

 の位置情報に含まれる連続的な誤差

 の位置情報の信頼度によって，誤差関数における動画像

 に関する重み係数 を動的に変化させることが必要である．
©
"F フ
動画像全体での最適化において，図 に示したように，分割最適化ではと ')(レーム以上の重複部分を持たせて分割することで，一括での最適化とほぼ同等の結果が得られることを確認した．また，複数シーケンスに分割し，それぞれを独立に最適化することにより，大幅な計算時間の短縮が可能であることを確認した．
このことから，一括での最適化が困難な長時間の動画像を入力とする場合でも，提案手法では，複数のシーケンスに分割することで効率良くカメラ外部パラメー
タを推定することができると考えられる．

ú

Ä%

まとめ

 による位置情報からカメラ外部パラメータを推定する手法を提
案した．提案手法では，画像上で定義される特徴点の投影誤差と ')( による位
動画像と ')(

置情報によって定義される位置推定誤差を同時に最小化することで，推定誤差の累積しないカメラ外部パラメータを全てのフレームで推定することができる．
シミュレーション実験では，提案手法で推定されるカメラ外部パラメータの推定精度を定量的に評価した．実験の結果，カメラ位置に関して平均
差，カメラ光軸の向きに関して平均""¶ ô % の誤¶â!  _ · ] の誤差でカメラ外部パラメータ推定が可能であることを確認した．これは，基準マーカを用いる手法と同程度の精度である．提案手法では，現実環境に関する事前知識を用いることなく事前知識を用いる手法と同等の精度が得られることから，提案手法の有効性を確認した．
また，実環境データを用いた実験では，提案手法によって安定に特徴点が追跡されることを確認した．また，マッチムーブで仮想物体が現実環境で一定の場所に合成され続けることから，カメラ外部パラメータが正しく推定されていることを確認した．しかし，背の高い建物に囲まれた場所で ')( の位置情報に含まれる誤差が増加する一部のシーンでは，カメラ外部パラメータの推定精度の低下が見 の位置情報が安定して取得できる場所に
おいて，屋外環境の三次元形状復元などへの応用が可能である．')( の位置情報られた．このことから，本手法は，')(の計測精度の変化に対応できれば，さらに広範囲な環境を復元することが可能になると思われる．

 の位置情報の計測精度の変化への対応があげられる．
')(  の位置情報に含まれる信頼度によって，動画像と ')(  の位置情報の重み係
今後の課題として， ')(数© を動的に変化させることが必要である．また，今回手動で与えた初期フレームにおけるカメラ姿勢の自動推定及び，動画像と ')(自動化があげられる．

ÿによる位置情報の同期の

謝辞
本研究を行うにあたり，多大なる御指導をいただきました視覚情報メディア講
座 横矢直和教授に厚く御礼を申し上げます．本研究の遂行にあたり，御助言，御鞭撻いただいたロボティクス講座 小笠原司教授に感謝致します．そして，本研究の全過程を通して御指導をしていただいた視覚情報メディア講座 山澤一誠助
教授に深く感謝致します．物心両面において御支援をいただいた視覚情報メディア講座

神原誠之助手に深く御礼申し上げます．研究活動の全過程を通して多くの御助言，御指導賜りました視覚情報メディア講座

佐藤智和助手に心より感謝致します．そして本研究のテーマ設定から本論文の執筆，その他多くの発表論文の添削，発表練習に至るまで数々の御助言，援助をしていただきました視覚情報
メディア講座池田聖氏に謝意を表します．実験機器の使用法を御指導していただきました視覚情報メディア講座

浅井俊弘氏に感謝いたします．

最後に，研究活動において常に御支援していただいた視覚情報メディア講座の諸氏に深く感謝致します．

ô

参考文献

 Zy¶ZÅ @HI  ´ Æ¶a !    «  !´ ]¶)·Ç Æ ª¬ª8    ´¹  Z¶È §    ´ÊÉ   ¤  HI¡ c@¥±H8Ë (     «±H8¡ !²   §±HIªI!¤¡!c    EFªIH  « «  c*    ª  H8¡  ¥¤  §!¦H   h  ´ÍÌ (    ¶m  RR   ¶º «c ¶\  È E   §±ª8  c¤    $ gÈ  ôô ú % ´± ¶ñF ÿ Cú ´  ô!ô ú"¶ a*¶   HÌ´ ¢¶p !§  ´2! a¶§Î ¼! «"±´É ²   @ª¬H8¡   © H8À  E  ¤   
¦H  h   §«hHI  ¡    H8¡  hHI±H    H  Fª  !¡!) u  ª  HI ¡´ÏÌ (   ¶!  R\ !    E¶! «h ¶!   H    ¤¡h   EFªIH  « $ ± !! % ´
 ¶ñ ò  C ò  ´  !!±¶  遠藤隆明，片山昭宏，田村秀行，廣瀬通孝， É 写実的な広域仮想空間構築のÌ¦  ª ¶Òú ， ±¶ñ ，ための画像補間手法， 日本バーチャルリアリティ学会論文誌，
 ¶I ÿ # ô  ，  !"¶   ¶< !HÌ´<! *¶§  !!´\É  ¥!¿c ¨ ! H     HI ¡¹  E!c*¤ 
C ¥  ¡   ¥«´Ë  ¾  ! HIÂE  H   h  ¥  .´ÍÌ   ¶Ð  ¤   ª    c¤    ÀHIH  .´¦  ª ¶ ô ´± ±¶ñ ´¿ ¶¬# ú#F ´  ô!ô "¶ g}¶ (  ª¬ª8@ @«´ )¶g* >¥.´ ¢¶ ÀR  ¡ !¤ © .´ Æ¶ ²  ¼ ¤±«  ´"!  ¶ À ¶ '   ª4´ÑÉ  ¥  
±H8hE  H  FªÅ       ¤  H       H8 ¡´ÏÌ (   ¶¢ (  ´¦  ª ¶Ú ô  ÿ ´ ¶ñ#C! ò ´  !¶ ò )Z¶ÒÐ¶² #¦HI  .´ÓÉ E ª 4 HIcHI¹¤±ª     ¤Rª  E ª¬H8  H  k!uc!±H8¡ © H  ¥ÀZH8
¡!ªIE!c  ±´ÏÌ (    ¶ ô  ¥ RRÅ  E¶  ± ¶"   h¤    À HI H  .´"¦  ª ¶Ò ´" ¶I !FE±# ´ F!±¶ ú 佐藤智和，神原誠之，横矢直和，竹村治雄， É マーカと自然特徴点の追跡に
Ìよる動画像からのカメラ移動パラメータの復元， 電子情報通信学会論文誌$ ²r   % ，¦  ª ¶ÒÐ ÿò ³²r³C ， ±¶IE ， ¶¬E±9E ， F!±¶ ÿ )Z¶Úá¶  c C ´~Ô ¶{   9¥ .´{  Å{¶ ¥¿ ¤c  !´ÇÉ   E ª 4 HIc  ! ¼    !
  ¼   ª8 !¤¡!c    E ª¬H  «´ÏÌ (   ¶y   ÖÕFRR  ¶¿ «h ¶   H  !  ¤¡h  

E ª¬H  « $  ±F! % ´¿ ¶Ú ò " ´ F!±¶ ô   ¶ À !>¥   H4´DÀ ¶  E¿  H  ´! ( ¶gÅ ¤´ÓÉ  ­§±H8±H8¡a¡!]!    ¤  rHI±   H  Ã r EFª 4 H8hg!¤     !² E!h    ! ¼ H8¡±´ÍÌ (    ¶y!  R\      E¶" «h ¶    H  À   ¤¡!c   E ª¬H  « $ ± !! % ´" ¶Ú ÿ C!ú ´  !!±¶ E ­y¶ ' ¤±Æ ¦.´  y¶Å @HI  ´pÉ  ¤  ¥ ! HI¡ !² ¥«y  c±H8 ! © E  !§±ªI{!¤¡!c  
! ¦H  ¤Fª  E ª¬H  «´ÍÌ (    ¶ºú ¥ R\   ¶ «h ¶   È E  !§±ª8  c¤    $ gÈ F! % ´± ¶I! ÿ F ò ´  !¶ ! ¶ (  @ª8c!.´`  *¶z ! !´JÉ     y   ¯  H¬¦"h¾!   H8ÂE  H  Åh  ¥  ¢ !
¥ ¯¹!U ! H      ¦  «´ÍÌ  >¥±HIE ª  ! e×  ô FC" ô ´  h¤    @H8 ²  C h  ´   ¡!HI  @ª¬ª   × ±H¬¦"  H  «´ ( H    §¤  ¡¥.´ (  ´ ² ­§¿  ô!ô ±¶    ¶pØ ¥ ¡´ Æ¶ ¤  ª8 ´ Z¶ ·   Âc!.´2! y¶ ¢¶0 @H  Â!´É  ¥ yc!¢ ! H  ¤  ¦!  «HI¡HIª¬ª8¤¹H8  H  =Ë × ±H¬ «HI¡Å  ¤  ¤  Ã      H  .´º¥   h  H8      ´¯ ¹¤±ª  H ¦"H8 ©       ´ÏÌ (    ¶ ô  ¥ R\   E¶  ± ¶   c¤    À H
 H  .´ ¶ ò  ÿ ò  ´¡]Ù  ¶¯ !¶ E aZ¶ÏÈ ¶dÅ H  Â¡ H8§§  .´! Z¶»Ø H8    c!.´ÓÉ  ¤   c  H8E c      ¦   «­ ! @ª   * yUH8c!¡!¹ £¤´ÏÌ (    ¶< ¥  ¤  ¿E!  ± ¶7   c¤    
À H8H  .´¦  ª ¶I ´± ¶Ú±!@³  ò ´  ôô!ÿ ¶ g·g¶ñy¶¯  © ¥@« ´ Î¹¶ ' ¤  ´ Ð±¶ ­¤  ¥.´¿! ¹¶j  ¼  ¥.´HÉ  ¤±ª  H ¦"H8 © ²   H8c H  N!k ±ªIHIE  H     c  @¥À  ¦!´ÏÌ (   ¶ÚR\~ÅÈ ! ¼  ¥      ¤±ª  H ÀHI ©
 @ª¬H8¡c   FªI«HI  zÀ HI ¤ ª  ´ ¶ñ"@C ÿ ´  ôôô ¶  Z}¶»* ¤  ¡ H4´ ]¶u ¤    ´  ¹¶  ¼  ¤!´1É  ! !   §! kc  ¥    2¯ C   ª7  H  H  ±HI¡h! ! HI    H  N uH    EFª 4 H8h) ±ªIHIE  H  º ! © E   §ªI  c¤    Ï´ Ì (   ¶PC\R   E¶R «c ¶`  È E   §ªI  h¤    ´{ ¶IE"úE ´ !±¶  ò  大江統子，佐藤智和，横矢直和，É 画像特徴点によるランド マークデータベーÌスを用いた動画像からのカメラ位置・姿勢推定， 電子情報通信学会技術研究e]×    ú ， ¶I ô C ，  !""¶報告， ( ú  松本高斉，大矢晃久，油田信一， É ')(  による相対位置計測にもとづく複数Ì
自律移動体の屋外ナビゲーション， ロボティクス・メカトロニクス講演会 ôô
講演論文集´  ( # F³  ô ，  ôô!ô ¶  ÿ  ¶ !@ªIªÌ´ ¶!² µ Hä ª¬ªIHI´ ! ·g¶  ¶  ¤±ªIªI  ´zÉ (     Fª±  H  H  ­cE  ¤  c  ¤
H8¡¹E    ¼  ±H8¡±´ÍÌ (   ¶ú ¥   E¶± «h ¶  È E   §±ª8  h¤    E´ ¶I òò 
FúF ´  !¶  ô  ¶Í¹¶ ! ¥.´zÉ    HI  ¡    H  ¹HIÀFH  § !  HI¡´ÏÌ C\R}  !  H        ¤h    H  N!  E  ¤  h  ´¦  ª ¶ñ" ´ ¶ ò ´ ¶IE ò ú#E"úF ´ F ¶ F gg¶! ª C ¥@HIZ« ´!! ¹¶ ( ¶Ò >¥ ©   Â!´=É HI  HI  H  H  ±HI¡H8  ¥  º±HIcH  ¤ HI¡¹  @¥  ª  ¡!«´ÏÌ (   ¶±R\P R ÀR¥±H8@ªI #¦H8¡  H  k!  ±    H   «  h  ±Á   $ À j ô  % ´ ¶Ú"úE ú! ´  ôô ¶ " 神原誠之，横矢直和， É 0 '*(  と慣性航法装置を併用したハイブリッドセ
e×]  Ìンサによる屋外型拡張現実感， 電子情報通信学会技術研究報告，( ò  ， ¶â ú#³ ÿ ， F""¶ ! Z)¶â]¶R Â¤c±´ÃÉ   ¤  ¦ @«  ) ¤¡h    EFªIH  «´ÏÌ   (  Ë  @ª8  y   ! 
!À H C ¤Fª  ¦H   c   ò ´  ´ ¶â E³ ÿ  ´  ô!ô ú"¶ F g*¶! ¤ ¼ FH4´ ! g¶ Ù]¥±H8 ¥±H4´pÉ  ¥    ¦  «    §±µ  ¥ ¯º ­E!c  ] ! H  ¤ HI¡l H8¡«   © H  ¥Ä¦HI  E c  l!Äl¡ «      ´ÍÌ (    ¶`ú# ¥C\R   E¶  ± ¶   c¤    À H8H   $   À  ô!ô"% ´ ¶ñFFC!ú ´  ô!ôô ¶  藤井博文，神原誠之，岩佐英彦，竹村治雄，横矢直和， É 拡張現実のためのÌ
ジャイロセンサを併用したステレオカメラによる位置合わせ， 電子情報通信
Q× ô!ô  ô  ，  !¶学会技術研究報告， ( ! Ø0¶ · ¤.´ ¹¶a× 9¥±H8Z¤  ±´ ·g¶  ¤.´r  Å{¶  !  ±´ÂÉ Å ¤ H    )¦HIH  .´ !² ¡ « 
!¡!  E!h  ¹±« hHI  ¡!HI    H  <´ÏÌ (   ¶.Fú# ¥   E¶  ± ¶  (        ¡±H  H   $  º( ³Ú! % ´¦  ª ¶Ú ´± ¶Ú""@³ F ´  !!±¶  ò  興梠正克，蔵田武志， É ウェアラブルカメラと慣性センサ群のデータ統合に
F 回複合現実感研究会 ´Ì基づくパーソナルポジショニング， 信学技報・第×  !"E ÿ  ， ¶ ò ú#Cú! ， F!±¶( Q*
 !ú Z)¶ Æ ¥  H8¡!  ´pÉ ¡!HI    H  a 2 ¤    !¤¡!c    E ª¬H  «a!±ªIHIE  H  ¤H8¡  c¤    ¦H8H    9¥±HI£¤R ¥"«§  HIc   ´ÍÌ (   ¶ C\R 
À H  ¤ ª E ª¬H  «    !´ ¶ñFC" ´  ôô!ô ¶  ÿ g²­¶" @ª  © ´±! y¶ H8¡!¥.´1É0Ù]  H8c ª¯   H  u  HI  H  u   ¦H8 ¤Fª. uHI C
 H8 ªhE! ¤  h  E´ÏÌ (   ¶ ò  ¥ RRÚ}È ¼  ¥      ±ª¬H8E  H      h¤   ÀH8H  .´ ¶âEF³± ô ´ F ¶  ô  安田明生， É ')(  の 現状と 展望，Ì 電子情報通信学会誌 ，¦  ª ¶ ÿ  ， ¶¬F ， ¶IFF"úEF"F ，  ôô!ô ¶ !  安田明生， É ')(  技術の展望，Ì 電子情報通信学会論文誌，¦  ª ¶ÛÐ ÿ  ³Æ ， ±¶I ， ¶ñ  ÿ EC  ô  ，  ¶ Z)¶VÎ¹¶  áFH4´É  ¢@½@H8  !Å ¤    h# c  ÃE ªIHI§    H    9¥±HI£¤h g²
 @¥±H8m¦"H8H  .´ÍÌ (   ¶\R  ± ¶   c¤    À HIH  u! (         ¡±H  H  .´ ¶Ú ò  ³ úF ´  ô!ÿò ¶    ¶¿·    H8´y! }¶7" ¥´.É    ­§±HI    !¡!a  E   ´ÍÌ (   ¶ ªI¦"@«Â
À H8H    ± ¶ ´ ¶¬E"ú# ´  ôÿ!ÿ ¶ !  栗田多喜夫，坂上勝彦， É ロバスト統計とその画像理解への応用，Ì 画像の認×] ! % 講演論文集，¦  ª ¶ À  ª ¶" ， ¶ ò #Cú  ，F¶識・理解シンポジウム $  ­y¶³¼ ¿´ ]¶`   ´`! g¶§Î{!¼! «´³É · H8¡!¥    ª8¤  H  Å   !¹H8À  ¦"H8¡!    H      ¦HI     E c £¤±H   §«    h±H8±H    H  Fªa¹¤±ª  H E!h   «  Ã´ÏÌ (   ¶ C\R_  E¶  ± ¶    ¤±ª  HI !Å ¤H  ¢!    ¡    H  ¨ !   @ªIª¬H8¡! r «  N´ ¶¬F!# ò  ´  !¶   g*¶{    ´ y¶ ³¼ ±´  g¶1Î !¼ «"´ÃÉ P H8H8E c  }   c      ¦  «   _¹¤±ª  HI±ª8PH8c!¡!R £¤2E   ¤  g§«*   h±H ±H    H   ª"­¤±ª  H E c   «  ÃÏ´ Ì (   ¶ ¤  yE!  ± ¶º   c¤    ÀH8H   $   À    % ´r¦  ª ¶ñ ´
 ¶â" ò ³   ´  !!±¶F