     

情報処理学会論文誌

画像特徴点の数え上げに基づくマルチベースラインステレオ
佐

藤

智

和Ý

横

矢

直

和Ý

本論文では，マルチベースラインステレオ法における高速な奥行き探索を実現するための新たな評価尺度を提案する．提案手法では，画像上の輝度値情報を直接用いず，画像特徴点の座標の幾何学的な整合性のみから奥行き値を算出することで，高速かつ省メモリな奥行き探索を実現する．また，は遮蔽による影響を受けにくいため，従来の一般的なを用いる手法に対して遮蔽にロバストな推定を実現
による奥行き推定は，その推定原理から注目画素に対する正しい奥行き値よできる．ただし，りもむしろ三次元空間中の特徴点位置に対応する奥行き値を算出するため，奥行き推定精度がに対して若干劣る場合がある．そこで本論文では更に，によって高速に推定された奥行き値をによって再探索することで，効率的かつ高精度な奥行利用し，大幅に限定された探索範囲内をき推定を実現できることを示す．なお，本論文では，動画像撮影時のカメラの位置・姿勢パラメータ
およびカメラ内部パラメータは推定済みで既知とする．

             








              Ý    Ý! "" ""  # !   $ "! %! &   !
    '' (    $  "! "  #& ")  &   $  "   $   $ %! ! %*  +   ,# &  "$!- "!     %! " $ &   !    '' ! !#     #     ! $ ! "" ! .
 "!  $     %! % "   !$!  #  !  .     "!  - !   &  
"!  % !   &   !     "   ! ""%  !% !   &  "!      &   $  
!     !  /" - ! #&   &   $!
    ! & !       
テレオ法における対応点探索のあいまい性を低減し，

 はじめに

奥行き推定精度を向上させるという特長を持ち，現在

ステレオ画像計測に基づく奥行き推定は，三次元形

広く利用されている また，近年のカメラキャリ

状復元，物体認識，拡張現実感等に用いられており，

ブレーション手法の発展により，自由な移動を伴ってコンピュータビジョンの分野において最も重要な課題撮影された動画像や，広範囲に配置された複数のカメの一つである．このため現在においても，ステレオ画

ラによって撮影された画像群に対しても，マルチベー像計測に基づく奥行き推定法は広く研究されている．

スラインステレオ法の適用が行われている ．なか

本論文では，これらステレオ画像計測に基づく奥行でも，移動を伴って撮影した動画像を用いる手法 

き推定手法の中でも，複数の画像を統合的に扱うことでは，長いベースラインを容易に確保することができで，比較的精度の高い奥行き推定を実現できるマルチ

るため，カメラ間の距離に対して撮影対象までの距離

ベースラインステレオ法について，新しい手法の提案が相対的に長くなる屋外環境の三次元モデリングに適を行う．

している．しかし，このような屋外環境を対象とする

 らによって提案されたマルチベースライ

場合，従来手法で用いられてきたマルチベースライン

ンステレオ法  は，複数の画像を一度に扱うことでス

ステレオの評価尺度

 

では，以下

のような問題が発生する．
奈良先端科学技術大学院大学 情報科学研究科

 遮蔽物の影響による誤推定の発生 あるフレーム   に撮像されている対象物体が，他のフレームにおいて      0  

情報処理学会論文誌

遮蔽されている場合，に遮蔽物と対象物体に関する類似度評価値が加えられてしまうため，対象物体の正しい奥行き値を算出することが困難となる．
 計算コストの増大 動画像を入力とした場合には，一度に多くの画像を用いて奥行きを推定することで推定精度の向上を図ることが可能となるが，その反面，計算コストや必要メモリ容量の増大といった問題が発生する．また，上記の問題

 に対する改善策を推定手法に加えると，奥行き推定における計算コストの問
題はさらに深刻化する．
このような問題を回避するため，本研究では，図

図に示すような画像特徴点を用いる新しい奥行き推定手

画像特徴点の検出例(A) Detection of interest points

法を提案する．本論文で提案する奥行き推定手法の基(B) Depth estimation for interest points

本的な枠組みは，一般的なマルチベースラインステレオ法と同一であるが，従来用いられてきたの代(C) Elimination of outliers

わりに，画像特徴点の数え上げに基づく新しい評価尺度      を用いる

図

ことで，画像の変形や遮蔽にロバストな奥行き推定を

奥行き画像推定の処理の流れ を用いて算出される奥行き値実現する 本手法の基本的なアイデアは， 三次元空う問題があるが，間中に特徴点が存在する場合には各画像への投影座標を用いて探索範囲を限定した上で周辺に特徴点が存在する という仮定に基づいている．

探索を行なうことで，低い計算コストを維持したまま

これにより，マルチベースラインステレオにおける奥

高精度な奥行き推定を実現できることを示す．

行き探索時に，各画像上への投影座標に最も多くの画

以下，本論文では，まずによる精密な 章において本研究に関連

像特徴点が存在する点を探索することで奥行き値を決が深い特徴点を利用したステレオ法と三次元復元手法

定する．図に関する従来手法，およびマルチベースラインステレ

理の流れを示す 本手法では まず全ての入力画像上オ法に関する従来手法を概観し，本研究の位置づけに に，提案手法による奥行き画像推定の処で画像特徴点を検出する   次に 新しい評価尺度 を用いたマルチベースラインステレオ法によって画像特徴点の奥行き推定を行う   最後に，推定結果の信頼度を算出することで誤推定結果を排除する



ついて述べる．続いて， 章において本手法の基礎とを用いる従来のマルチベースラインステレ

なるオ法について解説する．

る．また， 章では，提案手法を用いることで，従来手法で問題となる二定処理であるステージ 新 は遮蔽物による影響を受けにくく
ロバストな奥行き推定を実現できる  特徴点の数

章では，マルチベースライ

ンステレオに用いる新たな評価尺度!

"

 を提案す を用いた実際の奥行き推 からステージ  についつの問題を解決することができる．すなわち，て詳述する． 章では，シミュレーションおよび実環

たな評価尺度境を用いた実験結果を示し，提案手法の有用性を示す．

を数え上げるだけで奥行きを決定できるため省メモリで計算コストが小さい．ただし，本手法においては画像上で特徴点が存在する位置においてしか奥行きを算出できないという手法上の制約が新たに発生するが，一般的な屋外環境の三次元モデリングなどの分野にお#最後に， 章でまとめと今後の課題について述べる 関 連 研 究

特徴点を用いたステレオ法と三次元復元手法に関する従来研究

奥行き画像推定に関しては，古くから

 眼や  眼いては，特徴点間の奥行き値は補間で十分な場合も多ステレオ画像に関する様々な手法が提案されてきた．

い．また，本研究で提案する

これらの手法は，画素ごとの輝度値の差と滑らかさの は高速かつロバス

トな奥行き推定を実現できるという特長を持つ反面，制約によって定義される誤差関数を最小化することで$%&'  法，注

注目画素に対する正しい奥行き値よりもむしろ三次元

密な視差マップを生成する

特徴点に対応する奥行き値に近い値を算出するという目画素周辺のパターン類似度を用いて視差を決定する特性を持つため，精密な奥行き決定能力に乏しいとい&'  法，エッジ形状等の特徴情報を用   

1

画像特徴点の数え上げに基づくマルチベースラインステレオ&'  法，に大 眼・ 眼ステレオ法のなかでも本

いて対応点を決定する

い．また，一般的にはカメラのキャリブレーション誤別できる．これら差によって投票結果がボクセル空間内で分散するため，研究に深く関連するのは，画像上のエッジ等の特徴点

ボクセル空間における物体の存在判定に用いる閾値をを利用することで，頑健な奥行き推定を行う

適切に決定することが難しく，推定誤差の抑制と形状&'  法   である． &'  法

欠損のトレードオフの問題が残されている．これに対では，まず濃淡エッジ等の特徴点を各画像から検出し，して，本研究では特徴点数が最大となる点を探索する

検出された特徴点同士の対応関係を特徴点周辺におけことで奥行きを一意に決定するため，奥行き探索におるテクスチャやエッジ形状を手がかりに決定する．本

いて特別な閾値が必要ないという特長がある．

研究では，

&'  法と同様に特徴点を他方，

,   による手法  では，用いた探索を行なうことで高速で頑健な奥行き推定を

複数画像上の画像特徴点を対応付けることで，カメラ目指すが，特徴点の画像上での位置以外の情報 テクに対する特徴点の三次元位置だけでなくカメラの位置

スチャやエッジ形状 を用いず，特徴点位置の幾何学関係をも推定することができる．提案手法においても，的な整合性のみから奥行き推定を行うという点で，こカメラキャリブレーション手段の一つとしてれらの手法とは一線を画するものである．
また，同様にエッジ特徴を用い，多数の画像から三( ($$  &

次元復元を行う手法として，

) 解析による手法

,  を想定しているが，画像上での追跡が難しい特徴点については三次元位置が推定されず，得られる三次元点群は比較的疎なものとなる．このため，が挙げられる．この手法で,   で得られる三次元点群を奥行

は，カメラの光軸に対して垂直方向に等速にカメラをき画像推定や屋外三次元モデリングにそのまま利用す移動させて得られる画像系列に対して，画像面の横軸ることは難しい．

 軸で展開される ( 画像を作成し，(*)+ 変換によって直線検出を行うことで

と時間軸の
画像から



マルチベースラインステレオ法の改良に関す
る従来研究

複数画像におけるエッジの対応点を探索し，奥行きを前章で述べたように，本研究の基礎となる従来のマ推定する．また，類似したアイデアとして，等速回転

ルチベースランステレオ法では，遮蔽による誤推定のする回転台上の物体を撮影した動画像から問題が発生するが，現在までに誤差関数を作成し，輝度値が一定の値をとる( 画像 カーブを投票によって検出することで三次元復元を行う手法  が出方法を改良することでこの問題の回避を試みる手法が複数提案されている．

 ら は，マルチ

では，撮影対

ベースラインステレオ法にアダプティブウインドウ 

象に対するカメラ運動の規則性を利用して三次元復元を用いることで遮蔽境界付近における奥行き推定精を行っており，カメラの動きに制約が生じる．これに度の向上を図っている．

提案されている．これらの手法

 

の算

算出時において算出される

対して，画像上の特徴点の動きからカメラの運動パラ( による手法が前提としている規 ら や -) ら  は，から類似度のとして用いるこ

メータを推定し，高い半数のみを選択し，新たに則的なカメラの動きからの逸脱を補正する手法  もとで，遮蔽による影響を軽減する手法を提案している．

提案されているが，光軸方向に関するカメラ移動の補 ,+ ら  は，一般に $+ ,,. と呼正は原理的に難しく，本研究が扱う自由なカメラ移動

ばれるような，対応点における画素の輝度値の分散をに対して適用できるものではない．

最小化する指標をこのような*)+ 変換による三次元復元の枠組みい，-) らに代わる評価尺度として用の遮蔽の判定手法と組み合わせる手を，より一般的なカメラ運動に対応させた手法として法を提案している．また，この手法ではカメラキャリ

は，川戸  による空間への投票に基づく手法が挙げ

ブレーションの誤差を考慮し，評価関数の算出に用いられる．この手法では，カメラ位置・姿勢をキャリブる投影位置を画像毎に 近傍にシフトすることで奥行レーション済みの画像系列に対して，エッジ情報をボ

き推定誤差の低減を図っている．このように，従来提

クセル空間に投票し，投票数を基準とした閾値処理に案されているマルチベースラインステレオ法の拡張手

よって三次元形状を推定している．また，ボクセル空法は，画像上での輝度パターンを評価尺度として直接間をオクトツリーとして表現することで，計算量の削減を図っている．しかし，広域な屋外環境を対象とした場合には，ボクセル表現による三次元形状の復元は計算コストが膨大になるという問題があり現実的でな&'  法に近い枠組みで構成されており，本論文で提案する &' な手法とは全く異なるものである．本研究では， &' 法で用いられてきた特徴点位置の情報をマルチ
比較する

2

  

情報処理学会論文誌

epipolar line

(xz , yz , z )

を用いた奥行き推定

本節では，従来のマルチベースラインステレオ法のW

基本原理を概説し，移動撮影された動画像を対象としWた場合の問題点を明らかにする．従来のマルチベース

WW

j-th frame

k-th frame(x , y )(xˆi , yˆi )f-th framei-th frameによって

ラインステレオ法では，

図  注目フレームにおける画素     の三次元位置と各画像上への投影直線

 枚の画像上における一定サイズのウインドウ

内のパターン間の類似度を評価し，これらの総和を最小化する

ことで画素   の奥行き値  を決定する．第レームにおける画素   と，第  フレームにおける/ / 周辺のパターンの非類似度

画素   
ベースラインステレオ法の枠組みで利用することで，効率的な奥行き推定を実現する．

 類似度計算に基づくマルチベースラインス
テレオ

いる座標系に関する定義を行う．次に，通常の類似度を用いたマルチベースラインステレオ

評価尺度

法  の基本原理について概説する．


 0
 



移動を伴って撮影した動画像に対するマルチベー
スラインステレオ法では，図1   1  ただし，    は第



フレームにおける画素  

/ / は式  によって算出される三の輝度値を，   

次元座標    の第  フレーム画像上への投影座の総和

以下のように定義される

 に示すように，第フレームにおける画素   の奥行き値  を第  フ
レームから第  フレームまでの画像を用いて推定する/ 1  / 1  

標を表す．また，

座標系の定義は，以下のように定義される

 

本章ではまず，マルチベースラインステレオ法で用

 





0



 

は





 



 以下では，記述の簡単化のために，カメラの焦点距離を  とし，レンズ歪み等はカメラ内部

一般的なマルチベースラインステレオ法では，パラメータを用いて補正済みであるものとする．このる．ただし，

とき，第フレームにおける画素   の奥行き値 に対応する三次元位置は，第フレームのカメラ座標系において    と表現される この三次元座標   は，以下の式によって第  フレーム上の画/ / に投影される


/

 /    0    

像座標   ただし， は媒介変数である．また， は第フ

 に示すように，マルチベースラインステレオ法においては，三次元座標/ /の大域最小解を得るためには，対象物体が存在すると考えられる範囲内で奥行き値を網羅的に探索する必要がある．
ここで，第フレームにおける画素   上に撮像されている物体が，第  フレームの画像上において他

似度

 
 

   の第  フレームへの投影座標    は，各  フレーム間の非類

 は大きな値をとる．これに伴って，

 も大きな値となるため，真の奥行き値 において

メラ外部パラメータ  は，何らかの手法によって画像上においてエピポーラ線上に拘束される．

フレームにおける画素   の奥行き値  を決定す

る真の奥行き値  に対応する第 の変換行列を表す．本研究において，カ

推定済みで既知としている．図を最小にする奥行き値を一次元探索することで，第の物体に遮蔽されている場合には，画素   におけ

レームのカメラ座標系から第  フレームのカメラ座標系へのフが大域最適解とはならず，遮蔽が発生する場合には正しい奥行き値を推定することが困難となる．このような問題を解決するためには，各フレームに対して算出される分のみの和をの中から類似度の高い半として再定義することが有効であるが，計算コストが大幅に増加するという問題が残されている．

   

3

画像特徴点の数え上げに基づくマルチベースラインステレオ

 特徴点の数え上げに基づくマルチベースラ
インステレオ
本章では，一般的なマルチベースラインステレオ法の枠組みを基礎として，画像上の特徴点の数え上げを

画像特徴点の検出 では，画像の拡大・縮小や回転に対して頑健に画像特徴点を抽出可能な * オペレーステージ

タ  を用いることで，各入力画像上の輝度エッジの交点やコーナなどの画像特徴点を検出する．
 

,+'

* オペレータは，画像の幾何学行うことで高速に奥行きを推定する手法について詳述

らする 一般に，三次元空間における物体の角や交点お的な変形操作を行った場合に，他のインタレストオペ

よび物体表面のテクスチャにおける特徴的な点 三次レータに比べて，同じ位置に画像特徴点が検出される

元特徴点 は，撮影画像上においても輝度エッジのコー再現度が最も高いオペレータであるとされている* オペレータでは，入力画像上の座標

ナや交点として観測される．このような画像特徴点は，* オペレータ  や 23, オペレータ  を用いることで容易に検出することができる

本研究では，三次元特徴点の各画像への投影座標において，高い頻度で画像特徴点が検出されることに着目し，以下の新しい評価尺度
き値  を一次元探索する．

    0 を最大化する奥行   / 1  / 1 によれば，  の特徴量 / 1  / 1  0

の勾配





0



  を用いて以下に示す行列




Ü







を算出する．


を用いて，特徴量 "を以下の式により算出する．

 4 5  4 5 
 +! 
5 4 !%

において，画像上の輝度一定の大きさの正方形窓 4   "  / 

算出のために，まずガウシアン

オペレータによる入力画像の平滑化処理を行う．次に

この行列

 


0

0 



!

 は，画素   の奥行き値  に対応する各画像/  / 付近に存在する画像特徴点の上での探索位置  

¾#

ただし， はオペレータの感度を表し，本研究では経験的に 

0 55" を用いる．本手法では，画像内の全ての画素において特徴量 を算出した後に，一定サイズのウインドウ内で特徴量 が極大値となる点を画像特徴点として検出する．本ステージでは，総数を表している．ただし，一般に画像特徴点の検出

動画像の全てのフレームの画像に対して画像特徴点のには検出誤差が生じるため，本手法では特徴点検出の座標を求める．

誤差を考慮した一定サイズのウインドウ



内に存在

ステージ

する特徴点を数え上げる．
の代わりに を用いて奥行き値  を探索 による奥行き推定に対して

 では，検出された全ての画像特徴点
 を最大化する奥行き章で定義したすることで，計算コストのかかる類似度評価を省略すをそれぞれ探索することで，全ての画像上で粗な奥行ることができる．加えて，遮蔽が起こった場合においき画像を算出する．ここで，奥行き値  を決定するたても，の場合とは対照的に，それが直接の値に対する大きなペナルティーとはならないため，

めには，あらかじめ設定した範囲内での網羅的な探索が必要となるが，本研究では効率的な探索を実現する

正しく奥行きを推定することが可能となる．

ために，奥行き値  の探索ステップ  を可変とし，探 動画像からの密な奥行き画像推定

索位置に応じて変化させる．具体的には，三次元位置

 に示した密な奥行き画像推定の各ス
テージについて詳述する 本研究では，まず全ての入力画像上で画像特徴点を検出する   次に  を本章では，図   と  

1     1    1  を結ぶ線分 に対し，各画像上で観測される線分  の長さの最大値が一定の画素幅となるように探索ステップ  を適宜決 に基づく奥行きの探索では，画像の輝定する．

用いた奥行き推定により，各画像の特徴点位置での奥行き値を算出する  最後に，複数フレームでの奥行き推定結果を用い，奥行き推定の整合性によって定義される信頼度を用いることで，誤推定結果を排除す
る





近年，数倍程度のスケール変化を伴う画像変換に対しても頑健に画像特徴点を検出可能な  特徴        が提案されているが， によって検出される画像特徴点は輝度エッジのコーナや交点から比較的離れた位置に検出される特性を持つため，本研究では   オペレータを採用している．

  情報処理学会論文誌

z correct
zTNIP
zP

Sf
zf

pf

Si

zi

P

Interest point:di (x)

Interest point

pi

x

x

i-th frame
f-th frame
図  誤推定結果の排除

i-th frame

f-th frame

x̂ i

x'

図   による奥行き推定の誤差要因

度情報は必要なく，代わりに特徴点の画像座標が必要

やロバスト性が重視される衝突回避等の一部のアプリとなる．これにより，計算機に同時に保持すべきデー

ケーションでは，

タの必要メモリ容量は，例えばそのまま利用することができる．一方，高精度な奥行6 グレースケール
76 となり，省メモリかつ高速な奥行推定を実現できる．ただし， を用いた奥行き推定

画像に対してでは，その推定原理からに対して奥行き推定 によって得られる奥行き値を によって推定さき推定が要求される場合には，れた奥行き値  を用いて，限定された探索範囲     

1  に対して再度精度が劣る場合がある．この理由について以下に詳述を用いた探索を行なうことで，推定結果を高精度化すする．

ることが可能である．ただし， は

図に示すように，本論文で提案する

 は，三索範囲を決定するための定数であり，ここでは奥行き次元空間中に存在する特徴点  の各画像上への投影値

位置  

囲内を

 周辺に検出される画像特徴点を数え上げることで奥行き推定を行う．
き推定を行う第とし，注目点 では，奥行フレームの画像上の特徴点を注目点と第フレームの投影中心を結ぶ直線上において奥行きを探索するが，画像特徴点の検出
位置には誤差が含まれるため，注目点と  の投影位置  は必ずしも一致しない．このとき，図 によって推定される奥行き値 

すように，

に示


による探



に対応する探索ステップ幅  の定数倍の範により再探索するものとする．

よる探索を

に

 の後処理として行う場合には，画像の輝度値情報をメモリに保持しておく必要があるためにおいて探本手法の省メモリ性は失われるが，索すべき範囲は大幅に限定されており，手法の効率性が損なわれることはない．また による奥行き推

定では，特別な処理なしに遮蔽に起因する局所解を回避できることから，による再探索処理によってに対する真の奥行き値  ではなく，高精度かつロバストな奥行き推定を実現できる．これ

特徴点の三次元位置  に対応する奥行き値  に近いらについては，後述するシミュレーション実験によっ値となってしまう．これは，三次元空間中の特徴点位ても有効性を示す．

は，注目点置に対応する奥行き値付近で評価値が大きくなるという

従来の二眼ステレオ法においては，左眼・右眼画像

誤推定結果の排除 の特性に起因しており， と注目点 が特徴点の検出誤差よって一致しない場合には， ををそれぞれ基準として得られる視差を相互に検証するに対する正しい奥行き値を算出するこことで誤推定結果を排除するアプローチが一般的に用による奥行き推定では，注いられてきたが，本研究においても，各入力画像を基

目点を中心とする画像パターンを用いて奥行き推定を準として算出された奥行き推定結果の整合性を検証す行うため，このような問題は発生しない．

ることによって誤推定結果の排除を行う．ここでは，

用いて注目点とが難しい．一方，

ただし，一般に特徴点位置の検出誤差は最大でも数 によって得られる奥行き画素程度であるため，
値



は，真の奥行き値  に対して大きく異なるものではない．また，奥行き値 
点



は注目

付近に写る三次元空間中の特徴点までの奥行き

 枚の画像における奥行き推定結果の整合性につ! に示すように，第 フレームの画
素 0   において推定された奥行き値を  ，こ0      ，まれに対応する三次元位置をまずいて述べる．図た三次元位置

を第  フレームに投影した画像上

0 /  / とする．このとき，画素 

値  に近い値であると考えられる．よって，画素単の座標を 

位での厳密な奥行き推定精度よりも処理コストの低さ

における奥行き推定値  から算出される三次元位置   

6

画像特徴点の数え上げに基づくマルチベースラインステレオ

0  /   /      を用いて，元の画像上へ 0     を算出することで， 枚の画


の投影位置

像 ， における奥行き推定結果の整合性を画像上で0     によって評価する．本研究で

の距離 
は，第

フレームの奥行き推定に用いた全ての画像

 を用い 距離 となる割合 

が一定の閾値  以下

を以下の式によって算出することで，

 "  

奥行き推定値  の信頼度を評価する．

0 54 

4 
1
 



本ステージでは，

図



6

10m

plane 1が一定の閾値  を下回る奥行

10mのfirst frame

投影位置  の大半において特徴点が存在するため，
において推定済みの奥行き値  を直接利用可能であlast frame

2 5m



5m

plane 2

き推定結果は信頼性が低いと判断し，削除する．なお， を用いた奥行き推定では，図 ! における

 "  0

対象物体として用いた平面のテクスチャ

るが，投影位置  に特徴点が存在しないフレームや，ステージ においてmiddle frameを用いた推定精度の高精度化を行う場合には， が既知ではないため を算出できない．そこで，本手法では  が直接利用

camera path
図

シミュレーションにおける平面の配置とカメラの動きできない場合には，周辺の特徴点に対する奥行き推定
結果を線形補間し，整合性の判定に用いる．

 実

験

本章では，

 を用い の組み合わせによる推定を用いた推定手法，

た推定手法，と*89 手法 を計算機シミュレーショ

手法 以下，

 7        

図  仮想カメラで撮影された  枚のシミュレーション画像の一部ンを用いて比較することで，それぞれの手法の特性を; 枚の画像の一6 に示す．同図から分かるように，カメラの移明らかにする．また，広域な屋外環境において奥行きた．仮想カメラによって撮影された画像を生成できることを示すために，屋外を撮影した部を図

実画像を用いた実験結果について示す．

動によって画像上でのテクスチャの見え方が大きく変

計算機シミュレーションによる定量的評価実験

以下では，まず本シミュレーション実験に用いる実験条件について述べる．次に，  および*89 手法で用いる最適なウインドウサイズを予化し，また動画像後半の画像上では$  が $ によって遮蔽されている．本実験では，カメラの内部および外部パラメータのキャリブレーション誤差を考慮するために，三次元特徴点の投影位置に対して標備実験によって決定し，最後に各手法を詳細に比較

準偏差  を持つガウスノイズを付加し，これに加えてする．

投影座標を画素単位に量子化した．また，奥行き値は，



実験条件



本実験では， 枚の平面を仮想空間内に配置し，仮:" 5  65 画素 でそれらを撮影することで，入力画像を作成した． 枚の平面のテクスチャとしては，図 " に示すように，自然物である草の模様 $  と人工物である繰り返しパター
ンのタイル模様 $  を用いた 実験に用いた平面の配置とカメラの動きを図 # に示す 仮想カメラは円弧を描くよう  度刻みで動き，; 枚の画像を撮影し想ビデオカメラ 解像度

全ての入力画像上の画像特徴点に対して基準フレーム
を変えながら算出した．その際，探索フレームは基準
フレーム以外の全ての入力画像とした．その他，本実験に用いた閾値を表 に示す．

ウインドウサイズの決定 および式 ! で用いる最適なウインドウを決定するための予備実験について述べる この実験
式

では，前項に示した条件を用いてウインドウサイズを変えながら奥行き推定を行い，出力に占める誤推定の8  

情報処理学会論文誌

sl 1
exip 0.8gn 0.6ih
tca 0.4
m0.2
da
bf 0
o
tea
R

SSSD
TNIP
HYBRID で最良の結果となる  ウイ

これに対して，ンドウによって推定された結果を用いて探索範囲を限を用いて再探索を行なう

定した上で，

;

*89
*89

手法についても図 に結果を示した．なお，
1
x
1

3
x
3

7
x
7

σ = 0.0

5
1
x
5
1

1
3
x
1
3

1
x
1

3
x
3

7
x
7

σ = 1.0

5
1
x
5
1

1
3
x
1
3

1
x
1

3
x
3

5
1
x
5
1

7
x
7

σ = 2.0

手法に対する同図の横軸は

1
3
x
1
3

手法を用いた場合には，全ての特徴点の奥行き推定結果に対する誤推定の発生率   画素割合を用いて最適なウインドウサイズを決定する．ここでは，特徴点に対して出力された奥行き値に関しフレームの画像上に投て，対応する三次元座標を第影した座標   と，真値に対応する三次元座標を第フレームの画像上に投影した座標   の差の平均 !
を算出し，画像上での平均誤差 ! が一定の画素を超える推定結果の発生率を検証する．

!

0 




   

*89

ウインドウサイズを表している．同図から，Window size and noise level図を用いた再探索時の; は推定に用いた画像の枚数であり，本実験では  0 ; である．また，この実験では ! 節で述

イズをで用いるウインドウサ#  # に設定することが適切であることが分かる．また，全体での平均的な誤推定の発生率に関して，*89 手法は単体での推定結果と同程度の推定精度である．

表  に，異なるウインドウサイズを用いた場合の，
 画素の奥行き算出に要した平均時間を示す．ここでは入力として全 ; 枚の画像を用いており，計算時間は  <: & = 5>*? '
2.: > を用いた場合の値である 表から，
  画素 単体を用いた場合には，##
画素 を用いる手法に対して約 ; 倍程度高速に奥行き推定を実行できることが分かる．また，*89 ##画素 は，## 画素 に対して ! 倍程度高速で

ただし，ある．各手法の詳細な比較については次項で述べるが，べた誤推定の自動排除は行わない．

同程度の精度で効率的に奥行き推定を実現することが図; に，様々なウインドウサイズを用いて得ら5

れた特徴点の奥行き推定結果に対して， ! が  画*89 手法を用いることで，平均的にはとできる．なお，本実験においては，評価関数以外の奥行き探索の枠組みおよび実装は同一のものを用いてい素以上となる推定結果を誤推定となみした場合の誤推るため，粗密探索法等の高速化手法を奥行き探索の枠定の発生率を示す．同図から，組みに組み込んだ場合においても，計算コストに関すサイズる優劣が逆転することはないと考えられる．

 ではウインドウ

   画素を選択した場合に最も良い結果が得

られるが，

表

で誤推定率が最小となるウインドウ# # 画素の結果と比較して !  5 画素となる誤推定の発生率が高いことが分かる．! 節で述べたように， 単体による手法では，奥行き推定をサイズ+  +  ,
&

#$%&

画素の奥行き算出に要した平均時間 )ミリ秒*



".
"
"


/!"/

 

"!





--

"/

! !
!"
"
("

 
!
/ "/
( "

行う注目画像上での特徴点の検出誤差が奥行き推定精度を低下させてしまうという問題があるため，比較的精密な奥行き推定精度を要求する !

 5 画素の場合において，誤推定の発生率がよりも高い．

 手法による推定

精度の比較
前項の予備実験において決定したウインドウサイズ

表

シミュレーション実験に用いた閾値 奥行き推定の閾値
奥行き探索範囲
 〜! 探索ステップ  の
画像上での最大幅" 画素

#$%& 手法における

再探索範囲決定係数 ' 誤推定排除の閾値
投影誤差の閾値
" 画素
信頼度の閾値(:  画素: ## 画素 *89 : ##画素 を用いて，各手法の出力を詳細に比較する．ここ@@ を，
 とそれ以外の領域  9 にでは，奥行きの推定対象となる全領域 領域
遮蔽が発生する領域

分け，それぞれの領域に対する画像上での誤差 ! の割合を，誤推定の排除前・排除後に分けて検証する．
なお，本実験では奥行き推定に用いる半数以上の画像

 とする．
5  に，領域 @@ に対して推定された奥行き

上で遮蔽される領域を遮蔽領域
図   
sl 80000
ex 70000
pi 60000
edt 50000aim
ts 40000
e 30000
ht
pe 20000
df 10000oreb 0 SD ID IP
S R N
S YB TmHu
σ = 0 .0
N

画像特徴点の数え上げに基づくマルチベースラインステレオ
E>=10.0
2.0<=E<10.0
1.0<=E<2.0
E<1.0

5 画素となるような大きな誤推定結果がどの手法においてもおおむね排除されており，! 節で述べた誤推定の排除手法が有効であることが分かる．ただし，

0 5 画素 においてノイズレベルが大きい場合 は，どの手法においても誤推定排除前の推定精度が悪
D
S
S
S

ID
R
YB
H

IP
N
T

σ = 1 .0

D
S
S
S

ID
R
YB
H

IP
N
T

σ = 2 .0

Before outlier detection

D
S
S
S

ID
R
YB
H

IP
N
T

D
S
S
S

ID
R
YB
H

IP
N
T

いため，正しく推定結果の信頼度を判定することが難

σ = 2 .0

しく，結果として高精度な出力まで誤推定と判定して

IPNT

σ = 1 .0

σ = 0 .0

D
S
S
S

ID
R
YB
H

After outlier detection

排除されている．特に

 全領域 9::

sl 8000
ex 7000
ip 6000
edt 5000aim
ts 4000
e 3000ht 2000
epd
fo 1000
D D
P
D DP
erb 0 DS DRI PNI
I
I
I
I
S R
S R
N
N
S
S
S
S YB TS YB TS YB Tm
H
H
Hu
σ = 0 .0
σ = 0 σ = 0
N
1.

2.

Before outlier detection

e>=10.0
2.0<=e<10.0
1.0<=e<2.0
e<1.0

1.

2.

Before outlier detection

による再探
を若干上回

*89 手法では，

次に，図5  , に，遮蔽領域  および遮 9 に対して推定された奥行蔽領域を除く領域

き値に対する誤差 ! の内訳を示す．先に述べた領域

D
S
S
S

D
I
R
B
Y
H

P
I
N
T

σ = 0 .0

D
S
S
S

D
I
R
B
Y
H

P
I
N
T

σ = 1 .0

D
S
S
S

D
I
R
B
Y
H

P
I
N
T

σ = 2 .0

After outlier detection

@@ に占める領域  の割合は  割程度であるため，  に対するグラフの縦軸が他のグラフに対して 5 倍の表示スケールとなっていることに注意が必要であるが，同図  , の比較から，領域  ではによる大きな推定誤差の発生率が高いことが確

e>=10.0
2.0<=e<10.0
1.0<=e<2.0
e<1.0 単体または  を*89 手法では，領域  において認できる．これに対して基礎とするも他の領域と同程度の推定精度を維持しており，本論文で提案した による評価尺度では，遮蔽による影響に対して比較的ロバストに奥行き推定を実現でき
D
S
S
S

ID
R
B
Y
H

IP
N
T

σ = 0 .0

D
S
S
S

ID
R
B
Y
H

IP
N
T

σ = 1 .0

D
S
S
S

ID
R
B
Y
H

IP
N
T

σ = 2 .0

After outlier detection  遮蔽領域以外の領域 (;図できる奥行き推定結果が少ないが，索を利用する

る数の高精度な出力を最終的に利用できる．

 遮蔽領域 (''sl 80000
ex 70000
pi 60000
edt 50000aim
ts 40000
e 30000
ht
pe 20000
df 10000oreb 0 D ID IP
D ID IPD ID IP
S R N
S R N
S R N
S B
S B
S B
m
S Y T
S Y T
S Y T
u
H
H
H
N
σ = 0 .0
σ = 0 σ = 0 単体では，最終的に利用ていることが分かる．
以上のことから，本論文で提案した

 による手法は，効率的かつ遮蔽に対してロバストな奥行き探索を実現できるが，単体での利用においては精密な奥行

領域ごとの推定誤差の内訳

 とき推定には向かない．しかし，による値に対する誤差 ! の内訳を積み上げ棒グラフで示す．

探索手法を組み合わせることで，少ない計算コストを

縦軸は，推定された奥行き値の個数を表し，各項目は維持したまま従来手法と同程度の推定精度を実現可能

前述の推定誤差 ! の大きさによって分類されている．

である．

! 節で述べた誤推定排除手法の有また，横軸には，

無，ノイズレベル  ，用いた手法の別を示してある．



屋外環境における奥行き画像推定  に示す，>.9,+@'.) を用い，大学キャンパスを動きながら撮影した．図  
本実験では，図 左から，領域 @@ に対する誤推定結果の排除前において，高精度な推定結果 !  5 画素 のと *89 で同程度であるが，これに割合は対して  単体ではどのノイズレベルに対しても高精度な出力の割合が低い．しかし，!  55 画素となる大きな推定誤差の発生率については  が大きにく劣るといったことはなく，逆にノイズレベルが大きが放射状に配置されており，各カメラユニットはそれ同図に基づく，各カメラユニットの位置・姿勢の関係を示@'.) には水平方向! つ，上向きに  つの合計 " つのカメラユニット

す．同図から分かるように，と同程

度またはそれ以上の高精度な推定を実現している．

実験において，各カメラの内部パラメータおよびマルに勝る．このため，による推定結果を初期値として一定範囲内をよって再探索する図に，マルチカメラシステムのキャリブレーション結果#"6  5 画素の画像を ! $ の動画像として
 に示す " 枚を含め 555 枚 !55 フレーム である．本い場合には が社製の全方位型マルチカメラシステム*89 手法では，に5  右の誤推定の排除後のグラフからは，! 

ぞれ

同期撮影できる．入力として用いた画像は，図チカメラシステムの位置・姿勢パラメータは，それぞ  

情報処理学会論文誌

 " #%図 "" 図

 #% #

  #%

入力として用いたカメラパス /

1 55 フレームまで  フレームおき "5" 枚 5

全方位型マルチカメラシステム 0' 

フレーム の画像内に存在する特徴点を利用した．ま での奥行き探索およびた，に用いたウインドウによる再探索のサイズは，前節の実験結果

  画素 #  # 画素に設定し，奥555 から 65555 とした．ス
テージ  では，! 節で述べた信頼度の閾値   をそれぞれ 5 画素，5 と設定し，奥行き推定結果のに基づきそれぞれ行き探索範囲は整合性に基づいて信頼度の低い結果を削除した．その! 割の奥行き推定結果が誤推定として排除され，最終的に  画像あたり平均約 #55 点  フ
レームでの合計平均約 55 点 の奥行き推定結果が結果，全体の約得られた．これは，奥行き推定の前段で用いた特徴点
追跡によるカメラパラメータ推定 によって得られ66 点  フレームでの合計平均約 !5 点 を大幅に上回っており，,  に基づく手法の一つである手法 に対た特徴点数の画像あたり平均図



入力動画像系列のフレーム

して比較的多くの特徴点の奥行きを推定可能であるこれトータルステーションとマーカボードによるキャリ
ブレーション手法 および基準点と自然特徴点の追とが分かる．
図

 に，図  に対応する画像特徴点の位置および，奥行きの推定結果を輝度値に変換したものを示す．

に，奥行き画像推定に利用したカメラシステムの移動

また，各画像中から 点ずつ無作為に選択された つパラメータを示す．図中の曲線および錘台はそれぞれ，の特徴点 図跡による手法 によってあらかじめ推定した．図

図

 左上の画像に対応するカメラユニットの移動の5 フレーム毎の姿勢を表している．事前" 参照 に対する，奥行き値算出時の および再探索時のの値を，図 ! に示す．の値を表すグラフにおい

軌跡および

ただし，再探索時のに行った評価実験から，得られたカメラパスの推定精て，縦軸に平行な実線は

度は，位置に関して平均誤差

奥行き値を，破線は再探索によって算出された奥行き

均誤差値を表す．同図中!5，姿勢に関して平55# 度であり，利用したカメラパスの長さは; である ．

!
*89 手法 で奥行き画像を生成した．まずステージ  において，各入力

このような入力データを用い， 章で述べた手順による再探索を含む

 によって算出された のグラフから，いずれの画像

特徴点においても，正しいと思われる奥行き値付近で が最大値をとっており，それ以外の奥行き値で に明白なピークは見られない．よって，これらの点においては  を用いることで比較的ロバ
は画像上において画像特徴点を検出し，続いて，ステー

ストに奥行きを決定できている．また，

ジ

再探索では，

 では， によるマルチベースラインステレオ法によって，各画像特徴点の奥行き値を算出した．
本実験では，第フレームに存在する画像特徴点の奥行きを算出するために，第 55 フレームから第による$ を除き  で得られた奥行き
値付近に明白な局所最小値が見られるため， によりの探索範囲が適切に限定されていることが$ では分かる．

値の変化が比較的小さい   

図



図



パノラマ展開した全方位動画像の

60

60

60

40
20

TNIP

80

TNIP

TNIP

図
80

40
20

0
40000

60000

80000

20000

80000

0

5000

60000

4000

SSSD

80000

30000
20000

40000
20000

0
12000

13000

14000

15000

depth [mm]

18000

19000

20000

TNIP

60

TNIP

80

40
20

60000

80000

の整合性やエッジ情報等を用いた三角分割手法   

20000

40000

60000

80000

の導入を検討する必要がある．
0

20000

depth [mm]

2000

80000

9000

10000

depth [mm]



1000

9000

10000

depth [mm] "  2
図

SSSD

4000

SSSD

12000008000

 "  3

40000

60000

80000

depth [mm]

3000

8000

所が見られる．これを解決するためには，テクスチャ

00depth [mm]07000

るため，本来とは異なる奥行き値が算出されている箇

40

6000

2000

12000

20

0
40000

11000

  "  1

60

11000

0
18000

19000

20000

21000

22000

depth [mm] " $ がコントラストが低く広範囲に分布する地面のタイルのテクスチャを指しているためであり，

 ま と め
本論文では，画像特徴点の数え上げに基づく新たな40000

奥行き探索における  値と再探索時の & 値

が，これは

# に示す．図 " と図 #

ここでは画像特徴点を頂点とする三角分割を行ってい10000

depth [mm]

80

20000

像を極座標展開したものを図係が良好に復元されていることを確認した．ただし，

0
9000

60

0

80000

2000

80

20

60000

3000

 "  0

40

40000

の目視による比較から，大半の領域で奥行きの前後関

depth [mm] "  

0

20000

1000

0
17000

生成された全方位奥行き画像

depth [mm]

40000

SSSD

SSSD

60000

depth [mm]

10000

TNIP

40000



に，奥行き値の内挿処理によって生成された奥行き画

00

depth [mm]

SSSD

40
20

0
20000

フレーム

図 / に対する奥行き推定結果

80

0



画像特徴点の数え上げに基づくマルチベースラインステレオ$ の  値には明確なピークが見られ を用いたマルチベースラインステレオ は，従来から用いられや  のような画像間の類似度評価を
てきた
評価尺度

法を提案した．評価尺度

必要としないため，多数の画像を用いた場合にも比較的高速に奥行き画像を生成可能である．また，誤差関数が遮蔽による影響を受けにくいため，遮蔽に頑健な による奥行き推定手法は，画像上への平均投影誤差が  画素以内

奥行き推定を実現できる．ただし，ることから，奥行き探索範囲の限定自体は適切に行わとなるような精密な位置決め精度でれていると考えられる．

法に劣るため，本論文では とを用いた手を組み合

最後に，推定された疎な奥行き画像をパノラマ展開

わせることで両者の問題を解決する手法についても提し，奥行きに関する補間処理を行うことで，密な全方案した．提案手法は特に，長いベースラインを必要と位奥行き画像を生成した．ここでは，まずする屋外を対象とした動画像や，全方位型のカメラをの三角分割法.

を用いることで，入力画像を画像特用いる場合のように，画像上での見え方や照明条件が徴点を頂点とする多数の三角形に分割し，次に三角形

フレーム毎に異なる入力に対して大きな効果があり，の内部を画像特徴点の奥行き情報を用いて線形補間す

実環境を対象とした実験では，実際の屋外を対象としることで密な奥行き画像を生成した．図た全方位画像系列からの奥行き推定が可能であること から得られた全方位画像を極座標展開したパノラマ画像を図 "を示した．また，シミュレーション実験においては，

0

情報処理学会論文誌

 の特性について明らかにし， とを組み合わせることで，従来手法と同等の推定結果を!

倍程度高速に算出可能であることを示した．今後は，推定された多数の奥行き画像を統合することで屋外環境の三次元モデル化を行う．

参

考 文

献

 2  '  -': A 2$& B (((   &. ' 2,+ ), C!  $$!D" ;;   -) E  F  G, ' -': A 2  . H+,3  ' 9& ) ,&
IB ,     $ C& $$66D; ;;!   -) ' 9 ?: A& , 9,3. ) ', 2& B  E  $ C& C!  $$"#D6 ;;#
F G+) 8 -) 8 ++ ' 8: A9 $+&$ ( ) I, H+ ,  $& B ,     )
,) C $$#" D#"# 555
!   2 -  8. ' * &: A  & 9,,   &' , . *''&  <) *'&+' C' B  E $ C C # & $$;D;
55" 2  8 -. '  : A$  )+  9,3 ,J, ' ' +  ,B E  $ C C # &$$"D# 55
# * * : A(') '  &B , ) <'') F+$$$"6D#! ;65
6 F ( @ >: A$ (%$& H+  K&'  )+B
(((    . ' 2,+), C#  $$#D  ;6!
;  ' 2   *. '  @:ACH .+ . , (') 2,+)'  B ) ' C $)
C6 ; $$#;D# 6 555
5 山本正信: A連続ステレオ画像からの３次元情報の抽出B 電子情報通信学会論文誌
 CE";& ! $$ D" ;; 9   * *  '  * 2:A($$&$ ) .:  $$,+ ) ,  2B   

E  $ C C  $$#D!! ;6# 2  '  ): A +$ 9,3&
.  9) J, <) F)+' C) $,&$ )B ,     9,) C $$ #;5D#;
555
 中川雅朗 斎藤英雄 小沢慎治: Aハンディカメラを用いて撮影された画像列からの ( の補正に基づく室内環境三次元再構築B 電子情報通信学会
論文誌&  CE6 &   $$""D#!
55
 川戸慎二郎: A空間への  段階投票による  次
元情報の抽出B 電子情報通信学会論文誌& 
CE##& &  $$ D  ;; !  ))  2,@,+ 9 *. ' 
K?): A' 'J &  2'.+B ,  F+$  C &)+ $$;6D# ;;;
" 2  '  -': A @,.
'$3 F'H  ) 2,+)B E  $ C C# 
$$ D" ;;
#   -) 9 ? ' E +: A*&') ,,   2&3H B
(((    $ C ' 
9,) C $$5D5 55
6 2  ,+ > @  ' K +&$): A  + +,  + 
  2& &3B ,+ 2,+ C  , C
$$";#D#5" 55 ;  * ' 2 $+: A ' ' (') ,B , 3. C&   $$ #D! ;665 * 23,: AH' , C &, 3',B ,  E    &L, ), $!6  ;##  ,+' 9 2+ '  ,+): A(3&    ,B  E&  $ C C #   $$!D# 555  > @H: A ,3 ) K , 3 -.$B  E $ C C"5  $$ ;D5
55   >. 9,+ ,: A@'.)B+$:77HHH$).,7  '   '  8.: A*)+& , 23 > C'  ,I' .  ',
2&, .B , (((    2 K ' )  &) . $$!!D"5 55   

画像特徴点の数え上げに基づくマルチベースラインステレオ

! 佐藤智和 池田聖 横矢直和: A複数動画像からの佐藤 智和（正会員）

;;; 年阪府大・工・情報工卒．55

全方位型マルチカメラシステムの位置・姿勢パラ
メータの推定 電子情報通信学会論文誌

B
& 
CE66& &  $$ #D!# 55!
"  *, (': >$+, > C $$ #D!; ,',  ;; 
#   2 '  -': A)&,  , )B , (((   $ C '  9,)& C $$D6 555
6  J 8 ). ' - -:A2+ $? )  ,,. '&, $B ,     &$ C C $$ 6D! 55!
平成  年  月  日受付
平成  年  月  日採録

1

年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．現
在，同大情報科学研究科助教．コンピュータビジョンの研究に従事．

55 年電子情報通信学会学術奨励賞受賞．電子情報通信学会，((( 各会員．
横矢 直和（正会員）

;# 年阪大・基礎工・情報工卒．
;#; 年同大大学院博士後期課程了．
同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データ
ベース，コンピュータビジョンの研;6"〜6# 年マッギル大・知能機械研究センター客員教授．;; 年奈良先端科学技術大学院大究に従事．

学・情報科学センター教授．現在，同大情報科学研究

;;5 年情報処理学会論文賞受賞．工博．電科教授．

子情報通信学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，

((( 各会員．