(57)【要約】【課題】誤対応(アウトライア)にロバストで、かつ演算負荷が軽い形で自車の運動量を推定することの出来るステレオ画像処理装置の提供【解決手段】捕捉時刻の異なる２枚の画像中で共通に表示されていると判断される特徴点を多数抽出し、それらを互いに対応付けて、両画像間の対応点と推定する処理を実行する手段、車両の仮の自車運動量を演算して、仮の基礎行列を演算推定する手段、仮の基礎行列から、対応点除去部により多数抽出された各対応点について、エピポール誤差を演算することにより、多数抽出された対応点から、大きな誤差値を有する対応点を誤対応点として除去する手段、誤対応点が除去された多数抽出された対応点に基づいて、基礎行列を推定し、当該推定された基礎行列から、前記車両の自車運動量を演算推定する手段、推定された車両の自車運動量及び誤対応点が除去された対応点を用いて、特徴点の３次元座標を推定する３次元座標推定手段から構成される。【選択図】    図１
2007256029.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された１台のカメラにより経時的に捕捉された複数の画像を用いて、該車両周辺の３次元座標を推定取得するステレオ画像処理装置において、
捕捉時刻の異なる２枚の前記画像中で共通に表示されていると判断される特徴点を多数抽出し、それらを互いに対応付けて、両画像間の対応点と推定する処理を実行する対応点推定手段、
前記車両の仮の自車運動量を演算して、仮の基礎行列を演算推定する第１の基礎行列推定手段、
前記仮の基礎行列から、前記対応点推定手段により多数抽出された前記各対応点について、エピポール誤差を演算することにより、前記多数抽出された対応点から、大きな誤差値を有する対応点を誤対応点として除去する誤対応点除去手段、
前記誤対応点が除去された前記多数抽出された対応点に基づいて、基礎行列を推定し、当該推定された基礎行列から、前記車両の自車運動量を演算推定する第２の基礎行列推定手段、
前記推定された車両の自車運動量及び誤対応点が除去された対応点を用いて、前記特徴点の３次元座標を推定する３次元座標推定手段、
を有するステレオ画像処理装置。
【請求項２】
前記第１基礎行列推定手段は、
前記対応点推定手段により推定された多数の対応点の中から、ランダムに８個の対応点を選択抽出する対応点抽出手段、
前記選択抽出された対応点に対応する基礎行列を推定し、当該求められた基礎行列に対応する仮の自車運動量を推定する仮運動量推定手段、
前記対応点抽出手段による８個の対応点の抽出をＮ回繰り返し、そのたびに前記仮運動量推定手段により、当該抽出された８個の対応点に対応する仮の自車運動量を推定させる、繰り返し演算手段、
前記繰り返し演算手段により演算された、Ｎ組の仮の自車運動量に基づいて、最も確からしい前記仮の自車運動量を選択し、当該選択された自車運動量に対応した基礎行列を、仮の基礎行列と演算推定する、仮基礎行列推定手段、
を有する、請求項１記載のステレオ画像処理装置。
【請求項３】
前記車両に装着して自車の運動量を検出することの出来る自車運動量センシング手段を設け、
前記第１の基礎行列推定手段は、前記自車運動量センシング手段により検出された自車運動量から、前記仮の基礎行列を演算することを特徴とする、請求項１記載のステレオ画像処理装置。
【請求項４】
前記第１基礎行列推定手段は、
直前の時刻の、前記第２の基礎行列推定手段により演算された前記基礎行列を現時刻における仮の基礎行列として利用することを特徴とする、請求項１記載のステレオ画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられたカメラにより捕捉された画像を用いて、車両周辺物の３次元座標を取得するステレオ画像処理装置に係わり、特に１台のカメラで得られた画像から自車両の運動量および周辺物の３次元座標を計算するに好適なステレオ画像処理装置に関する。
【背景技術】
【０００２】
従来から、車両にカメラを搭載し、車両前方や後方の画像を撮影し、車両周辺の環境を３次元的に認識するシステムが開発されている。カメラで３次元座標(距離)を測定する方法としては、２台以上のカメラを利用するステレオ視(以後、複眼ステレオとする)が一般的であるが、１台のカメラでも、時間的にずれた別視点から撮影された複数枚の画像を利用することによりステレオ視が実現できる。これは一般に、単眼ステレオ、モーションステレオ、SfM(Structure
from Motion)などと呼ばれる。単眼ステレオを実現するには、空間的に移動したカメラ間の幾何学的位置関係(移動距離および回転)が必要となる。複眼ステレオの場合、カメラ間の位置関係は事前にキャリブレーションをしておけば済むが、単眼ステレオの場合、カメラ間の位置関係(カメラ移動量、エゴモーション)は毎回異なるため、そのつど計算する必要がある。
【０００３】
カメラの移動量を計算する方法としては、例えば、車輪の回転を検出する車載センサから出力される車輪速パルス情報を利用して、カメラを搭載した自車量の移動量を計算して求める装置が知られている（例えば、特許文献１参照）。また、路面に属する対応点の移動状態を示すフローを利用して、カメラを搭載した自車量の移動量を計算する方法も知られている（例えば、非特許文献１参照）。
【０００４】
また、フローを利用せずに計算する手法も知られている（例えば、非特許文献２参照）。また、同平面に属する４個の対応点を利用してホモグラフィー行列を利用する手法も知られている（例えば、特許文献２参照）。また、８個以上の対応点から基礎行列Ｆを求め、カメラ間の幾何学的位置関係を計算する方法も知られている（例えば、非特許文献３及び非特許文献４参照）。
【０００５】
更に、誤フロー(アウトライア)の影響を排除し推定精度を向上させるために、RANSAC(RANdam SAmple Consensus)と呼ばれる手法を利用することも知られている（例えば、非特許文献５参照）。これは、例えば図１１に示すように、全体のフローから8点(あるいは8点以上)をランダムに選択し基礎行列Fを計算することをＮ回繰り返し（図１１のステップＳＳ１からＳＳ５）、得られた複数個のＦの中から最善と思われるものを選択する（図１１のステップＳＳ６）手法（あるいは、ある評価量が事前に設定したしきい値以下になるまで繰り返し演算する手法）である。
【０００６】
【特許文献１】特開２００１−１８７５５３公報
【特許文献２】特開２００４−１９８２１１公報
【０００７】
【非特許文献１】T.Suzuki(Toyota),T.Kanade,'Measurement of Vehicle Motion and Orientation using Optical Flow', IEEEconference on ITS, 1999
【非特許文献２】GideonP.Stein(MobileEye) et al, 'A Robust Method for Computing Vehicle Ego-motion'
【非特許文献３】金谷健一, '画像理解-３次元認識の数理-',森北出版, ISBN4-627-82140-9
【非特許文献４】徐剛,'写真から作る３次元CG', 近代科学社, ISBN4-7649-0286-9
【非特許文献５】山口(豊田中研)他、‘車載単眼カメラによる前方車両の障害物検出’、情報処理学会研究報告、2005.11
【０００８】
図１２は、従来における、基礎行列Ｆの求め方を示す処理の一例を示す図。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、車載センサを利用して、カメラの移動量を計算する方法では、信号誤差の蓄積により計算される移動量が不正確なものとなりやすく、また、計算された移動量とカメラ画像との同期が取りにくい、更に、車載センサでは垂直方向(ピッチ等)の回転量の検出が困難などの問題がある。
【００１０】
路面に属する対応点の移動状態を示すフローを利用する方法では、そもそもどこが路面(平面)かの判定が難しい、という問題がある。
【００１１】
更に、基礎行列を用いた手法では、路面や平面の仮定を用いる必要がない利点があるが、１部の対応点に大きな誤差が存在する場合、動物体に属するフローが含まれる場合などに精度が大きく劣化する欠点がある。
【００１２】
そこで、図１２に示すような誤対応点にロバストなRANSACのような手法を用いる場合、誤対応点を排除するための評価量としてエピポーラ誤差を求めることが一般的である。しかし、エピポーラ誤差の計算量は、対応点の数に比例して大きくなる傾向があり、しかも、図１２からも分かるように、最良の行列Ｆを選択するために、エピポール誤差の計算を、対応点をランダムに選択する度に行う必要があり（図１２のステップＳＳ５参照）、合計Ｎ回もの膨大な量の計算を行うこととなる。これでは、車載用の小形のＣＰＵでは、その演算能力に問題が生じ、現実的ではない。
【００１３】
本発明は、上記した事情に鑑み、誤対応(アウトライア)にロバストで、かつ演算負荷が軽い形で自車の運動量を推定することの出来るステレオ画像処理装置を提供することを目的とするものである。
【課題を解決するための手段】
【００１４】
自車運動量の推定に、基礎行列Ｆを用いる手法を使う。誤対応へのロバスト性を向上させるために、RANSACを用いて仮の基礎行列を推定する第１基礎行列推定手段（６）と、第１基礎行列推定手段（６）で得られた仮基礎行列（Ｆ）を利用して誤対応点を除去する誤対応除去手段（７）と、誤対応除去手段（７）で誤対応点が除去された対応点を全て用いて高精度な基礎行列（Ｆ）を推定する第２の基礎行列推定手段（９）を備える。
【００１５】
また第１の基礎行列推定手段（６）では、演算負荷の高いエピポーラ誤差計算を行う代わりに、自車両の仮の自車運動量の推定値を用いて仮の基礎行列（Ｆ）を推定する、より負荷の軽い手法を用いる。
【００１６】
さらに、車輪速センサ等の自車運動量センシング手段（１１）からの情報を利用し仮の自車運動量が得られれば、第１基礎行列推定手段（６）の演算量が大きく削減ができる。
【００１７】
また、直前の時刻に得られた自車運動量の演算に基づいた基礎行列（Ｆ）を、現時刻の仮の基礎行列（Ｆ）としてもよい。
【発明の効果】
【００１８】
基礎行列（Ｆ）の推定を、第１基礎行列推定手段（６）と第２基礎行列推定手段（９）の２段階化することで、誤対応にロバストな構成となる。
【００１９】
また第１基礎行列推定手段（６）で、複数の基礎行列中から１つを選択する際の評価量として、通常利用されるエピポーラ誤差値の代わりに仮の自車運動量を用いた場合には、演算量を大きく削減することができ、車載用に適したステレオ画像処理の提供が可能となる。
【００２０】
また、仮の基礎行列Ｆを推定する際に、自車運動量センシング手段（１１）などからの車輪速センサ情報などを利用したり、前時刻に得られた基礎行列（Ｆ）を利用した場合には、第１基礎行列推定手段（６）の演算負荷が限りなく0になるため、さらに全体の演算量を大きく削減できる。
【００２１】
なお、括弧内の番号等は、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。
【発明を実施するための最良の形態】
【００２２】
以下、図面に基づき、本発明の実施例を説明する。
【００２３】
図１は、ステレオ画像処理装置の一例を示すブロック図、図２は、ステレオ画像処理装置の別の例を示すブロック図、図３は、ステレオ画像処理装置の更に別の例を示すブロック図、図４は、自車運動量推定部での処理の一例を示すフローチャート、図５は、自車の並進移動量と回転移動量の座標上の関係を示す図、図６は、基礎行列推定の際の、演算された並進移動量とヨー回転角度を２次元座標上に表示した状態を示す模式図、図７は、図６の投票結果から作成される距離行列の模式図、図８は、図７の距離行列から仮の基礎行列を決定するための処理を示すフローチャートの一例、図９は、図８の処理の結果、最終的に求められた行列を示す模式図、図１０は、図６と同様の処理を、並進移動量とヨー回転角度を格子上に区切られた２次元座標上に投票することで行う場合の一例を示す図、図１１は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図である。
【００２４】
車載用のステレオ画像処理装置１は、図１に示すように、車両に固定的に搭載された一台のカメラ２を有しており、該カメラ２には対応点推定部３が接続している。対応点推定部３には、自車運動量推定部５が接続しており、自車運動量推定部５は、対応点推定部３に接続された第１基礎行列推定部６、誤対応点除去部７及び第２基礎行列推定部９を有している。第２基礎行列推定部９には、３次元座標推定部１０が接続している。なお、図１のカメラ２以外の、対応点推定部３，自車運動量推定部５及び３次元座標推定部１０は、ＣＰＵを有するコンピュータが、例えば図４に示す処理のフローチャートに基づいて作成されたプログラムを実行することにより、仮想的に実現される機能を模式的に表示したものであるが、各部を半導体などの集積回路を用いたハードウエアとして構成しても良い。
【００２５】
ステレオ画像処理装置１は、以上のような構成を有するので、１台のカメラ２で捕捉した画像から、当該画像に捕捉された物標などの対象物の３次元座標を演算推定するには、まず、カメラ２を用いて、時々刻々変化する車両周辺の状況を撮影する。カメラ２により捕捉された画像は所定のフレームレート(単位時間あたりに撮影する枚数)で記録され、図示しないメモリに格納される。
【００２６】
例えば車両前方に取り付けられたカメラで、一定時刻ごとに車両周辺の画像を撮影取得する（図１１）。
【００２７】
次に、図４に示すステップＳ０に示すように、対応点推定部３は、公知の手法を用いて前記カメラで得られた撮影（取得）時刻の異なる２枚の画像を比較して、両方の画像で共通に表示されていると判断される点（画像の一部）を特徴点（任意の点で可）として多数抽出し、それらの特徴点を異なる画像間で互いに対応付けて両画像間の対応点と推定する処理からなる、対応点の推定処理を行う。これは一般的にオプティカルフロー推定(あるいは単にフロー推定)と呼ばれるものであり、KLT(Kanade Lucas-Tomashi)法がよく利用される。フローの例を、図１１に示す。図１１からも明らかであるが、フローは１時刻前の画像と現時刻における画像間で、特徴点が移動した軌跡である。
【００２８】
次に、第１基礎行列推定部６は、後の第２基礎行列推定部９で使用するための、仮の基礎行列Ｆを推定する処理を、図４に示すステップＳ１からＳ８において行う。ここでは、負荷の軽い基礎行列演算を繰り返し実施し、得られた複数の基礎行列Ｆの中から最も適当な基礎行列を仮基礎行列Ｆとして選択する。以下に処理の内容を説明する。
【００２９】
図４のステップＳ１に基づいて、自車運動量推定部５の第１基礎行列推定部６は、対応点推定部３により推定された多数(通常数百以上)ある対応点の中から、ランダムに８点を選択抽出する。ここで、第１の画像における点
【００３０】
【数１】
2007256029.tif 000003
と画像２における点
【００３１】
【数２】
2007256029.tif 000004
が対応しているとする。ここで上付きのTは転置、u(u’)は画像のx座標、v(v’)はy座標を表す (座標値は、演算精度を高めるために後ほど正規化される)。3番目の要素の1は、計算の便宜上ここに入っている。選ばれた対応が正しい場合、（１）式を満たす(実際は量子化誤差、ノイズ等のために右辺はかならずしも０にはならない)。
【００３２】
【数３】
2007256029.tif 000005
【００３３】
【数４】
2007256029.tif 000006
ここで、Ｆは基礎行列と呼ばれる。次に、第１基礎行列推定部６は、図４のステップ２に入り、（１）式を、（２）式に示すような連立一次方程式に変形する。
【００３４】
【数５】
2007256029.tif 000007
【００３５】
【数６】
2007256029.tif 000008
【００３６】
【数７】
2007256029.tif 000009
第１基礎行列推定部６は、図４のステップ３に入り、（２）式の連立１次方程式を解いてfを求め、ランダムに選択抽出された８個の対応点についての基礎行列Ｆを推定する。ただし数値演算の誤差を減らすために、座標値の正規化を行った後に解く(この正規化は最後に戻す必要がある)。正規化についての詳細は前述した非特許文献４に記載された公知の技術なので、ここではその詳細な説明は省略する。
【００３７】
未知パラメータ９個に対し方程式が８個なので、未知パラメータの比のみ求まる。ここでは、||f||=1などの拘束を加えて解く。||・||はベクトル・のノルムを表す。
【００３８】
基礎行列が求まった後、第１基礎行列推定部６は、図４のステップ４に入り、通常は、求められた基礎行列Ｆのランクを２に補正する処理を行う。これは、基礎行列Ｆはランク2の拘束があるが、上記で得られた基礎行列は一般にそれを満たさないためである。
【００３９】
前述したように、ランダムに８個の対応点を選択し、連立１次方程式を解いて基礎行列Ｆを推定するまでを１セットとし、これを複数回(ここではN回とする)繰り返す。これは一般にRANSACと呼ばれる。そして複数個得られた基礎行列Ｆの中から最も適当なものを選択する。選択方法としては、一般的には、エピポーラ誤差を各対応点について計算し、その総和が最小のものを選択する手法などが利用される。しかし、このエピポーラ誤差の計算は、既に説明したように全ての対応点について計算する必要があるため、演算負荷は対応点数に比例して大きくなる。そこで、本発明では、対応点数に依存しない負荷の軽い手法を用いて、最良の基礎行列Ｆを選択する処理を実行する。
【００４０】
即ち、本発明では、エピポーラ誤差を計算する代わりに、毎回、基礎行列Ｆから、当該基礎行列Ｆを求める基礎となった２枚の画像が取得された間に生じたカメラ２の運動量（従って、自車の運動量、これを、以後、「仮の自車運動量」と称する）の推定値、並進移動量・回転量の推定値（これを、以後、「仮の並進移動量・回転量」と称する）を求める(図４のステップＳ５からＳ８)処理を行う。この仮の並進移動量・回転量の成分を求める演算量は、エピポーラ誤差の演算量に比較してずっと少なく、また対応点数に関係なく１回の演算で済む利点がある。
【００４１】
基礎行列Ｆから、仮の並進移動量・回転量を求める方法について、以下に簡単に説明しておく。
【００４２】
即ち、仮の並進移動量を、
t=[Tx,Ty,Tz]T、
仮の回転量を、
【００４３】
【数８】
2007256029.tif 000010
とする。
【００４４】
Tx,Ty,TzはそれぞれX,Y,Z軸方向の仮の並進移動量、θ、ψ、φはぞれぞれ、ヨー回転
(Y軸周りの回転)角度[rad]、ピッチ回転(X軸周りの回転)角度[rad]、ロール回転(Z軸周りの回転)角度[rad]である(図５参照)。図５において、軸及び回転の向きは仮のものであり、任意の構成が可能である。
【００４５】
まず、図４のステップ５に基づいて、第１基礎行列推定部６は、（３）式の計算により基本行列Ｅを推定する。ここでＡはカメラ内部行列と呼ばれる3×3の行列で、カメラの焦点距離、画角、光軸点などの情報から得られる。カメラ内部行列に関する詳細については、非特許文献５などに記載された公知の事項なので、ここではその説明を省略する。
【００４６】
【数９】
2007256029.tif 000011
ここで得られた基本行列Ｅと仮の並進移動量tの間には（４）式で表す関係がある。
【００４７】
【数１０】
2007256029.tif 000012
Rは回転行列と呼ばれる3×3の行列である。式(4)中の×は外積演算で、ベクトルの外積は（５）式のように表される。
【００４８】
【数１１】
2007256029.tif 000013
ここで、図４のステップ６に示すように、仮の並進移動量tは、EETの最小固有値に対応する固有ベクトルとして求まるので、特異値分解等の手法を利用してこれを求める。
【００４９】
次に、（６）式を計算する。
【００５０】
【数１２】
2007256029.tif 000014
ここでei(i=1,2,3)は基礎行列Eのi列目のベクトルであり、
【００５１】
【数１３】
2007256029.tif 000015
である。
【００５２】
次に、図４のステップＳ７に入り、行列Ｋを（７）式のように分解(特異値分解)する。ここで、U、VとDはそれぞれ3×3の行列である。
【００５３】
【数１４】
2007256029.tif 000016
すると、回転行列Ｒは（８）式の計算で求めることができる。
【００５４】
【数１５】
2007256029.tif 000017
回転行列Ｒの各要素(r11,..,r33)とヨー回転角θ、ピッチ回転角ψの間には（９）式の関係がある（ここでは簡単のため、ロール角φは０としている）。
【００５５】
【数１６】
2007256029.tif 000018
これから、第１基礎行列推定部６は、図４のステップＳ８で、仮のヨー回転角θ及び仮のピッチ回転角ψを（１０）式から求める。
【００５６】
【数１７】
2007256029.tif 000019
atan2(y,x) 関数はy / x
の逆正接を計算する。なお、行列Ｒの符号は、ヨー回転角θ、ピッチ回転角ψは±９０度以上にはならない、という仮定を利用して(車両はカメラ２の１ピクチャーフレーム間にそれほど大きくは回転しない)、事前にr11が正の値を取るように補正しておく。
【００５７】
また、ここで得られる仮の並進移動量tは大きさが1に正規化されているものとする(sqrt(Tx^2+Ty^2+Tz^2)=1)。なお、以上示した、基礎行列から仮の並進移動量・回転量を求める方法は１例であり、他の手法を用いても構わない。
【００５８】
ステップＳ１からステップＳ８をＮ回繰り返した後、第１基礎行列推定部６は、図４のステップＳ９に入り、こうして得られたN組の仮の自車運動量、例えば仮の並進移動量tと仮の回転量rの中から最も確からしい仮の自車運動量、例えば仮の並進移動量tと仮の回転量rを有する（最良）の基礎行列Ｆを選択し、その選ばれた基礎行列Ｆを仮の基礎行列として、次のステップに渡す。以下に、具体的な方法を記す。
【００５９】
即ち、第１基礎行列推定部６は、ステップＳ６及びＳ７で得られたＮ組の仮の並進移動量tと回転量rのうち、例えば前進成分Tzとヨー回転成分θを取り出し、その結果を２次元座標上に置く。すると、図６に示すように、確からしい(Tz,θ)の組み合わせ付近に答えが集中する。
【００６０】
次に、答えが集中している箇所から１つ値を選択する。具体的な手法例のフローチャートを図８に示す。まず図７に示すような、距離行列ＤＭを作成する。これは、行列中の各要素が、各点間の距離を持つN×N行列である。例えばA行B列には点Aと点Bとの距離|AB|が入る。例えば、|AB|=sqrt(α(Tz(A)-Tz(B))^2+(1-α)(θ(A)-θ(B))^2)などとする。Tz(A)、θ (A)はそれぞれ点AにおけるTzおよびθの値を表す。なお|BA|=|AB|である。ここでαは適当な定数であり、Sqrtは平方根を表す。
【００６１】
次に、距離行列ＤＭの各行の総和を求める。
【００６２】
次に、総和が一番大きい行に対応する点を除去する。仮に点Bに対応する行の総和が最大値を取る場合、点Bを除去する。すると、距離行列のサイズは(N-1)×(N-1)となる。上記処理により、他の点から孤立しているような点から順次取り除く。また、上記比較する値は、行の総和の代わりに、中央値のような別の評価値を利用しても構わない。
【００６３】
上記の処理を、図９に示すように、距離行列ＤＭのサイズが2×2になるまで繰り返す。
【００６４】
そして最後に残っている２点のうちどちらかを選択し、その並進・回転成分の導出に用いた基礎行列Ｆを、仮の基礎行列Ｆとして、図４の次ステップＳ１０に入る。あるいは、最後に残った２点に対応する基礎行列の平均値を仮の基礎行列としてもよい。
【００６５】
なお、図６〜図９のような処理を行う代わりに、得られた仮の並進移動量tと回転量rのうち、例えば前進成分Tzとヨー回転成分θを取り出し、図１０に示すように、予め格子状に区切られている２次元座標上に投票するようにしてもよい。投票結果の様子を図１０に示す(黒い方が投票値が大きい)。そして、投票数が一番大きい格子に属する中から適当に抽出し、対応する基礎行列を仮の基礎行列Ｆとする。あるいは、格子に含まれる仮の並進・回転成分に対応する全ての基礎行列の平均値を仮の基礎行列Ｆとしてもよい。
【００６６】
なお、自車運動量として前進成分Tzとヨー回転成分θの代わりに、別の組み合わせ(例えばTxとψ)、あるいはより多くの組み合わせ(例えばTzとθとψ)を利用しても構わない。また、並進・回転成分の代わりに、基礎行列Ｆから求まるFOE座標値を用いて同様の処理を行ってもよい。
【００６７】
こうして、第１基礎行列推定部６により、仮の基礎行列Ｆが求められたところで、対応点除去部７は、図４のステップＳ１０に基づいて、
エピポール誤差の計算を行う。
【００６８】
図４のステップＳ１０において、対応点除去部７は、得られた仮の基礎行列Ｆと対応点推定部３で推定された対応点を用い、（１１）及び（１２）式のエピポール誤差error[i](iは対応点番号)を各対応点について計算する。ｄ２()は「各点とその対応するエピポーラ線との間のユークリッド距離の二乗」を表しており、一般的に利用されている評価量である。詳細は非特許文献５などに譲る。
【００６９】
【数１８】
2007256029.tif 000020
【数１９】
2007256029.tif 000021
次に、対応点除去部７は、図４のステップＳ１１に入り、得られたエピポーラ誤差値error[i]を小さい順にソートする。そして、あらかじめ設定しておいたしきい値Threshより大きい誤差値をもつ対応点を、誤対応点として除去する。あらかじめしきい値Threshを設定しておくことが困難な場合は、例えば、上記誤差全体の中央値Med_Erを計算し、Med_Er×C(Cは適当な定数)以上の誤差値を持つ対応点を誤対応点として除去するようにしてもよい。
【００７０】
こうして、誤対応点除去７で、誤対応点が除去された対応点のフローについて、第２基礎行列推定部９では、図４のステップＳ１２に入り、誤差対応点が除去された残りの全ての対応点についてのフローを用いて、より精度の高い基礎行列Ｆを推定する。例えば、最小二乗法を利用する場合、（１３）式を満たすfを求める。
【００７１】
【数２０】
2007256029.tif 000022
【００７２】
【数２１】
2007256029.tif 000023
【００７３】
【数２２】
2007256029.tif 000024
を最小とするfは、
【００７４】
【数２３】
2007256029.tif 000025
の最小固有値に対応する固有ベクトルであるので、特異値分解などの手法を用いてこれを求める。
【００７５】
次に、第２基礎行列推定部９は、図４のステップＳ１２からＳ１７で、得られた基礎行列Ｆから、公知の手法で自車運動量、（自車の並進移動量及び回転量）の推定値を求める。例えば、先に示した手法(図４のステップＳ５〜ステップＳ８)を用いる場合は、並進移動量tの大きさの絶対量は別途求める必要がある。大きさの絶対量の推定法としては、路面に属する特徴点とカメラの設置パラメータ(カメラ高、カメラ俯角など)を利用して求める方法、車速情報を利用する方法などが考えられる。
以上で、自車運動量推定が終了する。
【００７６】
次に３次元座標推定部１０では、図４のステップＳ１８に入り、得られた自車運動量の推定値と誤対応点の除去された対応点を利用して、特徴点の３次元座標を推定する。これらの手法は公知のものなので、ここではその詳細な説明は省略する。
【００７７】
基礎行列の推定を、多数の対応点のなかから選択された複数の対応点に基づいて、車両の仮の自車運動量（仮の並進移動量と仮の回転量）を求める処理を複数回行い、それらの結果から、仮の基礎行列Ｆの推定を行う、第１基礎行列推定部６と、仮の基礎行列推定部Ｆに基づいて、全ての対応点についてのエピポール誤差を計算して、誤対応点を除去し、その結果から、より精度の高い基礎行列Ｆを推定する第２基礎行列推定部９というように、基礎行列Ｆの推定手段を２段階に分けることで、誤対応にロバストな構成となる。また第１基礎行列推定部６では、複数の基礎行列Ｆ中から１つを選択する際の評価量として、通常利用されるエピポーラ誤差値の代わりに仮の自車運動量（仮の並進移動量と仮の回転量）を用いることにより、演算量を大きく削減することができ、高速の処理が可能となり、演算能力の限られた車載用のコンピュータ（ＣＰＵ）でも、適正な処理が可能となる。
【００７８】
図２に、ステレオ画像処理装置１の別の例を示す。図２のステレオ画像処理装置１は、図１のステレオ画像処理装置１の、第１基礎行列推定部６に、車輪速センサなどの、車両に装着して自車の運動量を検出することの出来る自車運動量センシング部１１を接続し、カメラ２及び対応点推定部３を、誤対応点除去部７に接続した構成となっている。
【００７９】
車輪速センサ情報などを利用して、自車量の仮の並進移動量t=[Tx,Ty,Tz]T、仮の回転量、
【００８０】
【数２４】
2007256029.tif 000026
が得られる場合、仮の基礎行列Ｆは（１３）式で直接計算することができ、第１基礎行列推定部６の、Ｎ回に亙る図４におけるステップＳ１からステップＳ８の処理を省略することが可能となる。
【００８１】
【数２５】
2007256029.tif 000027
inv(・)は行列・の逆行列を求める演算である。ただし、
【００８２】
【数２６】
2007256029.tif 000028
【数２７】
2007256029.tif 000029
もし、６つのパラメータ(Tx,Ty,Tz,θ、ψ、φ)の１部の値のみ求まる場合は、その他の値はとりあえず０を入れておく。
【００８３】
これにより第１基礎行列推定部６の演算負荷が大きく削減できる。さらに、第２基礎行列推定部９と併せて利用することで、上記センサから得られた値をそのまま用いるより、より精度の高い仮の自車量運動値（並進移動量・回転量）を得ることができる。
【００８４】
このように、カメラ搭載車両の車輪速センサ情報などを利用できる場合、第１基礎行列推定部６の演算量を大きく削減できる。
【００８５】
図３に、ステレオ画像処理装置１の更に別の例を示す。図３のステレオ画像処理装置１は、図２の自車運動量センシング部１１の変わりに、前時刻の結果を保存するメモリ１２を追加した構成とする。この場合、直前の時刻の第２基礎行列推定部９で得られた基礎行列Ｆを保存しておき、第１基礎行列推定部６は、これを現時点の仮の基礎行列Ｆとして、誤対応点除去部７に出力するようにする。このように、現時刻の仮の基礎行列Ｆは、直前の時点の、第２基礎行列推定部９で推定された基礎行列Ｆをそのまま利用することになる。これにより、仮の基礎行列Ｆを演算推定するための第１基礎行列推定部６の演算負荷はほぼ０になり、装置の演算量を大場に軽減することが出来る。
【産業上の利用可能性】
【００８６】
本発明は、車両に搭載され、１台のカメラを用いてステレオ画像処理を行うステレオ画像処理装置に利用することが出来る。
【図面の簡単な説明】
【００８７】
【図１】図１は、ステレオ画像処理装置の一例を示すブロック図。
【図２】図２は、ステレオ画像処理装置の別の例を示すブロック図。
【図３】図３は、ステレオ画像処理装置の更に別の例を示すブロック図。
【図４】図４は、自車運動量推定部での処理の一例を示すフローチャート。
【図５】図５は、自車の並進移動量と回転移動量の座標上の関係を示す図。
【図６】図６は、基礎行列推定の際の、演算された並進移動量とヨー回転角度を２次元座標上に表示した状態を示す模式図。
【図７】図７は、図６の投票結果から作成される距離行列の模式図。
【図８】図８は、図７の距離行列から仮の基礎行列を決定するための処理を示すフローチャートの一例。
【図９】図９は、図８の処理の結果、最終的に求められた行列を示す模式図。
【図１０】図１０は、図６と同様の処理を、並進移動量とヨー回転角度を格子上に区切られた２次元座標上に投票することで行う場合の一例を示す図。
【図１１】図１１は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図である。
【図１２】図１２は、従来における、基礎行列Ｆの求め方を示す処理の一例を示す図。
【符号の説明】
【００８８】
１……ステレオ画像処理装置
２……カメラ
３……対応点推定手段（対応点推定部）
５……第１基礎行列推定手段（第１基礎行列推定部）
７……誤対応点除去手段（誤対応点除去部）
９……第２基礎行列推定手段（第２基礎行列推定部）
１０……３次元座標推定手段（３次元座標推定部）
１１……自車運動量センシング手段（自車運動量センシング部）
【図１】
2007256029.tif 000030
【図２】
2007256029.tif 000031
【図３】
2007256029.tif 000032
【図４】
2007256029.tif 000033
【図５】
2007256029.tif 000034
【図６】
2007256029.tif 000035
【図７】
2007256029.tif 000036
【図８】
2007256029.tif 000037
【図９】
2007256029.tif 000038
【図１１】
2007256029.tif 000039
【図１２】
2007256029.tif 000040
【図１０】
2007256029.tif 000041