(57)【特許請求の範囲】
【請求項１】
ステレオカメラで撮像した基準画像及び比較画像からなる一対の画像に対し、互いの画像の小領域間のシティブロック距離を演算して対応する小領域を探索し、対応する小領域で対象物までの距離に応じて生じる画素ズレ量に基づく遠近情報を数値化した距離画像を生成するステレオ画像処理装置において、
上記基準画像の小領域内の各画素の画像データを平均し、第１の平均値として算出する手段と、
上記比較画像の小領域内の各画素の画像データを平均し、第２の平均値として算出する手段と、
上記基準画像の小領域内の各画素の画像データから上記第１の平均値を差分し、第１のデータ群として算出する手段と、
上記比較画像の小領域内の各画素の画像データから上記第２の平均値を差分し、第２のデータ群として算出する手段と、
上記基準画像の小領域内の各画素の画像データを、上記基準画像の画像全体の画像データ平均値に基づいて設定された判定値と比較して有効か否かを判定し、上記第１のデータ群及び上記第２のデータ群の有効データを選択する手段と、
上記第１のデータ群の各有効データと上記第２のデータ群の各有効データとの差分の絶対値を総和し、上記シティブロック距離を演算する手段とを備えたことを特徴とするステレオ画像処理装置。
【請求項２】
上記判定値を、上記第１の平均値に、上記基準画像の画像全体の画像データ平均値に基づく係数値を乗算或いは減算して設定することを特徴とする請求項１記載のステレオ画像処理装置。
【請求項３】
上記係数値を、上記基準画像の画像全体の平均輝度が低い程、大きく設定することを特徴とする請求項２記載のステレオ画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した一対の画像を処理して距離画像を生成するステレオ画像処理装置に関する。
【０００２】
【従来の技術】
一般に、画像による３次元計測技術として、２台のカメラからなるステレオカメラで対象物を異なる位置から撮像した一対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理としては、本出願人は、先に、特開平５−１１４０９９号公報において、車両に搭載したステレオカメラで撮像した画像を処理して車外の対象物の３次元位置を測定する技術を提案している。この技術では、ステレオ撮像した一対の画像に対し、複数の小領域間のシティブロック距離を演算して対応位置を探索するステレオマッチングをハードウエア回路によって高速に処理し、対応する小領域の画素ズレ量を距離情報として出力するようにしている。
【０００４】
更に、本出願人は、ステレオ撮像した一対の画像間のバラツキや低周波ノイズに影響されることなく、正確なステレオマッチングを行うため、特開平１１−２３４７０１号公報において、メイン画像平均値処理部でメイン画像の小領域の輝度平均値を計算し、サブ画像平均値処理部でサブ画像の小領域の輝度平均値をメイン画像に対して１画素ずつずらしながら計算し、平均値差分部でサブ画像及びメイン画像に対して小領域内の各画素の輝度値から平均値を差分した値を計算し、ステレオマッチング部でメイン画像の輝度値から平均値を減算した値とサブ画像の輝度値から平均値を減算した値との差の絶対値を総和してシティブロック距離を計算する平均値差分マッチングの技術を提案している。この平均値差分マッチングでは、画像の高周波成分のみをマッチング対象として低周波ノイズを除去し、２つの画像間の精度の僅かなバランスの狂い、カメラやアナログ回路部品の経年変化によるゲイン変化の影響に対し、ミスマッチングを生じることなく正確な距離情報を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、先に本出願人が提案した平均値差分マッチングでは、ステレオ撮像した一対の画像間のバラツキや低周波ノイズに影響されないように小領域内の輝度平均値を演算し、輝度平均値と画素の輝度との差分によってシティブロック距離を演算することでステレオマッチングを行っている。このため、ランダム高周波ノイズが重畳した画像に対しては、ミスマッチングを防止する能力が不足することは否めず、新たな課題となっていた。
【０００６】
本発明は上記事情に鑑みてなされたもので、低周波ノイズのみならず高周波ノイズの多い画像に対しても、ノイズに影響されることなく正確なステレオマッチングを行うことのできるステレオ画像処理装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の発明は、ステレオカメラで撮像した基準画像及び比較画像からなる一対の画像に対し、互いの画像の小領域間のシティブロック距離を演算して対応する小領域を探索し、対応する小領域で対象物までの距離に応じて生じる画素ズレ量に基づく遠近情報を数値化した距離画像を生成するステレオ画像処理装置において、上記基準画像の小領域内の各画素の画像データを平均し、第１の平均値として算出する手段と、上記比較画像の小領域内の各画素の画像データを平均し、第２の平均値として算出する手段と、上記基準画像の小領域内の各画素の画像データから上記第１の平均値を差分し、第１のデータ群として算出する手段と、上記比較画像の小領域内の各画素の画像データから上記第２の平均値を差分し、第２のデータ群として算出する手段と、上記基準画像の小領域内の各画素の画像データを、上記基準画像の画像全体の画像データ平均値に基づいて設定された判定値と比較して有効か否かを判定し、上記第１のデータ群及び上記第２のデータ群の有効データを選択する手段と、上記第１のデータ群の各有効データと上記第２のデータ群の各有効データとの差分の絶対値を総和し、上記シティブロック距離を演算する手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記判定値を、上記第１の平均値に、上記基準画像の画像全体の画像データ平均値に基づく係数値を乗算或いは減算して設定することを特徴とする。
請求項３記載の発明は、請求項２記載の発明において、上記係数値を、上記基準画像の画像全体の平均輝度が低い程、大きく設定することを特徴とする。
【０００９】
すなわち、請求項１記載の発明は、ステレオカメラで撮像した一対の画像に対し、基準画像の小領域内の各画素の画像データから小領域内の各画素の画像データを平均した第１の平均値を差分した第１のデータ群、及び、比較画像の小領域内の各画素の画像データから小領域内の各画素の画像データを平均した第２の平均値を差分した第２のデータ群を算出し、基準画像の小領域内の各画素の画像データを基準画像の画像全体の画像データ平均値に基づいて設定された判定値と比較して有効か否かを判定し、第１のデータ群及び第２のデータ群から有効データを選択する。そして、第１のデータ群の各有効データと第２のデータ群の各有効データとの差分の絶対値を総和してシティブロック距離を演算することで、低周波ノイズのみならず高周波ノイズの多い画像に対しても、ノイズに影響されることなく正確なステレオマッチングを可能とする。
【００１０】
その際、請求項２記載の発明のように、第１のデータ群及び第２のデータ群に対する判定値を、第１の平均値に基準画像の画像全体の画像データ平均値に基づく係数値を乗算或いは減算して設定することが望ましい。係数値は、基準画像の画像全体の平均輝度が低い程、大きく設定することが望ましい。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図５は本発明の実施の一形態に係わり、図１はステレオ画像処理装置の基本構成図、図２はステレオ処理部のブロック図、図３はメイン画像及びサブ画像の小領域のデータを示す説明図、図４は係数値テーブルの説明図、図５は画像処理のタイミングチャートである。
【００１２】
図１は、例えば自動車やヘリコプタ等の移動体に搭載され、対象風景をステレオ撮像した一対の画像を処理して三次元の距離情報を求め、求めた距離の情報に基づいて周囲環境や自己位置を認識する装置等に使用されるステレオ画像処理装置の基本構成を示し、２台１組のカメラから構成されるステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部２０で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して距離分布情報（距離画像）を取得するステレオ処理部３０、距離画像をストアする距離画像メモリ３５、距離画像を読み込んで各種認識処理を行う認識処理部４０等から構成される。
【００１３】
ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ１０ｂをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００１４】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの２系統のアナログ撮像信号を処理するためのアンプやＡ／Ｄコンバータと、例えば高集積度ＦＰＧＡによって構成した画像処理の各種機能回路とを備え、さらに、ＣＣＤカメラ１０ａ，１０ｂの機械的な光学位置の僅かなズレやレンズ歪み等を電気的に補正するための画像調整回路を備えたものであり、ＣＣＤカメラ１０ａ，１０ｂからの撮像画像を所定の輝度階調のデジタル画像データに変換し、画像調整によってＣＣＤカメラ１０ａ，１０ｂの機械的な取り付け位置の誤差やレンズ歪み等を補正して元画像メモリ２５にストアする。
【００１５】
ステレオ処理部３０は、元画像メモリ２５にストアされたメイン画像（基準画像）及びサブ画像（比較画像）の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する小領域を特定するステレオマッチングを行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得するものであり、マッチングシーケンスに関する機能を、同様に高集積度ＦＰＧＡ等によって構成する。
【００１６】
認識処理部４０は、距離画像から得られる距離分布情報に基づいて高速に各種認識処理を行うためのＲＩＳＣプロセッサ等からなり、例えば車両に搭載された場合、道路形状や前方車両の存在等の走行環境を認識し、衝突危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の車両制御用データを出力する。
【００１７】
ステレオ処理部３０におけるステレオマッチングは、基本的には、先に本出願人によって提出された特開平１１−２３４７０１号公報に詳述されている処理と同様であるが、特開平１１−２３４７０１号の処理では元画像に対して予めマッチングを取る小領域の輝度平均値を取り、小領域内のそれぞれの画素の輝度値から輝度平均値を差分した値によってシティブロック距離を演算する平均値差分マッチングを行っているのに対し、本発明では、基準画像の小領域の輝度平均値を基準としてマッチングに使用する小領域内の画素を選択する画素選択機能付き平均値差分マッチングを行う。
【００１８】
この画素選択機能付き平均値差分マッチングは、平均値差分マッチングの利点、すなわち、画像の高周波成分のみをマッチング対象とし、ハイパスフィルタと等価な作用を有しているため低周波ノイズを除去することができ、２つの画像間の輝度の僅かなバランスの狂いの影響、カメラやアナログ回路部品の経年変化によるゲイン変化の影響を削減することができるという利点に加え、高周波ノイズに対しても画素を選択することによりミスマッチングを生じることがなく、正確な距離情報を得ることができる。
【００１９】
詳細には、ステレオ処理部３０の機能構成は、図２に示すように、メイン画像の小領域の輝度平均値を計算するメイン画像平均値処理部５０、このメイン画像平均値処理部５０で計算したメイン画像の小領域の輝度平均値データをストアするメイン平均値デュアルポートメモリ５５、サブ画像の小領域の輝度平均値をメイン画像に対して１画素ずつずらしながら計算するサブ画像平均値処理部６０、このサブ画像平均値処理部６０で計算したサブ画像の小領域の輝度平均値データをストアするサブ平均値デュアルポートメモリ６５、サブ画像及びメイン画像に対し、小領域内のそれぞれの画素の輝度値から輝度平均値を差分した値を計算する平均値差分部７０、メイン画像の小領域の輝度平均値に基づいて小領域内の画素が有効か無効かを判定する有効画素判定部８０、この有効画素判定部８０の判定結果に基づいて平均値差分データを選択的に出力するデータ選択部９０、メイン元画像の輝度値から輝度平均値を差分した値とサブ元画像の輝度値から輝度平均値を差分した値との差の絶対値を総和してシティブロック距離を計算するステレオマッチング部１００、シティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックするシティブロック距離チェック部１１０等から構成されており、さらに、異常な距離データを排除するための特異点除去フィルタ部１２０を付属的に備えている。
【００２０】
本形態では、元画像を横５００×縦２００画素の大きさとし、その中で処理範囲を横４２０×縦１６０として、横８×縦４画素の小領域でマッチングを取るようにしており、図３に示すように、メイン画像の横８×縦４画素の小領域内の各画素の輝度データＭi,j（ｉ＝１〜８、ｊ＝１〜４）、サブ画像の横８×縦４画素の小領域内の各画素の輝度データＳi,j（ｉ＝１〜８、ｊ＝１〜４）に対し、それぞれ以下の(1),(2)式で示す輝度平均値ＡＭ,ＳＭを求める。但し、Σはｉ＝１〜８，ｊ＝１〜４の総和を求めるものとする。
ＡＭ＝ΣＭi,j／３２                       …(1)
ＳＭ＝ΣＳi,j／３２                       …(2)
【００２１】
そして、以下の(3)式で示すように、メイン元画像の輝度データＭi,jから輝度平均値ＡＭを減算した値とサブ画像の輝度データＳi,jから輝度平均値ＳＭを減算した値との差の絶対値を総和してシティブロック距離ＣＢを演算する。但し、このシティブロック距離の演算で加算する画素は、以下に説明するように、Ｍi,j＞（ＡＭ×ｋ）又はＭi,j＞（ＡＭ−ｋ）の有効判定条件を満たした画素であり、ｋは有効判定に用いる係数値である。
ＣＢ＝Σ│(Ｍi,j−ＡＭ)−(Ｓi,j−ＳＭ)│  …(3)
【００２２】
小領域の輝度平均値は、元画像の４ライン毎に計算するようにしており、メイン画像平均値処理部５０は、３個の２バイト加算器を組み合わせた４バイト加算ブロック５１に、加算器とＤ−フリップフロップとシフトレジスタとを組み合わせた２つの加算ブロック５２，５３（図中、加算１，２）が並列接続された構成で、各加算ブロック５２，５３のデータがマルチプレクサ５４を介してメイン平均値デュアルポートメモリ５５に出力される。
【００２３】
一方、サブ画像平均値処理部６０は、横８×縦４画素の小領域を水平走査方向に１画素ずつずらしながら輝度平均値を計算するため、３個の２バイト加算器を組み合わせた４バイト加算ブロック６１に、パラレル接続した９個の加算器（図中、加算１〜９）及び８個のマルチプレクサからなる加算平均ブロック６２を接続した構成となっている。加算平均ブロック６２では、加算１〜８の各２個毎の加算器出力を７個のマルチプレクサによる３段構成で処理し、さらに、最終段のマルチプレクサで３段構成のマルチプレクサ出力と加算９の加算器出力に対するデータセレクトを行って加算平均値を出力する。
【００２４】
平均値差分部７０は、元画像の４ライン分に対応して４つの平均値差分ブロック７１，７２，７３，７４（図中、平均値差分１〜４）からなり、それぞれに、メイン画像用の差分器とサブ画像用の差分器とが備えられている。メイン画像用の差分器では、元画像メモリ２５のメイン画像データからメイン平均値デュアルポートメモリ５５の平均値データを減算する処理をマルチプレクサ及び８段のシフトレジスタを介して横８バイト分を順次行い、サブ画像用の差分器では、元画像メモリ２５のサブ画像データからサブ平均値デュアルポートメモリ６５の平均値データを減算する処理を行う。
【００２５】
有効画素判定部８０は、同様に４つの元画像の４ライン分に対応した４つの有効判定部８１〜８４（図中、有効判定１〜４）と、有効判定のための係数値ｋを設定する判定値演算部８５とを備えている。有効判定部８１〜８４は、それぞれに、乗算器（或いは差分器）とコンパレータとを備え、メイン平均値デュアルポートメモリ５５からの小領域毎の輝度平均値に判定値演算部８５にて設定された係数値ｋを乗算或いは減算した判定値と、元画像メモリ２５からのメイン画像の画素輝度値とをコンパレータで比較し、判定値より明るい（輝度の高い）画素を有効とし、判定値以下の暗い（輝度の低い）画素を無効として、シティブロック距離の演算に有効な画素を抽出する。これにより、ノイズの影響の大きい暗い画素を排除してミスマッチングを防止することができ、赤外線画像等に適用することも可能となる。
【００２６】
判定値演算部８５で設定される係数値ｋは、本形態においては、元画像メモリ２５のメイン画像に対して全画像の輝度平均値を求め、この輝度平均値に基づいて設定する。例えば、輝度レベルを２５６階調で表現した場合、図４に示すように、輝度レベルを、０〜６３、６４〜１２７、１２８〜１９１、１９２〜２５５の４段階に分けて係数値テーブルを作成し、各段階毎に、乗算の定数倍値（例えば、１倍、０．７５倍、０．５倍、０．２５倍）、或いは減算の定数値（例えば、１２８、６４、３２、０）を予め格納しておき、この係数値テーブルを参照することで係数値ｋを設定する。係数値ｋは、メイン画像全体の平均輝度が低い程、大きく設定される。
【００２７】
データ選択部９０は、４つの平均値差分ブロック７１，７２，７３，７４の各ブロック毎に２つずつの計８つの選択部９１〜９８（図中、選択１〜８）からなり、それぞれに、マルチプレクサを備えている。このマルチプレクサは、有効画素判定部８０からの判定出力（コンパレータ出力）により、各ブロックからの出力データと“０”とを選択的に出力し、無効の場合、各ブロックからの出力データをクリアし、有効の場合、各ブロックからの出力データをスルーする。
【００２８】
ステレオマッチング部１００は、４個の差分器と４個の絶対値演算器と３個の加算器とをピラミッド状に接続した縦加算ブロック１０１に、横加算ブロック１０２を接続した構成となっている。縦加算ブロック１０１は、４段構成となっており、各平均値差分ブロック７１，７２，７３，７４のメイン画像データとサブ画像データとの差分を取る４個の差分器で１段目が構成され、２段目が４個の絶対値演算器で構成されている。２段目の絶対値演算の出力データは、２個毎に３段目の加算器（２個）で加算され、この３段目の２個の加算器の出力データが４段目の最終段の加算器に入力される。縦加算ブロック１０１の最終段の加算器出力は、加算器とＤ−フリップフロップとを組み合わせた横加算ブロック１０２に入力され、この横加算ブロック１０２からシティブロック距離の演算結果が出力される。
【００２９】
以上の構成によるステレオ画像処理装置では、図５のタイムチャートに示すように、１００ｍｓ毎の処理サイクルで距離画像を生成する。
【００３０】
すなわち、処理サイクルの初めで画像をサンプルして画像調整を行い、残りの処理時間で必要な領域の距離画像を生成する。図５の例では、１サイクルで中央４０ライン分（line00〜line27）すなわち横４２０画素×縦１６０画素についてのステレオ処理を行うようになっており、このステレオ処理では、１ライン分の処理の先頭で、横４２０×縦１６０画素の元画像の４ライン分について横８×縦４画素の小領域の輝度データの平均値を求める処理を行う。この平均化処理では、メイン平均値デュアルポートメモリ５５にメイン元画像の各小領域の輝度平均値が４０バイト分ストアされ、サブ平均値デュアルポートメモリ６５には、サブ元画像の各小領域の輝度平均値が４１３バイト（４２０−７＝バイト）分ストアされる。
【００３１】
メイン元画像に対しては、メイン画像平均値処理部５０の４バイト加算ブロック５１でメイン元画像の縦４バイト分を加算し、この加算結果を次段の加算ブロック５２（加算ブロック５３）のＤ−フリップフロップにラッチされている前回の縦４バイト分のデータに加算する。これをパイプライン処理で８回繰り返すことにより、小領域に対する８×４＝３２バイト分の演算を行い、シフトレジスタでビットシフトして平均値を得る。２つの加算ブロック５２，５３は、演算遅れによって処理の流れが不均一となることを避けるためバンク切換えで使用するようにしており、メイン元画像の横３２０画素まで交互に３２バイト分の演算を行い、マルチプレクサ５４を介してメイン平均値デュアルポートメモリ５５に平均値データ（第１の平均値）が４０バイト（３２０／８＝４０バイト）分出力される。
【００３２】
サブ元画像では、メイン元画像に対して横８×縦４画素の小領域の輝度平均値を水平走査方向に１画素ずつずらしながら１００画素ずれまで計算するため、サブ画像平均値処理部６０の４バイト加算ブロック６１でサブ元画像の縦４バイト分を加算し、次段の加算平均ブロック６２の加算１の加算器で１画素目から８画素目までの横８バイト分の加算を実行し、加算２の加算器で２画素目から９画素目までの横８バイト分の加算を実行し、加算３の加算器で３画素目から１０画素目までの横８バイト分の加算を実行し、加算４の加算器で４画素目から１１画素目までの横８バイト分の加算を実行し、加算５の加算器で５画素目から１２画素目までの横８バイト分の加算を実行し、加算６の加算器で６画素目から１３画素目までの横８バイト分の加算を実行し、加算７の加算器で７画素目から１４画素目までの横８バイト分の加算を実行し、加算８の加算器で８画素目から１５画素目までの横８バイト分の加算を実行し、加算９の加算器で９画素目から１６画素目までの横８バイト分の加算を実行する。
【００３３】
そして、次は、再び、加算１の加算器で１０画素目から１７画素目までの横８バイト分の加算を実行するというように、加算１の加算器から加算９の加算器を順次使用して多段接続したマルチプレクサを介して加算平均値を出力する。この平均値計算をサブ元画像の中央部４２０画素分実行し、サブ平均値デュアルポートメモリ６５に平均値データ（第２の平均値）が４１３バイト（４２０−７＝４１３バイト）分出力される。これと並行して、有効画素判定部８０の判定値演算部８５では、元画像メモリ２５の全画像についての輝度平均値を求め、その輝度平均値に対して係数値ｋを設定し、有効判定部８１〜８４に出力する。
【００３４】
そして、メイン画像での４０個の小領域についてステレオ処理（area00〜area27）が開始され、シティブロック距離を演算するシティブロック処理が始まる。このシティブロック処理では、平均値差分ブロック７１，７２，７３，７４で、それぞれ元画像１ライン分の差分計算が行われ、メイン画像の小領域内の画素毎の輝度データから平均値を減算した差分データ群（第１のデータ群）、サブ画像の小領域内の画素毎の輝度データから平均値を減算した差分データ群（第２のデータ群）の個々のデータがデータ選択部９０に順次出力され、それと並行して有効判定部８１〜８４で、メイン画像の小領域の輝度平均値に係数値ｋを乗算或いは減算した値と画素輝度値とを比較し、該当画素が有効か無効かを判定してデータ選択部９０に判定結果を出力する。データ選択部９０では、判定結果が有効の場合は、平均値差分ブロック７１，７２，７３，７４からのデータ群をそのままステレオマッチング部１００に順次出力し、判定結果が無効の場合、ステレオマッチング部１００に“０”を出力する。
【００３５】
この処理は、１画素ずれ毎に１００画素ずれまで順次行われ（dpx00〜dpx64）、ステレオマッチング部１００の縦加算ブロック１０１では、初段で平均値差分ブロック７１，７２，７３，７４からそれぞれ出力されるメイン画像の差分データからサブ画像の差分データを減算し、２段目の絶対値演算器で絶対値演算を行い、３段目の２個の加算器の各々で、２段目の絶対値演算器からの２つの同時入力データを加算して４段目で前段の出力を加算する。
【００３６】
そして、縦加算ブロック１０１での縦４バイト分の演算結果が横加算ブロック１０２に入力され、横８バイト分の処理に移る（ｒｏｗ加算処理：row00H〜row7H）。この横加算ブロック１０２では、Ｄ−フリップフロップにラッチされている縦４バイト分のデータを順次加算して８×４＝３２画素分の総和を取り、シティブロック距離の演算値を出力する。
【００３７】
ステレオマッチング部１００から出力されたシティブロック距離は、シティブロック距離チェック部１１０において最小値及び最大値等が評価され、シティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかがチェックされる。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量が有効な距離データとして距離画像メモリ３５にストアされ、２ライン遅れで局所的な異常データを排除するための特異点除去フィルタ処理が実施される。
【００３８】
【発明の効果】
以上説明したように本発明によれば、画像の高周波成分のみをマッチング対象として低周波ノイズを除去するとともに、高周波ノイズに対しても有効な画素を選択することによりミスマッチングを生じることがなく、正確な距離情報を得ることができる。
【図面の簡単な説明】
【図１】ステレオ画像処理装置の基本構成図
【図２】ステレオ処理部のブロック図
【図３】メイン画像及びサブ画像の小領域のデータを示す説明図
【図４】係数値テーブルの説明図
【図５】画像処理のタイミングチャート
【符号の説明】
１０  ステレオカメラ
３０  ステレオ処理部
５０  メイン画像平均化処理部
６０  サブ画像平均化処理部
７０  平均値差分部
８０  有効画素判定部
９０  データ選択部
１００  ステレオマッチング部
【図１】
0004037671.tif 000002
【図２】
0004037671.tif 000003
【図３】
0004037671.tif 000004
【図４】
0004037671.tif 000005
【図５】
0004037671.tif 000006