(57)【特許請求の範囲】
【請求項１】
対象物を異なる視点でステレオ撮像する撮像手段と、
上記撮像手段で撮像した２枚の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる視差から得られる対象物までの遠近情報を数値化した３次元画像情報を取得するステレオ処理手段と、
上記ステレオ処理手段で収得した３次元画像情報を記憶する距離画像記憶手段と、
上記距離画像記憶手段に記憶された３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、予め設定した条件に基づき小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に上記加算度数を加算処理することで最大度数視差を抽出し、該最大度数視差に応じて上記注目する小領域の視差を補正する多数決フィルタ手段とを備え、
上記ステレオ処理手段は、対応する小領域が予め設定した一致条件を満たしていない特異点の視差を「０」に設定し、
上記多数決フィルタ手段は、上記視差が「０」のときの上記加算度数を、上記視差が「０」以外のときの上記加算度数と異なる値に設定することを特徴とするステレオ画像処理装置。
【請求項２】
上記抽出する小領域群は、注目する小領域を中心とする３×３の小領域群であることを特徴とする請求項１記載のステレオ画像処理装置。
【請求項３】
上記注目する小領域の視差の補正は、上記ステレオ処理手段で収得した該小領域の視差と上記最大度数視差との視差の差が予め設定した許容ズレ視差値以上であるとき行うことを特徴とする請求項１または請求項２記載のステレオ画像処理装置。
【請求項４】
上記多数決フィルタ手段は、上記注目する小領域の上記加算度数を、当該注目する小領域の周辺の上記小領域の上記加算度数よりも相対的に大きく設定することを特徴とする請求項１乃至請求項３の何れか１項に記載のステレオ画像処理装置。
【請求項５】
上記多数決フィルタ手段は、上記小領域に対応する視差及び当該視差に隣接する視差に上記加算度数を加算処理することを特徴とする請求項１乃至請求項４の何れか１項に記載のステレオ画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する分野】
本発明は、距離画像のステレオマッチングが適正に行われずにミスマッチングした小領域に対して特異点除去を行うことのできるステレオ画像処理装置に関する。
【０００２】
【従来の技術】
近年、一対の撮像装置によって対象物を撮像し、この撮像されたステレオ画像を用いて三角測量の原理で対象物までの距離を計測し、物体の監視、障害物の検出等を行うステレオ画像処理装置について数多くの提案がなされている。
【０００３】
この技術によれば、撮像されたメイン画像とサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレ（＝視差）から得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【０００４】
この際、視差（すなわち対象物までの距離情報に対応）を検出できなかった小領域に対し、例えば特開平９−１５２３３４号公報には、矩形領域（小領域）毎に計測した距離情報から対象物の同一平面を推定し、平面の矩形領域の中で距離が計測できなかった矩形領域の距離情報を、計測できた矩形領域の平面までの距離情報に基づいて演算し補完する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
しかし、上記特開平９−１５２３３４号公報に記載の技術は、周囲の矩形領域の距離情報から平面の位置を推定し、この平面までの距離に基づいて、距離が計測できなかった矩形領域の距離情報を演算するものなので、距離情報が検出できなかった矩形領域の周囲に平面が存在しない場合や、上記矩形領域の周囲に曲面が存在する場合等には、距離情報を補完することが困難である。また、上記技術においては、検出された距離情報中にが誤情報がある場合には何等補正が行われないという欠点がある。
【０００６】
本発明は上記事情に鑑みてなされたもので、誤検出された距離情報を適切に補正するとともに、検出されなかった小領域の距離情報を補完し、良質な距離画像を得ることのできるステレオ画像処理装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明によるステレオ画像処理装置は、対象物を異なる視点でステレオ撮像する撮像手段と、上記撮像手段で撮像した２枚の画像の小領域毎に、互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる視差から得られる対象物までの遠近情報を数値化した３次元画像情報を取得するステレオ処理手段と、上記ステレオ処理手段で収得した３次元画像情報を記憶する距離画像記憶手段と、上記距離画像記憶手段に記憶された３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、予め設定した条件に基づき小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に上記加算度数を加算処理することで最大度数視差を抽出し、該最大度数視差に応じて上記注目する小領域の視差を補正する多数決フィルタ手段とを備え、上記ステレオ処理手段は、対応する小領域が予め設定した一致条件を満たしていない特異点の視差を「０」に設定し、上記多数決フィルタ手段は、上記視差が「０」のときの上記加算度数を、上記視差が「０」以外のときの上記加算度数と異なる値に設定することを特徴とする。詳しくは、上記抽出する小領域群は、注目する小領域を中心とする３×３の小領域群であることを特徴とし、、また、上記注目する小領域の視差の補正は、上記ステレオ処理手段で収得した該小領域の視差と上記最大度数視差との視差の差が予め設定した許容ズレ視差値以上であるとき行うことを特徴とする。さらに、上記多数決フィルタ手段は、上記注目する小領域の上記加算度数を、当該注目する小領域の周辺の上記小領域の上記加算度数よりも相対的に大きく設定することを特徴し、上記多数決フィルタ手段は、上記小領域に対応する視差及び当該視差に隣接する視差に上記加算度数を加算処理することを特徴とする。
【０００８】
すなわち、本発明によるステレオ画像処理装置は、撮像手段で対象物を異なる視点でステレオ撮像し、ステレオ処理手段で上記撮像手段で撮像した２枚の画像の小領域毎に互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い対象物までの距離に応じて生じる視差から得られる対象物までの遠近情報を数値化した３次元画像情報を取得し、距離画像記憶手段に上記ステレオ処理手段で収得した３次元画像情報を記憶するステレオ画像処理装置において、多数決フィルタ手段で、上記距離画像記憶手段に記憶された３次元画像情報の中から注目する小領域を中心とした小領域群を抽出し、予め設定した条件に基づき小領域群の各小領域のアドレス及び視差に応じた加算度数を設定し、視差毎に上記加算度数を加算処理することで最大度数視差を抽出し、該最大度数視差に応じて上記注目する小領域の視差を補正する。その際、上記ステレオ処理手段は、対応する小領域が予め設定した一致条件を満たしていないときの視差を「０」に設定し、上記多数決フィルタ手段は、上記視差が「０」のときの上記加算度数を、上記視差が「０」以外のときの上記加算度数と異なる値に設定する。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図面は本発明の実施の一形態に係わり、図１はステレオ画像処理装置の要部を示す機能ブロック図、図２は多数決フィルタ処理ルーチンのフローチャート、図３は多数決フィルタ処理を行う際の対称となる視差情報のマトリクス、図４はＤ（ｄn ）＝０のときの加算度数を示すマトリクス、図５はＤ（ｄn ）≠０のときの加算度数を示すマトリクス、図６は図４，図５のマトリクスに従い包め処理を行う際の説明図、図７は多数決フィルタ処理の一例を示す説明図である。
【００１０】
図１は、２台１組のカメラから構成される撮像手段としてのステレオカメラ１０、このステレオカメラ１０で撮像した画像に対する入力処理を行う画像入力部２０、この画像入力部２０で処理した撮像画像を元画像としてストアする元画像メモリ２５、元画像をステレオ処理して距離分布情報（距離画像）を取得するステレオ処理手段としてのステレオ処理部３０、距離画像をストアする距離画像記憶手段としての距離画像メモリ３５、このストアされた距離画像をフィルタ処理する多数決フィルタ手段としての多数決フィルタ部４０、多数決フィルタ処理された距離画像をストアするフィルタ後距離画像メモリ４５等から構成されるステレオ画像処理装置の基本構成を示し、例えば、自動車やヘリコプタ等の移動体に搭載され、対象風景をステレオ撮像した１組の画像を処理して三次元の距離情報を求め、求めた距離の情報に基づいて自己位置認識を行なう装置等に使用される。
【００１１】
上記ステレオカメラ１０を構成する２台のカメラ１０ａ，１０ｂは、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラ１０ａをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ１０ｂをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【００１２】
画像入力部２０は、各ＣＣＤカメラ１０ａ，１０ｂからの各アナログ撮像信号に対応して、ゲインコントロールアンプを有するアナログインターフェース、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ、画像の明暗部に対して対数変換を行うためのＬＯＧ変換テーブル等を備え、ＣＣＤカメラ１０ａ，１０ｂからの撮像信号を、それぞれゲイン調整により信号バランスを揃えた後、ＬＯＧ変換により低輝度部分のコントラストを改善する等の画像補正を行い、所定の輝度階調のデジタル画像データに変換して元画像メモリ２５にストアする。
【００１３】
ステレオ処理部３０は、シティブロック距離計算回路、最小値・画素ズレ検出回路等を備えたものであり、元画像メモリ２５にストアされたメイン画像及びサブ画像の２枚の画像に対し、各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する領域を特定するステレオマッチング処理を行い、対象物までの距離に応じて生じる画素のズレから得られる対象物までの遠近情報を数値化した３次元画像情報（距離画像）を取得する。
【００１４】
すなわち、シティブロック距離計算回路でメイン画像の一つの小領域に対し、対応するサブ画像の小領域との間のシティブロック距離を計算し、最小値・画素ズレ検出回路でシティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足し、且つ、シティブロック距離が最小になる画素ズレ量（＝視差Ｄ）を、メイン画像の小領域に対応する距離情報として距離画像メモリ３５にストアする。
【００１５】
ここで、上記チェックは、予め設定したしきい値Ｈa ，Ｈb に対し、シティブロック距離の最小値及び最大値が、
最小値≦Ｈa
最大値−最小値≧Ｈb
を満たすか否かを調べることにより行われ、さらに、メイン画像の小領域内の横方向の隣接画素間の輝度差が、予め設定したしきい値Ｈc よりも大きいか否かを調べることにより行われる。そして、上記チェック条件を満たしていない場合は、画素ズレ量（＝視差Ｄ）＝”０”を出力する。
【００１６】
尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００１７】
上記多数決フィルタ部４０は、距離画像メモリ３５にストアされた視差Ｄの値を各小領域毎にそれぞれ多数決フィルタ処理して適切な値に補正し、フィルタ後距離画像メモリ４５に出力するものであり、この多数決フィルタ部４０は、例えばコンパレータ、ゲートアレイ等により論理設計されている。なお、この多数決フィルタ部４０は、通常のマイクロプロセッサで構成し、多数決フィルタ処理をソフト的に行っても良い。
【００１８】
すなわち、上記多数決フィルタ部４０は、各小領域毎の視差情報を、この小領域の視差情報と該小領域の周囲に存在する小領域の視差情報に基づきフィルタ処理するものであり、先ず、上記距離画像メモリ３５にストアされた情報の中から、注目する（フィルタ処理を施す）小領域の視差情報を中心とする３×３の小領域群を抽出し、図３に示すように、各小領域に順次ｄn （ｎ＝０〜８）のアドレスを設定する。ここで、注目する小領域のアドレスは、ｄ4 となる。
【００１９】
上記多数決フィルタ部４０には、各アドレスｄn 及び該アドレスｄn に対応する視差Ｄ（ｄn ）に応じて加算度数を決定するためのマトリクスが予め設定され格納されており、上記多数決フィルタ部４０では、決定された加算度数に基づき、横軸を視差Ｄ，縦軸を度数としたヒストグラムを作成し、このヒストグラムから最も度数の大きい視差Ｄ’を抽出し、この最大度数視差Ｄ’に応じて注目する小領域の視差Ｄ（ｄ4 ）を補正する。
【００２０】
ここで、上記加算度数は、図４，５のマトリクスに示すように４通りの度数に分類されており、Ｄ（ｄn ）＝０のとき、ｄn （ｎ≠４）の加算度数が最も小さい値”１”となるように設定され、また、ｄ4 の加算度数が最も大きい値”１７”となるように設定されている。一方、Ｄ（ｄn ）≠０のとき、ｄn （ｎ≠４）の加算度数が”１”よりもやや大きい”３”となるように設定され、また、ｄ4 の加算度数が”３”よりも大きく”１７”よりも小さい”７”となるように設定されている。
【００２１】
上記ヒストグラムは、いわゆる包め処理により作成される。すなわち、このヒストグラムは、図６に示すように、アドレスｄn における視差Ｄ（ｄn ）に対応する場所Ｄに上記マトリクス基づく度数を加算するとともに、視差大側に隣接するＤ＋１、Ｄ＋２に対応する場所にも同様の度数を加算して作成される。
【００２２】
そして、この作成されたヒストグラムから最大度数視差Ｄ’を抽出し、この最大度数視差Ｄ’が視差Ｄ（ｄ4 ）に対して予め設定した条件を満たしているとき、視差Ｄ（ｄ4 ）の値をＤ’に補正する。ここで、最大度数視差値が複数存在した場合は、これらの中から値が最も小さいものをＤ’とするようになっている。
【００２３】
上記多数決フィルタ部４０による多数決フィルタ処理は、図２に示すフローチャートに従って行われる。
このルーチンでは、先ず、ステップ（以下”Ｓ”と略称）１０１で、前回作成されたヒストグラムをクリアした後、Ｓ１０２に進む。
【００２４】
上記Ｓ１０２〜Ｓ１１１までの処理は、距離画像メモリ３５にストアされている距離画像データの中から抽出した３×３（アドレスｄ0 〜ｄ8 ）の小領域群に基づき、ヒストグラムを作成するためのものであり、Ｓ１０２では、ｎ＝０とし、これから処理を行う小領域のアドレスをｄ0 に設定した後、Ｓ１０３に進む。
【００２５】
上記Ｓ１０３では、現在処理中の小領域のアドレスがｄ4 であるか否かを調べ、アドレスがｄ4 でない場合はＳ１０４に進む。
【００２６】
上記Ｓ１０４では、現在処理中のアドレスｄn に対応する視差Ｄ（ｄn ）が”０”であるか否かを調べ、視差Ｄ（ｄn ）が”０”以外の場合はＳ１０５に進み、視差Ｄ（ｄn ）が”０”の場合はＳ１０６に進む。
【００２７】
上記Ｓ１０５では、視差Ｄ（ｄn ）に一致するヒストグラム上の視差Ｄ，及びその視差大側に隣接するＤ＋１，Ｄ＋２に対応する場所に度数”３”を加算した後、Ｓ１１０に進む。
【００２８】
また、上記Ｓ１０６では、ヒストグラム上のＤ，Ｄ＋１，Ｄ＋２に対応する場所に度数”１”を加算した後、Ｓ１１０に進む。
【００２９】
一方、上記Ｓ１０３で現在処理中の小領域のアドレスがｄ4 であると判定し、Ｓ１０７に進むと、現在処理中のアドレスｄ4 の小領域における視差Ｄ（ｄ4 ）が”０”であるか否かを調べ、視差Ｄ（ｄ4 ）が”０”以外の場合はＳ１０８に進み、視差Ｄ（ｄ4 ）が”０”の場合はＳ１０９に進む。
【００３０】
上記Ｓ１０８では、視差Ｄ（ｄ4 ）に一致するヒストグラム上の視差Ｄ，及びその視差大側に隣接するＤ＋１，Ｄ＋２に対応する場所に度数”７”を加算した後、Ｓ１１０に進む。
【００３１】
また、上記Ｓ１０９では、ヒストグラム上のＤ，Ｄ＋１，Ｄ＋２に対応する場所に度数”１７”を加算した後、Ｓ１１０に進む。
【００３２】
上記Ｓ１０５，Ｓ１０６，Ｓ１０８，或いはＳ１０９でヒストグラムへ度数を加算し、上記Ｓ１１０に進むと、ｎ←ｎ＋１とし、処理を行う小領域のアドレスを次のアドレスにシフトさせた後、Ｓ１１１に進む。
【００３３】
上記Ｓ１１１では、ｎ＝９であるか否か、すなわちアドレスｄ0 〜ｄ8 の全ての視差Ｄ（ｄn ）に対応する度数をヒストグラム上へ加算したか否かを調べ、ｎ≠９の場合はＳ１０３に戻り、ｎ＝９の場合はＳ１１２に進む。
【００３４】
上記Ｓ１１２〜Ｓ１１６までの処理は、作成したヒストグラム上の度数を順次調べ、最大度数視差Ｄ’を抽出するためのものであり、Ｓ１１２では、ｍ＝０、Ｄ’＝０、Ｈ_max＝０とした後、Ｓ１１３に進む。
【００３５】
ここで、ｍは、ヒストグラム上での横軸のアドレスを表し、以下、ヒストグラム上の各々の視差をＤm （ｍ＝０，１，２…ｍａｘ）で表す。この場合、”Ｄ0 ”に対応する視差は”０”であり、”Ｄmax ”に対応する視差は”ステレオ画像処理部３０で検出可能な視差の最大値”である。
【００３６】
また、Ｈ_maxは、ヒストグラム上の度数を順次調べる処理過程における最大度数を示す。
【００３７】
上記Ｓ１１３では、前処理までの最大度数Ｈ_maxが、視差Ｄm に対応する度数よりも小さいか否かを調べ、上記最大度数Ｈ_maxが視差Ｄm の度数よりも小さい場合はＳ１１４に進み、Ｄ’＝Ｄm とするとともに、Ｈ_maxの値を視差Ｄm に対応する度数に更新した後、Ｓ１１５に進む。一方、上記最大度数Ｈ_maxが視差Ｄm の度数よりも大きい場合は、そのままＳ１１５に進む。
【００３８】
上記Ｓ１１５では、Ｄm ←Ｄm ＋１とし、度数を調べる視差のアドレスをシフトさせた後、Ｓ１１６に進む。
【００３９】
上記Ｓ１１６では、Ｄm ＝Ｄmax であるか否かを調べ、Ｄm ＝Ｄmax である場合はＳ１１７に進み、Ｄm ≠Ｄmax である場合はＳ１１３に戻る。
【００４０】
このようにして、ヒストグラム上で度数最大値Ｈ_maxを示すときの視差、すなわち最大度数視差Ｄ’を決定し、Ｓ１１７に進むと、この最大度数視差Ｄ’が、Ｄ（ｄ4 ）−Ｓ≦Ｄ’≦Ｄ（ｄ4 ）＋Ｓを満たすか否かを調べる。すなわち、Ｓ１１７では、最大度数視差Ｄ’と視差Ｄ（ｄ4 ）とのズレが予め設定した許容ズレ視差値±Ｓ以内か否かを調べ、視差のズレが±Ｓ以上であればＳ１１８に進み、Ｄ’をフィルタ後距離画像メモリ４５に出力（Ｄ”＝Ｄ’）した後、ルーチンを抜ける。
【００４１】
一方、上記Ｓ１１７において、視差のズレが±Ｓ以内であればＳ１１９へ進みＤ（ｄ4 ）をフィルタ後距離画像メモリ４５へ出力（Ｄ”＝Ｄ（ｄ4 ））した後ルーチンを抜ける。
【００４２】
次に、上記多数決フィルタ部４０によるフィルタ処理の具体例について説明する。今、距離画像メモリ３５にストアされた距離情報から、図７（ａ）に示す３×３の小領域群が抽出されたとする。
【００４３】
この小領域群のアドレスｄ0 〜ｄ3 における視差Ｄ（ｄn ）は１２であり、これらはＤ（ｄn ）≠０であるので、図５のマトリクスから、加算度数は”３”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１２，１３，１４に対応する場所にそれぞれ度数”３”を加算する。
【００４４】
また、アドレスｄ4 における視差Ｄ（ｄn ）は１６であり、Ｄ（ｄn ）≠０であるので、図５のマトリクスから、加算度数は”７”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１６，１７，１８に対応する場所に度数”７”を加算する。
【００４５】
さらに、アドレスｄ5 〜ｄ7 における視差Ｄ（ｄn ）は１２であり、これらはＤ（ｄn ）≠０であるので、図５のマトリクスから、加算度数は”３”である。そこで、上述のＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝１２，１３，１４に対応する場所にそれぞれ度数”３”を加算する。
【００４６】
さらに、アドレスｄ8 における視差Ｄ（ｄn ）は０であるので、図４のマトリクスから、加算度数は”１”である。そこでＳ１０３〜Ｓ１１１の手順に従って、ヒストグラム上の視差Ｄ＝０，１，２に対応する場所に度数”１”を加算する。
このようにして、図７（ｃ）に示すヒストグラムが完成する。
【００４７】
次いで、ヒストグラムから上述のＳ１１２〜Ｓ１１６の手順に従って度数最大となる視差Ｄ’を抽出する。ここで、図７（ｃ）に示すヒストグラムから明らかなように、視差Ｄm ＝１２，１３，１４で度数がともに最大値２１となるが、この場合、これらの中から最小の視差をＤ’とするので、最大度数視差Ｄ’＝１２となる。
【００４８】
次いで、決定した最大度数視差Ｄ’の値に基づき、上述のＳ１１７，Ｓ１１８の手順に従って視差Ｄ（ｄ4 ）の補正を行う。今回の場合、最大度数視差Ｄ’＝１２，視差Ｄ（ｄ4 ）＝１６であり、視差Ｄ（ｄ4 ）に対し最大度数視差Ｄ’が”−４”ズレていることになる。従って、上記Ｓ１１７における許容ズレ視差値Ｓの値が”４”以下に設定されている場合には、最大度数視差Ｄ’＝１２がフィルタ後距離画像メモリ４５の該当アドレスにストアされる。一方、許容ズレ視差値Ｓの値が”４”以上に設定されている場合には、アドレスｄ4 の視差Ｄ（ｄ4 ）＝１６がそのまま、上記フィルタ後距離画像メモリ４５の該当アドレスにストアされる。
【００４９】
勿論、この多数決フィルタ処理は距離画像メモリ３５にストアされている距離画像全てに対して行われる。
【００５０】
このように、上記多数決フィルタ部４０は、注目する小領域の周囲に平面を推定することなく、該小領域の距離情報を補正（及び補完）することができるので、対象物が曲面の場合にも対応し、適切な補正を行うことができる。
【００５１】
また、ヒストグラムを作成する際の度数は、各アドレスｄn 及び該アドレスｄn の視差Ｄ（ｄn ）に応じたものなので、注目する小領域の視差Ｄ（ｄ4 ）の値を尊重しつつ、適切な補正を行うことができる。すなわち、上記多数決フィルタ部４０では、注目する小領域のｄ4 の加算度数を周囲の小領域の加算度数よりも大きくすることで、視差Ｄ（ｄ4 ）、或いは、該視差Ｄ（ｄ4 ）付近の視差値が最大度数視差Ｄ’となる可能性を大きくすることができる。
【００５２】
さらに、最大度数視差Ｄ’に応じて視差Ｄ（ｄ4 ）の補正を行うか否かを判定する際の許容ズレ視差値±Ｓを適切に設定することで、実際の視差とは明らかに異なる値の補正を防止することができる。
【００５３】
なお、本実施の形態では、３×３の小領域群を抽出して注目する小領域の視差の補正を行ったが、本発明はこれに限るものではなく、例えば５×５の小領域群を抽出しても良いし、３×５の小領域群を抽出しても良い。すなわち、本発明は得ようとする視差（距離情報）の精度等に応じて、注目する小領域を中心とした任意の小領域群を設定可能なものである。
【００５４】
また、設定する加算度数も上記加算度数に限らず、得ようとする視差（距離情報）の精度等に応じて任意に設定可能である。
【００５５】
【発明の効果】
以上、説明したように本発明によれば、誤検出された距離情報を適切に補正するとともに、検出されなかった小領域の距離情報を補完し、良質な距離画像を得ることができる。
【図面の簡単な説明】
【図１】ステレオ画像処理装置の要部を示す機能ブロック図
【図２】多数決フィルタ処理ルーチンのフローチャート
【図３】多数決フィルタ処理を行う際の対称となる視差情報のマトリクス
【図４】Ｄ（ｄn ）＝０のときの加算度数を示すマトリクス
【図５】Ｄ（ｄn ）≠０のときの加算度数を示すマトリクス
【図６】図４，図５のマトリクスに従い包め処理を行う際の説明図
【図７】多数決フィルタ処理の一例を示す説明図
【符号の説明】
１０    …    ステレオカメラ（撮像手段）
３０    …    ステレオ処理部（ステレオ処理手段）
３５    …    距離画像メモリ（距離画像記憶手段）
４０    …    多数決フィルタ部（多数決フィルタ手段）
【図１】
0004021036.tif 000002
【図２】
0004021036.tif 000003
【図３】
0004021036.tif 000004
【図４】
0004021036.tif 000005
【図５】
0004021036.tif 000006
【図６】
0004021036.tif 000007
【図７】
0004021036.tif 000008