(57)【要約】【課題】２つの撮像装置から得られた撮像画像に適切な前処理を施すことによって、各撮像画像に含まれるノイズの影響や２つの撮像画像間の画素値のばらつきの影響を適切に補償し、視差を精度良く検出することを可能とする画像処理装置を提供する。【解決手段】所定の方向に並設した２つの撮像装置の撮像画像のいずれか一方の撮像画像に対して、前記所定の方向に画素数ｄの間隔を存する画素の画素値Ｉ(p)，画素値Ｉ(p+d)の差の値の確率的分布を正規分布で近似し得るｄの値の最大値ｄmaxを撮像画像のサンプリングデータを基に決定する。その最大値ｄmaxを使用し、各撮像画像の各画素に対して、該画素値からｄmaxの間隔を存する画素の画素値Ｉ(p+dmax)，Ｉ(p-dmax)の差の値を当該画素の画素値とする前処理を施す。前処理後の画像データを用いて視差を検出する。【選択図】図２
2008090742.tif 000002
【特許請求の範囲】
【請求項１】
所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のうちのいずれか一方の撮像画像に対して、当該一方の撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の値の確率的分布を、０の平均値を有すると共に前記画素数ｄの値に応じた標準偏差を有する正規分布で近似することが可能となる前記画素数ｄの最大値ｄmaxを、前記一方の撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする画像処理装置。
【請求項２】
所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のうちのいずれか一方の撮像画像に対して、当該一方の撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の分散をω2(d2)とし、前記一方の撮像画像の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で１画素分の間隔を存する画素の画素値Ｉ(p+1)との差の分散をω2(12)としたとき、前記分散ω2(d2)と、前記分散ω2(12)に前記画素数ｄを乗じてなる値との差の絶対値が所定値よりも小さくなるような前記画素数ｄの最大値ｄmaxを、前記一方の撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする画像処理装置。
【請求項３】
前記予備処理手段は、前記分散ω2(12)を、前記一方の撮像画像において前記所定の方向に１画素分の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、
前記画素数ｄの値を２以上の整数値で順次増加させていくように設定しつつ、そのｄの値の各設定値に対応する前記分散ω2(d2)を、前記一方の撮像画像において前記所定の方向に当該設定値の画素数の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、
前記ｄの値の各設定値に対応して求めた前記分散ω2(d2)と、前記求めた分散ω2(12)に当該設定値を乗じてなる値との差の絶対値が前記所定値よりも小さいか否かを判断する手段と、
その判断結果が否定的になったときのｄの値の設定値の１つ前の設定値を前記最大値ｄmaxとして決定する手段とから構成されることを特徴とする請求項２記載の画像処理装置。
【請求項４】
所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のそれぞれに対して、その各撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の値の確率的分布を、０の平均値を有すると共に前記画素数ｄの値に応じた標準偏差を有する正規分布で近似されるような前記画素数ｄの最大値ｄmaxの候補値を、各撮像画像毎に、各撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求めると共に、その求めた各撮像画像に対応する前記最大値ｄmaxの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定する予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記前処理用の最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記前処理用の最大値ｄmaxの間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする画像処理装置。
【請求項５】
所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のそれぞれに対して、その各撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の分散をω2(d2)とし、前記一方の撮像画像の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で１画素分の間隔を存する画素の画素値Ｉ(p+1)との差の分散をω2(12)としたとき、前記分散ω2(d2)と、前記分散ω2(12)に前記画素数ｄを乗じてなる値との差の絶対値が所定値よりも小さくなるような前記画素数ｄの最大値ｄmaxの候補値を、各撮像画像毎に、各撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求めると共に、その求めた各撮像画像に対応する前記最大値ｄmaxの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定する予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記前処理用の最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記前処理用の最大値ｄmax画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記予備処理手段は、前記各撮像画像毎に、前記分散ω2(12)を、各撮像画像ににおいて前記所定の方向に１画素分の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、
前記各撮像画像毎に、前記画素数ｄの値を２以上の整数値で順次増加させていくように設定しつつ、そのｄの値の各設定値に対応する前記分散ω2(d2)を、各撮像画像において前記所定の方向に当該設定値の画素数の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、
前記各撮像画像毎に、前記ｄの値の各設定値に対応して求めた前記分散ω2(d2)と、前記求めた分散ω2(12)に当該設定値を乗じてなる値との差の絶対値が前記所定値よりも小さいか否かを判断する手段と、
前記撮像画像毎に、その判断結果が否定的になったときのｄの値の設定値の１つ前の設定値を各撮像画像に対応する前記最大値ｄmaxの候補値として決定する手段と
各撮像画像に対応して決定された前記最大値ｄmaxの候補値のうちの小さい方の候補値を前記前処理用の最大値ｄmaxとして決定する手段とから構成されることを請求項５記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの撮像装置によりそれぞれ撮像された２つの撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置に関する。
【背景技術】
【０００２】
従来、例えば車両の前部などに並設した２つの撮像装置により車両の前方側の映像を撮像し、それらの撮像画像を基に、車両の前方側に存在する人などの物体を監視するシステムが知られている（例えば特許文献１、２を参照）。このようなシステムでは、２つの撮像画像を基に、それらの撮像画像内に存在する同一の物体の視差（２つの撮像装置の並列方向における視差）を検出する。そして、その検出した視差から、車両に対する物体の相対距離を算出する。
【０００３】
この場合、視差を検出するために、いずれか一方の撮像画像内の物体上の点（以下、ここでは注目点という）に対応する他方の撮像画像中の点を探索する必要がある。この探索手法としては、特許文献１に見られるように、差分法や正規化相関法が一般に用いられる。これらの手法は、前記一方の撮像画像内の注目点を含む局所領域と、他方の撮像画像の探索領域内の局所領域とにおける画素値（輝度値など）の分布の一致度合いを、いわゆるＳＡＤ、ＮＣＣなどの相関関数の値により判断し、一方の撮像画像内の注目点を含む局所領域に対して、最も一致度合いの高い他方の撮像画像の局所領域内の点を、一方の撮像画像内の注目点に対応する他方の撮像画像内の点として探索する手法である。なお、特許文献２のものでは、ＳＡＤが使用されている。
【０００４】
また、前記特許文献２には、２つの撮像装置の特性の違いによる両撮像画像間の画素値のばらつきを補償するために、各撮像装置の出力のＡ／Ｄ変換値を、各撮像装置に対応して備えたルックアップテーブルにより補正する技術が知られている。
【特許文献１】特開２０００−３２９８５２号公報
【特許文献２】特開平５−１１４０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、各撮像装置の撮像画像には、種々様々なノイズが含まれる。また、個々の撮像装置の特性のばらつきなどに起因して、２つの撮像装置により同一の物体を撮像しても、各撮像画像における物体の画像の各画素の輝度値などの画素値が、両撮像画像間でばらつきを生じる。そして、このような、各撮像画像に含まれるノイズや、両撮像画像間での画素値のばらつきは、視差検出の誤差要因となる。従って、視差の検出精度を高めるためには、各撮像画像に含まれるノイズや両撮像画像間での画素値のばらつきなどの誤差要因の影響を適切に補償することが望まれる。
【０００６】
しかるに、前記特許文献１に見られる技術では、各撮像装置の撮像画像をそのまま使用して、視差を検出するようにしているので、上記誤差要因の影響が補償されていない。このため、視差を精度よく検出することが困難となる場合が多い。
【０００７】
また、前記特許文献２に見られる技術では、各撮像装置毎のルックアップテーブルを使用することで、撮像装置間の画素値のばらつきを補償するようにしているものの、各撮像画像に含まれるノイズの影響が補償されていない。このため、前記特許文献２に見られる技術では、視差の検出精度をさらに高めることが困難である。さらに、特許文献２に見られるようなルックアップテーブルは、個々の撮像装置毎に必要となるため、汎用性に欠けると共に、コスト的にも不利である。
【０００８】
本発明はかかる背景に鑑みてなされたものであり、２つの撮像装置から得られた撮像画像に適切な前処理を施すことによって、各撮像画像に含まれるノイズの影響や２つの撮像画像間の画素値のばらつきの影響を適切に補償し、その前処理後の各画像データを基に、視差を精度良く検出することを可能とすると共に汎用性の高い画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
まず、本願発明の基本的な考え方を説明する。詳細な説明は後述するが、本願発明者の知見によれば、所定の方向（例えば左右方向、上下方向）で並設した第１の撮像装置と第２の撮像装置とにより同一の物体を撮像した場合、第１の撮像装置から得られる第１の撮像画像の各画素の画素値と、その画素と同じ物体を捉えていると第２の撮像画像（第２の撮像装置から得られる撮像画像）の画素の画素値との差の確率的分布（以下、第１確率的分布ということがある）は、一般に、ある値の中心値（平均値）を有する正規分布で近似される。また、各撮像画像においては、その各画素の画素値と、該画素から比較的小さい値の画素数ｄの間隔を存する画素の画素値との差の確率的分布（以下、第２確率的分布ということがある）は、０の中心値（平均値）を有すると共に前記画素数ｄ（間隔）に応じた標準偏差または分散を有する正規分布で近似される。
【００１０】
上記のように、第１確率的分布および第２確率的分布が正規分布で近似される場合、各撮像画像の所定の領域（少なくとも視差を検出しようとする領域）内の各画素に対して、次のような前処理を施すことによって、各撮像画像に含まれるノイズの影響や両撮像画像間の画素値のばらつきの影響を適切に補償し、それらの影響が少ない（Ｓ／Ｎ比が高い）前処理後画像データを得ることができる。
【００１１】
その前処理は、各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに、ある値の画素数ｄの間隔を存する画素の画素値Ｉ(p+d)と、該所定の方向における負の向きに該画素数ｄの間隔を存する画素の画素値Ｉ(p-d)との差分の値、または該差分の値をスケール調整してなる値を当該画素の画素値とする前処理が好適である。さらに、その前処理は、各撮像画像において、その各画素の画素値と、該画素に対して前記所定の方向で前記画素数ｄの間隔を存する画素の画素値との差の確率的分布を、上記の正規分布（その中心値（平均値）が０で、且つ、当該画素数ｄ（間隔）に応じた標準偏差または分散を有する正規分布）で近似し得るようなｄの値のうちの、最も大きいｄの値を用いることが好適である。
【００１２】
そこで、本願の第１発明の画像処理装置は、前記の目的を達成するために、所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のうちのいずれか一方の撮像画像に対して、当該一方の撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の値の確率的分布を、０の平均値を有すると共に前記画素数ｄの値に応じた標準偏差を有する正規分布で近似することが可能となる前記画素数ｄの最大値ｄmaxを、前記一方の撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする（第１発明）。
【００１３】
かかる第１発明によれば、前記予備処理手段で求めた前記画素数ｄの最大値ｄmaxが、前記前処理実行手段による前処理に使用される。すなわち、各撮像画像の所定の領域内の各画素に対して、前記所定の方向（両撮像装置の並列方向）における正の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分の値、または該差分の値をスケール調整してなる値を当該画素の画素値とする前処理後画像データが各撮像装置から作成される。このような前処理によって、各撮像画像に含まれるノイズの影響や両撮像画像間の画素値のばらつきの影響を適切に補償し、それらの影響が少ない（Ｓ／Ｎ比が高い）前処理後画像データを得ることができる。ひいては、その前処理後画像データを用いて視差を検出することにより、その検出精度を高めることができる。また、この場合、個々の撮像装置の特性を事前に用意しておく必要が無いので、第１発明の画像処理装置の汎用性を高めることができる。
【００１４】
なお、第１発明における前記「画素値」は、一般的には輝度値でよいが、撮像画像がカラー画像である場合には、画素値として色相、彩度などを使用してもよい。また、前記「スケール調整」は、前記差分の値に所定のゲインを乗じる処理、あるいは、該差分の値に所定のオフセット値を加える処理、あるいは、それらの処理の合成処理を意味する。これらのことは、後述の第２〜第６発明においても同様である。
【００１５】
ここで、前記したように、第２確率的分布が正規分布で近似される場合、各撮像画像において、複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の分散をω2(d2)とし、前記一方の撮像画像の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で１画素分の間隔を存する画素の画素値Ｉ(p+1)との差の分散をω2(12)としたとき、分散ω2(d2)は、分散ω2(12)に画素数ｄの値を乗じてなる値にほぼ等しくなる。従って、前記第２確率的分布が正規分布で近似され得るような前記画素数ｄの最大値ｄmaxは、換言すれば、上記分散ω2(d2)と、分散ω2(12)に画素数ｄの値を乗じてなる値との差の絶対値が０もしくはこれに近い値になるようなｄの最大値dmaxであると考えることもできる。
【００１６】
そこで、本願の第２発明の画像処理装置は、所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のうちのいずれか一方の撮像画像に対して、当該一方の撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の分散をω2(d2)とし、前記一方の撮像画像の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で１画素分の間隔を存する画素の画素値Ｉ(p+1)との差の分散をω2(12)としたとき、前記分散ω2(d2)と、前記分散ω2(12)に前記画素数ｄを乗じてなる値との差の絶対値が所定値よりも小さくなるような前記画素数ｄの最大値ｄmaxを、前記一方の撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする（第２発明）。
【００１７】
この第２発明によれば、前記予備処理手段により求められる最大値ｄmaxは、前記第２確率的分布が正規分布で近似され得るような前記画素数ｄの最大値に相当するものとなる。従って、この最大値ｄmaxを使用して前記第１発明と同様に各撮像画像に前処理を施すことにより、前記第１発明と同様の効果を奏することができる。
【００１８】
この第２発明では、前記予備処理手段は、例えば次のように前記最大値ｄmaxを求めればよい。すなわち、前記予備処理手段は、前記分散ω2(12)を、前記一方の撮像画像において前記所定の方向に１画素分の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、前記画素数ｄの値を２以上の整数値で順次増加させていくように設定しつつ、そのｄの値の各設定値に対応する前記分散ω2(d2)を、前記一方の撮像画像において前記所定の方向に当該設定値の画素数の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、前記ｄの値の各設定値に対応して求めた前記分散ω2(d2)と、前記求めた分散ω2(12)に当該設定値を乗じてなる値との差の絶対値が前記所定値よりも小さいか否かを判断する手段と、その判断結果が否定的になったときのｄの値の設定値の１つ前の設定値を前記最大値ｄmaxとして決定する手段とから構成すればよい（第３発明）。
【００１９】
この第３発明によれば、まず、前記一方の撮像画像において前記所定の方向に１画素分の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて前記分散ω2(12)が求められる。そして、ｄの値が２，３，４，……というように順次設定されつつ、その各設定値に対応する前記分散ω2(d2)が、前記一方の撮像画像において前記所定の方向に当該設定値の画素数の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求められる。さらに、そのｄの各設定値に対応して求められた分散ω2(d2)と、前記分散ω2(12)に当該設定値を乗じてなる値との差の絶対値が前記所定値よりも小さいか否か（その差がほぼ０であるか否か）が判断される。この場合、ｄの値の設定値がある値を超えると、前記第２確率的分布と正規分布との近似度合いが低くなるので、上記判断の結果が否定的となる。そこで、第３発明では、上記判断の結果が否定的となったときのｄの値の設定値の１つ前の設定値を前記最大値ｄmaxとして決定する。これにより、前処理用の最大値ｄmaxを簡易な探索的手法によって適切に決定できる。
【００２０】
前記第１〜第３発明では、前処理用のｄの値の最大値ｄmaxを求めるために、第１の撮像画像および第２撮像画像の一方だけを使用するようにしたが、両者の撮像画像を使用してｄmaxの値を決定することもできる。
【００２１】
そこで、本願の第４発明の画像処理装置は、所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のそれぞれに対して、その各撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の値の確率的分布を、０の平均値を有すると共に前記画素数ｄの値に応じた標準偏差を有する正規分布で近似されるような前記画素数ｄの最大値ｄmaxの候補値を、各撮像画像毎に、各撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求めると共に、その求めた各撮像画像に対応する前記最大値ｄmaxの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定する予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記前処理用の最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記前処理用の最大値ｄmaxの間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする（第４発明）。
【００２２】
この第４発明によれば、前記予備処理手段は、各撮像画像毎に、前記最大値dmaxの候補値を求め、それらの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定する。このため、第１の撮像画像および第２の撮像画像のいずれに対しても好適な前処理用の最大値ｄmaxが決定される。そして、この前処理用の最大値dmaxを使用して、前記第１発明と同様に、各撮像画像に前処理を施すことにより、前記第１発明と同様の効果を奏することができる。
【００２３】
また、前記第２発明に関して説明した如く、各撮像画像において、前記第２確率的分布が正規分布で近似され得るような前記画素数ｄの最大値ｄmaxは、換言すれば、上記分散ω2(d2)と、分散ω2(12)に画素数ｄの値を乗じてなる値との差の絶対値が０もしくはこれに近い値になるようなｄの最大値dmaxであると考えることもできる。
【００２４】
そこで、本願の第５発明の画像処理装置は、所定の方向で互いに並設された第１の撮像装置と第２の撮像装置とによりそれぞれ撮像された第１の撮像画像および第２の撮像画像の両者に存在する同一物の視差を求めるために、各撮像画像に前処理を施す画像処理装置であって、
前記第１の撮像画像および第２の撮像画像のそれぞれに対して、その各撮像画像内の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で画素数ｄの間隔を存する画素の画素値Ｉ(p+d)との差の分散をω2(d2)とし、前記一方の撮像画像の複数の画素のそれぞれの画素値Ｉ(p)と、その各画素に対して前記所定の方向で１画素分の間隔を存する画素の画素値Ｉ(p+1)との差の分散をω2(12)としたとき、前記分散ω2(d2)と、前記分散ω2(12)に前記画素数ｄを乗じてなる値との差の絶対値が所定値よりも小さくなるような前記画素数ｄの最大値ｄmaxの候補値を、各撮像画像毎に、各撮像画像において前記所定の方向に間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求めると共に、その求めた各撮像画像に対応する前記最大値ｄmaxの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定する予備処理手段と、
前記各撮像画像の所定の領域内の各画素に対して、前記所定の方向における正の向きに前記前処理用の最大値ｄmaxの画素数の間隔を存する画素の画素値Ｉ(p+dmax)と、該所定の方向における負の向きに前記前処理用の最大値ｄmax画素数の間隔を存する画素の画素値Ｉ(p-dmax)との差分を求め、その求めた差分の値、または該差分の値をスケール調整してなる値を前記各撮像画像の所定の領域内の各画素の画素値として有する画像を、前記同一物の視差を求めるために用いる前処理後画像データとして得る前処理実行手段とを備えたことを特徴とする（第５発明）。
【００２５】
この第５発明によれば、前記予備処理手段により各撮像画像毎に求められる最大値ｄmaxの候補値は、各撮像画像において、前記第２確率的分布が正規分布で近似され得るような前記画素数ｄの最大値に相当するものとなる。従って、これらの最大値ｄmaxの候補値のうちの小さい方の候補値を前処理用の最大値ｄmaxとして決定することによって、前記第４発明と同様に、第１の撮像画像および第２の撮像画像のいずれに対しても好適な前処理用の最大値ｄmaxが決定される。そして、この前処理用の最大値dmaxを使用して、前記第１発明と同様に、各撮像画像に前処理を施すことにより、前記第１発明と同様の効果を奏することができる。
【００２６】
この第５発明では、前記予備処理手段は、前記第３発明と同様の手法によって、各撮像画像毎のｄmaxの候補値を決定すればよい。すなわち、前記第５発明では、前記予備処理手段は、前記各撮像画像毎に、前記分散ω2(12)を、各撮像画像ににおいて前記所定の方向に１画素分の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、前記各撮像画像毎に、前記画素数ｄの値を２以上の整数値で順次増加させていくように設定しつつ、そのｄの値の各設定値に対応する前記分散ω2(d2)を、各撮像画像において前記所定の方向に当該設定値の画素数の間隔を存する複数組の画素の画素値のサンプリングデータに基づいて求める手段と、前記各撮像画像毎に、前記ｄの値の各設定値に対応して求めた前記分散ω2(d2)と、前記求めた分散ω2(12)に当該設定値を乗じてなる値との差の絶対値が前記所定値よりも小さいか否かを判断する手段と、前記撮像画像毎に、その判断結果が否定的になったときのｄの値の設定値の１つ前の設定値を各撮像画像に対応する前記最大値ｄmaxの候補値として決定する手段と、各撮像画像に対応して決定された前記最大値ｄmaxの候補値のうちの小さい方の候補値を前記前処理用の最大値ｄmaxとして決定する手段とから構成すればよい（第６発明）。
【００２７】
この第６発明よれば、各撮像画像毎に、前記第３発明と同様の処理によって、ｄmaxの候補値が決定される。そして、これらの候補値のうちの小さい方の値が前処理用の最大値ｄmaxとして決定される。従って、前処理用の最大値ｄmaxを簡易な探索的手法を使用して、適切に決定できる。
【００２８】
なお、以上説明した各発明において、各撮像画像の前処理後画像データを用いた視差の検出は、従来と同様の手法を使用して行なえばよい。すなわち、第１の撮像画像および第２の撮像画像のいずれか一方の撮像画像の任意の画素（ある物体の像を捉えている画素）に対し、その画素を含む局所領域の画素値の分布との一致度合いが最大となるような他方の撮像画像の局所領域をＳＡＤなどの相関関数を使用して探索することによって、当該一方の撮像画像の画素に対応する他方の撮像画像の画素を決定し、前記所定の方向におけるそれらの画素の位置の差を視差として検出するようにすればよい。この場合、特に演算処理負荷が小さいＳＡＤを使用することが好適である。
【発明を実施するための最良の形態】
【００２９】
本発明の画像処理装置の第１実施形態を図１〜図３を参照して説明する。
【００３０】
図１は本実施形態の装置のシステム構成を示すブロック図である。同図を参照して、本実施形態では、自動車などの車両１の前方に存在する人などの対象物を監視するために、該車両１の前部に２つの撮像装置２Ｒ，２Ｌが搭載されている。撮像装置２Ｒ，２Ｌは、ＣＣＤカメラなどにより構成される。これらの撮像装置２Ｒ，２Ｌは、本実施形態では、その光軸を車両１の前後方向に向けて、該車両１の左右方向に並設されている。撮像装置２Ｒ，２Ｌは、それぞれ車両１の前方に向かって右側、左側に存する。そして、車両１には、これらの撮像装置２Ｒ，２Ｌで撮像された画像の映像信号が入力される画像処理ユニット３が搭載されている。この画像処理ユニット３は、マイクロコンピュータなどを含む電子回路ユニットであり、入力された映像信号を基に、車両１の前方側に存在する人などの物体を認識し、その認識した物体の車両１に対する空間的な相対位置を検出するなどの処理を実行する。
【００３１】
画像処理ユニット３は、そのハードウェアおよびソフトウェアにより実現される機能として、画像取得部４、画像前処理部５、視差算出部６、物体抽出部７、およびトラッキング部８を備える。
【００３２】
ここで、画像処理ユニット３の各部の概略的処理を以下に説明する。
【００３３】
各撮像装置２Ｒ，２Ｌの出力（映像信号）は、所定の処理周期で画像取得部４に取り込まれる。この画像取得部４は、入力された各撮像装置２Ｒ，２Ｌの撮像画像の各画素の映像信号（アナログ信号）をＡ／Ｄ変換し、そのＡ／Ｄ変換したデジタルデータを図示しない画像メモリに記憶保持する。該デジタルデータは、各撮像画像の各画素の画素値を示すデータであり、その画素値は、本実施形態では輝度値である。以降、撮像装置２Ｒから得られた撮像画像を右画像、撮像装置２Ｌから得られた撮像画像を左画像という。なお、本実施形態では、これらの右画像および左画像はグレースケール画像である。
【００３４】
このように画像取得部４で画像メモリに記憶保持される右画像および左画像は、画像前処理部５に入力される。この画像前処理部５は、入力された右画像および左画像にそれぞれ後述するように前処理を施し、前処理後画像データを作成する。なお、画像処理ユニット３は、この画像前処理部５の機能によって、本発明の画像処理装置としての機能を実現している。
【００３５】
上記前処理後画像データは、視差算出部６に入力される。この視差算出部６は、右画像の前処理後画像データと、左画像の前処理後画像データとに基づいて、右画像および左画像のいずれか一方、例えば右画像の各画素で捉えられている物体の視差を検出する。そして、その検出した視差に基づいて、右画像の各画素で捉えられている物体の距離を算出し、所謂、距離マップ（算出した距離を右画像の各画素に対応付けたマップ）を作成する。なお、視差の検出処理の具体的な例は後述する。
【００３６】
視差算出部６で算出された距離マップは、物体抽出部７に入力される。この物体抽出部７は、入力された距離マップに基づいて、右画像中に存在する物体を抽出する。例えば、右画像中で、車両１からの距離がほぼ同一（距離差が所定の範囲内）で、且つ、連続している画素群を個々の物体を示すものとして抽出する。
【００３７】
この物体抽出部７の出力（個々の物体の右画像での存在領域を示すデータ）は、トラッキング部８に入力される。このトラッキング部８は、互いに異なる時刻で得られた右画像のそれぞれから前記物体抽出部７により抽出された物体同士の同一性を判断し、同一の物体についての時刻間追跡を行なう。具体的には、時刻ｋ1で得られた右画像から抽出された物体Ａと、時刻ｋ2で得られた右画像から抽出された物体Ｂとの同一性を判断し、同一であると判断したときには、物体ＡとＢとの識別ラベルを同一にする。この場合、物体Ａ，Ｂの同一性は、例えば、物体Ａ，Ｂの形状や輝度分布（右画像上での輝度分布）などの特徴量を基に判断される。
【００３８】
なお、以上のようにして右画像および左画像を基に抽出された物体の距離情報は、例えばその物体と車両１との接触の可能性の判断などに利用され、接触の可能性が高いと判断された物体については、車両１の運転者に視覚的あるいは聴覚的な報知が行なわれる。あるいは、車両１の補助的な運転操作（ハンドル操作、ブレーキ操作など）が図示しないアクチュエータを介して行なわれる。
【００３９】
次に、前記画像前処理部５の処理を以下に詳細に説明する。まず、画像前処理部５の処理の原理的な説明を行なう。
【００４０】
以降の説明では、右画像および左画像のそれぞれに対して、横方向（左右方向）をｘ方向、縦方向（上下方向）をｙ方向とするｘｙ座標系が設定されているものとする。この場合、右画像に対するｘｙ座標系の原点と、左画像に対するｘｙ座標系の原点とは、それぞれ、右画像、左画像に対して同じ位置関係となる点（例えば左右の各画像の左上隅の点や、各画像の中央点など）に設定されているものとする。そして、右画像の位置(x,y)の画素をGR(x,y)、その輝度値をIR(x,y)と表記する。同様に、左画像の位置(x,y)の画素をGL(x,y)、その輝度値をIL(x,y)と表記する。さらに、右画像の前処理後の各画素GR(x,y)の輝度値をIR'(x,y)、左画像の前処理後の各画素GL(x,y)の輝度値をIL'(x,y)と表記する。ただし、右画像と左画像とを区別する必要が無いときは、GR(x,y)、GL(x,y)を代表的にＧ(x,y)で表し、IR(x,y)、IL(x,y)を代表的にＩ(x,y)で表し、IR'(x,y)、IL'(x,y)を代表的にＩ'(x,y)で表す。
【００４１】
本実施形態では、撮像装置２Ｒ，２Ｌの並列方向は、ｘ方向であるので、前記視差算出部６で算出すべき視差は、左右の画像間のｘ方向（左右方向）での視差である。この場合、視差の検出精度を高めるために左右の各画像に施す前処理は、一般的に、次式（１）により表されるものとする。
【００４２】
【数１】
2008090742.tif 000003
【００４３】
上記式（１）のαは「１」以上のある整数値、ａd（ｄ＝−α，…，０，…，α）は重み係数である。この式（１）は、画素Ｇ(x,y)に対して、その画素Ｇ(x,y)からｘ軸の正方向および負方向にそれぞれ画素数αの間隔を有する範囲内に存する２α＋１個の画素（画素Ｇ(x-α,y)から画素Ｇ(x+α,y)までｘ方向で連続的に並ぶ画素）のそれぞれの輝度値の重み付き平均値（線形結合値）を、該画素Ｇ(x,y)の新たな輝度値Ｉ’(x,y)とする前処理を表している。なお、この前処理は、ｙ座標の値には依存しないので、以降の説明では、ｙ座標値をしばしば省略する。例えばＩ(x,y)をＩ(x)と略記する。
【００４４】
式（１）により表される前処理は、重み係数ａdの組（これは一般にオペレータといわれる）により規定される。本実施形態では、このような式（１）により表現される前処理のうち、該前処理により得られる画像データ（より詳しくは右画像の前処理後の輝度値IR’(x,y)から構成されるデータと左画像の前処理後の輝度値IL’(x,y)から構成されるデータとの組）から、できるだけ視差を精度よく検出し得ると考えられる重み係数ａdの組を用いて、左右の各画像の前処理を行なう。そのような前処理は、以下の式（２）、（３）で表現される確率モデルに基づいて決定される。
【００４５】
IL(x)＝IR(x)＋ε(x)  ，ε(x)≒Ｎ(μ，σ)        ……（２）
Ｉ(x+d)＝Ｉ(x)＋τ(d)  ，τ(d)≒Ｎ(０，ω(d2))    ……（３）
これらの式（２）、（３）において、Ｎ(ａ，ｂ）（ａ，ｂは一般変数）は、中心値（平均値）および標準偏差がそれぞれａ，ｂである正規分布関数を意味する。そして、式（２）は、右画像の画素GR(x,y)と、左画像の画素GL(x,y)とに視差０で同じ物体の像が捉えられているとした場合に、画素GR(x,y)、GL(x,y)のそれぞれの輝度値IR(x,y)、IL(x,y)との差ε(x)の確率的な分布が、中心値（平均値）および標準偏差をそれぞれμ，σとする正規分布関数Ｎ(μ，σ)で近似されることを意味する。この場合、ε(x)は、撮像装置２Ｒ，２Ｌの特性の違いなどに起因するノイズに相当している。式（２）では、そのノイズが、輝度値IL(x,y)と輝度値IR(x,y)と間に平均的にμのオフセットを生じさせ、且つ、そのオフセットの分散（ばらつき）がσ2となる正規分布状のノイズとして表現されている。
【００４６】
また、式（３）におけるω(d2)は、その値がｄの絶対値の増加に伴い単調に増加する関数を意味する。なお、ｄ＝０のときには、ω(d2)＝０とする。従って、式（３）は、左右の各画像において、ｘ方向にｄ画素だけ離れた２つの画素G(x,y)、G(x+d,y)が比較的近い場合に、それらの画素G(x,y)、G(x+d,y)の輝度値Ｉ(x,y)、Ｉ(x+d,y)の差τ(d)の確率的な分布が、中心値（平均値）および標準偏差をそれぞれ０，ω(d2)とする正規分布関数で近似され、且つ、その差τ(d)の値の分散（ばらつき）ω2(d2)が、ｄの絶対値が大きくなるに従って（画素G(x,y)、G(x+d,y)が離れるに従って）、大きくなることを表現している。この式（３）は、換言すれば、画素G(x,y)、G(x+d,y)が互いに近い画素である場合（ｄの絶対値が「１」に近い場合）には、それらの画素G(x,y)、G(x+d,y)に同一の物体の像が捉えられている確率が高く、ひいては、それらの輝度値Ｉ(x,y)、Ｉ(x+d,y)の差τ(d)が、０に近い値になる確率が高いということを表現している。さらに、式（３）は、画素G(x,y)、G(x+d,y)が離れているほど、画素G(x,y)、G(x+d,y)でそれぞれ捉えられている物体が互いに異なる確率が高まり、ひいては、それらの輝度値Ｉ(x,y)、Ｉ(x+d,y)の差τ(d)の絶対値が大きくなる確率が高くなるということを表現している。
【００４７】
前記式（１）、（２）、（３）を前提としたとき、左右の各画像に前記式（１）による前処理を施した後の画像データ（前処理後画像データ）のＳ／Ｎ比は、次式（４）で示すように、同式（４）の右辺の式で表される量と相関性を有する。
【００４８】
【数２】
2008090742.tif 000004
【００４９】
すなわち、Ｓ／Ｎ比の２乗値は、式（４）の右辺の式により表される量に比例する。この式（４）の右辺の分母は、右画像の前処理後の画像データにおける画素GR(x,y)の輝度値IR’(x,y)と、左画像の前処理後の画像データにおける画素GL(x,y)の輝度値IL’(x,y)との差の分散に応じた量を示す。この量は、前記式（２）のεの分散（ばらつき）に依存する量である。また、式（４）の右辺の分子は、左右の画像のそれぞれの前処理後の各画像データにおいてｘ方向に間隔を存する画素G(x,y)、G(x+d,y)間の輝度値の差（変化量）の分散に応じた量を示す。この量は、前記式（３）のτの分散（ばらつき）に依存する量である。
【００５０】
ここで、左右の画像の前処理後の画像データから視差（本実施形態ではｘ方向の視差）を精度よく検出するためには、
（Ａ）右画像の前処理後の画像データと左画像の前処理後の画像データとの間での輝度値の差のばらつきができるだけ小さいこと
（Ｂ）右画像の前処理後の画像データと左画像の前処理後の画像データとの間での輝度値の差の平均値ができるだけ０に近いこと
（Ｃ）前処理後の左右の各画像データにおいて、ｘ方向における輝度値の変化が顕著に現れやすいこと
が好ましい。この場合、上記（Ａ）の条件から、式（４）の右辺の分母の値ができるだけ小さいことが要求される。また、上記（Ｃ）の条件から、式（４）の右辺の分子の値ができるだけ大きいことが要求される。さらに、前記（Ｂ）の条件から、少なくとも前記式（１）の重み係数ａd（ｄ＝−α，…，０，…，α）の総和Σａd＝ａ-α＋…＋ａ0＋…＋ａαが「０」であることが要求される。
【００５１】
これらの要求をできるだけ満たすように、前記式（１）の重み係数ａdの組（前処理のオペレータ）を設定して、そのオペレータを使用した前処理を左右の各画像に対して施すことによって、その前処理後の画像データのＳ／Ｎ比を高め、ひいては、視差の検出精度を高めることができる。
【００５２】
上記の要求を満たす重み係数ａdの組は、次式（５）により与えられる。そして、このとき、前記式（１）は、次式（６）となる。
【００５３】
ｄ≠±αであるａdに対して、ａd＝０
ｄ＝±αであるａdに対して、ａd＝±１（複合同順）
……（５）
Ｉ’(x,y)＝Ｉ(x+α,y)−Ｉ(x-α,y)      ……（６）
このようにして得られた前処理の式（６）は、ｘ方向の視差の検出精度を高める（前処理後の画像データのＳ／Ｎ比を高める）ためには、できるだけｘ方向で離れた画素の輝度値の差をとるような前処理を、左右の各画像に施すことが良いことを示している。
【００５４】
ただし、式（６）は、前記式（２）、（３）の確率モデルを前提として得られたものである。そして、特に前記式（３）の確率モデルは、一般に、ｄの絶対値が大き過ぎると、実際の事象との乖離が生じる。従って、式（６）の前処理によってＳ／Ｎ比が高くなる画像データを好適に得るためには、式（３）の確率モデルが近似的に成立し得るｄの最大値（限界値）を式（６）のαの値として用いることが好ましい。
【００５５】
そこで、本実施形態では、式（３）の確率モデルが近似的に成立し得るｄの最大値ｄmax（＞０）を式（６）のαの値としてなる次式（７）によって、左右の各画像に前処理を施すこととする。
【００５６】
Ｉ’(x,y)＝Ｉ(x+dmax,y)−Ｉ(x-dmax,y)      ……（７）
この式（７）の前処理におけるｄの最大値ｄmaxは、次のようにして決定できる。まず、前記式（３）の確率モデルによれば、輝度値Ｉ(x+d)、Ｉ(x)の差τの分散ω2(d2)に関して、次式（８）が成立する。
【００５７】
ω2(d2)＝ｄ・ω2(12)      ……（８）
すなわち、式（３）の確率モデルが成立する場合、左右の各画像において、ｘ方向にｄ画素だけ離れた２つの画素Ｇ(x+d,y)、Ｇ(x,y)の輝度値の差の分散ω2(d2)は、ｘ方向に１画素だけ離れた２つの画素Ｇ(x+1,y)、Ｇ(x,y)（ｘ方向で隣接する２つの画素）の輝度値の差の分散ω2(12)のｄ倍となる。従って、ある値のｄに対して、式（３）の確率モデルが近似的に成立するか否かは、ω2(d2)とｄ・ω2(12)とがほぼ等しいか否か（それらの差がほぼ０であるか否か）によって、判断することが可能である。具体的には、ある値のｄに対して、次式（９）の不等式が成立するか否かによって、式（３）の確率モデルが近似的に成立するか否かを判断することができる。なお、式（９）の「ｃ」は０近傍の所定値（＞０）である。
【００５８】
｜ω2(d2)−ｄ・ω2(12)｜＜ｃ      ……（９）
また、任意のｄの値に対して、分散ω2(d2)は、前記式（３）のτの分散であるので、撮像装置２Ｒ，２Ｌからそれぞれ取得した右画像または左画像の輝度値Ｉ(x,y)のサンプリングデータを使用して、次式（１０）により求めることができる。
【００５９】
【数３】
2008090742.tif 000005
【００６０】
なお、Ｎは、輝度値Ｉ(x+d)，Ｉ(x)の組のサンプリングデータ数である。そして、式（１０）の右辺の分母は、各サンプリングデータにおける輝度値Ｉ(x+d)，Ｉ(x)の差の２乗値の総和を意味する。補足すると、この式（１０）により求められる分散ω2(d2)は、標本分散である。
【００６１】
従って、ｄの値を「１」から順番に仮設定して、式（１０）によりω2(d2)を求め、式（９）の不等式を満たすか否かを判断することによって、式（３）の確率モデルが近似的に成立し得るｄの最大値ｄmaxを探索的に決定することができる。なお、ｄの値が「１」であるときは、式（９）の不等式が成立することは自明であるので、実際上は、ｄの値を２以上の整数値に設定した場合にのみ、式（９）の不等式を満たすか否かを判断すればよい。
【００６２】
以上説明したことを基礎として、画像前処理部５の処理を具体的に説明する。
【００６３】
画像前処理部５は、図２のフローチャートで示すように、左右の各画像に対する前処理を実行する。
【００６４】
画像前処理部５は、まず、前記画像取得部４で取得された右画像および左画像のうちのいずれか一方、例えば右画像の輝度値Ｉ(x,y)のデータを基に、前記式（１０）の右辺の演算により、前記式（３）の確率モデルのｄの値を「１」としたときの分散ω2(12)を求める（ＳＴＥＰ１）。すなわち、右画像において、ｘ方向に互いに隣接する画素GR(x+1,y)，GR(x,y)の輝度値の差（Ｉ(x+1,y)−Ｉ(x,y)）の分散を求める。この場合、本実施形態では、例えば右画像の全領域における画素GR(x+1,y)，GR(x,y)の全ての組を式（１０）の演算のサンプル対象とし、そのサンプル対象の各組の画素の輝度値（Ｉ(x+1,y)，Ｉ(x,y)）が分散ω2(12)の算出のためのサンプリングデータとして用いられる。
【００６５】
次いで、画像前処理部５は、前記最大値ｄmaxの仮値として、「１」を設定し（ＳＴＥＰ２）、さらに、分散ω2(d2)を算出しようとするｄの値として、最大値ｄmaxの現在値（直前のＳＴＥＰ２で設定された仮値）から「１」だけ増加させた値を設定する（ＳＴＥＰ３）。そして、画像前処理部５は、このＳＴＥＰ３で設定したｄの値（＝ｄmax＋１。これは２以上の整数値である）に対して、分散ω2(d2)を算出する（ＳＴＥＰ４）。この場合、前記ＳＴＥＰ１の場合と同様に、右画像の全領域における画素GR(x+d,y)，GR(x,y)の全ての組を式（１０）の演算のサンプル対象とし、そのサンプル対象の各組の画素の輝度値（Ｉ(x+d,y)，Ｉ(x,y)）が分散ω2(d2)の算出のためのサンプリングデータとして用いられる。
【００６６】
次いで画像前処理部５は、ＳＴＥＰ１で求めた分散ω2(12)とＳＴＥＰ４で求めた分散ω2(d2)とに対して、前記式（９）の不等式が成立するか否かを判断する（ＳＴＥＰ５）。この判断結果が肯定的である場合には、画像前処理部５は、最大値ｄmaxの仮値として、現在のｄの値（最新のＳＴＥＰ３の処理により決定された値）を設定する（ＳＴＥＰ６）。換言すれば、最大値ｄmaxの仮値を、現在値から「１」だけ増加させる。そして、画像前処理部５は、前記ＳＴＥＰ３からの処理を再度実行する。
【００６７】
このようにして、ＳＴＥＰ３〜６の処理が繰り返されることにより、ＳＴＥＰ４で分散ω2(d2)を求めるときのｄの値が２以上の整数値で「１」づつ増加されていく。そして、ｄの値が、ある値を超えると、前記ＳＴＥＰ５の判断結果が否定的になる。このようにＳＴＥＰ５の判断結果が否定的になると、ｄmaxの現在値（これはｄの値の現在値の１つ前の値である）が、最終的に前記式（７）の前処理に使用するｄmaxの値として確定される（ＳＴＥＰ７）。これにより、前記式（３）の確率モデルが近似的に成立するようなｄの最大値ｄmaxが、右画像の輝度値のデータを基に探索的に決定される。
【００６８】
このように最大値ｄmaxを確定した後、画像前処理部５は、左右の各画像に対して、前記式（７）の前処理を施す（ＳＴＥＰ８）。
【００６９】
以上が、本実施形態における画像前処理部５の処理の詳細である。このような前処理によって、高いＳ／Ｎ比を有して、視差の算出に適した前処理後画像データが得られる。なお、前記ＳＴＥＰ１〜７の処理は、前記第１〜第３発明における予備処理手段を構成する処理である。また、ＳＴＥＰ８は、前記第１〜第３発明における前処理実行手段を構成する処理である。
【００７０】
図３は、このような前処理により得られる前処理後画像データの画像を概略的に例示する図である。具体的には、図３（ａ）は、撮像装置２Ｒで撮像された右画像を示している。この例では、右画像には、撮像装置２Ｒ，２Ｌを搭載している車両（自車両）が走行している２車線の道路２０と、該車両の前方を走行している他車両２１と、道路２０の両側の存在する林２２とが撮像されている。なお、左画像の図示は省略するが、その左画像においても道路２０、他車両２１および林２２が撮像されている。
【００７１】
図３（ｂ）は、図３（ａ）の右画像に前処理を施してなる画像データの画像を示している。図示のように、該画像データは、右画像に写っている物体の輪郭が比較的顕著に現れるような画像となっている。
【００７２】
補足すると、本実施形態では、前記式（１０）により分散ω2(d2)（ｄ＝１の場合を含む）を求めるときに、右画像を使用したが、左画像を使用してもよい。また、分散ω2(d2)を求めるときのサンプル対象として、右画像の全領域における画素GR(x+d,y)，GR(x,y)の全ての組を使用したが、左右いずれかの画像の一部の領域（例えば画像の周縁領域を除いた領域）内の複数組の画素をサンプル対象としてもよい。この場合、左右の各画像の２値化処理などにより、各画像中の物体の存在箇所を概略的に認識するようにした場合には、その認識した存在箇所を含む領域内の複数組の画素をサンプル対象として、分散ω2(d2)を求めるようにしてもよい。
【００７３】
また、本実施形態では、左右の各画像の全領域の画素に対して、単一のｄmaxの値を使用して前処理を行なうようにしたが、各画像のｘ方向に並ぶ画素の列毎に、各別に決定したｄmaxの値を使用して、前処理を行なうようにしてもよい。この場合には、右画像または左画像のｘ方向の各列の画像データを基に、前記図２のＳＴＥＰ１〜ＳＴＥＰ７の処理を実行することによって、ｘ方向の各列毎のｄmaxの値を決定するようにすればよい。そして、左右の各画像に対して、ｘ方向の各列毎に、決定したｄmaxの値を用いて前記式（７）の前処理を実行するようにすればよい。
【００７４】
前記したように画像前処理部５で求められた前処理後画像データを使用して、前記視差算出部６の処理は例えば次のように行なわれる。
【００７５】
左右の各画像の前処理後画像データのうちのいずれか一方、例えば、右画像の前処理後画像データにおける各画素GR(x,y)に対して、その画素GR(x,y)を中心とする所定サイズの相関性判断領域（例えば長方形の局所領域）が右画像の前処理後画像データの画像内に設定される。そして、左画像の前処理後画像データの画像に対して、所定サイズの探索領域が設定される。この探索領域は、相関性判断領域よりもｘ方向に広い領域で、且つその内部に相関性判断領域内の画像データと同等の画像データが含まれるような領域に設定される。
【００７６】
そして、左画像の前処理後画像データの画像の探索領域内で、右画像の前処理後画像データの画像の相関性判断領域内の輝度値の分布に最も一致するような輝度値分布を有する領域（相関性判断領域と同一のサイズの局所領域）を、ＳＡＤなどの公知の相関演算手法によって探索し、その探索された領域の中心点に対応する左画像の画素GL(x',y)が、相関性判断領域の中心点に対応する右画像の画素と同じ物体を捉えている画素として決定される。
【００７７】
さらに、このようにして、右画像の各画素GR(x,y)に対応して決定される左画像の画素GL(x',y)のｘ座標値ｘ'と、右画像の画素GR(x,y)のｘ座標値ｘとの差（ｘ'−ｘ）［ピクセル］が、右画像の画素GR(x,y)で捉えられている物体に関する左右の画像間の視差Δとして算出される。
【００７８】
さらに、その視差Δから、次式（１１）によって、右画像の画素GR(x,y)で捉えられている物体の車両１からの距離ｚが算出される。
【００７９】
ｚ＝（ｆ×Ｄ）／（Δ×ｐ）      ……（１１）
なお、ｆは撮像装置２Ｒ，２Ｌの焦点距離、Ｄは撮像装置２Ｒ，２Ｌの基線長（光軸の間隔）、ｐは画素ピッチ（１画素分の長さ）である。
【００８０】
以上説明した視差算出部６の処理によって、前記距離マップが作成されることとなる。
【００８１】
この視差算出部６の処理では、前記式（７）の前処理によって得られた前処理後画像データを用いているので、視差を精度よく検出することができる。
【００８２】
このことを検証するために、本願発明者は、車両１を静止させた状態で、該車両１の前方に該車両１から６ｍ離れた位置に他車両を配置し、撮像装置２Ｒ，２Ｌにより得られた右画像および左画像の前処理後画像データから、該他車両に関する視差を前述の手法によって算出した。さらに、これと比較するために、撮像装置６Ｒ，６Ｌにより得られた右画像および左画像をそのまま用いて、該他車両に関する視差を算出した。そして、それらの視差の、実際の距離から換算される視差（視差の真値）に対する誤差の二乗和を算出した。
【００８３】
この結果、前処理後画像データを使用した場合における視差の誤差の二乗和は、１９１９であり、右画像および左画像をそのまま使用した場合における視差の誤差の二乗和は、５６８８であった。このことから、本実施形態における前処理が、視差の検出精度を高めるために効果的であることが判る。
【００８４】
次に、本発明の第２実施形態を図４のフローチャートを参照して説明する。なお、本実施形態は、前記第１実施形態と画像前処理部５の処理だけが前記第１実施形態と相違する。従って、第１実施形態と同一部分については説明を省略する。
【００８５】
前記第１実施形態では、前処理用の式（７）のｄmaxの値を、右画像および左画像のいずれか一方だけを使用して決定する例を示したが、本実施形態では、両者の画像を使用して、ｄmaxの値を決定する。
【００８６】
図４は本実施形態における画像前処理部５の処理を示すフローチャートである。同図を参照して、ＳＴＥＰ１１〜ＳＴＥＰ１７まで、前記第１実施形態における図２のＳＴＥＰ１〜７と同じ処理が実行される。これにより、右画像に基づく、ｄの最大値ｄmaxの候補値ｄmaxRが決定される。
【００８７】
次いで、ＳＴＥＰ１８〜２４まで、左画像を使用して、ＳＴＥＰ１１〜ＳＴＥＰ１７と同様の処理が実行される。このＳＴＥＰ１８〜２４の処理は、ＳＴＥＰ１１〜ＳＴＥＰ１７の処理と、分散ω2(d2)を求めるために使用する画像が異なるだけである。そして、ＳＴＥＰ１８〜２４の処理によって、左画像に基づく、ｄの最大値ｄmaxの候補値ｄmaxLが決定される。
【００８８】
なお、ＳＴＥＰ１１〜ＳＴＥＰ１７の処理と、ＳＴＥＰ１８〜２４の処理とは、それらの実行順序を逆にしてもよく、あるいは、時分割処理などにより、並列的に実行してもよい。
【００８９】
次いで、画像処理部５は、右画像に基づく候補値dmaxRと、左画像に基づく候補値dmaxLとのうちの小さい方を、最終的に式（７）の前処理用のｄmaxの値として決定する（ＳＴＥＰ２５）。その後は、画像前処理部５は、このように決定したｄmaxの値を使用して、前記式（７）の前処理を、左右の各画像に施す（ＳＴＥＰ２６）。
【００９０】
以上説明した以外の構成および処理は、前記第１実施形態と同じである。なお、前記ＳＴＥＰ１１〜２５の処理は、前記第４〜第６発明における予備処理手段を構成する処理である。また、ＳＴＥＰ２６は、前記第４〜第６発明における前処理実行手段を構成する処理である。
【００９１】
かかる本実施形態では、右画像と左画像との両者を使用してｄmaxを決定するので、両画像に対して好適な前処理を施すことができる。そして、本実施形態においても、第１実施形態と同様に視差の検出精度を高めることができる。
【００９２】
なお、以上説明した各実施形態では、前記式（７）により前処理を行なうようにしたが、式（７）の右辺の演算結果に、所定のゲインを乗じる処理、あるいは、所定のオフセット値を加える処理、あるいは、それらの複合処理を行なうことで、前処理後の画素値Ｉ’(x,y)のスケール調整をしてもよい。
【００９３】
また、前記各実施形態では、右画像および左画像の全領域の画素Ｇ(x,y)に対して前処理を施すようにしたが、それらの画像のうちの、視差を検出しようとする物体が含まれるような所定の領域（部分的な画像領域）内の画素Ｇ(x,y)に対してのみ、前処理を実行するようにしてもよい。
【００９４】
また、前記各実施形態では、撮像装置２Ｒ，２Ｌを左右方向に並列させた場合を例に採って説明したが、それらの撮像装置を上下方向に並列させ、上下方向における視差を検出するようにしてもよい。その場合には、ｙ方向（上下方向）で前記式（９）の不等式を満たすような最大のｄの値ｄmaxを求め、そのｄmaxを使用して次式（１２）による前処理を各撮像画像に施すようにすればよい。
【００９５】
Ｉ’(x,y)＝Ｉ(x,y+dmax)−Ｉ(x,y-dmax)      ……（１２）
また、前記各実施形態では、画素値として輝度値を使用したが、各撮像画像がカラー画像であるような場合には、各画素における色相や彩度を画素値として使用してもよい。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施形態における装置のシステム構成を示すブロック図。
【図２】本発明の第１実施形態における画像前処理部の処理を示すフローチャート。
【図３】図３（ａ）は撮像画像の例を示す図、図３（ｂ）はその撮像画像の前処理後の画像の例を示す図。
【図４】本発明の第２実施形態における画像前処理部の処理を示すフローチャート。
【符号の説明】
【００９７】
２Ｒ，２Ｌ…撮像装置、５…画像前処理部、ＳＴＥＰ１〜ＳＴＥＰ７…予備処理手段、ＳＴＥＰ８…前処理実行手段、ＳＴＥＰ１１〜ＳＴＥＰ２５…予備処理手段、ＳＴＥＰ２６…前処理実行手段。
【図１】
2008090742.tif 000006
【図２】
2008090742.tif 000007
【図４】
2008090742.tif 000008
【図３】
2008090742.tif 000009