(57)【特許請求の範囲】
【請求項１】
フレーム画像の一部を構成する部分的な領域内に存在するエッジの有無を検出するエッジ検出システムにおいて、
前記フレーム画像を撮像する撮像部と、
前記フレーム画像の全体に適用される基礎値を設定する基礎値設定部と、
前記フレーム画像の一部を構成する複数の第１のサブ領域のそれぞれを処理対象として、前記処理対象となる第１のサブ領域内の輝度の平均値または中間値を、当該第１のサブ領域を代表する代表値として算出する代表値算出部と、
前記処理対象毎に、前記第１のサブ領域の代表値に基づいて、当該第１のサブ領域の補正値を設定する補正値設定部と、
前記基礎値を前記第１のサブ領域毎の前記補正値で補正することによって、前記第１のサブ領域の判定しきい値を個別に設定する判定しきい値設定部と、
前記フレーム画像の一部を構成する第２のサブ領域内において所定方向に互いに隣接した一対の輝度の変化量のそれぞれを、当該第２のサブ領域に位置的に対応する前記第１のサブ領域の前記判定しきい値と比較することによって、前記第２のサブ領域内におけるエッジの有無を検出するエッジ検出部と
を有することを特徴とするエッジ検出システム。
【請求項２】
互いに関連性を有する一対のフレーム画像のうち、一方のフレーム画像の一部を構成する前記第２のサブ領域を相関元として、当該相関元と相関を有する相関先を他方のフレーム画像内において特定するとともに、前記相関元と前記相関先との間における相関の程度を示す相関値を算出するマッチング処理部と、
前記エッジ検出部によって検出された前記第２のサブ領域内におけるエッジの有無に基づいて、前記相関元と前記相関先との間における相関性を評価するフィルタ処理部とをさらに有することを特徴とする請求項１に記載されたエッジ検出システム。
【請求項３】
前記マッチング処理部の前段に設けられており、前記フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに有し、
前記判定しきい値設定部は、前記輝度補正の度合いに基づいて、前記判定しきい値を可変に設定することを特徴とする請求項２に記載されたエッジ検出システム。
【請求項４】
前記撮像部は、互いに関連性を有する一対のフレーム画像を同時または時系列的に撮像することを特徴とする請求項１から３のいずれかに記載されたエッジ検出システム。
【請求項５】
前記判定しきい値設定部は、前記代表値によって示される前記第１のサブ領域内の輝度状態が高輝度になるほど、当該サブ領域の前記判定しきい値を大きく設定することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。
【請求項６】
前記補正値設定部は、前記代表値によって示される前記第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の前記補正値を大きく設定することを特徴とする請求項１から４のいずれかに記載されたエッジ検出システム。
【請求項７】
前記フレーム画像の明るさをゲインによって調整するアンプをさらに有し、
前記判定しきい値設定部は、前記ゲインに基づいて、前記判定しきい値を可変に設定することを特徴とする請求項１から６のいずれかに記載されたエッジ検出システム。
【請求項８】
周囲の温度を検出する温度センサをさらに有し、
前記判定しきい値設定部は、前記温度に基づいて、前記判定しきい値を可変に設定することを特徴とする請求項１から７のいずれかに記載されたエッジ検出システム。
【請求項９】
前記代表値算出部は、前記第２のサブ領域と同一のサイズを有する領域を前記第１のサブ領域として設定することを特徴とする請求項１から８のいずれかに記載されたエッジ検出システム。
【請求項１０】
前記基礎値設定部は、前記フレーム画像の明るさを調整するゲイン、前記フレーム画像を輝度補正する度合い、および、周囲の温度の少なくとも一つに基づいて、前記基礎値を設定することを特徴とする請求項１から９のいずれかに記載されたエッジ検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する技術に係り、特に、エッジ検出で用いられる判定しきい値の設定に関する。
【背景技術】
【０００２】
従来より、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する技術が知られている。通常の画像では、エッジは画像の輝度変化量の大きい部分であり、物体の境界等がこれに当たる。例えば、特許文献１には、ステレオ画像の一方の画素領域において水平方向に隣接した画素対の輝度変化量のそれぞれを、判定しきい値とを比較することによって、この画素領域におけるエッジの有無を検出する手法が開示されている。判定しきい値は、状況に応じて可変に設定される。例えば、ステレオ画像からは距離データが生成されており、所定のフィルタリングが行われるが、その有効な距離データの数の増加に応じて、判定しきい値が上昇されるといった如くである。この設定された判定しきい値は、１フレームを構成するフレーム画像全体に対して一律に適用される。
【特許文献１】特開２００１−６７４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、フレーム画像（データ領域）全体に対して１つの判定しきい値が一律に適用されるので、フレーム画像の一部を構成する部分領域毎にエッジ検出を行う際、外乱としてのノイズの影響を十分に排除することが困難であった。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、データ領域の一部を構成する部分的な領域でのエッジの検出において、検出精度の向上を図ることである。
【０００５】
また、本発明の別の目的は、耐ノイズ性に優れたエッジ検出を可能にすることである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するために、本発明は、フレーム画像の一部を構成する部分的な領域内に存在するエッジの有無を検出するエッジ検出システムを提供する。このエッジ検出システムは、撮像部と、基礎値設定部と、代表値算出部と、補正値設定部と、判定しきい値設定部と、エッジ検出部とを有する。撮像部は、フレーム画像を撮像する。基礎値設定部は、フレーム画像の全体に適用される基礎値を設定する。代表値算出部は、フレーム画像の一部を構成する複数の第１のサブ領域のそれぞれを処理対象として、処理対象となる第１のサブ領域内の輝度の平均値または中間値を、第１のサブ領域を代表する代表値として算出する。補正値設定部は、処理対象毎に、第１のサブ領域の代表値に基づいて、第１のサブ領域の補正値を設定する。判定しきい値設定部は、基礎値を第１のサブ領域毎の補正値で補正することによって、第１のサブ領域の判定しきい値を個別に設定する。エッジ検出部は、フレーム画像の一部を構成する第２のサブ領域内において所定方向に互いに隣接した一対のデータの変化量のそれぞれを、当該第２のサブ領域に位置的に対応する第１のサブ領域の判定しきい値と比較する。この比較によって、エッジ検出部は、第２のサブ領域内におけるエッジの有無を検出する。
【０００７】
本発明において、マッチング処理部と、フィルタ処理部とをさらに設けてもよい。マッチング処理部は、互いに関連性を有する一対のフレーム画像のうち、一方のフレーム画像の一部を構成する上記第２のサブ領域を相関元として、当該相関元と相関を有する相関先を他方のフレーム画像内において特定する。また、マッチング処理部は、相関元と相関先との間における相関の程度を示す相関値を算出する。フィルタ処理部は、エッジ検出部によって検出された第２のサブ領域内におけるエッジの有無に基づいて、相関元と相関先との間における相関性を評価する。さらに、マッチング処理部の前段に、フレーム画像に対して所定の輝度補正を施す輝度補正部をさらに設けてもよい。この場合、判定しきい値設定部は、輝度補正の度合いに基づいて、判定しきい値を可変に設定することが好ましい。
【０００８】
本発明において、撮像部は、互いに関連性を有する一対のフレーム画像を同時または時系列的に撮像することが好ましい。判定しきい値設定部は、代表値によって示される第１のサブ領域内の輝度状態が高輝度になるほど、当該サブ領域の判定しきい値を大きく設定することが望ましい。または、補正値設定部は、代表値によって示される第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の補正値として大きな値を算出することが望ましい。
【０００９】
また、本発明において、フレーム画像の明るさをゲインによって調整するアンプをさらに設けてもよい。この場合、判定しきい値設定部は、ゲインに基づいて、判定しきい値を可変に設定することが好ましい。
【００１１】
さらに、本発明において、周囲の温度を検出する温度センサをさらに設けてもよい。この場合には、判定しきい値設定部は、温度に基づいて、判定しきい値を可変に設定することが好ましい。
【００１２】
ここで、本発明において、代表値算出部は、第２のサブ領域と同一のサイズを有する領域を第１のサブ領域として設定してよい。
【００１５】
また、本発明において、基礎値設定部は、フレーム画像の明るさを調整するゲイン、フレーム画像を輝度補正する度合い、および、周囲の温度の少なくとも一つに基づいて、基礎値を設定することが望ましい。
【発明の効果】
【００１６】
本発明において、エッジ検出のための判定しきい値は、データ領域全体ではなく、データ領域の一部を構成する第１のサブ領域単位で個別に設定される。このエッジ検出は、第２のサブ領域毎に行われ、それぞれの第２のサブ領域に適用される判定しきい値は、これに位置的に対応する第１のサブ領域に関して設定された判定しきい値である。このように、判定しきい値を第１のサブ領域毎にきめ細かに設定することで、エッジの検出精度の向上を図ることができる。また、上記判定しきい値を、その第１のサブ領域に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れたエッジ検出が可能になる。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）
図１は、本実施形態に係るエッジ検出システムのブロック構成図である。この検出システム２０は、データ領域の一部を構成する部分的な領域内に存在するエッジの有無を検出する。記憶部１には、データ領域を規定するデータが格納されている。第１のサブ領域は、データ領域の一部を構成し、例えばデータ領域を分割することによって得られる。第２のサブ領域は、データ領域の一部、より具体的には、第１のサブ領域の一部を構成し、例えば、第２のサブ領域は、第１のサブ領域の一部を構成し、例えば第１のサブ領域を分割することによって得られる領域として定義することができる。また、第１のサブ領域は、第２のサブ領域と同一のサイズを有する領域としてもよいし、所定数の第２のサブ領域の全部または特定の部分を包含する領域としてもよい。さらに、このような位置的関係に加えて、第２のサブ領域は、第１のサブ領域を包含するような、第１のサブ領域よりも大きな領域であってもよい。所定の入力部は、データ領域に相当するデータ群を記憶部１に出力する。データ領域の一例として、一対のフレーム画像（ステレオ画像）のうちの一方のフレーム画像が挙げられる。この場合、入力部には、ステレオカメラが用いられる。
【００１８】
エッジ検出部２は、第２のサブ領域内において水平方向に互いに隣接した一対のデータの変化量のそれぞれを、この第２のサブ領域に位置的に対応する第１のサブ領域の判定しきい値Ｔcxと比較する。この比較によって、第２のサブ領域内におけるエッジの有無が検出され、エッジの有無の検出結果が所定の記憶部等に格納される。判定しきい値Ｔcxは、後述する判定しきい値設定部３によって設定される。ここでは、変化量を算出する一対のデータの隣接する方向は、水平方向であるが、この方向は、鉛直方向または斜め方向等、任意の方向であってもよい。
【００１９】
判定しきい値設定部３は、処理対象とする第１のサブ領域毎に、第１のサブ領域の代表値Ｄrepに基づいて判定しきい値Ｔcxを個別に設定する。この判定しきい値Ｔcxの設定は、具体的には、基礎値設定部４でデータ領域毎に設定された基礎値Ｔbaseと、補正値設定部５で第１のサブ領域毎に設定された補正値Ｔamdとに基づいて行われる。補正値設定部５は、特に、第１のサブ領域毎の代表値Ｄrepに基づいて、補正値Ｔamdを設定する。すなわち、代表値算出部６が、第１のサブ領域内に含まれるデータＤ1〜Ｄnに基づいて、第１のサブ領域内のデータを代表する代表値Ｄrepを算出する。補正値設定部５は、この第１のサブ領域の代表値Ｄrepに基づいて、当該第１のサブ領域の補正値Ｔamdを設定する。判定しきい値設定部３は、基礎値Ｔbaseを補正値Ｔamdによって補正し、これによって得られる判定しきい値Ｔcxを第１のサブ領域毎に設定する。一例として、判定しきい値Ｔcxを、基礎値Ｔbaseと補正値Ｔamdとの和とすることができる。また、所定の計算式を設定し、この計算式に基礎値Ｔbaseと補正値Ｔamdとを代入することによって、判定しきい値Ｔcxを導出してもよい。例えば、本エッジ検出システムにおける処理によりデータに重畳するノイズを考慮して、基礎値Ｔbaseおよび補正値Ｔamdを予め設定しておくことが可能である。
【００２０】
このように、本実施形態では、エッジ検出のための判定しきい値が、データ領域全体ではなく、データ領域を分割することによって得られる第１のサブ領域単位で個別に設定される。第２のサブ領域が、さらに第１のサブ領域を分割すること等によって得られ、このエッジ検出は、第２のサブ領域毎に行われる。それぞれの第２のサブ領域に適用される判定しきい値は、これに位置的に対応する第１のサブ領域に関して設定された判定しきい値である。このように、判定しきい値を第１のサブ領域毎にきめ細かに設定することで、エッジの検出精度の向上を図ることができる。また、第１のサブ領域毎の判定しきい値を、その領域に生じるノイズの傾向を考慮した上で、これを排除するように個別に設定すれば、耐ノイズ性に優れたエッジの検出が可能になる。
【００２１】
（第２の実施形態）
図２は、上述したエッジ検出システム２０を組み込んだステレオ式監視装置のブロック構成図である。上述したエッジ検出システム２０と同一の機能を有する部分には同一の符号を付している。本監視装置は、例えば車両に搭載されており、一対のフレーム画像を処理して、自車両前方の道路や監視対象物（先行車や歩行者等）を監視する。この処理に際して、フレーム画像の一部を構成する部分的な領域（第２のサブ領域）内に存在するエッジの有無が検出される。特に、撮像部７、ゲインコントロールアンプ（以下「ＧＣＡ」という）８ａ，８ｂ、輝度補正部９、温度センサ１０、マッチング処理部１１、および、フィルタ処理部１２が設けられている。
【００２２】
撮像部７は、ＣＣＤやＣＭＯＳセンサといったイメージセンサを内蔵した一対のカメラ７ａ，７ｂで構成されており、これらのカメラ７ａ，７ｂは、車幅方向において所定の間隔で取り付けられている。基準画像信号を出力するメインカメラ７ａは、車輌の進行方向に向かって右側に取り付けられている。一方、比較画像信号を出力するサブカメラ７ｂは、進行方向に向かって左側に取り付けられている。カメラ７ａおよびカメラ７ｂの同期が取れている状態において、一対のフレーム画像が同時に撮像される。フレーム画像の明るさは、ＧＣＡ８ａ，８ｂにおいて調整される。ここでは、第２のサブ領域が、基準画像上に設定されることを前提として、アンプ８ａにおけるゲインＧ（現在の設定値）が、後述の基礎値設定部４に随時出力されている。アンプ８ａ，８ｂから出力されたフレーム画像のそれぞれは、所定のＡ／Ｄコンバータによって所定の輝度階調（例えば、256階調のグレースケール）のデジタルデータに変換され、輝度補正部９に供給される。
【００２３】
輝度補正部９は、基準画像および比較画像に対して、例えば暗部の輝度を高めるといった如く、所定の輝度補正を施す。この輝度補正は、入力輝度と出力輝度との関係が記述されたテーブルを参照することによって行われる。ここでの輝度補正は、後段での処理に適した適宜の特性に設定すればよく、その特性が非線形的であるか否か、或いは、連続的であるか否かを問わない。補正後の画像データは、記憶部１ａ，１ｂを介して、後段のマッチング処理部１１等に出力される。また、輝度補正部９は、ここで行われる輝度補正の度合いγ（現在の設定値）を基礎値設定部４に随時出力している。この補正の度合いγは、入力輝度に対する出力輝度の変化率に相当する。なお、輝度補正部９は、マッチング処理部１１の前段に設けられていれば足りる。したがって、Ａ／Ｄコンバータの後段ではなく、その前段に、輝度補正部９を設置することも可能である。温度センサ１０は、本監視装置の周囲の温度Ｔ（例えば、撮像部７内部の撮像素子周辺の温度または車室内の気温）を検出する。その現在の検出値が、基礎値設定部４に出力されている。
【００２４】
基礎値設定部４は、フレーム画像全体に対して、判定しきい値の基礎値Ｔbaseを設定し、補正値設定部５は、第１のサブ領域毎に、判定しきい値の補正値Ｔamdを設定する。基礎値Ｔbaseを、基準画像１フレーム毎に設定してよく、また、同一の基礎値Ｔbaseを、連続する複数の基準画像に設定してもよい。基礎値Ｔbaseおよび補正値Ｔamdは、例えば、次に示すようなノイズ要因を考慮して設定することができる。すなわち、ここでは、輝度Ｄに乗るノイズの大きさを決める要因が、輝度Ｄ自体、ゲインＧ、輝度補正の度合いγ、および、周囲温度Ｔであることを前提とする。図３〜６は、各ノイズ要因の状態を表す各値と、ノイズのばらつき（ノイズ分布における標準偏差）との対応関係の傾向を示す図である。一般に、記憶部１ａ，１ｂに格納される画像のすべてにノイズが重畳している。カメラ７ａ，７ｂおよび他の処理部の個々の特性は微妙に異なるが、ノイズのばらつきについての全体的な傾向に大きな相違はない。
【００２５】
図３は、一例としての輝度Ｄとノイズのばらつきとの関係の傾向を示す図である。ここに示すように、輝度Ｄの値が大きくなるに従って、その輝度Ｄに乗るノイズのばらつきも増加する傾向がある。これは、カメラ７ａ，７ｂの撮像素子の各セルに入る光の量が増加すると、これに伴ってノイズも増大することによる。図４は、一例としてのゲインＧとノイズのばらつきとの関係の傾向を示す図である。ゲインＧが大きくなるに従って、ノイズのばらつきも増加する傾向がある。これは、データ信号をより大きく増幅すると、これに伴いノイズもより増大するからである。図５は、一例としての輝度補正後の輝度値とノイズのばらつきとの関係を示す図である。輝度補正部９においては、上述のように任意の補正を行うことができるが、輝度Ｄの値の小さな部分を、その値が大きな部分より大きな増加率（変化率）で補正をした場合、輝度Ｄの小さな部分でのノイズの増幅が顕著となる。増加率に応じてノイズが増大するからである。また、図６は、一例としての周囲温度Ｔとノイズのばらつきとの関係の傾向を示す図である。温度Ｔが上昇していくに従って、ノイズのばらつきも増加する傾向がある。これは、例えば、カメラ７ａ，７ｂの撮像素子に発生する暗電流（ノイズ）が、温度上昇に伴って増大することによる。
【００２６】
基礎値設定部４における基礎値Ｔbaseの設定は、所定の基礎値テーブルを用いて行うことができ、補正値設定部５における補正値Ｔamdの設定は、所定の補正値テーブルを用いて行うことができる。つまり、基礎値設定部４は、ゲインＧ、輝度補正の度合いγおよび周囲温度Ｔの各値に基づいて基礎値テーブルを参照して、フレームに対する基礎値Ｔbaseを設定する。すなわち、基礎値テーブルには、ゲインＧ、輝度補正の度合いγおよび周囲温度Ｔの組み合わせと、判定しきい値の基礎値Ｔbaseとの対応関係が記述されており、この対応関係に基づいて上記基礎値Ｔbaseが設定される。対応関係は、予め行った実験やシミュレーション等を通じて適切に設定されている。この実験等においては、図４〜６に示したノイズのばらつきとノイズ要因の状態との関係が考慮されつつ、輝度のノイズ成分が推定されている。また、補正値設定部５による補正値Ｔamdの設定に先立って、代表値算出部６は、記憶部１ａから、第１のサブ領域内の画素の輝度値Ｄ1〜Ｄnを読み出し、当該第１のサブ領域における輝度の代表値Ｄrepを算出する。この代表値Ｄrepとして、第１のサブ領域内のすべての画素、或いは、一部の特定位置にある画素の輝度の平均、或いは、重み付け平均を用いることができる。これに代えて、第１のサブ領域内の画素の輝度の中間値等を用いてもよい。第１のサブ領域として、例えば、フレーム画像を分割して得られるｎ個の縦短冊状の領域（それぞれがフレーム画像の一部を構成する）を設定することができる。エッジ検出について、最右の第１のサブ領域に属する個々の第２のサブ領域に対して、最右の第１のサブ領域について算出された判定しきい値Ｔcxを用いる。補正値テーブルには、輝度の代表値Ｄrepと、判定しきい値の補正値Ｔamdとの対応関係が記述されており、補正値設定部５は、この対応関係に基づいて上記補正値Ｔamdを設定する。上述の基礎値テーブルと同様に、この対応関係は、図３の関係を考慮しつつ、予め行った実験やシミュレーション等を通じて適切に設定されている。
【００２７】
ここでは、基礎値テーブルを用いて、基礎値Ｔbaseを設定しており、補正値テーブルを用いて、補正値Ｔamdを設定している。しかしながら、これらのテーブルの全部或いは一部に代えて所定の計算式を用い、この計算式によって基礎値Ｔbaseまたは補正値Ｔamdを算出することも可能である。また、判定しきい値設定部３（または補正値設定部５）によって、第１のサブ領域内の輝度状態が高輝度になるほど、当該第１のサブ領域の判定しきい値Ｔcx（補正値Ｔamd）が増大するように、その対応関係を設定してもよい。これによって、耐ノイズ性を有効に向上させることができる。
【００２８】
判定しきい値設定部３は、このようにして設定された基礎値Ｔbaseおよび補正値Ｔamdに基づいて、第２のサブ領域の判定しきい値Ｔcxを設定する。図７は、エッジ検出部２での処理についての説明図である。第２のサブ領域においては、各画素をＰnとし、画素Ｐnの輝度をＤnとする。一例として、第２のサブ領域を水平方向に４画素、鉛直方向に４画素の領域とすることができ、この場合、ｎ＝１，２，…，１６として、画素Ｐn、輝度Ｄnを特定する。エッジ検出部２は、まず、ある輝度パターンＤnを有する第２のサブ領域に関して、その第２のサブ領域内の隣接画素間における輝度変化量を算出して、輝度変化量パターンΔＤnを生成する（同図ａ）。第２のサブ領域内の隣接画素間における輝度変化量（絶対値）をΔＤnとし、ΔＤ1＝｜Ｄ2−Ｄ1｜，ΔＤ2＝｜Ｄ3−Ｄ2｜，…等が成立する。なお、輝度変化量ΔＤ4，ΔＤ8，ΔＤ12，ΔＤ16は、輝度Ｄ4，Ｄ8，Ｄ12，Ｄ16と、その右側に隣接する第２のサブ領域内の画素のうちの最も左側の列に並ぶ画素との差をそれぞれとることによって算出する。
【００２９】
さらに、エッジ検出部２は、輝度変化量ΔＤnを、判定しきい値Ｔcxと比較することにより、エッジの有無を検出する（同図ｂ）。すなわち、上述の場合、１６個の輝度変化量ΔＤnはそれぞれ判定しきい値Ｔcxと比較され、この比較結果によって、輝度変化量ΔＤnが算出された画素対に、エッジが存在するか否かが判定される。すなわち、各画素対に、撮像された対象物による輝度エッジが存在するか否かが判定される。この判定しきい値Ｔcx以上の変化量ΔＤnを有する画素Ｐnに対して、判定結果”１”をセットする。また、この判定しきい値Ｔcxより小さい変化量ΔＤnを有する画素Ｐnに対し、判定結果”０”をセットする。判定結果パターンＲＰは、画素対毎の”０”または”１”のデータから構成され、フィルタ処理部１２に出力される。なお、ここでは、画素対毎にエッジの有無を検出しているが、これに代えて、判定しきい値Ｔcx以上の輝度変化量ΔＤnの数をカウントし、その値が所定値以上のとき、この第２のサブ領域にエッジが存在すると判定してもよい。この場合、判定結果パターンＲＰではなく、エッジの有無を示す”０”または”１”のデータがフィルタ処理部１２に出力される。
【００３０】
マッチング処理部１１は、第２のサブ領域を相関元として、その相関先の候補となる複数の相関先候補を、比較画像上の所定の探索範囲内に設定し、相関値ＣＢを相関先候補毎に算出する。相関値ＣＢは、相関元領域と相関先領域との相関の程度を示す。また、マッチング処理部１１は、相関先候補毎の相関値ＣＢ同士を比較し、これによって、複数の相関先候補のいずれかを相関先領域として特定する。相関値ＣＢには、一例として、絶対差分和を用いることができる。この絶対差分和を用いた相関値ＣＢは、評価対象となる一対の画素領域において、位置的に対応する要素同士のデータの差（絶対値）を算出し、この値を全要素分加算した総和値として表される。また、相関値ＣＢとして、差分自乗和等の他の周知の評価関数を使用することも可能である。差分自乗和を用いた相関値ＣＢは、評価対象となる一対の画素領域において、位置的に対応する要素同士のデータの差の自乗を算出し、この値を全要素分加算した総和値として表される。これらの相関評価手法を用いた場合、一対の画素領域の相関が高くなるほど、換言すれば、両者のデータ特性が類似するほど、相関値ＣＢが小さくなり、完全に一致する画素領域に関しては、理論的には相関値ＣＢが０になる。ただし、実際には、各種のノイズが外乱として作用するため、本来完全に一致するはずの画素領域であっても、その相関値ＣＢが０になることは殆どない。さらに、マッチング処理部１１は、基準画像における相関元領域の位置と、比較画像においてこのように特定された相関先領域の位置とのズレ量である視差ｄを算出する。この第２のサブ領域毎の視差ｄが、フィルタ処理部１２に出力される。
【００３１】
フィルタ処理部１２は、第２のサブ領域内におけるエッジの個数（またはエッジの有無）に基づいて、相関元と相関先との間における相関性（相関値、または、相関値に基づいて特定される視差ｄなど）を評価する。例えば、ある第２のサブ領域について算出された視差ｄの信頼度を、この第２のサブ領域に対応する判定結果パターンＲＰに基づいて判定する。判定結果パターンＲＰにおいて、エッジがあると判定された画素対（判定結果”１”が対応付けられた画素対）の個数が所定値以上であるか否かによって、この判定結果パターンＲＰに対応する視差ｄが有効か否かを判定することができる。視差ｄの有効性判定には、エッジがあると判定された画素対の位置を考慮してもよい。
【００３２】
なお、マッチング処理および視差ｄのフィルタリング処理等の詳細については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。
【００３３】
フィルタ処理部１２によって有効（信頼度が高い）と判定された視差ｄは、所定の距離データメモリに出力される。所定の対象物認識部は、この距離データメモリから距離データを読み出し、必要に応じて基準画像データまたは比較画像データを参照することによって、車両前方に存在する先行車や歩行者等を認識し、その動きを監視する。また、対象物認識部は、認識された先行車等の挙動やその自車両までの距離などの監視情報に基づき、必要に応じ、ドライバに対して、所定の出力装置を介して警報を発する。ドライバには、この他の運転支援情報も伝達される。監視情報を各種の車両制御に用いてもよい。
【００３４】
このように、本実施形態では、エッジの検出に用いられる判定しきい値を、データ領域（本実施形態ではフレーム画像）全体ではなく、その一部を構成する部分的な領域である第１のサブ領域単位で個別に設定している。すなわち、第１のサブ領域に対して判定しきい値を設定して、第２のサブ領域（視差の対応付けられる相関元の画素領域）におけるエッジ検出を行う。この第２のサブ領域は、第１のサブ領域に位置的に対応し、例えば、第１のサブ領域を分割することによって得られる。第１のサブ領域毎にきめ細かに判定しきい値を設定することによって、エッジの検出精度の向上を図ることができる。特に、第１のサブ領域毎の判定しきい値を、その部分に生じるノイズの傾向を考慮した上で、これを排除するように可変に設定すれば、耐ノイズ性に優れたエッジの検出が可能である。
【００３５】
また、本実施形態では、エッジ検出に影響を及ぼすノイズ要因として、（１）輝度Ｄ、（２）アンプのゲインＧ、（３）輝度補正の度合いγ、（４）周囲の温度Ｔを考慮している。これにより、どのようなノイズであってもきめ細かな対応が可能になり、ノイズ要因に依存しない最適な相関性の評価が可能になる。なお、これらのノイズ要因（１）〜（４）のうち、ノイズ要因（１）については考慮することが好ましいが、それ以外のノイズ要因（２）〜（４）については考慮しなくてもよい。ノイズ要因（２）〜（４）を考慮する場合であっても、これらのすべてを含める必要はなく、少なくとも一つ考慮すればよく、これら以外の要因を含めてもよい。すなわち、一つのノイズ要因の状態を表す値に対して個別に判定しきい値を設定し、また、複数のノイズ要因のそれぞれの状態を表す各値の組み合わせに対して判定しきい値を可変に設定してもよい。
【００３６】
なお、上述した実施形態では、判定しきい値の設定単位となる第１のサブ領域のサイズを、視差ｄの算出単位（換言すれば相関値の算出単位）となる第２のサブ領域（画像領域に相当）より大きなサイズに設定している。しかしながら、本発明はこれに限定されず、第２のサブ領域と同一のサイズを有する領域を第１のサブ領域として設定し、両者を一対一に対応付けることが可能である。これにより、それぞれの第２のサブ領域に適用される判定しきい値を最適に設定することができる。
【００３７】
上述した実施形態では、同時に撮像された一対のフレーム画像（ステレオ画像）への適用例について説明したが、本発明はこれに限定されるものではなく、互いに関連性を有する一対のデータ領域に対して広く適用可能である。このようなデータ領域の別の例としては、いわゆるオプティカルフローの処理対象となる、異なる時刻に撮像された一対のフレーム画像が挙げられる。この場合、上述したステレオカメラの代わりに単眼カメラが撮像部として用いられ、フレーム画像が時系列的に出力される。また、パターンマッチング処理に用いられる画像にも適用可能である。さらに、このデータ領域は、輝度によって規定される画像（輝度分布）に限定されるものではなく、輝度以外の情報（例えば、遠赤外線カメラより得られる熱分布、レーザレーダやミリ波レーダより得られる反射強度の分布等）によって規定されるものであってもよい。
【００３８】
また、上述した実施形態では、基礎値テーブルと補正値テーブルとの２つのテーブルを用いている。これとは異なり、別の所定のテーブルを用いて判定しきい値を設定することも可能である。例えば、判定しきい値設定部３は、所定のテーブルを参照することによって、判定しきい値Ｔcxの非線形成分ｘのみを読み出すものとする。そして、この非線形成分ｘに係数ｓをかけて得られる値に、係数ｔを加えた値を、判定しきい値Ｔcxとして設定する。つまり、テーブルから参照された非線形成分ｘと判定しきい値ｙとの間に、ｙ＝ｓ・ｘ＋ｔの関係を持たせる。このように、輝度代表値Ｄrepと、非線形成分ｘとの対応関係のみをテーブルに記述しておくことによって、テーブルの記述作業を省力化することができる。
【００３９】
このｓ，ｔを次のような係数として指示してもよい。すなわち、ｓの値を、ＧＣＡ８ａのゲインＧ、または、カメラ７ａ内の温度Ｔ等に基づいて可変に設定する。また、ｔの値を、画像処理における量子化誤差を推定し、この誤差に基づいて可変に設定する。これによって、種々のノイズ要因を加味し、より有効に判定しきい値を設定することができる。
【００４０】
さらに、上述した実施形態では、すべての第２の領域について、判定しきい値Ｔcxを可変に設定した。これに代えて、データ領域（フレーム画像）上の位置を予め特定して、その特定された部分に含まれる第２のサブ領域のみについて、判定しきい値Ｔcxを可変に設定することができる。つまり、判定しきい値Ｔcxが可変に設定される領域以外のデータ領域上の部分的な領域については、固定的に判定しきい値Ｔcxが設定される。この場合、データ領域の必要な部分のみについて、判定しきい値Ｔcxが設定されるため、演算量を抑えることができる。
【図面の簡単な説明】
【００４１】
【図１】第１の実施形態に係るエッジ検出システムのブロック構成図
【図２】第２の実施形態に係るステレオ式監視装置のブロック構成図
【図３】輝度とノイズのばらつきとの対応関係の傾向を示す図
【図４】ゲインとノイズのばらつきとの対応関係の傾向を示す図
【図５】輝度補正後の輝度値とノイズのばらつきとの対応関係を示す図
【図６】周囲温度とノイズのばらつきとの対応関係の傾向を示す図
【図７】エッジ検出部での処理についての説明図
【符号の説明】
【００４２】
１ａ，１ｂ  記憶部
２  エッジ検出部
３  判定しきい値設定部
４  基礎値設定部
５  補正値設定部
６  代表値算出部
７  撮像部
８ａ，８ｂ  ＧＣＡ
９  輝度補正部
１０  温度センサ
１１  マッチング処理部
１２  フィルタ処理部
２０  エッジ検出システム
【図１】
0004613139.tif 000002
【図２】
0004613139.tif 000003
【図３】
0004613139.tif 000004
【図４】
0004613139.tif 000005
【図５】
0004613139.tif 000006
【図６】
0004613139.tif 000007
【図７】
0004613139.tif 000008