(57)【特許請求の範囲】
【請求項１】
ステレオカメラの明るさバランスを調整する装置において、
前記ステレオカメラから出力された一対の画像の明るさのバランスをゲインによって調整する調整手段と、
前記調整手段から出力された一方の画像中に設定された第１の評価ウインドウの全体的な輝度の大きさを表す第１の評価値を算出すると共に、前記調整手段から出力された他方の画像中に設定され、かつ、前記第１の評価ウインドウの輝度特性と相関を有する領域に設定された第２の評価ウインドウの全体的な輝度の大きさを表す第２の評価値を算出する算出手段と、
前記第１の評価値と前記第２の評価値との差が小さくなるように、前記ゲインの値を補正する補正手段とを有し、
前記第２の評価ウインドウの位置は、前記第１の評価ウインドウの設定領域において映し出される立体物までの距離の傾向に基づき、前記第１のウィンドウを基準としてステレオマッチング方向にオフセットして設定されていることを特徴とするステレオカメラの調整装置。
【請求項２】
ステレオカメラの明るさバランスを調整する装置において、
前記ステレオカメラから出力された一対の画像の明るさのバランスをゲインによって調整する調整手段と、
前記調整手段から出力された一方の画像中に設定された第１の評価ウインドウの全体的な輝度の大きさを表す第１の評価値を算出すると共に、前記調整手段から出力された他方の画像中に設定され、かつ、前記第１の評価ウインドウの輝度特性と相関を有する領域に設定された第２の評価ウインドウの全体的な輝度の大きさを表す第２の評価値を算出する算出手段と、
前記第１の評価値と前記第２の評価値との差が小さくなるように、前記ゲインの値を補正する補正手段と、
一方の画像中の画素ブロック毎に、当該画素ブロックの輝度特性と相関を有する領域を他方の画像において特定することにより、当該画素ブロックの距離データを算出するステレオ演算手段とを有し、
前記算出手段は、前記第１の評価ウインドウ内の距離データに基づいて、前記第１の評価ウインドウの輝度特性と相関を有する領域を特定し、当該特定された領域に前記第２の評価ウインドウを設定することを特徴とするステレオカメラの調整装置。
【請求項３】
前記算出手段は、前記第１の評価ウインドウ内の複数の距離データのうち、出現度数が最も大きな距離データに基づいて、前記第１の評価ウインドウの輝度特性と相関を有する領域を特定することを特徴とする請求項２に記載されたステレオカメラの調整装置。
【請求項４】
前記算出手段は、前記特定された領域に基づいて探索範囲を設定し、当該探索範囲内において前記第１の評価ウインドウの輝度特性と相関を有する領域を特定することにより、前記第２の評価ウインドウを設定することを特徴とする請求項２または３に記載されたステレオカメラの調整装置。
【請求項５】
前記算出手段は、前記第１の評価ウインドウ内の距離データのうち、水平方向において輝度エッジを有する画素ブロックに係る距離データに基づいて、前記第２の評価ウインドウを設定することを特徴とする請求項２から４のいずれかに記載されたステレオカメラの調整装置。
【請求項６】
ステレオカメラの明るさバランスを調整する装置において、
前記ステレオカメラから出力された一対の画像の明るさのバランスをゲインによって調整する調整手段と、
前記調整手段から出力された一方の画像中に設定された第１の評価ウインドウの全体的な輝度の大きさを表す第１の評価値を算出すると共に、前記調整手段から出力された他方の画像中に設定され、かつ、前記第１の評価ウインドウの輝度特性と相関を有する領域に設定された第２の評価ウインドウの全体的な輝度の大きさを表す第２の評価値を算出する算出手段と、
前記第１の評価値と前記第２の評価値との差が小さくなるように、前記ゲインの値を補正する補正手段と、
一方の画像中の画素ブロック毎に、当該画素ブロックの輝度特性と相関を有する領域を他方の画像において特定することにより、当該画素ブロックの距離データを算出するステレオ演算手段とを有し、
前記第１の評価ウインドウは、一方の画像中の異なる位置に設定された複数の第１の領域で構成されており、
前記第２の評価ウインドウは、他方の画像中の異なる位置に設定されていると共に、それぞれが前記第１の領域と位置的に対応した複数の第２の領域で構成されており、
前記第２の領域のそれぞれの位置は、前記第１の領域を基準としてステレオマッチング方向に異なるオフセット量で設定されていることを特徴とするステレオカメラの調整装置。
【請求項７】
前記ステレオマッチング方向のオフセット量は、前記第１の領域に映し出される立体物までの距離の傾向を考慮して設定されることを特徴とする請求項６に記載されたステレオカメラの調整装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの明るさバランスを自動的に調整する調整装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式車外監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方の画像中の画素ブロックと相関を有する画素ブロックを他方の画像において特定する（ステレオマッチング）。そして、両者の相対的なずれ量である視差から、三角測量の原理を用いて距離データを算出する。したがって、ステレオマッチングの精度を高めるためには、換言すると、信頼性の高い距離データを算出するためには、ステレオカメラの明るさバランスが取れていなければならない。
【０００３】
この点に関して、特開平５−１１４０９９号公報および特開平５−２６５５４号公報には、ステレオカメラの出力特性の違い等に起因して生じる出力画像信号のばらつきを、ルックアップテーブル（ＬＵＴ）を参照して補正する技術が開示されている。画像信号のゲインおよびオフセット量を変更するルックアップテーブルは、システムのＲＯＭ中に格納されている。各カメラから出力されたアナログ画像信号は、Ａ／Ｄコンバータによってデジタル信号に変換された後、ルックアップテーブルによって調整される。これによって、画像信号のばらつきが補正されるため、後処理におけるステレオマッチングの精度を向上させることができる。
【０００４】
【発明が解決しようとする課題】
上述した従来の技術においては、ステレオカメラの出力特性が一致するようなルックアップテーブルを製造段階において個別的に設定し、それを監視装置におけるＲＯＭ等の記憶装置に格納している。しかしながら、その後の使用環境または経年変化によって、ステレオカメラの出力特性が初期設定の状態から徐々にずれてくる。そのため、初期設定でバランスが取れていたとしても、そのバランスは徐々に崩れてくるため、ステレオマッチングの精度が経年的に低下するおそれがあるという問題がある。
【０００５】
そこで、本発明の目的は、ステレオカメラの明るさバランスを自動的に調整する調整装置を提供することである。
【０００６】
また、本発明の別の目的は、ステレオカメラの明るさバランスを調整することにより、車外監視の精度の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオカメラの明るさバランスを調整する装置において、ステレオカメラから出力された一対の画像の明るさのバランスをゲインによって調整する調整手段と、調整手段から出力された一方の画像中に設定された第１の評価ウインドウの全体的な輝度の大きさを表す第１の評価値を算出すると共に、調整手段から出力された他方の画像中に設定され、かつ、第１の評価ウインドウの輝度特性と相関を有する領域に設定された第２の評価ウインドウの全体的な輝度の大きさを表す第２の評価値を算出する算出手段と、第１の評価値と第２の評価値との差が小さくなるように、ゲインの値を補正する補正手段とを有するステレオカメラの調整装置を提供する。
【０００８】
ここで、第１の発明において、第２の評価ウインドウの位置は、ステレオ法の特性上、第１の評価ウインドウの位置に対して、水平方向にオフセットさせることが好ましい。
【０００９】
また、第１の発明において、算出手段は、第１の評価ウインドウの輝度特性と相関を有する領域を、他方の画像を探索することにより特定し、当該特定された領域に第２の評価ウインドウを設定することが好ましい。
【００１０】
また、第２の発明は、ステレオカメラの明るさバランスを調整する装置において、ステレオカメラから出力された一対の画像の明るさのバランスをゲインによって調整する調整手段と、調整手段から出力された一方の画像中に設定された第１の評価ウインドウの全体的な輝度の大きさを表す第１の評価値を算出すると共に、調整手段から出力された他方の画像中に設定され、かつ、第１の評価ウインドウの輝度特性と相関を有する領域に設定された第２の評価ウインドウの全体的な輝度の大きさを表す第２の評価値を算出する算出手段と、第１の評価値と第２の評価値との差が小さくなるように、ゲインの値を補正する補正手段と、一方の画像中の画素ブロック毎に、画素ブロックの輝度特性と相関を有する領域を他方の画像において特定することにより、画素ブロックの距離データを算出するステレオ演算手段とを有し、算出手段は、第１の評価ウインドウ内の距離データに基づいて、第１の評価ウインドウの輝度特性と相関を有する領域を特定し、特定された領域に第２の評価ウインドウを設定することを特徴とするステレオカメラの調整装置を提供する。その際、算出手段は、第１の評価ウインドウ内の複数の距離データのうち、出現度数が最も大きな距離データに基づいて、第１の評価ウインドウの輝度特性と相関を有する領域を特定してもよい。
【００１１】
一方、第２の発明において、算出手段は、特定された領域に基づいて探索範囲を設定し、当該探索範囲内において第１の評価ウインドウの輝度特性と相関を有する領域を特定することにより、第２の評価ウインドウを設定してもよい。
【００１２】
さらに、第２の発明において、算出手段は、相関先の特定精度の向上を図るという観点から、第１の評価ウインドウ内の距離データのうち、水平方向において輝度エッジを有する画素ブロックに係る距離データに基づいて、第２の評価ウインドウを設定することが好ましい。
【００１３】
一方、第１の発明において、第１の評価ウインドウを、一方の画像中の異なる位置に設定された複数の第１の領域で構成してもよい。この場合、第２の評価ウインドウは、他方の画像中の異なる位置に設定すると共に、それぞれが第１の領域と位置的に対応した複数の第２の領域で構成する。そして、第２の領域のそれぞれの位置は、第１の領域を基準として水平方向に異なるオフセット量で設定する。この場合、水平方向のオフセット量は、第１の領域に映し出される立体物までの距離の傾向を考慮して設定することが望ましい。
【００１４】
【発明の実施の形態】
図１は、本実施例にかかる調整装置を用いたステレオ式車外監視装置のブロック図である。車外の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられており、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２で構成されている。各カメラ１，２は、車幅方向において所定の間隔で取り付けられている。基準画像を得るためのメインカメラ１は、車輌の進行方向に向かって右側に取り付けられている。一方、比較画像を得るためのサブカメラ２は、進行方向に向かって左側に取り付けられている。カメラ対１，２の同期が取れている状態において、各カメラ１，２から出力されたアナログ画像は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａは、一対のアナログ画像信号の明るさバランスを調整する。各アンプ３ａのゲインは、マイクロコンピュータ９から出力されたゲイン指示値ＧＳＵＢ，ＧＭＡＩＮに応じた値に設定される。
【００１５】
アナログインターフェース３において調整されたアナログ画像対は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。デジタル化された画像対（ステレオ画像）は、補正回路５において、輝度の補正および画像の幾何学的な変換等が行われる。通常、ステレオカメラ１，２の取付位置は、程度の差こそあれ誤差があるため、それに起因したずれが左右の画像に存在している。そこで、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換を行う。これにより、ステレオマッチングを行う際の前提となる、画像対における水平線の一致が保証される。このような画像処理を経て、メインカメラ１の出力信号から、水平方向が５１２画素、垂直方向が２００画素の基準画像データが生成される。また、サブカメラ２の出力信号から、基準画像データと垂直方向長が同じで、基準画像データよりも大きな水平方向長の比較画像データが生成される（一例として、水平方向が６４０画素、垂直方向が２００画素）。基準画像データおよび比較画像データは、画像データメモリ７に格納される。
【００１６】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて距離データを算出する。この距離データは、４×４画素の画素ブロック毎に一つ算出されるため、一フレームの基準画像全体では１２８×５０個の距離データが算出され得る。基準画像中の一画素ブロックを対象とした場合、その対象画素ブロックの輝度特性と相関を有する領域を比較画像を探索することにより特定する（ステレオマッチング）。周知のとおり、ステレオ画像に映し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像の探索を行う場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を一画素ずつシフトしながら、画素ブロック毎に対象画素ブロックとの相関を評価する。画素ブロック間の相関は、例えば、シティブロック距離を算出することで評価でき、基本的には、その値が最小となるものが相関を有する画素ブロックである。そして、画素ブロック間の視差が距離データとして出力される。なお、シティブロック距離を算出するためのハードウェア構成については、特開平５−１１４００９号公報に開示されているので、必要ならば参照されたい。以上の手法によって算出された一フレーム分の距離データは、距離データメモリ８に格納される。
【００１７】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、道路形状（直線やカーブ曲率）や車輌前方の立体物（走行車）等を認識する。この認識は、画像データメモリ７中に記憶された画像データと距離データメモリ８に格納された距離データとに基づいて行われる。また、図示していない車速センサや舵角センサからのセンサ情報、或いはナビゲーション情報等も必要に応じて参照される。道路形状の認識や立体物の認識に関する具体的な手法については、特開平５−２６５５４７号公報に開示されているので必要ならば参照されたい。これらの認識結果に基づいて、警報が必要と判定された場合、モニターやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御が実行される。
【００１８】
（第１の実施例）
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである演算部１３）は、図２および図３に示したフローチャートにしたがって、ゲインコントロールアンプ３ａのゲインに関するフィードバック調整を行う。このフローチャートは、所定期間のサイクル毎に繰り返し実行される。演算部１３において算出されたメインカメラ１用ゲインコントロールアンプ３ａのゲイン指示値（以下、メインゲイン指示値という）ＧＭＡＩＮおよびサブカメラ２用ゲインコントロールアンプ３ａのゲイン指示値（以下、サブゲイン指示値という）ＧＳＵＢは、Ｄ／Ａコンバータ１４によってアナログ変換され、変換されたアナログ信号が各ゲインコントロールアンプ３ａに入力される。
【００１９】
まず、演算部１３は、ステップ１において、基準画像中に設定された第１の評価ウインドウＷ１内に存在する各画素の輝度データＡ１を読み込む。図４は、第１の評価ウインドウＷ１および後述する第２の評価ウインドウＷ２の設定位置を説明するための図である。第１の評価ウインドウＷ１は、ｉ−ｊ座標で表される基準画像における所定位置（その座標を（ａ，ｂ）とする）において固定的に設定され、１６×１６画素の面積を有している。したがって、このステップにおいて２５６個の輝度データＡ１が読み込まれる。なお、本実施例では、第１の評価ウインドウＷ１の位置を、基準画像の比較的中央付近であって、自車輌の２０〜３０ｍ前方を映し出す領域に設定している。
【００２０】
ステップ１に続くステップ２において、第１の評価ウインドウＷ１内の距離データに基づいて、第２の評価ウインドウＷ２が比較画像において特定される。上述したように、距離データは、４×４画素の画素プロック毎に一つ算出されるので、第１の評価ウインドウＷ１内には１６個の距離データｄｉ（ｉは１〜１６）が存在し得る。これらの距離データｄｉのヒストグラムを取り、出現度数の最も多い値（最頻距離値）を両評価ウインドウＷ１，Ｗ２間の視差χとする。そして、この視差χに基づいて、第１の評価ウインドウＷ１と同じ面積（１６×１６画素）を有する第２の評価ウインドウＷ２が、比較画像における座標（ａ＋χ，ｂ）において設定される（図４参照）。つまり、通常、第２の評価ウインドウＷ２は、第１の評価ウインドウＷ１の位置を基準として水平方向に視差χ分オフセットして設定される。なお、視差χを算出する他の手法としては、最頻距離値を用いた場合よりも精度が劣る場合があるが、第１の評価ウインドウＷ１内の複数の距離データｄｉの平均値を用いてもよい。
【００２１】
このようにして算出された第２の評価ウインドウＷ２は、輝度特性に関して第１の評価ウインドウＷ１と相関を有している。ある対象画素ブロックに係る距離データは、その画素ブロックの相関先（比較画像における相関領域の位置）を示した値であるといえる。つまり、距離データが特定されれば、対象画素ブロックの相関先を特定することができる。したがって、第１の評価ウインドウＷ１内の各距離データｄｉが十分な精度を有しているならば、上記の手法により算出された視差χは、第１の評価ウインドウＷ１の全体的な相関先を示すものとして十分に信頼できる値である。
【００２２】
なお、第１の評価ウインドウＷ１内の距離データｄｉを参照することなく、第２の評価ウインドウＷ２の位置を特定することも可能である。この場合、第１の評価ウインドウＷ１の座標（ａ，ｂ）を基準として、比較画像におけるエピポーラライン（ｊ＝ｂ）上をステレオマッチングの方向（本実施例では右方向）に１画素ずつずらしながら、１６×１６画素の領域の相関を評価していく。そして、最も大きな相関を有する領域を第２の評価ウインドウＷ２として設定する。しかしながら、この手法は、距離データを参照する上記の手法と比べて、第１の評価ウインドウＷ１の相関先を探索するのに要する演算量が増加してしまう。第１の評価ウインドウＷ１内に存在する距離データｄｉを用いれば、第１の評価ウインドウＷ１の相関先を少ない演算量で特定することができる。
【００２３】
ステップ２に続くステップ３において、第２の評価ウインドウＷ２内に存在する２５６個の輝度データＡ２が読み込まれる。そして、各評価ウインドウＷ１，Ｗ２の全体的な輝度の大きさを評価するために、第１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評価ウインドウＷ２の平均輝度ＡＶＥ２とが算出される（ステップ４）。平均輝度ＡＶＥ１（またはＡＶＥ２）は、ステップ１（またはステップ３）において読み込まれた２５６個の輝度データＡ１（またはＡ２）の平均値である。そして、今回のサイクルにおいて算出された平均輝度ＡＶＥ１，ＡＶＥ２は、マイクロコンピュータ９のＲＡＭ中にストアされる（ステップ５）。ストアされた平均輝度ＡＶＥ１，ＡＶＥ２がそれぞれ３０サンプルに達するまでの各サイクルでは、ステップ６において否定判定されるため、ステップ１からステップ５までの一連の手順が繰り返される。
【００２４】
各平均輝度ＡＶＥ１，ＡＶＥ２が３０サンプル分ストアされると、そのサイクルにおけるステップ６で肯定判定されるため、ゲイン指示値ＧＭＡＩＮ，ＧＳＵＢの調整手順に移行する（図３のステップ７以降）。まず、ステップ７において、ストアされた各３０サンプルの平均輝度ＡＶＥ１，ＡＶＥ２に関する相関性（換言すればサンプルとしての信頼性）を評価するために、相関係数Ｒ（ｃｏｒｒｅｌａｔｉｏｎ  ｃｏｅｆｆｉｃｉｅｎｔ）が算出される。各サンプルを（ＡＶＥ１ｉ，ＡＶＥ２ｉ）（ｉは１〜３０）で示すと、下式よりサンプル全体における相関係数Ｒを算出することができる。ここで、／ＡＶＥ１は、平均輝度ＡＶＥ１に関する３０サンプルの平均値、／ＡＶＥ２は、平均輝度ＡＶＥ２に関する３０サンプルの平均値である。
【００２５】
【数１】
0003587506.tif 000002
【００２６】
このようにして算出された相関係数Ｒは、常に−１≦Ｒ≦＋１の範囲にある。理想的な状態において、各サンプル点（ＡＶＥ１ｉ，ＡＶＥ２ｉ）は、直線ＡＶＥ２ｉ＝ｂ＊ＡＶＥ１ｉ＋ａ上に存在し、この状態における相関係数Ｒは＋１になる（正の完全相関）。これに対して、サンプルがノイズ等の影響を受けている場合、その影響が大きいほど各サンプル点（ＡＶＥ１ｉ，ＡＶＥ２ｉ）は散らばっていくため、相関係数Ｒは小さくなっていく。したがって、相関係数Ｒを算出することにより、ストアされたサンプルデータＡＶＥ１ｉ，ＡＶＥ２ｉの信頼性を評価することができる（ステップ８）。本実施例では、相関係数Ｒが＋０．９９未満の場合、ストアされたデータの信頼性が低いものと判断する。この場合、不適切な明るさバランス調整を行わないよう、メインゲイン指示値ＧＭＡＩＮおよびサブゲイン指示値ＧＳＵＢの双方の値は変更しない（ステップ１５）。そして、マイクロコンピュータ９中のＲＡＭにストアされた各３０サンプルをクリアして（ステップ１２）、リターンへ進む。一方、相関係数Ｒが＋０．９９以上の場合は、ストアされたデータは信頼性を有するものと判断して、ステップ９に進む。
【００２７】
ステップ９において、サンプル毎の平均輝度差の総和ＳＵＭを下式により算出する（１≦ｉ≦３０）。
【００２８】
【数２】
ＳＵＭ＝Σ（ＡＶＥ１ｉ−ＡＶＥ２ｉ）
【００２９】
平均輝度差の総和ＳＵＭは、メインカメラ１とサブカメラ２との明るさバランスが完全に取れているならば理論上は０になる。しかしながら、制御の安定性を考慮して、総和ＳＵＭが所定の範囲内（例えば、−３５００〜＋３５００）ならば、現在のゲインは適正な状態であると判断する。この場合は、メインゲイン指示値ＧＭＡＩＮおよびサブゲイン指示値ＧＳＵＢの双方の値は変更しない（ステップ１０，１３，１５）。
【００３０】
これに対して、総和ＳＵＭが負の判定しきい値（−３５００）以下の場合（すなわちサブカメラ２から出力された比較画像の方が明るい場合）、ステップ１０において肯定判定されるためステップ１１に進む。この場合、サブゲイン指示値ＧＳＵＢに関しては現在の値に１が加算され、メインゲイン指示値ＧＭＡＩＮに関しては現在の値がそのまま用いられる。ゲインの値を加算することにより、サブカメラ２から出力された比較画像はゲインの変更前と比較して暗くなるため、カメラ１，２の明るさのアンバランスが解消する方向に調整される。これにより、それ以降のサイクルで算出される第１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評価ウインドウＷ２の平均輝度ＡＶＥ２との差は小さくなる。そして、ステップ１１に続くステップ１２においてストアされたサンプルデータをクリアした後、リターンへ進む。
【００３１】
なお、現在のサブゲイン指示値ＧＳＵＢに１を加算すると、サブゲイン指示値ＧＳＵＢが所定の許容修正範囲（例えば−３０〜＋３０）から逸脱してしまう場合は、サブゲイン指示値ＧＳＵＢの変更は行わない。この場合、サブゲイン指示値ＧＳＵＢに１を加算する代わりに、現在のメインゲイン指示値ＧＭＡＩＮから１を減算する。ゲインの値を減算することにより、メインカメラ１から出力された基準画像はゲインの変更前と比べて明るくなるため、カメラ１，２の明るさのアンバランスが解消する方向に調整される。なお、どちらのゲイン指示値ＧＭＡＩＮ，ＧＳＵＢも許容修正範囲から逸脱してしまうようなケースは、調整不能であると判断して、どちらの値も変更しない（後述するステップ１４におけるゲイン値の変更についても同様）。
【００３２】
一方、総和ＳＵＭが正の判定しきい値（＋３５００）以上の場合（すなわちサブカメラ２から出力された比較画像の方が暗い場合）、ステップ１０で否定判定され、かつ、ステップ１３で肯定判定されるため、ステップ１４に進む。この場合、サブゲイン指示値ＧＳＵＢに関しては現在の値から１が減算され、メインゲイン指示値ＧＭＡＩＮに関しては現在の値がそのまま用いられる。その結果、サブカメラ２から出力された比較画像はゲインの変更前と比べて明るくなるため、カメラ１，２の明るさのアンバランスが解消する方向に調整される。これにより、第１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評価ウインドウＷ２の平均輝度ＡＶＥ２との差が小さくなる。そして、ステップ１４に続くステップ１２においてストアされたサンプルデータをクリアした後、リターンへ進む。
【００３３】
なお、現在のサブゲイン指示値ＧＳＵＢから１を減算すると、サブゲイン指示値ＧＳＵＢが許容修正範囲から逸脱してしまう場合は、サブゲイン指示値ＧＳＵＢの変更は行わない。この場合、サブゲイン指示値ＧＳＵＢから１を減算する代わりに、現在のメインゲイン指示値ＧＭＡＩＮに１を加算する。これにより、メインカメラ１から出力された基準画像が暗くなるため、カメラ１，２の明るさのアンバランスが解消する方向に調整される。
【００３４】
以上のようなゲインに関するフィードバック調整を監視制御と並行して行うことにより、ステレオカメラの明るさバランスが適切な状態になるような自動調整を行うことができる。したがって、経年変化や使用環境によってステレオカメラの出力特性等が初期設定された状態から変化した場合であっても、ステレオカメラの明るさバランスを適切に調整することができる。そして、このような状態で得られた画像信号に基づいて距離データを算出すれば、距離データの信頼性、換言すれば、車外監視の精度の向上を図ることができる。
【００３５】
また、本実施例では、第１の評価ウインドウＷ１の相関先である第２の評価ウインドウＷ２の位置は、第１の評価ウインドウＷ１内に存在する距離データに基づいて設定される。そして、この距離データから算出された位置に第２の評価ウインドウＷ２を設定することで、ステレオカメラの明るさバランスのずれを精度よく検出することができる。上述したように、ある小領域（画素ブロック）について算出された距離データは、その小領域の相関先を示している。そのため、小領域の集合である第１の評価ウインドウＷ１内に存在する距離データの最頻値（最頻距離値）は、第１の評価ウインドウＷ１の全体的な相関先を表していると考えてよい。これにより、両評価ウインドウＷ１，Ｗ２は、正常な状態では、ほぼ同様の輝度特性を有することが保証される。換言すると、両評価ウインドウＷ１，Ｗ２間に輝度差が生じるということは、ステレオカメラの明るさバランスがずれていることを意味している。
【００３６】
また、第１の評価ウインドウＷ１内の距離データに基づいて第２の評価ウインドウＷ２を設定する手法は、第１の評価ウインドウＷ１の相関先を比較画像全体を探索して特定する手法と比べて、演算量を大幅に低減することができる。その結果、マイクロコンピュータ９の処理能力をそれほど必要とすることなく、車外監視制御と並行して、リアルタイムで明るさバランスの調整を行うことができるという効果もある。
【００３７】
さらに、本実施例では、ゲイン調整における基本的な入力パラメータである平均輝度ＡＶＥ１，ＡＶＥ２（サンプルデータ）の信頼性を相関係数Ｒに基づいて検証している。そして、それが十分な信頼性を有すると判断された場合のみ、ゲイン調整を実行するようにしている。したがって、ノイズ等の影響を受けにくく、適切なゲイン調整を行うことが可能となる。
【００３８】
なお、上述した実施例の変形例として、以下のような手法を用いてもよい。
【００３９】
（１）上記の実施例では、第１の評価ウインドウＷ１内の距離データｄｉから視差χを求め、この視差χに基づいて第２の評価ウインドウＷ２の位置を座標（ａ＋χ，ｂ）に設定している。つまり、算出された視差χから第２の評価ウインドウＷ２の位置は一義に決定される。これに対して、算出された視差χから第２の評価ウインドウＷ２の探索範囲を設定し、その範囲内において最も大きな相関を有する領域を第２の評価ウインドウＷ２として設定してもよい。図５は、第２の評価ウインドウＷ２の探索範囲を説明するための図である。第１の評価ウインドウ内の距離データｄｉから算出された視差χに基づいて、基準座標Ｆ（ａ＋χ，ｂ）が特定される。探索範囲は、基準座標Ｆを基準に設定された所定幅のエピポーラライン上、すなわち座標（ａ＋χ±Ａ，ｂ）の範囲とする。ステレオマッチングにおいては、基準画像中の画素ブロックの相関先は、比較画像における同一水平線上に存在することが前提となっている。したがって、この探索範囲を探索することにより、第１の評価ウインドウＷ１の相関先を特定することができる。この手法は、第１の実施例と比べて相関領域の探索に要する演算量は増加する。しかしながら、第１の評価ウインドウＷ１内に存在する距離データの信頼性が十分でない場合においても、第１の評価ウインドウＷ１の相関先を適切に特定することができる。
【００４０】
（２）上述したように、ステレオマッチングは、基準画像における画素ブロックの輝度特性と相関を有する画素ブロックを特定することにより、距離データを算出する。したがって、輝度特性（特に水平方向の輝度エッジ）にあまり特徴がない画素ブロックは、ミスマッチが生じやすく、その画素ブロックに係る距離データの信頼性は高くない場合が多い。このような観点から、第１の評価ウインドウＷ１内の距離データｄｉのうち信頼性の高いデータ（すなわち、輝度エッジを有する画素ブロックに係る距離データ）のみを用いて視差χを算出することが好ましい。図６は、画素ブロックに関する水平方向の輝度エッジ（輝度の変化量）の評価手法を説明するための図である。距離データの算出単位である画素ブロックにおいて、水平方向において隣接した画素対の輝度変化量（絶対値）ΔＰｎ（ｎは１〜１６）を算出する。ただし、一番左側の画素列（Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４）に関しては、左側に隣接した画素ブロックの一番右側の画素列から輝度変化量ΔＰを算出する。つぎに、これらの１６個の輝度変化量ΔＰのうち、所定の判定しきい値以上のものの数をカウントする。１６個の輝度変化量ΔＰのうちしきい値以上の輝度変化量ΔＰが４つ未満の画素ブロックは、輝度の特徴があまりなく、それに係る距離データの信頼性は低いものと判断する（無効距離データ）。一方、しきい値以上の輝度変化量ΔＰが４つ以上の画素ブロックに係る距離データの信頼性は高いものと判断する（有効距離データ）。そして、第１の評価ウインドウＷ１内の距離データｄｉのうち、有効距離データのみに基づいて、視差χを算出する。このような視差χを用いることで、第２の評価ウインドウＷ２をより適切な位置に設定することができる。したがって、より精度の高いサンプルデータＡＶＥ１，ＡＶＥ２を算出することができる。
【００４１】
（３）第１の実施例では、第１の評価ウインドウＷ１を基準画像の所定位置に固定的に設定している。これに対して、このウインドウＷ１の設定位置を可変にしてもよい。例えば、基準画像中において第１の評価ウインドウＷ１の設定領域に関する候補をいくつか設定しておき、最も評価に適した領域を選択して第１の評価ウインドウＷ１を設定する。一例として、上述した有効距離データの数が最も大きい領域を第１の評価ウインドウＷ１としてもよい。この手法では、信頼性の高い有効距離データが存在する領域を第１の評価ウインドウＷ１として設定しているため、その相関先を的確に特定することができる。
【００４２】
（第２の実施例）
図７は、第２の実施例にかかるゲイン調整手順を示したフローチャートの一部である。まず、ステップ２１において、基準画像における第１の評価ウインドウＷ１を構成するサブ領域Ｒ１，Ｒ２，Ｒ３（以下、第１の領域という）内の輝度データＡ１が読み込まれる。そして、ステップ１に続くステップ２において、比較画像における第２の評価ウインドウＷ２を構成するサブ領域Ｒ４，Ｒ５，Ｒ６（以下、第２の領域という）内の輝度データＡ２が読み込まれる。
【００４３】
図８は、第１の評価ウインドウＷ１および第２の評価ウインドウＷ２の設定位置を説明するための図である。第１の領域Ｒ１〜Ｒ３は、第２の領域Ｒ４〜Ｒ６とそれぞれ位置的に対応している。ただし、ステレオマッチングを考慮して、第２の領域Ｒ４〜Ｒ６の位置は、第１の領域Ｒ１〜Ｒ３の位置よりもステレオマッチングの方向に若干オフセットして設定されている。各第２の領域Ｒ４〜Ｒ６のオフセット量は、以下に詳述するように、その第１の領域Ｒ１〜Ｒ３内に一般的に映し出されるであろう対象物までの距離に関する一般的な傾向を考慮して設定されている。
【００４４】
走行状態にある自車輌の前方を監視する通常の監視状況において、基準画像の比較的上側に設定された第１の領域Ｒ１およびそれと位置的に対応した比較画像の第２の領域Ｒ４には、空（無限遠）や比較的遠方の立体物（例えばビル等）が映し出される傾向がある。したがって、これらの領域Ｒ１，Ｒ４内において算出される視差は、比較的小さくなる傾向にある。そこで、画像上部に映し出される立体物等の距離の傾向を考慮して、第２の領域Ｒ４に関するオフセット量は小さめに設定しておく（オフセット量は０でも可）。例えば、図８のように、第１の領域Ｒ１に対して第２の領域Ｒ４をステレオマッチング方向に１５画素分だけオフセットさせる。
【００４５】
また、画像領域の中側に設定された第２の領域Ｒ２およびそれと位置的に対応した第２の領域Ｒ５には、通常、前方を走行中の車等が映し出される傾向があるため、この領域内における視差は中程度になる傾向にある。したがって、このような画像中部に映し出される風景の傾向を考慮して、第２の領域Ｒ５に関するオフセット量は中程度に設定しておく。これに関する実験結果から、３０〜４０ｍ程度の距離を想定することが好ましい。一例として、図８のように、第１の領域Ｒ２に対して第２の領域Ｒ５をステレオマッチング方向に２５画素分だけオフセットさせる。
【００４６】
さらに、画像領域の下側に設定された第１の領域Ｒ３およびそれと位置的に対応した第２の領域Ｒ６には、通常、道路等の地表が映し出される傾向があるため、この領域内における視差は比較的大きくなる傾向にある。したがって、このような画像下部に映し出される景色の傾向を考慮して、第２の領域Ｒ６に関するオフセット量は比較的大きめに設定しておく。例えば、図８のように、第１の領域Ｒ３に対して第２の領域Ｒ６をステレオマッチング方向に３０画素分だけオフセットさせる。
【００４７】
このようにして、各領域内に映し出される対象物までの距離の一般的な傾向を考慮して、各第２の領域Ｒ４〜Ｒ６をステレオマッチング方向にオフセットさせている。それにより、位置的に対応した基準画像と比較画像との領域対（例えばＲ１とＲ４）には同様の景色が映し出されるため、正常な撮像状況では、両領域はほぼ同じ輝度状態となる。
【００４８】
ステップ２２に続くステップ２３において、第１の評価ウインドウＷ１の平均輝度ＡＶＥ１と第２の評価ウインドウＷ２の平均輝度ＡＶＥ２とが算出される。ただし、これに要する演算量を減らすため、第１の領域Ｒ１〜Ｒ３内において、一水平線おきの輝度データＡ１から平均輝度ＡＶＥ１を算出する。同様の見地から、第２の領域Ｒ４〜Ｒ６内において、１水平線おきの輝度データＡ２から平均輝度ＡＶＥ２を算出する。今回のサイクルにおいて算出された平均輝度ＡＶＥ１，ＡＶＥ２は、マイクロコンピュータ９のＲＡＭ中にストアされる（ステップ２４）。
【００４９】
そして、ステップ２５の判断により、３０サンプル分の平均輝度ＡＶＥ１，ＡＶＥ２がストアされるまでの各サイクルにおいて、ステップ２１からステップ２４の手順が繰り返される。そして、平均輝度ＡＶＥ１，ＡＶＥ２が３０サンプル分だけストアされると、そのサイクルにおけるステップ２５から図３のフローチャートにおけるステップ７に移行する。それ以降の手順については第１の実施例と同様であるため、ここでの説明は省略する。
【００５０】
本実施例においても、第１の実施例と同様に、ステレオカメラの明るさバランスが適切な状態になるように自動調整することができるため、車外監視の精度の向上を図ることができるという効果がある。
【００５１】
また、本実施例にかかる手法では、第１の実施例の場合と異なり、距離データを参照することなく第２の評価ウインドウＷ２を設定している。したがって、ステレオカメラの明るさずれや位置ずれが比較的大きい状況（それにより信頼性の高い距離データを算出することができない状況）においても、明るさバランスを有効に調整することができるという効果がある。このような状況としては、例えば、出荷時における初期設定段階、或いはバッテリーバックアップが消失してしまった場合を含む再調整時が挙げられる。
【発明の効果】
このように、本発明では、ステレオカメラの明るさバランスを自動的に調整することができる。そして、明るさバランスが適切に調整された画像信号に基づいて距離データを算出すれば、距離データの信頼性、換言すれば、車外監視の精度の向上を図ることができる。
【図面の簡単な説明】
【図１】実施例にかかる調整装置を用いたステレオ式車外監視装置のブロック図
【図２】第１の実施例にかかるゲイン調整手順を示したフローチャートの一部
【図３】図２に続く手順を示したフローチャート
【図４】第１の実施例にかかる第１および第２の評価ウインドウの設定位置を説明するための図
【図５】第２の評価ウインドウＷ２の探索範囲を説明するための図
【図６】画素ブロックに関する水平方向の輝度エッジ（輝度の変化量）の評価手法を説明するための図
【図７】第２の実施例にかかるゲイン調整手順を示したフローチャートの一部
【図８】第２の実施例における第１および第２の評価ウインドウの設定位置を説明するための図
【符号の説明】
１  メインカメラ、                ２  サブカメラ、
３  アナログインターフェース、  ３ａ  ゲインコントロールアンプ、
４  Ａ／Ｄコンバータ、            ５  補正回路、
６  ステレオ演算回路、            ７  画像データメモリ、
８  距離データメモリ、            ９  マイクロコンピュータ、
１０  認識部、                    １１  警報装置、
１２  制御装置、                  １３  演算部、
１４  Ｄ／Ａコンバータ、
Ｗ１  第１の評価ウインドウ、      Ｗ２  第２の評価ウインドウ、
Ｒ１，Ｒ２，Ｒ３  第１の領域、
Ｒ４，Ｒ５，Ｒ６  第２の領域
【図１】
0003587506.tif 000003
【図２】
0003587506.tif 000004
【図３】
0003587506.tif 000005
【図４】
0003587506.tif 000006
【図５】
0003587506.tif 000007
【図６】
0003587506.tif 000008
【図７】
0003587506.tif 000009
【図８】
0003587506.tif 000010