(57)【特許請求の範囲】
【請求項１】
車両に搭載したステレオカメラで撮像した一対の撮像画像を処理して距離情報を算出する車両用距離検出装置において、
上記距離情報を算出する際に基準とする元画像の輝度分布を求め、この輝度分布に応じて上記撮像画像を対数変換するか否かを制御する手段と、
上記基準とする元画像の水平方向の輝度変化量の分布を求め、この輝度変化量の分布に応じて上記距離情報の有効性を判定する際の閾値を決定する手段とを備えたことを特徴とする車両用距離検出装置。
【請求項２】
上記輝度分布に応じて上記撮像画像の処理系統における対数変換回路の接続を切り換えることを特徴とする請求項１記載の車両用距離検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラで撮像した一対の撮像画像を処理して距離情報を算出する車両用距離検出装置に関する。
【０００２】
【従来の技術】
一般に、画像による３次元計測技術として、２台のカメラからなるステレオカメラで対象物を異なる位置から撮像した１対の画像の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により距離を求める、いわゆるステレオ法による画像処理が知られている。
【０００３】
このステレオ法による画像処理としては、本出願人は、先に、特開平５−１１４０９９号公報において、車両に搭載したステレオカメラで撮像した画像を処理して車外の対象物の３次元位置を測定する技術を提案している。
【０００４】
【発明が解決しようとする課題】
ところで、ステレオ法で２つの画像の一致度を評価して距離を検出する場合、所定の輝度差が必要である。このため、車両の外界のように照度変化の大きい対象を撮像する場合には、撮像画面の低輝度部分のコントラストを改善するために撮像画像を対数変換（ＬＯＧ補正）する場合が多く、さらに、距離情報が２つの画像で所定の輝度差を有する領域の一致度を評価して算出されたものであるか否かをチェックする必要がある。
【０００５】
しかしながら、従来では、車両の外界は照度変化が大きいという前提の元に一律にＬＯＧ補正をかけているため、雪道等のようにコントラストの小さい状況には対応しておらず、また、一律の判定基準で距離情報の有効性をチェックしているため、コントラストの小さい状況では算出された距離情報が無効と判定されてしまっていた。
【０００６】
本発明は上記事情に鑑みてなされたもので、広範な状況で最適な画像処理を可能として常に適切な距離情報を得ることのできる車両用距離検出装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、車両に搭載したステレオカメラで撮像した一対の撮像画像を処理して距離情報を算出する車両用距離検出装置において、上記距離情報を算出する際に基準とする元画像の輝度分布を求め、この輝度分布に応じて上記撮像画像を対数変換するか否かを制御する手段と、上記基準とする元画像の水平方向の輝度変化量の分布を求め、この輝度変化量の分布に応じて上記距離情報の有効性を判定する際の閾値を決定する手段とを備えたことを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の発明において、上記輝度分布に応じて上記撮像画像の処理系統における対数変換回路の接続を切り換えることを特徴とする。
【０００９】
すなわち、本発明では、距離情報を算出する際の基準とする元画像の輝度分布及び水平方向の輝度変化量の分布を求め、輝度分布に応じて撮像画像の対数変換するか否かを制御する。そして、撮像画像を処理して算出した距離情報に対し、輝度変化量の分布に応じて決定した閾値に基づいて有効性を判定する。この場合、撮像画像を対数変換するか否かは、撮像画像の処理系統における対数変換回路の接続を切り換え、対数変換回路を処理系統に接続するか切り離すかによって制御することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図１〜図３は本発明の実施の一形態に係わり、図１は３次元画像認識システムの構成図、図２は輝度ヒストグラムを示す説明図、図３は輝度変化量のヒストグラムを示す説明図である。
【００１１】
図１において、符号１は、自動車等の車両に搭載される２台のＣＣＤカメラ２，３からなるカメラアセンブリであり、このカメラアセンブリ１に、撮像画像を処理して車外の対象までの距離を求め、求めた距離の情報に基づいて道路形状の認識や立体物の認識等を行なうステレオ画像処理ユニット１０が接続され、距離検出装置を含む３次元画像認識システムが構成される。
【００１２】
上記カメラアセンブリ１を構成する各ＣＣＤカメラ２，３は、互いに、同期が取れ、且つ、シャッタースピード可変のカメラであり、一方のＣＣＤカメラ２をステレオ画像処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラ３をステレオ画像処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されてステレオカメラを構成している。
【００１３】
一方、ステレオ画像処理ユニット１０は、各ＣＣＤカメラ２，３からの２系統の画像信号を処理するため、各系統毎に、アナログ撮像信号を増幅して後段の入力レンジに合わせるためのゲインコントロールアンプ等を有するアナログＩ／Ｆ１１，１２に、アナログ画像データをデジタル画像データに変換するＡ／Ｄコンバータ１３，１４が接続され、さらに、各Ａ／Ｄコンバータ１３，１４に、ＣＣＤカメラ２，３の特性の相違を補正するためのルックアップテーブル（ＬＵＴ）１５，１６が接続されている。
【００１４】
各ＬＵＴ１５，１６の出力は、後述する認識処理用ＣＰＵ２９によって制御される電子スイッチ回路１７，１８によって切り換えられるようになっており、各ＬＵＴ１５，１６の出力が画像の明暗部に対して対数変換を行って低輝度部分のコントラストを改善するためのＬＯＧ補正回路１９，２０を経て、あるいはＬＯＧ補正回路１９，２０を経ずに、一旦、ビデオＲＡＭ（ＶＲＡＭ）２１，２２にストアされるようになっている。
【００１５】
各ＣＣＤカメラ２，３の撮像信号を処理して各ＶＲＡＭ２１，２２にストアされた基準画像データ及び比較画像データは、絶対値演算器と加算器とをピラミッド状に接続したパイプライン構造のシティブロック距離計算回路２３に読み込まれ、さらに、最小値・画素ズレ検出回路２４を通って２枚の画像の小領域（例えば４×４画素の小領域）毎に、２つの画像の一致度を評価するステレオマッチングが行われる。
【００１６】
すなわち、シティブロック距離計算回路２３で、基準画像の一つの小領域に対し、対応する比較画像の小領域との間のシティブロック距離を計算する処理を水平方向に１画素ずつすらしながら所定画素分ずれるまで繰り返し、最小値・画素ズレ検出回路２４で、シティブロック距離の最小値及び最大値等を評価してシティブロック距離の最小値が本当に２つの画像の小領域の一致を示しているものかどうかをチェックする。そして、チェック条件を満足する場合、シティブロック距離が最小になる画素ズレ量を基準画像の小領域に対応する距離情報として出力する。
【００１７】
尚、以上のステレオマッチング処理については、本出願人による特開平５−１１４０９９号公報に詳述されている。
【００１８】
さらに、上記最小値検出・画素ズレ検出回路２４の後段には、輝度変化有効判定回路２５の判定結果に基づいて距離情報（画素ズレ量）の有効性を判定する距離情報有効判定回路２６が接続され、この距離情報有効判定回路２６で有効と判断された距離情報が距離画像メモリ２７にストアされる。
【００１９】
上記距離画像メモリ２７にストアされた距離情報は、元画像メモリ２８にストアされた元画像データ（シティブロック距離を算出する元となる画像データ）とともに認識処理用ＣＰＵ２９に読み込まれて走行環境を認識する処理が行われ、図示しない制御装置に認識結果を出力する。これにより、例えば、前方の車両や障害物を検知し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる、あるいは、先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の制御が行われる。
【００２０】
以上の３次元画像認識システムにおける画像処理では、距離情報を算出する際の画像処理パラメータが状況に応じて最適に制御される。すなわち、ＣＣＤカメラ２，３で撮像する車外の対象は、明るい部分から暗い部分まで様々であるが、２つの画像の一致度を評価し、距離を検出するためには所定の輝度差が必要である。
【００２１】
このため、ＣＣＤカメラ２，３からの撮像信号を、それぞれ、アナログＩ／Ｆ１１，１２でゲイン調整を行ってＡ／Ｄコンバータ１３，１４で所定の輝度階調のデジタル画像データに変換し、ＬＵＴ１５，１６でカメラ特性の相違を補正した後、雪道等のコントラストの小さい状況ではＬＯＧ補正を行う一方、コントラストが強い状況ではＬＯＧ補正をバイパスし、さらに、シティブロック距離計算回路２３から最小値・画素ズレ検出回路２４を経て出力される距離情報（画素ズレ量）が有効か否かを画像の水平方向の輝度変化量によってチェックするようにしている。
【００２２】
このＬＯＧ補正の実施及び距離情報の有効性を判定するため、認識処理用ＣＰＵ２９では、元画像メモリ２８にアクセスして元画像のデータから輝度のヒストグラムと水平方向の輝度変化量のヒストグラムとの２種類のヒストグラムを作成する。図２は、元画像の輝度階調を８ビットデータとした場合の輝度ヒストグラムを概念的に示すものであり、同様に、図３は元画像の水平方向の輝度変化量、すなわち、元画像の輝度ｃを水平方向（ｘ方向）に差分した値の絶対値（ｄｃ／ｄｘ値）のヒストグラムを概念的に示すものである。
【００２３】
そして、輝度ヒストグラムにおいて、図２の斜線で示すように、データ数の割合が輝度の低い方向から探索したとき所定の割合（例えば１５％）になる輝度値Ｐ１を算出する。この輝度値Ｐ１となる割合は、ある程度明るく距離データがあると思われる領域の存在する割合であり、算出された輝度値Ｐ１を用いてＬＯＧ補正のＯＮ，ＯＦＦを行う。
【００２４】
すなわち、ＬＯＧ補正がＯＦＦの状態で輝度値Ｐ１が第１の設定値（例えば３２）以下のときには、暗い部分のデータが多く存在するため、認識処理用ＣＰＵから各電子スイッチ回路１７，１８に制御信号を出力し、各ＬＵＴ１５，１６の出力をＬＯＧ補正回路１９，２０に入力するよう各電子スイッチ回路１７，１８を切り換えてＬＯＧ補正をＯＮにし、ＣＣＤカメラ２，３からの画像をステレオマッチングに適した画像とする。
【００２５】
一方、ＬＯＧ補正がＯＮの状態で輝度値Ｐ１が第２の設定値（例えばＰ１＝９６）以下のときには、ＬＯＧ補正をかけているにも拘わらず暗い部分のデータが少ないため、認識処理用ＣＰＵ２９から各電子スイッチ回路１７，１８に制御信号を出力してＬＯＧ補正回路１９，２０をバイパスさせてＬＯＧ補正をＯＦＦにし、暗い部分に含まれるノイズの増幅を防止する。
【００２６】
また、輝度変化量のヒストグラムにおいては、図３の斜線で示すように、データ数の割合が距離を算出するのに適正な輝度差以上である割合（例えば３０％）になるｄｃ／ｄｘ値Ｐ３を算出し、輝度変化有効判定の閾値とする。算出されたｄｃ／ｄｘ値Ｐ３は、認識処理用ＣＰＵ２９から輝度変化有効判定回路２５に転送され、輝度変化有効判定回路２５における判定用閾値として更新される。
【００２７】
輝度変化有効判定回路２５では、ＶＲＡＭ２１の画像データの水平方向の輝度輝度変化量が認識処理用ＣＰＵ２９から転送されたｄｃ／ｄｘ値Ｐ３を越えているか否かを調べ、ｄｃ／ｄｘ値Ｐ３を越えているときには有効、越えていないときには無効の判定結果を距離情報有効判定回路２６に出力する。
【００２８】
距離情報有効判定回路２６では、輝度変化有効判定回路２５による判定結果が有効のときには、シティブロック距離計算回路２３から最小値検出・画素ズレ検出回路２４を経て出力される画素ズレ量は、２つの画像において所定の輝度差を有する領域間の一致度を正しく評価した結果であり、距離情報として有効と判定する。
【００２９】
一方、輝度変化有効判定回路２５による判定結果が無効のときには、水平方向に輝度差の少ない領域でのステレオマッチングによって２つの画像の一致度を評価しており、信頼性に欠けるため、最小値検出・画素ズレ検出回路２４から出力される画素ズレ量は、距離情報として無効であると判定する。
【００３０】
これにより、雪道等を走行するような状況においても、適切なステレオ画像処理を行うことができ、認識信頼性を向上することができる。
【００３１】
【発明の効果】
以上説明したように本発明によれば、広範な状況で最適な画像処理を可能として常に適切な距離情報を得ることができ、この距離情報を用いた認識処理の信頼性を向上することができる等優れた効果が得られる。
【図面の簡単な説明】
【図１】３次元画像認識システムの構成図
【図２】輝度ヒストグラムを示す説明図
【図３】輝度変化量のヒストグラムを示す説明図
【符号の説明】
２，３…カメラ
１０…ステレオ画像処理ユニット
１９，２０…ＬＯＧ補正回路
２５…輝度変化有効判定回路
２６…距離情報有効判定回路
２９…認識処理用ＣＰＵ
【図１】
0004187853.tif 000002
【図２】
0004187853.tif 000003
【図３】
0004187853.tif 000004