(57)【要約】【課題】対象立体物に関して適切に算出される視差値の数を増やして、視差情報を用いる対象立体物認識処理の認識精度を高めることを課題とする。【解決手段】２つのカメラ１０１Ａ，１０１Ｂによって撮像した複数の画像データａ，ｂから視差演算部２１１により視差値を算出し、対象立体物を映し出す画像部分の視差値分布の特徴（垂直視差図において上方へ向かっても視差値がほとんど変わらない状態で密集するという特徴）に当てはまる視差値群を抽出し、抽出した視差値群に対応する画像部分を、立体物領域検出部２１４により、当該対象立体物を映し出す立体物領域として検出する。また、立体物画素数抽出部２１５及び露光量算出・制御部２１６により、この視差値群に含まれる視差値の数が増えるように各カメラの露光量が調整される。【選択図】図３
2014130429.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域を撮像する複数の撮像部と、
上記複数の撮像部によって撮像した複数の撮像画像に基づいて視差情報を生成する視差情報生成手段とを有する撮像装置であって、
上記撮像領域内の対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に含まれる視差値の数が増えるように、上記複数の撮像部が後の撮像時に用いる露光量を決定する露光量制御手段とを有することを特徴とする撮像装置。
【請求項２】
請求項１の撮像装置において、
上記視差値分布特徴情報は、縦軸に画像垂直座標をとりかつ横軸に視差値をとった垂直視差図上で、上記視差情報から得られる各視差値を分布させたときに、垂直視差図上下方向に延びる線分の近傍に分布するという特徴を示すものであることを特徴とする撮像装置。
【請求項３】
請求項１又は２の撮像装置において、
上記露光量制御手段は、上記抽出した視差値群に含まれる視差値の数が所定の最小値以上となるように上記露光量を決定することを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の撮像装置において、
上記露光量制御手段は、上記複数の撮像部からの距離に応じて区分した複数のエリアごとに上記視差値分布特徴情報に当てはまる視差値群を抽出し、抽出した各エリアの視差値群に含まれる視差値の数が増えるように、該複数のエリアごとの上記露光量を決定し、
上記複数の撮像部は、上記露光量制御手段が決定した上記複数のエリアごとの露光量を順次用いて連続的に撮像を行うことを特徴とする撮像装置。
【請求項５】
請求項４の撮像装置において、
上記複数の撮像部が撮像した撮像画像から生成された視差情報から、当該撮像時に該複数の撮像部が用いた露光量に対応するエリア内で上記視差値分布特徴情報に当てはまる視差値群を抽出し、抽出した当該エリアの視差値群に対応する画像部分を、上記対象立体物を映し出す立体物領域として検出する立体物領域検出手段を有することを特徴とする撮像装置。
【請求項６】
請求項１乃至４のいずれか１項に記載の撮像装置において、
上記視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に対応する画像部分を、上記対象立体物を映し出す立体物領域として検出する立体物領域検出手段を有することを特徴とする撮像装置。
【請求項７】
請求項５又は６の撮像装置において、
上記立体物領域検出手段による立体物領域の検出結果と、上記視差情報生成手段が生成する視差情報及び上記複数の撮像部が撮像した撮像画像に基づく輝度情報の少なくとも一方の情報とを用いて、該立体物領域に映し出されている対象立体物を認識する認識手段を有することを特徴とする撮像装置。
【請求項８】
撮像領域を撮像する複数の撮像部を備えた撮像装置のコンピュータを動作させる立体物領域検出用プログラムであって、
上記複数の撮像部によって撮像した複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、
上記撮像領域内の対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に含まれる視差値の数が増えるように、上記複数の撮像部が後の撮像時に用いる露光量を決定する露光量制御手段として、上記コンピュータを機能させることを特徴とする立体物領域検出用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部で撮像した複数の撮像画像から得られる視差情報から、撮像領域内に存在する対象立体物を映し出す立体物領域を検出する撮像装置及び立体物領域検出用プログラムに関するものである。
【背景技術】
【０００２】
この種の撮像装置は、車両、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）の移動制御を行う移動体制御装置や、移動体の運転者に有益な情報を提供する情報提供装置などの物体識別処理に広く利用されている。具体例を挙げると、例えば、車両の運転者（ドライバー）の運転負荷を軽減させるための、ＡＣＣ（Adaptive Cruise Control）等の運転者支援システムに利用されるものが知られている。このような車両走行支援システムにおいては、自車が障害物等に衝突することを回避したり衝突時の衝撃を軽減したりするための自動ブレーキ機能や警報機能、先行車との車間距離を維持するための自車速度調整機能、自車が走行している走行レーンからの逸脱防止を支援する機能などの様々な機能を実現する。そのためには、自車両の周囲を撮像した撮像画像を解析して、自車両周囲の状況を示す様々な情報をできるだけ正確に得ることが重要である。自車両周囲の状況を示す情報としては、例えば、自車両周囲に存在する障害物、他車両、ガードレールなどの路端構造物などの各種立体物の位置情報や距離情報などが挙げられる。
【０００３】
特許文献１には、車両に搭載される一方のカメラで２回連続撮影して得た２つの基準画像と、これに対応して他方のカメラで２回連続撮影して得た２つの比較画像（対応画像）とを用い、基準画像と比較画像の中の共通する複数の特徴点の位置から算出した複数の視差情報を用いる距離計測システムが開示されている。この距離計測システムでは、算出した複数の視差情報から各対象物の視差変化量を求め、その視差変化量の違いから、道路周辺建物や道路標識等の静止体（対象立体物）と、先行車両や対向車両などの移動体（対象立体物）とを区別して認識する。すなわち、静止体との距離は、自車両の移動速度と同じ速さで短くなるのに対し、移動体との距離は、自車両の移動速度とは異なる速さ（移動体の相対移動速度に応じた速さ）で短くなる又は長くなる。この違いを上述した視差変化量の違いによって認識する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
視差情報を用いて識別対象とする立体物（対象立体物）を認識するシステムにおいては、対象立体物やその近傍を映し出す画像部分に対応する複数の視差値（視差値群）を視差情報から抽出し、抽出した視差値群に対応する画像部分を、上記対象立体物を映し出す立体物領域として検出する。このときの抽出の方法として、対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を抽出する方法を採用する場合、抽出される視差値群に含まれる適切な視差値の数が少ないと、視差値分布特徴情報に当てはまる視差値群の検出精度が落ち、その結果、十分な立体物領域の検出精度が得られず、対象立体物の認識精度が低くなる。
【０００５】
本発明者らの研究の結果、視差値分布特徴情報に当てはまる視差値群に含まれる適切な視差値の数を少なくなる要因には、視差情報の元になる撮像画像（基準画像と比較画像）を撮像する複数の撮像部の露光量の設定が影響していることを見出した。詳しく説明すると、複数の撮像部が不適切な露光量に設定されている場合、対象立体物やその近傍を映し出す画像部分に十分なコントラスト（広い範囲の輝度分布）が得られない。複数の撮像部が撮像した撮像画像から視差値を算出する際には、例えば、一方の撮像部が撮像した基準画像内の対象画像領域を構成する複数の画素値の配列と高い相関性を有する対応画像領域を、他方の撮像部が撮像した比較画像内から探し出す処理（マッチング処理）を行う。そして、そのマッチング処理により相関性の高い対応画像領域が比較画像内から見つかったら、基準画像内の対象画像領域中の対象画素と比較画像内の対応画像領域内の対応画素との位置ズレ量から、当該対象画素の視差値を算出する。このとき、当該対象画像領域や当該対応画像領域に十分なコントラストが得られていない場合、このマッチング処理において高い相関性を有する対応画像領域を探し出すことができず、視差値の算出を行うことができない。なお、相関性の度合いを下げて算出される視差値の数を増やそうとすると、基準画像領域に対応していない比較画像内の画像領域を誤って対応画像領域として検出してしまう事態が増え、結局、適切に算出される視差値の数を増やすことはできない。このように視差値分布特徴情報に当てはまる視差値群に含まれる適切な視差値の数が少ないと、画像内に分布する視差値の中から、視差値分布特徴情報に当てはまる視差値群を他の視差値と区別して検出することが困難となる。その結果、視差値分布特徴情報に当てはまる視差値群の検出精度が落ち、十分な立体物領域の検出精度が得られず、対象立体物の認識精度が低くなる。
【０００６】
本発明は、以上の背景に鑑みなされたものであり、その目的とするところは、対象立体物を映し出す画像部分に対応した適切な視差値の数を増やして、視差情報を用いる対象立体物の認識処理の認識精度を高めることが可能な撮像装置及び立体物領域検出用プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、撮像領域を撮像する複数の撮像部と、上記複数の撮像部によって撮像した複数の撮像画像に基づいて視差情報を生成する視差情報生成手段とを有する撮像装置であって、上記撮像領域内の対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に含まれる視差値の数が増えるように、上記複数の撮像部が後の撮像時に用いる露光量を決定する露光量制御手段とを有することを特徴とする。
【０００８】
対象立体物の認識精度は、撮像領域内に存在する対象立体物を映し出す立体物領域の検出精度に影響を受ける。対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を視差情報から抽出し、抽出した視差値群に対応する画像部分を立体物領域として検出する場合、その検出精度は、当該視差値分布特徴情報に当てはまるとして抽出される視差値群に含まれる視差値の数に影響を受ける。この視差値の数は、対象立体物に関して適切に算出される視差値の数に依存し、適切に算出される視差値の数は、一方の撮像部で撮像した撮像画像（基準画像）中における対象画像部分と同じ箇所を映し出す、他方の撮像部で撮像した撮像画像（比較画像）中の対応画像部分の特定精度に依存する。この特定精度は、対象画像領域や対応画像領域について高いコントラストが得られることで高めることができる。したがって、複数の撮像部が撮像時に用いる露光量を調整することで、視差値分布特徴情報に当てはまるとして抽出される視差値群に含まれる視差値の数を増やすことが可能である。
【０００９】
本発明においては、例えば、視差値分布特徴情報に当てはまるとして抽出される視差値群に含まれる視差値の数が当該視差値群の抽出に必要な許容範囲内であっても、当該視差値群の抽出に適した好適範囲よりも少ない場合には、当該視差値群に含まれる視差値の数が増えるように、後の露光量が決定される。これにより、当該視差値群の数を好適範囲内に安定して収めることが可能となり、立体物領域の検出精度が高まり、対象立体物の認識精度が向上する。
【発明の効果】
【００１０】
以上より、本発明によれば、対象立体物を映し出す画像部分に対応した適切な視差値の数を増やして、視差情報を用いる対象立体物の認識処理の認識精度を高めることができるという優れた効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】実施形態における車載機器制御システム全体の概略を示す模式図である。
【図２】同車載機器制御システムを構成する撮像装置の主要部を示すハードウェア構成図である。
【図３】同撮像装置の画像処理部におけるステレオ画像処理部の詳細を示す機能ブロック図である。
【図４】（ａ）は、自車両に搭載された撮像部で自車両進行方向前方領域（撮像領域）を撮像したときの撮像画像の一例を示すものであり、（ｂ）は、この撮像画像に対応する垂直視差図を直線近似処理したものである。
【図５】同撮像装置の露光量算出・制御部で実施される露光量制御の流れを示すフローチャートである。
【図６】実施形態における露光量制御に関するタイミングチャートである。
【図７】変形例１におけるステレオ画像処理部の詳細を示す機能ブロック図である。
【図８】変形例２におけるステレオ画像処理部の詳細を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明に係る撮像装置を、車載機器制御システムに用いる一実施形態について説明する。
なお、本発明に係る撮像装置は、車載機器制御システムに限らず、例えば、撮像画像に基づいて撮像領域内に存在する検出対象物の検出処理を行う画像解析装置を搭載したその他のシステムにも適用できる。
【００１３】
図１は、本実施形態における車載機器制御システム全体の概略を示す模式図である。
本車載機器制御システムは、自動車などの移動装置である自車両４００に搭載されたカメラ部１００で撮像した自車両進行方向前方領域（撮像領域）の撮像画像を画像処理部２００で解析して、撮像領域内に存在する検出対象物の位置を検出し、その検出結果を表示部３００に表示して運転者に有益な情報（車走行補助用情報）を提供するものである。本実施形態の車載機器制御システムに設けられる撮像装置は、主に、カメラ部１００、画像処理部２００、表示部３００とから構成される。カメラ部１００は、例えば、自車両４００のフロントガラス１０５のルームミラー付近に設置され、走行する自車両４００の進行方向前方領域を撮像領域とする。
【００１４】
図２は、本実施形態における撮像装置の主要部を示すハードウェア構成図である。
本実施形態の撮像装置のカメラ部１００は、２つのカメラ１０１Ａ，１０１Ｂを備えたステレオカメラで構成されている。２つのカメラ１０１Ａ，１０１Ｂの構成は同一のものである。カメラ１０１Ａ，１０１Ｂは、主に、撮像レンズ等の光学系と、受光素子が２次元配置された画素アレイで構成された画像センサと、画像センサから出力されるアナログ電気信号（画像センサ上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データを生成して出力する信号処理部とから構成されている。
【００１５】
本実施形態のカメラ部１００には、各カメラ１０１Ａ，１０１Ｂから出力される撮像画像データを、理想ピンホールモデルで得られる画像に変換するために補正処理を行う画像補正部１１０が設けられている。この画像補正部１１０は、カメラ１０１Ａ，１０１Ｂごとに、ＦＰＧＡ（Field-Programmable Gate Array）１１１Ａ，１１１Ｂ及びメモリ１１２Ａ，１１２Ｂが設けられている。ＦＰＧＡ１１１Ａ，１１１Ｂは、入力されるカメラ１０１Ａ，１０１Ｂからの撮像画像データに対し、倍率補正、画像中心補正、歪補正などの補正処理を実行する。メモリ１１２Ａ，１１２Ｂには、その補正処理に用いる補正パラメータ等が格納されている。ＦＰＧＡ１１１Ａ，１１１Ｂから出力される補正処理後の撮像画像データ（補正画像データ）は、画像処理部２００に送られる。なお、ＦＰＧＡに代えて、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などを採用してもよい。
【００１６】
画像処理部２００は、主に、ステレオ画像処理部２１０と認識処理部２２０とによって構成されている。ステレオ画像処理部２１０は、各カメラ１０１Ａ，１０１Ｂで撮像して得られた補正画像データａ’，ｂ’を入力して処理する。具体的には、２つの補正画像データａ’，ｂ’から得られる視差画像データや、２つの補正画像データａ’，ｂ’のうちの一方（基準画像）の輝度画像データなどを生成する処理や、後述する認識処理などを行う。本実施形態のステレオ画像処理部２１０は、視差画像データや輝度画像データなどの画像データと認識処理結果を出力するが、例えば、このような画像データが後段の処理で使用されない場合には、画像データは出力しなくてもよい。
【００１７】
図３は、画像処理部２００におけるステレオ画像処理部２１０の詳細を示す機能ブロック図である。
ステレオ画像処理部２１０は、主に、視差演算部２１１と、垂直視差図作成部２１２と、路面領域検出部２１３と、立体物領域検出部２１４と、立体物画素数抽出部２１５と、露光量算出・制御部２１６とから構成されている。
【００１８】
視差演算部２１１は、視差情報生成手段として機能し、画像補正部１１０から出力される補正画像データａ’，ｂ’から視差画像データを得るために、当該２つの補正画像間の対応画像部分の視差値を演算する。ここでいう視差値とは、各カメラ１０１Ａ，１０１Ｂでそれぞれ撮像した撮像画像の一方を基準画像、他方を比較画像とし、撮像領域内の同一地点に対応した基準画像上の画像部分に対する比較画像上の画像部分の位置ズレ量を、当該画像部分の視差値として算出したものである。三角測量の原理を利用することで、この視差値から当該画像部分に対応した撮像領域内の当該同一地点までの距離を算出することができる。
【００１９】
視差画像データは、基準画像データ（例えばカメラ１０１Ａが撮像した撮像画像データａ）上の各画像部分について算出される視差値に応じた画素値をそれぞれの画像部分の画素値として表した視差画像を示すものである。視差演算部２１１が出力する視差画像データは、後段の認識処理部２２０に送られるとともに、垂直視差図作成部２１２にも送られる。
【００２０】
垂直視差図作成部２１２は、視差演算部２１１から出力される視差画像データを用いて、横軸に視差値をとり、縦軸に画像垂直座標（画像下端を０とする。）をとった垂直視差図のデータを作成する。垂直視差図は、画像垂直座標（縦軸）と視差値（横軸）とで定義される直交座標系において、視差画像の各画素値（視差値）を分布させたものである。この垂直視差図のデータは、路面領域検出部２１３に送られる。
【００２１】
図４（ａ）は、自車両４００に搭載されたカメラ部１００で自車両進行方向前方領域（撮像領域）を撮像したときの撮像画像の一例を示すものであり、図４（ｂ）は、この撮像画像に対応する垂直視差図を直線近似処理したものである。
【００２２】
路面領域検出部２１３は、垂直視差図作成部２１２が作成した垂直視差図のデータに基づいて、視差画像中の路面領域（路面ＲＳを映し出す領域）を検出する処理を行う。詳しく説明すると、カメラ１０１Ａ，１０１Ｂでは、自車両前方領域を撮像するため、撮像画像上の路面領域は、図４（ａ）に示すように、画像下部において路面領域の占有率が高い。また、視差画像上においては、画像上方へ向かうほど路面領域の視差値が略一定の割合で小さくなり、かつ、同じ画像垂直座標内（画像中の同じ横方向ライン上）において路面領域を構成する画素はほぼ同じ視差値を持つことになる。したがって、主に視差画像中の下部において路面領域を構成する画素は、垂直視差図上では、右下がりの直線状に分布するという特徴がある。路面領域検出部２１３は、この特徴に合致する画素を検出するため、垂直視差図上に分布した画素の中で右下がりの直線近傍に分布する画素（図４（ｂ）に示す右下がりの直線に近似される画素）を、撮像領域内における路面ＲＳを映し出す画素（路面領域を構成する画素）であると検出する。
【００２３】
立体物領域検出部２１４は、垂直視差図作成部２１２が作成した垂直視差図データに基づいて、視差画像中の立体物領域（立体物Ａ，Ｂ，Ｃを映し出す領域）を検出する処理を行う。詳しく説明すると、一般に、先行車両や対向車両などの路面上に存在する立体物Ａ，Ｂ，Ｃは、撮像画像上においてある程度の幅（画像横方向長さ）と高さ（画像縦方向長さ）をもつ。このような立体物を映し出す視差画像上の画素は、画像上方へ向かっても視差値がほとんど変わらない状態で密集するという特徴がある。よって、立体物領域検出部２１４は、この特徴に合致する画素を検出するため、まず、垂直視差図上に分布した画素の中から、路面領域検出部２１３が検出した路面領域を構成する画素を除外し、その後、残りの画素の中において垂直視差図上で右下がりの直線から略真上へ延びる線分（垂直直線）の近傍に分布する画素（図４（ｂ）に示す垂直直線に近似される画素）を、撮像領域内における路面ＲＳ上の立体物Ａ，Ｂ，Ｃを映し出す画素（立体物領域を構成する画素）であると検出する。
【００２４】
認識処理部２２０は、視差演算部２１１から出力される視差画像データと、路面領域検出部２１３から出力される路面領域データと、立体物領域検出部２１４から出力される立体物領域データとを入力し、路面上に存在する先行車両や対向車両等の立体物の位置や立体物までの距離などを認識する処理を行う。この認識結果は、表示部３００に送られ、運転者に提供される。本実施形態において、垂直視差図作成部２１２、路面領域検出部２１３及び立体物領域検出部２１４は、立体物領域検出手段を構成する。
【００２５】
ここで、立体物領域検出部２１４において検出すべき検出対象物である立体物の検出精度を高めるためには、カメラ１０１Ａ，１０１Ｂの露光量を適切に調整することが必要となる。これは次の理由による。
【００２６】
立体物領域検出部２１４での検出処理は、上述したように、２つのカメラ１０１Ａ，１０１Ｂで撮像した撮像画像間の視差値に基づいて検出対象物である立体物を検出する。このような検出処理の検出精度は、立体物を映し出す画像部分について正確に算出された視差値の数（立体物領域を構成する視差画像上の画素数）の多さに依存する。視差値の算出は、上述したように、両撮像画像間の対応画像部分（撮像領域内の同一地点に対応した各画像上の画像部分）を正確に特定（マッチング）することが前提となる。マッチング処理は、例えば、マッチング対象とする対応画像部分を含む基準画像内の対象画像領域と同じ縦方向位置（画像垂直方向位置）である比較画像内の各画像領域（横方向位置（画像水平方向位置）が異なる画像領域）について、それぞれ、基準画像内の対象画像領域を構成する複数の画素値の配列との関係について相関演算を行う。そして、一定以上の相関が認められた比較画像内の画像領域の中で最も相関が高い画像領域を、基準画像内の対象画像領域に対応する対応画像領域であると特定する。これにより、両撮像画像間の対応画像部分が特定される。
【００２７】
ここで、立体物及びその近傍からの光を受光する受光素子の中でその受光量が当該受光素子の光量検出範囲の上限値である飽和値を超えているものが多い場合、これらの受光素子に対応する画素値はすべて飽和値を示すものとなってしまい、これらの受光素子間での画素値の違いが出なくなってしまう。この場合、マッチング対象とする基準画像内の対象画像領域を構成する画素値配列の特徴が希釈化され、正確なマッチング処理を行うことが困難となる。これにより、立体物を映し出す画像部分のマッチング処理ができず、その視差値が算出できかったり、また、立体物を映し出す画像部分のマッチング処理を誤ってしまい、誤った視差値を算出してしまったりするおそれがある。その結果、立体物を映し出す画像部分について、正確に算出された視差値の数（立体物領域を構成する視差画像上の画素数）が少なくなってしまい、立体物領域検出部２１４での検出処理の検出精度が悪化する。
なお、立体物及びその近傍からの光を受光する受光素子の中でその受光量が当該受光素子の光量検出範囲の下限値よりも低いものが多い場合も、同様に、立体物領域検出部２１４での検出処理の検出精度が悪化する。
【００２８】
そこで、本実施形態では、立体物領域検出部２１４での検出処理の検出精度を高めるために、立体物領域検出部２１４で検出される立体物領域を構成する画素（視差画像上の画素）の数が多くなるように、各カメラ１０１Ａ，１０１Ｂの露光量を調整する。具体的には、立体物及びその近傍からの光を受光する受光素子のうち、その受光量が光量検出範囲内に入る受光素子の数が増えるように、各カメラ１０１Ａ，１０１Ｂの露光量を調整する。このような露光量調整は、立体物画素数抽出部２１５及び露光量算出・制御部２１６によって行われる。
【００２９】
立体物画素数抽出部２１５は、露光量制御手段を構成し、立体物領域検出部２１４が検出した立体物領域を構成する画素（視差画像上の画素）の数を抽出する処理を行う。この抽出結果は、立体物画素数データとして、露光量算出・制御部２１６へ送られる。このとき、撮像画像（視差画像）全体を対象にして立体物画素数を抽出してもよいが、本実施形態では、例えば、図４（ｂ）に示すように、撮像画像（視差画像）を複数のエリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３に分けて、エリアごとに立体物画素数を抽出する。この場合、後述する露光量調整において、それぞれのエリアごとに適した露光量を個別に設定することが可能となる。
【００３０】
露光量算出・制御部２１６は、露光量制御手段を構成し、各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３の立体物画素数データが示す立体物画素数が増やすことができる露光量（露光時間やゲイン）をそれぞれ算出し、各露光量を次回以降の撮像動作時における露光量となるように、各カメラ１０１Ａ，１０１Ｂの設定を変更する。なお、ゲインとは、カメラ１０１Ａ，１０１Ｂの画像センサの受光素子で受光した受光量を示す信号の増幅率に対応する。本実施形態においては、エリアａｒｅａ１の立体物を検出するためのａｒｅａ１用画像、エリアａｒｅａ２の立体物を検出するためのａｒｅａ２用画像、エリアａｒｅａ３の立体物を検出するためのａｒｅａ３用画像を、順番に繰り返し連続して撮像する。算出される各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３の露光量は、それぞれに対応する画像を撮像する際の露光量としてそれぞれ設定される。
【００３１】
図５は、露光量算出・制御部２１６で実施される露光量制御の流れを示すフローチャートである。
露光量算出・制御部２１６は、立体物画素数抽出部２１５から各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３の立体物画素数データを受けたら、それぞれのエリアについて、以下の処理を実行する。まず、露光量算出・制御部２１６は、その立体物画素数Ｎｕｍ＿ｄが所定の範囲内（Ｎｍｉｎ＜Ｎｕｍ＿ｄ＜Ｎｍａｘ）であるか否かを判定する（Ｓ１）。この所定の範囲を決める最小画素数Ｎｍｉｎと最大画素数Ｎｍａｘは、解像度、検出対象物である立体物の種類などによって適宜決定される。この判断において、立体物画素数Ｎｕｍ＿ｄが所定の範囲内であると判断した場合には（Ｓ１のＹｅｓ）、各カメラ１０１Ａ，１０１Ｂの露光量を設定変更せずに終了する（Ｓ２）。
【００３２】
立体物画素数Ｎｕｍ＿ｄが所定の範囲外であると判断した場合には（Ｓ１のＮｏ）、現在設定されている露光量Ｅｘｐが所定の最小露光量Ｅｘｐｍｉｎよりも大きいか否かを判断する（Ｓ３）。この最小露光量Ｅｘｐｍｉｎは、各カメラ１０１Ａ，１０１Ｂの仕様や検出対象物である立体物の種類などによって適宜決定される。この判断において、現在の露光量Ｅｘｐが所定の最小露光量Ｅｘｐｍｉｎ以下であると判断した場合には（Ｓ３のＮｏ）、各カメラ１０１Ａ，１０１Ｂの露光量を、最小露光量Ｅｘｐｍｉｎに設定して終了する（Ｓ４）。
【００３３】
現在の露光量Ｅｘｐが所定の最小露光量Ｅｘｐｍｉｎよりも大きいと判断した場合には（Ｓ３のＹｅｓ）、次に、現在設定されている露光量Ｅｘｐが所定の最大露光量Ｅｘｐｍａｘよりも小さいか否かを判断する（Ｓ３）。この最大露光量Ｅｘｐｍａｘも、各カメラ１０１Ａ，１０１Ｂの仕様や検出対象物である立体物の種類などによって適宜決定される。この判断において、現在の露光量Ｅｘｐが所定の最大露光量Ｅｘｐｍａｘ以上であると判断した場合には（Ｓ５のＮｏ）、各カメラ１０１Ａ，１０１Ｂの露光量を、最大露光量Ｅｘｐｍａｘに設定して終了する（Ｓ６）。
【００３４】
現在の露光量Ｅｘｐが最大露光量Ｅｘｐｍａｘよりも小さいと判断した場合には（Ｓ５のＹｅｓ）、次に、立体物画素数Ｎｕｍ＿ｄが所定の最大画素数Ｎｍａｘよりも多いか否かを判断する（Ｓ７）。この判断において、立体物画素数Ｎｕｍ＿ｄが所定の最大画素数Ｎｍａｘよりも多いと判断した場合には（Ｓ７のＹｅｓ）、各カメラ１０１Ａ，１０１Ｂの露光量を、現在の露光量Ｅｘｐから所定の露光量ΔＥを差し引いた露光量に設定して終了する（Ｓ８）。一方、立体物画素数Ｎｕｍ＿ｄが所定の最大画素数Ｎｍａｘ以下であると判断した場合には（Ｓ７のＮｏ）、各カメラ１０１Ａ，１０１Ｂの露光量を、現在の露光量Ｅｘｐから所定の露光量ΔＥを加算した露光量に設定して終了する（Ｓ９）。
【００３５】
図６は、本実施形態における露光量制御に関するタイミングチャートである。
上述したように、エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３ごとの露光量を算出する処理は、それぞれ、最終ラインの水平同期信号がネゲートしてから、次の最初のラインの水平同期信号がアサートするまでの期間に、順番に行う。算出された露光量のデータは記憶手段としてのメモリに格納し、その後、露光量設定タイミングが到来する時期に、その露光量となるように各カメラの露光量を設定する。露光量設定タイミングは、当該露光量の算出時における垂直同期信号を１番目として、３番目の垂直同期信号の立ち上がりタイミングである。このようなタイミングで露光量算出、露光量設定を行うことで、カメラ１０１Ａ，１０１Ｂは、各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３用の画像を、それぞれに適した露光量で順次撮像することができる。
【００３６】
このように撮像される各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３用の画像は、上述した立体物領域検出部２１４での検出処理において、エリアごとの立体物領域の検出処理にそれぞれ用いられる。すなわち、ａｒｅａ１用画像の撮像時には、エリアａｒｅａ１に対応する範囲についてのみ立体物の検出処理を行い、ａｒｅａ２用画像の撮像時には、エリアａｒｅａ２に対応する範囲についてのみ立体物の検出処理を行い、ａｒｅａ３用画像の撮像時には、エリアａｒｅａ３に対応する範囲についてのみ立体物の検出処理を行う。カメラ１０１Ａ，１０１Ｂのフレームレートが例えば６０ＦＰＳである場合、３つのエリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３は、それぞれ２０ＦＰＳで立体物領域の検出処理が行われる。
【００３７】
〔変形例１〕
次に、本実施形態における立体物検出処理の一変形例（以下、本変形例を「変形例１」という。）について説明する。
図７は、本変形例１におけるステレオ画像処理部２１０の詳細を示す機能ブロック図である。
本変形例１におけるステレオ画像処理部２１０は、視差演算部２１１、垂直視差図作成部２１２、路面領域検出部２１３、立体物領域検出部２１４、立体物画素数抽出部２１５、露光量算出・制御部２１６のほか、白線検知部２１７と検出対象領域特定部２１８を備えている。
【００３８】
白線検知部２１７は、基準画像である補正画像データａ’（輝度画像データ）を使用して、撮像領域内の路面上に描かれた白線を映し出す白線領域を検知する白線検知処理を行う。検知された白線領域を示す白線情報は、検出対象領域特定部２１８に送られる。
【００３９】
検出対象領域特定部２１８は、白線検知部２１７から出力される白線情報に基づき、自車両４００が走行している自車走行レーンを映し出す自車走行領域を、検出対象領域として特定する処理を行う。２車線以上の道路については、自車走行領域のほか、その自車走行レーンに対して白線により区画されている他の走行レーンについても、検出対象領域として特定する。特定した検出対象領域を示す検出対象領域情報は、垂直視差図作成部２１２に送られる。
【００４０】
本変形例１における垂直視差図作成部２１２は、検出対象領域特定部２１８から検出対象領域情報を受け取った場合、視差画像の全体に対して垂直視差図を作成するのではなく、検出対象領域情報に対応する範囲のみについて垂直視差図を作成する。これにより、路面から大きく外れた場所に存在する、木、電柱、建物などの検出対象物ではない立体物の影響を少なくできる。その結果、路面上又はその近傍に存在する先行車両、対向車両、歩行者、ガードレールなどの検出対象物である立体物の検出精度を高めることができる。
【００４１】
〔変形例２〕
次に、本実施形態における立体物検出処理の他の変形例（以下、本変形例を「変形例２」という。）について説明する。
図８は、本変形例２におけるステレオ画像処理部２１０の詳細を示す機能ブロック図である。
本変形例２では、カメラ１０１Ａが出力する基準画像である補正画像データａ’（輝度画像データ）を、視差画像データ、路面領域データ、立体物領域データとともに、後段の認識処理部２２０へ出力する。これによれば、例えば、認識処理部２２０において、視差画像データを補う情報として、補正画像データａ’を用いることができる。
【００４２】
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
露光量情報を記憶するメモリ等の記憶手段と、上記記憶手段に記憶された露光量情報が示す露光量で撮像領域を撮像するカメラ１０１Ａ，１０１Ｂ等の複数の撮像部と、上記複数の撮像部によって撮像した複数の撮像画像ａ，ｂに基づいて視差情報を生成する視差演算部２１１等の視差情報生成手段と、対象立体物Ａ，Ｂ，Ｃを映し出す画像部分の視差値分布の特徴（垂直視差図において上方へ向かっても視差値がほとんど変わらない状態で密集するという特徴）を示す視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に対応する画像部分を、上記撮像領域内に存在する対象立体物を映し出す立体物領域として検出する垂直視差図作成部２１２、路面領域検出部２１３及び立体物領域検出部２１４等の立体物領域検出手段と、上記立体物領域検出手段により抽出される視差値群に含まれる視差値の数を増やす露光量を決定し、決定した露光量を示す露光量情報を上記記憶手段に記憶する立体物画素数抽出部２１５及び露光量算出・制御部２１６等の露光量制御手段とを有することを特徴とする。
これによれば、立体物領域検出のために抽出される視差値群に含まれる視差値の数を増やすことができるので、立体物領域の検出精度を高めることができる。
【００４３】
（態様Ｂ）
上記態様Ａにおいて、上記視差値分布特徴情報は、縦軸に画像垂直座標をとりかつ横軸に視差値をとった垂直視差図上で、上記視差情報から得られる各視差値を分布させたときに、垂直視差図上下方向に延びる線分の近傍に分布するという特徴を示すものであることを特徴とする。
これによれば、様々な立体物についての立体物領域を高い精度で検出することが可能となる。
【００４４】
（態様Ｃ）
上記態様Ａ又はＢにおいて、上記露光量制御手段は、上記立体物領域検出手段により抽出された視差値群に含まれる視差値の数が最小画素数Ｎｍｉｎ等の所定の最小値以上となるように露光量を決定することを特徴とする。
これによれば、当該最小値以上の視差値の数を安定して抽出することが可能となり、立体物領域の安定した検出が可能となる。
【００４５】
（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記立体物領域検出手段は、上記複数の撮像部からの距離に応じて区分した複数のエリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３ごとに上記視差値分布特徴情報に当てはまる視差値群を抽出し、該複数のエリアごとに対象立体物を映し出す立体物領域を検出することを特徴とする。
同じ対象立体物であっても、撮像部からの距離が遠いほど、その対象立体物を映し出す画像部分に対応する視差値の絶対数は少なくなる。撮像部からの距離に応じて区分された複数のエリアごとに立体物領域を検出すれば、より適切に立体物領域の検出を行うことが可能となる。
【００４６】
（態様Ｅ）
上記態様Ｄにおいて、上記露光量制御手段は、上記立体物領域検出手段により抽出される各エリアａｒｅａ１，ａｒｅａ２，ａｒｅａ３の視差値群に含まれる視差値の数を増やす露光量を上記複数のエリアごとに決定し、決定した露光量を示す露光量情報を上記記憶手段に記憶し、上記複数の撮像部は、上記記憶手段に記憶されたエリアごとの露光量情報が示す露光量を順次用いて撮像することを特徴とする。
これによれば、撮像部からの距離に応じて区分された複数のエリアごとに適した露光量で撮像した撮像画像に基づいて各エリアの立体物領域を検出することができる。よって、各エリアの立体物領域の検出精度が高まり、画像全体として、立体物領域の検出精度を高めることができる。
【００４７】
（態様Ｆ）
上記態様Ａ〜Ｅのいずれかの態様において、上記立体物領域検出手段による立体物領域の検出結果と、上記視差情報生成手段が生成する視差情報及び上記複数の撮像部が撮像した撮像画像に基づく輝度情報の少なくとも一方の情報とを用いて、該立体物領域に映し出されている対象立体物を認識する認識処理部２２０等の認識手段を有することを特徴とする。
これによれば、立体物領域の検出精度が高いので、その立体物領域に映し出されている立体物を高い精度で認識できる。
【００４８】
（態様Ｇ）
露光量情報を記憶する記憶手段と、上記記憶手段に記憶された露光量情報が示す露光量で撮像領域を撮像する複数の撮像部とを備えた撮像装置のコンピュータを動作させる立体物領域検出用プログラムであって、上記複数の撮像部によって撮像した複数の撮像画像に基づいて視差情報を生成する視差情報生成手段と、対象立体物を映し出す画像部分の視差値分布の特徴を示す視差値分布特徴情報に当てはまる視差値群を上記視差情報から抽出し、抽出した視差値群に対応する画像部分を、上記撮像領域内に存在する対象立体物を映し出す立体物領域として検出する立体物領域検出手段と、上記立体物領域検出手段により抽出される視差値群に含まれる視差値の数を増やす露光量を決定し、決定した露光量を示す露光量情報を上記記憶手段に記憶する露光量制御手段として、上記コンピュータを機能させることを特徴とする。
これによれば、立体物領域検出のために抽出される視差値群に含まれる視差値の数を増やすことができるので、立体物領域の検出精度を高めることができる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。
【符号の説明】
【００４９】
１００  カメラ部
１０１Ａ，１０１Ｂ  カメラ
１０５  フロントガラス
１１０  画像補正部
２００  画像処理部
２１０  ステレオ画像処理部
２１１  視差演算部
２１２  垂直視差図作成部
２１３  路面領域検出部
２１４  立体物領域検出部
２１５  立体物画素数抽出部
２１６  露光量算出・制御部
２１７  白線検知部
２１８  検出対象領域特定部
２２０  認識処理部
３００  表示部
４００  自車両
【先行技術文献】
【特許文献】
【００５０】
【特許文献１】特開２０１２−５８１８８号公報
【図１】
2014130429.tif 000003
【図２】
2014130429.tif 000004
【図３】
2014130429.tif 000005
【図５】
2014130429.tif 000006
【図６】
2014130429.tif 000007
【図７】
2014130429.tif 000008
【図８】
2014130429.tif 000009
【図４】
2014130429.tif 000010