(57)【特許請求の範囲】
【請求項１】
複数のカメラで同一の対象物を同時に撮像した画像に基づいて前記対象物までの距離を算出する撮像装置であって、
各画像上にそれぞれ処理領域を設定する処理領域設定手段と、
該処理領域設定手段により設定された各画像の処理領域の鮮鋭度を均一にする鮮鋭度均一化手段と、
該鮮鋭度均一化手段により鮮鋭度が均一化された処理領域を、均一化された鮮鋭度に応じた比率で収縮処理する画像収縮手段と、
該画像収縮手段により収縮処理された各画像の処理領域から視差を算出する視差算出手段と、
該視差算出手段により算出された視差に基づいて前記対象物までの距離を算出する距離算出手段と、
を有し、
前記処理領域設定手段は、撮像された複数の画像をそれぞれ縦方向に分割して光軸を含む中央の処理領域とその上下の処理領域とを設定し、
前記鮮鋭度均一化手段は、前記中央の処理領域の鮮鋭度を前記上下の処理領域の鮮鋭度よりも高くなるように均一化し、
前記画像収縮手段は、前記中央の処理領域よりも前記上下の処理領域の収縮率を大きく設定し、
前記視差算出手段は、前記中央の処理領域の視差画像と前記上下の処理領域の視差画像を算出し、前記中央の処理領域の視差画像と横方向の画素数が一致するように前記上下の処理領域の視差画像を膨張処理し、前記中央の処理領域の視差画像と膨張処理後の前記上下の処理領域の視差画像とを結合して一つの視差画像を作成する
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮像された画像を用いて対象物までの距離を算出する撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、距離画像をもとに左右の取得画像から遠距離領域と近距離領域を抽出して、遠距離領域を高解像度に、近距離領域を低解像度に幾何補正して視差を算出し、距離精度を低下させることなく処理負荷を低減する技術が示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１２６０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
広角レンズを用いたステレオカメラの場合、各画像の上部領域及び下部領域では、端部の鮮鋭度（画像の明瞭さ、ｓｈａｒｐｎｅｓｓ）が中央領域よりも大きく低下する。したがって、特許文献１に示す技術のように解像度を補正しても、画像の中央部領域と中央領域に対する左右の領域との間で鮮鋭度が異なっているので、視差算出における画像マッチングにおいて鮮鋭度の違いによるミスマッチングが生じてしまい、対応位置ではないとの誤判定がなされるおそれがある。
【０００５】
本発明の課題は、視差算出における画像マッチングで、鮮鋭度の違いによるミスマッチングを防ぐ撮像装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明の撮像装置は、複数のカメラで同一の対象物を同時に撮像した画像に基づいて前記対象物までの距離を算出する撮像装置であって、各画像上にそれぞれ処理領域を設定する処理領域設定手段と、該処理領域設定手段により設定された各画像の処理領域の鮮鋭度を均一にする鮮鋭度均一化手段と、該鮮鋭度均一化手段により鮮鋭度が均一化された各画像の処理領域から視差を算出する視差算出手段と、該視差算出手段により算出された視差に基づいて前記対象物までの距離を算出する距離算出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数のカメラで同時に撮像した各画像の対象物認識領域における鮮鋭度を互いに均一化することにより、視差算出における画像マッチングにおけるミスマッチングを防ぐことができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００８】
【図１】本発明の撮像装置の一実施例の構成を示す図。
【図２】撮像装置の動作を説明するフロー図。
【図３】基準画像及び比較画像を示す図。
【図４】ガウシアンフィルタのフィルタ係数を示す図。
【図５】アンシャープマスクフィルタのフィルタ係数を示す図。
【図６】基準画像及び比較画像における鮮鋭度の指標が示されている複数の箇所の例を示す図。
【図７】基準画像及び比較画像における鮮鋭度の指標の例を示す図。
【図８】基準画像及び比較画像における処理領域の例を示す図。
【発明を実施するための形態】
【０００９】
図１は、本発明の撮像装置の一実施例の構成を示す図である。
本実施例の撮像装置１は、例えば車両に搭載されるステレオカメラであり、それぞれ車両前方を撮像する左右一対の撮像系手段１００ａ、１００ｂと、演算手段１１０と、画面音声出力手段１３０と、制御手段１４０とを備えている。
【００１０】
撮像装置１は、撮像系手段１００ａ、１００ｂで車両前方を同時に撮像し、演算手段１１０で、各画像を用いて視差を求め、視差に基づいて車両から前方の対象物までの距離を算出する。そして、画面音声出力手段１３０で車内モニタやスピーカ等から警告表示や音声メッセージを流し、制御手段１４０でブレーキ制御等の車両制御を行う。
【００１１】
左右の撮像系手段１００ａ、１００ｂは、基線長だけ左右に離れて設定されているので、車両前方を同時に撮像した左右の画像は、同じ対象物の位置が互いに左右にずれて撮像されている。すなわち、左右一対の画像は、同じ対象物を撮像したものであっても画像上の位置は左右にずれている。撮像系手段１００ａ、１００ｂは、光軸を含む画面中央領域から左右の画面側方領域に移行するにしたがって鮮鋭度が低下する。したがって、左右一対の画像において同じ対象物を撮像した撮像領域の鮮鋭度は左右で異なっている可能性が高く、鮮鋭度が異なっている状態のままでマッチングを行うと、マッチングミスを生ずるおそれがある。本実施例はそのような課題に鑑みてなされたものであり、左右で異なっている鮮鋭度を均一化してからマッチングを行い、鮮鋭度の相違によるマッチングミスの発生を防いでいる。
【００１２】
以下に、本実施例における撮像装置１の詳細な構成について説明する。
カメラなどの撮像系手段１００ａ、１００ｂは、光学素子手段１０１ａ、１０１ｂと、シャッタ手段１０２ａ、１０２ｂと、撮像素子手段１０３ａ、１０３ｂとを備えている。レンズなどの光学素子手段１０１ａ、１０１ｂは、光を屈折させて、撮像素子に像を結ぶ構造を有する。シャッタなどのシャッタ手段１０２ａ、１０２ｂは、光学素子手段１０１ａ、１０１ｂを通過した光が通る箇所に設置され、撮影時の露光時間中のみ、その光が通るようにシャッタを開き、それ以外のときは光をさえぎるようにシャッタを閉じる機構を有する。
【００１３】
撮像素子などの撮像素子手段１０３ａ、１０３ｂは、光学素子手段１０１ａ、１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。撮像系手段１００ａと撮像系手段１００ｂの焦点距離の設計値は同じである。そして、撮像系手段１００ａと撮像系手段１００ｂの光軸の方向は、おおむね同じである。
【００１４】
演算手段１１０は、ＣＰＵ（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、中央演算処理装置）及びメモリなどから構成されており、内部機能として、同期信号発信手段１１７と、基準画像取込手段１１８ａと、比較画像取込手段１１８ｂと、処理領域設定手段１１９と、輝度補正手段１２０と、幾何補正手段１２１と、鮮鋭度算出手段１２２と、鮮鋭度均一化手段１２３と、画像収縮手段１２４と、視差算出手段１２５と、距離算出手段１２６と、認識手段１２７を備えている。
【００１５】
そして、演算手段１１０は、メモリやハードディスクによって構成された基準画像記憶手段１１１と、比較画像記憶手段１１２と、処理画像記憶手段１１３と、輝度補正情報記憶手段１１４と、鮮鋭度情報記憶手段１１５、幾何補正情報記憶手段１１６を備えている。
【００１６】
基準画像記憶手段１１１は、撮像系手段１００ａで撮影された画像を記憶する。視差算出において、基準画像記憶手段１１１に記憶されている画像からテンプレート画像が切り出されるため、この画像が基準画像となる。
【００１７】
比較画像記憶手段１１２は、撮像系手段１００ｂで撮影された画像を記憶する。視差算出において、比較画像記憶手段１１２に記憶されている画像をテンプレート画像で探索するため、この画像が比較画像となる。
【００１８】
処理画像記憶手段１１３は、演算手段１１０の各手段でそれぞれ処理され、生成された画像を記憶する。
【００１９】
輝度補正情報記憶手段１１４は、撮像系手段１００ａ及び撮像系手段１００ｂの画像（基準画像及び比較画像）における各画素の輝度の補正係数を記憶する。この補正係数は、均一なライトや対象物を撮影したときの基準画像及び比較画像の輝度が画像全面でほぼ同じになる値である。
【００２０】
鮮鋭度情報記憶手段１１５は、基準画像６０１及び比較画像６０２における複数の所定の箇所６０３及び６０４での鮮鋭度の指標の値を記憶している。ここで、複数の所定の箇所６０３及び６０４の位置を図６に示す。また、鮮鋭度情報記憶手段１１５は、鮮鋭度算出手段１２２で算出された基準画像及び比較画像における各画素の鮮鋭度の指標の値を記憶している。鮮鋭度の指標の値は、撮像系手段１００ａ及び１００ｂから所定の距離にある対象物における値である。
【００２１】
鮮鋭度とは、画像の明瞭さ（sharpness）を表す指標の一つである。なお、解像度（resolution）とは、どれだけ細かいものを分解できるかを表しているものであり、鮮鋭度とは定義が異なる。鮮鋭度を表す指標として、レスポンス関数（modulation transfer function：MTF，変調伝達関数，振幅伝達関数）などがある。他に、点広がり関数（point spread function：PSF）、線広がり関数（line spread function：LSF）がある。
【００２２】
本実施の形態では、鮮鋭度を表す指標としてＭＴＦを用いる。ＭＴＦは、空間分解能を表す定量的尺度の解像特性指標を指し、各空間周波数に対するレスポンスを表す関数である。
【００２３】
幾何補正情報記憶手段１１６は、撮像系手段１００ａ及び撮像系手段１００ｂの画像（基準画像及び比較画像）における各画素の幾何の補正量を記憶する。この補正量は、光学素子手段１０１ａ及び光学素子手段１０１ｂの歪、撮像系手段１００ａ及び撮像系手段１００ｂの焦点距離の誤差、画像上の光軸位置の誤差及び取付誤差が０であるときの画像に補正する値である。
【００２４】
同期信号発信手段１１７は、同期信号を生成し、基準画像取込手段１１８ａと比較画像取込手段１１８ｂに発信する。基準画像取込手段１１８ａは、同期信号発信手段１１７の同期信号に合わせて、撮像系手段１００ａのシャッタ手段１０２ａにシャッタを開けるという信号を送るとともに、撮像素子手段１０３ａが生成する画像を取得する。比較画像取込手段１１８ｂは、同期信号発信手段１１７の同期信号に合わせて、撮像系手段１００ｂのシャッタ手段１０２ｂにシャッタを開けるという信号を送るとともに、撮像素子手段１０３ｂが生成する画像を取得する。したがって、基準画像取込手段１１８ａと比較画像取込手段１１８ｂでは、撮像系手段１００ａ、１００ｂにより同時撮像された画像が取り込まれる。
【００２５】
鮮鋭度算出手段１２２は、鮮鋭度情報記憶手段１１５から基準画像６０１及び比較画像６０２上の複数の所定の箇所６０３及び６０４（図６）におけるＭＴＦの値を読み込む。各画素について近い4箇所のＭＴＦの値をもとに内挿補間あるいは外挿補間で各画素のＭＴＦを算出する。
【００２６】
処理領域設定手段１１９は、基準画像及び比較画像上で輝度補正、幾何補正及び視差算出を行う処理領域を設定する。ここでは、基準画像と比較画像における処理領域を予め設定する。
【００２７】
輝度補正手段１２０は、輝度補正情報記憶手段１１４から各画素の輝度の補正係数を読み込み、基準画像及び比較画像の処理領域の輝度を補正する。
【００２８】
幾何補正手段１２１は、幾何補正情報記憶手段１１６から各画素の幾何の２次元補正量を読み込み、基準画像及び比較画像の処理領域に幾何学的に補正し、像の形状を補正する。
【００２９】
鮮鋭度均一化手段１２３は、基準画像の処理領域における鮮鋭度と比較画像の処理領域（全面）における鮮鋭度とを均一にする処理を行う。鮮鋭度の均一化では、基準画像と比較画像の処理領域のうちで最も低い鮮鋭度になるように、両方の処理領域についてぼかしフィルタ処理を行う。
【００３０】
画像収縮手段１２４は、鮮鋭度均一化手段１２３により均一化した処理領域のＭＴＦの値に応じて、解像度を算出して、その解像度になるように基準画像及び比較画像の処理領域において収縮処理を行う。画像の鮮鋭度が低いほど、視差の検出ばらつきが大きくなる。このため、画像の鮮鋭度が低いほど、画像の収縮率を大きくする。
【００３１】
視差算出手段１２５は、基準画像上から抽出した所定のサイズの領域（テンプレート画像）に対応する比較画像上の領域を探索する。テンプレート画像と一致する比較画像上の領域の位置と、基準画像上のテンプレート画像の位置の差すなわち視差を算出する。各画素について視差を算出することにより、視差画像を算出する。
【００３２】
距離算出手段１２６は、視差算出手段１２５が算出した視差、撮像系手段１００ａと撮像系手段１００ｂの焦点の距離（基線長）、焦点距離及び画素ピッチ（撮像素子手段１０３ａ及び１０３ｂの画素間の距離）をもとに、撮像系手段１００ａ及び撮像系手段１００ｂの光軸方向に撮像装置１から画像上の対象物までの距離を算出する。各画素について距離を算出することにより、距離画像を算出する。
【００３３】
認識手段１２７は、基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、撮像装置１に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、撮像装置１に対する３次元の相対位置座標系は、撮像系手段１００ａと撮像系手段１００ｂの焦点間の中点を原点として、撮像系手段１００ａ及び撮像系手段１００ｂに対して右方向にｘ座標、上方向にｙ座標、光軸方向にｚ座標をとる。また、撮像装置１と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。撮像装置１と対象物の相対位置、相対速度、衝突判定結果及び衝突時間の情報を、画面音声出力手段１３０及び制御手段１４０に送る。
【００３４】
モニタ及びスピーカなどの画面音声出力手段１３０は、基準画像、あるいは、視差画像、距離画像を画面に表示する。また、対象物の位置に枠あるいはマーカを表示する。このとき、認識手段１２７からの衝突判定結果が衝突するという判定である対象物の枠あるいはマーカの色を、衝突しない対象物と異なるものとする。認識手段１２７からの衝突判定結果が衝突するという判定である対象物がある場合、警告音を出力する。
【００３５】
ＣＰＵなどの制御手段１４０は、撮像装置１と対象物の相対位置、相対速度、衝突時間及び衝突判定結果をもとに制御信号を生成して、撮像装置の外部に出力する。
【００３６】
図１に示す本発明の撮像装置１の一実施例の動作手順を、図２のフローチャートを用いて説明する。
【００３７】
ステップＳ２０１では、基準画像及び比較画像の取り込み処理が行われる。まず、同期信号発信手段１１７により同期信号が生成され、基準画像取込手段１１８ａ及び比較画像取込手段１１８ｂに送られる。
【００３８】
基準画像取込手段１１８ａは、同期信号発信手段１１７からの同期信号を受け取った直後に、シャッタ手段１０２ａにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ａは、基準画像取込手段１１８ａからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子手段１０３ａは、光学素子手段１０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、基準画像取込手段１１８ａに画像を送る。基準画像取込手段１１８ａは、撮像素子手段１０３ａから画像を受け取り、基準画像記憶手段１１１に格納する。
【００３９】
比較画像取込手段１１８ｂは、同期信号発信手段１１７からの同期信号を受け取った直後に、シャッタ手段１０２ｂにシャッタ開閉信号及び露光時間の情報を送る。シャッタ手段１０２ｂは、比較画像取込手段１１８ｂからのシャッタ開閉信号及び露光時間の情報を受け取った直後に、シャッタの機構を露光時間だけ開き、その後、閉じる。撮像素子手段１０３ｂは、光学素子手段１０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成して、比較画像取込手段１１８ｂに画像を送る。比較画像取込手段１１８ｂは、撮像素子手段１０３ｂから画像を受け取り、比較画像記憶手段１１２に格納する。
【００４０】
ステップＳ２０２では、基準画像及び比較画像上の鮮鋭度の算出処理が行われる。鮮鋭度算出手段１２２は、鮮鋭度情報記憶手段１１５から基準画像６０１及び比較画像６０２上の複数の所定の箇所６０３及び６０４（図６）におけるＭＴＦの値を読み込む。各画素について近い4箇所のＭＴＦの値をもとに内挿補間あるいは外挿補間で各画素のＭＴＦを算出する。鮮鋭度算出手段１２２は、基準画像及び比較画像の各画素のＭＴＦの値を鮮鋭度情報記憶手段１１５に格納する。図７は基準画像及び比較画像上のＭＴＦの値を濃淡で表したものであり、白色がＭＴＦの値が大きく、黒色がＭＴＦの値が小さい。
【００４１】
ステップＳ２０３では、処理領域の設定処理が行われる。処理領域設定手段１１９は、基準画像と比較画像において予め定められた領域をそれぞれ処理領域として設定する。
【００４２】
ステップＳ２０４では、基準画像と比較画像の輝度補正が行われる。輝度補正手段１２０は、輝度補正情報記憶手段１１４から撮像素子手段１０３ａ及び撮像素子手段１０３ｂの画像における各画素の補正係数を読み込み、基準画像記憶手段１１１及び比較画像記憶手段１１２からそれぞれ基準画像及び比較画像を読み込む。基準画像の処理領域の各画素の輝度値に各画素の補正係数を掛け合わせて、基準画像の処理領域の輝度値を補正する。同様に、比較画像の処理領域の各画素の輝度値に各画素の補正係数を掛け合わせて、比較画像の処理領域の輝度値を補正する。補正した基準画像及び比較画像の処理領域をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
【００４３】
ステップＳ２０５では、処理領域の鮮鋭度の均一化処理が行われる。鮮鋭度均一化手段１２３は、鮮鋭度情報記憶手段１１５から基準画像及び比較画像の各画素のＭＴＦの値を読み込み、基準画像記憶手段１１１及び比較画像記憶手段１１２からそれぞれ基準画像及び比較画像の処理領域を読み込む。基準画像と比較画像の両方の処理領域でのＭＴＦの最小値を探索する。基準画像及び比較画像の各画素について、ＭＴＦの最小値を各画素のＭＴＦの値で割ったものをＭＴＦの変化率とする。表１に示すＭＴＦ変化率に対応した適用フィルタを用いて、各画素について画像処理を実施する。適用フィルタであるガウシアンフィルタは、重み付き平均化フィルタであり、フィルタ中央の要素に大きな重みがあり、中央からの距離が離れるほど、小さな重みを設定している。図４は、サイズ３×３及び５×５のガウシアンフィルタのフィルタ係数を示す図である。
【００４４】
【表１】
0006263461.tif 000002
【００４５】
例えば、ＭＴＦの値０．８をＭＴＦの最小値０．６に低下させる場合、ＭＴＦ変化率は７５％（＝０．６／０．８）である。このとき、ＭＴＦ変化率が０．６５６〜０．８７５の範囲に入るため、その画素では、図４に示す３×３のガウシアンフィルタを用いて、ＭＴＦの値を低下させる。
【００４６】
鮮鋭度均一化手段１２３は、鮮鋭度を均一化した基準画像及び比較画像の処理領域をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
【００４７】
ステップＳ２０６では、基準画像及び比較画像の幾何補正が行われる。幾何補正手段１２１は、幾何補正情報記憶手段１１６から撮像素子手段１０３ａ及び撮像素子手段１０３ｂの画像における各画素の幾何の２次元補正量を読み込み、基準画像記憶手段１１１及び比較画像記憶手段１１２からそれぞれ基準画像及び比較画像を読み込む。そして、基準画像の処理領域の各画素から２次元補正量を変化させた基準画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を基準画像上の処理領域全ての画素について実施する。同様に、比較画像の処理領域の各画素から２次元補正量を変化させた比較画像上の位置を算出して、その位置周辺の画素の輝度値から補間計算によりその位置の輝度値を算出する。この計算を比較画像上の処理領域全ての画素について実施する。補正した基準画像及び比較画像の処理領域をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
【００４８】
ステップＳ２０７では、基準画像及び比較画像の処理領域において画像収縮処理が行われる。画像収縮手段１２４は、基準画像記憶手段１１１及び比較画像記憶手段１１２から基準画像及び比較画像の処理領域を読み込む。鮮鋭度均一化手段１２３により均一化された処理領域のＭＴＦの値に応じて、解像度を算出して、その解像度になるように基準画像及び比較画像の処理領域において収縮処理を行う。均一化した処理領域の鮮鋭度が低いほど、処理領域の収縮率を大きくする。処理した基準画像及び比較画像の処理領域をそれぞれ基準画像記憶手段１１１及び比較画像記憶手段１１２に格納する。
【００４９】
ステップＳ２０８では、視差の算出処理が行われる。視差算出手段１２５は、図３に示すように、基準画像３０１の処理領域３０３上の所定のサイズの領域の画像３０５（テンプレート画像）を抽出する。そして、比較画像３０２の処理領域３０４上でテンプレート画像３０５と同じ対象物が写っている領域の画像を、以下のテンプレートマッチングで探索する。
【００５０】
テンプレートマッチングでは、比較画像３０２の処理領域３０４上の所定のサイズの領域の画像３０６を抽出して、基準画像３０１の処理領域３０３上のテンプレート画像３０５の輝度値と比較画像３０２の処理領域３０４上の所定のサイズの領域の画像３０６の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を、比較画像３０２の処理領域３０４上の各領域の画像３０６について算出する。
【００５１】
そして、最も小さい値の比較画像３０２の処理領域３０４上の領域の画像３０６とテンプレート画像３０５の領域の距離、すなわち、視差を算出する。この処理を基準画像３０１上の全ての領域について実施して、基準画像３０１の処理領域３０３の全体での視差を算出する。このようにして算出した視差画像を処理画像記憶手段１１３に格納する。
【００５２】
ステップＳ２０９では、距離の算出処理が行われる。距離算出手段１２６は、処理画像記憶手段１１３から視差画像を読み込む。そして、下記の式（１）を用いて、基準画像の処理領域上の各領域の画像３０５に写っている像と撮像装置１との光軸方向の距離Ｌを算出する。
Ｌ＝ｆ×Ｂ／（ｄ×ｃ）  …（１）
【００５３】
ここで、ｆは撮像系手段１００ａ及び撮像系手段１００ｂの焦点距離、Ｂは撮像系手段１００ａと撮像系手段１００ｂの焦点の距離（基線長）、ｄは視差、ｃは撮像素子手段１０３ａ及び撮像素子手段１０３ｂの画素ピッチである。
【００５４】
この算出処理を基準画像の処理領域上の全ての領域について実施して、基準画像の処理領域全体における各像と撮像装置１との光軸方向の距離を算出する。このようにして算出した距離画像を処理画像記憶手段１１３に格納する。
【００５５】
ステップＳ２１０では、対象物の認識処理が行われる。認識手段１２７は、基準画像記憶手段１１１から基準画像を、処理画像記憶手段１１３から距離画像を読み込む。そこで、基準画像の処理画像上の消失点の位置の算出、自動車や歩行者などの対象物の判定、撮像装置に対する対象物の相対位置及び相対速度の算出、対象物と撮像装置との衝突判定を行う。
【００５６】
先ず、認識手段１２７は、基準画像上の消失点の位置の算出を以下の手順で実施する。基準画像上の車線の境界にある両側の白線を検出して、基準画像上の白線の傾きを算出する。両側の白線が直線であるとして、算出した傾きにより、両側の白線が交わる点の基準画像上の位置を算出する。これが消失点の位置である。
【００５７】
次に、認識手段１２７は、自動車や歩行者などの対象物の検出を以下の手順で実施する。距離画像において、距離が所定の範囲内にある画素が連結している領域を求める。所定の範囲の例として、５〜１０ｍ、７．５〜１２．５ｍ、１０〜１５ｍなどと幅５ｍで２．５ｍごとに範囲が重複する複数の範囲を設定する。距離が所定の範囲内にある画素が連結している各領域の基準画像上の縦及び横方向の長さを求める。
【００５８】
各領域の基準画像上の縦方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域の３次元の縦方向の長さを算出する。同様に、各領域の基準画像上の横方向の長さ、距離と画素ピッチをかけた値を焦点距離で割って、各領域の３次元の横方向の長さを算出する。以下の式（２）を用いて、各領域の地面に関する基準画像上の縦方向の位置Ｖｇを近似的に算出する。
Ｖｇ＝Ｖｖ−ｆ×Ｈｉ／（Ｌｒ×ｃ）  …（２）
【００５９】
ここで、Ｖｖは消失点の高さ、Ｈｉは撮像装置の取付高さ、Ｌｒは領域の平均距離である。また、撮像系手段１００ａ及び撮像系手段１００ｂの光軸はおおむね水平方向であるという仮定を設定したときの計算式である。
【００６０】
領域の３次元の縦及び横方向の長さが自動車の所定の範囲内であり、かつ、領域の下限の基準画像上の縦方向の位置と、式（２）で算出した領域の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域の対象物は自動車であると判定する。同様に、領域の３次元の縦及び横方向の長さが歩行者の所定の範囲内であり、かつ、領域の下限の基準画像上の縦方向の位置と、式（２）で算出した領域の地面の基準画像上の縦方向の位置の差が閾値以内である場合、領域の対象物は歩行者であると判定する。これらの処理を全ての領域について実施して、自動車、歩行者であるかを判定する。
【００６１】
次に、撮像装置に対する対象物の相対位置及び相対速度の算出を以下の手順で実施する。自動車あるいは歩行者と判定された領域について、以下の式（３）〜式（５）を用いて、撮像装置に対する対象物の相対位置（Ｘｏ、Ｙｏ、Ｚｏ）を算出する。ここで、（Ｕｏ、Ｖｏ）は自動車あるいは歩行者と判定された領域の中央に関する基準画像上の位置である。
Ｘｏ＝Ｌｒ×ｃ×Ｕｏ／ｆ  …（３）
Ｙｏ＝Ｈ＋Ｌｒ×ｃ×（Ｖｏ−Ｖｖ）／ｆ  …（４）
Ｚｏ＝Ｌｒ  …（５）
【００６２】
ステップＳ２０１〜Ｓ２０９の処理は、所定の周期で繰り返し実施される。前回と今回の処理のステップＳ２０６で検出された領域の基準画像上の位置の差が閾値以内である場合、同じ対象物であると判定して、今回の処理で算出された撮像装置１に対する対象物の相対位置から、前回の処理のステップＳ２０６で算出された相対位置を引いた値を、ステップＳ２０１〜Ｓ２０９の処理周期の時間間隔で割って、撮像装置に対する対象物の相対速度（Ｖｘ、Ｖｙ、Ｖｚ）を算出する。
【００６３】
最後に、対象物と撮像装置１との衝突判定を以下の手順で実施する。撮像装置１に対する対象物の相対速度Ｖｚが０以上である場合、自動車あるいは歩行者と判定された領域の対象物に衝突しないと判定する。撮像装置１に対する対象物の相対速度Ｖｚが負である場合、今回の処理で算出した撮像装置１に対する対象物の相対位置Ｚｏを、撮像装置１に対する対象物の相対速度Ｖｚの絶対値で割り、衝突までの時間（衝突時間）を算出する。また、撮像装置１に対する対象物の相対速度Ｖｘに衝突時間をかけた値に対象物の相対位置Ｘｏを足して、衝突時における撮像装置１に対する対象物の相対位置Ｘｏを算出する。そこで、撮像装置１に対する対象物の相対速度Ｖｚが負であり、かつ、衝突時間が閾値以内であり、かつ、衝突時における撮像装置１に対する対象物の相対位置Ｘｏの絶対値が閾値内である場合、自動車あるいは歩行者と判定された領域の対象物に衝突すると判定する。それ以外の場合、衝突しないと判定する。認識手段１２７は、自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置１に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を画面音声出力手段１３０及び制御手段１４０に送る。
【００６４】
ステップＳ２１１では、画面及び音声の出力処理が行われる。画面音声出力手段１３０は、認識手段１２７から自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。そして、基準画像記憶手段１１１から基準画像を読み込む。そして、画面に基準画像を表示し、自動車あるいは歩行者と判定された領域を枠として表示する。また、衝突判定結果が衝突するという判定結果である領域の枠の色を衝突しないという判定結果の対象物の領域の枠の色と変えて、画面に表示する。領域の中に、衝突判定結果が衝突するという判定結果がある場合、警告音を出力する。
【００６５】
ステップＳ２１２では、制御信号の生成及び出力が行われる。制御手段１４０は、認識手段１２７から自動車あるいは歩行者と判定された領域に関する基準画像上の四隅の位置、撮像装置１に対する対象物の相対位置及び相対速度、衝突判定結果及び衝突時間を受け取る。自動車あるいは歩行者と判定された領域の中に、衝突判定結果が衝突するという判定結果がある場合、衝突を回避する制御信号を生成して、撮像装置１の外部に出力する。
【００６６】
広角レンズを用いたステレオカメラの場合、各画像の上部領域及び下部領域では、端部の鮮鋭度が中央領域よりも大きく低下する。したがって、従来技術で解像度を補正しても、画像の中央部領域と中央領域に対する左右の領域との間で鮮鋭度が異なっているため、視差算出における画像マッチングで、テンプレート画像と被探索画像の鮮鋭度が大きく異なると、輝度変化がある箇所の輝度が大きく異なり、対応する領域のＳＡＤの値が大きくなる。このため、他の領域のＳＡＤ値よりも大きくなるケースが現れ、ミスマッチングを発生する。
【００６７】
そこで、図１に示す本発明の撮像装置の一実施例の動作手順（図２）によれば、ステップＳ２０６で基準画像及び比較画像の処理領域の一致するようにぼかしフィルタ処理を行うことにより、基準画像及び比較画像の処理領域内の鮮鋭度が均一化され、収縮テンプレート画像と被探索画像の鮮鋭度の違いによる輝度値の違いが小さくなり、ミスマッチングを防ぐことができる。
【００６８】
また、ミスマッチングを防ぐことにより、ステップＳ２１０において、距離画像を用いた対象物の認識の精度が向上する。また、対象物の認識精度の向上により、ステップＳ２１１で、画面音声出力手段１３０が、より早い段階で、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力できる。したがって、より確実に、衝突する対象物をユーザに知らせることができる。同様に、認識精度の向上により、ステップＳ２１１で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御手段が、より早い段階で、衝突を回避する制御信号を生成して、撮像装置の外部に出力できる。したがって、より確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
【００６９】
例えば、図１に示す本発明の撮像装置の一実施例の動作手順（図２）によれば、ステップＳ２１１で、画面音声出力手段１３０が、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示することにより、衝突する対象物をユーザに知らせることができる。
【００７０】
画像の鮮鋭度を低下させると、画像のボケにより視差の検知誤差（ばらつき）が大きくなり、距離の検知誤差（ばらつき）が大きくなる。図１に示す本発明の撮像装置の一実施例の動作（図２）によれば、ステップＳ２０７で基準画像及び比較画像の処理領域を鮮鋭度の指標即ちＭＴＦに応じた比率で画像を収縮することにより、鮮鋭度が低い（ぼけた）画像の解像度を低下させても、距離の検知誤差には影響しにくい。一方、処理領域の画素数が低減したことにより、ステップＳ２０８における視差算出の処理負荷を低減できる。
【００７１】
本発明の撮像装置１は、上記で説明したような実施の形態に限定されるものではなく、様々に変形して適用することができる。以下に、本発明の撮像装置の変形例について説明する。
【００７２】
（変形例１−１）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）において、鮮鋭度の指標としてＭＴＦを用いる代わりに、ＰＳＦあるいはＬＳＦを用いても、ステップＳ２０５で基準画像及び比較画像の処理領域の鮮鋭度を均一にすることができ、ステップＳ２０８の画像マッチングで鮮鋭度の違いによるミスマッチングを防ぐことができる。
【００７３】
（変形例１−２）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２０５において、ガウシアンフィルタを用いて、ぼかしフィルタ処理を行う代わりに、移動平均フィルタなどのぼかしフィルタ処理を行っても、基準画像及び比較画像の処理領域の鮮鋭度を均一にすることができ、ステップＳ２０８の画像マッチングで鮮鋭度の違いによるミスマッチングを防ぐことができる。
【００７４】
（変形例１−３）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２０５において、処理領域のＭＴＦを、基準画像及び比較画像の両方の処理領域のＭＴＦの最小値にして、基準画像及び比較画像の処理領域の鮮鋭度を均一化する代わりに、基準画像と比較画像の両方の処理領域でのＭＴＦの最大値を探索する。基準画像及び比較画像の各画素について、ＭＴＦの最大値を各画素のＭＴＦの値で割ったものをＭＴＦの変化率とする。表２に示すＭＴＦ変化率に対応した適用フィルタ（鮮鋭化フィルタ）を用いて、各画素について画像処理を実施する。適用フィルタであるアンシャープマスクフィルタのフィルタ係数を図５に示す。
【００７５】
【表２】
0006263461.tif 000003
【００７６】
例えば、ＭＴＦの値０．６をＭＴＦの最大値０．８に増加させる場合、ＭＴＦの値を１３３％（＝０．８／０．６）に増加させることになる。このとき、ＭＴＦ変化率が１．１５〜１．４５の範囲に入るため、その画素では、係数ｋ＝０．１のアンシャープフィルタを用いて、ＭＴＦの値を増加させる。
【００７７】
ステップＳ２０５において基準画像及び比較画像の処理領域の鮮鋭度を鮮鋭度の最大値で均一化することにより、ステップＳ２０８でテンプレート画像と被探索画像の鮮鋭度の違いによる輝度値の違いが小さくなり、ミスマッチングを防ぐことができる。また、処理領域のＭＴＦの最大値に均一化して、基準画像及び比較画像の処理領域の鮮鋭度の低下がないため、ステップＳ２０８で求める視差の検知誤差（ばらつき）が増加せず、ステップＳ２０９で求める距離の検知誤差（ばらつき）が悪化しない。
【００７８】
（変形例１−４）
変形例１−４に示す本発明の撮像装置の一実施例の動作手順のステップＳ２０５において鮮鋭化フィルタとして、有限インパルス応答（Finite Impulse Response：FIR）フィルタ、無限インパルス応答（Infinite Impulse Response：IIR）フィルタなどを用いても、ステップＳ２０５において基準画像及び比較画像の処理領域の鮮鋭度を鮮鋭度の最大値で均一化することにより、ステップＳ２０８でテンプレート画像と被探索画像の鮮鋭度の違いによる輝度値の違いが小さくなり、ミスマッチングを防ぐことができる。また、基準画像及び比較画像の処理領域の鮮鋭度の低下がないため、ステップＳ２０８で求める視差の検知誤差（ばらつき）が増加せず、ステップＳ２０９で求める距離の検知誤差（ばらつき）が悪化しない。
【００７９】
（変形例１−５）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２０５において、処理領域のＭＴＦを、基準画像及び比較画像の両方の処理領域のＭＴＦの最小値にして、基準画像及び比較画像の処理領域の鮮鋭度を均一化する代わりに、基準画像及び比較画像の各画素について、所定のＭＴＦを各画素のＭＴＦの値で割ったものをＭＴＦの変化率とする。表１及び表２に示すＭＴＦ変化率に対応した適用フィルタ（ぼかしフィルタ及び鮮鋭化フィルタ）を用いて、各画素について画像処理を実施する。これにより、所定のＭＴＦに処理領域の鮮鋭度を均一化でき、ステップＳ２０８でテンプレート画像と被探索画像の鮮鋭度の違いによる輝度値の違いが小さくなり、ミスマッチングを防ぐことができる。
【００８０】
（変形例１−６）
図１に示す本発明の撮像装置の一実施例の鮮鋭度情報記憶手段１１５は、幾何補正後の基準画像及び比較画像における複数の所定の箇所での鮮鋭度の指標の値を記憶している。また、鮮鋭度算出手段１２２で算出された幾何補正後の基準画像及び比較画像における各画素の鮮鋭度の指標の値を記憶している。ステップＳ２０６とステップＳ２０５の順番を入れ替えて、動作を行っても、ステップＳ２０５で基準画像及び比較画像の処理領域の鮮鋭度が均一化され、ステップＳ２０８でテンプレート画像と被探索画像の鮮鋭度の違いによる輝度値の違いが小さくなり、ミスマッチングを防ぐことができる。
【００８１】
（変形例１−７）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２０３において、処理領域設定手段１１９は、処理領域のＭＴＦの最小値が所定のＭＴＦ未満である処理領域と、所定のＭＴＦ以上である処理領域に縦方向に分割して、設定する。各処理領域についてステップＳ２０４〜ステップＳ２０８をそれぞれ実施する。ステップＳ２０８では算出した３つの処理領域の視差画像の横方向の画素数を合わせて、１つの視差画像を作成する。具体的には、ステップＳ２０７で均一化したＭＴＦに応じて、画像を縮小したため、３つの処理領域の視差画像の画素数が異なる。そこで、ステップＳ２０８で３つの視差画像のうち、横方向の画素数が最も多い値になるように、それ以外の視差画像を膨張処理して、３つの処理領域の視差画像を結合する。図８は、基準画像及び比較画像のＭＴＦの値が濃淡で表され、それぞれ縦方向に３つの処理領域を設定した例を示している。白色がＭＴＦの値が大きい、即ち、鮮鋭度が高いことを、黒色がＭＴＦの値が小さい、即ち、鮮鋭度が低いことを表す。ステップＳ２０５では基準画像及び比較画像で中央付近の鮮鋭度が高いので、中央の処理領域のＭＴＦは他の処理領域のＭＴＦよりも高く均一化される。このため、ステップＳ２０８で算出した中央の処理領域の視差の検知誤差（ばらつき）は他の処理領域に比べて小さくなり、その距離の検知誤差も他の処理領域に比べて小さくなる。処理領域を分割しない場合に比べて、中央の処理領域の視差及び距離の検知精度が向上する。
【００８２】
一般的なレンズや広角レンズなどでは、光軸付近の鮮鋭度が高く、光軸から離れるごとに鮮鋭度が低くなる傾向がある。このため、ステップＳ２０３で処理領域設定手段１１９は、光軸を含む処理領域とそれ以外の処理領域に設定して、ステップＳ２０５で鮮鋭度均一化手段１２３が各処理領域の鮮鋭度をそれぞれの処理領域のＭＴＦの最小値に均一化することにより、光軸を含む処理領域の鮮鋭度が他の処理領域の鮮鋭度よりも大きくなり、光軸を含む処理領域の視差の検知精度が他の処理領域に比べて高くなる。基準画像及び比較画像の処理領域を分割しない場合に比べて、中央の処理領域の視差及び距離の検知精度が向上する。また、光軸を含まない処理領域のＭＴＦは光軸を含む処理領域に比べて小さいため、ステップＳ２０７で光軸を含まない処理領域では光軸を含む処理領域に比べて、縮小処理の縮小率が小さいため、光軸を含まない処理領域の画素数が光軸を含む処理領域に比べて、少なくなり、ステップＳ２０８において光軸を含まない処理領域での視差算出の処理負荷が小さくなる。
【００８３】
（変形例１−８）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２０８において、視差算出手段１２５がＳＡＤの値を算出し、そのＳＡＤ値が最も小さい比較画像上の領域を探索して、視差を算出する代わりに、ＺＳＡＤ（Ｚｅｒｏ−ｍｅａｎ  Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ）、あるいは、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）、ＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ  Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ  Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉｏｎ）を算出し、最も小さい比較画像上の領域を探索して、視差を算出しても、視差を求めることができる。
【００８４】
（変形例１−９）
図１に示す本発明の撮像装置の一実施例の動作手順（図２）のステップＳ２１１において、画面音声出力手段１３０が、画面に基準画像の代わりに視差画像あるいは距離画像を表示して、「衝突する」と判定した対象物に所定の色の枠を表示しても、衝突する対象物をユーザに知らせることができる。
【００８５】
（変形例１−１０）
図１に示す本発明の撮像装置の一実施例において、撮像系手段を２つだけでなく、３つ以上を設けて、図２に示す動作手順を、複数の撮像系手段の２つずつの組合せについて実施する。これにより、複数の撮像系手段で撮影された対象物までの距離や対象物の認識が可能になるとともに、複数の撮像系手段の２つずつの組合せにおいて、ステップＳ２０５〜２０７において、基準画像及び比較画像の処理領域が最も低い鮮鋭度で均一化され、ステップＳ２０８における画像マッチングで、鮮鋭度の違いによるミスマッチを防ぐことができる。
【００８６】
また、ミスマッチングを防ぐことにより、ステップＳ２１０において、距離画像を用いた認識の精度が向上する。また、認識精度の向上により、ステップＳ２１１で、画面音声出力手段１３０が、より早い段階で、画面の基準画像上に「衝突する」と判定した対象物に所定の色の枠を表示して、警告音を出力できるため、より確実に衝突する対象物をユーザに知らせることができる。
【００８７】
同様に、認識精度の向上により、ステップＳ２１２で、画面の基準画像上に「衝突する」と判定した対象物がある場合、制御手段が、より早い段階で、衝突を回避する制御信号を生成して、撮像装置の外部に出力できるため、より確実に対象物を回避する制御が行われ、衝突する確率を低減できる。
【００８８】
以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【符号の説明】
【００８９】
１  撮像装置
１００ａ、１００ｂ  撮像系手段
１１０  演算手段
１１７  同期信号発信手段
１１８ａ  基準画像取込手段
１１８ｂ  比較画像取込手段
１１９  処理領域設定手段
１２０  輝度補正手段
１２１  幾何補正手段
１２２  鮮鋭度算出手段
１２３  鮮鋭度均一化手段
１２４  画像収縮手段
１２５  視差算出手段
１２６  距離算出手段
１２７  認識手段
１３０  画面音声出力手段
１４０  制御手段
【図１】
0006263461.tif 000004
【図２】
0006263461.tif 000005
【図３】
0006263461.tif 000006
【図４】
0006263461.tif 000007
【図５】
0006263461.tif 000008
【図６】
0006263461.tif 000009
【図７】
0006263461.tif 000010
【図８】
0006263461.tif 000011