(57)【要約】【課題】基線長を長くすることなく、また、演算量を増加させることなく、高い測定精度で、物体の距離を計測できる物体検出装置を提供する。【解決手段】物体検出装置は、画像を撮像する異なる位置に配置される２つの撮像部と、各々の撮像部によって撮像された撮像画像の解像度より低い解像度の変換画像に変換する解像度変換部と、解像度変換部によって解像度が変換された２つの変換画像間の相関演算を行う相関演算部と、相関演算による２つの変換画像間の相関演算の結果に基づいて変換画像における距離情報を算出する距離算出部と、距離算出部によって算出された変換画像における距離情報に基づいて、物体を認識する物体認識部と、物体認識部によって認識された結果に基づいて、変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定部と、を備える。【選択図】図１
2015230703.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する異なる位置に配置される２つの撮像部と、
各々の前記撮像部によって撮像された撮像画像の解像度より低い解像度の変換画像に変換する解像度変換部と、
前記解像度変換部によって解像度が変換された２つの前記変換画像間の相関演算を行う相関演算部と、
前記相関演算による２つの前記変換画像間の相関演算の結果に基づいて前記変換画像における距離情報を算出する距離算出部と、
前記距離算出部によって算出された前記変換画像における距離情報に基づいて、物体を認識する物体認識部と、
前記物体認識部によって認識された結果に基づいて、前記変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定部と、
を備える物体検出装置。
【請求項２】
前記物体認識部は、各々の前記撮像部によって撮像された撮像画像に対して、前記変換画像における距離情報に基づいて物体を認識した画像の領域を、前記物体を探索する各々の範囲と決定し、
前記相関演算部は、前記物体認識部によって決定された各々の範囲であって、２つの前記撮像画像の前記範囲間の相関演算を行い、
前記距離算出部は、前記相関演算による２つの前記撮像画像の前記範囲間の相関演算の結果に基づいて前記撮像画像における距離情報を算出し、
前記物体認識部は、前記撮像画像における距離情報に基づいて前記物体を認識する請求項１に記載の物体検出装置。
【請求項３】
前記距離算出部は、前記撮像画像における距離情報に基づいて第１視差画像を生成し、
前記物体認識部は、前記距離算出部が生成した前記第１視差画像に基づいて前記撮像された画像から物体を認識し、
前記距離算出部は、前記物体認識部の認識結果に基づいて、前記変換画像における距離情報に基づいて第２視差画像を生成し、
前記物体認識部は、前記第２視差画像に基づいて前記物体を認識する請求項２に記載の物体検出装置。
【請求項４】
前記設定部は、前記認識された物体を含むその周辺領域を前記物体の探索範囲に決定する請求項１から請求項３のいずれか１項に記載の物体検出装置。
【請求項５】
前記設定部は、前記認識された物体の距離に応じて、前記相関演算に用いる窓の大きさを設定する請求項１から請求項４のいずれか１項に記載の物体検出装置。
【請求項６】
前記設定部は、前記認識された物体の種類に応じて、前記相関演算に用いる窓の形状を設定する請求項１から請求項５のいずれか１項に記載の物体検出装置。
【請求項７】
レーダ装置、を備え、
前記物体認識部は、前記レーダ装置の検出結果を用いて前記物体を認識する請求項１から請求項６のいずれか１項に記載の物体検出装置。
【請求項８】
異なる位置に配置される２つの撮像部を有する物体検出装置における物体検出方法であって、
撮像部が、前記２つの撮像部が、画像を撮像する撮像手順と、
解像度変換部が、各々の前記撮像手順によって撮像された撮像画像の解像度より低い解像度の変換画像に変換する解像度変換手順と、
相関演算部が、前記解像度変換手順によって解像度が変換された２つの前記変換画像間の相関演算を行う相関演算手順と、
距離算出部が、前記相関演算による２つの前記変換画像間の相関演算の結果に基づいて前記変換画像における距離情報を算出する距離算出手順と、
物体認識部が、前記距離算出手順によって算出された前記変換画像における距離情報に基づいて、物体を認識する物体認識手順と、
設定部が、前記物体認識手順によって認識された結果に基づいて、前記変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定手順と、
を含む物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置及び物体検出方法に関する。
【背景技術】
【０００２】
クラッシュが発生する前のセーフティシステムとして、車両の前方の物体までの距離をステレオカメラにより計測し、運転者への警告やブレーキの補助操作などを行うものが知られている。このようなステレオカメラによる距離測定では、左右のカメラにより視野の異なる２つの画像が撮影され、この左右の画像の対応点が探索され、これにより、物体までの距離が推定されるように構成されている（特許文献１）。
【０００３】
左右の画像の対応点の探索には、ＳＡＤ(Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ)演算等の相関演算が用いられる。ＳＡＤ演算は、２つの画像の画素の差分の絶対値和を求めるもので、画素数が多い画像の場合、演算量が膨大になる。そこで、特許文献２には、距離に応じて相関演算の画素数を設定することで、演算量を減少し、リアルタイム性を向上することが記載されている。
【０００４】
上述のステレオカメラによる距離測定装置では、左右の画像の対応点により求められる視差と、基線長とから、三角測量の原理に基づいて、物体の距離が求められる。したがって、距離測定精度を向上させるためには、基線長を長くするか、又は視差の検出精度を高くする必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２６５５４７号公報
【特許文献２】特開２００４−２７９０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の技術において、距離測定精度を向上させるために基線長を長くするには、２つのカメラ間の距離を離して配置する必要がある。車両では、２つのカメラを例えば車両内のルームミラーの近傍に取り付けられており、物理的な制約から２つのカメラ間の距離を離して基線長を長くすることは困難である。
【０００７】
従来の技術において、視差の検出精度を高くするために、撮像する画像の解像度を高くしたり、２つの画像の対応点を検出するためのＳＡＤ演算の窓（ウィンドウ）を大きくしたりすることが考えられる。しかしながら、カメラからの画像の解像度を高くしたり、ＳＡＤ演算のウィンドウを大きくしたりすると、ＳＡＤの演算量が膨大になり、リアルタイムに物体の距離を推測することが難しくなる。また、リアルタイム性を満足させるために、高速な演算素子を用いると、装置や演算に係るコストが増大する。
【０００８】
上述の課題を鑑み、本発明は、基線長を長くすることなく、また、演算量を増加させることなく、高い測定精度で、物体の距離を計測できる物体検出装置及び物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明の一態様による物体検出装置は、画像を撮像する異なる位置に配置される２つの撮像部と、各々の前記撮像部によって撮像された撮像画像の解像度より低い解像度の変換画像に変換する解像度変換部と、前記解像度変換部によって解像度が変換された２つの前記変換画像間の相関演算を行う相関演算部と、前記相関演算による２つの前記変換画像間の相関演算の結果に基づいて前記変換画像における距離情報を算出する距離算出部と、前記距離算出部によって算出された前記変換画像における距離情報に基づいて、物体を認識する物体認識部と、前記物体認識部によって認識された結果に基づいて、前記変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定部と、を備える。
【００１０】
また、本発明の一態様による物体検出装置であって、前記物体認識部は、各々の前記撮像部によって撮像された撮像画像に対して、前記変換画像における距離情報に基づいて物体を認識した画像の領域を、前記物体を探索する各々の範囲と決定し、前記相関演算部は、前記物体認識部によって決定された各々の範囲であって、２つの前記撮像画像の前記範囲間の相関演算を行い、前記距離算出部は、前記相関演算による２つの前記撮像画像の前記範囲間の相関演算の結果に基づいて前記撮像画像における距離情報を算出し、前記物体認識部は、前記撮像画像における距離情報に基づいて前記物体を認識するようにしてもよい。
【００１１】
また、本発明の一態様による物体検出装置であって、前記距離算出部は、前記撮像画像における距離情報に基づいて第１視差画像を生成し、前記物体認識部は、前記距離算出部が生成した前記第１視差画像に基づいて前記撮像された画像から物体を認識し、前記距離算出部は、前記物体認識部の認識結果に基づいて、前記変換画像における距離情報に基づいて第２視差画像を生成し、前記物体認識部は、前記第２視差画像に基づいて前記物体を認識するようにしてもよい。
【００１２】
また、本発明の一態様による物体検出装置であって、前記設定部は、前記認識された物体を含むその周辺領域を前記物体の探索範囲に決定するようにしてもよい。
【００１３】
また、本発明の一態様による物体検出装置であって、前記認識された物体の距離に応じて、前記相関演算に用いる窓の大きさを設定するようにしてもよい。
【００１４】
また、本発明の一態様による物体検出装置であって、前記認識された物体の種類に応じて、前記相関演算に用いる窓の形状を設定するようにしてもよい。
【００１５】
また、本発明の一態様による物体検出装置は、レーダ装置、を備え、前記物体認識部は、前記レーダ装置の検出結果を用いて前記物体を認識するようにしてもよい。
【００１６】
上述した課題を解決するために、本発明の一態様による物体検出方法は、異なる位置に配置される２つの撮像部を有する物体検出装置における物体検出方法であって、撮像部が、前記２つの撮像部が、画像を撮像する撮像手順と、解像度変換部が、各々の前記撮像手順によって撮像された撮像画像の解像度より低い解像度の変換画像に変換する解像度変換手順と、相関演算部が、前記解像度変換手順によって解像度が変換された２つの前記変換画像間の相関演算を行う相関演算手順と、距離算出部が、前記相関演算による２つの前記変換画像間の相関演算の結果に基づいて前記変換画像における距離情報を算出する距離算出手順と、物体認識部が、前記距離算出手順によって算出された前記変換画像における距離情報に基づいて、物体を認識する物体認識手順と、設定部が、前記物体認識手順によって認識された結果に基づいて、前記変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定手順と、を含む。
【発明の効果】
【００１７】
本発明によれば、相関演算を行う際の左右の撮像画像の解像度と演算エリアとが設定できる。低解像度に変換した画像を用いて全体の相関演算を行い、高解像度の画像から演算エリアとして切り出した画像を用いて物体を含むその周辺の画像の相関演算を行うことで、演算量を増加させずに、遠くの物体まで、高い精度で、物体の距離を計測できる。これにより、基線長の制約を受けずに、左右のカメラを設置できる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る物体検出装置の概要を示すブロック図である。
【図２】本実施形態に係る物体検出装置における三次元座標の説明図である。
【図３】本実施形態に係る物体検出装置における解像度変換部及び歪み補正処理部での処理を説明する図である。
【図４】本実施形態に係る物体検出装置における相関演算部及び距離算出部での処理を説明する図である。
【図５】本実施形態に係る物体検出装置の動作手順のフローチャートである。
【図６】本実施形態に係る物体検出装置における撮影画像及び相関演算部での処理画像の説明図である。
【図７】本実施形態に係る物体検出装置における撮影画像及び相関演算部での処理画像の説明図である。
【図８】本実施形態に係る物体検出装置におけるＳＡＤ演算のウィンドウの説明図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施の形態について図面を参照しながら説明する。図１は、本実施形態に係る物体検出装置１の概要を示すブロック図である。図１に示すように、物体検出装置１は、左右の２つのカメラ１１ａ及び１１ｂと、解像度変換部１２と、歪み補正処理部１３と、相関演算部１４と、設定部１５と、距離算出部１６と、物体認識部１７と、レーダ１８と、表示部１９とを備えている。
【００２０】
カメラ１１ａ及び１１ｂは、車両の前方に向けて、所定距離（基線長）だけ水平方向に離れて車両の左右に設置される。カメラ１１ａ及び１１ｂは、車両の前方の物体の３次元座標を求めるためのステレオカメラを構成する。また、カメラ１１ａ及び１１ｂのうちの一方（ここではカメラ１１ｂ）が撮像した画像は、車両の前方の物体認識にも用いられる。カメラ１１ａ及び１１ｂとしては高解像度のカメラ、例えばＳＸＧＡ(Ｓｕｐｅｒ  ｅＸｔｅｎｄｅｄ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）のＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ)の白黒カメラが用いられる。なお、ここでは、カメラ１１ａ及び１１ｂは、白黒の画像を撮像するカメラであるが、カラーの画像を撮像できるカメラを用いても良い。本実施形態では、カメラ１１ａ及び１１ｂからは、ＳＸＧＡの解像度（１２８０×１０２４画素）の画像が出力されるとして説明する。
【００２１】
解像度変換部１２は、カメラ１１ａ及び１１ｂから入力される高解像度の画像を設定部１５の設定に応じた低解像度の画像に変換し、解像度を変換したそれぞれの画像を歪み補正処理部１３に出力する。解像度変換部１２は、ＳＸＧＡの解像度の画像を、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）の解像度（６４０×４８０画素）の画像に変換する。なお、ＶＧＡの解像度に設定する理由は、ＶＧＡの解像度があれば車両の２０ｍ前方程度にある物体を、その画像から検出可能なためである。解像度変換部１２での解像度の変換手法としては、ビニング（Ｂｉｎｎｉｎｇ）が用いられる。ビニングとは、隣接する素子をひとまとめに扱うものである。解像度変換部１２は、例えば４画素を１画素として扱うことで、ＳＸＧＡの解像度の画像を、画素数がその１／４のＶＧＡの解像度の画像に変換する。なお、解像度変換部１２での解像度変換手法としては、ビニングに限らず、他の手法を用いても良い。
【００２２】
歪み補正処理部１３は、解像度変換部１２から入力されたそれぞれの画像に対して、レンズ特性による歪み補正を行い、補正を行ったそれぞれの画像を相関演算部１４に出力する。すなわち、空間的位置の異なるカメラ１１ａ及び１１ｂからの左右の画像には、広角レンズによるレンズ特有の歪みが含まれる。歪み補正処理部１３は、このようなレンズ特性による歪み補正を行う。この例では、歪み補正処理部１３は、左右画像の各々に対して、バイリニア（ｂｉ−ｌｉｎｅａｒ）法により歪み補正を行っている。なお、歪み補正処理部１３での歪み補正は、バイリニア法に限らず、他の手法を用いても良い。
【００２３】
相関演算部１４は、ＳＡＤ(Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ)演算により、歪み補正処理部１３から入力された補正後の画像間の対応点を探索する。なお、相関演算部１４は、設定部１５によってＳＡＤ演算を行う際の窓（ウィンドウ）のサイズや、ＳＡＤ演算により相関を求める際の演算エリアの位置やサイズが設定される。相関演算部１４は、カメラ１１ａ及び１１ｂによって撮像された左右の画像間の対応点を探索する。相関演算部１４によって探索される画像は、解像度が変換され、さらに歪みが補正された後の画像である。左右の画像の対応点では画像の相関が強く、左右の画素の差分の絶対値和は小さくなる。なお、左右の画像の対応点とは、カメラ１１ａと１１ｂとが、空間におけるＡ点を含む画像を撮像した場合、例えば、カメラ１１ａによって撮像された画像におけるＡ点に対応するＢ点、カメラ１１ｂによって撮像された画像におけるＡ点に対応するＢ’点である。このことから、相関演算部１４は、所定の視差探索範囲でウィンドウを移動させ、各ウィンドウの位置で左右の画素の差分の絶対値和を求め、差分の絶対値和が最小となるウィンドウを探索して左右の画像間の対応点を求め、求めた左右の画像間の対応点を示す情報を距離算出部１６に出力する。
なお、相関演算部１４がＳＡＤ演算によって差分の絶対値和を求める構成を説明したが、差分の二乗和を求める等他の手法を用いて左右の画像間の対応点を求める構成としても良い。
【００２４】
設定部１５は、解像度変換部１２に対する左右の画像の解像度や、相関演算部１４でＳＡＤ演算を行う際のウィンドウのサイズや、ＳＡＤ演算により相関を求める際の演算エリアの位置やサイズを物体認識部１７から入力された各情報に応じて設定する。なお、設定部１５には、予め各設定値が初期値として記憶されていても良い。ＳＡＤ演算のウィンドウのサイズは、例えば、（４×４）画素から（１７×１７）画素に設定できる。標準的なＳＡＤ演算のウィンドウのサイズは、例えば、（７×７）画素である。また、視差の探索範囲は、例えば、３２画素、６４画素、１２８画素に設定できる。なお、設定部１５は、ウィンドウのサイズばかりでなく、ウィンドウの形状を指定できるようにしても良い。
【００２５】
距離算出部１６は、相関演算部１４から入力された左右の画像の対応点を基に、三次元の視差画像（以下、三次元画像という）を生成し、生成した三次元画像を物体認識部１７に出力する。左右の画像の対応点により、視差が求められる。視差が求められれば、基線長（カメラ１１ａとカメラ１１ｂとの間の距離）と、視差とから、三角測量の原理に基づいて、物体の距離を求めることができる。なお、カメラ１１ａとカメラ１１ｂとの間の距離は、予め距離算出部１６に記憶されている。これにより、距離算出部１６は、カメラ１１ａ及び１１ｂの撮影画面に基づく三次元の視差画像が求められる。なお、三次元座標は、図２に示すように、車両に対して奥行き方向（物体までの距離）をｘ方向、車両に対して幅方向をｙ方向、車両に対して高さ方向をｚ方向としている。図２は、本実施形態に係る物体検出装置における三次元座標の説明図である。
【００２６】
レーダ１８は、例えばミリ波レーダであり、車両の前方に取り付けられる。レーダ１８は、物体にミリ波を照射し、物体からの反射波を検出する。レーダ１８は、検出結果を物体認識部１７に出力する。レーダ１８の出力波と反射波によって、車両の前方にある物体の方向と位置とを検出できる。なお、レーダ１８がミリ波レーダであれば、例えばＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）による周波数変換後のピーキング検出法等により、物体認識を行うこともできる。レーダ１８は、ミリ波以外のレーダであっても良い。
【００２７】
物体認識部１７は、距離算出部１６から入力された三次元画像と、レーダ１８から入力された検出結果と、カメラ１１ｂから入力された画像とから、車両の前方の物体を認識する。物体認識部１７は、認識した結果に基づいて、左右の画像の解像度の設定、ＳＡＤ演算を行う際の演算エリアの設定、ＳＡＤ演算のウィンドウのサイズの設定を行い、各設定を示す情報を設定部１５に出力する。また、物体認識部１７は、認識した認識結果を表示部１９に表示させる。ここで、認識結果とは、車両の前方にある物体について認識した結果である。
【００２８】
表示部１９は、車両の前方にある物体の認識結果を表示する。なお、車両の前方にある物体の認識結果は、自動車のクラッシュ前のセーフティシステム（以下、プリクラッシュセーフティシステムという）等に応用することができる。表示部１９は、例えば液晶表示装置である。
【００２９】
図３は、図１における解像度変換部１２及び歪み補正処理部１３での処理を説明する図である。図３に示すように、カメラ１１ａ及び１１ｂからの画像は、解像度変換部１２に供給される。解像度変換部１２は、ビニング処理部５１を備えている。カメラ１１ａ及び１１ｂからの画像は、ＳＸＧＡの解像度の画像である。ビニング処理部５１は、このカメラ１１ａ及び１１ｂからの画像を１／４の解像度に変換、すなわちＶＧＡの解像度の左右の画像５３ａ及び５３ｂに変換する。
【００３０】
歪み補正処理部１３は、高解像度歪み補正処理部５２ａと低解像度歪み補正処理部５２ｂとを備えている。高解像度歪み補正処理部５２ａ及び低解像度歪み補正処理部５２ｂは、バイリニア法により歪み補正を行う。カメラ１１ａ及び１１ｂからのＳＸＧＡの解像度の画像は、高解像度歪み補正処理部５２ａにより歪み補正される。これにより、高解像度の左右の画像５４ａ及び５４ｂが生成される。また、ビニング処理部５１により、ＶＧＡの解像度に変更された左右の画像５３ａ及び５３ｂは、低解像度歪み補正処理部５２ｂにより歪み補正される。これにより、低解像度の左右の画像５５ａ及び５５ｂが生成される。なお、高解像度歪み補正処理部５２ａ及び低解像度歪み補正処理部５２ｂは、物理的に２つ処理回路を設ける必要はない。高解像度の画像が必要な場合と低解像度の画像が必要な場合とに応じて、１つの歪み補正処理部を切り替えて使用するようにしても良い。
【００３１】
図４は、図１における相関演算部１４及び距離算出部１６での処理を説明する図である。図４に示すように、相関演算部１４は、演算エリア切り出し部５８と、ＳＡＤ演算部５７ａと、ＳＡＤ演算部５７ｂとを備えている。高解像度の画像５４ａ及び５４ｂの場合は、演算エリア切り出し部５８により演算エリアが切り出され、ＳＡＤ演算部５７ａで切り出された演算エリアでＳＡＤ演算が行われ、高解像度の視差画像５９ａが生成される。低解像度の画像５５ａ及び５５ｂの場合は、ＳＡＤ演算部５７ｂで低解像度の左右の全体画像に対してＳＡＤ演算が行われ、低解像度の視差画像５９ｂが生成される。なお、ＳＡＤ演算部５７ａ及び５７ｂは、物理的に２つ処理回路を設ける必要はない。高解像度の画像が必要な場合と低解像度の画像が必要な場合とに応じて、１つのＳＡＤ演算部を切り替えて使用するようにしても良い。
【００３２】
次に、本実施形態に係る物体検出装置１の動作について説明する。図５は、本実施形態に係る物体検出装置の動作手順のフローチャートである。なお、以下の例では、カメラ１１ａ及び１１ｂが撮像した画像の解像度がＳＸＧＡである場合を説明する。
【００３３】
（ステップＳ１）物体認識部１７は、撮影画像の解像度をＳＸＧＡからＶＧＡに変換されるように、設定部１５からの設定に応じて解像度変換部１２を設定する。次に、解像度変換部１２は、カメラ１１ａ及び１１ｂからの左右のＳＸＧＡの画像をＶＧＡの画像に変換する。
（ステップＳ２）歪み補正処理部１３は、ステップＳ１で解像度が変換された左右のＶＧＡの画像それぞれに対して歪み補正を行う。
（ステップＳ３）物体認識部１７は、ＳＡＤ演算のウィンドウサイズを設定する。このときのＳＡＤ演算のウィンドウは、例えば、（７×７）画素の標準値に設定される。
【００３４】
（ステップＳ４）相関演算部１４は、左右のＶＧＡ画像全体を用いてＳＡＤ演算を行い、左右の画像の対応点を探索する。相関演算部１４は、例えばカメラ１１ａの撮像画像の解像度が変換され、歪み補正された歪み補正後の画像を用いて、物体を識別する。物体が識別できた場合、その物体が識別できた画像における座標を、カメラ１１ｂの撮像画像の解像度が変換され、歪み補正された歪み補正後の画像に適用する。そして、相関演算部１４は、適用した座標からステップＳ３で設定したウィンドウのサイズまで対応する物体の探索を行う。
【００３５】
（ステップＳ５）左右の画像の対応点が探索されたら、距離算出部１６は、求められた左右の画像の対応点の座標間の距離と、カメラ１１ａと１１ｂとの基線長さとを用いて、物体までの距離を算出し、算出した距離情報を用いて三次元の視差画像を生成する。
（ステップＳ６）物体認識部１７は、物体が検出されたか否かを判定する。物体認識部１７は、物体が検出されたと判定した場合（ステップＳ６；ＹＥＳ）、ステップＳ７に進み、物体が検出されていないと判定した場合（ステップＳ６；ＮＯ）、ステップＳ１に戻る。
【００３６】
（ステップＳ７）物体認識部１７は、ステップＳ６で算出された距離と、レーダ１８からの検出信号及びカメラ１１ｂによって撮像された画像と、に基づいて、カメラ１１ｂによって撮像された撮像画像において物体が認識された範囲を決定する。
（ステップＳ８）物体認識部１７は、ステップＳ７で決定された範囲に基づいて、ＳＡＤ演算のウィンドウサイズを決定する。例えば、物体認識部１７は、物体までの距離が遠い場合には、ウィンドウを初期値より大きくし、物体までの距離が近い場合には、ウィンドウを初期値より小さく設定する。上記のウィンドウサイズを決定するために、レーダ１８により検出された障害物となる物体の有無又は物体の距離を示す検出信号を用いてもよい。レーダ１８の検出信号を用いることにより、物体認識部１７は、上記のウィンドウのサイズをより柔軟に調整することができる。
（ステップＳ９）歪み補正処理部１３は、ステップＳ７で決定された範囲におけるＳＸＧＡの解像度の画像に対して歪み補正を行う。
【００３７】
（ステップＳ１０）相関演算部１４は、ステップＳ７で決定された範囲におけるＳＸＧＡの左右の画像それぞれにおいて、ＳＡＤ演算を行い、左右の画像の対応点を探索する。相関演算部１４は、例えばカメラ１１ａによって撮像された撮像画像のうちステップＳ７で決定された範囲におけるＳＸＧＡの解像度の歪みが補正済みの画像に対して、物体を識別する。物体が識別できた場合、その物体が識別できた画像における座標を、カメラ１１ｂによって撮像された撮像画像のうちステップＳ７で決定された範囲におけるＳＸＧＡの解像度の歪みが補正済みの画像に対して、ステップＳ８で設定されたウィンドウのサイズまで対応する物体の探索を行う。
【００３８】
（ステップＳ１１）ステップＳ７で決定された範囲におけるＳＸＧＡの解像度の歪みが補正済みの画像に対して対応点が探索された後、距離算出部１６は、求められた左右の画像の対応点間の距離と、カメラ１１ａと１１ｂとの基線長さとを用いて、物体までの距離を算出し、算出した距離情報を用いて三次元の視差画像を生成する。
（ステップＳ１２）距離算出部１６は、ステップＳ１１で生成された三次元の視差画像を、ＶＧＡの座標に変換して、処理を終了する。なお、ステップＳ１２の処理は省略しても良く、その場合、距離算出部１６は、ステップＳ１１で生成された三次元の視差画像を測定した結果として出力するようにしてもよい。
【００３９】
なお、上述した例では、ステップＳ７において、ステップＳ６で算出された距離と、レーダ１８からの検出信号及びカメラ１１ｂによって撮像された画像と、に基づいて、カメラ１１ｂによって撮像された撮像画像において物体が認識された範囲を決定する例を説明したが、これに限られない。ステップＳ７では、ステップＳ６で算出された距離に基づいて、カメラ１１ｂによって撮像された撮像画像において物体が認識された範囲を決定するようにしてもよい。
【００４０】
図６は、本実施形態に係る物体検出装置における撮影画像及び相関演算部での処理画像の説明図であり、ステップＳ１〜ステップＳ６の処理が行われている間のカメラ１１ａ及び１１ｂの撮影画像及び相関演算部１４での処理画像を示すものである。ステップＳ１〜ステップＳ５の処理が行われている間では、解像度変換部１２は、図６（Ａ）に示すように撮影画像であるカメラ１１ａ及び１１ｂから入力されたＳＸＧＡの画像それぞれをＶＧＡの画像に変換し、図６（Ｂ）に示すように、ＶＧＡの左右の画像に変換する。そして、相関演算部１４は、図６（Ｂ）に示したＶＧＡの左右の画像を用いて、ＳＡＤ演算を行って、左右の画像の対応点を探索する。
【００４１】
そして、図６（Ｂ）に示すように、ステップＳ１〜ステップＳ５の間では、ＶＧＡに変換した左右の画像を用いて相関演算が行われる。この場合、カメラ１１ａ及び１１ｂからの全体画像を使って相関演算処理を行っているので、広い領域で、物体の三次元画像が生成できる。そして、相関演算に用いる画像がＶＧＡの低解像度のものであるから、ＳＸＧＡの画像をそのまま使用した場合に比べて、演算量が削減できる。
図６の例では、この画像から、物体１００として、車両が検出される。
【００４２】
図７は、本実施形態に係る物体検出装置における撮影画像及び相関演算部での処理画像の説明図であり、ステップＳ７〜ステップＳ１１の処理が行われている間のカメラ１１ａ及び１１ｂの撮影画像及び相関演算部１４での処理画像を示すものである。相関演算部１４は、この図７（Ａ）に示すように撮影画像の画像中から図７（Ｂ）に示すように、物体１００を含む周辺領域を探索範囲１０１として切り出す。そして、相関演算部１４は、図７（Ｂ）に示した探索範囲１０１として切り出された左右のＳＸＧＡの解像度の画像それぞれに対してＳＡＤ演算を行い、左右の画像の対応点の探索を行う。このとき、ＳＡＤ演算のウィンドウは、ＶＧＡの解像度の画像から算出した物体の距離と、レーダの検出信号に基づいて検出した物体までの距離とに応じて設定部１５によって設定される。すなわち、本実施形態では、まず、カメラ１１ａ及び１１ｂによって撮像された画像に対して解像度を低くして、解像度を低くした画像を用いて物体の探索を行う。これにより、本実施形態によれば、探索に用いる画像の解像度を低くしているので、演算量を低減することができる。
【００４３】
このように、ステップＳ７〜ステップＳ１１の処理が行われている間、相関演算部１４は、ＳＸＧＡの高解像度の画像から切り出された画像を用いて、ＳＡＤ演算を行い、左右の画像の対応点を探索する。この場合、ＳＡＤ演算を行うのは、切り出された探索範囲１０１に限定されるので、演算量は、ＳＸＧＡの画面全体を探索範囲に用いた場合に比べて、削減できる。また、物体１００を含むその周辺の探索範囲１０１については、高解像度の画像でＳＡＤ演算が行われるので、物体１００の距離の検出精度については、ＳＸＧＡの画面をそのまま用いた場合と同程度に、高い検出精度が得られる。更に、距離に応じてＳＡＤ演算のウィンドウを設定することで、検出精度の向上と、演算時間の短縮が図れる。
【００４４】
以上のように、本実施形態の物体検出装置１は、画像を撮像する異なる位置に配置される２つの撮像部（カメラ１１ａ、１１ｂ）と、各々の撮像部によって撮像された撮像画像（例えばＳＸＧＡの解像度）の解像度より低い解像度（例えばＶＧＡの解像度）の変換画像に変換する解像度変換部１２と、解像度変換部１２によって解像度が変換された２つの変換画像間の相関演算を行う相関演算部１４と、相関演算による２つの変換画像間の相関演算の結果に基づいて変換画像における距離情報を算出する距離算出部１６と、距離算出部１６によって算出された変換画像における距離情報に基づいて、物体を認識する物体認識部１７と、物体認識部１７によって認識された結果に基づいて、変換する解像度、相関演算に関する要素のうちの少なくとも一方を設定する設定部１５と、を備える。
【００４５】
この構成によって、本実施形態の物体検出装置１では、物体が検出されるまで、低解像度の画像で相関演算を行い、物体が検出されたら、高解像度の画像から物体を含むその周辺の画像を切り取って相関演算を行って、物体の距離を推定している。また、物体の距離に応じて、物体認識部１７は、ＳＡＤ演算のウィンドウのサイズを設定している。これにより、物体を含むその周辺については高い精度で距離情報を取得できることになる。したがって、本実施形態では、演算量を増加させずに、高い精度で視差を求められ、基線長を長くとらなくても、遠くの物体まで、高い精度で、物体の距離を計測することができる。なお、例えば、レーダ１８は、ミリ波を用いて、障害物となる物体の有無又は物体の距離や方向を検出する。物体認識部１７は、障害物となる物体の有無又は物体の距離や方向に係る検出信号を、レーダ１８から得るようにしてもよい。物体認識部１７は、レーダ１８からの検出信号に基づいて、上記のウィンドウのサイズを定めるようにしてもよい。
【００４６】
なお、上述した例では、物体の距離に応じてＳＡＤ演算のウィンドウのサイズを決定しているが、物体の距離や物体の種類に応じて、ＳＡＤ演算のウィンドウの形状を決定しても良い。図８は、本実施形態に係る物体検出装置におけるＳＡＤ演算のウィンドウの説明図である。例えば、図８に示すように、ＳＡＤ演算のウィンドウとして、正方形６１の他に、台形６２や、水平方向に長い長方形６３のものを用意し、物体認識部１７は、物体の種類に応じて、ＳＡＤ演算のウィンドウの形状を決定することが考えられる。例えば、物体とし車両が撮影されている場合には、正方形６１のＳＡＤ演算のウィンドウを使用し、車両の前方に物体が存在しない場合は、画像上の水平線より下の領域に対して、台形６２や長方形６３のＳＡＤ演算のウィンドウを設定することで、路面の距離を算出することが考えられる。なお、図８に示したＳＡＤ演算のウィンドウの形状は一例であり、他の形状であっても良い。
【００４７】
また、設定部１５は。ＳＡＤの演算エリアについても、物体の距離や物体の種類に応じて、大きさや形状を決定しても良い。
【００４８】
また、本実施形態では、路面検知が可能となる。路面をカメラで撮影すると、台形のグラデーションとなる。このグラデーションは、距離に応じて決まる。そこで、グラデーションのパターンマッチングにより、距離を推定することができる。
【００４９】
また、本実施形態では、歩行者等、路上での移動物体をトラッキングして検知することが可能となる。この場合、物体認識部１７は、カメラ１１ｂからの単眼の画像から物体を検出し、この物体が、車両、歩行者、バイク、落下物等のうち、何れかであるかを認識する。物体認識は、例えば、パターンマッチングにより行える。つまり、物体認識部１７には、車両、歩行者、バイク等の形状のパターンが予め用意される。そして、物体認識部１７は、カメラ１１ｂで撮影された画像と、予め用意された各形状のパターンとを比較することで、撮影している物体がどのような種類の物体であるかを認識する。そして、物体認識部１７は、歩行者等の路上での移動物体に、ｘ、ｙ、ｚ方向に追従させる。
【００５０】
なお、本発明に係る物体検出装置は、自動車ばかりでなく、バイクに搭載することも可能である。
【００５１】
なお、物体検出装置１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００５２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００５３】
１…物体検出装置、１１ａ、１１ｂ…カメラ、１２…解像度変換部、１３…歪み補正処理部、１４…相関演算部、１５…設定部、１６…距離算出部、１７…物体認識部、１８…レーダ、１９…表示部
【図１】
2015230703.tif 000003
【図２】
2015230703.tif 000004
【図３】
2015230703.tif 000005
【図４】
2015230703.tif 000006
【図５】
2015230703.tif 000007
【図６】
2015230703.tif 000008
【図７】
2015230703.tif 000009
【図８】
2015230703.tif 000010