(57)【要約】【課題】ステレオ画像から高精度かつ高速に物体を検出することのできる物体検知装置を提供する。【解決手段】この物体検知装置は、互いに水平方向に視差が生じるように配置された第１のカメラおよび第２のカメラと、第１のカメラまたは第２のカメラとの間で垂直方向に視差が生じるように配置された第３のカメラと、演算処理回路とを具備する。演算処理回路は、第１のカメラおよび第２のカメラによってそれぞれ撮像された２つの画像の水平視差画像を算出するとともに、第１のカメラまたは第２のカメラと第３のカメラによってそれぞれ撮像された２つの画像の垂直視差画像を算出し、画素毎に水平視差画像と垂直視差画像とを合成して合成視差画像を生成し、この合成視差画像をもとに物体を検出する。【選択図】図１
2018013985.tif 000002
【特許請求の範囲】
【請求項１】
互いに水平方向に視差が生じるように配置された第１のカメラおよび第２のカメラと、
前記第１のカメラまたは前記第２のカメラとの間で垂直方向に視差が生じるように配置された第３のカメラと、
前記第１のカメラおよび前記第２のカメラによってそれぞれ撮像された２つの画像の対応点を水平方向に探索して水平視差画像を算出し、前記第１のカメラまたは前記第２のカメラと前記第３のカメラによってそれぞれ撮像された２つの画像の対応点を垂直方向に探索して垂直視差画像を算出し、画素毎に前記水平視差画像と前記垂直視差画像とを合成して合成視差画像を生成し、この合成視差画像をもとに物体を検出する演算処理回路と
を具備する物体検知装置。
【請求項２】
請求項１に記載の物体検知装置であって、
前記演算処理回路は、前記水平視差画像および前記垂直視差画像のうち一方を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成するように構成された
物体検知装置。
【請求項３】
請求項１に記載の物体検知装置であって、
前記演算処理回路は、前記水平視差画像および前記垂直視差画像のうちエッジ強度が高い方を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成するように構成された
物体検知装置。
【請求項４】
請求項１に記載の物体検知装置であって、
前記演算処理回路は、画素毎に前記水平視差画像と前記垂直視差画像との加算平均をとって前記合成視差画像を生成するように構成された
物体検知装置。
【請求項５】
請求項１に記載の物体検知装置であって、
前記演算処理回路は、少なくとも、
前記水平視差画像を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第１の方法、
前記垂直視差画像を優先しつつ、前記画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第２の方法、
前記水平視差画像および前記垂直視差画像のうちエッジ強度が高い方を優先しつつ、前記画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第２の方法、および、
前記画素毎に前記水平視差画像と前記垂直視差画像との加算平均をとって前記合成視差画像を生成する第４の方法
を含む複数の方法のなかから予め選択された方法を用いて前記合成視差画像を生成するように構成された物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラを用いて生成された視差画像から路面上の物体を検出する物体検知装置に関する。
【背景技術】
【０００２】
車両の前方の物体を検知する方式として、ステレオカメラにより撮像された左右一対の画像を対応する点の画素同士における水平方向の視差値で画素毎に置き換えた視差画像（以下、「水平視差画像」と呼ぶ。）から物体を検知する方法が知られている。
【０００３】
例えば、特許文献１には、水平視差画像のなかで互いに距離（視差）が近い画素が隣接する領域を１つのグループとし、グループ毎に物体を検知する方法が開示されている。水平視差画像には、物体の輪郭の垂直成分に対する視差情報が物体の検知上有効なエッジとして表現されるが、輪郭の水平成分は表現されない。このため、１つの物体は左右に２つのグループに分割されやすい。そこで、特許文献１では、左右の垂直エッジの相関性を調べ、相関がある場合には、２つのグループを包含するようにマージして、１つのグループとすることによって物体の誤検知防止を図っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０９６００５号公報（段落００５６、図８）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、左右一対の画像間の水平方向の視差が輝度に置き換えられることによって生成される水平視差画像には、物体の輪郭の垂直成分が垂直エッジとして表れるが、物体の輪郭の水平成分はエッジとして表れない。このため、本来１つの物体がグループピングによって誤って２つの別々のグループに分割され、物体を正しく検知することができないケースがあった。
【０００６】
特許文献１では、左右の垂直エッジの分布などから左右の垂直エッジ成分の相関性を調べ、相関がある場合には２つのグループを包含するようにマージして、１つのグループとすることによって物体の誤検知の防止を図っているが、そのための複雑な処理が必要となり、それによる速度の低下や精度の低下を伴うことは必至である。
【０００７】
以上のような事情に鑑み、本発明の目的は、ステレオ画像から高精度かつ高速に物体を検出することのできる物体検知装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一形態に係る物体検知装置は、
互いに水平方向に視差が生じるように配置された第１のカメラおよび第２のカメラと、
前記第１のカメラまたは前記第２のカメラとの間で垂直方向に視差が生じるように配置された第３のカメラと、
前記第１のカメラおよび前記第２のカメラによってそれぞれ撮像された２つの画像の対応点を水平方向に探索して水平視差画像を算出し、前記第１のカメラまたは前記第２のカメラと前記第３のカメラによってそれぞれ撮像された２つの画像の対応点を垂直方向に探索して垂直視差画像を算出し、画素毎に前記水平視差画像と前記垂直視差画像とを合成して合成視差画像を生成し、この合成視差画像をもとに前記物体を検出する演算処理回路とを具備して構成される。
【０００９】
本発明の一形態に係る物体検知装置では、演算処理回路が、物体の輪郭の垂直成分が垂直エッジとして存在する水平視差画像と、物体の輪郭の水平成分が水平エッジとして存在する垂直視差画像とを画素毎に合成して得た合成視差画像をもとに物体を検出することによって、物体の全体的な輪郭を確実かつ高速に検知することができる。
【００１０】
前記演算処理回路は、前記水平視差画像および前記垂直視差画像のうち一方を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成するように構成されたものであってよい。
【００１１】
前記演算処理回路は、前記水平視差画像および前記垂直視差画像のうちエッジ強度が高い方を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成するように構成されたものであってよい。
【００１２】
前記演算処理回路は、画素毎に前記水平視差画像と前記垂直視差画像との加算平均をとって前記合成視差画像を生成するように構成されたものであってもよい。
【００１３】
さらに、前記演算処理回路は、少なくとも、前記水平視差画像を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第１の方法、前記垂直視差画像を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第２の方法、前記水平視差画像および前記垂直視差画像のうちエッジ強度が高い方を優先しつつ、画素毎に前記水平視差画像と前記垂直視差画像との論理和をとって前記合成視差画像を生成する第２の方法、および、画素毎に前記水平視差画像と前記垂直視差画像との加算平均をとって前記合成視差画像を生成する第４の方法を含む複数の方法のなかから予め選択された方法を用いて前記合成視差画像を生成するように構成されたものであってもよい。
【発明の効果】
【００１４】
本発明によれば、ステレオ画像から高精度かつ高速に物体を検知することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る一実施形態である物体検知装置１の構成を示すブロック図である。
【図２】図１のステレオカメラ１０の構成を示す概略斜視図である。
【図３】水平視差画像の生成手順を示すフローチャートである。
【図４Ａ】物体像の輪郭における垂直成分に対する水平探索の例を示す図である。
【図４Ｂ】同じく物体像の輪郭における垂直成分に対する水平探索の例を示す図である。
【図５】物体像の輪郭における水平成分に対する水平探索の例を示す図である。
【図６】水平視差画像の例を示す図である。
【図７】垂直視差画像の生成手順を示すフローチャートである。
【図８Ａ】物体像の輪郭における水平成分に対する垂直探索の例を示す図である。
【図８Ｂ】同じく物体像の輪郭における水平成分に対する垂直探索の例を示す図である。
【図９】物体像の輪郭における垂直成分に対する垂直探索の例を示す図である。
【図１０】垂直視差画像の例を示す図である。
【図１１】図６の水平視差画像と図１０の垂直視差画像とを合成した合成視差画像を示す図である。
【図１２】水平視差画像と垂直視差画像とを合成する方法１−４を示す表である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら、本発明の物体検知装置に係る一実施形態を説明する。
本実施形態は、ステレオカメラによって撮影された複数の画像を用いて、車両前方の車両、人、その他の障害物などの物体を検出する物体検知装置に関するものである。
【００１７】
図１は本実施形態の物体検知装置１の構成を示すブロック図である。
同図に示すように、本実施形態の物体検知装置１は、車両前方を撮像するステレオカメラ１０と、演算処理回路２０と、メモリ３０とを備える。なお、メモリ３０は演算処理回路２０内に設けられていてもよい。
【００１８】
図２はステレオカメラ１０の構成を示す概略斜視図である。
同図に示すように、ステレオカメラ１０は、３つのカメラ１０Ｒ、１０Ｌ、１０Ｕを有する。そのうち２つのカメラ１０Ｒ、１０Ｌ（第１のカメラ、第２のカメラ）は、水平方向（Ｘ軸方向）において視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。カメラ１０Ｕ（第３のカメラ）は、カメラ１０Ｌとの間で、垂直方向（Ｚ軸方向）において視差が生じるように互いに離間し、かつ各々の光軸が平行となるように配置される。
【００１９】
なお、以降の説明において、カメラ１０Ｒとカメラ１０Ｌのペアを「水平カメラペア」、カメラ１０Ｌとカメラ１０Ｕのペアを「垂直カメラペア」と適宜呼ぶことにする。
【００２０】
カメラ１０Ｒ、１０Ｌ、１０Ｕは、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。各々のカメラ１０Ｒ、１０Ｌ、１０Ｕにより各々得られた撮像信号は演算処理回路２０に供給される。
【００２１】
演算処理回路２０は、メモリ３０を用いて視差算出および物体検知のための演算処理を行うデバイスであり、例えば、ＦＰＧＡ（Field-Programmable Gate Array）などにより構成される。これに限らず、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）などの、他の集積回路により構成されたものであってもよい。
【００２２】
演算処理回路２０は、機能的には画像処理部２１と物体検知部２２とを有する。
画像処理部２１は、ステレオカメラ１０より供給された３つの映像信号をデジタル化して画像とし、前処理として、各々の画像の歪み補正、各々の画像からのノイズ除去などのフィルタ処理などを行う。
【００２３】
また、画像処理部２１は、水平カメラペアを構成するカメラ１０Ｒおよびカメラ１０Ｌからの各映像信号について、前処理が施された一方の画像（カメラ１０Ｌの画像）を基準画像、他方の画像（カメラ１０Ｒの画像）を参照画像として各々の画像の対応関係を水平方向に探索して水平視差画像を生成する。
【００２４】
また、画像処理部２１は、垂直カメラペアを構成するカメラ１０Ｌおよびカメラ１０Ｕからの各映像信号について、前処理が施された一方の画像（カメラ１０Ｌの画像）を基準画像、他方の画像（カメラ１０Ｕの画像）を参照画像として各々の画像の対応関係を垂直方向に探索して垂直視差画像を生成する。
【００２５】
さらに、画像処理部２１は、画素毎に水平視差画像と垂直視差画像とを合成して合成視差画像を生成し、物体検知部２２に供給する。
【００２６】
物体検知部２２は、合成視差画像から、互いに視差が近い画素が隣接する領域をグループ化し、グループ化された領域内に存在する輝度のエッジ成分から物体を検知し、検知された物体の路面上の位置（ステレオカメラからの距離、路面からの高さ）などの物体に関する空間情報や、物体の種類（車両、自転者、歩行者、その他の障害物、路面凹凸）などの特性情報を、例えば、アクティブ・サスペンションシステム、衝突被害軽減のための自動ブレーキシステム、ドライバーへの注意喚起のためのアラートシステムなどの外部の制御対象システム４０に出力する。
【００２７】
（物体検知装置１の動作）
次に、本実施形態の物体検知装置１の動作を説明する。
ステレオカメラ１０の３つのカメラ１０Ｒ、１０Ｌ、１０Ｕによって各々撮像された撮像信号は演算処理回路２０に供給される。
【００２８】
演算処理回路２０は、画像処理部２１にて、各々の撮像信号に対して歪み補正、ノイズの除去などの前処理を行い、その結果得られた３つの画像をメモリ３０に保存する。ここで、カメラ１０Ｌにより得られた画像は基準画像としてメモリ３０に保存され、カメラ１０Ｒにより得られた画像は水平視差算出用の参照画像としてメモリ３０に保存され、カメラ１０Ｕにより得られた画像は垂直視差算出用の参照画像としてメモリ３０に保存される。
【００２９】
次に、画像処理部２１は、３つのカメラ１０Ｒ、１０Ｌ、１０Ｕによって各々撮像された画像から水平視差画像および垂直視差画像を算出する。
【００３０】
図３は、水平視差画像の生成手順を示すフローチャートである。
まず、画像処理部２１は、メモリから基準画像と水平視差算出用の参照画像を読み込む（ステップＳ１０１）。
【００３１】
次に、画像処理部２１は、基準画像と参照画像との対応点を水平方向に探索するために用いられる視差探索範囲のサイズと視差探索窓のサイズを設定する（ステップＳ１０２）。画像処理部２１は、視差探索窓を視差探索範囲内で１画素ずつ水兵方向に移動させながらマッチング処理を繰り返すことによって、基準画像の画素（注目画素）毎に、これに対応する参照画像の画素を水平方向に探索する水平探索を行う。
【００３２】
水平探索では、画像処理部２１は、まず、基準画像の例えば左下隅などの原点にあたる画素を最初の注目画素として設定し（ステップＳ１０３）、この注目画素を所定の位置に含む視差探索窓の画像と、同じく参照画像の原点にあたる画素を所定の位置に含む視差探索窓の画像とのステレオマッチングを行い、一致度を算出する（ステップＳ１０４）。
【００３３】
次に、画像処理部２１は、参照画像の視差探索窓の位置を１画素分水平方向に移動させ（ステップＳ１０５）、同様にステレオマッチングにより一致度を算出する（ステップＳ１０４）。この処理を設定された視差探索範囲内で繰り返す（ステップＳ１０６）。
【００３４】
画像処理部２１は、視差探索範囲内でのステレオマッチングの繰り返しによって算出されたすべての一致度のなかから最大一致度が得られたときの視差探索窓と最初の視差探索窓との水平方向の距離を視差として算出する（ステップＳ１０７）。
【００３５】
次に、画像処理部２１は、基準画像の注目画素を次の画素にして（ステップＳ１０８）、同様に水平探索を行う。このようにして基準画像のすべての画素に対して水平探索を繰り返す（ステップＳ１０９）。
【００３６】
図４Ａおよび図４Ｂは、物体像の輪郭における垂直成分に対する水平探索の例を示す図である。図４Ａは視差探索範囲５３内での最初のステレオマッチングの様子であり、基準画像５１および参照画像５２の視差探索範囲５３は画像の座標空間において同一位置にある。図４Ｂは視差探索範囲５３内で参照画像５２に対する視差探索窓５４の位置を３画素分水平方向に移動させたときのステレオマッチングの様子である。ここでは一例として、視差探索窓５４のサイズは４×４画素とする。
【００３７】
この例では、図４Ｂに示したように、視差探索範囲５３内で参照画像５２に対する視差探索窓５４の位置を２画素分水平方向に移動させたときの一致度に急峻なピークが現れることによって、物体の輪郭の垂直成分に対する視差情報が高い精度で得られることが分かる。
【００３８】
図５は、物体像の輪郭における水平成分に対する水平探索の例を示す図である。このように、物体像の輪郭における水平成分に対する水平探索では、視差探索範囲５３内で参照画像５２に対する視差探索窓５４を水平方向に移動させた先々の視差探索窓５４内の画像に大きな変化が現れないため有効な視差情報が生成されない。
【００３９】
これにより、例えば図６に示すように、物体像の輪郭６１の垂直成分に対応する有効な視差情報６３、６４を含む水平視差画像６２が得られる。
【００４０】
一方、垂直視差画像の算出も同様に行われる。
図７は、垂直視差画像の生成手順を示すフローチャートである。
まず、画像処理部２１は、メモリ３０から基準画像と垂直視差算出用の参照画像を読み込む（ステップＳ２０１）。
【００４１】
次に、画像処理部２１は、基準画像と参照画像との対応点を垂直方向に探索するために用いられる視差探索範囲のサイズと視差探索窓のサイズを設定する（ステップＳ２０２）。画像処理部２１は、視差探索窓を視差探索範囲内で１画素ずつ垂直方向に移動させながらマッチング処理を繰り返すことによって、基準画像の画素（注目画素）毎に、これに対応する参照画像の画素を垂直方向に探索する垂直探索を行う。
【００４２】
垂直探索では、画像処理部２１は、まず、基準画像の例えば左下隅などの原点にあたる画素を最初の注目画素として設定し（ステップＳ２０３）、この注目画素を所定の位置に含む視差探索窓の画像と、同じく参照画像の原点にあたる画素を所定の位置に含む視差探索窓の画像とのステレオマッチングを行い、一致度を算出する（ステップＳ２０４）。
【００４３】
次に、画像処理部２１は、参照画像の視差探索窓の位置を１画素分垂直方向に移動させ（ステップＳ２０５）、同様にステレオマッチングにより一致度を算出する（ステップＳ２０４）。この処理を設定された視差探索範囲内で繰り返す（ステップＳ２０６）。
【００４４】
画像処理部２１は、視差探索範囲内でのステレオマッチングの繰り返しによって算出されたすべての一致度のなかから最大一致度が得られたときの視差探索窓と最初の視差探索窓との垂直方向の距離を視差として算出する（ステップＳ２０７）。
【００４５】
次に、画像処理部２１は、基準画像の注目画素を次の画素にして（ステップＳ２０８）、同様に垂直探索を行う。このようにして基準画像のすべての画素に対して垂直探索を繰り返す（ステップＳ２０９）。
【００４６】
図８Ａおよび図８Ｂは、物体像の輪郭における水平成分に対する垂直探索の例を示す図である。図８Ａは視差探索範囲５３内での最初のステレオマッチングの様子であり、基準画像５１および参照画像５２の視差探索範囲５３は画像の座標空間において同一位置にある。図８Ｂは視差探索範囲５３内で参照画像５２に対する視差探索窓５４の位置を２画素分垂直方向に移動させたときのステレオマッチングの様子である。ここでは一例として、視差探索窓５４のサイズは４×４画素とする。
【００４７】
この例では、図８Ｂに示したように、視差探索範囲５３内で参照画像５２に対する視差探索窓５４の位置を３画素分垂直方向に移動させたときの一致度に急峻なピークが現れることによって高い精度で視差情報が得られることが分かる。
【００４８】
図９は、物体像の輪郭における垂直成分に対する垂直探索の例を示す図である。このように、物体像の輪郭における垂直線分に対する垂直探索では、視差探索範囲５３内で参照画像５２に対する視差探索窓５４を垂直方向に移動させた先々の視差探索窓５４内の画像に大きな変化が現れないため有効な視差情報が得られない。
【００４９】
この結果、例えば図１０に示すように、物体像の輪郭６１の水平成分に対応する視差情報６６、６７を含む垂直視差画像６５が得られる。
【００５０】
次に、画像処理部２１は、図１１に示すように、画素毎に水平視差画像６２と垂直視差画像６５とを合成して、視差情報６３、６４、６６、６７を含む合成視差画像６８を生成する。
【００５１】
画素毎に水平視差画像６２と垂直視差画像６５とを合成する方法の１つとして、画素毎に水平視差画像６２と垂直視差画像６５との論理和をとる方法がある。このように画素毎に水平視差画像６２と垂直視差画像６５との論理和をとって合成視差画像６８を生成する場合、１つの画素位置に対して水平視差画像６２と垂直視差画像６５の双方ともに有効な視差情報が存在するとき、その画素位置の合成視差画像６８の視差情報は、例えば、以下の各方法のいずれかによって求めることが可能である。
１．水平視差画像優先（方法１）
２．垂直視差画像優先（方法２）
３．エッジ強度優先（方法３）
４．加算平均（方法４）
【００５２】
図１２は水平視差画像と垂直視差画像とを合成する各方法１−４を示す表である。
なお、この表において「視差情報あり」とは対象の画素位置に上記の「有効な視差情報」が存在する場合を意味し、「視差情報なし」とは対象の画素位置に上記の「有効な視差情報」が存在しない場合を意味する。
【００５３】
（水平視差画像優先（方法１））
水平視差画像優先（方法１）が採用されている場合、画像処理部２１は、水平視差画像６２を優先しつつ、画素毎に水平視差画像６２と垂直視差画像６５との論理和をとって合成視差画像６８を生成する。
【００５４】
すなわち、画像処理部２１は、画素毎に以下の処理を行う。
画像処理部２１は、対象の画素位置に水平視差画像６２の有効な視差情報Ｄｐ１が存在する場合、垂直視差画像６５の同じ画素位置に有効な視差情報Ｄｐ２が存在する／しないにかかわず、水平視差画像６２の視差情報Ｄｐ１を合成視差画像６８における当該画素位置の視差情報として決定する。
【００５５】
また、画像処理部２１は、対象の画素位置に水平視差画像６２の有効な視差情報Ｄｐ１が存在せず、垂直視差画像６５の同じ画素位置に有効な視差情報Ｄｐ２が存在する場合には、その垂直視差画像６５の視差情報Ｄｐ２を合成視差画像６８における当該画素位置の視差情報として決定する。
【００５６】
この方法１によれば、物体の輪郭の垂直成分に対する視差情報が物体の検知上有効なエッジとして優先的に検出されるので、例えば、路面上の走行方向に沿ったライン（センターライン、路側ラインなど）の検出の精度向上を期待できる。
【００５７】
（垂直視差画像優先（方法２））
垂直視差画像優先（方法２）が採用されている場合、画像処理部２１は、垂直視差画像６５を優先しつつ、画素毎に水平視差画像６２と垂直視差画像６５との論理和をとって合成視差画像６８を生成する。
【００５８】
すなわち、画像処理部２１は、画素毎に以下の処理を行う。
画像処理部２１は、対象の画素位置に垂直視差画像６５の有効な視差情報Ｄｐ２が存在する場合、水平視差画像６２の同じ画素位置に有効な視差情報Ｄｐ１が存在する／しないにかかわず、垂直視差画像６５の視差情報Ｄｐ２を合成視差画像６８における当該画素位置の視差情報として決定する。
【００５９】
また、画像処理部２１は、対象の画素位置に垂直視差画像６５の有効な視差情報Ｄｐ２が存在せず、水平視差画像６２の同じ画素位置に有効な視差情報Ｄｐ１が存在する場合には、その水平視差画像６２の視差情報Ｄｐ１を合成視差画像６８における当該画素位置の視差情報として決定する。
【００６０】
この方法２によれば、物体の輪郭の水平成分に対する視差情報が物体の検知上有効なエッジとして優先的に検出されるので、例えば、路面の段差や傾斜などを検出する場合の精度向上を期待できる。
【００６１】
（エッジ強度優先（方法３））
エッジ強度優先（方法３）が採用されている場合、画像処理部２１は、水平視差画像６２と垂直視差画像６５のうちエッジ強度が高い方を優先しつつ、画素毎に水平視差画像６２と垂直視差画像６５との論理和をとって合成視差画像６８を生成する。
【００６２】
ここで、水平視差画像６２のエッジ強度とは、例えば、水平視差画像６２の視差情報Ｄｐ１における水平方向のエッジ強度の平均値などであり、垂直視差画像６５のエッジ強度とは、例えば、垂直視差画像６５の視差情報Ｄｐ２における垂直方向のエッジ強度の平均値などであってよい。
【００６３】
また、水平視差画像６２および垂直視差画像６５に対して各々１つずつエッジ強度を求め、優先する視差画像を判定してもよいが、水平視差画像６２および垂直視差画像６５を各々複数のブロックに分割し、ブロック毎に各エッジ強度を求めてこれらを比較することによって、ブロック毎に優先する視差画像を判定してもよい。
【００６４】
（加算平均（方法４））
加算平均（方法４）が採用されている場合、画像処理部２１は、画素毎に水平視差画像６２と垂直視差画像６５との加算平均をとった結果を合成視差画像６８として求める。すなわち、画像処理部２１は、対象の画素位置の合成視差画像６８の視差情報をＤｐ３として、これを以下の式により求める。
Ｄ３＝（Ｄｐ１＋Ｄｐ２）／２
【００６５】
以上のように、画素毎に水平視差画像６２と垂直視差画像６５とを合成することによって、物体像の輪郭の垂直成分および水平成分にそれぞれ対応する有効な視差情報６３、６４、６６、６７を含む合成視差画像６８が得られる。そして画像処理部２１は、生成された合成視差画像６８を物体検知部２２に供給する。
【００６６】
物体検知部２２は、画像処理部２１より供給された合成視差画像６８をもとに物体の検知を行う。この際、合成視差画像６８には、物体像の輪郭にあたる左右両側の垂直成分および上下の水平成分にそれぞれ対応する有効な視差情報６３、６４、６６、６７が含まれているので、視差情報６３、６４、６６、６７を一体に含む領域を１つのグループとして判定することができる。したがって、物体を精度良くかつ高速に検知することができる。
【００６７】
なお、上記の各方法１−４のなかからどの方法を採用するかは、例えば、人為的に切り替えて選択されてもよいし、使用する制御対象システム４０に応じて自動的に選択されてもよい。あるいは、上記の各方法１−４のうちの１つが固定的に採用されてもよい。
【００６８】
方法が人為的に切り替えて選択される場合、ユーザは、例えば専用のスイッチやボタン、あるいは表示画面上のグラフィカルユーザインタフェースなどの選択部７０（図１参照）の操作によって、上記複数の方法１−４のなかから１つの方法を選択することができる。選択部７０によって選択された方法は、演算処理回路２０によって画像処理部２１に設定される。
【００６９】
［補足等］
さらに、本発明は、路面を走行する車両に適用されるだけでなく、室内の床面などの走行面を移動する各種運搬用の機器やロボットなどにも適用することが可能であり、その他、移動する物体であれば適用され得るものである。
【符号の説明】
【００７０】
１…物体検知装置
１０…ステレオカメラ
１０Ｒ、１０Ｌ、１０Ｕ…カメラ
２０…演算処理回路
２１…画像処理部
２２…物体検知部
３０…メモリ
【図１】
2018013985.tif 000003
【図２】
2018013985.tif 000004
【図３】
2018013985.tif 000005
【図４Ａ】
2018013985.tif 000006
【図４Ｂ】
2018013985.tif 000007
【図５】
2018013985.tif 000008
【図６】
2018013985.tif 000009
【図７】
2018013985.tif 000010
【図８Ａ】
2018013985.tif 000011
【図８Ｂ】
2018013985.tif 000012
【図９】
2018013985.tif 000013
【図１０】
2018013985.tif 000014
【図１１】
2018013985.tif 000015
【図１２】
2018013985.tif 000016