(57)【要約】【課題】走行車両の直前に突然現れる物体であってもより精度良く且つ迅速に検出して、走行車両の安全性を確保する走行情報提供装置を提供すること。【解決手段】運転支援装置１００において、不適視差値画素領域特定部１１４が、視差値を所定時間内に算出できない画素及び上限値を超える視差値が得られる画素を含む不適視差値画素領域を特定し、近傍物体画像候補特定部１１５が、不適視差値画素領域と近傍物体対応画素領域とのオーバラップ画素領域を特定するとともに当該オーバラップ画素領域に基づいて近傍物体画像候補を特定し、喚起・制御部１２０が、特定された近傍物体画像候補に基づいて、安全確認の喚起又は自車両の運転状態の制御を行う。こうして、従来物体検出に用いられずに捨てられていた不適視差値が得られる画素の情報（１タイミングにおける情報）を利用して自車両の近傍物体を検出することより、精度良く且つ迅速に検出することができる。【選択図】図１
2009276906.tif 000002
【特許請求の範囲】
【請求項１】
搭載される自車両に配設された第１のカメラ及び第２のカメラで撮影された基準画像及び比較画像を取得するステレオ画像取得手段と、
前記基準画像及び前記比較画像を用いてステレオマッチング処理を行うことにより、前記基準画像を構成する画素ごとに前記比較画像との視差値を算出する視差値算出手段と、
前記視差値算出手段で得られた算出結果に基づいて、前記視差値を所定時間内に算出できない画素及び上限値を超える視差値が得られる画素を含む不適視差値画素領域を特定する特定手段と、
前記第１及び第２のカメラの近傍に存在する被撮影物体の画像が現れる画素群からなる近傍物体対応画素領域に関する情報を記憶する記憶手段と、
前記不適視差値画素領域と前記近傍物体対応画素領域とのオーバラップ画素領域を特定し、当該オーバラップ画素領域に基づいて近傍物体画像候補を特定する近傍物体画像候補特定手段と、
前記特定された近傍物体画像候補に基づいて、安全確認の喚起又は自車両の運転状態の制御を行う喚起・制御手段と、
を具備する走行情報提供装置。
【請求項２】
前記近傍物体画像候補特定手段は、前記オーバラップ画素領域の面積、幅、高さ、長軸半径、短軸半径、凸度、及びモーメントのうち少なくとも１つを解析パラメータとして算出し、当該算出した値が解析パラメータごとに設定された近傍物体画像判定閾値以上であるときに、前記オーバラップ画素領域を前記近傍物体画像候補として特定する、
請求項１に記載の走行情報提供装置。
【請求項３】
前記オーバラップ画素領域における輝度のばらつき度を評価する輝度評価手段を具備し、
前記近傍物体画像候補特定手段は、前記ばらつき度が物体判定閾値以上であるときに、前記オーバラップ画素領域を前記近傍物体画像候補として特定する、
請求項１に記載の走行情報提供装置。
【請求項４】
前記オーバラップ画素領域における輝度のばらつき度を評価する輝度評価手段を具備し、
前記近傍物体画像候補特定手段は、
前記オーバラップ画素領域の面積、幅、高さ、長軸半径、短軸半径、凸度、及びモーメントのうち少なくとも１つを解析パラメータとして算出し、
当該算出した値が解析パラメータごとに設定された近傍物体画像判定閾値以上であり、且つ、前記ばらつき度が物体判定閾値以上であるときに、前記オーバラップ画素領域を前記近傍物体画像候補として特定する、
請求項１に記載の走行情報提供装置。
【請求項５】
前記喚起・制御手段は、物体種別に応じた形状テンプレートを保持するとともに前記特定された近傍物体画像候補と前記形状テンプレートとの形状一致度に基づいて物体種別を判別し、当該判別した物体種別に応じて、安全確認の喚起又は自車両の運転状態の制御を行う、
請求項１から請求項４のいずれかに記載の走行情報提供装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像から求められる視差情報を利用した走行情報提供装置に関する。
【背景技術】
【０００２】
近年、自動車の安全性向上のために、前方の車両等の障害物を検知し、当該障害物との衝突の危険を運転者に警告する技術が開発されている。このような技術では、自車両にとって衝突する危険性のある障害物を検出するために、カメラ、レーダ等の車載センサが用いられる。
【０００３】
車載のセンサとして、複数のカメラからなるステレオカメラが用いられる場合がある。各カメラで撮影された画像において、同じ物体の像が現れる位置を特定して（この処理をステレオマッチングと呼ぶことがある）、その位置のずれである視差値を算出する。この視差は、撮像位置（つまり、カメラの配置）の違いから生じる。
【０００４】
一般的に、算出された視差値は、三角測量法によって、自車両から被撮像物体までの距離に換算される。このようにして得られた視差情報または距離情報を利用して、物体検出処理が実施される。具体的には、例えば、略同一の視差値が集合している部分を物体の像として抽出する方法等で、物体検出が行われる。更に、時系列的に撮影された複数の画像において、この物体検出を行い、複数画像における同一物体像の位置を追跡することで、自車両にとって危険な障害物かどうかの判定が可能となる。そして、危険な障害物が存在する場合には、運転者への警告を行うことが可能となる。
【０００５】
また特許文献１にも、この視差を用いて物体を検出する技術が開示されている。
【０００６】
特許文献１に開示されている車外監視装置は、車外の対象をステレオ撮像した、２枚の画像間のシティブロック距離を計算して距離情報を出力する距離検出回路を備え、この距離検出回路からの距離情報に基づいて車外の状況を認識するものであり、上記距離検出回路からの距離情報に基づく今回の立体物の検出結果と前回の立体物の検出結果とを照合し、上記距離検出回路の検出可能限界距離より近くに立体物が存在するか否かを判定し、上記距離検出回路の検出可能限界距離より近くに立体物が存在すると判定されたとき、一方の撮像画像に設定した領域に対応する部分を他方の撮像画像から探索して視差を求め、この視差から上記距離検出回路の検出可能限界距離より近くに存在する立体物までの距離を算出する至近距離算出プログラムを実行する。  
【特許文献１】特開２０００−２０７６９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記したように視差値又は当該視差値を換算した距離情報のみを用いて物体検出する方法には、限界がある。すなわち、カメラ等の撮像部と、被撮像物体との距離がある限界距離より近くなると、正確な視差値を得ることができない。
【０００８】
この問題に対して、上記した特許文献１では距離検出回路の検出可能限界距離より近い位置に存在する物体までの距離を至近距離算出プログラムで算出している。
【０００９】
しかしながら、特許文献１に開示された技術では、被撮影エリア（つまり、カメラ視野内）に突然現れる物体を検出することはできない。これは、至近距離に物体が存在するか否かの判断に異なる２つのタイミングにおける検出結果を用いるので、その判断時から遠いタイミングの検出結果に、突然現れた物体が反映されていない可能性が高いからである。
【００１０】
また、最終的に検出物体に対する注意を運転者に喚起する場合、できるだけ早く喚起することが望まれるため、実際上、物体検出に掛けることができる時間は制限される。そのため、距離を算出できることを前提としている上記従来技術では、その制限時間内に視差値又は当該視差値に対応する距離情報を算出できないことが十分に考えられる。
【００１１】
このように従来技術では、特に被撮影エリアに突然現れるような物体を精度良く且つ迅速に検出できず、その結果、物体検出装置が搭載される走行車両の安全性を十分に確保できない問題がある。
【００１２】
本発明は、かかる点に鑑みてなされたものであり、走行車両の直前に突然現れる物体であってもより精度良く且つ迅速に検出して、走行車両の安全性を確保する走行情報提供装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の走行情報提供装置は、搭載される自車両に配設された第１のカメラ及び第２のカメラで撮影された基準画像及び比較画像を取得するステレオ画像取得手段と、前記基準画像及び前記比較画像を用いてステレオマッチング処理を行うことにより、前記基準画像を構成する画素ごとに前記比較画像との視差値を算出する視差値算出手段と、前記視差値算出手段で得られた算出結果に基づいて、前記視差値を所定時間内に算出できない画素及び上限値を超える視差値が得られる画素を含む不適視差値画素領域を特定する特定手段と、前記第１及び第２のカメラの近傍に存在する被撮影物体の画像が現れる画素群からなる近傍物体対応画素領域に関する情報を記憶する記憶手段と、前記不適視差値画素領域と前記近傍物体対応画素領域とのオーバラップ画素領域を特定し、当該オーバラップ画素領域に基づいて近傍物体画像候補を特定する近傍物体画像候補特定手段と、前記特定された近傍物体画像候補に基づいて、安全確認の喚起又は自車両の運転状態の制御を行う喚起・制御手段と、を具備する構成を採る。
【発明の効果】
【００１４】
本発明によれば、走行車両の直前に突然現れる物体であってもより精度良く且つ迅速に検出して、走行車両の安全性を確保する走行情報提供装置を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、本実施の形態では、走行情報提供装置を、運転手に、衝突の危険性のある、回避対象物体の出現を走行情報として提供することで運転を支援する運転支援装置として説明する。実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。
【００１６】
（実施の形態１）
図１は、本発明の実施の形態１における運転支援装置（走行情報提供装置）１００の構成を示すブロック図である。
【００１７】
図１において運転支援装置１００は、ここでは車両に搭載されるものであり、物体検出装置１１０と、喚起・制御部１２０と、情報提示部１３０とを有する。
【００１８】
物体検出装置１１０は、車両に配設された複数のカメラで撮影された複数の画像情報（以下、「ステレオ画像情報」と呼ぶことがある）を取得する。各画像情報は、それぞれが画素（ピクセル）と対応する画素データ群で構成されている。
【００１９】
物体検出装置１１０は、取得したステレオ画像情報を用いて画素ごとの視差値を算出する。そして物体検出装置１１０は、算出された視差値データ群のうち、所定の視差値範囲（以下、「適正視差値範囲」と呼ぶことがある）に含まれる適正視差値データ群を用いて、車両前方に存在する物体を検出する。
【００２０】
更に、物体検出装置１１０は、適正視差値範囲から外れる視差値（つまり、略ゼロの視差値、視差値の信憑性が確保される上限値を超える視差値）を持つ画素及び所定の期間内で視差値を算出することができなかった画素から構成される不適視差値画素領域に基づいて、車両直前に存在する衝突回避対象物体を検出する。
【００２１】
ここでは物体検出装置１１０は、画像取得部１１１と、視差情報生成部１１２と、遠方物体検出部１１３と、不適視差値画素領域特定部１１４と、近傍物体画像候補特定部１１５と、近傍物体対応領域記憶部１１６を有している。
【００２２】
画像取得部１１１は、車両の左右に前方へ向けて配設された２つのカメラ（以下、「ステレオカメラ」と呼ぶことがある）で撮影されたステレオ画像情報を取得する。なお、ここでは説明を簡単にするために、設置カメラの数を２つとして説明するが、２つ以上であればその数は特に限定されるものではない。
【００２３】
取得されたステレオ画像情報には、２つのカメラで同時刻に撮影された、２つの画像情報が含まれている。一のカメラで撮影された画像情報が「基準画像」の情報であり、他のカメラで撮影された画像情報が「比較画像」の情報である。基準画像の一部の領域は、比較画像に含まれている。すなわち、基準画像と比較画像とは、一部がオーバラップしている。
【００２４】
画像取得部１１１は、取得した基準画像情報及び比較画像情報を視差情報生成部１１２に送出する。なお、所定期間内に取得したステレオ画像を、画像取得部１１１が基準画像と比較画像とで別々に平行化処理し、得られた情報を基準画像情報及び比較画像情報として視差情報生成部１１２に送出してもよい。この平行化処理については、後に詳述する。
【００２５】
視差情報生成部１１２は、基準画像及び比較画像を用いてステレオマッチング処理を行うことにより、画素ごとに基準画像と比較画像との視差値を算出する。ステレオマッチング処理では、まず、基準画像における任意点（基準点）に対応する比較画像における対応点が特定される。すなわち、基準画像の画素データ（以下、「基準画素データ」と呼ぶことがある）と対応する比較画像における画素データ（以下、「対応比較画素データ」と呼ぶことがある）が、画素ごとに特定される。
【００２６】
そして、基準画像の全体と比較画像の全体とを重ね合わせたときに、基準点と対応点との間に生じる距離が、視差値として算出される。すなわち、基準画素データの画素と対応比較画像データの画素との間に生じる距離が、視差値として算出される。
【００２７】
遠方物体検出部１１３は、適正視差値範囲に含まれる適正視差値データ群を用いて、車両前方に存在する物体を検出する。具体的には、遠方物体検出部１１３は、適正視差値範囲に含まれる適正視差値データ群から、視差値が略等しい視差値データを抽出する。これにより、物体画像候補ごとに視差値データをグルーピングすることができる。これは、同一物体の画像が存在する画素における視差値が略等しいという性質を利用している。
【００２８】
不適視差値画素領域特定部１１４は、適正視差値範囲から外れる視差値（つまり、略ゼロの視差値、視差値の信憑性が確保される上限値を超える視差値）を持つ画素及び所定の期間内で視差値を算出することができなかった画素を特定する。これにより、不適視差値画素領域が特定される。
【００２９】
近傍物体画像候補特定部１１５は、不適視差値画素領域と近傍物体対応領域とに基づいて、車両直前に存在する衝突回避対象物体の画像候補を特定する。近傍物体対応領域とは、カメラの近傍に存在する被撮像物体の画像が現れる画素群からなる領域である。この近傍物体対応領域に関する情報は、近傍物体対応領域記憶部１１６に記憶されている。
【００３０】
具体的には、近傍物体画像候補特定部１１５は、不適視差値画素領域と近傍物体対応領域とのオーバラップ部分に対応する画素識別データ、及びこれに対応する視差値データを抽出する。ここで不適視差値画素領域と近傍物体対応領域とのオーバラップ部分は、自車両の近傍に存在する被撮像物体の画像を写した画素である可能性が高い。すなわち、不適視差値画素領域には、被撮像物体までの距離が近すぎるために算出視差値が不適切な値となった画素が含まれるため、その不適視差値画素領域と近傍物体対応領域とのオーバラップ部分は、衝突回避対象物体の画像候補として利用することができる。
【００３１】
喚起・制御部１２０は、物体検出装置１１０における検出結果に基づいて、運転者に対して安全確認の喚起又は車両（ここでは、自車両）の運転状態の制御を行う。
【００３２】
喚起・制御部１２０は、処理実行判定部１２１と、提供情報処理部１２２とを有する。
【００３３】
処理実行判定部１２１は、遠方物体検出部１１３の検出結果に基づいて、運転者に対して安全確認の喚起又は車両の運転状態の制御を行う。
【００３４】
また、処理実行判定部１２１は、近傍物体画像候補特定部１１５で特定された、衝突回避対象物体の画像候補に基づいて、運転者に対して安全確認の喚起又は車両の運転状態の制御を行う。本実施の形態では、処理実行判定部１２１は、近傍物体画像候補特定部１１５で衝突回避対象物体の画像候補が特定されること、つまり、上記オーバラップ部分が存在することを条件に、運転者に対して安全確認の喚起又は車両の運転状態の制御を実行すると判定する。
【００３５】
提供情報処理部１２２は、処理実行判定部１２１で実行判定されると、提示情報を設定・変更し、設定・変更した提示情報を情報提示部１３０に出力する。
【００３６】
なお、提供情報処理部１２２において設定される提示情報は、情報提示部１３０において提示される形態に対応するものとする。例えば、情報提示部１３０が、表示パネルなどを用いた表示装置である場合は、当該表示パネルに表示される表示画像として設定され、また、スピーカなどの発音装置であれば、提示情報を音声データとして設定される。また、ハンドル又は座席に配設された振動装置であれば、提示情報を振動データとして設定される。
【００３７】
情報提示部１３０は、提供情報処理部１２２において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
【００３８】
ここでは、情報提示部１３０は、車両に搭載される表示パネル（表示部）を備え、車両の運転者に安全確認対象となる対象物の見落としを確認させるための表示を行うものとする。なお、この情報提示部１３０は、警告音、警告音声などを発して運転者に報知する発音装置により構成されてもよい。また、歩行者などに運転支援装置１００が搭載される車両の運転者の見落としを報知したりする報知装置としてもよい。
【００３９】
上記構成を有する運転支援装置１００の動作について図２のフローに沿って説明する。
【００４０】
［ステレオ画像の平行化処理］
ステップＳ１００１で画像取得部１１１は、所定期間内に取得したステレオ画像を、基準画像と比較画像とで別々に平行化処理する。ここで平行化処理とは、ステレオ画像の基準画像及び比較画像のそれぞれについて、エピポーラ線が画像の水平座標軸に対して平行となるようにする、幾何補正処理である。平行化処理を行うためには、必要なパラメータを予め求めておく必要がある。このパラメータを求める方法としては、形状が既知で特徴点の明確な対象物（例えば、チェッカーボード）をステレオカメラで撮影し、各カメラにおける特徴点の検出結果をもとにして、パラメータを算出する方法が一般的に知られている。
【００４１】
［対応点特定処理、視差値算出処理］
ステップＳ１００２で視差情報生成部１１２は、基準画像における任意点（基準点）に対応する比較画像における対応点を特定し、視差値（つまり、基準画像の全体と比較画像の全体とを重ね合わせたときに基準点と対応点との間に生じる距離）を画素ごとに算出する。
【００４２】
図３は、基準画像の基準点と比較画像の対応点と視差値との関係を示す図である。図３に示すように、基準画像上の基準点に対応する対応点は、比較画像において、基準画像における位置よりも左に存在する。この基準点の位置と対応点の位置との差が、視差値として算出される。
【００４３】
なお、ステレオ画像から対応点を求める方法はどのような方法であってもよい。例えば、基準画像において視差を求めたい点を中心としてその中心点の周囲の点を含む基準領域を抽出し、比較画像において基準領域と同じ大きさの比較領域を順次抽出し、基準領域との輝度差分の絶対値の総和が最小の比較領域を特定することにより、対応点を求める方法（絶対差分和法）でもよい。
【００４４】
このように求められた視差値を対応画素に展開した画像（以下、「視差値画像」と呼ぶことがある）と、カメラ画像（例えば、基準画像）とを図４に示す。図４（ａ）には、基準画像が示され、図４（ｂ）には、その基準画像と対応する視差値画像が示されている。
【００４５】
図４（ｂ）の視差値画像において黒塗りで表された画素領域は、上記不適視差値画像領域であり、それ以外の部分は、上記適正視差値データ群に対応する画素領域である。
【００４６】
［遠方物体検出処理］
ステップＳ１００３で遠方物体検出部１１３は、適正視差値範囲に含まれる適正視差値データ群を用いて、自車両の遠方に存在する遠方物体を検出する。この遠方物体の検出に用いられる適正視差値範囲に含まれる適正視差値データ群が対応画素に展開されることにより得られる視差値画像が、図５に示されている。
【００４７】
具体的には、遠方物体検出部１１３は、適正視差値範囲に含まれる適正視差値データ群から、視差値が略等しい視差値データを抽出する。こうすることにより、図５に示すように黒枠で囲まれた各領域が、それぞれグルーピングされることになる。ここでは、３つの遠方物体が検出される。
【００４８】
［不適視差値画素領域特定処理］
ステップＳ１００４で不適視差値画素領域特定部１１４は、適正視差値範囲から外れる視差値（つまり、略ゼロの視差値、視差値の信憑性が確保される上限値を超える視差値）を持つ画素及び所定の期間内で視差値を算出することができなかった画素を特定する。この不適視差値画素領域のみが抜き出された視差値画像が、図６に示される。
【００４９】
ここで図６の視差値画像において、上側に現れる不適視差値画素領域は視差値が略ゼロの領域（図６におけるＤ１）である。この視差ゼロ部分は、ステレオマッチングを行った結果、基準画像と比較画像とで殆ど同じ位置にマッチングしてしまう部分である。被撮像物体までの距離が遠くなればなるほど、被撮像物体に対するステレオカメラの相対位置の間に差がなり、視差も小さくなる。そのため、例えば、所定距離以上に離れた建物、又は、山、空などが映し出された画像において求められる視差値は、略ゼロとなる。
【００５０】
また、図６の視差値画像において、その下辺部に現れる不適視差値画素領域（図６におけるＤ２）は、自車両のバンパ部分の画像に対応する。すなわち、カメラに対して物体が近距離になるほど、ステレオにおける物体の視差は大きくなる。そのため、カメラから被撮像物体までの距離が近距離になりすぎると、ステレオマッチングで視差を求めることができなくなるか、又は、求められたとしても信憑性の確保あれる上限値を超える視差値となる。
【００５１】
さらに、図６の視差値画像において、その下辺部に、バンパ部分とは別の不適視差値画素領域（図６におけるＤ３）が現れている。
【００５２】
［近傍物体画像候補特定処理］
ステップＳ１００５で近傍物体画像候補特定部１１５は、不適視差値画素領域と近傍物体対応領域とのオーバラップ部分に対応する画素識別データ、及びこれに対応する視差値データを抽出する。
【００５３】
図６において網掛けされた領域は、上記した近傍物体対応領域である。ここで近傍物体対応領域は、カメラの設置位置に応じて予め定められた領域であり、視差値画像の下辺部に存在する領域であって、バンパ部分などの定常的に現れる不適視差値画素領域を除いた領域である。
【００５４】
このように予め定められた近傍物体対応領域を用いることにより、上記オーバラップ部分から、Ｄ１（視差値が略ゼロの領域）及びＤ２（定常的に不適視差値が得られる領域）に対応する領域を除くことができる。
【００５５】
こうして得られる不適視差値画素領域と近傍物体対応領域とのオーバラップ部分は、自車両の近傍に存在する被撮像物体の画像を写した画素である可能性が高い。そのため、このオーバラップ部分を、衝突回避対象物体の画像候補として利用する。
【００５６】
［喚起・制御の実行判定処理］
ステップＳ１００６で処理実行判定部１２１は、近傍物体画像候補特定部１１５で特定された、衝突回避対象物体の画像候補に基づいて、運転者に対して安全確認の喚起又は車両の運転状態の制御を行う。本実施の形態では、処理実行判定部１２１は、近傍物体画像候補特定部１１５で衝突回避対象物体の画像候補が特定されること、つまり、上記オーバラップ部分が存在することを条件に、運転者に対して安全確認の喚起又は車両の運転状態の制御を実行すると判定する。
【００５７】
そして、提供情報処理部１２２は、処理実行判定部１２１で実行判定されると、提示情報を設定・変更し、設定・変更した提示情報を情報提示部１３０に出力する。
【００５８】
なお、検出された遠方物体については、処理実行判定部１２１が、その物体の視差値（つまり、自車両との距離）と自車両に近づいてくる速さとに応じて、処理を実行するか否かを判定する。ここで、物体の位置や速度の推定を求める方法はどのような方法であってもよい。例えば、前回検出した物体の輝度情報と今回検出した物体の輝度情報との一致度を計算して、時系列に撮影された画像中の物体が同一物体であるかどうかを判定し、同一物体の時系列の位置変化を解析することにより、速度推定を行ってもよい。
【００５９】
［情報提示処理］
ステップＳ１００７で情報提示部１３０は、提供情報処理部１２２において設定された情報の提示を行い、この提示によって、運転支援装置が搭載される車両の走行に関する安全確認を喚起する。
【００６０】
以上のように本実施の形態によれば、運転支援装置１００において、不適視差値画素領域特定部１１４が、視差値を所定時間内に算出できない画素及び上限値を超える視差値が得られる画素を含む不適視差値画素領域を特定し、近傍物体画像候補特定部１１５が、不適視差値画素領域と近傍物体対応画素領域とのオーバラップ画素領域を特定するとともに当該オーバラップ画素領域に基づいて近傍物体画像候補を特定し、喚起・制御部１２０が、特定された近傍物体画像候補に基づいて、安全確認の喚起又は自車両の運転状態の制御を行う。
【００６１】
こうすることにより、不適視差値画素領域と近傍物体対応画素領域とを用いて、自車両の近傍物体を簡単に検出することができる。
【００６２】
ここで上記従来技術では、運転支援装置１００と同様に、算出した視差値を用いて物体検出を行うものの、視差値を求めることができなかった画素情報を物体検出に利用する視点が全くない。従って、上記従来技術では、近傍物体を検出するために、追加的に至近距離算出プログラムを実行する必要がある。
【００６３】
これに対して、運転支援装置１００では、従来物体検出に用いられずに捨てられていた不適視差値が得られる画素の情報を利用して、自車両の近傍物体を検出する。従って、従来技術で必要とされる追加的処理を実行することが不要となるため、迅速に近傍物体を検出することができる。また、一タイミングにおける画像情報からそのタイミングに存在する近傍物体を検出することができるので、走行車両の直前に突然現れる物体であっても精度良く検出することができる。
【００６４】
こうして運転支援装置１００は、走行車両の直前に突然現れる物体であってもより精度良く且つ迅速に検出でき、この検出結果に基づいて安全確認の喚起又は自車両の運転状態の制御を行うので、走行車両の安全性を確保することができる。
【００６５】
（実施の形態２）
実施の形態２では、上記したオーバラップ部分の形状を解析し、解析結果に応じてオーバラップ部分を衝突回避対象物体の画像候補として使用する。図７は、本発明の実施の形態２における運転支援装置２００の構成を示すブロック図である。
【００６６】
図７において運転支援装置２００は、物体検出装置２１０を有する。物体検出装置２１０は、近傍物体画像候補特定部２１１を有する。
【００６７】
近傍物体画像候補特定部２１１は、不適視差値画素領域と近傍物体対応領域とのオーバラップ部分に対応する画素識別データ、及びこれに対応する視差値データを抽出する。具体的には、近傍物体画像候補特定部２１１は、閉じた画素領域ごとに、両データを抽出する。これにより、上記オーバラップ部分は、閉じた画素領域ごとにグルーピングされる。
【００６８】
すなわち、図８において、いずれも上記オーバラップ部分に含まれる、Ｄ３及びＤ４で示される２つの領域は、別グループにグルーピングされる。こうしてグルーピングされた領域を、以下では「グループ領域」と呼ぶことがある。
【００６９】
そして、近傍物体画像候補特定部２１１は、上記オーバラップ部分の形状を解析する。すなわち、近傍物体画像候補特定部２１１は、上記オーバラップ部分の面積、幅、高さ、長軸半径、短軸半径、凸度、及びモーメントのうち少なくとも１つを解析する。この解析は、グループ領域ごとに行われる。
【００７０】
そして、近傍物体画像候補特定部２１１は、解析結果が近傍物体判定基準を満たしているときに、解析対象のグループ領域を衝突回避対象物体の画像候補とする。
【００７１】
図９は、面積、幅、及び高さが解析パラメータとして用いられる場合の形状解析フロー図を示す。
【００７２】
ここでは、面積、幅、及び高さのすべてが各解析パラメータについて定められた閾値（既定値）以上である場合には、解析対象のグループ領域は、衝突回避対象物体の画像候補であると判定される。
【００７３】
一方、面積、幅、及び高さのうち、１つでも閾値未満である場合には、解析対象のグループ領域は、衝突回避対象物体の画像候補でないと判定される。
【００７４】
以上のように本実施の形態によれば、近傍物体画像候補特定部２１１が、オーバラップ画素領域の面積、幅、高さ、長軸半径、短軸半径、凸度、及びモーメントのうち少なくとも１つを解析パラメータとして算出し、当該算出した値が解析パラメータごとに設定された近傍物体画像判定閾値以上であるときに、オーバラップ部分を近傍物体画像候補として特定する。
【００７５】
こうすることにより、例えば、視差値の算出エラーが起こり不適視差値が求められた場合であっても、不適視差値が求められる画素が少数で局所的に存在する場合には、その画素を近傍物体画像候補から除くことができる。従って、より精度良く近傍物体画像候補を特定することができる。
【００７６】
（実施の形態３）
実施の形態３では、上記したオーバラップ部分の輝度を評価し、評価結果に応じてオーバラップ部分を衝突回避対象物体の画像候補として使用する。図１０は、本発明の実施の形態３における運転支援装置３００の構成を示すブロック図である。
【００７７】
図１０において運転支援装置３００は、物体検出装置３１０を有する。物体検出装置３１０は、近傍物体画像候補特定部３１１と、輝度評価部３１２とを有する。
【００７８】
近傍物体画像候補特定部３１１は、不適視差値画素領域と近傍物体対応領域とのオーバラップ部分に対応する画素識別データ、及びこれに対応する視差値データを抽出する。具体的には、近傍物体画像候補特定部３１１は、閉じた画素領域ごとに、両データを抽出する。これにより、上記オーバラップ部分は、閉じた画素領域ごとにグルーピングされる。
【００７９】
すなわち、図１１において、いずれも上記オーバラップ部分に含まれる、Ｄ３及びＤ５で示される２つの領域は、別グループにグルーピングされる。
【００８０】
近傍物体画像候補特定部３１１は、輝度評価部３１２が各グループ領域に関して行う輝度評価の結果が、近傍物体判定基準を満たしているときに、その評価対象のグループ領域を衝突回避対象物体の画像候補とする。
【００８１】
輝度評価部３１２は、画像取得部１１１からステレオ画像情報を取得するとともに、近傍物体画像候補特定部３１１で特定されたグループ領域に関する情報を取得する。輝度評価部３１２は、各グループ領域に対応する、ステレオ画像中の輝度評価対象領域（図１２参照）の輝度を求め、その輝度評価対象領域における輝度のばらつき度を評価する。
【００８２】
ここでは輝度評価部３１２は、輝度評価対象領域に対して評価領域フレームｆ４０１を適用し、そのフレームが適用された領域を抽出し、この抽出領域の輝度を評価する。
【００８３】
ここで衝突回避対象物体となるような物体について輝度を測定すると、輝度のばらつき度は大きくなる一方、路面などについて輝度を測定すると、輝度のばらつき度は小さい。
【００８４】
そこで輝度評価部３１２は、衝突回避対象物体を判定するための、輝度ばらつき度閾値を予め保持しており、上記抽出領域における輝度のばらつき度が閾値以上であるときには、その領域が衝突回避対象物体に対応するものと評価する。
【００８５】
一方、上記抽出領域における輝度のばらつき度が閾値未満である場合には、輝度評価部３１２は、その抽出対象に対応するグループ領域が衝突回避対象物体に対応しないものと評価する。
【００８６】
図１２の下方には、各輝度評価対象領域から抽出された領域の輝度が示されている。これを見て分かるように、Ｄ３に対応する輝度評価対象領域では、輝度のばらつき度が大きい。一方、Ｄ５に対応する輝度評価対象領域では、輝度のばらつき度が小さい。
【００８７】
すなわち、この場合には、Ｄ５に対応する輝度評価対象領域は、衝突回避対象物体に対応する領域であると判断される。
【００８８】
このように各グループ領域の輝度評価を行うことにより、衝突回避対象物体をより精度良く検出することができる。
【００８９】
以上のように本実施の形態によれば、輝度評価部３１２が、オーバラップ部分における輝度のばらつき度を評価し、近傍物体画像候補特定部３１１が、ばらつき度が物体判定閾値以上であるときに、オーバラップ部分を近傍物体画像候補として特定する。
【００９０】
こうすることにより、衝突回避対象物体ではない、例えば路面など衝突回避物体とは成り得ない物体が映し出された画素で不適視差値が求められた場合であっても、輝度のばらつき度によってその画素を近傍物体画像候補から除くことができる。従って、より精度良く近傍物体画像候補を特定することができる。
【００９１】
なお、本実施の形態の輝度評価処理は、実施の形態２に適用することができる。すなわち、近傍物体画像候補特定部が、オーバラップ画素領域の面積、幅、高さ、長軸半径、短軸半径、凸度、及びモーメントのうち少なくとも１つを解析パラメータとして算出し、当該算出した値が解析パラメータごとに設定された近傍物体画像判定閾値以上であり、且つ、輝度のばらつき度が物体判定閾値以上であるときに、オーバラップ部分を近傍物体画像候補として特定してもよい。
【００９２】
（実施の形態４）
実施の形態１乃至３では、近傍物体画像候補特定部１１５で衝突回避対象物体の画像候補が特定されれば、運転者に対して安全確認の喚起又は車両の運転状態の制御を実行する。これに対して、実施の形態４では、喚起・制御部が、衝突回避対象物体の画像候補を用いて物体種別を判別し、この判別結果に応じて運転者に対して安全確認の喚起又は車両の運転状態の制御を実行する。
【００９３】
すなわち、処理実行判定部１２１は、近傍物体画像候補特定部１１５（２１１、３１１）で特定された衝突回避対象物体の画像候補を用いて物体種別を判別する。
【００９４】
例えば、処理実行判定部１２１は、物体種別に応じた形状テンプレート（例えば、人の形状など）を保持し、近傍物体画像候補特定部１１５（２１１、３１１）で特定された衝突回避対象物体の画像候補と、形状テンプレートとの一致度を算出して、一定レベル以上一致する場合には、衝突回避対象物体の画像候補が形状テンプレートに対応する種別の物体であると判別する。そして、その物体種別が衝突回避対象物体である場合に、処理実行判定部１２１は、運転者に対して安全確認の喚起又は車両の運転状態の制御を実行すると判定する。なお、形状テンプレートは、予め用意したものを固定的に用いてもよいし、判別処理を繰り返す中で学習機能により修正を加えることもできる。
【産業上の利用可能性】
【００９５】
本発明の走行情報提供装置は、走行車両の直前に突然現れる物体であってもより精度良く且つ迅速に検出して、走行車両の安全性を確保するものとして有用である。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施の形態１における運転支援装置の構成を示すブロック図
【図２】図１の運転支援装置の動作説明に供するフロー図
【図３】基準画像の基準点と比較画像の対応点と視差値との関係を示す図
【図４】視差値画像とカメラ画像との対応説明に供する図
【図５】適正視差値データ群から得られる視差値画像を示す図
【図６】不適視差値画素領域のみが抜き出された視差値画像を示す図
【図７】本発明の実施の形態２における運転支援装置の構成を示すブロック図
【図８】図７の運転支援装置における近傍物体画像候補特定部の処理説明に供する図
【図９】面積、幅、及び高さが解析パラメータとして用いられる場合の形状解析フロー図
【図１０】本発明の実施の形態３における運転支援装置の構成を示すブロック図
【図１１】図１０の運転支援装置における近傍物体画像候補特定部の処理説明に供する図
【図１２】図１０の運転支援装置における輝度評価部の処理説明に供する図
【符号の説明】
【００９７】
１００，２００，３００  運転支援装置
１１０，２１０，３１０  物体検出装置
１１１  画像取得部
１１２  視差情報生成部
１１３  遠方物体検出部
１１４  不適視差値画素領域特定部
１１５，２１１，３１１  近傍物体画像候補特定部
１１６  近傍物体対応領域記憶部
１２０  喚起・制御部
１２１  処理実行判定部
１２２  提供情報処理部
１３０  情報提示部
３１２  輝度評価部
【図１】
2009276906.tif 000003
【図２】
2009276906.tif 000004
【図３】
2009276906.tif 000005
【図４】
2009276906.tif 000006
【図５】
2009276906.tif 000007
【図６】
2009276906.tif 000008
【図７】
2009276906.tif 000009
【図８】
2009276906.tif 000010
【図９】
2009276906.tif 000011
【図１０】
2009276906.tif 000012
【図１１】
2009276906.tif 000013
【図１２】
2009276906.tif 000014