(57)【特許請求の範囲】
【請求項１】
撮像装置によって撮影した範囲内に障害物が存在するか否かを検知する障害物検知装置において、
前記撮像装置から画像が入力する画像入力手段と、
前記画像に関して、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定手段と、
前記各要素領域の輝度勾配の方向とその頻度分布を算出する特徴算出手段と、
前記要素領域毎に前記各要素領域における前記輝度勾配の方向とその頻度分布から要素指標を求め、前記各要素領域の要素指標を合計して前記指標値を算出する指標算出手段と、
前記指標値が閾値以上であれば前記障害物が有ると判定する結果判定手段と、
を有することを特徴とする障害物検知装置。
【請求項２】
撮像装置が複数台であって互いに平行に配され、前記複数台の撮像装置によって共通の範囲を撮影し、前記共通範囲内に障害物が存在するか否かを検知する障害物検知装置において、
前記撮像装置から画像がそれぞれ入力する画像入力手段と、
前記入力した複数の画像に関して予め定められた画像中における複数の画素からなる同じ大きさの領域の特徴量を算出する特徴算出手段と、
前記算出した複数の画像に関する特徴量の差を求める特徴比較手段と、
前記求めた特徴量の差と閾値とを比較して、前記特徴量の差が閾値より小さいときに、前記各画像の特徴量を合成する特徴量合成手段と、
前記各画像の特徴量を合成した特徴量に、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定手段と、
前記要素領域毎に前記特徴量の分布から前記障害物の有無を示す指標値を算出する指標算出手段と、
前記算出した指標値から障害物の有無を判定する結果判定手段と、
を有することを特徴とする障害物検知装置。
【請求項３】
前記特徴算出手段における前記特徴量として前記領域の輝度勾配方向または輝度勾配強度であり、
前記指標算出手段は、前記各要素領域における前記合成した特徴量とその頻度分布から要素指標を求め、前記各要素領域の要素指標を合計して前記指標値を計算し、
前記結果判定手段は、前記指標値が閾値以上であれば前記障害物が有ると判定する
ことを特徴とする請求項２記載の障害物検知装置。
【請求項４】
撮像装置によって撮影した範囲内に障害物が存在するか否かを検知する障害物検知方法において、
前記撮像装置から画像が入力する画像入力ステップと、
前記画像に関して、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定ステップと、
前記各要素領域の輝度勾配の方向とその頻度分布を算出する特徴算出ステップと、
前記要素領域毎に前記各要素領域における前記輝度勾配の方向とその頻度分布から要素指標を求め、前記各要素領域の要素指標を合計して前記指標値を算出する指標算出ステップと、
前記指標値が閾値以上であれば前記障害物が有ると判定する結果判定ステップと、
を有することを特徴とする障害物検知方法。
【請求項５】
撮像装置が複数台であって互いに平行に配され、前記複数台の撮像装置によって共通の範囲を撮影し、前記共通範囲内に障害物が存在するか否かを検知する障害物検知方法において、
前記撮像装置から画像がそれぞれ入力する画像入力ステップと、
前記入力した複数の画像に関して予め定められた画像中における複数の画素からなる同じ大きさの領域の特徴量を算出する特徴算出ステップと、
前記算出した複数の画像に関する特徴量の差を求める特徴比較ステップと、
前記求めた特徴量の差と閾値とを比較して、前記特徴量の差が閾値より小さいときに、前記各画像の特徴量を合成する特徴量合成ステップと、
前記各画像の特徴量を合成した特徴量に、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定ステップと、
前記要素領域毎に前記特徴量の分布から前記障害物の有無を示す指標値を算出する指標算出ステップと、
前記算出した指標値から障害物の有無を判定する結果判定ステップと、
を有することを特徴とする障害物検知方法。
【請求項６】
撮像装置によって撮影した範囲内に障害物が存在するか否かを検知する障害物検知プログラムにおいて、
コンピュータに、
前記撮像装置から画像が入力する画像入力機能と、
前記画像に関して、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定機能と、
前記各要素領域の輝度勾配の方向とその頻度分布を算出する特徴算出機能と、
前記要素領域毎に前記各要素領域における前記輝度勾配の方向とその頻度分布から要素指標を求め、前記各要素領域の要素指標を合計して前記指標値を算出する指標算出機能と、
前記指標値が閾値以上であれば前記障害物が有ると判定する結果判定機能と、
を実現させるための障害物検知プログラム。
【請求項７】
撮像装置が複数台であって互いに平行に配され、前記複数台の撮像装置によって共通の範囲を撮影し、前記共通範囲内に障害物が存在するか否かを検知する障害物検知プログラムにおいて、
コンピュータに、
前記撮像装置から画像がそれぞれ入力する画像入力機能と、
前記入力した複数の画像に関して予め定められた画像中における複数の画素からなる同じ大きさの領域の特徴量を算出する特徴算出機能と、
前記算出した複数の画像に関する特徴量の差を求める特徴比較機能と、
前記求めた特徴量の差と閾値とを比較して、前記特徴量の差が閾値より小さいときに、前記各画像の特徴量を合成する特徴量合成機能と、
前記各画像の特徴量を合成した特徴量に、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定機能と、
前記要素領域毎に前記特徴量の分布から前記障害物の有無を示す指標値を算出する指標算出機能と、
前記算出した指標値から障害物の有無を判定する結果判定機能と、
を実現させるための障害物検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主として、自動車の安全運転支援や自動走行を実現するために、車両に搭載されたカメラを用い、先行車、駐車車両、歩行者等、道路上に存在する障害物を検出するための障害物検知装置及びその方法に関する。
【背景技術】
【０００２】
道路上に存在する障害物を検知する方法としては、レーザ・レンジファインダ、超音波ソナー、ミリ波レーダーといった能動センサを用いる方法と、可視光ＴＶカメラや赤外線カメラといった受動センサを使う方法がある。
【０００３】
能動センサは、様々な目的において物体の位置を計測するのに使われており、その有用性は広く知られるところであるが、道路上の他車両といった自車両の走行に障害となる物を検知する目的においては、検出分解能が低い、計測範囲が十分に取れない、道路上の障害物以外のものを誤検知する、走行レーンを検知できないため障害とならない路側の物体を誤って検知するといった問題がある。したがって、これらの問題点を解決できるようにＴＶカメラ等の受動センサを用いた画像解析による高度な障害物検知技術が望まれている。
【０００４】
車両に搭載されたＴＶカメラ等からの画像を解析することにより障害物を検知する方法は、概して画像の輝度パターン情報から障害物を検知したり走行レーンを認識したりするものであると言える。カメラ１台の画像からでも、灰色でテクスチャの少ない部分を切り出すといったことにより走行レーンを検出することは可能ではある。
【０００５】
しかし、実際には道路に似た輝度やパターンを持つ障害物も多いため、誤検知の少ない実用性の高いものの実現は難しい。
【０００６】
これに対し、複数のカメラを用いて障害物や走行レーンを検知する方法があり、一般に「ステレオ視」による方法と言われる。
【０００７】
ステレオ視においては、検知対象領域の三次元情報を得ることができるので、より高精度な障害物検知やレーン検出の実現が期待されるが、複数のカメラ画像間に写っている実世界での同一点を見つけるという対応探索が一般には一意に解けないという問題がある。この点について、特許文献１、特許文献２といった方法では対応探索を行う必要がなく、レーン検出等の実現には非常に有用である。
【特許文献１】特開２００１−７６１２８公報
【特許文献２】特開２０００−２９３６９３公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、路側のガードレールや、坂道や自車両のピッチング等といった原因で路面の白線や標識といったテクスチャに視差が見られる場合、これらガードレールや路面のテクスチャは走行上の障害とはならないにもかかわらず、障害物として検知されてしまうという問題点があった。また、雨天においては、フロントガラスやカメラレンズ面に付着する雨滴が、障害物として誤検知されるという問題点もある。
【０００９】
そこで、本発明はこのような事情を鑑みてなされたもので、複数のカメラ画像において求められた特徴を比較したり、画像特徴が障害物に由来するかどうかを示す指標値を算出することにより、上記のような誤検知を減少させ、障害物検知装置の性能を大幅に向上させることにある。
【課題を解決するための手段】
【００１０】
本発明は、撮像装置によって撮影した範囲内に障害物が存在するか否かを検知する障害物検知装置において、前記撮像装置から画像が入力する画像入力手段と、前記画像に関して、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定手段と、前記各要素領域の輝度勾配の方向とその頻度分布を算出する特徴算出手段と、前記要素領域毎に前記各要素領域における前記輝度勾配の方向とその頻度分布から要素指標を求め、前記各要素領域の要素指標を合計して前記指標値を算出する指標算出手段と、前記指標値が閾値以上であれば前記障害物が有ると判定する結果判定手段と、を有することを特徴とする障害物検知装置である。
また、本発明は、撮像装置が複数台であって互いに平行に配され、前記複数台の撮像装置によって共通の範囲を撮影し、前記共通範囲内に障害物が存在するか否かを検知する障害物検知装置において、前記撮像装置から画像がそれぞれ入力する画像入力手段と、前記入力した複数の画像に関して予め定められた画像中における複数の画素からなる同じ大きさの領域の特徴量を算出する特徴算出手段と、前記算出した複数の画像に関する特徴量の差を求める特徴比較手段と、前記求めた特徴量の差と閾値とを比較して、前記特徴量の差が閾値より小さいときに、前記各画像の特徴量を合成する特徴量合成手段と、前記各画像の特徴量を合成した特徴量に、複数の縦長矩形の要素領域が横方向に順番に並ぶように設定する要素領域設定手段と、前記要素領域毎に前記特徴量の分布から前記障害物の有無を示す指標値を算出する指標算出手段と、前記算出した指標値から障害物の有無を判定する結果判定手段と、を有することを特徴とする障害物検知装置である。
【発明の効果】
【００１２】
本発明によれば、路側のガードレールや路面上の白線や標識等のテクスチャといった走行上の障害とはならない物体が障害物として誤検知されてしまうことや、雨天においてフロントガラスやカメラレンズ面に付着する雨滴が障害物として誤検知されてしまうことといった障害物検知装置のエラーを減少させ、性能を大幅に向上させることが可能となる等の実用上多大なる効果が奏せられる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
以下、本発明の第１の実施形態の障害物検知装置１０について図１〜図５を用いて説明する。
【００１４】
図１は、本実施形態の障害物検知装置１０の概略構成図である。
【００１５】
障害物検知装置１０は、画像入力部１１と、特徴算出部１２と、特徴比較部１３と、結果判定部１４とからなる。
【００１６】
これら各部１１〜１４の各機能は、パソコン等のコンピュータに記憶されたプログラムによって実現できる。
【００１７】
（１）画像入力部１１
画像入力部１１は、任意の撮像装置１０１から画像を供給される。撮像装置１０１は複数のＴＶカメラ等の撮像装置を有し、例えば、図２に示すように自車両前部の左側と右側の二個所に取りつけられる。
【００１８】
画像入力部１１は、撮像装置等から連続して出力される映像信号を逐次Ａ／Ｄ変換し、画像入力部１１内のメモリにディジタル画像あるいは時系列画像として保管する。そして、要求された任意時刻、任意領域の画像を次の特徴算出部１２に出力する。
【００１９】
（２）特徴算出部１２
特徴算出部１２では、画像入力部１１から送られてくる画像あるいは画像列の任意時刻・任意領域について、予め定められた特徴量を算出する。
【００２０】
この特徴量とは、各画素あるいは任意領域において求めることが可能な任意の情報を示す。
【００２１】
例を挙げるならば、画素の輝度値や色情報といった単純なものから、空間あるいは時間での微分あるいは積分結果、任意のフィルタの重畳結果、平均や分散といった統計量等、任意の物体検出あるいは領域分割処理を行った結果、及び結果から得られる領域の特徴量、動き量等、画像から算出可能な任意のスカラー量あるいはベクトル量を用いることが可能である。
【００２２】
ここでは、画素位置での輝度勾配を特徴量として用いる場合について説明する。
【００２３】
輝度勾配とは、画素近傍での輝度変化の度合いを示すものであり、画像に映っている物体や物体内の構造の境界領域で大きな値となる（単にエッジとも呼ばれる）。
【００２４】
輝度勾配を求める方法としては、例えばＳｏｂｅｌオペレータのようなフィルタを画像に重畳する方法がある。図３を用いて方法を簡単に説明する。
【００２５】
画像中の位置（ｘ，ｙ）での輝度値がＩ（ｘ，ｙ）で表され、フィルタ各要素値Ｆｘ（ｉ，ｊ）が図３の左図のように設定されていると、このフィルタを画像に重畳して得られる値
【数１】
0004381394.tif 000002
【００２６】
は、（ｘ，ｙ）近傍にて水平方向に輝度変化があるときに大きくなることから、Ｄｘにより水平方向の輝度勾配を求めることができる。
【００２７】
同様に、フィルタＦｙ（ｉ，ｊ）が図３右図のように設定されていると、
【数２】
0004381394.tif 000003
【００２８】
を求めることにより、垂直方向の輝度勾配が求められる。
【００２９】
これらから、
輝度勾配強度は、（Ｄｘ２＋Ｄｙ２）１／２、
輝度勾配方向は、ｔａｎ−１Ｄｙ／Ｄｘ、
等として求められる。
【００３０】
他に輝度勾配を求めるフィルタとしては、Ｌａｐｌａｃｉａｎ，Ｒｏｂｉｎｓｏｎ，Ｃａｎｎｙ等様々なものがあり、どれを用いてもかまわない。
【００３１】
また、Ｈｏｕｇｈ変換等のような統計的手法により求めても良い。
【００３２】
公知の輝度勾配算出方法は数多くあり、例えば参考文献１（高木、下田監修：画像解析ハンドブック、東京大学出版会、ＩＳＲＮ４−１３−０６１１０７−０）に詳しい。
【００３３】
（３）特徴比較部１３
特徴比較部１３では、特徴算出部１２にて得られた複数の撮像装置からの画像の特徴量を比較することにより、障害物に由来する特徴だけを画像から取り出す。
【００３４】
図４及び図５に処理画像の模式図を示す。図４，５は、図２のように設置された各カメラから得られる画像例である。カメラは、車体進行方向と平行に前方を向いて取りつけられているとする。
【００３５】
図４は、前方に障害物（この図の例では先行車両）がある場合の例であり、左図は自車両左側に設置されたカメラ（左カメラ）からの画像の例、右図は右側のカメラ（右カメラ）からの画像例である。
【００３６】
図５は、障害物がない場合の例であり、同様に左図は左カメラ、右図は右カメラからの画像である。
【００３７】
今、左右の画像において、障害物検知処理の対象となる候補領域が各図中太線矩形Ｒ１及びＲ２にて示されているように設定されているものとし、この候補領域に障害物があるかどうかを判定することが目的であるとする。
【００３８】
図４のように、候補領域内に障害物が含まれる場合、カメラとその障害物との距離に応じた視差に正しく候補領域が設定されていれば、左右の候補領域中に障害物に由来する同様の輝度パターン（この例では先行車両の背面）が見られる。ここで「視差」とは、ある物体を複数のカメラで捉えている場合の、カメラ間の位置の相違によって起こる、画像中での物体像の位置の“ずれ”を指す。この図の例で言えば、左右カメラの光軸が自車両進行方向と平行に設置されていることから、右図での先行車両像の位置が左図での位置よりも右側にずれる、ということに相当する。
【００３９】
さらに、この例で、カメラと障害物との距離が障害物内部での各点の距離差（先行車両背面の凹凸）に比べて十分大きいと仮定できるとすると、障害物内部での視差は無視でき、左右カメラの画像間で障害物に由来する画像中の輝度パターンがほぼ一定の視差をもって単純に平行移動すると見なせる。
【００４０】
これに対し、図５のように障害物が無い場合では、左右の候補領域中に見られる輝度パターンに違いがみられる。
【００４１】
これは、候補領域内の障害物ではない物体（この図では道路面上の白線、ガードレール等の道路に付帯する構造物）の奥行き方向の広がりが、カメラと物体までの距離に対して無視できないほど大きく、その物体内での視差が距離に応じて大きく変化することによる。
【００４２】
この視差による見え方の違いの性質を用いて、車両進行方向に対して垂直（と見なせるような）面を持つ障害物の画像特徴を選択的に出力するような特徴比較方法は、例えば次のようにして実現できる。
【００４３】
今、左カメラ画像中に設定されている候補領域Ｒ１と右カメラ画像中の候補領域Ｒ２とが同じ大きさに設定されているとすると、Ｒ１を基準とした画素位置とＲ２を基準とした画素位置とは共通に表現でき、これを（ｘ，ｙ）とする。
【００４４】
特徴算出部１２にて算出される画素位置（ｘ，ｙ）での特徴量を左カメラ画像、右カメラ画像で各々Ｆ１，Ｆ２とすると、この位置（ｘ，ｙ）での特徴量の差を示す量
【数３】
0004381394.tif 000004
【００４５】
を定義し、この特徴量の差の小さいものだけを出力すれば、障害物に由来する特徴だけを出力できる。
【００４６】
白線やガードレールといった、通常の運転では走行の障害とはならないものは、自車両進行方向に対して大きな奥行きを持つことから距離に応じて視差が大きく変わる。したがって、左右カメラの画像間で物体の射影像の“角度”に大きな違いが現れる。これに対し、先行車両等の障害物像は、左右カメラ画像間でほぼ平行移動するだけであるから、像の角度差はほとんどない。
【００４７】
よって、両者を区別するには、左右カメラの画像において物体像の輝度勾配の方向を求め、その差を利用することが有効な方法の一つと言える。先に挙げた例のように特徴算出部１２にて輝度勾配が求められているとすると、左カメラ画像の（ｘ，ｙ）での輝度勾配方向をｄ１（ｘ，ｙ）、右カメラ画像でのそれをｄ２（ｘ，ｙ）として、
【数４】
0004381394.tif 000005
【００４８】
と定義するのが最も単純な特徴量の差の例となる。
【００４９】
また、輝度勾配強度と方向を要素とする特徴ベクトルｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）間のユークリッド距離
【数５】
0004381394.tif 000006
【００５０】
を求めれば、特徴量間の幾何学的な差を用いることもできるし、特徴算出部１２にて算出される任意の特徴量Ｆ１（ｘ，ｙ）、Ｆ２（ｘ，ｙ）から計算される任意の量を、特徴量の差Ｄとして用いることができる。
【００５１】
特徴比較部１３では、任意の画素について特徴量の差Ｄを算出し、この値自身、あるいはＤに対して一意に定められる量を、任意の画素（ｘ，ｙ）について出力する。
【００５２】
（４）結果判定部１４
結果判定部１４では、特徴比較部１３にて得られた障害物に由来する画像特徴を用い、画像中あるいは判定対象とする画像領域中に障害物が存在するかどうかを判定する。
【００５３】
特徴比較部１３にて、候補領域内の画素（ｘ，ｙ）において特徴量の差Ｄ（ｘ，ｙ）が小さい場合に大きな画素値Ｉ（ｘ，ｙ）を出力するようになっており、特徴の得られない画素については無視するようになっているとすれば、候補領域Ｒ内でのＩの総和
【数６】
0004381394.tif 000007
【００５４】
を求めることより、障害物有無の判定をすることができる。
【００５５】
前方に車両等の障害物があるときは、特徴量の差Ｄの小さな画素が多いことからＳが大きくなり、逆に車両等の障害物がなくガードレールや路面のみが画像中に見られる場合には特徴量の差Ｄの小さな画素が少なくＳが小さくなる。
【００５６】
したがって、閾値ｔｈを定め、これと総和Ｓとを比較することにより、容易に障害物有無の判定を行うことができる。
【００５７】
判定を行う方法としては、特徴比較部１３にて得られた特徴量の差Ｄを用いて算出することができる任意の値を用いることができる。
【００５８】
結果判定部１４にて判定した結果、障害物があると判明すれば発報装置１０２にて運転者に警報を与えても良いし、車体制御装置１０３により制動をかける、操舵を行うといった車体制御を行っても良い。また、通信装置１０４等の任意の装置へ結果を出力あるいは転送しても良い。
【００５９】
なお、閾値ｔｈはＲ中の全画素、全時刻で一定である必要はなく、予め定められた方法により画素毎あるいは時刻毎に別々の値が与えられても良いし、画像から求められる任意の量（スカラー量、または、ベクトル量）を元にして変化させることも可能である。
【００６０】
（５）雨天時における障害物検知
ここで、雨天時における障害物検知を考える。
【００６１】
自車両のフロントガラスあるいは搭載されているカメラのレンズ面に雨滴が付着した場合、従来の障害物検知では、これら雨滴像が障害物として誤検出されたり、障害物の検知結果を間違わせるといった重大なエラーが起きる可能性が高かった。
【００６２】
これに対し、第１の実施形態のように複数のカメラ画像間で特徴量を比較する場合では、全てのカメラ画像のある特定の視差に相当する場所に同時に同様の雨滴が付着する確率（偶然性）は小さいことから、雨滴が付着した画像部分の特徴量の差はカメラ画像間で大きくなる確率が十分高く、雨滴像による誤検出を効果的に低減できることがわかる。
【００６３】
（６）変更例１
なお、第１の実施形態では候補領域は矩形としているが、候補領域は予め定められた任意の形状とすることができる。
【００６４】
また、左右カメラ画像での候補領域Ｒ１，Ｒ２は予め定められているとして説明を行ったが、特願２００１−１５４５６９のような障害物検出方法を前処理として用い、この結果を用いて候補領域を設定しても良いし、如何なる走行レーン検出方法を用い、その結果から予め定められた方法によって候補領域を設定することも可能である。
【００６５】
（７）変更例２
さらに、候補領域が予め定められていなくても、左右カメラ画像中で位置を変えてスキャンすることにより、各スキャン位置において本第１の実施形態の操作を行えば、結果的に同様の障害物検知処理を行うことができる。
【００６６】
このようにして、ＴＶカメラ等撮像装置により得られた画像を解析することにより障害物を検知する場合、画像中に映っている路面のテクスチャやガードレールといった実際には走行の障害にはならない物体を誤って検知することなく、先行車両等の障害物のみを正しく検知でき、誤警報を発したり不要な車両制御を行うといった誤動作を大幅に減少させることができる。
【００６７】
（第２の実施形態）
本発明の第２の実施形態の障害物検知装置２０について、図６〜図８を用いて説明する。
【００６８】
図６は、本実施形態の障害物検知装置２０の概略構成図である。
【００６９】
この第２の実施形態は、画像入力部２１と、特徴算出部２２と、指標算出部２３と、結果判定部２４とからなる。
【００７０】
第１の実施形態と同様に、画像入力部２１は任意の撮像装置１０１等から画像を供給される。第２の実施形態では、複数の撮像装置から得られる画像の特徴量を比較しないので、撮像装置２０１は必ずしも複数でなく、単一でもかまわない。
【００７１】
また、本実施形態での画像入力部２１と特徴算出部２２は、第１の実施形態のそれらと全く同じものを用いることができる。
【００７２】
（１）指標算出部２３
指標算出部２３では、特徴算出部２２にて得られた画像特徴量を用い、画像特徴が障害物に由来するかどうかを示す指標を算出する。
【００７３】
図７及び図８に処理画像の模式図を示す。
【００７４】
第１の実施形態と同様に、候補領域Ｒが画像中に予め設定されているものとし、画像特徴として輝度勾配を用いるものとする。図７は障害物（この例では前方車両）が含まれている場合の候補領域Ｒの例であり、図８は障害物がない場合の例である。
【００７５】
指標算出部２３では、候補領域Ｒ中に予め設定されている複数の要素領域Ｃｎ（ｎ＝１…Ｎ）において求められた要素指標Ｐｎから、結果判定に用いる指標Ｐを求めて、次の結果判定部２４に出力する。
【００７６】
指標Ｐの算出方法とその利用方法を図７を用いて説明する。
【００７７】
（１−１）要素領域Ｃｎの設定
図７に示すように、要素領域Ｃｎを、画像の候補領域Ｒ中の５つの縦長矩形として設定する。
【００７８】
（１−２）要素指標Ｐｎの算出
各要素領域Ｃｎ中での輝度勾配方向の頻度分布（ヒストグラム）から要素指標Ｐｎを求める。このヒストグラムの例であるＣ１，Ｃ３，Ｃ５を図７に示す。
【００７９】
輝度勾配方向θは、水平を０°、時計回りを正として、θが−９０°から９０°までの要素領域Ｃｎ中の輝度勾配の出現頻度ｆ（θ）をプロットしている。
【００８０】
これによりヒストグラムは、各要素領域Ｃｎ中に多く見られる輝度勾配（エッジ）の方向分布を示すことになる。
【００８１】
例えば、Ｃ１及びＣ５中には、車両の両端が映っており垂直方向のエッジが顕著に見られるため、ｆ（９０）あるいはｆ（−９０）の値が大きくなる。
【００８２】
これに対し、Ｃ２からＣ４は、車両中央部の像を含んでおり水平方向のエッジが顕著に見られるため、ｆ（０）の値が大きくなる。
【００８３】
つまり、要素指標Ｐｎを、ｎ＝１，５のときはＰｎ＝ｆ（９０）あるいはＰｎ＝ｆ（−９０）、ｎ＝２，３，４のときはＰｎ＝ｆ（０）と予め定めておけば、障害物があるときにのみ全ての要素領域において要素指標Ｐｎの値が大きくなる。
【００８４】
ここで、要素指標Ｐｎの定める方法としては、下記のような方法がある。
【００８５】
第１の方法は、上記のようにＰｎ毎に定められたあるθでのｆ（θ）の値をそのまま用いる方法である。
【００８６】
第２の方法は、θの所定の範囲内のｆ（θ）の最大値や平均値といった統計量をとる方法もある。
【００８７】
例えば、このθの範囲としては、ｎ＝１，５の時は、−９０°＝＜θ−７０°及び７０°＝＜θ＝＜９０°であり、ｎ＝２，３，４の時は、−３０°＝＜θ＝＜３０°等である。
【００８８】
（１−３）指標Ｐの算出
ヒストグラムを全累積度数で正規化すれば、これはエッジ方向の確率分布と見なすこともできる。
【００８９】
そのために、障害物があるということの結合尤度として指標Ｐを求めれば、
【数７】
0004381394.tif 000008
【００９０】
とすることができる。
【００９１】
（１−４）指標Ｐの利用方法
このようにして指標Ｐを求めた場合、障害物がない図８のような場合では、各要素指標値Ｐｎはｎがいずれの場合でもほとんど０となるため、Ｐもほぼ０となる。
【００９２】
これに対し、障害物がある場合のＰは０に比べて大きな値となることから、このＰは画像特徴が障害物に由来するかどうかを示す指標、つまり障害物があるかどうかを示す指標として判定に用いることができる。
【００９３】
同様の方法により、ガードレールや路上の白線といった障害とならないようなものを検知する指標Ｐ′を算出することもできる。
【００９４】
例えば、図８のＣ１及びＣ２だけを包括するような領域が候補領域Ｒ′と設定されているとする。
【００９５】
Ｃ１，Ｃ２の輝度勾配方向分布がα°近傍をピークとするような分布になっているとすると（図から見ればα°は約５０°である）、Ｐｎ＝ｆ（α）とし、ｎ＝１，２について
【数８】
0004381394.tif 000009
【００９６】
を計算すれば、このＰ′は路側左側のガードレールあるいは白線があることを示す指標として用いることができる。
【００９７】
全く同様にして路側右側のガードレールあるいは白線があることの指標も計算できる等、任意の物体について、その物体特有の特徴分布を元にして、その物体があることの指標を計算することができる。
【００９８】
（２）結果判定部２４
結果判定部２４では、指標算出部２３にて得られた障害物があることの指標Ｐを用い、画像中あるいは判定対象とする画像領域中に障害物が存在するかどうかを判定する。
【００９９】
ある閾値ｔｈを定め、これと指標Ｐとを比較することにより、障害物有無の判定を行っても良いし、先に述べたように、障害物があることの指標Ｐと障害物以外の物体があることの指標Ｐ′，Ｐ″，…とを比較することにより、障害物有無の判定を行っても良い。
【０１００】
結果判定部２４にて判定した結果、発報装置２０２、車体制御装置２０３、通信装置２０４等の任意の装置へ結果を伝えても良い。
【０１０１】
このようにして、画像中に映っている道路面の模様やガードレールといった実際には走行の障害にはならない物体とは区別して、先行車両等の障害物のみを正しく検知でき、誤警報を発したり不要な車両制御を行うといった誤動作を大幅に減少させることができる。
【０１０２】
（３）変更例１
判定を行う方法としては、指標算出部２３にて得られた任意の指標Ｐを用いて算出することができる任意の値を用いることができる。
【０１０３】
（４）変更例２
この第２の実施形態では、要素領域Ｃは同じ大きさの５つの矩形状に設定されていたが、任意の数、任意の形状に設定することが可能であり、互いに一部が重なるように設定しても良い。
【０１０４】
（５）変更例３
また、画像特徴として輝度勾配分布のみを用いて説明したが、特徴算出部から得られる任意の特徴量あるいは特徴ベクトルの分布を用いることができる。
【０１０５】
（６）変更例４
要素指標Ｐｎも、ｎに応じて予め定められた角度θでの頻度値ｆ（θ）を用いる方法を説明したが、Ｐｎの求め方としては、例えば、ある角度範囲での最頻値、平均値、中央値、重み付け和といった任意の統計量等やｆ（θ）の任意の計算式によって得られる値が設定可能である。
【０１０６】
（７）変更例５
撮像装置が３個以上のｗ個ある場合の特徴量の差の求め方を説明する。
【０１０７】
例えば、ｗ枚の画像の特徴量の分散値を求めれば、これらｗ個の特徴量のばらつきを示すことができ、この特徴量のばらつきを特徴量の差として用いることができる。
【０１０８】
（第３の実施形態）
本発明の第３の実施形態の障害物検知装置３０について説明する。
【０１０９】
図９は、本発明の第３の実施形態の概略構成図である。
【０１１０】
第３の実施形態は、画像入力部３１と、特徴算出部３２と、特徴比較部３３と、指標算出部３４と、結果判定部３５とからなる。
【０１１１】
画像入力部３１と特徴算出部３２と特徴比較部３３は、第１の実施形態のものと同じであり、指標算出部３４と結果判定部３５は、第２の実施形態のものと同じである。
【０１１２】
特徴比較部３３と指標算出部３４とは連続に行うために、特徴比較部３３に次のような機能を付加する。
【０１１３】
すなわち、左右カメラの画像中の候補領域Ｒ１及びＲ２での任意の位置（ｘ，ｙ）において、各候補領域Ｒ１、Ｒ２での特徴量がｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）で求められているとすると、閾値ｔｈに比べて特徴量の差Ｄが小さい場合には、特徴量ｆ１（ｘ，ｙ）とｆ２（ｘ，ｙ）とを合成して特徴量ｆ（ｘ，ｙ）が出力され、それ以外の場合は０で出力される。
【０１１４】
特徴量ｆの合成する方法としては、例えば、ｆ、ｆ１、ｆ２が全てＭ次元のベクトル量であるとし（輝度勾配を特徴として用いている場合には、輝度勾配強度及び方向がベクトルの各要素となる）、ｆの各要素ｆｍ（ｍ＝１，２，３・・，Ｍ）を
ｆｍ（ｘ，ｙ）＝ｍｉｎ｛ｆ１ｍ（ｘ，ｙ）、ｆ２ｍ（ｘ，ｙ）｝
のように各要素毎に最小値を求めても良い。
【０１１５】
また、他の合成方法としては、ｆ１（ｘ，ｙ）、ｆ２（ｘ，ｙ）から算出される任意の値を用いることも可能である。
【０１１６】
このようにして、特徴比較部３３と指標算出部３４とを連続に行うことにより、より確実に障害物のみを正しく検知でき、誤警報を発したり不要な車両制御を行うといった誤動作を大幅に減少させることができる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の第１の実施形態の障害物検知装置の概略構成図である。
【図２】撮像装置の設置状態を示す模式図である。
【図３】特徴算出部で輝度勾配を求める方法を示す模式図である。
【図４】障害物がある場合の特徴比較部での処理を説明する模式図である。
【図５】障害物がない場合の特徴比較部での処理を説明する模式図である。
【図６】本発明の第２の実施形態の障害物検知装置の概略構成図である。
【図７】障害物がある場合の指標算出部での処理を説明する模式図である。
【図８】障害物がない場合の指標算出部での処理を説明する模式図である。
【図９】本発明の第３の実施形態の障害物検知装置の概略構成図である。
【符号の説明】
【０１１８】
１０    障害物検知装置
１１    画像入力部
１２    特徴算出部
１３    特徴比較部
１４    結果判定部
２０    障害物検知装置
２１    画像入力部
２２    特徴算出部
２３    指標算出部
２４    結果判定部
３０    障害物検知装置
３１    画像入力部
３２    特徴算出部
３３    特徴比較部
３４    指標算出部
３５    結果判定部
【図１】
0004381394.tif 000010
【図２】
0004381394.tif 000011
【図３】
0004381394.tif 000012
【図４】
0004381394.tif 000013
【図５】
0004381394.tif 000014
【図６】
0004381394.tif 000015
【図７】
0004381394.tif 000016
【図８】
0004381394.tif 000017
【図９】
0004381394.tif 000018