(57)【要約】【課題】距離センサ、画像センサの２つを用いて、悪天候時や夜間でも、状況の解析を素早く行い、画像認識を正確に行う。【解決手段】画像センサ（２ａ）からの画像（Ｄ２）のうち、距離センサ（１ａ）で検知された対象物が占める範囲を含む領域部分を切り出し（４４）、該領域部分に対し、環境情報（Ｄ３）に基づいて画像処理を行い（４５）、画像処理された画像（Ｄ４５）に基づいて、画像中の対象物が占める範囲を特定して対象物画像として切り出し（４６）、対象物画像（Ｄ４６）に対し、環境情報（Ｄ３）に基づいて更なる画像処理を行ない、更なる画像処理を受けた対象物画像に基づいて、当該対象物の特定、当該対象物による危険の有無を判定する（４８）。【選択図】図１
2013161402.tif 000002
【特許請求の範囲】
【請求項１】
自車両を基準として各角度にある対象物までの距離を検出して距離情報を生成する距離情報取得部と、
前記自車両に搭載された画像センサで対象物を撮像し、対象物の画像情報を取得する画像情報取得部と、
前記自車両周辺の環境を検出して環境情報を取得する環境情報取得部と、
前記距離情報と、前記画像情報と、前記環境情報に基づいて、運転支援に利用される情報を生成する情報解析部とを備え、
前記情報解析部が、
前記画像情報又はこれを座標変換することで得られた画像情報で表される画像のうち、前記距離情報が得られた対象物が占める範囲を含む領域部分を切り出す領域切り出し部と、
前記領域部分に対し、前記環境情報に基づいて画像処理を行う領域画像補正部と、
前記領域画像補正部で画像処理された画像に基づいて、画像中の対象物が占める範囲を特定し、特定した範囲の画像を対象物画像として切り出す対象物切り出し部と、
前記対象物画像に対し、前記環境情報に基づいて更なる画像処理を行なう対象物画像補正部と、
前記対象物画像補正部で前記更なる画像処理を受けた対象物画像に基づいて、当該対象物の種類を特定する処理及び当該対象物による危険の有無を判定する処理の少なくとも一つを行って、該処理の結果を示す情報を出力する画像認識部と
を有する運転支援装置。
【請求項２】
前記距離情報取得部が、水平方向の異なる角度にある対象物までの距離を検出する一次元距離情報取得部であって、
前記領域切り出し部が、前記画像情報で表される画像のうち、前記距離情報が得られた対象物が占める範囲を含む領域部分として、水平方向範囲のみを限定した領域部分を切り出し、
前記対象物切り出し部が、前記領域画像補正部で画像処理された画像に基づいて、画像中の対象物が占める水平方向範囲及び垂直方向範囲を特定し、特定された水平方向範囲及び垂直方向範囲の画像を前記対象物画像として切り出す
ことを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記状況解析部は、
前記距離情報取得部で距離が検出された対象物の水平方向角度範囲を検出する角度範囲検出部と、
前記画像情報で表される画像のうち、前記角度範囲検出部で検出された水平方向角度範囲に対応する水平方向位置範囲を算出する位置範囲算出部とをさらに有し、
前記領域切り出し部は、前記画像情報で表される画像のうち、前記位置範囲算出部により算出された水平方向位置範囲の画像部分を含む領域部分を切り出す
ことを特徴とする請求項２に記載の運転支援装置。
【請求項４】
前記領域画像補正部は、
前記領域部分の画像のコントラスト、周波数情報を算出し、
それぞれの数値に応じたコントラスト補正、エッジ強調、エッジ抽出の少なくとも一つを行う
ことを特徴とする請求項１乃至３のいずれかに記載の運転支援装置。
【請求項５】
前記対象物画像補正部は、
前記対象物画像のコントラスト、周波数情報を算出し、
それぞれの数値に応じたコントラスト補正、エッジ強調、エッジ抽出の少なくとも一つを行う
ことを特徴とする請求項１乃至４のいずれかに記載の運転支援装置。
【請求項６】
前記環境情報取得部は、
周辺の光の強さを算出する光量情報算出部と、
雨又は雪を検出する雨・雪検出部の少なくとも一つを含み、
これらにより得られる情報を前記環境情報として出力する
ことを特徴とする請求項１乃至５のいずれかに記載の運転支援装置。
【請求項７】
前記環境情報取得部は、
車両の沈み込み量を検出する沈み込み情報取得部と、
車両の路面に対する傾きを算出する傾き情報取得部の少なくとも一つを含み、
前記情報解析部は、前記沈み込み量及び前記傾きの少なくとも一つに基づいて、前記画像情報で表される画像の座標変換を行う座標変換部をさらに有し、
前記領域切り出し部は、前記座標変換を行うことで得られた画像のうちの、前記距離情報が得られた対象物に対応する領域部分を切り出す
ことを特徴とする請求項１乃至６のいずれかに記載の運転支援装置。
【請求項８】
前記沈み込み情報取得部は、
前記自車両の４輪全て、もしくは対角２輪におけるサスペンションのストロークを検出し、前記自車両の重量を算出し、算出された重量及び検出された前記ストロークから前記自車両の沈みこみ量を算出する
ことを特徴とする請求項７に記載の運転支援装置。
【請求項９】
前記状況解析部から出力された前記処理の結果を示す情報が、前記対象物との衝突のおそれがあることを示す場合に、運転者に注意喚起のための情報を出力する注意喚起部をさらに備えることを特徴とする請求項１乃至８のいずれかに記載の運転支援装置。
【請求項１０】
前記状況解析部から出力された前記処理の結果を示す情報が、前記対象物との衝突のおそれがあることを示す場合に、車両を停止させるための制御を行う車両制御部をさらに備える
ことを特徴とする請求項１乃至９のいずれかに記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置に関し、特に車載レーダなどの距離センサと車載カメラなどの画像センサを備え、これらにより得られる情報を組合せて利用することで、対象物についての情報を得て、運転支援のための情報を生成する運転支援装置に関する。
【背景技術】
【０００２】
画像センサ（カメラ）や距離センサ（ミリ波レーダ、レーザレーダ、ソナーなど）を使った運転支援機能を搭載した車両が増えている。代表的なものとして、画像センサを用いたレーンキープやレーンチェンジのための白線検知や、距離センサを用いた、衝突回避のための車両周辺の対象物検知がある。
【０００３】
画像センサは距離センサに比べて高い空間分解能を有しており、またカラー画像を取得可能であるという利点がある。しかし、対環境性が低く、暗い夜道や悪天候時には画質が低下し、対象物特定が困難になるという問題がある。
【０００４】
この問題の解決方法として、利得の増大による感度増強や視認性改善のための画像処理を行うことが提案されている。しかし、これらの処理は、単位時間当たりのデータ処理量が多く、車載用の回路では実現が困難であるという問題がある。
【０００５】
また、画像処理は一般に画像全体に対して一様な処理をかけるため、例えば暗い夜道で対向車のヘッドライトが写った場合など、画像の部分によって画像の特性が変化する環境では、画像処理が一部の領域に対しては適切でも他の領域に対しては適切でない場合がある。そこで、画像内の領域ごとに画像特性を算出し、画像処理のためのパラメータ（フィルタ係数など）を変化させる方法があるが、画像の領域毎に画像特性を算出し、その領域用にパラメータを設定して画像処理を行なうため、データ処理量（計算量）が増大するという問題がある。
【０００６】
距離センサは対環境性が高く、走行の時間帯、悪天候などに左右されずに自車両と対象物との距離を検出することが可能である。しかし、距離センサは空間分解能が低く、取得されたデータに基づいて対象物を正確に特定することができず、例えば、前方の車両とガードレールを判別することができないという問題がある。
【０００７】
そこで、距離センサの高い対環境性と画像センサの高い空間分解能を組合せることで互いの欠点を補い、対象物検出精度を高くする方法が提案されている（特許文献１）。
【０００８】
また、距離センサが受信した対象物の複数の反射点からの反射波に基づく情報をクラスタリングすることで、対象物の横幅を算出し、算出した横幅をもとに画像内における前方車両の大きさを推定し、対象物を囲む矩形の候補領域を設定し、候補領域内の画像からエッジ画像を形成して対象物認識を行うことも提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１０−２４９６１３号公報
【特許文献２】特許第４０７４５７７号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の方法では、画像センサで得た画像に対し画像処理を行ったとしても、悪天候や暗い夜道など、環境条件によっては、画像中の対象物の特定が正確に行えないという問題がある。
【００１１】
また、特許文献２の方法では、対象物が、例えば予め予想されている物（例えば４輪車）以外のものである場合、例えば対象物がオートバイ、自転車、歩行者などである場合、或いは、予め予想されている物であっても通常とは異なる高さを有する場合には、その高さを正確に求めることができないという問題がある。
【課題を解決するための手段】
【００１２】
本発明に係る運転支援装置は、
自車両を基準として各角度にある対象物までの距離を検出して距離情報を生成する距離情報取得部と、
前記自車両に搭載された画像センサで対象物を撮像し、対象物の画像情報を取得する画像情報取得部と、
前記自車両周辺の環境を検出して環境情報を取得する環境情報取得部と、
前記距離情報と、前記画像情報と、前記環境情報に基づいて、運転支援に利用される情報を生成する情報解析部とを備え、
前記情報解析部が、
前記画像情報又はこれを座標変換することで得られた画像情報で表される画像のうち、前記距離情報が得られた対象物が占める範囲を含む領域部分を切り出す領域切り出し部と、
前記領域部分に対し、前記環境情報に基づいて画像処理を行う領域画像補正部と、
前記領域画像補正部で画像処理された画像に基づいて、画像中の対象物が占める範囲を特定し、特定した範囲の画像を対象物画像として切り出す対象物切り出し部と、
前記対象物画像に対し、前記環境情報に基づいて更なる画像処理を行なう対象物画像補正部と、
前記対象物画像補正部で前記更なる画像処理を受けた対象物画像に基づいて、当該対象物の種類を特定する処理及び当該対象物による危険の有無を判定する処理の少なくとも一つを行って、該処理の結果を示す情報を出力する画像認識部と
を有する。
【発明の効果】
【００１３】
本発明によれば、データ処理量を抑制しつつ、対象物の特定や対象物による危険性の把握を正確に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１の運転支援装置を示すブロック図である。
【図２】図１の環境情報取得部３の構成例を示すブロック図である。
【図３】図１の距離情報取得部１において得られる距離情報の一例を示す図である。
【図４】（ａ）及び（ｂ）は、実施の形態１において、角度範囲検出部４１で検出される角度範囲、位置範囲算出部４２で算出される位置範囲、及び領域切り出し部４４による切り出し領域を示す図である。
【図５】（ａ）及び（ｂ）は、環境情報取得部３で取得される環境情報と画像処理方法の対応関係を示す表である。
【図６】図１の領域画像補正部４５及び対象物画像補正部４７をソフトウェアで構成する場合の構成例を示すブロック図である。
【図７】図６のプログラム記憶部７に記憶されている画像処理プログラムの例を示すブロック図である。
【図８】本発明の実施の形態２の運転支援装置を示すブロック図である。
【図９】（ａ）及び（ｂ）は、図８の角度範囲検出部８１で検出される角度範囲、位置範囲算出部８２で算出される位置範囲、及び領域切り出し部４４による切り出し領域を示す図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
図１は本発明の実施の形態１における運転支援装置を示す。
図示の運転支援装置は、距離情報取得部１と、画像情報取得部２と、環境情報取得部３と、状況解析部４と、注意喚起部５と、車両制御部６とを備えている。
状況解析部４は、角度範囲検出部４１と、位置範囲算出部４２と、座標変換部４３と、領域切り出し部４４と、領域画像補正部４５と、対象物切り出し部４６と、対象物画像補正部４７と、画像認識部４８と、特徴量記憶部４９とを備えている。
【００１６】
距離情報取得部１は、距離センサ１ａを有し、該距離センサ１ａから、水平方向の異なる角度に電磁波或いは超音波のビームを放射し、反射波を受けることで、ビームを反射させた対象物までの距離及び該対象物の自車両に対する相対速度を検出することができる。
距離センサ１ａとしては、ミリ波レーダ、レーザレーダなどのレーダ、ソナーなどを用いることができる。
【００１７】
距離情報取得部１の距離センサ１ａは、その基準方向が、例えば自車両の特定の方向、例えば、車両の前方方向或いは車両の進行方向に関係付けられている。即ち、距離センサ１ａは、上記特定の方向を中心とする所定の角度範囲内でビームの放射方向を変化させる。このような方向の変化を走査という。
【００１８】
自車両の特定の方向を中心とする所定の角度範囲内において、放射方向を所定角度（例えば５度）ずつ変化させながら、ビームを放射し、それぞれの角度（方位）からの反射波を受信することで、各角度においてビームを反射させた対象物についての距離及び相対速度情報を得ることができる。
距離情報取得部１で取得された情報は距離情報Ｄ１として出力される。
【００１９】
画像情報取得部２は、撮像装置、即ち画像センサ２ａを含み、対象物の画像情報を取得する。画像センサ２ａはその基準軸方向が、自車両の特定の方向、例えば車両の前方方向或いは進行方向に関係付けられている。画像センサ２ａは、上記特定の方向を中心とする所定の範囲（画角）内の画像を取得する。
【００２０】
距離センサ１ａについての上記の特定の方向と、画像センサ２ａについての上記の特定の方向とは必ずしも一致しなくても良いが、画像センサ２ａの基準軸は距離センサ１ａの基準軸に関係付けられており、また、画像センサ２ａの水平方向の画角と距離センサ１ａの走査範囲とは関係付けられており、距離センサ１ａで取得した反射波に基づく情報と、画像センサ２ａで取得した画像情報とを対応付けることが可能となっている。例えば、距離センサ１ａで距離情報が取得された角度が、画像センサ２ａで取得された画像のどの位置のものであるかが分かるようになっている。
画像情報取得部２で取得された情報は画像情報Ｄ２として出力される。
【００２１】
環境情報取得部３は、自車両の周辺環境から、種々の環境条件を検出し、検出結果を示す環境情報（環境パラメータ）を出力する。
環境情報取得部３は、例えば図２に示すように、光量情報取得部３１、雨・雪情報取得部３２、沈み込み情報取得部３３、及び傾き情報取得部３４を備える。
【００２２】
光量情報取得部３１は、自車両の周辺の光の強さを検出する。光量情報取得部３１は光量センサを有し、該光量センサで取得した光量に基づいて周辺の明るさを判別する。判別結果は明るさを表す情報（明るさ情報）Ｄ３１として出力される。
【００２３】
雨・雪情報取得部３２は、雨や雪などが降っているかどうか（降水中であるかどうか）を示す情報（雨・雪情報）Ｄ３２として出力される。なお、降水量（降雨量、降雪量など）の大小を検出する機能を有しても良い。
【００２４】
沈み込み情報取得部３３は、車両の重量を検出し、検出結果に基づいて車両の沈み込み量を算出する。この沈み込みは、車両が傾かずに沈み込んだ場合を想定し、所定の基準位置に対する相対位置を表す値である。
沈み込み情報取得部３３は、例えば、前後左右４個の車輪又は対角２個の車輪と車体とを連結し、主として車体の上下振動を緩和するために設けられているサスペンションのストローク（例えば、車輪直上のバネのストローク）を検出し、検出したストロークに基づいて車両の総重量（車体、搭乗員及び積み荷の重量の合計）を算出し、算出された重量と、サスペンションの弾性率などに基づいて、沈みこみ量を算出する。
算出された沈み込み量を表す情報は、沈み込み情報Ｄ３３として出力される。
【００２５】
傾き情報取得部３４は、車両の路面に対する傾きを検出する。この路面に対する傾きは、坂道などで路面が傾いている場合、あるいは、車両の搭乗員や積荷が均等でない場合に生じるものである。
傾きは、ジャイロセンサや傾きセンサを用いることで検出することができる。
なお、沈み込み情報取得部３３で利用するサスペンションのストロークが前後左右４個の車輪に関し得られる場合には、これらのストロークから傾きを算出することも可能である。
算出された傾きを表す情報は傾き情報Ｄ３４として出力される。
【００２６】
上記のそれぞれの情報取得部（３１〜３４）で得られた情報Ｄ３１〜Ｄ３４を総称して環境情報Ｄ３という。
環境情報Ｄ３のうち、沈み込み情報Ｄ３３及び傾き情報Ｄ３４は、座標変換部４３に供給され、明るさ情報Ｄ３１及び雨・雪情報Ｄ３２は、領域画像補正部４５へ供給される。
【００２７】
座標変換部４３は、沈み込み情報Ｄ３３及び傾き情報Ｄ３４を受け、これらに基づいて、画像情報Ｄ１で表される画像の座標変換を行い、座標変換された画像Ｄ４３を出力する。この座標変換においては、例えばまず、沈み込み情報Ｄ３３で表される沈み込み量を補償するため画像を上下方向に移動させる。次に、傾き情報Ｄ３４で表される傾きを補償するため、検出された傾きとは逆の方向に画像を回転させる。
このような移動及び回転により得られる画像（座標変換後の画像）Ｄ４３は、領域切り出し部４４に供給される。
【００２８】
角度範囲検出部４１では、距離情報取得部１により得られた各角度についての距離情報（各角度に位置し、それぞれの反射波を生じさせた対象物から距離センサ１ａまでの距離）に基づいて、対象物が占める水平方向範囲を検出する。
【００２９】
以下、角度範囲検出部４１の動作を図３を参照して説明する。図３で、符号Ｐ（１ａ）は距離センサ１ａの位置を示している。
上記のように、距離情報取得部１では水平方向の異なる位置にある１又は２以上の対象物までの距離を求めることができ、以下のように、該距離情報に基づくクラスタリングにより各対象物の水平方向範囲を求めることができる。
【００３０】
図３には、互いに異なる角度Ａ（１）〜Ａ（１６）の反射波から得られた距離情報で表される距離の位置が符号Ｐ（１）〜Ｐ（１６）で示されている。図では簡単のため、所定の角度毎にビームが放射され、１６個の角度Ａ（１）〜Ａ（１６）に関して距離情報が得られているものとしている。いくつかの角度、即ち、角度Ａ（１）、Ａ（２）、Ａ（４）、Ａ（１０）、Ａ（１２）に関しては、距離が所定値Ｌｔｈよりも大きいと判断されているものとする。距離が所定値Ｌｔｈよりも大きいと判断されるのは、反射波が届くまでの時間が所定値よりも長い場合と、反射波が受信できない場合とがある。
【００３１】
次に、距離が所定値Ｌｔｈ以下である角度について、互いに隣り合う角度からの反射波から得られた距離情報が、互いに近い値（差が所定値以内）の距離を表すものである場合は、これらの反射波は、同じ対象物からの反射波である可能性が高い。例えば、図３の例では、角度Ａ（５）、Ａ（６）、Ａ（７）、Ａ（８）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定することができる。同様に、角度Ａ（１４）、Ａ（１５）、Ａ（１６）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定することができる。
【００３２】
上記の処理のための手順をより具体的に述べれば、角度Ａ（４）、Ａ（５）からの反射波から得られた距離情報が互いに近い値を有しないので、異なる対象物からの反射波であると推定した後、角度Ａ（５）、Ａ（６）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定し、同様に、角度Ａ（６）、Ａ（７）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定し、同様に、角度Ａ（７）、Ａ（８）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定し、角度Ａ（８）、Ａ（９）からの反射波から得られた距離情報が互いに近い値を有しないので、異なる対象物からの反射波であると推定する。
これらの推定結果を総合して、角度Ａ（５）、Ａ（６）、Ａ（７）、Ａ（８）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定する。
【００３３】
同様に、角度Ａ（１３）、Ａ（１４）からの反射波から得られた距離情報が互いに近い値を有しないので、異なる対象物からの反射波であると推定した後、角度Ａ（１４）、Ａ（１５）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定し、同様に、角度Ａ（１５）、Ａ（１６）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定する。
そしてこれらの推定結果を総合して、角度Ａ（１４）、Ａ（１５）、Ａ（１６）からの反射波から得られた距離情報が互いに近い値を有するので、同じ対象物からの反射波であると推定する。
【００３４】
このように、互いに隣接する複数の角度において、互いに近い距離からの反射波が検出された場合、該反射は同じ対象物からの反射波であると判断し、該対象物についてさらなる処理を行う。
【００３５】
一般化して言えば、反射波が所定の角度毎に得られるものとし、ある角度Ａ（ｉ）からの反射波によって得られた距離情報Ｌ（ｉ）を基準とし、隣接する角度Ａ（ｉ＋１）からの反射波によって得られた距離情報Ｌ（ｉ＋１）との差分絶対値ΔＬ（＝｜Ｌ（ｉ）−Ｌ（ｉ＋１））を求め、この差分絶対値が所定の閾値よりも小さければ、角度Ａ（ｉ）と角度Ａ（ｉ＋１）では同じ対象物からの反射波が得られており、角度Ａ（ｉ）及びＡ（ｉ＋１）において反射波を生じさせたものは同じ対象物の異なる部分であると判断する。
次に角度Ａ（ｉ＋１）と角度Ａ（ｉ＋２）について同じ処理を行う。このような処理を繰り返すことで、同じ対象物がどの角度からどの角度までの範囲を占めているかを検知することができる。
【００３６】
図示の例では、角度Ａ（５）及びＡ（８）が一つの対象物の角度範囲Ｂａの一端（左端）及び他端（右端）を示す情報として出力されるとともに、角度Ａ（１４）及びＡ（１６）が他の対象物の角度範囲Ｂｂの一端（左端）及び他端（右端）を示す情報として出力される。
求められた対象物の角度範囲を示す情報Ｄ４１は、位置範囲算出部４２へ供給される。
【００３７】
次に図４（ａ）及び（ｂ）を参照して位置範囲算出部４２の動作を説明する。
図４（ａ）は、距離情報取得部１で得られた、図３の角度範囲Ｂａ、Ｂｂ、及びその内部に含まれる角度Ａ（５）〜Ａ（８）、Ａ（１４）〜Ａ（１６）を平面上に展開して示す。
位置範囲算出部４２は、角度範囲検出部４１で求められた角度範囲を示す情報Ｄ４１を受け、角度範囲検出部４１で算出された対象物の角度範囲Ｂａ、Ｂｂに対応する、画像情報Ｄ２で表される画像中の水平方向範囲Ｒａ、Ｒｂ（図４（ｂ））を算出する。具体的には、角度範囲Ｂａ、Ｂｂの左端及び右端を示す情報から、画像中の水平方向範囲Ｒａ、Ｒｂの左端及び右端の位置を示す情報（座標値）を算出する。
算出した情報は、位置情報Ｄ４２として、領域切り出し部４４へ送られる。
【００３８】
領域切り出し部４４は、座標変換部４３から出力される、座標変換された画像Ｄ４３を受け、位置範囲算出部４２より得られた、画像内の水平方向範囲の左端及び右端の位置を示す情報Ｄ４２に基づいて、画像のうちの対象物が占める水平方向範囲を含む領域部分（図４（ｂ）に符号Ｃａ、Ｃｂで示す部分）を切り出す。この切り出しでは、垂直方向範囲は限定せず、水平方向範囲のみを限定した領域部分が切り出される。即ち、画像を垂直方向に延びた分割線（点線で示す）で、該当部分とそれ以外の部分を分離し、該当部分の画像データのみを抽出する処理である。
【００３９】
切り出し領域Ｃａの左端は、水平方向範囲Ｒａの左端よりもやや左側にずれた位置にあり、切り出し領域Ｃａの右端は、水平方向範囲Ｒｂの右端よりもよりもやや右側にずれた位置にある。
同様に、切り出し領域Ｃｂの左端は、水平方向範囲Ｒｂの左端よりもやや左側にずれた位置にあり、切り出し領域Ｃｂの右端は、水平方向範囲Ｒｂの右端よりもやや右側にずれた位置にある。
上記のずれの量は、例えば隣接する角度間の間隔（例えば角度Ａ（４）と角度Ａ（５）の間隔）に略等しい距離、又はこれよりも若干短い距離とするのが望ましい。
なお、図示の例では、切り出し領域Ｃｂの右端は、画面の右端位置に一致している。
【００４０】
このようにすることで、対象物から反射が確認された角度範囲Ｂａ、Ｂｂに対応する水平方向範囲Ｒａ、Ｒｂよりも広めに切り出し領域Ｃａ、Ｃｂを設定することができる。
このように切り出し領域Ｃａ、Ｃｂを広めに設定するのは、距離センサ１ａの空間分解能が画像センサ２ａの空間分解能よりも低いことを考慮し、対象物の画像が確実にその切り出し領域内に含まれるようにするためである。
【００４１】
領域画像補正部４５は、領域切り出し部４４より得られた領域切り出し画像（切り出し領域Ｃａ、Ｃｂの画像）に対し、環境情報取得部３により得られた環境情報Ｄ３に応じた画像処理を行い、画像処理後の画像を環境補正画像Ｄ４５として出力する。この画像処理は、画像内の対象物が占める範囲をより正確に特定するために視認性を向上させることを主な目的とするものである。
【００４２】
実行可能な画像処理としては、ノイズ低減、雨・雪補正、コントラスト補正、エッジ強調、エッジ抽出などの画質補正や、信号増幅、デジタルズームなどがあり、これらのうちの、環境情報Ｄ３に応じて選択されたものが実行される。なお、環境情報Ｄ３の内容によっては、いずれの画像処理も実行されない場合があり得る。
【００４３】
環境情報Ｄ３の値による画像処理方法の選択例を図５（ａ）及び（ｂ）に示す。
例えば、図５（ａ）に示すように、明るさ情報Ｄ３１が、周辺の明るさを２５６段階で数値化したものであるとする。その場合、明るさ情報Ｄ３１の値に基づいて、信号増幅及びノイズ低減処理が必要か否かを選択する。例えば明るさを示す値が５０（第１の所定値）以下であれば、周囲が暗いと判断し、画像情報に対して、信号増幅及びノイズ低減処理を行う。明るさを示す値が５０〜２００の間（第１の所定値より大きく、第２の所定値よりも小さい範囲内）であれば、信号増幅だけを行う。明るさを示す値が２００（第２の所定値）以上であれば、信号増幅、ノイズ低減処理の何れも行わない。
【００４４】
また、雨・雪情報Ｄ３２により、雨・雪補正処理が必要か否かを選択する。雨・雪情報Ｄ３２が雨や雪などが降っていることを示す「１」であれば、画像情報に対して雨・雪補正処理を行う。雨・雪情報Ｄ３２が雨や雪が降っていないことを示す「０」であれば、雨・雪補正処理をしない。
【００４５】
このように領域画像補正部４５で、環境情報Ｄ３（明るさ情報Ｄ３１、雨・雪情報Ｄ３２）に対応した画像処理の内容を選択し画像処理することで、悪天候や照度などの外部環境によって、画像センサ２ａで得られる画像の質が低下しても、画質を改善し、後段の対象物切り出し部４６における画像切り出しのための対象物が占める範囲の特定をより正確に行えるようにすることができる。
領域画像補正部４５で生成された補正画像Ｄ４５は、対象物切り出し部４６へ供給される。
【００４６】
対象物切り出し部４６は、領域画像補正部４５からの補正画像Ｄ４５から対象物画像の切り出しを行う。この切り出しにおいては、補正画像Ｄ４５中の対象物が占める範囲をより正確に特定し、特定した範囲を対象物画像として切り出す。図示の例では、水平方向範囲及び垂直方向範囲を特定し、該水平方向範囲及び垂直方向範囲の双方が限定された部分Ｔａ、Ｔｂを対象物画像として切り出す。
【００４７】
領域切り出し部４４でも水平方向の切り出しを行っているが、領域切り出し部４４での切り出しは、距離センサ１ａの出力に基づくおおまか切り出しであり、その場合には広めに切り出されるのに対し、対象物切り出し部４６での切り出しは領域画像補正部４５による画像処理後の画像において特定された対象物の範囲に基づく切り出しであるので、対象物を囲む範囲はより正確に検出されており、従って、対象物以外の部分をより少なくした範囲Ｔａ、Ｔｂが切り出される。
切り出された画像Ｄ４６は、対象物画像補正部４７へ供給される。
【００４８】
対象物画像補正部４７は、対象物切り出し部４６から出力された切り出し画像Ｄ４６に基づいて、認識用画像Ｄ４７の生成を行う。
認識用画像Ｄ４７の生成に当たり、対象物切り出し画像Ｄ４６に対し、予め用意されている複数の画像処理のうちの適切なもの選択して実行する。
この画像処理は、後段の画像認識部４８における画像認識を一層正確にするために行われるものであり、実行可能な画像処理としては、ノイズ低減、雨・雪補正、コントラスト補正、デジタルズーム、エッジ強調、エッジ抽出などの画質補正、信号増幅、デジタルズームがあり、これらのうちの、環境情報Ｄ３に応じて選択されたものが実行される。
【００４９】
上記のうち、画像認識をより正確に行うための処理としては、具体的には、更なるエッジ強調、ノイズ除去、コントラスト補正などの画質補正が重要であり、これらを実施することで、対象物の特徴（形状、模様、色）を強調することができる。
なお、環境情報Ｄ３の内容によっては、いずれの画像処理も実行されない場合があり得る。
このようにして得られた認識用画像Ｄ４７は、画像認識部４８へ送られる。
【００５０】
領域画像補正部４５及び対象物画像補正部４７における処理は、ソフトウェアで、即ちプログラムされたコンピュータで実現することが可能であるが、その場合には、図６に示すように、領域画像補正部４５及び対象物画像補正部４７をプロセッサで構成し、それぞれの画像処理を実施するためのプログラムをプログラム記憶部７に記憶させておき、領域画像補正部４５及び対象物画像補正部４７が、プログラム記憶部７に記憶されている画像処理プログラムの中から、環境情報Ｄ３に対応する画像処理プログラムを選択して、選択した画像処理プログラムによる処理を行う。
【００５１】
図７には、プログラム記憶部７に記憶されているプログラムを示す。これらのプログラムには、信号増幅プログラム７１、ノイズ低減プログラム７２、画像内の上から下へ大きく動く物体を検知し消去する雨・雪補正プログラム７３、画像のコントラストを大きくし、霧などのぼやけた画像をはっきり見せるコントラスト補正プログラム７４、遠くの物体を大きく画面に表示するデジタルズームプログラム７５、対象物のエッジをより強調するエッジ強調プログラム７６、及びエッジの部分だけを検出し画像化するエッジ抽出プログラム７７が含まれる。
【００５２】
画像認識部４８は、対象物画像補正部４７から出力された認識用画像Ｄ４７及び特徴量記憶部４９に保存されている参照用の特徴量Ｄ８に基づいて、対象物の特定を行う。
【００５３】
特徴量記憶部４９には、４輪車の特徴量、２輪車の特徴量、人の特徴量、電柱の特徴量、木の特徴量などが保存されている。特徴量は、対象物の輪郭情報、色情報、大きさ（各方向の寸法）によって定義されており、これらが参照用特徴量Ｄ８として提供される。
【００５４】
画像認識部４８は、認識用画像Ｄ４７を受けて、対象物の特徴量を算出し、参照用特徴量Ｄ８を参照し、参照用特徴量Ｄ８と比較して対象物の種類を特定する。この比較としては、参照用特徴量Ｄ８により定義される画像と、認識用画像Ｄ４７とのパターンマッチングを行なっても良い。
【００５５】
例えば、参照用特徴量Ｄ８で定義される画像のパターン（参照用パターン）と、認識用画像のパターンとのパターンマッチングによって認識用画像で表されている対象物の特定を行う。
マッチングを行なう場合には、認識用画像の横幅（水平方向寸法）と、参照用特徴量Ｄ８で示される参照用パターンの横幅が同じになるように画像の拡大、縮小を行い、さらに傾いていると判断される場合には、回転させることで傾きを補償する。さらに、画像を上下に移動させながら、参照用パターンとの比較を行う。言い換えると、画像を上下方向に移動させながら、一致度が高くなる位置を探索する。
【００５６】
参照用パターンが複数個ある場合には、複数個の参照用パターンの各々との比較を行う。例えば参照用パターンを順に一つずつ選択し、選択したパターンとの比較を行う。
選択した参照用パターンとの一致度が高くない（所定値未満である）ときは、別の参照用パターンを選択して比較に用いる。
一致度が高い参照用パターンが見つかるまで以上の処理を繰り返す。このような処理を行うことで、画像の認識を行う。
【００５７】
画像認識部４８では、比較の結果に基づいて、認識用画像Ｄ４７で表されている対象物の種類を特定する。
この場合、画像情報取得部２で取得された対象物に対応する画像部分の大きさと、距離情報取得部１で取得された対象物までの距離を組合せることで対象物の大きさを推定することができる。
【００５８】
対象物の種類を特定した後は、特定された対象物の追跡を行う。即ち、それまでに特定された対象物と同じであれば、追跡を開始し、新たに検出された対象物であれば、追跡を開始する。
【００５９】
画像情報取得部２で得られる画像中の、対象物に対応する画像部分の大きさが変化した場合でも、当該画像部分の拡大、縮小により、大きさ、例えば横幅を一定に維持し、それまでと同じ大きさの参照用パターンとの比較で、類似度を確認しながら、対象物の追跡を続ける。
対象物に対応する画像部分の大きさ及び位置の変化は、対象物の移動を反映するものであり、このような大きさ及び位置の変化が距離情報取得部１で得られる対象物までの距離の変化及び角度（方位）の変化に対応するものかどうかの判断を行うことで、追跡が正確に行われているかどうかの確認を行うことができる。このような処理を行うために、画像認識部４８は、距離情報取得部１から出力される情報Ｄ１をも入力とする。
このように追跡を行う結果、対象物の移動の向き、速度を推定することができる。
【００６０】
このようにして得られる、対象物の大きさ、位置、動きの向き及び速度に基づいて対象物との衝突の危険性についての判定を行う。
【００６１】
例えば、認識している対象物が次第に自車両に接近し、相対速度も大きく、距離も短い場合には、該対象物を、衝突危険物と判定する。距離、速度は単独で危険かどうか判定するのではなく、距離と速度の組合せにより危険かどうかの判定が行なわれる。
衝突危険物と判定した場合には、危険であることを運転者に知らせるか衝突回避のための運転制御を行うための情報を出力する。
【００６２】
また、対象物に対応する画像が次第に遠ざかったり、画像センサ２ａの画角外に移動したり、距離センサ１ａの走査範囲外に移動するなどの場合には、消失したとの判定を行う。
画像センサ２ａの画角内に存在する画像でも、対象物が次第に遠ざかるなどの理由で対応する画像部分が次第に小さくなって所定値未満となったり、輝度が次第に低下して所定値未満となったりした場合にも、消失と判定する。
【００６３】
対象物が消失した場合には、それ以降新たな対象物の探索、発見した対象物の追跡を行う。
なお、複数の対象物に対し同時に追跡を行うことも可能である。
【００６４】
このようにして得られた対象物を特定の結果、及び衝突の危険についての判定の結果は、画像認識結果Ｄ４８として注意喚起部５及び車両制御部６へと送られる。
【００６５】
注意喚起部５は、画像認識部４８での認識結果Ｄ４８に基づいて、対象物について運転者の注意を喚起するとともに、衝突の危険が有る場合（危険性が所定の閾値よりも高い場合）にはその点についても運転者の注意を喚起する。
注意喚起部５は表示部５ａを含み、表示部５ａで対象物を表示し、例えば目立つ枠で囲ったり、対象物のみをズームアップして表示したりして、対象物画像が視認しやすいようにするともに、衝突危険が有る場合には、音声で危険を知らせる。表示部５ａは、他の目的で使用されている表示部を兼用しても良い。例えば、カーナビ用表示部を兼用しても良い。
【００６６】
車両制御部６は、画像認識部４８での認識結果Ｄ４８に基づいて、車両の運転を自動的に（運転者の運転操作を無効にして）制御する。
例えば認識結果Ｄ４８が対象物との危険のおそれがあることを示す場合には、ブレーキをかける。
【００６７】
以上のように構成された運転支援装置においては、対環境性が高い距離情報取得部１の情報をもとに、画像情報取得部２で取得された画像内の、対象物が占める範囲を含む領域部分を切り出し、切り出した領域部分内の画像に対して画像処理を加え、さらに画像処理された画像から、対象物が占める範囲をより正確に特定し、特定した範囲の画像を対象物画像として切り出し、切り出された対象物画像に対して、更なる画像処理を行うことで、画像認識に適した画像を生成することとしているので、画像センサで得られる画像の画質が低下する悪天候時の場合でも、悪天候の影響を大きく受けずに画像認識が実現される。
【００６８】
さらに、画像のうちの一部、即ち、対象物が占める範囲を含む領域部分、或いは対象物に対応する部分だけに画像処理を行うため、データ処理量（計算量）を少なくすることができる。
【００６９】
さらにまた、画像認識を行う場合、対象物のパターンマッチングにおける探索は、垂直方向にのみ行えば良いので、データ処理量を少なくすることができる。
【００７０】
さらにまた、対象物の追跡を距離センサの情報と画像センサの情報の双方を用いて行なうため、対象物を見失う可能性が低く、対向車のヘッドライトなどの影響に左右されず安定した対象物の追跡を行うことができる。
【００７１】
なお、上記の構成では、領域切り出し部４４が、座標変換部４３から出力される画像から領域の切り出しを行っているが、領域切り出し部４４が、画像取得部２から出力される画像から切り出しを行い、領域切り出し部４４で切り出された画像に対し、領域画像補正部４５における画像処理の前又は後で座標変換を行なうこととしても良い。
【００７２】
実施の形態２．
図８は、本発明の実施の形態２の運転支援装置を示す。
図８に示される運転支援装置は、図１に示される実施の形態１の運転支援装置と慨して同じであるが、以下の点で異なる。即ち、実施の形態１の距離情報取得部１の代わりに二次元距離情報取得部１１が設けられ、角度範囲検出部４１の代わりに、角度範囲検出部８１が設けられ、位置範囲算出部４２の代わりに、位置範囲算出部８２が設けられ、領域切り出し部４４の代わりに、領域切り出し部８４が設けられている。二次元距離情報取得部１１は、二次元距離センサ１１ａを備えている。
以下では、主に実施の形態１と異なる部分について説明する。
【００７３】
二次元距離情報取得部１１の二次元距離センサ１１ａは、実施の形態１の距離情報取得部１の距離センサ１ａと同様に、ミリ波レーダ、レーザレーダ、ソナーなどで構成されているが、電磁波或いは超音波のビームの放射方向を水平方向に変化させるのみならず垂直方向にも変化させることで二次元に走査を行い、水平方向及び垂直方向の異なる角度からの反射波を受け、各角度における、ビームを反射させた対象物までの距離及び該対象物の自車両に対する相対速度を検出する。
放射方向を垂直方向にも走査することで、例えば、低い場所にある対象物を検出することができる。
【００７４】
角度範囲検出部８１は、距離情報取得部１１により得られた各角度についての距離情報に基づいて、各対象物が占める、水平方向及び垂直方向範囲を検出する。
即ち、実施の形態１の角度範囲検出部４１について説明したのと同様のクラスタリングを水平方向のみならず、垂直方向にも行うことにより、同じ対象物が占める水平方向角度範囲のみならず、及び垂直方向角度範囲を検出し、検出結果を角度範囲検出部８１として出力する。
【００７５】
図９（ａ）は、角度範囲検出部８１で生成される角度範囲情報の一例を示す。図９（ａ）に示す例では、角度Ａ（５，３）、Ａ（５，４）、Ａ（５，５）、Ａ（６，２）、Ａ（６，３）、Ａ（６，４）、Ａ（７，２）、Ａ（７，３）、Ａ（７，４）、Ａ（７，５）、Ａ（８，３）、Ａ（８，５）に１つの対象物が存在するとの検出結果、並びに角度Ａ（１４，３）、Ａ（１４，４）、Ａ（１４，５）、Ａ（１５，３）、Ａ（１５，４）、Ａ（１５，５）、Ａ（１６，４）、Ａ（１６，５）、Ａ（１６，６）に他の１つの対象物が存在するとの検出結果が示されている。
そこで、角度範囲検出部８１では、水平方向は角度Ａ（５，ｙ）から角度Ａ（８，ｙ）まで（ｙは任意の値）、垂直方向は角度Ａ（ｘ，２）から角度Ａ（ｘ，５）まで（ｘは任意の値）を角度範囲Ｂａとして検出し、水平方向は角度Ａ（１４，ｙ）から角度Ａ（１６，ｙ）まで、垂直方向は角度Ａ（ｘ，２）からから角度Ａ（ｘ，６）までを角度範囲Ｒｂとして検出する。
【００７６】
位置範囲算出部８２は、角度範囲検出部８１で求められた角度範囲を示す情報Ｄ８１に基づいて、角度範囲Ｂａ、Ｂｂに対応する、画像中の位置範囲Ｒａ、Ｒｂ、即ち該位置範囲Ｒａ、Ｒｂの水平方向範囲及び垂直方向範囲の端部位置（座標値）を算出し、算出した端部位置を示す情報Ｄ８２を出力する。
【００７７】
実施の形態１の位置範囲算出部４２との違いは、水平方向のみならず、垂直方向についても範囲（範囲の上端及び下端）の端部位置を求めることである。
このような処理のため、画像センサ２ａは、距離センサ１１ａに対して、水平方向のみならず垂直方向にも対応付けされている。
【００７８】
領域切り出し部８４は、座標変換部４３から出力される座標変換された画像Ｄ４３を受け、位置範囲算出部８２より得られた、画像内の水平方向範囲の左端及び右端の位置及び垂直方向範囲の上端及び下端の位置に基づいて、画像のうちの対象物の水平方向範囲及び垂直方向範囲を含む領域部分（図４（ｂ）の符号Ｃａ、Ｃｂで示す部分）を切り出す。この切り出しでは、水平方向範囲及び垂直方向範囲の双方が限定された領域（矩形の領域）が切り出される。
切り出し範囲Ｃａ、Ｃｂは、範囲Ｒａ、Ｒｂよりもやや広めに設定される。その理由は実施の形態１で述べたのと同様に、距離センサ１１ａの空間分解能が画像センサ２ａの空間分解能よりも低いことを考慮し、対象物の画像が確実にその切り出し領域内に含まれるようにするためである。
【００７９】
領域画像補正部４５、対象物切り出し部４６、対象物画像補正部４７及び画像認識部４８の動作は実施の形態１と同じである。
【００８０】
実施の形態２では領域切り出し部８４で矩形状に切り出し、対象物切り出し部４６で再び矩形状に切り出すが、領域切り出し部８４での切り出しは、距離センサ１１ａの出力に基づくおおまかな切り出しであり、その場合には広めに切り出されるのに対し、対象物切り出し部４６での切り出しは領域画像補正部４５による画像処理後の画像において特定された対象物の範囲に基づく切り出しであるので、対象物を囲む範囲はより正確に検出されており、従って、対象物以外の部分をより少なくした範囲Ｔａ、Ｔｂが切り出される。
【００８１】
実施の形態２では、二次元距離情報取得部１１により、対象物に対して二次元方向に走査しているため、低い場所にある対象物を検出することができ、衝突危険物の検出漏れを防ぐことができる。
【００８２】
また、二次元距離情報取得部１１により得られた二次元の距離情報を用いて対象物の形状に合わせた画像の切り出しを行うことができるため、画像処理の対象となる領域をより狭くすることができ、従って、データ処理量が少なくなり、画像認識までの処理に要する時間をより短くすることができる。
【００８３】
さらに、実施の形態１と同様に、対象物が占める範囲を含む領域部分の切り出し、切り出した領域部分内の画像に対する画像処理、さらに画像処理された画像からの対象物の対象物画像の切り出し、及び切り出された対象物画像に対する更なる画像処理を行うので、画像センサで得られる画像の画質が低下する悪天候時の場合でも、悪天候の影響を大きく受けずに画像認識が実現される。
【００８４】
さらにまた、実施の形態１と同様に、画像のうちの一部、即ち、対象物が占める範囲を含む領域部分、或いは対象物に対応する部分だけに画像処理を行うため、データ処理量（計算量）を少なくすることができる。
【００８５】
なお、実施の形態２でも、実施の形態１について述べたのと同様に、上記の構成では、領域切り出し部８４が、画像取得部２から出力される画像から切り出しを行い、領域切り出し部８４で切り出された画像に対し、領域画像補正部４５における画像処理の前又は後で座標変換を行なうこととしても良い。
【符号の説明】
【００８６】
１、１１  距離情報取得部、  １ａ、１１ａ  距離センサ、  ２  画像情報取得部、  ２ａ  画像センサ、  ３  環境情報取得部、  ４  状況解析部、  ５  注意喚起部、  ６  車両制御部、  ７  プログラム記憶部、  ３１  光量情報取得部、  ３２  雨・雪情報取得部、  ３３  沈み込み情報取得部、  ３４  傾き情報取得部、  ４１、８１  角度範囲検出部、  ４２、８２  位置範囲算出部、  ４３  座標変換部、  ４２、８４  領域切り出し部、  ４５  領域画像補正部、  ４６  対象物切り出し部、  ４７  対象物画像補正部、  ４８  画像認識部、  ４９  特徴量記憶部。
【図１】
2013161402.tif 000003
【図２】
2013161402.tif 000004
【図３】
2013161402.tif 000005
【図４】
2013161402.tif 000006
【図５】
2013161402.tif 000007
【図６】
2013161402.tif 000008
【図７】
2013161402.tif 000009
【図８】
2013161402.tif 000010
【図９】
2013161402.tif 000011