(57)【特許請求の範囲】
【請求項１】
自車両の周辺を撮影するように、当該自車両に搭載された撮影手段と、
前記撮影手段によって異なる時刻に撮影された第１画像及び第２画像において、同一の特徴点を抽出するとともに、前記第１画像における前記特徴点の第１座標位置、及び前記第２画像における前記特徴点の第２座標位置を算出する第１の算出手段と、
前記第１画像の撮影時刻と前記第２画像の撮影時刻との間における、前記自車両の並進方向への移動による前記撮影手段の移動ベクトルを算出する第２の算出手段と、
前記第１の算出手段によって算出された第１座標位置及び第２座標位置と、前記第２の算出手段によって算出された移動ベクトルとに基づいて、前記特徴点が接近物体を示すものである場合に、前記第２座標位置が取り得る値の確率分布、移動速度として取り得る確率分布、及び前記撮影手段の撮影する奥行き方向において、存在すべき位置の確率分布を用いて、前記特徴点が、現実の空間において、前記自車両に接近する接近物体を示すものである確からしさを表す尤度を算出する尤度算出手段と、
前記尤度を算出した特徴点を物体ごとにグループ化しつつ、グループ化された複数の特徴点の尤度に基づき、各物体が接近物体である確からしさを表す尤度の期待値を算出する期待値算出手段と、
接近物体が存在することを前記自車両の乗員に報知するものであって、前記期待値算出手段によって算出された尤度の期待値に応じて、接近物体の存在を前記自車両の乗員に報知する際の報知形態を異ならせる報知手段と、を備えることを特徴とする車両用運転支援装置。
【請求項２】
前記期待値算出手段は、所定の閾値以上の尤度を持つ特徴点を対象として、グループ化を行うことを特徴とする請求項１に記載の車両用運転支援装置。
【請求項３】
前記期待値算出手段は、グループ化された複数の特徴点の尤度を平均化処理して、前記尤度の期待値を算出することを特徴とする請求項１又は２に記載の車両用運転支援装置。
【請求項４】
前記期待値算出手段は、前記複数の特徴点の尤度を平均化処理する際、同じグループに属する信頼性が高いほど、大きな重みを付与する重み付け平均処理を行うことを特徴とする請求項３に記載の車両用運転支援装置。
【請求項５】
前記期待値算出手段は、グループ化された特徴点の数が所定数未満であった場合、そのグループ化された特徴点の集合が物体に対応したものとはみなさず、前記尤度の期待値の算出を行わないことを特徴とする請求項１乃至４のいずれかに記載の車両用運転支援装置。
【請求項６】
前記尤度算出手段は、少なくとも歩行者、自転車、自動車を接近物体の属性とし、その接近物体の属性ごとに、前記特徴点の尤度をそれぞれ算出し、
前記期待値算出手段は、前記接近物体の属性ごとに、前記尤度の期待値を算出し、最も高い尤度の期待値を示す属性を、前記接近物体の属性として決定することを特徴とする請求項１乃至５のいずれかに記載の車両用運転支援装置。
【請求項７】
前記尤度算出手段は、少なくとも歩行者、自転車、自動車を接近物体の属性とし、その接近物体の属性ごとに、前記特徴点の尤度をそれぞれ算出し、
前記期待値算出手段は、前記接近物体の属性ごとに、前記尤度の期待値を算出するとともに、接近物体に関して、それが歩行者である確率、自転車である確率、車両である確率を、それぞれの事前確率分布として予め定めておき、前記接近物体の属性ごとに、前記尤度の期待値と前記確率とをかけ合わせて事後確率を算出し、最も高い事後確率を有する属性を、前記接近物体の属性として決定することを特徴とする請求項１乃至５のいずれかに記載の車両用運転支援装置。
【請求項８】
前記第１の算出手段は、前記第１画像の撮影時刻と前記第２画像の撮影時刻との間に、前記自車両が回転方向に移動した場合、前記第２画像において、前記撮影手段の回転移動の影響を除去した第２座標位置を算出することを特徴とする請求項１乃至７のいずれかに記載の車両用運転支援装置。
【請求項９】
前記報知手段は、前記撮影手段によって撮影された画像を表示する表示器を有し、当該表示器に表示された画像上に、接近物体を取り囲む枠を重畳表示するとともに、前記尤度の期待値に対応した拡大率で、時間の経過とともに前記枠を拡大させることを特徴とする請求項１乃至８のいずれかに記載の車両用運転支援装置。
【請求項１０】
前記報知手段は、前記尤度の期待値が大きくなるほど、小さくなるように光学情報τの値を定め、（１＋τ−１）で定められる拡大率に従って、前記枠を拡大させることを特徴とする請求項９に記載の車両用運転支援装置。
【請求項１１】
前記報知手段は、前記拡大率に応じて、前記枠の線の太さを変化させることを特徴とする請求項９又は１０に記載の車両用運転支援装置。
【請求項１２】
前記報知手段は、前記枠を、その背景部分が視認できるように、半透明にて表示することを特徴とする請求項９乃至１１のいずれかに記載の車両用運転支援装置。
【請求項１３】
前記報知手段は、前記枠の影を、前記枠の奥側に表示することを特徴とする請求項９乃至１２のいずれかに記載の車両用運転支援装置。
【請求項１４】
戦記報知手段は、前記枠の影を、その背景部分が視認できるように、半透明にて表示することを特徴とする請求項１３に記載の車両用運転支援装置。
【請求項１５】
前記表示器は、立体的な表示を行うことが可能なものであり、前記報知手段は、前記枠を立体的に表示させつつ、拡大させることを特徴とする請求項９乃至１４のいずれかに記載の車両用運転支援装置。
【請求項１６】
前記報知手段は、前記枠の拡大を所定時間だけ実行すると、枠の大きさを拡大しない状態に戻すようにして、前記枠の拡大を繰り返し実行することを特徴とする請求項９乃至１５のいずれかに記載の車両用運転支援装置。
【請求項１７】
前記報知手段は、複数の接近物体に対応する枠を同時に画像上に重畳表示する場合であって、当該複数の接近物体に対応する枠が重なる場合には、前記尤度の期待値が大きい接近物体に対応する枠を手前に表示することを特徴とする請求項９乃至１６のいずれかに記載の車両用運転支援装置。
【請求項１８】
前記報知手段は、前記期待値算出手段により接近物体の属性が決定されている場合には、前記枠の形態を、その決定された接近物体の属性に応じたものとすることを特徴とする請求項９乃至１７のいずれかに記載の車両用運転支援装置。
【請求項１９】
前記報知手段は、前記撮影手段によって撮影された画像を表示する表示器を有し、その画像における接近物体を示す部分画像を、前記尤度の期待値に対応した拡大率で、時間の経過とともに拡大するように表示させることを特徴とする請求項１乃至１８のいずれかに記載の車両用運転支援装置。
【請求項２０】
前記報知手段は、前記尤度の期待値が大きくなるほど、小さくなるように光学情報τの値を定め、（１＋τ−１）で定められる拡大率に従って、前記部分画像を拡大させることを特徴とする請求項１９に記載の車両用運転支援装置。
【請求項２１】
前記表示器は、立体的な表示を行うことが可能なものであり、前記報知手段は、前記部分画像を立体的に表示させつつ、拡大させることを特徴とする請求項１９又は２０に記載の車両用運転支援装置。
【請求項２２】
前記報知手段は、前記部分画像の拡大を所定時間だけ実行すると、前記部分画像を拡大しない状態に戻すようにして、前記部分画像の拡大を繰り返し実行することを特徴とする請求項１９乃至２１のいずれかに記載の車両用運転支援装置。
【請求項２３】
前記報知手段は、複数の接近物体に対応する部分画像を同時に画像上に表示する場合であって、当該複数の接近物体に対応する部分画像が重なる場合には、前記尤度の期待値が大きい接近物体に対応する部分画像を手前に表示することを特徴とする請求項１９乃至２２のいずれかに記載の車両用運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば停止した状態から車両を発進させる際に、車両の運転者に対して接近物体に関する情報を提供する車両用運転支援装置に関する。
【背景技術】
【０００２】
従来、車両に接近する物体を検知したり、車両周囲の障害物を検知したりする各種のシステムが知られている。例えば、特許文献１には、接近する物体を検知するシステムが記載されている。このシステムでは、時系列的に前後する複数の画像に基づくオプティカルフロー処理により、それらの画像の内、時系列的に特定の向きに移動した画像部分を抽出し、各検出画像部分に対し、特定の向きとは異なる方向にそって動的計画法に基づく処理を施すことで、時系列的に前の画像におけるその画像部分に対する、時系列的に後の画像におけるその画像部分の拡大率を求める。そして、その拡大率に応じて、その画像部分に対応した移動体が接近しつつあるか否かを判定する。
【０００３】
また、特許文献２には、駐車スペースから道路に進行する際に、道路上の接近車両を検出する装置が記載されている。この特許文献２の装置では、カメラ撮影画像で道路の消失点を求め、その消失点の縦座標位置を通る水平ラインと、その近傍に配した並行なラインとを含む複数の検査ラインを設定する。そして、検査ラインのそれぞれにおいて、所定フレーム数のライン画像を積み上げた時空間画像を作成し、時空間画像上で移動物体を検出する。
【０００４】
さらに、特許文献３には、車両周辺の障害物（立体物）を検出するとともに、その障害物が静止しているのか、移動しているのかを検出する周辺監視装置が記載されている。この周辺監視装置では、車両に設置されたカメラの撮影画像を鳥瞰図画像に変換し、異なる時刻に得られた鳥瞰図画像の位置合わせを画像データに基づいて行う。その際、高さのある障害物には位置ずれが生じ、差分領域が形成されるので、その差分領域に基づき、障害物を検出する。さらに、障害物が地面に位置している点の移動量から静止物であるか、移動物であるかを分類する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１５２８７３号公報
【特許文献２】特開２００５―２１７４８２号公報
【特許文献３】特開２００８−２１９０６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば駐車されている車両を前方又は後方へ発進させる際、当該車両に対して接近してくる歩行者や車両などの物体との接触事故が発生することがある。この種の事故が発生するのは、車両周囲に死角となる領域があるなどの理由から、車両を発進させようとしている運転者が、接近してくる物体に気づきにくいことが主な原因と考えられる。そのため、上述した特許文献１〜３のように、車両に搭載されたカメラによって撮影された画像に基づいて、車両に接近する物体を検知し、運転者に報知する各種のシステムが提案されている。
【０００７】
しかしながら、現在の画像センシング技術では、様々な外乱（ノイズ、オクルージョン、モーションブラー、鏡面ハイライト、環境光の変化など）により、誤検出や未検出などの検出ミスの発生をゼロにすることは不可能である。そのため、特許文献１〜３に記載されたような、接近物体の有無に応じて報知／非報知を切り替える２値化型の装置では、誤検出や未検出による誤った情報の提示によって、運転者を混乱させる虞がある。
【０００８】
本発明は、上述した点に鑑みてなされたものであり、接近物体の未検出を低減しつつ、誤検出に基づく情報の提供によって運転者に混乱を生じさせることを抑制することが可能な車両用運転支援装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、請求項１に記載の車両用運転支援装置は、
自車両の周辺を撮影するように、当該自車両に搭載された撮影手段と、
撮影手段によって異なる時刻に撮影された第１画像及び第２画像において、同一の特徴点を抽出するとともに、第１画像における特徴点の第１座標位置、及び第２画像における特徴点の第２座標位置を算出する第１の算出手段と、
第１画像の撮影時刻と第２画像の撮影時刻との間における、自車両の並進方向への移動による撮影手段の移動ベクトルを算出する第２の算出手段と、
第１の算出手段によって算出された第１座標位置及び第２座標位置と、第２の算出手段によって算出された移動ベクトルとに基づいて、特徴点が接近物体を示すものである場合に、第２座標位置が取り得る値の確率分布、移動速度として取り得る確率分布、及び撮影手段の撮影する奥行き方向において、存在すべき位置の確率分布を用いて、特徴点が、現実の空間において、自車両に接近する接近物体を示すものである確からしさを表す尤度を算出する尤度算出手段と、
尤度を算出した特徴点を物体ごとにグループ化しつつ、グループ化された複数の特徴点の尤度に基づき、各物体が接近物体である確からしさを表す尤度の期待値を算出する期待値算出手段と、
接近物体が存在することを自車両の乗員に報知するものであって、期待値算出手段によって算出された尤度の期待値に応じて、接近物体の存在を自車両の乗員に報知する際の報知形態を異ならせる報知手段と、を備えることを特徴とする。
【００１０】
上記のように、請求項１に記載の車両用運転支援装置では、尤度算出手段により、画像における特徴点が接近物体を示すものである確からしさを表す尤度が算出され、さらに期待値算出手段により、尤度を算出した特徴点が物体ごとにグループ化され、グループ化された複数の特徴点の尤度から、各物体が接近物体である確からしさを表す尤度の期待値が算出される。すなわち、グループ化された複数の特徴点に対応する各物体が、接近物体であるか否かを二値的に判定するのではなく、接近物体である確からしさを、尤度の期待値により連続的な値として算出する。従って、接近物体である可能性が低い物体が存在した場合、それを接近物体として検出しないのではなく、低い尤度の期待値を持った接近物体として検出することが可能となる。このため、接近物体が存在しながら、未検出となることを低減することができる。
【００１１】
一方、尤度の期待値が低いほど、その物体は、必ずしも接近物体ではない可能性が高まる。そのため、報知手段は、尤度の期待値に応じて、接近物体の存在を報知する際の報知形態を異ならせる。これにより、運転者は、接近物体の報知が行われる際に、その確からしさを認識できるので、実際には接近物体ではなかった場合であっても、それによって混乱を生じることを抑制することができる。
【００１２】
請求項２に記載したように、期待値算出手段は、所定の閾値以上の尤度を持つ特徴点を対象として、グループ化を行うようにしても良い。これにより、期待値算出手段において、処理対象となる特徴点を絞り込むことができるので、処理負荷を低減し、処理を迅速に実行することができる。この場合、接近物体の未検出を極力抑制するために、尤度の閾値は、未検出率が極めて小さくなるように設定される。
【００１３】
請求項３に記載したように、期待値算出手段は、グループ化された複数の特徴点の尤度を平均化処理して、尤度の期待値を算出しても良い。このような平均化処理により、グループ化された複数の特徴点の尤度を総合的に勘案して、尤度の期待値を算出することができる。
【００１４】
複数の特徴点の尤度を平均化処理して尤度の期待値を算出する場合、請求項４に記載したように、期待値算出手段は、同じグループに属する信頼性が高いほど、大きな重みを付与する重み付け平均処理を行うようにしても良い。グループ化は、特徴点同士が近接している、特徴点の動きベクトルが共通の消失点を共有している、自車両と各特徴点が指し示す３次元点と画像平面との距離がゼロとなるまでの衝突時間が類似している、などの種々の観点で行われる。ただし、後に詳述するように、ここで言う特徴点の動きベクトルとは、車両の回転運動によって生じる動きベクトルの成分を除去したものである。このため、各特徴点で、同一グループに属する信頼性には差が生じる場合がある。この場合、グループに属する信頼性が高い特徴点の尤度ほど大きな重みを付与して平均化処理を行うことにより、各物体の尤度の期待値をより精度良く算出することができる。
【００１５】
請求項５に記載したように、期待値算出手段は、グループ化された特徴点の数が所定数未満であった場合、そのグループ化された特徴点の集合が物体に対応したものとはみなさず、尤度の期待値の算出を行わないようにしても良い。これにより、偶々、ノイズなどで特徴点が抽出されてしまった場合などに、接近物体として誤検出することを防止することができる。
【００１６】
請求項６に記載したように、尤度算出手段は、少なくとも歩行者、自転車、自動車を接近物体の属性とし、その接近物体の属性ごとに、特徴点の尤度をそれぞれ算出し、期待値算出手段は、接近物体の属性ごとに、尤度の期待値を算出し、最も高い尤度の期待値を示す属性を、接近物体の属性として決定するようにしても良い。このようにすれば、接近物体が存在することを検出できるだけなく、その接近物体の属性情報も得ることができる。
【００１７】
あるいは、請求項７に記載したように、尤度算出手段は、少なくとも歩行者、自転車、自動車を接近物体の属性とし、その接近物体の属性ごとに、特徴点の尤度をそれぞれ算出し、期待値算出手段は、接近物体の属性ごとに、尤度の期待値を算出するとともに、接近物体に関して、それが歩行者である確率、自転車である確率、車両である確率を、それぞれの事前確率分布として予め定めておき、接近物体の属性ごとに、前記尤度の期待値と前記確率とをかけ合わせて事後確率を算出し、最も高い事後確率を有する属性を、前記接近物体の属性として決定しても良い。このように事前確率を用いることにより、例えば車両を停車させた場所に応じて、異なる事前確率分布を設定することも可能となり、接近物体の属性の決定をより一層精度良く行うことが可能となる。例えば、車両専用の駐車場においては、接近物体は歩行者、車両である確率が高く、自転車である確率は低いといえる。一方、道路から歩道を挟んで設けられた駐車スペースに車両を停車した場合、接近物体は歩行者又は自転車である確率が高く、車両である確率は低いといえる。従って、尤度の期待値だけではなく、このような事前確率分布を考慮することで、接近物体の属性を判別する精度をより向上することが可能となる。
【００１８】
請求項８に記載したように、第１の算出手段は、第１画像の撮影時刻と第２画像の撮影時刻との間に、自車両が回転方向に移動した場合、第２画像において、撮影手段の回転移動の影響を除去した第２座標位置を算出することが望ましい。第１画像の撮影時刻と第２画像の撮影時刻との間に、自車両が回転方向に移動すると、第２画像における特徴点の座標位置には、自車両とともにその回転方向へ移動する撮影手段の回転運動成分の影響が含まれてしまうためである。
【００１９】
請求項９に記載したように、報知手段は、撮影手段によって撮影された画像を表示する表示器を有し、当該表示器に表示された画像上に、接近物体を取り囲む枠を重畳表示するとともに、尤度の期待値に対応した拡大率で、時間の経過とともに枠を拡大させることが好ましい。これにより、自車両に接近する接近物体が存在することを、自車両の運転者に視覚を通じて分かりやすく報知することができる。特に、尤度の期待値に対応した拡大率で枠を拡大させることにより、尤度の期待値が大きいほど、時間の経過とともに枠が大きく拡大されるので、尤度の期待値の大きさの違いが一目瞭然であるとともに、より尤度の期待値の高い接近物体に対して一層の注意を払うように、運転者に注意喚起を促すことができる。
【００２０】
請求項１０に記載したように、報知手段は、尤度の期待値が大きくなるほど、小さくなるように光学情報τの値を定め、（１＋τ−１）で定められる拡大率に従って、枠を拡大させるようにしても良い。ここで、光学情報τは、接近物体が網膜（を含む平面）まで到達する時間と相関する値として定義されるものである。そして、接近物体に対応する枠が、光学情報τに従って接近するように画面上に表示するには、単に（１＋τ−１）を拡大率として枠を時間の経過とともに拡大させれば良い。これにより、尤度の期待値が大きく、そのため、光学情報τとして小さな値が設定される接近物体に対応する枠ほど、時間の経過とともに大きく拡大されるように表示することができる。
【００２１】
請求項１１に記載したように、報知手段は、拡大率に応じて、前記枠の線の太さを変化させても良い。すなわち、時間の経過とともに枠が拡大表示されるとき、拡大される大きさが大きくなるほど、枠の線の太さを太くしても良い。これにより、枠が大きく拡大されるほど、より枠の表示が目立つように表示することができる。
【００２２】
請求項１２に記載したように、報知手段は、枠を、その背景部分が視認できるように、半透明にて表示しても良い。これにより、枠を重畳表示しながら、車両周辺の画像全体を運転者が視認できるようになる。
【００２３】
請求項１３に記載したように、報知手段は、枠の影を、枠の奥側に表示するようにしても良い。これにより、枠を拡大させる際に、立体感を与えることができ、枠が運転者に近づいているような感覚を与えることができる。なお、請求項１４に記載したように、枠の場合と同様に、報知手段は、枠の影を、その背景部分が視認できるように、半透明にて表示するようにしても良い。
【００２４】
請求項１５に記載したように、表示器は、立体的な表示を行うことが可能なものであり、報知手段は、枠を立体的に表示させつつ、拡大させても良い。このような立体的な表示を行うことにより、枠が運転者に近づいているような感覚をより一層鮮明に与えることができる。
【００２５】
請求項１６に記載したように、報知手段は、枠の拡大を所定時間だけ実行すると、枠の大きさを拡大しない状態に戻すようにして、枠の拡大を繰り返し実行することが望ましい。枠の拡大を繰り返し実行することにより、注意喚起の効果を高めることができるためである。また、表示装置の表示範囲の制約から、枠の大きさを拡大するにも限界があるためである。
【００２６】
請求項１７に記載したように、報知手段は、複数の接近物体に対応する枠を同時に画像上に重畳表示する場合であって、当該複数の接近物体に対応する枠が重なる場合には、尤度の期待値が大きい接近物体に対応する枠を手前に表示することが好ましい。これにより、車両に対して接近する複数の接近物体が有る場合に、運転者が注意を払うべき優先度合に応じた表示を行うことができる。
【００２７】
請求項１８に記載したように、報知手段は、期待値算出手段により接近物体の属性が決定されている場合には、枠の形態を、その決定された接近物体の属性に応じたものとしても良い。例えば、枠の形状を、歩行者、自転車、あるいは車両を形どったものにしたり、枠の色を接近物体の属性に応じた色にしたりする。これにより、運転者に対して、枠の表示形態を用いて、接近物体の属性も報知することが可能になる。
【００２８】
請求項１９に記載したように、報知手段は、撮影手段によって撮影された画像を表示する表示器を有し、その画像における接近物体を示す部分画像を、尤度の期待値に対応した拡大率で、時間の経過とともに拡大するように表示させても良い。つまり、枠とともに、あるいは枠の表示に代えて、接近物体を示す部分画像を拡大させても良い。
【００２９】
請求項２０〜請求項２３は、拡大する対象が接近物体を示す部分画像である点を除き、請求項１０，１５〜１７と同様であるため、説明を省略する。
【図面の簡単な説明】
【００３０】
【図１】実施形態における車両用運転支援装置の全体構成を示す構成図である。
【図２】尤度算出処理を示したフローチャートである。
【図３】尤度算出処理を説明するための説明図である。
【図４】従来技術における課題を説明するための説明図である。
【図５】特徴点毎に算出された尤度と対比される閾値について説明するための説明図である。
【図６】グルーピング処理について説明するための説明図である。
【図７】接近物体の報知形態の一例を示す図である。
【図８】光学情報τについて説明するための図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態による車両用運転支援装置について、図面に基づいて詳細に説明する。
【００３２】
図１に示すように、本実施形態における車両用運転支援装置１００は、自車両に搭載された撮影手段としてのカメラ１０、自車両の移動方向及び移動量に関連する情報を検出するための車両情報検出部２０、カメラ１０によって撮影された画像を処理する画像処理ＥＣＵ３０、画像処理ＥＣＵ３０によって処理された画像を表示する表示器４０とを備えている。
【００３３】
カメラ１０は、例えば、ＣＣＤカメラによって構成され、車両の車室内の天井付近や車両の先端（フロントバンパー）および／または後端（リヤバンパー）に設置される。また、車両の側方を撮影できるように、カメラ１０を設置しても良い。この車両への設置に際して、カメラ１０の光軸（Ｚ軸）が地面と平行となり、かつカメラ１０によって撮影される画像の横軸も地面と平行になるように、カメラ１０の設置角度等が調整される。この結果、画像の縦軸は、地面に対して垂直な方向に一致する。そして、カメラ１０は、少なくとも、車両が停止した状態から発進しようとする間、定期的に車両周辺の画像を撮影して、その撮影した画像を画像処理ＥＣＵ３０に出力する。
【００３４】
車両情報検出部２０は、例えば、車両の走行速度を検出する速度センサ、自車両の旋回方向への回転角の変化速度を検出するヨーレートセンサ、ステアリングの操舵角度を検出する操舵角センサなどを有し、自車両の移動方向及び移動量に関する情報を検出して、画像処理ＥＣＵ３０に出力するものである。画像処理ＥＣＵ３０では、車両情報検出部２０によって検出された情報に基づき、２枚の画像の撮影時刻間における、自車両の旋回方向運動によるカメラ１０の回転方向の移動量、及び自車両の並進方向の移動によるカメラ１０の移動ベクトルを算出する。これらカメラ１０の回転方向の移動量及びカメラ１０の移動ベクトルは、画像処理に利用されるが、詳しくは後述する。
【００３５】
画像処理ＥＣＵ３０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータの他、カメラ１０から出力された画像をデジタル画像に変換するためのＡ／Ｄ変換器や、変換されたデジタル画像を保存する画像メモリ等を備えている。なお、画像メモリは、複数の画像を保存可能な記憶容量を有している。
【００３６】
この画像処理ＥＣＵ３０は、予め記憶されているプログラムに従って各種の処理を実行することにより、図１に示すような各機能を発揮する。すなわち、図１は、画像処理ＥＣＵ３０が備える機能を機能ブロックによって示している。以下、画像処理ＥＣＵ３０が有する各機能について説明する
まず、動きベクトル算出部３１は、異なる時刻に撮影され、画像メモリに保存された２つのデジタル画像において、それぞれ特徴点を抽出する。この特徴点抽出には、例えばJ.Shi and C.Tomasi, “Good Features to Track”, IEEE CVPR, pp.593-600, 1994に記載された技術を用いることができる。そして、２つのデジタル画像における、同一の特徴点を対応付けることにより、その特徴点の動きベクトル（オプティカルフロー）を算出する。すなわち、ある特徴点が、先に撮影されたデジタル画像の２次元座標ｉ０で観測され、同じ特徴点が、後に撮影されたデジタル画像の２次元座標ｉ１’に移動したとする。この場合、ｉ１’−ｉ０が、その特徴点の動きベクトルとなる。なお、動きベクトルの算出には、例えばＬＫ法（B.D.Lucas and T.kanade, “An iterative Image Registration Technique with an Application to Stereo Vision”, IJCAI, pp674-679,1981）などを用いることができる。
【００３７】
デジタル画像にレンズ歪が有る場合には、動きベクトル算出部３１は、歪補正を行う必要がある。この歪補正として、デジタル画像に対して補正を行う場合と、デジタル画像には補正を行わず、特徴点の座標（ｉ０とｉ１’）に対して補正を行う場合とが考えられる。レンズ歪に関するパラメータが与えられていれば、歪のある画像の座標と、歪のない画像の座標との対応関係を予め定めておくことができる。この対応関係を使って、デジタル画像そのものを歪みのない画像に変換することが可能である。さらに、歪のあるデジタル画像から特徴点を抽出し、その特徴点の座標を、歪みのない画像における座標に変換することも可能である。
【００３８】
次に、回転成分除去部３２について説明する。自車両が旋回方向に回転運動を行った場合、動きベクトル算出部３１によって算出される動きベクトルｉ１’−ｉ０＝（ｖｘ,ｖｙ）Ｔには、カメラ１０の回転運動によって生じた成分が含まれることになる。動きベクトル（ｖｘ,ｖｙ）Ｔに、このようなカメラ１０の回転運動成分が含まれていると、後に説明する接近物体に関する判定精度が低下する要因となる。そのため、回転成分除去部３２は、動きベクトル（ｖｘ,ｖｙ）Ｔから、カメラ１０の回転運動成分を除去する。
【００３９】
ここで、ある画像座標（ｘ，ｙ）Ｔに対して、カメラ１０の焦点を中心とした任意の回転を与えたときの座標変化量（ｒｘ,ｒｙ）Ｔは、下記の数式１によって求めることができることが知られている。
【数１】
0005516561.tif 000002
【００４０】
ただし、Ω＝(Ωx, Ωy, Ωz)Ｔは、２つのデジタル画像の撮影時刻間におけるカメラ１０の回転移動量であり、ｆはカメラ１０の焦点距離である。
【００４１】
回転成分除去部３２は、車両情報検出部２０から得た情報に基づいて、２つのデジタル画像の撮影時刻間における、カメラ１０の回転移動量を算出する。例えば、Ｙ軸まわりの回転移動量をヨーレートセンサから得られる値Ωｙとし、Ｘ軸及びＺ軸回りの回転を無視すると、カメラ１０の回転移動量は、Ω＝(０, Ωy, ０)Ｔと設定することができる。そして、後に撮影されたデジタル画像における特徴点の座標ｉ１’に関して、数式１を用いて、カメラ１０の回転運動による座標変化量（ｒｘ,ｒｙ）Ｔを算出する。さらに、回転成分除去部３２は、下記の数式２に示すように、動きベクトル算出部３１から出力された動きベクトル（ｖｘ,ｖｙ）Ｔから、座標変化量（ｒｘ,ｒｙ）Ｔを減じることにより、カメラ１０の回転運動成分の影響が除去された動きベクトル（ｕｘ,ｕｙ）Ｔを求める。
【数２】
0005516561.tif 000003
【００４２】
また、回転成分除去部３２は、このようにして算出された動きベクトル（ｕｘ,ｕｙ）Ｔと、先に撮影されたデジタル画像における特徴点の座標ｉ０とに基づいて、後のデジタル画像における、カメラ１０の回転運動成分の影響を排除した特徴点の座標ｉ１を算出する。なお、カメラ１０の回転運動成分の影響を排除した特徴点の座標ｉ１は、その影響が排除される前の特徴点の座標ｉ１’と、上記の座標変化量（ｒｘ,ｒｙ）Ｔとから算出することもできる。
【００４３】
次に、尤度算出部３３について説明する。図２は、尤度算出部３３において実行される尤度算出処理を示したフローチャートである。
【００４４】
ステップＳ１００では、動きベクトル算出部３１にて抽出されたすべての特徴点の中から、１つの特徴点を選択する。そして、ステップＳ１１０において、選択した特徴点が実際の空間において指し示す点が、自車両に接近しつつある接近物体を示す確からしさを表す尤度を算出する。この尤度の算出について、以下に詳細に説明する。
【００４５】
まず、前提として、図３に示すように、カメラ１０の焦点を原点、カメラ１０の光軸をＺ軸、Ｚ軸と直交し、かつ地面と平行な軸をＸ軸、Ｚ軸及びＸ軸と直交し、かつ地面に向かう軸をＹ軸とする。この際、ＺＸ平面は地面と平行であり、Ｙ軸は地面に垂直である。そして、Ｙ軸は地面に向かう方向を正とする。さらに、レンズ歪は補正済みで、いわゆるピンホールカメラモデルが適応可能であるとする。また、地面は平面であり、カメラ１０は地面と平行に動くものとする。従って、地平線（無限遠の地面上の点の集合）は、デジタル画像における２次元座標上のｙ＝０の直線に透視投影されることになる。なお、透視投影は、以下の数式３によって与えられる。
【数３】
0005516561.tif 000004
【００４６】
尤度算出部３３は、まず、車両情報検出部２０ら得た情報に基づいて、２つのデジタル画像の撮影時刻間の自車両の並進運動によるカメラ１０の移動ベクトルＶＯを求める。カメラ１０は地面と平行に動くため、この移動ベクトルＶＯは、ＺＸ平面におけるＸ成分とＺ成分とからなる（ＶＯ=（ＶＯＸ，ＶＯＺ））。従って、移動ベクトルＶＯは、主として操舵角センサやヨーレートセンサによる検出結果から算出される自車両の移動方向と、速度センサによる検出結果から算出される移動距離とから算出することができる。なお、回転成分除去部３２により、カメラの回転運動成分が除去された動きベクトル（ｕｘ,ｕｙ）Ｔ、さらにはその動きベクトル（ｕｘ,ｕｙ）Ｔを用いて特徴点座標ｉ１を算出済みであり、それぞれのデジタル画像の撮影時刻でのカメラ１０の向き（光軸）は平行と考える。
【００４７】
画像における特徴点の座標ｉ０，ｉ１が、それぞれ現実の空間において指し示す点同士の差分を、それらの点の地面からの高さに変化はないので、Ｘ成分とＺ成分とからなる２次元のベクトルＶＴ=（ＶＴＸ，ＶＴＺ）で表す。このベクトルＶＴは、特徴点が指し示す点の移動速度を示すものであり、未知の変数である。また、特徴点の座標ｉ０が指し示す点の３次元座標を（Ｘ０，Ｙ，Ｚ０）とし、特徴点の座標ｉ１が指し示す点の３次元座標を（Ｘ１，Ｙ，Ｚ１）とする。特徴点に対応する、現実の空間における点は、歩行者や車両などの移動物体、または静止物体の表面上にあり、２つのデジタル画像の撮影時刻間において、Ｙ座標の変化量は無視できるものとしている。
【００４８】
以下の説明においては、地平線よりも地面側にある、つまりＹ＞０である点を指し示す特徴点のみを考える。Ｙ＞０であれば、図３に示すように、その特徴点に対応する点のＺ軸方向の座標を、Ｚ＜ＺＧの範囲に存在するものとして取り扱うことができるためである。なお、特徴点ｉ０，ｉ１が指し示す点の座標成分Ｘ０，Ｙ，Ｚ０，Ｘ１，Ｚ１は未知であるが、透視投影の関係から、１つの座標成分が定まれば、残り４つの座標成分も定まる。
【００４９】
尤度算出部３３は、先に撮影されたデジタル画像における特徴点の座標ｉ０と、後に撮影されたデジタル画像における特徴点の座標ｉ１、カメラ１０の移動ベクトルＶＯに基づき、その特徴点が指し示す点が接近物体を示すものである確からしさを表す尤度を、各特徴点ごとに、以下の数式４により算出する。なお、数式４において、接近物体である状態をＨ１と表している。また、数式４では、求めるべき尤度が、未知の変数である、特徴点の座標ｉ０が指し示す点のＺ軸方向の座標（奥行き）Ｚ０と、特徴点が指し示す点の移動速度を示すベクトルＶＴにより周辺化された形で示されている。
【数４】
0005516561.tif 000005
【００５０】
数式４の右辺の積分の中の１つ目の確率分布は、特徴点ｉ０が指し示す点の奥行きＺ０と、その点の移動速度を示すベクトルＶＴが与えられたとき、その点が接近物体を示すものである場合に、特徴点の座標ｉ１が取り得る値の確率分布を示すものである。これは透視投影の関係から、以下の数式５に示すように、ディラックのデルタ関数で表現される。
【数５】
0005516561.tif 000006
【００５１】
数式４の右辺の積分の中の２つ目の確率分布は、図３に示すように、特徴点ｉ０が指し示す点が接近物体である場合に取り得る移動速度の確率分布を示すものである。この確率分布は、数式６に示すように、ガウス分布としてモデル化し、そのガウス分布の平均μＴと共分散行列ΣＴとを予め定めておく。
【数６】
0005516561.tif 000007
【００５２】
なお、数式６におけるガウス分布、すなわちガウス分布を定める平均μＴと共分散行列ΣＴは、接近物体の属性ごとに定めることが好ましい。接近物体の属性が異なれば、移動速度も異なるためである。接近物体の属性には、少なくとも歩行者、自転車、車両（自動車やオートバイなど）を含む。そして、数式６におけるガウス分布を接近物体の属性ごとに定めた場合には、後述する数式９により、特徴点の尤度が、接近物体のそれぞれの属性ごとに算出される。この場合、算出した尤度の中で最も高い尤度を示す属性を、その接近物体の属性と決定することができる。
【００５３】
数式４の右辺の積分の中の３つ目の確率分布は、図３に示すように、特徴点ｉ０が指し示す点が接近物体である場合に取り得る奥行きの確率分布を示すものである。この確率分布は、以下の数式７によって表すことができる。
【数７】
0005516561.tif 000008
【００５４】
上記の数式７において、変数ＺＧは、図３における、特徴点の座標ｉ０が指し示す点を結んだ線分と地面との交点のＺ座標である。簡単な計算で、ＺＧ＝ｆ／ｉ０（２）*Ｈとなる。ただし、ｉ０（ｋ）はｉ０の第ｋ成分、Ｈはカメラ１０から地面までの距離である。Ｚｉは、接近物体が存在する下限距離として予め設定する定数である。例えば、Ｚｉ＝０に設定される。すると、ｐ（Ｚ０|Ｈ１）は、対象とする点が、Ｚ座標が正となる方向にあり、かつ地面よりも上に存在するときのみ非零の確率を取ることになる。また、数式７におけるガウス分布の平均μＺと分散σＺ２は、予め定めておく定数である。例えば車両が駐車場から発進するケースを考えた場合、一例として、μＺは２ｍ、σＺ２は１．５ｍに設定することができる。さらに、数式７において、erfは、ガウスの誤差関数を表す。
【００５５】
以上の数式４から数式７をまとめることにより、以下の数式８を得る。
【数８】
0005516561.tif 000009
【００５６】
上記の数式８に、特徴点の座標ｉ０，ｉ１、及びカメラ１０の移動ベクトルＶＯを代入することにより、特徴点毎に、各特徴点が現実の空間で指し示す点が接近物体を示すものである確からしさを表す尤度を算出することができる。
【００５７】
このようにして、選択した特徴点の尤度が算出されると、図２のフローチャートのステップＳ１２０において、抽出された全特徴点について、それぞれ尤度の算出が完了したか否か判定される。この判定処理において、全特徴点の尤度の算出が完了したと判定されると、ステップＳ１３０の処理に進み、まだ全特徴点の尤度の算出が完了していないと判定されると、ステップＳ１００からの処理を繰り返す。
【００５８】
ステップＳ１３０では、算出した尤度の中で、閾値以上の尤度があるか否かを判定する。ここで、従来技術では、図４に示すように、ある指標が閾値を上回った場合に、接近物体や移動物体などの検出対象が存在すると判定し、閾値を下回れば、検出対象は存在しないと判定する。しかしながら、指標と閾値との大小関係で検出対象の存在の有無を二値的に判定する場合、一般的に、閾値の近傍において、未検出や誤検出などの検出ミスが多く発生する。
【００５９】
それに対して、本実施形態では、上述したように、各特徴点が指し示す点が接近物体を示す確からしさを表す尤度を算出している。このため、従来技術のように、検出対象の存在の有無を判定するという意味で、閾値との大小関係の判定を行う必要はない。本実施形態において、尤度を閾値と比較する目的は、検出対象である接近物体を明らかに示すものではない尤度を排除することで、その後の処理負荷を軽減して、処理を迅速に実行できるようにするためである。そのため、本実施形態では、図５に概念的に示すように、閾値は、接近物体の未検出率が極めて小さくなるように設定される。この閾値は、例えば、実際に計測を行った実験結果に基づいて設定される。
【００６０】
ただし、このようにすると、接近物体を誤検出する比率が高くなるが、そのような誤検出が生じた場合の特徴点の尤度は、通常、低く算出される。このため、詳しくは後述するが、本実施形態では、接近物体の報知形態を工夫することで、誤検出した接近物体に関する報知を行った場合であっても、運転者に混乱を生じることを抑制するようにしている。
【００６１】
ステップＳ１３０において、閾値以上の大きさの尤度があると判定された場合には、ステップＳ１４０に進み、閾値以上の尤度を対象として、接近物体ごとにグループ化するグルーピング処理を行う。一方、閾値以上の大きさの尤度がないと判定された場合には、ステップＳ１６０の処理に進み、後続のτ算出部３４に対して、接近物体は存在しない旨を出力する。この場合、後に説明する、接近物体の存在を報知するための枠や部分画像の拡大表示は行われず、表示器４０には、単に車両の周辺画像が表示されることになる。
【００６２】
ここで、ステップＳ１４０のグルーピング処理について詳しく説明する。このグルーピング処理では、閾値以上の大きさの尤度を持つ特徴点を対象として、種々の条件で同一の接近物体を示すとみなし得る特徴点を抽出して、グルーピングする。特徴点は、ただの点を示すものに過ぎないため、そのままでは、接近物体に関する情報（個数、接近物体が複数あった場合の尤度の大小など）が分かりづらいためである。また、種々の外乱により、特徴点自体が誤って抽出される可能性があり、特徴点を接近物体ごとにまとめることで、そのような外乱による特徴点を排除することができるためである。
【００６３】
グルーピングを行う第１の条件は、特徴点が互いに近傍に存在することである。この近傍判定は、図６（ａ）に示すように、特徴点ごとに、各特徴点を中心とする正方などの領域を与え、これらの領域の重なりが生じる特徴点は、互いに近傍にあるとみなし、同じラベル（第１ラベル）を与えることでグループ化する。一方、領域が他の特徴点の領域と重なりを持たない孤立点は、外乱によるものとみなし、グループ化の対象から除外する。
【００６４】
グルーピングを行う第２の条件は、カメラの回転運動成分を除去した動きベクトル（ｕｘ,ｕｙ）Ｔの消失点が一致することである。そのため、同じ第１ラベルを持つ特徴点の集合のうち、消失点が一致する動きベクトル（ｕｘ,ｕｙ）Ｔを持つ特徴点に対して同じラベル（第２ラベル）を与える。この処理を行う理由は、図６（ｂ）に示すように、同一接近物体の特徴点は、互いに平行に並進移動するため、それらの動きベクトルは、消失点を共有するという事実に基づいている。なお、物体が地面に対して平行に並進移動する場合、消失点は地平線上に存在することになる。
【００６５】
ただし、対象とする接近物体は、カメラ１０に近づく（Ｚ１<Ｚ０）ものに限定する。これは、図６（ｂ）に示すように、各特徴点の動きベクトル（ｕｘ,ｕｙ）Ｔが、消失点から特徴点に向って放射状に拡散する方向を持つことに相当する。換言すれば、動きベクトル（ｕｘ,ｕｙ）Ｔが、特徴点から消失点に向かう方向をもつ特徴点については、グループ化の対象から除外し、ラベルを消去する。対象とする物体が、Ｚ座標が変化しないような運動を持つ場合は、各特徴点の動きベクトル（ｕｘ,ｕｙ）Ｔは平行となるため、消失点は無限遠に損剤することになる。この状態が観測された場合は、これらの特徴点を同一物体としてグルーピングするようにしても良い。換言すれば、消失点座標に上限と下限を設けなくても良い。
【００６６】
上記消失点の一致判定では、図６（ｂ）に示すように、第１ラベルが付与されたグループごとに消失点座標の分布状態を求め、その分布状態から、同一の消失点を共有するとみなされる特徴点と、同一の消失点を共有するとはみなされない特徴点とを統計的に区分けする。あるいは、消失点を共有するか否かは、分布の中心から予め定めた閾値以内に属するか否かによって判別しても良い。さらに、動きベクトル（ｕｘ,ｕｙ）Ｔの誤差を考慮し、この誤差の下での、各消失点の変動範囲を求め、その変動範囲が互いに重複するものに同じ第２ラベルを付与しても良い。
【００６７】
グルーピング処理の別の例として、物体が地面に対して必ずしも平行に並進移動していない場合を考える。この場合、消失点は、地平線上に存在するとは限らないので、２次元の消失点座標（ｘ∞、ｙ∞）を求めることが必要となる。
【００６８】
ここで、特徴点ｋの、画像平面上で動きベクトル（ｕｘ,ｕｙ）Ｔを延長した直線の傾きをａｋ、切片をｂｋとし、その直線と消失点とのｙ方向の距離をｒｋとおくと、ｙ−ａｋｘ−ｂｋ＝ｒｋが成立する。この式は特徴点の個数分だけ成立する。そして、第１ラベルが付与されたグループ毎に、ｒｋの二乗和を最小化する消失点の値を、最小二乗法を用いて算出する。その算出した消失点に対して、絶対値として大きなｒｋの値をもつ特徴点は、消失点を共有していないと考えられるため、外れ値（アウトライア）として、閾値処理などで除外する。残った特徴点に対して、再度最小二乗法を適用することで、消失点座標を推定することができる。
【００６９】
なお、最小二乗法とアウトライア除去を組み合わせた方法として、ＲＡＮＳＡＣ（RANdom SAmple Consensus）法を用いることも可能である。ＲＡＮＳＡＣ法については、一般によく使われる手法であり、また、D.A．Forsyth, J.Ponce著“Computer Vision: A Modern Approach” Prentice Hallなどに詳しいため、ここでの説明は省略する。また、上述した例では、誤差ｒｋをｙ方向の距離と置いたが、直線に対して垂直方向の距離として記述し、線形最小二乗問題として定式化することも可能である。これは、Total Least Squaresと呼ばれる方法である。なお、Total Least Squaresについても、一般によく使われる手法であり、またhttp://en.wikipedia.org/wiki/Total least squaresなどに詳しいため、ここでの説明は省略する。
【００７０】
グルーピングを行う第３の条件は、各特徴点の衝突時間ＴＴＣが類似していることである。そのため、同じ第２ラベルを持つ特徴点の集合のうち、衝突時間ＴＴＣが類似している特徴点に同じラベル（グループラベル）を与える。なお、衝突時間ＴＴＣは、カメラ１０の前方（Ｚ＞０）に存在する物体が、画像平面に到達するまでの時間（実質的に、自車両と衝突するまでの時間）として定義される。
【００７１】
衝突時間ＴＴＣをΔＴとおくと、衝突時間ΔＴは、カメラ１０の回転運動成分が除去された動きベクトル（ｕｘ,ｕｙ）Ｔ及び消失点座標（x∞, y∞）を用いて、下記の数式９により算出することができる。
【数９】
0005516561.tif 000010
【００７２】
数式９を用いて、特徴点ごとに衝突時間ΔＴを求める。具体的には、特徴点ごとに、消失点座標（x∞, y∞）、動きベクトル（ｕｘ,ｕｙ）Ｔを数式９に代入して、衝突時間ΔＴを算出する。なお、衝突時間ΔＴは、動きベクトルの算出誤差を考慮し、ある範囲を持った時間として算出される。そして、同じ第２のラベルが付与されて、グループ化された特徴点の中で、衝突時間ΔＴが互いに近いもの同士に同じグループラベルを与える。さらに、消失点の取り得る誤差をも考慮し、それらの誤差の下での衝突時間ΔＴの範囲を定めても良い。
【００７３】
ここで、同一の接近物体の衝突時間ΔＴは、その物体の部位により多少のずれはあるものの、一般的な検出対象（人、自転車、車両など）を考慮する限り、類似していると考えるのが自然である。従って、条件１，２により同じラベルが付与され、グループ化された特徴点を対象として、各特徴点ごとに求めた衝突時間ΔＴに関して、図６（ｃ）に示すように、衝突時間ΔＴの類似判定を行うのである。すなわち、あらかじめ設定した時間幅のエラーバーを与え、エラーバーの範囲で衝突時間ΔＴが一致すれば衝突時間ΔＴが類似すると判定し、エラーバーの範囲で衝突時間ΔＴが一致しない特徴点があれば、グループから除外する。
【００７４】
なお、特徴点のグルーピングにおいては、同じグループラベルを持つ特徴点の数に下限を設けることが好ましい。そして、グループ化された特徴点の数が、下限に相当する所定数未満であった場合、そのグループ化された特徴点の集合が物体に対応したものとはみなさず、そのグループラベルを消去するようにしても良い。すると、特徴点の各グループは、少なくとも下限に相当する所定数以上の特徴点を含むことになるので、同一物体として信頼のおける判定を行うことができる。例えば、偶々、ノイズなどで特徴点が抽出されてしまった場合などに、それを接近物体として誤検出することを防止することができる。
【００７５】
ただし、所定数が大き過ぎると、例えば遠方にあるため、画像に示す面積が少ないなどの理由から、特徴点の数が少なくなってしまった接近物体を未検出にする虞がある。そのため、所定数は、適切な値に設定する必要がある。例えば、実用上、所定数を２〜４に設定することが好ましいが、それ以外の数値でも良い。
【００７６】
また、ステップＳ１１０の処理において、特徴点ごとに、尤度の算出に加えて、接近物体の属性が決定されている場合、ステップＳ１４０のグルーピング処理において、その属性情報も考慮して、グルーピングを行なっても良い。すなわち、接近物体の属性として同じ属性情報を持つ特徴点を、同一接近物体を示すものとして同じラベルを付与してグループ化しても良い。
【００７７】
上述したグルーピング処理が終了すると、尤度算出部３３は、図２のフローチャートのステップＳ１５０に進み、グループ化された特徴点により表される物体に関して、そのグループ化された複数の特徴点の尤度に基づき、物体が接近物体である確からしさを表す尤度の期待値を算出する。この尤度の期待値が、尤度算出部３３の出力となる。
【００７８】
この尤度の期待値は、例えば、グループ化された複数の特徴点の尤度を平均化処理することにより算出することができる。このような平均化処理により、グループ化された複数の特徴点の尤度を総合的に勘案して、尤度の期待値を算出することができるためである。この平均化処理は、単純平均でも良いが、特徴点毎に重みを付けた重み付け平均でも良い。この重みの取り方の一例を以下に説明する。
【００７９】
上述した消失点座標や衝突時間ＴＴＣは、比較的小さな誤差であっても、地平線に近い位置にある特徴点ほど、その誤差の影響を大きく受ける。そのため、地平線に近い特徴点ほど、グルーピング結果に誤りが生じる可能性が高くなる。従って、地平線からの距離などに応じて、各特徴点のグルーピングの信頼性を数値化することができる。そして、同じグループラベルを持つ特徴点の集合の中で、各特徴点の信頼性を示す値を正規化し、上記の重みとすることができる。また、グルーピングの信頼性の数値化のため、各特徴点の消失点範囲の逆数を取ることも可能である。
【００８０】
なお、特徴点の尤度が、接近物体のそれぞれの属性ごとに算出されている場合には、接近物体の属性ごとに、尤度の期待値を算出し、最も高い尤度の期待値を示す属性を、接近物体の属性として決定することが好ましい。このようにすれば、接近物体が存在することを検出できるだけなく、その接近物体の属性を定めることも可能になる。
【００８１】
次に、画像処理ＥＣＵ３０のτ算出部３４について説明する。まず、本実施形態では、図７に示すように、自車両への接近物体を運転者に報知するために、接近物体を取り囲む枠を、車両周辺画像に重畳表示するとともに、その枠及び枠で囲まれた接近物体を含む部分画像を時間の経過とともに拡大させて、接近物体について運転者の注意を喚起する。その際、各物体が接近物体である確からしさを表す尤度の期待値に応じて、当該接近物体の存在を運転者に報知する報知形態を異ならせるべく、上記枠及び部分画像を、尤度の期待値に応じた拡大率で拡大する。具体的には、尤度の期待値が大きくなるほど、枠及び部分画像が大きく拡大されるように、拡大率を定める。
【００８２】
このように、尤度の期待値に応じた拡大率を定めるべく、本実施形態では、光学情報τを利用する。光学情報τは、図８に示すように、目の水晶体中の一点から物体上の輪郭部分の２点に向かう２直線の成す角度をθとしたとき、τ＝θ／（ｄθ／ｄｔ）と定義される。なお、ｄθ／ｄｔは、角度θの時間微分を表す。
【００８３】
この光学情報τは、物体が接近物体である場合、その接近物体が網膜（を含む平面）まで到達する時間とほぼ等しいことが分かっている。このため、光学情報τは、接近物体が網膜（を含む平面）まで到達する時間と相関する値としても定義されるものである。
【００８４】
人間（やその他の動物）にはτニューロンと呼ばれる、τの値を持つ物体を視覚したときに発火する神経細胞の存在が知られており、その働きにより他の運動に関する情報（距離、速度、加速度など）と比べて、上述の到達時間がより直感的に知覚できることが知られている。例えば、自分に向かってくるボールを見たとき、ボールまでの距離やボールの速度、加速度は、（少なくとも瞬時のうちに）認知できないが、ボールが自分に到達するまでの時間の程度は、瞬時に認知することが可能である。このように、光学情報τは、人間にとって非常に認知することが容易な情報であり、それ故、光学情報τと、人間において注意が喚起される度合とは密接な関係があると言える。例えば、人間は、光学情報τが小さく、より短時間で自分に到達する物体、換言すれば、より早い速度で自分に向かってくる物体に、より強く注意が喚起される。
【００８５】
そのため、τ算出部３４では、尤度算出部３３から出力された尤度の期待値が大きくなるほど、小さくなる光学情報τを算出する。すなわち、光学情報τは、尤度の期待値に対して減少関数となる。例えば、光学情報τは、尤度の期待値の逆数から算出することができる。この場合、係数は予め実験的に定めておく。また、光学情報τを、尤度の期待値に対して傾きを負とする一次関数により算出しても良い。この場合、傾きや切片は予め実験的に定めておく。逆数や一次関数以外の、より複雑な関数によって光学情報τを算出しても良いことはいうまでもない。
【００８６】
枠／部分画像描画部３５は、τ算出部３４によって算出された光学情報τを用いて、枠及び部分画像の拡大率を定め、時間の経過とともに、その拡大率に従った大きさの枠及び部分画像を生成する。ここで、光学情報τを用いて拡大率を定める場合、拡大率を（１＋τ−１）とする。このように拡大率を定めることにより、接近物体に対応する枠及び部分画像が、光学情報τに従って接近するように画面上に表示することができる。従って、尤度の期待値が大きく、そのため、光学情報τとして小さな値が設定される接近物体に対応する枠及び部分画像ほど、時間の経過とともに大きく拡大されるようになる。
【００８７】
また、枠／部分画像描画部３５は、図７に示すように、枠及び部分画像の拡大を所定時間だけ実行すると、枠及び部分画像の大きさを拡大しない状態に戻す。そして、その状態から、再び、枠及び部分画像を、τ算出部３４にて算出された光学情報τに応じた拡大率で拡大させる。すなわち、枠／部分画像描画部３５は、所定時間毎に、枠及び部分画像の拡大を繰り返し実行する。このように、枠及び部分画像の拡大を繰り返し実行することにより、枠及び部分画像の拡大表示を継続的に行うことができ、注意喚起の効果を高めることができる。また、表示器４０の表示範囲の制約から、枠及び部分画像の大きさを拡大するにも限界があるが、上述したように所定時間毎に、拡大しない状態に戻すことにより、表示範囲の制約もクリアすることができる。
【００８８】
画像描画部３６は、カメラ１０によって撮影された画像情報に基づいて、表示器４０に表示するための画像を生成するものである。また、合成部３７は、画像描画部３６にて生成された画像上に、枠／部分画像描画部３５にて生成された枠及び部分画像を重畳することにより、それらの画像を合成するものである。そして、表示器４０は、車室内に設けられ、合成部３７によって合成された画像を表示する。
【００８９】
本実施形態では、上述したように、車両周辺に接近物体が存在する場合、その接近物体を取り囲む枠、及び枠によって囲まれた部分画像を時間の経過とともに拡大するように表示する。このため、接近物体の存在を、自車両の運転者に視覚を通じて分かりやすく報知することができる。特に、枠及び部分画像は、尤度の期待値に対応した拡大率で拡大されるので、尤度の期待値が大きいほど、枠及び部分画像が大きく拡大されることになる。このため、尤度の期待値の大きさの違いが一目瞭然であるとともに、より尤度の期待値の高い接近物体に対して一層の注意を払うように、運転者に注意喚起を促すことができる。
【００９０】
なお、上述した実施形態において、枠／部分画像描画部３５は、枠の表示に関して、以下に示すような表示を行なっても良い。
【００９１】
まず、枠／部分画像描画部３５は、枠及び部分画像が拡大される拡大率に応じて、枠の線の太さを変化させても良い。すなわち、時間の経過とともに枠が徐々に拡大表示されるとき、拡大される大きさが大きくなるほど、枠の線の太さを太くしても良い。これにより、枠が大きく拡大されるほど、より枠の表示が目立つように表示することができ、運転者の注意をより強く喚起することができる。
【００９２】
また、枠／部分画像描画部３５は、枠を、その背景部分が視認できるように、半透明にて表示しても良い。これにより、枠を重畳表示しながら、車両周辺の画像全体を運転者が視認できるようになる。
【００９３】
また、枠／部分画像描画部３５は、枠の影を、枠の奥側に表示するようにしても良い。これにより、枠を拡大させる際に、立体感を与えることができ、枠が運転者に近づいているような感覚を与えることができる。なお、枠の影は、枠の場合と同様に、その背景部分が視認できるように、半透明にて表示するようにしても良い。
【００９４】
また、枠／部分画像描画部３５あるいは合成部３７は、複数の接近物体に対応する枠を同時に車両周辺画像に重畳表示する必要がある場合であって、複数の接近物体に対応する枠が重なる場合には、尤度の期待値が大きい接近物体に対応する枠が手前に表示されるように、枠を示す画像を生成したり、枠を示す画像を合成したりすることが好ましい。これにより、車両に対して接近する複数の接近物体が有る場合に、運転者が注意を払うべき優先度合に応じた表示を行うことができる。
【００９５】
また、枠／部分画像描画部３５は、尤度算出部３３により、接近物体の属性が決定されている場合には、枠の形態を、その決定された接近物体の属性に応じたものとしても良い。例えば、枠の形状を、歩行者、自転車、あるいは車両を形どったものにしたり、枠の色を接近物体の属性に応じた色にしたりする。これにより、運転者に対して、枠の表示形態を用いて、接近物体の属性も報知することが可能になる。
【００９６】
さらに、画像処理ＥＣＵ３０は、表示器４０が立体的な表示を行うことが可能なものである場合、枠を立体的に表示させつつ、拡大させても良い。このような立体的な表示を行うことにより、枠が運転者に近づいているような感覚をより一層鮮明に与えることができる。
【００９７】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能である。
【００９８】
例えば、上述した実施形態では、尤度算出部３３は、特徴点の尤度を、接近物体のそれぞれの属性ごとに算出した場合、算出した尤度の期待値の中で最も高い値を示す属性を、その接近物体の属性と決定した。
【００９９】
しかしながら、例えば、少なくとも歩行者、自転車、自動車を接近物体の属性とし、接近物体が、歩行者である確率、自転車である確率、車両である確率を、それぞれの事前確率分布として予め定めておき、接近物体の属性ごとに、尤度の期待値と事前確率とをかけ合わせて事後確率を算出し、最も高い事後確率を有する属性を、接近物体の属性として決定しても良い。このように事前確率を用いることにより、例えば車両を停車させた場所に応じて、異なる事前確率分布を設定することも可能となり、接近物体の属性の決定をより一層精度良く行うことが可能となる。例えば、車両専用の駐車場においては、接近物体は歩行者、車両である確率が高く、自転車である確率は低いといえる。一方、道路から歩道を挟んで設けられた駐車スペースに車両を停車した場合、接近物体は歩行者又は自転車である確率が高く、車両である確率は低いといえる。従って、尤度の期待値だけではなく、このような事前確率分布を考慮することで、接近物体の属性を判別する精度をより向上することが可能となる。
【０１００】
また、上述した実施形態では、接近物体である確からしさを表す尤度の期待値に応じた拡大率で、接近物体を取り囲む枠、及びその枠に囲まれた接近物体を含む部分画像を時間の経過とともに拡大表示するものであった。
【０１０１】
しかしながら、拡大表示するのは、枠のみでも良いし、あるいは、枠の表示は行わず、部分画像のみを拡大表示するようにしても良い。
【符号の説明】
【０１０２】
１０  カメラ
２０  車両情報検出部
３０  画像処理ＥＣＵ
４０  表示器
【図１】
0005516561.tif 000011
【図２】
0005516561.tif 000012
【図３】
0005516561.tif 000013
【図４】
0005516561.tif 000014
【図５】
0005516561.tif 000015
【図６】
0005516561.tif 000016
【図７】
0005516561.tif 000017
【図８】
0005516561.tif 000018