(57)【要約】      （修正有）【課題】ドライバーの死角にある衝突可能性がある物体についての情報を検出可能とした、車両用衝突危険予測装置を提供する。【解決手段】ミリ波〜サブミリ波と呼ばれる波長の電磁波で画像を撮像して出力するミリ波撮像部と、紫外線〜可視光〜近赤外線と呼ばれる波長の電磁波で画像を撮像して出力する可視光撮像部と、前記ミリ波撮像部の出力画像から、所定の物体を画像処理によって検知する第１検出部と、該第１検出部で検知した所定の物体の検出結果を出力し、所定の物体についての警告音の音声信号を生成する危険予測部と、前記第１検出部において検知した所定の物体の出力画像を前記可視光撮像部の出力画像に重畳した合成画像を生成する画像合成部とを有する。【選択図】図１
2013097480.tif 000002
【特許請求の範囲】
【請求項１】
車両用衝突危険予測装置であって、
ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、
紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、
前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、
を有し、
前記第一の検出手段が前記所定の物体を検知した場合には、
前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して生成した合成画像の出力、又は、警告のための音声の出力、の少なくとも一方がなされることを特徴とする車両用衝突危険予測装置。
【請求項２】
請求項１記載の車両用衝突危険予測装置であって、
さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、
前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与する危険予測手段と、
を有することを特徴とする車両用衝突危険予測装置。
【請求項３】
請求項２記載の車両用衝突危険予測装置であって、
前記合成画像を生成して出力する画像合成手段は、前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて物体毎に異なる表示の合成画像を生成して出力することを特徴とする車両用衝突危険予測装置。
【請求項４】
請求項２記載の車両用衝突危険予測装置であって、
前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて異なる警告のための音声を出力することを特徴とする車両用衝突危険予測装置。
【請求項５】
請求項１乃至４のいずれかに記載の車両用衝突危険予測装置であって、
さらに、ミリ波乃至サブミリ波帯の波長の電磁波を照射する第一の光源を有し、
前記第一の撮像手段は、前記第一の光源により照射された電磁波が所定の物体により反射した電磁波を検出することにより前記第一の画像を得ることを特徴とする車両用衝突危険予測装置。
【請求項６】
請求項５記載の車両用衝突危険予測装置であって、
さらに、前記第一の光源の使用有無を切替可能な切替手段を有することを特徴とする車両用衝突危険予測装置。
【請求項７】
車両用衝突危険予測システムであって、
ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、
紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、
前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、
前記第一の検出手段が前記所定の物体を検知した場合に、警告のための音声信号を生成して出力する危険予測手段と、
前記第一の検出手段が前記所定の物体を検知した場合に、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された合成画像を表示する画像表示手段と、
前記危険予測手段により出力された音声信号を警告音として出力する警告音出力手段と、
を備えることを特徴とする車両用衝突危険予測システム。
【請求項８】
請求項７記載の車両用衝突危険予測システムであって、
さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、を有し、
前記危険予測手段は、前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与することを特徴とする車両用衝突危険予測システム。
【請求項９】
請求項８記載の車両用衝突危険予測システムであって、
前記画像合成手段は、前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて物体毎に異なる表示の合成画像を生成して出力することを特徴とする車両用衝突危険予測システム。
【請求項１０】
請求項８記載の車両用衝突危険予測システムであって、
前記危険予測手段により物体毎に危険度が付与された場合には、前記危険度に応じて異なる警告のための音声を出力することを特徴とする車両用衝突危険予測システム。
【請求項１１】
請求項７乃至１０のいずれかに記載の車両用衝突危険予測システムであって、
さらに、ミリ波乃至サブミリ波帯の波長の電磁波を照射する第一の光源を有し、
前記第一の撮像手段は、前記第一の光源により照射された電磁波が所定の物体により反射した電磁波を検出することにより前記第一の画像を得ることを特徴とする車両用衝突危険予測システム。
【請求項１２】
請求項１１記載の車両用衝突危険予測システムであって、
さらに、前記第一の光源の使用有無を切替可能な切替手段を有することを特徴とする車両用衝突危険予測システム。
【請求項１３】
請求項７乃至１２記載の車両用衝突危険予測システムであって、
さらに、前記第一の検出手段が前記所定の物体を検知した場合に、検知した結果に応じて車体を制御する車体制御手段を有することを特徴とする車両用衝突危険予測システム。
【請求項１４】
請求項１３記載の車両用衝突危険予測システムであって、
前記車体制御手段により車体が制御される際に、前記警告音出力手段により警告音が出力されることを特徴とする車両用衝突危険予測システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用衝突危険予測装置及び車両用衝突危険予測システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特許文献１がある。該公報には、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』と記載されている（要約参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１７２９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両の運転では、ドライバーが予期しない物体が車両の進行方向に至近距離で突然現れた場合には、衝突事故が発生しやすい。例えば、見通しの悪いカーブや、街路樹のある交差点などでは、人・動物・自動車・バイク・自転車等、衝突の可能性がある物体を、ドライバーが予め視認することができず、至近距離で視認可能になってから、ブレーキやハンドルを切るなど衝突を回避するための行動を開始することになり、間に合わずに事故に繋がりやすい。
【０００５】
特許文献１には、上記の通り、『路側に設置したミリ波センサを用いた道路上の障害物検出方法であって、ミリ波センサによるスキャンにより得られる計測データと障害物のない背景データとの差分から障害物候補を検出処理し、この処理を繰り返して常に障害物候補が存在する場合に障害物が存在すると検出する』旨記載されているが、路側に予め、特許文献１の装置を設置しておく必要があり、未設置の道路では、事故を減らすことができない問題がある。
【０００６】
そこで、本発明では、上記課題を解決し、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供するものである。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次のとおりである。
（１）車両用衝突危険予測装置であって、ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、を有し、前記第一の検出手段が前記所定の物体を検知した場合には、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して生成した合成画像の出力、又は、警告のための音声の出力、の少なくとも一方がなされることを特徴とする車両用衝突危険予測装置である。
（２）（１）記載の車両用衝突危険予測装置であって、さらに、前記第二の撮像手段から出力された前記第二の画像から前記第一の検出手段とは独立に所定の物体を画像処理によって検出する第二の検出手段と、前記第一の検出手段により検出された所定の物体と前記第二の検出手段により検出された所定の物体とを用いて物体のマッチング処理を行い、マッチング処理結果に応じて、物体毎に危険度を付与する危険予測手段と、を有することを特徴とする車両用衝突危険予測装置である。
（３）車両用衝突危険予測システムであって、ミリ波乃至サブミリ波帯の波長の電磁波を検出して得た第一の画像を出力する第一の撮像手段と、紫外線乃至近赤外線波帯の波長の電磁波を検出して得た第二の画像を出力する第二の撮像手段と、前記第一の撮像手段から出力された前記第一の画像から、所定の物体を画像処理によって検出する第一の検出手段と、前記第一の検出手段が前記所定の物体を検知した場合に、警告のための音声信号を生成して出力する危険予測手段と、前記第一の検出手段が前記所定の物体を検知した場合に、前記第一の検出手段によって検出された前記所定の物体の抽出画像と前記第二の撮像手段によって出力された前記第二の画像とを重畳して合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像を表示する画像表示手段と、前記危険予測手段により出力された音声信号を警告音として出力する警告音出力手段と、を備えることを特徴とする車両用衝突危険予測システムである。
【発明の効果】
【０００８】
本発明によれば、自車両に設置可能で、例えばドライバーの死角にある衝突の可能性がある物体についての情報を検出可能にし、衝突事故防止に貢献できる装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例１における車両用衝突予測システムの構成図である。
【図２】本発明の実施例１〜８における可視光撮像部の出力画像の例を示す図である。
【図３】本発明の実施例１，３，４，６，７，８におけるミリ波撮像部の出力画像の例を示す図である。
【図４】本発明の実施例１，３，４，６，７，８における第１検出部における衝突危険物体判定アルゴリズムの例を示す図である。
【図５】本発明の実施例１，３，７，８における画像合成部の出力画像の例を示す図である。
【図６】本発明の実施例２における車両用衝突予測システムの構成図である。
【図７】本発明の実施例２，５におけるミリ波撮像部の出力画像の例を示す図である。
【図８】本発明の実施例２，５における画像合成部の出力画像の例を示す図である。
【図９】本発明の実施例３における車両用衝突予測システムの構成図である。
【図１０】本発明の実施例３，５における撮像方法の時分割制御の方法を示す図である。
【図１１】本発明の実施例４における車両用衝突予測システムの構成図である。
【図１２】本発明の実施例４，５，６，８における第２検出部における衝突危険物体判定アルゴリズムの例を示す図である。
【図１３】本発明の実施例４，６における画像合成部の出力画像の例を示す図である。
【図１４】本発明の実施例５における車両用衝突予測システムの構成図である。
【図１５】本発明の実施例６における車両用衝突予測システムの構成図である。
【図１６】本発明の実施例７，８における車両用衝突回避システムの構成図である。
【図１７】本発明の実施例７における第１検出部における衝突回避物体判定アルゴリズムの例を示す図である。
【図１８】本発明の実施例８における第１検出部における衝突回避物体判定アルゴリズムの例を示す図である。
【図１９】本発明の実施例８における第２検出部における衝突回避物体判定アルゴリズムの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を用いて説明する。
【実施例１】
【００１１】
以下、本発明における実施例１について詳細に説明する。
図１は、本発明の実施例１における車両用衝突危険予測システム１００を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１を、車両用衝突危険予測システム１００に適用した場合における構成例を示す。
【００１２】
車両用衝突危険予測システム１００は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与える等が可能なシステムである。
【００１３】
車両用衝突危険予測システム１００は、車両用衝突危険予測装置１０１と、画像表示部１０７と、警報音出力部１０８とを適宜用いて構成される。
車両用衝突危険予測装置１０１は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、画像と音声によってドライバーに警告を与えるための、合成画像の出力と、音声信号の出力をする装置であって、ミリ波撮像部１０２、第１検出部１０３、可視光撮像部１０４、危険予測部１０５、画像合成部１０６とを適宜用いて構成される。
【００１４】
ミリ波撮像部１０２は、ミリ波センサ・信号処理部１０９を用いて構成される。
ミリ波センサ・信号処理部１０９は、ミリ波帯〜サブミリ波帯（波長：数十μｍ〜１ｃｍ程度）と呼ばれる波長の電磁波を撮像し、２次元デジタルデータである出力画像として、第１検出部１０３及び画像合成部１０６に出力する。一般的に、ミリ波帯〜サブミリ波帯（波長：数十μｍ〜１ｃｍ程度）の電磁波は、ある種の材質によってできた物を透過するという性質を持つ。そのため、障害物の陰に隠れて人の目には見えない位置にある物体であっても、ミリ波センサ・信号処理部１０９によって形状を画像化することができる。
【００１５】
第１検出部１０３は、ミリ波撮像部１０２の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、自車両と衝突する危険がある物体（以下、衝突危険物体）であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部１０５に出力する。衝突危険物体の判定方法の一例については後述する。
【００１６】
可視光撮像部１０４は、紫外線〜可視光〜近赤外線（波長：１０ｎｍ〜数μｍ程度）と呼ばれる波長の電磁波を撮像し、２次元デジタルデータである出力画像として、画像合成部１０６に出力する。
【００１７】
危険予測部１０５は、第１検出部１０３から出力された衝突危険物体情報を、画像合成部１０６に出力する。また、危険予測部１０５は、第１検出部１０３から出力された衝突危険物体情報に基づいて、ドライバーにアラーム音や合成音声などの警告音でドライバーに警告するべき内容を決定し、音声信号に変換し、警告音出力部１０８に出力する。
【００１８】
画像合成部１０６は、危険予測部１０５から出力された衝突危険物体情報に基づいて、ミリ波撮像部１０２の出力画像から、衝突危険物体の位置の画像を切り抜き処理し、可視光撮像部１０４の出力画像に重畳した合成画像を、画像表示部１０７に出力する。
【００１９】
警告音出力部１０８は、危険予測部１０５から出力された音声信号を元に発音して、音声でドライバーに警告を与える。
【００２０】
以上のような構成によって、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２と第１検出部１０３によって検出することができるようになり、合成画像と音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ドライバーへの警告は音声又は画像の一方だけでもよく、最初に音声を出力し、所定時間経過後、映像を出力するように時間差をつけても構わない。また、これらの警告は、自車両と衝突危険物体との距離に応じて段階的に変化させてドライバーに通知しても構わない。
【００２１】
図２は、可視光撮像部１０４の出力画像の例を示す図である。この図は、自車両の前方を撮影するように可視光撮像部１０４が設置された場合を示している。撮像に使用する電磁波は、紫外線〜可視光〜近赤外線（波長：１０ｎｍ〜数μｍ程度）のいずれかの波長で撮像されているものとする。例えば可視光で撮像した場合には、人間の目で見える範囲の画像を撮像することができる。また、例えば近赤外線で撮像した場合には、夜間でも、物体の形を感度良く撮像することができる。それゆえ、例えば、照度センサ等の検出光量やネットワークと接続されて得られる日没情報・位置情報・天候情報等に基づき、適宜撮像に使用する電磁波を自動で切り替えるようにしてもよく、ドライバーが手動で切り替えるようにしても構わない。
【００２２】
この図２に示されるように、例えば自車両の前方に３つの障害物（看板広告２０１、街路樹２０２、のぼり旗２０３）が存在しているとする。看板広告２０１の材質は木材、街路樹２０２の材質は木材、のぼり旗２０３の材質は布とプラスチックである。ドライバーは当然可視光しか視認することができないので、自転車２０４、歩行者２０５に関しては視認可能であるが、もし障害物の向こう側に衝突危険物体が存在していたとしても予め視認することができない。
【００２３】
そのため、本発明に係る装置を使用しない場合には、衝突危険物体が障害物の陰から急に飛び出してきくると、ブレーキやハンドリングなどによる衝突回避行動が間に合わずに事故に繋がる可能性がある。
【００２４】
そこで、障害物の向こう側に衝突危険物体がある場合であっても、それを予め検知してドライバーに警告を与えて、ドライバーに衝突回避行動を取らせ、衝突事故を未然に防ぐ手段が必要となる。そのために、実施例１の手段ではミリ波帯〜サブミリ波帯（波長：数十μｍ〜１ｃｍ程度）と呼ばれる電磁波で撮像を行う。この波長帯の電磁波は、木材・プラスチック・布・紙・陶磁器・ダンボール・煙・霧など、水・金属以外の様々な物質を透過し、金属表面で反射し、また、人や動物など、水分を多く含んだ物体に吸収されるという性質がある。すなわち、障害物が、この波長帯の電磁波を透過する素材でできていた場合には、ミリ波撮像部１０２によって、障害物の向こう側をいわば“透視”した映像を得ることができるということになる。
【００２５】
一般的に、撮像方法は電磁波の光源（放射源）の種類によって、パッシブ型と、アクティブ型の二種類に分類される。パッシブ型は、熱を持った物体から自然に放射される、ミリ波帯〜サブミリ波帯（波長：数十μｍ〜１ｃｍ程度）の電磁波を光源とする撮像方法である。一方、アクティブ型は、自ら設置した光源で撮像対象を照らして、金属などの物質で反射した電磁波を、パッシブ型の場合よりも鮮明に撮像することができる撮像方法である。
【００２６】
実施例１では、パッシブ型で撮像することとする。そのため、熱を持った物体である、歩行者や動物や走行中の車両（特にエンジン）などを検知することができる。
【００２７】
図３は、ミリ波撮像部１０２の出力画像の例を示す図である。実施例１では、パッシブ型の撮像方法を採っているので、水・金属以外の様々な材質でできた障害物を透過して、人や動物や走行中の車両など、熱を持つ物体を検知することができる。例えば図３では、可視光撮像部１０４によって検知可能だった自転車２０４、歩行者２０５以外にも、障害物に隠れた位置に存在する歩行者３０１、自動車３０２についても検知することが可能になっている。
【００２８】
第１検出部１０３において、衝突危険物体を判定する方法の一例について、図４を用いて以下に説明する。まず、ミリ波撮像部１０２から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。また、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内（例：θ＝１０）、距離Ｌ [ｍ]（例：Ｌ＝１０）以内に、時間ｔ [ｓｅｃ]（例：ｔ＝２）以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。
【００２９】
例えば図４の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５、歩行者３０１、自動車３０２）の物体形状が抽出される。そして、それぞれの物体について、ｔ[ｓｅｃ]後の予測位置（図４の４０１、４０２，４０３，４０４）及び、０〜ｔ [ｓｅｃ]の間の予測移動軌跡（図４の白貫き矢印）が予測される。予測移動軌跡が、図の４０５で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図４の場合には、自転車２０４、歩行者２０５、歩行者３０１、自動車３０２が衝突危険物体として判定される。なお、予測移動軌跡の予測には、ネットワーク等を介して取得されるマップ情報・渋滞情報等を補足情報として用いても構わない。
【００３０】
図５は、画像合成部１０６の出力画像の例を示す図である。衝突危険物体として判断された物体については、ミリ波撮像部１０２の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部１０４の出力画像に重畳される。さらに、衝突危険物体の周辺に、図５に矩形の点線で示すような、危険であることを示すマーカーが画像処理によって付加される。このような合成画像が、画像表示部を通じてドライバーに提示されることになる。このような合成画像によって、ドライバーは、障害物の向こう側にある衝突危険物体について知ることができる。
【００３１】
以上のように、実施例１の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２と第１検出部１０３によって検出することができるようになり、画像及び／又は音声によりドライバーに警告して衝突回避行動を促すことで、衝突事故を未然に防ぐようにできる。なお、ここでは、自車両の前方を撮像する場合を例にとって説明したが、これに限られず、自車両がバックする場合には、後方を撮像しながら同様に本発明を適用できることは言うまでもない。また、撮像範囲の方向については、例えば、自車両の方向指示器の動作に応じて適宜変更するようにしても構わない。また、本実施例１の記載中に示した変形例については、他の実施例においても適宜適用可能である。
【実施例２】
【００３２】
以下、本発明における実施例２について詳細に説明する。
図６は、本発明の実施例２における車両用衝突危険予測システム１００−２を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−２を、車両用衝突危険予測システム１００−２に適用した場合における構成例を示す。
【００３３】
車両用衝突危険予測装置１０１−２は、ミリ波撮像部１０２−２、第１検出部１０３−２、可視光撮像部１０４−２、危険予測部１０５−２、画像合成部１０６−２を適宜用いて構成され、ミリ波撮像部１０２−２は、ミリ波センサ・信号処理部１０９−２の他、ミリ波光源６０１−２を用いて構成される。
【００３４】
ミリ波光源６０１−２は、ミリ波センサ・信号処理部１０９−２で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。その他の構成要素に関しては、実施例１の図１と同様であるので、説明を割愛する。
【００３５】
実施例２では、ミリ波センサ・信号処理部１０９−２とミリ波光源６０１−２とを組み合わせて、アクティブ型の撮像方法を採るという点で、実施例１と異なる。
【００３６】
実施例２では、アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。
【００３７】
図７は、図３と同様のシーンを、実施例２の撮像方法（アクティブ型）で撮像した場合の、ミリ波撮像部１０２−２の出力画像の例を示す図である。この例では、金属でできた自転車２０４、自動車３０２を、実施例１の撮像方法（パッシブ型）よりも鮮明に撮像可能である。
【００３８】
鮮明に撮像された画像を用いるので、第１検出部１０３−２における衝突危険物体の検出精度は、実施例１の場合よりも高くなる。
【００３９】
図８は、画像合成部１０６−２の出力画像の例を示す図である。合成画像の生成方法は、実施例１の場合と同様であるので、割愛する。この例では、金属でできた自転車２０４、自動車３０２が、実施例１の撮像方法（パッシブ型）よりも鮮明な画像になってドライバーに提示されている。
【００４０】
以上のように、実施例２の手段を用いれば、障害物の向こう側にある衝突危険物体について、ミリ波撮像部１０２で高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。
【実施例３】
【００４１】
以下、本発明における実施例３について詳細に説明する。
【００４２】
図９は、本発明に係る実施例３における車両用衝突危険予測システム１００−３を示す構成図であって、本発明の車両用衝突危険予測装置１０１−３を、車両用衝突危険予測システム１００−３に適用した場合における構成例を示す。
【００４３】
車両用衝突危険予測装置１０１−３は、ミリ波撮像部１０２−３、第１検出部１０３−３、可視光撮像部１０４−３、危険予測部１０５−３、画像合成部１０６−３を適宜用いて構成され、ミリ波撮像部１０２−３は、ミリ波センサ・信号処理部１０９−３、ミリ波光源６０１−３を用いて構成される。
【００４４】
危険予測部１０−３５は、実施例２の危険予測部１０５−２と同様の処理を実施する。さらに、危険予測部１０５−３は、ミリ波撮像部１０２−３の撮像パラメータを制御する制御信号を、ミリ波撮像部１０２−３に出力する。また、図示しない切替部に基づいて、ミリ波光源６０１−３のＯＮ（点灯）／ＯＦＦ（消灯）を切り替える制御信号を、ミリ波光源６０１−３に出力する。その他の構成要素に関しては、実施例２の図６と同様であるので、説明を割愛する。
【００４５】
実施例３は、撮像方法を時分割で切り替えて、パッシブ型とアクティブ型の両方の撮像方法を時分割で切り替えて撮像するという点で、実施例１，２と異なっている。時分割制御により、実施例３では、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
【００４６】
図１０は、時分割制御の制御タイミングの一例を示した図である。時刻ｔ１〜ｔ２では、ミリ波光源６０１をＯＦＦ，ｔ２〜ｔ３ではＯＮ、・・・と、ミリ波光源６０１が点滅するように、危険予測部１０５が制御を行う。ミリ波光源６０１がＯＦＦになっている期間はパッシブ型の撮像方法となり、逆に、ミリ波光源６０１がＯＮになっている期間は、アクティブ型の撮像方法となる。図１０の場合には、出力画像１，３，５がパッシブ型、出力画像２，４がアクティブ型で撮像されることになる。撮像方法によって感度やＳ／Ｎ比などが異なるので、絞り量・シャッター速度・ノイズ除去信号処理強度などの撮像パラメータは、それぞれの撮像方法にとって最適な値が異なる。そこで、危険予測部１０５−３は、撮像方法の変更に合わせて、最適な撮像パラメータを設定するように、撮像パラメータ制御信号をミリ波センサ・信号処理部１０９−３に出力する。
【００４７】
第１検出部１０３−３では、パッシブ型で撮像された出力画像と、アクティブ型で撮像された出力画像のそれぞれについて、衝突危険物体を検出し、アクティブ型・パッシブ型両方の結果のマッチングをとり、少なくともどちらか片方の撮像方法で検出された衝突危険物体について、衝突危険物体情報を、危険予測部１０５−３に出力する。
【００４８】
このように、実施例３の手段を用いれば、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
【実施例４】
【００４９】
以下、本発明における実施例４について詳細に説明する。
図１１は、本発明の実施例４における車両用衝突危険予測システム１００−４を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−４を、車両用衝突危険予測システム１００−４に適用した場合における構成例を示す。
【００５０】
車両用衝突危険予測装置１０１−４は、ミリ波撮像部１０２−４、第１検出部１０３−４、可視光撮像部１０４−４、危険予測部１０５−４、画像合成部１０６−４、第２検出部１１０１−４を適宜用いて構成され、ミリ波撮像部１０２−４は、ミリ波センサ・信号処理部１０９−４を用いて構成される。
【００５１】
第２検出部１１０１−４は、可視光撮像部１０４−４の出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出し、また、その物体の移動速度や移動の傾向などを判断し、衝突危険物体であると判断した場合には、その衝突危険物体の画像上の大きさや位置情報を示す衝突危険物体情報を、危険予測部１０５−４に出力する。第２検出部１１０１−４による衝突危険物体の判定方法の一例については後述する。
【００５２】
危険予測部１０５−４は、第１検出部１０３−４と第２検出部１１０１−４それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部１０６−４に出力する。「危険度」の定義については、後述する。また、「危険度」に応じて、危険予測部１０５−４から警告音出力部１０８−４への音声信号の内容も変化させる。
【００５３】
画像合成部１０６−４は、実施例１と同様に可視光撮像部１０４の出力画像に、衝突危険物体の画像の一部を重ね合わせた上に、さらに「危険度」の情報を提示できる合成画像を生成して画像表示部１０７−４に出力する。図１１のその他の構成要素に関しては、実施例１の図１と同様であるので、説明を割愛する。
【００５４】
実施例４は、ミリ波撮像部１０２−４の出力画像を用いて衝突危険物体の検出を行う第１検出部１０３−４の検出結果と、可視光撮像部１０４−４の出力画像を用いて衝突危険物体の検出を行う第２検出部の検出結果の両方を用いるという点と、危険予測部１０５−４において「危険度」というパラメータを算出して、その結果によって画像や音声によってドライバーに警告する内容を変えるという点で、実施例１と異なる。
【００５５】
実施例４では、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
【００５６】
以下に、第２検出部１１０１−４における、衝突危険物体を判定する方法について説明する。
第２検出部１１０１−４は、可視光撮像部１０４−４の出力画像を入力画像として用いるという点で、ミリ波撮像部１０２−４の出力画像を入力画像として用いる第１検出部１０３−４と差異がある。
第２検出部１１０１−４において、入力画像から衝突危険物体を判定する方法については、第１検出部１０３−４の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。
【００５７】
以下は、例として、第２検出部１１０１−４でも、第１検出部１０３−４と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
入力画像から衝突危険物体を判定する方法としては、まず、可視光撮像部１０４−４から出力された出力画像から、人・動物などの生物や、自動車・バイク・自転車などの車両の物体形状を抽出する。次に、時間的に連続して撮影された出力画像から、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う。自車両の前方向の、ヨー角θ [°]以内（例：θ＝１０）、距離Ｌ [ｍ]（例：Ｌ＝１０）以内に、時間ｔ [ｓｅｃ] （例：ｔ＝２）以内に物体が通過する可能性があると判断された場合には、衝突危険物体として判定する。その場合には、その衝突危険物体の画像上の大きさや位置情報を示す、衝突危険物体情報を出力する。
【００５８】
例えば図１２の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５）の物体形状が抽出される。そして、それぞれの物体について、ｔ[ｓｅｃ]後の予測位置（図１２の４０１、４０２）及び、０〜ｔ [ｓｅｃ]の間の予測移動軌跡（図１２の白貫き矢印）が予測される。予測移動軌跡が、図１２の４０５で示される範囲を通過する物体は、衝突危険物体として判定される。例えば、図１２の場合には、自転車２０４、歩行者２０５が衝突危険物体として判定される。
【００５９】
以下に、実施例４における危険予測部１０５−４の振る舞いについて説明する。
実施例４では、第１検出部１０３−４と、第２検出部１１０１−４の両方の検出結果を、危険予測部１０５−４の入力として用いている。危険予測部１０５−４では、これら検出結果間で、衝突危険物体が、同一物体であるか判定（マッチング）する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。
【００６０】
表１は、危険予測部１０５−４の、「危険度」というパラメータの定義について説明する表である。
【００６１】
【表１】
2013097480.tif 000003
【００６２】
表１のような、「危険度」の定義は、平たく説明するならば「見えない危険が、より危険である」という考え方に基づいている。つまり、（実際には、可視光撮像部１０４−４で撮像できる波長が人の可視域よりも広い場合も含まれるが、）可視光で検出できる物体は、ドライバーが視認できる場合があり、危険度としては標準的なものとして考えることができるのに対して、可視光で検出できない物体に関しては、ドライバーが知る術なく接近を許してしまう可能性があり、危険度がより高いと考えることができる。本発明に係る装置・システムを使えば、この危険度について危険予測部１０５−４で判定し、危険度の高い物体について、強くドライバーに警告を与えることができるようになる。
【００６３】
危険予測部１０５−４では、物体のマッチング結果に関して、ミリ波により物体を検知する第１検出部１０３−４と、可視光により物体を検知する第２検出部１１０１−４それぞれにおいて、物体を検出できたかという条件によって、表１のように物体の危険度を判定する。判定方法としては、まず、第１検出部１０３−４で検出できた物体は「危険度Ｂ」として定義する。さらに、第１検出部１０３−４で検出できなかった物体のうち、第２検出部１１０１−４で検出できた物体を「危険度Ａ」、検出できなかった物体を「危険度Ｂ」として定義する。「危険度Ａ」の物体は、「危険度Ｂ」の物体よりも、衝突の危険性が高いことを示している。
【００６４】
画像合成部１０６−４では、実施例１の場合と同様に、可視光で撮像した出力画像の上に、ミリ波で撮像した出力画像を重畳し、マーカー等によって、衝突危険物体を強調されるように画像を合成する。さらに、画像合成部では、危険度Ａの物体が特に強調されて、ドライバーに警告が特に分かりやすくなるように画像を合成する（強調方法については、後述する）。
【００６５】
また、「危険度Ａ」の衝突危険物体が、特に強く音声で警告されるように、危険度によって、危険予測部１０５−４で生成する音声信号の、警告音の音量や、警告音の音色や、警告音となる合成音声の警告文や、警告音となる合成音声の音程などを変更する。
【００６６】
このように、危険度が高い物体ほど、ドライバーに強く警告することで、特に衝突事故に繋がりやすい物体をドライバーがより意識して回避することができるようになるので、衝突を防止できるようになる。
【００６７】
以下に、画像の合成について、図を用いて具体的に説明する。
実施例１において説明したのと同様に、ミリ波撮像部１０２−４の出力画像の例を示す図は図３と同様であり、第１検出部１０３−４では、この出力画像に基づき、例えば４つの衝突危険物体（自転車２０４，歩行者２０５，歩行者３０１，自動車３０２）が検知される。
【００６８】
一方、可視光撮像部１０４−４の出力画像の例を示す図は図２と同様であり、第２検出部１１０１−４では、この出力画像に基づき、例えば２つの衝突危険物体（自転車２０４，歩行者２０５）が検知される。
【００６９】
このように、２つの検出部で検知された物体をマッチングすると、自転車２０４，歩行者２０５，歩行者３０１，自動車３０２の４つの衝突危険物体が検知されたことになる。さらに、表１１に基づいて危険度を判定すると、歩行者３０１，自動車３０２は「危険度Ａ」、自転車２０４，歩行者２０５は「危険度Ｂ」とそれぞれ判定される。
【００７０】
図１３は、画像合成部１０６−４の出力画像の例を示す図である。図１３は、図５と同様に、衝突危険物体として判断された物体については、ミリ波撮像部１０２−４の出力画像から、物体の形状に沿って切り抜き処理され、可視光撮像部１０４−４の出力画像に重畳されている。
【００７１】
図１３では、危険度に応じて、物体を強調する程度が異なるようになっている。例えば、図１３のように、「危険度Ｂ」の物体は、図５の場合と同様に、矩形の点線で囲まれたように描画されるが、「危険度Ａ」の物体は、図１３の３０１のように、太い線で囲まれて描画される。例えば、このようにマーカーの種類を変えることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。なお、危険度に応じた物体の強調については、これに限られず、危険度に応じて明度を上げる等、種々変更可能である。また、危険度Ａの場合のみ音声と映像とで警告し、Ｂ以下の場合には映像又は音声のみのようにしても構わない。
【００７２】
以上のように、実施例４の手段を用いれば、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
【実施例５】
【００７３】
以下、本発明における実施例５について詳細に説明する。
図１４は、本発明の実施例５における車両用衝突危険予測システム１００−５を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−５を、車両用衝突危険予測システム１００−５に適用した場合における構成例を示す。
【００７４】
車両用衝突危険予測装置１０１−５は、ミリ波撮像部１０２−５、第１検出部１０３−５、可視光撮像部１０４−５、危険予測部１０５−５、画像合成部１０６−５、第２検出部１１０１−５を適宜用いて構成され、ミリ波撮像部１０２−５は、ミリ波センサ・信号処理部１０９−５、ミリ波光源６０１−５を用いて構成される。
【００７５】
ミリ波光源６０１−５は、実施例２の図６と同様に、ミリ波撮像部１０２−５で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。図１４のその他の構成要素に関しては、実施例４の図１１と同様であるので、説明を割愛する。
【００７６】
実施例５では、実施例２と同様に、ミリ波光源６０１−５と、ミリ波撮像部１０２−５を組み合わせて、アクティブ型の撮像方法を採る。アクティブ型の撮像方法を採るので、金属で覆われた物体である、自動車や、バイクや、自転車といった車両を、パッシブ型の場合よりも鮮明に撮像することが可能となり、その結果、危険物体の検出精度や、ドライバーに提示する合成画像の鮮明さが向上する。
【００７７】
さらに、実施例５では、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。
【００７８】
実施例５では、実施例２と同様にアクティブ型の撮像方法を採る手法と、実施例４と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例２、４と異なる。実施例５において、アクティブ型の撮像方法を採る手法については、実施例２と同様なので割愛する。また、実施例５において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例４と同様なので割愛する。
【００７９】
以上のように、実施例５の手段を用いれば、実施例２と同様に、障害物の向こう側にある衝突危険物体について、高い精度で検出し、かつ鮮明な撮像画像を提示して、ドライバーに警告することができる。その結果、ドライバーは、より適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。
【００８０】
また同時に、実施例５の手段を用いれば、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例５においては、実施例２と実施例４の両方の効果を同時に得ることができる。
【実施例６】
【００８１】
以下、本発明における実施例６について詳細に説明する。
図１５は、本発明の実施例６における車両用衝突危険予測システム１００−６を示す構成図であって、本発明に係る車両用衝突危険予測装置１０１−６を、車両用衝突危険予測システム１００−６に適用した場合における構成例を示す。
【００８２】
車両用衝突危険予測装置１０１−６は、ミリ波撮像部１０２−６、第１検出部１０３−６、可視光撮像部１０４−６、危険予測部１０５−６、画像合成部１０６−６、第２検出部１１０１−６を適宜用いて構成され、ミリ波撮像部１０２−６は、ミリ波センサ・信号処理部１０９−６、ミリ波光源６０１−６を用いて構成される。
【００８３】
ミリ波光源６０１−６は、実施例３の図９と同様に、ミリ波撮像部１０２−６で撮像可能な電磁波（波長：数十μｍ〜１ｃｍ程度）を、撮影対象となる自車両の周辺に放射することができる光源（放射源）である。
【００８４】
危険予測部１０５−６は、実施例３の危険予測部１０５−３と同様に、ミリ波撮像部１０２−６の撮像パラメータを制御する制御信号を、ミリ波撮像部１０２に出力する。また、ミリ波光源６０１−６のＯＮ（点灯）／ＯＦＦ（消灯）を切り替える制御信号を、ミリ波光源６０１−６に出力する。
【００８５】
さらに、危険予測部１０５−６は、実施例４の図１１と同様に、第１検出部１０３−６と第２検出部１１０１−６それぞれで独立に求めた衝突危険物体情報を入力とし、物体のマッチングを行った上で、衝突危険物体の「危険度」というパラメータを付加して合成画像部１０６−６に出力する。図１４のその他の構成要素に関しては、実施例４の図１４と同様であるので、説明を割愛する。
【００８６】
実施例６では、実施例３と同様にアクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法と、実施例４と同様に「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法の、両方を同時に使用できる構成となっているという点で、実施例３、４と異なる。実施例５において、アクティブ型とパッシブ型の撮像方法を時分割に切り替えて撮像する手法については、実施例３と同様なので割愛する。また、実施例５において、「危険度」パラメータを求めて、それに応じて合成画像や音声信号を変化させる手法については、実施例４と同様なので割愛する。
【００８７】
以上のように、実施例６の手段を用いれば、実施例３と同様に、２つの撮像方法の検出結果の両方を用いることができるようになり、アクティブ型の撮像によって車両など金属でできた物体の検出精度を高める作用と、パッシブ型の撮像によって歩行者や動物などの検出を可能とする作用の両方を同時に実現することが可能となる。
【００８８】
また同時に、実施例６の手段を用いれば、実施例４と同様に、２つの撮像部の検出結果の両方を用いて、衝突危険物体について「危険度」というパラメータを求めることができるようになり、「危険度Ａ」の衝突危険物体について、画像や音声によってドライバーに与える警告を強めることで、ドライバーにとって特に危険な物体がより認識されやすくなり、ドライバーが意識して衝突回避行動を取りやすくなり、事故を防止できるようになる。このように、実施例６においては、実施例３と実施例４の両方の効果を同時に得ることができる。
【実施例７】
【００８９】
以下、本発明における実施例７について詳細に説明する。
図１６は、本発明の実施例７における車両用衝突危険回避システム１６００−７を示す構成図である。実施例７では、本発明の実施例１（図１の１０１）、実施例２（図６の１０１−２）、実施例３（図９の１０１−３）のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム１６００−７に適用した場合における構成例を示す。
【００９０】
車両用衝突危険回避システム１６００−７は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。
【００９１】
車両用衝突危険回避システム１６００−７は、車両用衝突危険予測装置１０１−７、画像表示部１０７−７、警告音出力部１０８−７、車両制御部１６０１−７を用いて構成され、車両用衝突危険予測装置１０１−７は、主に、実施例１（図１）、実施例２（図６）、実施例３（図９）のいずれかで示される車両用衝突危険予測装置の構成となり、さらに、車両用衝突危険予測装置１０１−７の内部の第１検出部（図１，図６，図９のいずれか）は、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。
【００９２】
また、さらに、車両用衝突危険予測装置１０１−７の内部の危険予測部（図１の１０５，図６の１０５−２，図９の１０５−３のいずれか）は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部１６０１−７に出力する。車両制御部１６０１−７は、危険予測部（図１の１０５，図６の１０５−２，図９の１０５−３のいずれかに記載のもの）から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングをドライバーの操作に関わらず自動で制御する。画像表示部１０７−７、警告音出力部１０８−７に関しては、実施例１の図１の１０７，１０８と同様であるため、説明を割愛する。
【００９３】
実施例７では、実施例１〜３のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例７では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例１〜３と異なる。
【００９４】
自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第１検出部（図１，図６，図９のいずれか）で、衝突を回避すべき物体（衝突回避物体）を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。
【００９５】
例えば、衝突回避物体の判定アルゴリズムとして、実施例１の図４で示した衝突危険物体の判定アルゴリズムと同様に、画像処理によって物体の予測移動方向・速度を計算し、物体の動き予測を行う手法を採用することができる。
【００９６】
図１７は、第１検出部において衝突回避物体を判定する方法の例を示す図である。この手法では、自車両の前方向の、ヨー角θ２ [°]以内（例：θ２＝８）、距離Ｌ２ [ｍ]（例：Ｌ２＝５）以内に、時間ｔ２ [ｓｅｃ] （例：ｔ２＝１）以内に物体が通過する可能性があると判断された場合には、衝突回避物体として判定する。
【００９７】
衝突回避物体と判定された物体については、危険予測部（図１，図６，図９のいずれか）で、衝突回避行動をとるための車両制御信号を、車両制御部１６０１−７に出力する。車両制御部では、自車両をブレーキングにより減速したり、衝突回避物体とは逆方向にハンドリングしたりするなどの衝突回避行動をとるように、自車両を制御する。また、車両が自動で衝突回避行動をとる際には、画像表示部で表示する画像に警告文を表示し、また警告音出力部から音声を発してドライバーに知らせる。
【００９８】
この例のようにθ２≦θ、Ｌ２≦Ｌ、ｔ２≦ｔとした場合には、物体の接近に応じて段階的に安全策をとることができる。物体が近づいてきた場合には、まず衝突危険物体として判定され、ドライバーに警告を与えてドライバーの自主的な衝突回避行動を促す。その後さらに近づいてくる場合には、衝突回避物体として判定され、車両が自ら衝突回避行動をとる。
【００９９】
以上のように、実施例７の手段を用いれば、実施例１〜３の場合と同様に、画像及び／又は音声により、障害物の向こう側にある衝突危険物体についてドライバーに警告することができ、適切に衝突回避行動をとることができるので、衝突事故を未然に防ぐことができる。また、実施例７の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、自車両が自動で衝突回避行動をとるので、衝突事故を未然に防ぐことができる。
【０１００】
本実施例の変形例として、図１６の構成から、画像表示部１０７−７を省略し、また可視光撮像部（図１の１０４，図６の１０４−２，図９の１０４−３のいずれか）、画像合成部（図１の１０６，図６の１０６−２，図９の１０６−３のいずれか）を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図１６の構成から、警告音出力部１０８−７を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。
【実施例８】
【０１０１】
以下、本発明における実施例８について詳細に説明する。
図１８は、本発明の実施例８における車両用衝突危険回避システム１６００−８を示す構成図である。実施例８では、本発明の実施例４（図１１の１０１−４）、実施例５（図１４の１０１−５）、実施例６（図１５の１０１−６）のいずれかに記載の車両用衝突危険予測装置を、車両用衝突危険回避システム１６００−８に適用した場合における構成例を示す。
【０１０２】
車両用衝突危険回避システム１６００−８は、車両に搭載されており、車両周辺（例えば、前方向）の衝突の危険を検知して、ドライバーに警告を与えると共に、衝突を回避するために、車両自らが衝突回避行動をとり、衝突を回避するシステムである。
【０１０３】
車両用衝突危険回避システム１６００−８は、車両用衝突危険予測装置１０１−８、画像表示部１０７−８、警告音出力部１０８−８、車両制御部１６０１−８を用いて構成される。
【０１０４】
車両用衝突危険予測装置１０１−８は、主に、実施例４（図１１の１０１−４）、実施例５（図１４の１０１−４）、実施例６（図１５の１０１−４）のいずれかで示される車両用衝突危険予測装置の構成となる。
【０１０５】
さらに、車両用衝突危険予測装置１０１−８の内部の第１検出部（図１１の１０３−４，図１４の１０３−５，図１５の１０３−６のいずれか）は、実施例７と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部（図１１の１０５−４，図１４の１０５−５，図１５の１０５−６のいずれか）に出力する。
【０１０６】
また、さらに、車両用衝突危険予測装置１０１−８の内部の第２検出部（図１１の１１０１−４，図１４の１１０１−５，図１５の１１０１−６のいずれか）は、実施例７の場合と同様に、車両が自ら回避すべき物体を示す「衝突回避物体」を判定し、「衝突回避物体情報」を危険予測部に出力する。
【０１０７】
また、さらに、車両用衝突危険予測装置１０１−８の内部の危険予測部（図１１，図１４，図１５のいずれか）は、車両がどのような衝突危険回避行動をとるべきかを示した「衝突回避情報」を、車両制御部１６０１−８に出力する。
【０１０８】
車両制御部１６０１−８は、危険予測部（図１１の１０５−４，図１４の１０５−５，図１５の１０５−６のいずれか）から、衝突回避情報を受け取り、自車両のブレーキングやハンドリングを制御する。画像表示部１０７−８、警告音出力部１０８−８に関しては、実施例４の図１１の１０７−４，１０８−４と同様であるため、説明を割愛する。
【０１０９】
実施例８では、実施例４〜６のいずれかの手法により、ドライバーに衝突危険物体について警告を与え、衝突回避行動を促す。
一方で、実施例８では、ドライバーが衝突回避行動をとらない場合であっても、物体との衝突を防止するために自車両が自ら判断して衝突回避行動をとるという点で、実施例４〜６と異なる。
【０１１０】
また、実施例８では、第２検出部（図１１の１１０１−４，図１４の１１０１−５，図１５の１１０１−６のいずれか）を備え、さらに、危険予測部は第１検出部と第２検出部の両方の検出結果を用いて衝突回避物体を判定するという点で、実施例７と異なる。
【０１１１】
自車両が自ら判断して衝突回避行動をとる際の具体的な方法としては、例えば以下のようになる。
まず、第１検出部及び、第２検出部で、衝突を回避すべき物体（衝突回避物体）を検出する。このとき、衝突危険物体と衝突回避物体の判定方法については、アルゴリズムや設定値を同じにしても良いし、変えても良い。第１検出部における、衝突回避物体の検出方法については、実施例７の図１７において説明したので、割愛する。
【０１１２】
第２検出部において入力画像から衝突危険物体を判定する方法については、第１検出部及び、第２検出部の検出アルゴリズムや設定値と同じにしても良いし、変えても良い。
【０１１３】
以下は、例として、第２検出部でも、第１検出部と同じ検出アルゴリズム及び設定値を使用する場合について説明する。
図１９は、第２検出部において衝突回避物体を判定する方法の例を示す図である。例えば図１９の場合には、撮像範囲２００に存在する物体（自転車２０４、歩行者２０５）の物体形状が抽出される。そして、それぞれの物体について、ｔ２[ｓｅｃ]後の予測位置（図１９の１７０１，１７０２）及び、０〜ｔ２ [ｓｅｃ]の間の予測移動軌跡（図１９の白貫き矢印）が予測される。予測移動軌跡が、図１９の１７０５で示される範囲を通過する物体は、衝突回避物体として判定される。例えば、図１９の場合には、自転車２０４、歩行者２０５が衝突危険物体として判定される。
【０１１４】
実施例８では、第１検出部と、第２検出部の両方の検出結果を、危険予測部の入力として用いている。
【０１１５】
危険予測部では、これら検出結果間で、衝突回避物体が、同一物体であるか判定（マッチング）する。具体的なマッチングの方法としては、例えば、同じ座標に存在し、同じ方向に、同じ速度で移動していると検出された場合に、同一物体であると判断するなどの方法がある。前述の表１は、危険予測部の、「危険度」というパラメータの定義について説明する表であって、危険予測部では、衝突回避物体のマッチング結果に関して、ミリ波により物体を検知する第１検出部と、可視光により物体を検知する第２検出部それぞれにおいて、衝突回避物体として検出できたかという条件によって、表１のように物体の危険度を判定する。
【０１１６】
実施例８では、衝突回避物体のうち、危険度ＡもしくはＢとして判定された物体について衝突回避行動を取る。ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、物体の検知率を上げることができる。
【０１１７】
以上のように、実施例８の手段を用いれば、実施例４〜６と同様に、可視光とミリ波の両方の検出結果から危険度を算出し、危険度に応じて警告の度合いを制御することで、ドライバーに見えない危険な物体ほど、ドライバーが認識しやすくすることができ、事故を防止できる。
【０１１８】
また、実施例８の手段を用いれば、ドライバーが衝突回避行動を取らなかった場合であっても、ミリ波と可視光の少なくともどちらか片方で検知された物体について衝突を回避することができるので、高い検知率に基づいて、自車両が自動で衝突回避行動をとることができ、衝突事故を未然に防ぐことができる。
【０１１９】
本実施例の変形例として、図１６の構成から、画像表示部を省略した構成とすることができる。この構成の場合には、合成画像によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。また、本実施例の変形例として、図１６の構成から、警告音出力部を省略した構成とすることができる。この構成の場合には、音声によるドライバーへの警告を省略した上で、衝突回避物体が判定された場合には、車両が自ら衝突回避行動をとることができる。
【０１２０】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【０１２１】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【０１２２】
１００  車両用衝突危険予測システム
１０１  車両用衝突危険予測装置
１０２  ミリ波撮像部
１０３  第１検出部
１０４  可視光撮像部
１０５  危険予測部
１０６  画像合成部
１０７  画像表示部
１０８  警告音出力部
１０９  ミリ波センサ・信号処理部
２００  撮像範囲
２０１  障害物（看板広告）
２０２  障害物（街路樹）
２０３  障害物（のぼり旗）
２０４  自車両から可視光で視認可能な位置にある衝突危険物体（自転車）
２０５  自車両から可視光で視認可能な位置にある衝突危険物体（歩行者）
２０６  車道
３０１  自車両から可視光で視認不可能な位置にある衝突危険物体（歩行者）
３０２  自車両から可視光で視認不可能な位置にある衝突危険物体（自動車）
４００  自車両
４０１  物体２０４のt [sec]後の予測位置
４０２  物体２０５のt [sec]後の予測位置
４０３  物体３０１のt [sec]後の予測位置
４０４  物体３０２のt [sec]後の予測位置
４０５  ｔ [sec]以内に物体が通過すると、衝突危険物体と判定される範囲
６０１  ミリ波光源
１００１  ミリ波光源のＯＮ／ＯＦＦ
１００２  ミリ波センサ・信号処理部の出力画像
１００３  第１検出部及び、画像合成部の入力として使用する画像
１１０１  第２検出部
１３０１  危険度表示（危険度Ａ）
１３０２  危険度表示（危険度Ｂ）
１３０３  危険度表示（危険度Ａ）
１３０４  危険度表示（危険度Ｂ）
１６００  車両用衝突危険回避システム
１６０１  車両制御部
１７０１  物体２０４のt２ [sec]後の予測位置
１７０２  物体２０５のt２ [sec]後の予測位置
１７０３  物体３０１のt２ [sec]後の予測位置
１７０４  物体３０２のt２ [sec]後の予測位置
１７０５  ｔ２ [sec]以内に物体が通過すると、衝突回避物体と判定される範囲
【図１】
2013097480.tif 000004
【図２】
2013097480.tif 000005
【図３】
2013097480.tif 000006
【図４】
2013097480.tif 000007
【図５】
2013097480.tif 000008
【図６】
2013097480.tif 000009
【図７】
2013097480.tif 000010
【図８】
2013097480.tif 000011
【図９】
2013097480.tif 000012
【図１０】
2013097480.tif 000013
【図１１】
2013097480.tif 000014
【図１２】
2013097480.tif 000015
【図１３】
2013097480.tif 000016
【図１４】
2013097480.tif 000017
【図１５】
2013097480.tif 000018
【図１６】
2013097480.tif 000019
【図１７】
2013097480.tif 000020
【図１８】
2013097480.tif 000021
【図１９】
2013097480.tif 000022