(57)【要約】      （修正有）【課題】運転者による目視の可能性が低いときには強い警報を発行して注意を強く喚起すると共に、運転者による目視の可能性が高いときには弱い警報を発行して運転者のわずらわしさを軽減する。【解決手段】車両の周辺監視装置は、車両に搭載され、該車両の周辺を撮像する撮像手段と、該撮像により取得した画像に基づき、所定の対象物を検出する手段と、該画像に基づいて生成される表示画像を車内で表示する表示手段と、該画像に基づいて検出された対象物の存在を運転者に警報する警報手段とを備える。さらに、該装置は、運転者が前記検出された対象物を車外で目視できる程度を示す目視可能性を判定する手段を備え、警報手段は、該判定された目視可能性が低いほど、前記警報を強くする。【選択図】図１０
2011227657.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の周辺を撮像する撮像手段と、該撮像により取得した画像に基づき、所定の対象物を検出する手段と、該画像に基づいて生成される表示画像を車内で表示する表示手段と、該画像に基づいて検出された対象物の存在を運転者に警報する警報手段と、を備える車両の周辺監視装置であって、
さらに、運転者が前記検出された対象物を車外で目視できる程度を示す目視可能性を判定する目視可能性判定手段を備え、前記警報手段は、該判定された目視可能性が低いほど、前記警報を強くする、ことを特徴とする車両の周辺監視装置。
【請求項２】
さらに、前記車両の運転者が目視可能な車外の範囲を推定または検出する目視可能範囲判定手段を備え、
前記目視可能性判定手段は、該推定または検出された目視可能範囲に基づいて、前記検出された対象物についての前記目視可能性を判定する、
請求項１に記載の車両の周辺監視装置。
【請求項３】
前記目視可能範囲判定手段は、前記取得した画像に基づいて対向車のヘッドライトの照射範囲を、前記目視可能範囲として推定または検出する、
請求項２に記載の車両の周辺監視装置。
【請求項４】
前記目視可能性判定手段は、前記検出された対象物が、２つの該推定または検出された目視可能範囲の間に位置しているとき、該対象物についての前記目視可能性が低いと判定する、
請求項２または３に記載の車両の周辺監視装置。
【請求項５】
前記撮像手段は、可視カメラおよび赤外線カメラからなり、前記検出された対象物は、該赤外線カメラによって取得された赤外画像から検出された対象物であり、
前記目視可能性判定手段は、該赤外画像から検出された対象物の画像領域と、該可視カメラによって取得された可視画像中の、該検出された対象物の位置に対応する画像領域と、の比較に基づいて、前記検出された対象物についての目視可能性を判定する、
請求項１から４のいずれかに記載の車両の周辺監視装置。
【請求項６】
前記赤外画像から検出された対象物のうち、前記可視画像からは検出されなかった対象物または対象物部分について、該赤外画像から、該検出されなかった対象物または対象物部分に対応する画像領域を切り出し、該切り出した画像領域を、該可視画像の該検出されなかった対象物または対象物部分に重畳し、該重畳した画像を前記表示手段を介して表示すると共に、該可視画像から検出された対象物または対象物部分の画像領域と、該重畳された画像領域とを、運転者が区別可能なように表示する、
請求項５に記載の車両の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の周辺を監視するための装置に関する。
【背景技術】
【０００２】
従来より、車両の周辺を撮像する撮像装置を該車両に搭載し、該撮像装置によって取得された車両の周辺の画像を表示装置上に表示することが行われている。その際、該取得された画像中に所定の対象物が存在する場合には、該対象物について警報を行うことにより、運転者の注意を喚起することが行われる。
【０００３】
この点に関し、下記の特許文献１には、車両の走行方向の視界の良否を判定し、視界が良い場合には暗視画像の表示を制限し、視界が悪い場合には暗視画像を表示することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１７２８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のように、検出された対象物に応じて警報が発行されることにより、運転者の注意を喚起することができる。しかしながら、運転者が、実際に目視で認識している対象物についてまで警報を発行したり警報が多発すると、運転者に煩わしさを感じさせるおそれがある。
【０００６】
したがって、この発明の一つの目的は、運転者が目視により認識可能な程度に応じて警報の程度を制御する手法を提供することである。
【課題を解決するための手段】
【０００７】
この発明の一つの側面によると、車両周辺監視装置は、車両に搭載され、車両の周辺を撮像する撮像手段と、該撮像により取得した画像に基づき、所定の対象物を検出する手段と、該画像に基づいて生成される表示画像を車内で表示する表示手段と、該画像に基づいて検出された対象物の存在を運転者に警報する警報手段と、を備える。さらに、該装置は、運転者が前記検出された対象物を車外で目視できる程度を示す目視可能性を判定する目視可能性判定手段を備える。警報手段は、該判定された目視可能性が低いほど、前記警報を強くする。
【０００８】
この発明によれば、運転者による対象物への目視可能性が低いほど、強い警報が発行される。したがって、目視できる可能性が低いほど、運転者の注意を強く喚起することができると共に、該目視できる可能性が高いときには、運転者を煩わせることなく警報を発行することができる。
【０００９】
この発明に一実施形態によると、該装置は、運転者が目視可能な車外の範囲を推定または検出する目視可能範囲判定手段を備え、前記目視可能性判定手段は、該推定または検出された目視可能範囲に基づいて、前記検出された対象物についての前記目視可能性を判定する。
【００１０】
この発明の一実施形態によると、前記目視可能範囲判定手段は、前記取得した画像に基づいて対向車のヘッドライトの照射範囲を、前記目視可能範囲として推定または検出する。こうして、対向車のヘッドライトによって自車両の運転者が対象物を目視できているかどうかを判断することができる。
【００１１】
この発明の一実施形態によると、前記目視可能性判定手段は、前記検出された対象物が、２つの該推定または検出された目視可能範囲の間に位置しているとき、該対象物についての前記目視可能性が低いと判定する。２つの明るい領域に挟まれた暗い領域に対象物が存在しているときには、該対象物が見えにくいという特性がある。この発明によれば、このような場合には目視可能性が低いと判定するので、運転者に、該対象物についての注意を強く喚起することができる。
【００１２】
この発明の一実施形態によると、前記撮像手段は、可視カメラおよび赤外線カメラからなり、前記検出された対象物は、該赤外線カメラによって取得された赤外画像から検出された対象物であり、
前記目視可能性判定手段は、該赤外画像から検出された対象物の画像領域と、該可視カメラによって取得された可視画像中の、該検出された対象物の位置に対応する画像領域と、の比較に基づいて、前記検出された対象物についての目視可能性を判定する。こうして、可視カメラを用いて、目視可能性を判定することができる。
【００１３】
この発明の一実施形態によると、前記赤外画像から検出された対象物のうち、前記可視画像からは検出されなかった対象物または対象物部分について、該赤外画像から、該検出されなかった対象物または対象物部分に対応する画像領域を切り出し、該切り出した画像領域を、該可視画像の該検出されなかった対象物または対象物部分に重畳し、該重畳した画像を前記表示手段を介して表示すると共に、該可視画像から検出された対象物または対象物部分の画像領域と、該重畳された画像領域とを、運転者が区別可能なように表示する。
【００１４】
この発明によれば、運転者が見えていないと想定される対象物または対象物部分については、赤外画像から切り出して区別可能なように重畳表示されるので、運転者は、自身が目視できていない対象物または対象物部分を表示画面上で確認することができる。
【００１５】
本発明のその他の特徴及び利点については、以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１６】
【図１】この発明の一実施例に従う、車両の周辺監視装置の構成を示すブロック図。
【図２】この発明の一実施例に従う、表示装置およびカメラの取り付け位置を説明するための図。
【図３】この発明の一実施例に従う、運転者の目視可能性を判定する手法を説明するための図。
【図４】この発明の一実施例に従う、運転者の目視可能性を判定する手法を説明するための図。
【図５】この発明の一実施例に従う、運転者の目視可能性を判定する手法を説明するための図。
【図６】この発明の一実施例に従う、運転者の目視可能性を判定する手法を説明するための図。
【図７】この発明の一実施例に従う、運転者の目視可能性の判定結果に基づく表示形態の一例を示す図。
【図８】この発明の一実施例に従う、運転者の目視可能性の判定結果に基づく表示形態の一例を示す図。
【図９】この発明の一実施例に従う、運転者の目視可能性の判定結果に基づく表示形態の一例を示す図。
【図１０】この発明の一実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【図１１】この発明の他の実施例に従う、画像処理ユニットにおけるプロセスを示すフローチャート。
【発明を実施するための形態】
【００１７】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺を監視するための装置の構成を示すブロック図である。該装置は、車両に搭載され、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ、１Ｌと、カメラ１Ｒ、１Ｌによって撮像された画像データに基づいて車両周辺の所定の対象物を検出するための画像処理ユニット２と、該検出結果に基づいて音声で警報を発生するスピーカ３と、カメラ１Ｒ、１Ｌによる撮像によって得られる画像を表示するヘッドアップディスプレイ（以下、ＨＵＤと呼ぶ）４と、を備えている。さらに、該周辺監視装置は、車両のヨーレートを検出するヨーレートセンサ６と、車両の走行速度（車速）を検出する車速センサ７とを備え、これらのセンサの検出結果は、画像処理ユニット２に送られる。
【００１８】
この実施例では、図２に示すように、遠赤外線カメラ１Ｒおよび１Ｌは、車両１０の前方を撮像するよう、車両１０の前部に、車幅の中心を通る中心軸に対して対称な位置に配置されている。２つのカメラ１Ｒおよび１Ｌは、両者の光軸が互いに平行となり、両者の路面からの高さが等しくなるように車両に固定されている。赤外線カメラ１Ｒおよび１Ｌは、対象物の温度が高いほど、その出力信号のレベルが高くなる（すなわち、撮像画像における輝度が大きくなる）特性を有している。
【００１９】
画像処理ユニット２は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ（ランダムアクセスメモリ）、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ（リードオンリーメモリ）、スピーカ３に対する駆動信号およびＨＵＤ４に対する表示信号などを出力する出力回路を備えている。遠赤外線カメラ１Ｒおよび１Ｌの出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成されており、画像処理ユニット２は、遠赤外線カメラ１Ｒまたは１Ｌからの画像をＨＵＤ４に出力可能なように構成されている。ＨＵＤ４は、図２に示すように、車両１０のフロントウィンドウの、運転者の前方位置に画面４ａが表示されるように設けられている。こうして、運転者は、ＨＵＤ４に表示される画面を視認することができる。
【００２０】
なお、ＨＵＤ４に代えて、またはＨＵＤ４に加えて、たとえばダッシュボードに取り付けられる表示装置を用いてもよい。たとえば、いわゆるナビゲーション装置（図示せず）の表示装置を利用することができる。ナビゲーション装置は、周知の如く、車両の現在位置を検出すると共に、目的地への最適な経路を算出して、地図情報上に該現在位置および該経路を表示することができる装置である。
【００２１】
目視可能性判定部９は、画像処理ユニット２の機能の一つとして設けられており（代替的に、該判定部９の機能を、他の電子制御ユニットによって実現してもよい）、遠赤外カメラ１Ｒ、１Ｌによって得られた画像（以下、遠赤外画像と呼ぶ）から検出された対象物について、運転者による目視可能性（該対象物を車外で直接目視できるかどうか）を判定する。目視可能性判定部９は、たとえば、以下のうちの１または複数を用いて、該判定を行うことができる。
１）可視カメラによって撮像された画像
２）対向車のヘッドライトの位置または該ヘッドライトの照射範囲
３）照度センサによる検出結果
４）自車両のヘッドライトの照射範囲
５）ナビゲーション装置からの情報
【００２２】
上記１）から５）について説明する。上記１）についてまず説明すると、遠赤外カメラ１Ｒ、１Ｌを用いることにより、前述したように、温度に応じた輝度値を有する画像を取得することができるので、運転者が直接目視することで捉えることが困難な対象物（たとえば、夜間のような車両周辺が暗い状況での歩行者）についても検出することができる。他方、可視カメラは、可視光領域で撮像可能なＣＣＤカメラおよびＣＭＯＳカメラ等によって構成され、撮像される物体の照度が高いほど、出力される映像信号のレベルが高くなる（すなわち、撮像画像における輝度値が高くなる）特性を有している。したがって、可視カメラは、運転者が直接目視可能なものを撮像していると考えることができ、よって、可視カメラで撮像された画像（可視画像と呼ぶ）において、何らかのものが視認可能なように撮像されている領域に対応する実空間内の範囲を、運転者による目視可能な範囲（目視可能範囲と呼ぶ）と推定することができる。
【００２３】
この場合、遠赤外カメラ１Ｒ、１Ｌと同様の位置に、一対の可視カメラを車両に搭載し、遠赤外画像と同じタイミングで可視画像を取得する。遠赤外画像から検出された対象物が、可視画像から検出されることができれば、該対象物は目視可能範囲内に存在すると判定され、よって、該対象物についての運転者による目視可能性は高いと判定することができる。反対に、該対象物が可視画像から検出されなければ、該対象物は目視可能範囲外に存在すると判定され、よって、該対象物についての運転者による目視可能性は低いと判定する。
【００２４】
ここで、一例として図３を参照すると、夜間において、（ａ）運転者の視界に映る外界と、（ｂ）可視カメラによって撮像された可視画像と、（ｃ）遠赤外線カメラによって撮像された遠赤外画像とが模式的に示されている。（ａ）の網掛けされた範囲１０１は、自車両のヘッドライトによって照射された範囲であり、運転者による目視が可能である（目視可能範囲）。可視画像では、該目視可能範囲１０１が、輝度値が所定値以上の領域１１１として撮像されている。（ｃ）に示されるように、実際には、車両の前方に歩行者１２１が存在しており、遠赤外線画像では、該歩行者が捕捉されて画像中に映される。しかしながら、該歩行者１２１は、目視可能範囲１０１外に存在しているため、可視画像にも撮像されず、運転者による目視はできない。このような場合、遠赤外画像から対象物として検出された歩行者１２１が、可視画像の領域１１１からは検出されないため、歩行者１２１は目視可能範囲１０１に存在しないと判断され、よって、該対象物についての目視可能性は低いと判定される。
【００２５】
他の一例として図４を参照すると、夜間において、（ａ）運転者の視界に映る外界と、（ｂ）可視カメラによって撮像された可視画像と、（ｃ）遠赤外線カメラによって撮像された遠赤外画像とが模式的に示されている。（ａ）の範囲１０１は、自車両のヘッドライトによって照射された範囲であり、範囲１０３は、街灯１０５によって照射された範囲であり、いずれも、運転者による目視が可能である（目視可能範囲）。可視画像では、目視可能範囲１０１および１０３は、輝度値が所定値以上の領域１１１および１１３としてそれぞれ撮像されている。（ｃ）に示されるように、実際には、車両の前方に歩行者１２１が存在しており、遠赤外線画像では、該歩行者が捕捉されて画像中に映される。また、該歩行者１２１は、目視可能範囲１０３内に存在しているため、可視画像にも撮像され、運転者による目視も可能である。このような場合、遠赤外画像から対象物として検出された歩行者１２１が、可視画像の領域１１３から検出されるため、該歩行者１２１は目視可能範囲１０３に存在すると判断され、よって、該対象物についての目視可能性が高いと判定される。
【００２６】
次に、上記２）について説明する。対向車が存在しており、該対向車のヘッドライトが照射されていれば、該照射された範囲は、照度の高い領域であると判断することができ、よって、自車両の運転者の目視可能範囲と判断することができる。ここで、対向車のヘッドライトの照射範囲は、任意の適切な手段で検出ないし推定することができる。たとえば、遠赤外線カメラによって取得された画像から輝度値が所定値以上の領域を抽出することにより、該照射範囲を推定することができる。この場合、好ましくは、生体等の比較的温度が高い対象物と区別して抽出するために、形状判定を行うのがよい。たとえば、対向車の走行する車線から、距離の方向に自車両側に向けて伸長する領域であって、輝度値が所定値以上の該領域を抽出することにより、照射範囲を推定することができる。
【００２７】
また、夜間において、該対向車のヘッドライトの位置を検出することができれば、ヘッドライトの照射範囲は一般的に予め決められているので、該ヘッドライトの位置に基づいて該ヘッドライトの照射範囲、すなわち目視可能な範囲を推定することができる。たとえば、遠赤外線カメラによって取得された画像から、対向車のヘッドライトの位置を検出する。これは、任意の適切な手段で検出することができる。たとえば、対向車の走行する車線上で、所定値以上の輝度値を持ち、かつ路面からの高さが所定範囲内にある一対のヘッドライト部分に相当する画像領域が検出されたならば、これを、ヘッドライトの位置と判定することができる。ヘッドライトの位置に基づく所定範囲を照射範囲と推定してもよいし、実際に、該位置に基づいて輝度値が所定値以上の領域を抽出し、これを、照射範囲と推定してもよい。
【００２８】
車両のライト部分は、比較的温度が高いため、遠赤外画像で良好に抽出することができる。しかしながら、代替的に、可視カメラによって取得された画像を用いて、同様の検出処理を行ってもよい。
【００２９】
こうして、対向車のヘッドライトの照射範囲に相当する画像領域が抽出されたならば、該抽出された画像領域に相当する実空間上の範囲を、目視可能範囲と推定する。そして、遠赤外画像から検出された対象物が該目視可能範囲内に存在していれば、該対象物についての運転者による目視可能性は高いと判定し、対象物が該目視可能範囲内に存在していなければ、該対象物についての運転者による目視可能性は低いと判定する。
【００３０】
ここで、図５を一例として参照すると、夜間において対向車１３１が存在する場合に、（ａ）運転者の視界に映る外界と、（ｂ）可視カメラによって撮像された画像と、（ｃ）遠赤外線カメラによって撮像された画像とが示されている。（ａ）の範囲１０１は、前述したように、自車両のヘッドライトによって照射された範囲（目視可能範囲）であり、これが、可視画像では所定値以上の輝度値を持つ画像領域１１１として撮像されている。範囲１０７は、対向車１３１のヘッドライトによって明るく照射された範囲であり、運転者による目視が可能である（目視可能範囲）。可視画像では、該目視可能範囲１０７は、輝度値が所定値以上の領域１１７として撮像されている。
【００３１】
（ｃ）に示されるように、実際には、車両の前方に歩行者１２１が存在しており、遠赤外線画像では、該歩行者が捕捉されて画像中に映される（ここでは、歩行者判定処理によって、対向車のヘッドライトおよびその照射範囲は排除された画像として示されている）。また、該歩行者１２１は、対向車のヘッドライトの照射範囲１０７に存在しているため、可視画像にも撮像されると共に、運転者による目視も可能である。このような場合、たとえば遠赤外画像または可視画像に基づいて、範囲１０１および１０７を目視可能範囲として推定し、遠赤外画像から対象物として検出された歩行者１２１が該目視可能範囲内に存在していると判断されるため、該歩行者１２１についての目視可能性は高いと判定される。
【００３２】
上記３）について説明すると、自車両に照度センサを搭載し、該照度センサで車両周辺の照度を計測することができる。照度センサは、たとえば、車両外部の明るさを検出できるように、たとえばフロントウィンドウの車室内側の表面に配置されることができる。照度センサによって検出された照度が所定値以上ならば、車両の前方は明るく、よって運転者の目視は可能と考えることができる。したがって、照度センサによって検出された照度が所定値以上ならば、遠赤外画像から検出された対象物についての目視可能性は高いと判定し、該検出された照度が所定値より小さければ、該対象物についての目視可能性は低いと判定することができる。
【００３３】
なお、照度センサによって検出された照度が所定値以上のとき、目視可能範囲として、車両の前方の所定範囲に制限してもよい。この場合、照度センサによって検出された照度が所定値以上のとき、遠赤外画像から検出された対象物が該所定範囲内に存在すれば、該対象物についての目視可能性は高いと判定し、該検出された照度が所定値より小さい場合、または所定値以上であっても該対象物が該所定範囲内に存在しない場合には、該対象物についての目視可能性は低いと判定することができる。
【００３４】
上記４）について説明すると、自車両のヘッドライトの照射範囲を、目視可能範囲と推定することができる。自車両のヘッドライトの照射範囲は、予め決められている。したがって、ヘッドライトの照射がオンにされたことを検出し、該検出に応じて、ヘッドライトの照射範囲を目視可能範囲と推定する。ここで、ヘッドライトが、ロービームで照射しているかハイビームで照射しているかを検出し、ロービームで照射されていれば、その照射範囲を目視可能範囲とし、ハイビームで照射されていれば、その照射範囲を目視可能範囲としてもよい。そして、遠赤外画像から検出された対象物が該目視可能範囲内に存在していれば、該対象物についての運転者の目視可能性は高いと判定し、該対象物が該目視可能範囲内に存在しなければ、該対象物についての運転者の目視可能性は低いと判定することができる。
【００３５】
上記５）について説明すると、前述したようなナビゲーション装置を車両に搭載し、該ナビゲーション装置の地図情報に、たとえば照度に関する情報が含まれていれば、該情報に基づいて、目視可能範囲を推定してもよい。たとえば、街灯が設置されている場所は予め決められており、これを、地図情報に予め記憶することができる。車両の現在位置に基づいて地図情報をアクセスし、該車両の現在位置する場所に街灯が設置されているか否かを示す情報を取得する。たとえば、街灯が、車両の進行方向に向かって所定距離範囲内に所定数以上設置されていれば、夜間でも明るいと判断することができるため、該所定距離範囲内を目視可能範囲と推定することができる。そして、遠赤外画像から検出された対象物が該目視可能範囲内に存在するならば、該対象物についての運転者の目視可能性は高いと判定し、該対象物が該目視可能範囲内に存在しなければ、該対象物についての運転者の目視可能性は低いと判定することができる。
【００３６】
こうして、遠赤外カメラによって取得された画像データから検出された対象物について、目視可能性が判定される。画像処理ユニット２は、該対象物について目視可能性が低いと判定されたならば、運転者は目視によって該対象物を発見することができない可能性があるため、強い警報を発行する。他方、該対象物について目視可能性が高いと判定されたならば、運転者は目視によって該対象物を発見することができる可能性があるため、弱い警報を発行する。
【００３７】
警報の強弱は、任意の手法で実現されることができる。たとえば、強い警報を発行するときには、「ピ、ピ」というように連続音をスピーカ３を介して出力し、弱い警報を発行するときには、「ピ」というように１つの音をスピーカ３を介して出力することができる。また、警報の強弱を、ＨＵＤ４への表示を介して行ってもよい。遠赤外カメラ１Ｒまたは１Ｌの撮像を介して生成された表示画像をＨＵＤ４に表示する際に、強い警報を発行するときには、該表示画像中の対象物を、たとえば太線の枠で囲み、弱い警報を発行するときには、該表示画像中の対象物を、たとえば細線の枠で囲む。
【００３８】
より好ましい一実施形態では、車両の周辺について、照度が明るい範囲（目視可能な範囲）と暗い範囲（目視可能ではない範囲）とが交互になっている領域を検出する。このような明暗が交互になっている領域中の暗い範囲に対象物が存在していると、仮に、たとえば可視カメラで該対象物の一部が撮像されたとしても、運転者からは該対象物を視認しにくい状況であることが知られている。
【００３９】
このような状況の一例が、図６に模式的に示されている。該図は、外界の状況を示しており、歩行者１２１は、街灯１４１の照射範囲１４３と街灯１４５の照射範囲１４７の間の照度の低い領域に位置している。照射範囲１４３および１４７は、目視可能範囲である。このような外界の状況を可視画像に撮像すると、可視画像では、該照射範囲１４３および１４７が、所定値以上の輝度値を持つ画像領域として撮像されると共に、これらの照射の影響により、歩行者１２１も撮像される可能性が高い。しかしながら、運転者にとっては、このような２つの照射範囲１４３および１４７に挟まれた歩行者１２１を、直接の目視で発見しにくいという特性がある。したがって、２つの目視可能範囲の間に挟まれるようにして対象物が存在している場合には、該対象物の目視可能性は低いと判定するのが好ましい。
【００４０】
可視カメラを車両に搭載している場合、より好ましい一実施形態では、画像処理ユニット２は、上記のように強い警報を発行するとき、以下のように、遠赤外画像と可視画像とを組み合わせた表示を行う。すなわち、強い警報を発行するときには、可視画像において、遠赤外画像から検出された対象物の一部もしくは全体が撮像されていないということを示す。したがって、該撮像されていない部分を遠赤外画像から切り出し、これを可視画像に重畳して表示する。
【００４１】
具体的な一例として、図７を参照すると、同じタイミングで取得された（ａ）可視画像および（ｂ）遠赤外画像が模式的に示されている。遠赤外画像には、歩行者１２１が撮像されている。可視画像には、該歩行者１２１自体が撮像されていない。このような場合、遠赤外画像から、歩行者１２１を含む画像領域を切り出し、これを、可視画像の対応する位置に重畳する。（ｃ）は、こうして生成された表示画像を示しており、重畳された画像領域が、枠１５１で強調されて表示されている。こうして、運転者は、枠１５１で囲まれた歩行者１２１が、実際の目視で確認できない可能性のある対象物であることを、速やかに認識することができる。
【００４２】
他の例として、図８を参照すると、同じタイミングで取得された（ａ）可視画像および（ｂ）遠赤外画像が模式的に示されている。遠赤外画像には、二人の歩行者１２１および１２３が撮像されている。可視画像には、歩行者１２３は、街灯の照射範囲内に存在しているために、該照射範囲に対応する領域１１３に撮像されているが、歩行者１２１は、該照射範囲外に存在しているために、撮像されていない。このような場合、遠赤外画像から、可視画像に撮像されていない歩行者１２１を含む画像領域を切り出し、これを、可視画像の対応する位置に重畳する。
【００４３】
（ｃ）は、こうして生成された表示画像を示しており、重畳された画像領域が、枠１５１で強調されて表示されている。また、可視画像で撮像されていた歩行者１２３は、そのまま表示されるが、この例では、枠１５３で強調されている。ここで、重畳された画像領域が区別可能なように、枠１５１は太線で表示され、枠１５３は細線で表示している。このように、遠赤外画像から重畳した部分を、可視画像上で運転者が区別可能なように表示するのが好ましい。こうすることにより、運転者は、自身が目視できない可能性のある部分を速やかに認識することができる。この例では、枠の太さによって区別可能な表示としているが、当然ながら、任意の表示形態によって区別可能なようにしてもよい。たとえば、上記の例では、歩行者１２１（重畳された画像領域）については、注意を喚起しやすい色（たとえば、赤）の枠で囲み、歩行者１２３については、歩行者１２１ほど注意を喚起しない色（たとえば、青）の枠で囲んだり、該枠の表示自体を行わないようにしてもよい。
【００４４】
さらなる他の例として、図９を参照すると、同じタイミングで取得された（ａ）可視画像および（ｂ）遠赤外画像が模式的に示されている。遠赤外画像には、歩行者１２１が撮像されている。可視画像には、該歩行者の足の一部１２５が、自車両のヘッドライトの照射範囲内に存在しているために、該照射範囲に対応する領域１１１に撮像されているが、歩行者全体としては撮像されていない。このような場合、遠赤外画像から、可視画像に撮像されていない歩行者の他の部分（すなわち、該足以外の部分）１２７の画像領域を切り出し、これを、可視画像の対応する位置に重畳する。好ましくは、該重畳は、可視画像の足部分１２５と、重畳する足以外の部分１２７との間に所定の間隔が空けられるように、行われる。
【００４５】
（ｃ）は、こうして生成された表示画像を示しており、可視画像の足部分１２５に対し、遠赤外画像から切り出された足以外の部分１２７が、間隔ｄを空けるように重畳されて表示されている。図に示すように、こうして重畳された歩行者１２１の画像領域全体に枠１５１を付して強調表示してもよい。
【００４６】
このように間隔ｄを空けることにより、運転者は、目視可能な足部分１２５と、目視が困難な他の部分１２７とを区別することができるようになり、よって、どの部分までが目視できていてどの部分が目視困難かを速やかに認識することができる。
【００４７】
この例では、間隔を空けることによって、可視画像の対象物部分と遠赤外画像の対象物部分とを区別可能なようにしているが、他の表示形態によって両者が区別可能なようにしてもよい。たとえば、上の例で言えば、足部分１２５と、足以外の部分１２７との間のセパレータとして所定のラインを描画し、これによって、区別可能なようにしてもよい。
【００４８】
こうして重畳された可視画像は、ＨＵＤ４に表示されることもできる。また、ナビゲーション装置の表示装置のように他の表示装置が搭載されている場合には、たとえば、遠赤外画像をＨＵＤ４に表示し、可視画像を該他の表示装置上に表示することができる。遠赤外画像においては、従来の通り、検出された対象物について、強調表示を行うようにしてもよい。
【００４９】
図１０は、この発明の一実施形態に従う、画像処理ユニット２によって実行されるプロセスを示すフローチャートである。該プロセスは、所定の時間間隔で実行される。
【００５０】
ステップＳ１１〜Ｓ１３において、遠赤外カメラ１Ｒおよび１Ｌの出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール画像である。
【００５１】
ステップＳ１４において、カメラ１Ｒで撮像された右画像を基準画像とし（代替的に、左画像を基準画像としてもよい）、その画像信号の２値化を行う。具体的には、輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。輝度閾値ＩＴＨは、任意の適切な手法で決定されることができる。この２値化処理により、たとえば生体のような所定の温度より高い対象物が、白領域として抽出される。
【００５２】
ステップＳ１５において、２値化した画像データを、ランレングスデータに変換する。具体的には、２値化により白となった領域について、各画素行の該白領域（ラインと呼ぶ）の開始点（各ラインの左端の画素）の座標と、開始点から終了点（各ラインの右端の画素）までの長さ（画素数で表される）とで、ランレングスデータを表す。ここで、画像における垂直方向にｙ軸をとり、水平方向にｘ軸をとる。たとえば、ｙ座標がｙ１である画素行における白領域が、（ｘ１，ｙ１）から（ｘ３，ｙ１）までのラインであるとすると、このラインは３画素からなるので、（ｘ１，ｙ１，３）というランレングスデータで表される。
【００５３】
ステップＳ１６およびＳ１７において、対象物のラベリングを行い、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインのうち、ｙ方向に重なる部分のあるラインを合わせて１つの対象物とみなし、これにラベルを付与する。こうして、１または複数の対象物（検出）が抽出される。
【００５４】
以下では、こうして検出された対象物が歩行者である場合について述べる。なお、ステップＳ１７の後に、より精度を高めるため、抽出された対象物が、歩行者であるか否かの判定処理を行ってもよい。この判定処理は、任意の適切な手法で実現されることができる。たとえば、周知のパターンマッチングを利用し、上記のように抽出された対象物と、歩行者を表す所定のパターンとの類似度を算出し、該類似度が高ければ、歩行者であると判定することができる。このような判定処理の例示として、たとえば特開２００７−２４１７４０号公報、特開２００７−３３４７５１号公報等に記載されている。
【００５５】
ステップＳ１８において、目視可能範囲を判定する。前述した１）〜５）のうちの任意のもの（１または複数）に基づいて、目視可能範囲を判定することができる。たとえば、１）の場合には、ステップＳ１１の遠赤外画像と同じタイミングで可視カメラにより取得された可視画像において、何らかのものが視認可能なように撮像されている画像領域を、目視可能範囲とみなすことができる。２）の場合には、遠赤外画像または可視画像から、対向車のヘッドライトの照射範囲を、目視可能範囲として検出または推定することができる。３）の場合には、照度センサによって検出された照度が所定値以上のとき、車両の前方の所定距離範囲を、目視可能範囲と推定することができる。４）の場合には、自車両のヘッドライトの照射範囲を、目視可能範囲と推定することができる。５）の場合には、ナビゲーション装置から取得した、たとえば街灯の情報等に基づいて、目視可能範囲を推定することができる。
【００５６】
ステップＳ１９において、上記の検出された歩行者が、ステップＳ１８で判定された目視可能範囲内に存在するかどうかを判断する。なお、上記１）の可視画像の場合には、上記の検出された歩行者が、該可視画像から検出されるかどうかを調べることにより、当該判断を行うことができる。
【００５７】
ステップＳ１９において、該歩行者が目視可能範囲内に存在すると判断されたならば、該歩行者の目視可能性は高いので、ステップＳ２０に進み、弱い警報を発行する。該歩行者が目視可能範囲内に存在しないと判断されたならば、該歩行者の目視可能性は低いので、ステップＳ２１に進み、強い警報を発行する。警報の強弱は、音および（または）表示を介して行うことができる。
【００５８】
なお、図６を参照して前述したように、上記の検出された歩行者が、少なくとも２つの目視可能範囲の間に存在している場合には、たとえ可視画像から該歩行者が検出されたとしても、目視可能性は低いと判定して、ステップＳ２１に進むのが好ましい。
【００５９】
こうして、運転者が目視できない可能性のある対象物については、運転者の注意がより強く喚起されるように、強い警報を発行することができる。運転者が目視できる可能性のある対象物については、弱めの警報を発行し、運転者のわずらわしさを低減することができる。
【００６０】
図１１は、可視カメラが車両に搭載されている場合の、この発明の一実施形態に従う、画像処理２ユニットによって実行されるプロセスのフローチャートを示す。前述したように、一対の可視カメラを、遠赤外カメラ１Ｒ，１Ｌと同様に、たとえば図２の遠赤外カメラ１Ｒおよび１Ｌとほぼ同じ位置に取り付けることができる。該プロセスは、所定の時間間隔で実行されることができる。
【００６１】
ステップＳ１１において、遠赤外カメラ１Ｒ，１Ｌからの画像データと同じタイミングで、可視カメラからの画像データを受け取る。ステップＳ１２では、遠赤外カメラからの画像データと共に、可視カメラからの画像データもＡ／Ｄ変換され、画像メモリに記憶される。ステップＳ１３〜Ｓ１７は、図１０で説明したように、遠赤外カメラからの画像データについて実施される処理であるので、説明を省略する。
【００６２】
ステップＳ２８において、ステップＳ１７で遠赤外画像から検出された対象物（この例では、歩行者）について、可視画像中の対応する位置を調べ、該位置に、該歩行者が検出されるかどうかを判断する。前述したように、可視画像は、前述したように、目視可能なものを撮像したものであるから、可視画像から該歩行者が検出されたならば、該歩行者は目視可能性が高いと判定でき、検出されなければ、該歩行者は目視可能性が低いと判定できる。
【００６３】
したがって、可視画像から該歩行者が検出されたならば、ステップＳ３０に進み、弱い警報を発行する。可視画像から該歩行者が検出されなければ、ステップＳ３１に進む。
【００６４】
なお、この例では、遠赤外画像から検出された対象物の全体が可視画像から検出された場合に、ステップＳ２８の判断がＹｅｓとなる。したがって、遠赤外画像から検出された対象物が複数ある場合に、いずれかの対象物が可視画像から検出されない場合、もしくは、遠赤外画像から検出された対象物のいずれかの部分（たとえば、足の部分等）が可視画像から検出されない場合には、ステップＳ２８の判断はＮｏとなり、ステップＳ３１に進む。
【００６５】
ステップＳ３１およびＳ３２は、図７〜図９を参照して説明した表示形態に従っている。ステップＳ３１において、可視画像から検出されなかった対象物および（または）対象物部分を、遠赤外画像から切り出す。ステップＳ３２において、該切り出した画像領域を、可視画像の対応する位置に重畳する。該重畳は、前述したように、運転者が重畳部分、すなわち目視困難な部分を区別可能なように行われるのが好ましい。ステップＳ３３において、該重畳した画像を表示装置（前述したように、ＨＵＤ４でもよいし、他の表示装置でもよい）上に表示すると共に、強い警報を発行する。この場合も、警報の強弱は、音および（表示）を介して行ってもよい。
【００６６】
なお、図８を参照して述べたように、遠赤外画像から重畳した対象物（図８の歩行者１２１）と、可視画像に維持される対象物（図８の歩行者１２３）とを区別可能なように表示した場合、該可視画像に維持される対象物に対する強調表示（図８の枠１５３）と、ステップＳ３０の弱い警報を表示を行うときの強調表示とは、前者を後者より強調を強くしてもよいし、両者を同じ強調表示としてもよい。いずれの場合も、運転者が目視困難な対象物、すなわち遠赤外画像から重畳した対象物（図８の歩行者１２１）については、より強い注意を喚起するような強調表示を行うのが好ましい。
【００６７】
上記の実施形態では、目視可能性の判定結果が、高低の２つのレベルであり、これに応じて、警報に強弱をつけている。しかしながら、該レベルの数は２に限定されるものではなく、より多くのレベルを判定し、レベルが高いほど（目視可能性が高いほど）、警報を除々に弱めるようにしてもよい。たとえば、図９を参照して前述したように、対象物の一部は目視可能であるが、該対象物の他の部分は目視困難である場合、対象物全体が目視困難な場合に比べて、警報の強さを弱めることができる。
【００６８】
上記の一実施形態では、可視カメラを用いているが、代替的に、近赤外光を対象物に照射する近赤外カメラを用いてもよい。また、上記の一実施形態では、対向車のヘッドライトの照射範囲を用いているが、対向車が自車両に近いと、該対向車のヘッドライトの照射により、可視画像でハレーションが生じることがある。このような場合には、可視画像でハレーションが生じているかどうかを判断し（たとえば、画素の輝度値が所定値以上である画像領域が所定の大きさ以上であるかどうかによって判断することができる）、ハレーションが生じていると判断したならば、運転者にとって目視困難な状況であるとして、目視可能性が低いと判定することができる。
【００６９】
さらに、上記の実施形態では、対象物を歩行者として説明しているが、該歩行者に限定されるものではなく、たとえば動物でもよい。
【００７０】
以上のように、この発明の特定の実施形態について説明したが、本願発明は、これら実施形態に限定されるものではない。
【符号の説明】
【００７１】
１Ｒ，１Ｌ  赤外線カメラ（撮像手段）
２  画像処理ユニット
３  スピーカ
４  ＨＵＤ
【図１】
2011227657.tif 000003
【図２】
2011227657.tif 000004
【図３】
2011227657.tif 000005
【図４】
2011227657.tif 000006
【図５】
2011227657.tif 000007
【図６】
2011227657.tif 000008
【図７】
2011227657.tif 000009
【図８】
2011227657.tif 000010
【図９】
2011227657.tif 000011
【図１０】
2011227657.tif 000012
【図１１】
2011227657.tif 000013