(57)【要約】【課題】車両の周辺の対象物を運転者により認識し易くしながらも、運転者の快適性を損ないにくい車両用表示装置を提供する。【解決手段】近赤外光を用いて撮像した近赤外光画像と可視光を用いて撮像した可視光画像とを比較することによって、近赤外光画像から検知した歩行者の実体を自車両の運転者が目視で認識可能であるか否かを判断し、認識可能であると判断した歩行者については、表示器３での強調表示を行わない。【選択図】図４
2011087006.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を、不可視光を用いて撮像する不可視光撮像部と、
前記不可視光撮像部で撮像した画像である不可視光画像から対象物を検知する不可視光画像認識部と、
前記不可視光画像を表示するとともに、前記不可視光画像認識部で検知した対象物を当該不可視光画像中において強調表示する表示器と、を備える車両用表示装置であって、
前記車両の周辺を、可視光を用いて撮像する可視光撮像部と、
前記可視光撮像部で撮像された画像である可視光画像と前記不可視光画像とを比較することによって、前記不可視光画像認識部で検知した対象物の実体を前記車両の運転者が目視で認識可能であるか否かを判断する認識可否判断部と、をさらに備え、
認識可能であると前記認識可否判断部で判断した対象物については、前記表示器での強調表示を行わないことを特徴とする車両用表示装置。
【請求項２】
請求項１において、
前記可視光撮像部で撮像した可視光画像から物体を検知する可視光画像認識部をさらに備え、
前記認識可否判断部は、
前記可視光画像と前記不可視光画像とを比較し、
前記不可視光画像認識部で検知した対象物を前記可視光画像認識部でも検知したか否かに応じて、前記不可視光画像認識部で検知した対象物の実体を前記車両の運転者が目視で認識可能であるか否かを判断することを特徴とする車両用表示装置。
【請求項３】
請求項２において、
前記認識可否判断部は、
前記不可視光画像認識部で検知した対象物に対応する前記可視光画像中での場所に、当該対象物と少なくとも大きさが類似した物体を前記可視光画像認識部で検知していた場合に、前記不可視光画像認識部で検知した対象物を前記可視光画像認識部でも検知したものとすることを特徴とする車両用表示装置。
【請求項４】
請求項１において、
前記認識可否判断部は、
前記可視光画像と前記不可視光画像とを比較し、
前記不可視光画像認識部で検知した対象物に対応する前記可視光画像中での場所の輝度が、所定の値よりも大きいか否かに応じて、前記車両の運転者が当該対象物を目視で認識可能であるか否かを判断することを特徴とする車両用表示装置。
【請求項５】
請求項１〜４のいずれか１項において、
不可視光と可視光とを分離する光学素子をさらに備え、
前記不可視光撮像部と前記可視光撮像部とは、前記光学素子によって得られた不可視光と可視光とをそれぞれ用いることを特徴とする車両用表示装置。
【請求項６】
請求項１〜５のいずれか１項において、
前記不可視光は、近赤外光であって、
近赤外光を前記車両の周辺に照射する投光器をさらに備え、
前記不可視光撮像部は、前記投光器によって前記車両の周辺に照射した近赤外光の反射光を用いて前記車両の周辺を撮像することを特徴とする車両用表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載して用いられる車両用表示装置に関するものである。
【背景技術】
【０００２】
従来から、車載用の表示装置として、赤外線カメラによって撮影された映像を表示して、夜間走行時に運転者の視覚をサポートするナイトビューモニター装置が知られている。例えば、特許文献１には、赤外線カメラにて車両前方を撮影した画像から、走行に影響を与える可能性のある対象物を判定し、当該対象物をディスプレイの画面上で強調表示する車両周辺表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３６４１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の車両周辺表示装置は、運転者が目視で既に認識している対象物に対しても画面上で強調表示を行うので、運転者にとって煩わしく感じられ、運転者の快適性を損なってしまうという問題点があった。
【０００５】
本発明は、上記従来の問題点に鑑みなされたものであって、その目的は、車両の周辺の対象物を運転者により認識し易くしながらも、運転者の快適性を損ないにくい車両用表示装置を提供することにある。
【課題を解決するための手段】
【０００６】
可視光画像は、運転者が目視している画像と同様の画像であるので、可視光画像の情報をもとにすれば、運転者の視界中のある物体を運転者が目視で認識可能であるかをより正確に判断することが可能になる。請求項１の構成によれば、不可視光画像と可視光画像とを比較することによって、不可視光画像から検知した対象物の実体を運転者が目視で認識可能であるか否かを判断するので、当該対象物の実体を運転者が目視で認識可能であるか否かをより正確に判断することが可能になる。
【０００７】
そして、請求項１の構成によれば、当該対象物の実体を運転者が目視で認識可能であると判断した対象物については、不可視光画像中において強調表示を行わせないので、運転者が気付いていない可能性の高い対象物をより正確に判断し、運転者が気付いていない可能性の高い対象物についてのみ強調表示を行うことができる。つまり、請求項１の構成によれば、運転者にとって有用な情報だけをより正確に判断して強調表示することができるので、車両の周辺の対象物を運転者により認識し易くしながらも、運転者に煩わしさを感じさせにくく、運転者の快適性を損ないにくい。
【０００８】
また、請求項２の構成によれば、不可視光画像から検知した対象物を可視光画像でも検知したか否かに応じて、不可視光画像から検知した対象物の実体を運転者が目視で認識可能であるか否かを判断することになる。なお、可視光画像は、運転者が目視している画像と同様の画像であるので、不可視光画像から検知した対象物が可視光画像で検知されなかった場合には、実際に運転者にも不可視光画像から検知した対象物の実体を目視できていない可能性が非常に高い。よって、請求項２の構成によれば、不可視光画像から検知した対象物の実体を運転者が目視で認識可能であるか否かをさらに正確に判断することが可能になる。
【０００９】
また、請求項３の構成によれば、不可視光画像と可視光画像との同じ場所に少なくとも大きさが類似した対象物を検知したか否かに応じて、不可視光画像から検知した対象物の実体を運転者が目視で認識可能であるか否かを判断することになる。不可視光画像と可視光画像との同じ場所に対象物が検知された場合であっても、不可視光画像に比べて可視光画像では対象物の一部しか写っていない場合などは、不可視光画像から検知した対象物の実体を運転者が目視で認識出来ていない可能性がある。これに対して、請求項３の構成によれば、不可視光画像に比べて可視光画像では対象物の一部しか写っていない場合には、少なくとも検知した物体の大きさをもとにして、不可視光画像から検知した対象物の実体を運転者が目視で認識可能でないと判断することが可能となる。よって、請求項３の構成によれば、不可視光画像から検知した対象物の実体を運転者が目視で認識可能であるか否かをさらに正確に判断することが可能になる。
【００１０】
なお、可視光画像において輝度が高い場所に存在する物体については、運転者が目視出来ている可能性が高い。よって、請求項４の構成のように、不可視光画像から検知した対象物に対応する可視光画像中での場所の輝度が、所定の値よりも大きいか否かに応じて、運転者が当該対象物を目視で認識可能であるか否かを判断する態様としてもよい。
【００１１】
また、請求項５の構成によれば、光学素子によって不可視光と可視光とを分離して、分離した不可視光と可視光とをそれぞれ不可視光撮像部と可視光撮像部とで用いることが可能になるので、不可視光を選択的に取り込む部材と可視光を選択的に取り込む部材とを別体にして設ける必要がなくなり、車両用表示装置の小型化が容易になる。
【００１２】
また、請求項６の構成によれば、近赤外光は不可視光の中でも可視光に波長が近いので、表示器で表示する不可視光画像が遠赤外光による画像等の他の不可視光画像に比べて物体がより見易く表示される。詳しくは、暗い場所の近赤外光による画像は、明るい場所の可視光画像をモノクロにしたように物体が比較的はっきりと表示される。さらに、請求項６の構成によれば、例えば光学素子によって不可視光と可視光とを分離する構成を採用する場合にも、近赤外光は不可視光の中でも可視光に波長が近いので、近赤外光と可視光とを分離する光学素子をより容易に実現することができるという利点がある。
【図面の簡単な説明】
【００１３】
【図１】ナイトビューモニター装置１００の概略的な構成を示すブロック図である。
【図２】近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。
【図３】カメラ部２の概略的な構成を示すブロック図である。
【図４】ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。
【図５】歩行者検知ロジックの概略を説明する模式図である。
【図６】表示画像の表示の一例を示す図である。
【図７】近赤外光を用いて撮像された画像および可視光を用いて撮像された画像の一例を示す図である。
【図８】対象物の強調表示を行うか否かについてのパターンごとの場合分けを示す表である。
【図９】ナイトビューＥＣＵ４ａの概略的な構成を示すブロック図である。
【図１０】対象物の強調表示を行うか否かについてのパターンごとの場合分けを示す表である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を用いて説明する。図１は、本発明が適用されたナイトビューモニター装置１００の概略的な構成を示すブロック図である。図１に示すナイトビューモニター装置１００は、車両に搭載されるものであり、近赤外光投光器１、カメラ部２、表示器３、およびナイトビューＥＣＵ４を含んでいる。また、近赤外光投光器１、カメラ部２、および表示器３とナイトビューＥＣＵ４とは、例えばＣＡＮ（Controller AreaNetwork）などの通信プロトコルに準拠した車内ＬＡＮで各々接続されている。なお、ナイトビューモニター装置１００を搭載している車両を以降では自車両と呼ぶ。また、ナイトビューモニター装置１００は、請求項の車両用表示装置に相当する。
【００１５】
近赤外光投光器１は、自車両の車体前部に設置されている。また、近赤外光投光器１は、近赤外光を発光するＬＥＤ、すなわち、近赤外領域（例えば約８００ｎｍ〜約１２００ｎｍ）にピーク波長帯域を有する単波長ＬＥＤを、１つまたは複数備えており、自車両前方に近赤外光を照射する。よって近赤外光投光器１は、請求項の投光器に相当する。
【００１６】
ここで、図２を用いて、近赤外光投光器１から照射される近赤外光の照射範囲について説明を行う。図２は、近赤外光投光器１から照射される近赤外光の照射範囲の一例を模式的に示す図である。可視光を照射する自車両のヘッドライトは、図２に示すように、ロービーム時には自車両前方の約５０ｍまでが可視光の照射範囲となる。これに対して、近赤外光投光器１から照射される近赤外光は、ロービーム時の可視光の照射範囲よりも前方の、自車両前方の例えば約１００ｍまでが照射範囲となる。なお、近赤外光投光器１から照射される近赤外光の投光角度範囲は例えば約１５°とする。また、ロービーム時の可視光の照射範囲が約５０ｍまでなので、街灯などからの外光がなければ自車両の運転者は自車両前方の５０ｍより先を目視することは困難である。なお、ここで言うところの可視光とは、約４００ｎｍ〜８００ｎｍの波長の光を示している。
【００１７】
カメラ部２は、自車両の車体前部に設置され、自車両前方に所定角範囲で広がる領域を撮像するものである。また、カメラ部２が撮像した自車両前方周辺の画像情報は、ナイトビューＥＣＵ４に供給される。ここで、図３を用いてカメラ部２の概略的な構成について説明を行う。図３は、カメラ部２の概略的な構成を示すブロック図である。図３に示すようにカメラ部２は、ウィンドシールド（フロントガラス）５の内側に設けられており、レンズ２１、ハーフミラー２２、近赤外光用撮像素子２３、および可視光用撮像素子２４を備えている。また、図３中では、破線によって近赤外光の進路を模式的に示しているとともに、点線によって可視光の進路を模式的に示している。
【００１８】
カメラ部２では、近赤外光投光器１から照射される近赤外光の反射光およびヘッドライトから照射される可視光や街灯などから照射される可視光の反射光がレンズ２１を通ってハーフミラー２２に入射される。
【００１９】
ハーフミラー２２は、近赤外光と可視光とを分離する光学素子である。詳しくは、ハーフミラー２２は、近赤外光を透過し可視光を反射する光学薄膜が設けられたミラー（つまり、コールドミラー）である。ハーフミラー２２に入射した近赤外光の反射光と可視光の反射光とが混じった光は、ハーフミラー２２によって近赤外光の反射光と可視光の反射光とに分離され、近赤外光の反射光は近赤外光用撮像素子２３に導かれ、可視光の反射光は可視光用撮像素子２４に導かれる。よって、ハーフミラー２２は、請求項の光学素子に相当する。
【００２０】
近赤外光用撮像素子２３は、ハーフミラー２２から入ってきた近赤外光を映像信号（以下、近赤外光映像信号と呼ぶ）に変換するものである。なお、近赤外光用撮像素子２３としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いる構成とすればよい。また、可視光用撮像素子２４は、ハーフミラー２２から入ってきた可視光を映像信号（以下、可視光映像信号と呼ぶ）に変換するものである。なお、可視光用撮像素子２４としては、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いる構成とすればよい。また、近赤外光用撮像素子２３が請求項の不可視光撮像部に相当し、可視光用撮像素子２４が請求項の可視光撮像部に相当する。そして、近赤外光用撮像素子２３で得られた近赤外光映像信号および可視光用撮像素子２４で得られた可視光映像信号は、ナイトビューＥＣＵ４に送られる。
【００２１】
なお、本実施形態では、カメラ部２がウィンドシールド５の内側に設けられる構成を示したが、必ずしもこれに限らず、カメラ部２がウィンドシールド５の外側に設けられる構成としてもよい。
【００２２】
表示器３は、自車両の車室内における運転者が視認可能な位置に設けられており、ナイトビューＥＣＵ４から出力される画像を表示する。例えば表示器３は、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ等を用いて構成することができる。なお、表示器３は、例えばメーターパネルに設けられるものとする。
【００２３】
また、本実施形態では、表示器３がメーターパネルに設けられる構成を示したが、必ずしもこれに限らない。例えば、車載ナビゲーション装置に設けられたディスプレイを表示器３として利用する構成としてもよい。また、ウィンドシールドに画像を投影するヘッドアップディスプレイ（ＨＵＤ）を表示器３とする構成としてもよい。
【００２４】
ナイトビューＥＣＵ４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、メインタイマ、バックアップＲＡＭ、入出力インターフェース等を備えて構成され、カメラ部２や各種センサ等から入力された各種情報に基づき、ＲＯＭに記憶された各種の制御プログラムを実行することで各種の処理を実行する。
【００２５】
ここで、図４を用いて、ナイトビューＥＣＵ４の概略的な構成について説明を行う。図４は、ナイトビューＥＣＵ４の概略的な構成を示すブロック図である。図４に示すようにナイトビューＥＣＵ４は、第１映像信号取得部４１、第１Ａ／Ｄ変換部４２、分配処理部４３、遅延処理部４４、第１対象物検知部４５、第２映像信号取得部４６、第２Ａ／Ｄ変換部４７、第２対象物検知部４８、認識可否判断部４９、描画部５０、および制御部５１を備えている。
【００２６】
第１映像信号取得部４１は、近赤外光用撮像素子２３から送られてきた近赤外光映像信号を取得し、第１Ａ／Ｄ変換部４２に送る。第１Ａ／Ｄ変換部４２は、アナログ信号である近赤外光映像信号をデジタル画像（以下、近赤外光画像と呼ぶ）に変換し、分配処理部４３に出力する。
【００２７】
分配処理部４３は、第１Ａ／Ｄ変換部４２から出力された近赤外光画像を、遅延処理部４４と第１対象物検知部４５とにそれぞれ出力する。遅延処理部４４は、分配処理部４３から出力された近赤外光画像を所定の単位時間ｔだけ遅延させる処理を行う。ここでの単位時間ｔとしては、近赤外光画像をもとに後述する第１対象物検知部４５から認識可否判断部４９までの処理が終わるまでの時間と同等の時間が設定されている。遅延処理部４４は、遅延処理した近赤外光画像を描画部５０に出力する。なお、単位時間ｔのカウントは、ナイトビューＥＣＵ４のメインタイマで行う構成とすればよい。
【００２８】
第１対象物検知部４５は、分配処理部４３から出力された近赤外光画像から、認識対象とする物体である対象物を画像認識によって検知する。よって、第１対象物検知部４５は、請求項の不可視光画像認識部に相当する。なお、本実施形態では、対象物を歩行者とした場合を例に挙げて以降の説明を行う。ここで、図５を用いて、第１対象物検知部４５において近赤外光画像から歩行者を画像認識によって検知する歩行者検知ロジックについての説明を行う。なお、図５は、歩行者検知ロジックの概略を説明する模式図である。
【００２９】
ここで、以降の説明の便宜上、概略辞書、詳細辞書、および誤りフィルターについての説明を行う。概略辞書および詳細辞書は、歩行者の複数の近赤外光画像例をもとに歩行者の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書である。なお、概略辞書および詳細辞書は、機械学習手法の１つであるアダブースト（Adaboost）学習法によって生成することが可能である。また、例えば概略辞書は歩行者の全体（例えば歩行者の全身や半身など）の特徴を学習して構築された辞書であるのに対して、詳細辞書は歩行者の細部（例えば頭や腕や脚など）の特徴を学習して構築された辞書であって、概略辞書よりも詳細辞書の方が歩行者の判断基準が厳しくなるように設定されている。さらに、誤りフィルターは、歩行者以外の物体（つまり、ノイズとなる物体）の複数の近赤外光画像例をもとに歩行者以外の物体の特徴を学習して予め構築された複数種類のパターンの集合を格納した辞書であって、アダブースト学習法によって生成することが可能である。なお、概略辞書および詳細辞書は、歩行者が含まれる画像を選別するのに用いられ、誤りフィルターは、歩行者以外の物体が含まれる画像を選別するのに用いられる。
【００３０】
第１対象物検知部４５では、まず、近赤外光画像から歩行者らしき物体を含む所定の領域の画像（つまり、候補画像）を抽出する。なお、近赤外光画像から切り出す候補画像の大きさは、予め決められた一定の大きさであってもよいし、歩行者らしき物体までの推定または計測された距離に応じた大きさであってもよい。続いて、候補画像と概略辞書中のパターンとを照合することによって、歩行者を含む可能性の高い候補画像（つまり、抽出候補画像）を絞り込む。さらに、抽出候補画像と誤りフィルター中のパターンとを照合することによって、抽出候補画像のうちから明らかに歩行者以外の物体が含まれるものを除外し、明らかな誤検知を却下する。そして、誤りフィルターによって誤検知分を除いた抽出候補画像と詳細辞書中のパターンとを照合することによって、歩行者を含む画像（つまり、歩行者画像）を確定し、歩行者の検知を行う。第１対象物検知部４５では、歩行者画像を確定した後に、確定した歩行者画像をその位置情報とともに認識可否判断部４９に出力する。なお、ここで言うところの位置情報とは、例えば近赤外光画像中での歩行者画像の座標である。
【００３１】
図４に戻って、第２映像信号取得部４６は、可視光用撮像素子２４から送られてきた可視光映像信号を取得し、第２Ａ／Ｄ変換部４７に送る。第２Ａ／Ｄ変換部４７は、アナログ信号である可視光映像信号をデジタル画像（以下、可視光画像と呼ぶ）に変換し、第２対象物検知部４８に出力する。
【００３２】
第２対象物検知部４８は、第２Ａ／Ｄ変換部４７から出力された可視光画像から、対象物として歩行者を画像認識によって検知する。よって、第２対象物検知部４８は、請求項の可視光画像認識部に相当する。なお、第２対象物検知部４８において可視光画像から歩行者を画像認識によって検知する歩行者検知ロジックは、第１対象物検知部４５での歩行者検知ロジックと同様である。なお、第２対象物検知部４８での歩行者検知ロジックが第１対象物検知部４５での歩行者検知ロジックと相違する点は、概略辞書、詳細辞書、および誤りフィルターを歩行者の複数の近赤外光画像例からではなくて歩行者の複数の可視光画像例をもとに構築している点である。そして、第２対象物検知部４８では、歩行者画像を確定した後に、確定した歩行者画像をその位置情報とともに認識可否判断部４９に出力する。ここで言うところの位置情報とは、例えば可視光画像中での歩行者画像の座標である。
【００３３】
なお、第２対象物検知部４８は、対象物として、第１対象物検知部４５で検知する歩行者に加えて歩行者以外の物体も画像認識によって検知する構成としてもよい。この場合には、歩行者に加えて歩行者以外の物体も検知するための概略辞書、詳細辞書、および誤りフィルターを用いる構成とすればよい。
【００３４】
認識可否判断部４９は、第１対象物検知部４５から出力された歩行者画像およびその位置情報と第２対象物検知部４８から出力された歩行者画像およびその位置情報とをもとに、同時点での撮像で得られた近赤外光画像中の歩行者画像と可視光画像中の歩行者画像とを比較し、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であるか否かを判断する。なお、以降では、第１対象物検知部４５から出力された歩行者画像を近赤外光画像由来の歩行者画像と呼び、第２対象物検知部４８から出力された歩行者画像を可視光画像由来の歩行者画像と呼ぶ。
【００３５】
詳しくは、認識可否判断部４９は、近赤外光画像由来の歩行者画像の位置情報と可視光画像由来の歩行者画像の位置情報とを比較し、近赤外光画像由来の歩行者画像と座標上で同じ場所に位置する可視光画像由来の歩行者画像が存在するか否かを判定する。続いて、近赤外光画像由来の歩行者画像と座標上で同じ場所に位置する可視光画像由来の歩行者画像が存在した場合には、近赤外光画像由来の当該歩行者画像中の歩行者と可視光画像由来の当該歩行者画像中の歩行者との大きさが類似するか否かを判定する。そして、近赤外光画像由来の当該歩行者画像中の歩行者と可視光画像由来の当該歩行者画像中の歩行者との大きさが類似すると判定した場合には、近赤外光画像由来の当該歩行者画像については、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると判断し、当該歩行者画像については強調表示の対象から外す。そして、認識可否判断部４９は、近赤外光画像由来の歩行者画像のうち、強調表示の対象から外した歩行者画像以外の歩行者画像の位置情報を描画部５０に出力する。
【００３６】
なお、ここで言うところの座標上で同じ場所に位置するとは、近赤外光画像由来の歩行者画像の座標と可視光画像由来の歩行者画像の座標とが完全に一致するだけに限らず、近赤外光画像由来の歩行者画像の座標と可視光画像由来の歩行者画像の座標とが一部重なる場合を含んでもよい。また、ここで言うところの歩行者画像中の歩行者の大きさとは、縦横の幅であってもよいし、面積であってもよい。なお、歩行者画像中の歩行者の大きさが類似しているか否かは、大きさの一致率が所定の値以上（任意に設定可能であって、例えば９０％以上など）であるか否かに基づいて判定される構成とすればよい。
【００３７】
また、本実施形態では、認識可否判断部４９で近赤外光画像由来の当該歩行者画像中の歩行者と可視光画像由来の当該歩行者画像中の歩行者との大きさが類似するか否かを判定する構成を示したが、必ずしもこれに限らない。例えば、歩行者画像中の歩行者の大きさに含め、歩行者の形状も類似するか否かを判定する構成としてもよい。この場合には、歩行者の大きさの一致率に含め、歩行者の形状の一致率にも基づいて判定を行う構成とすればよい。
【００３８】
描画部５０は、遅延処理部４４から出力される近赤外光画像と認識可否判断部４９から出力される歩行者画像の位置情報とをもとに、当該近赤外光画像中の当該位置情報が示す場所に歩行者検知枠を加えた表示画像を生成し、生成した表示画像を表示器３に出力する。そして、表示器３では、描画部５０から入力された表示画像を表示する。また、制御部５１は、近赤外光投光器１からの近赤外光の照射やカメラ部２での画像の撮像を制御する。
【００３９】
なお、歩行者検知枠とは、歩行者を近赤外光画像中において強調表示させるための枠であって、例えば歩行者を囲む方形の枠や円形の枠等とすればよい。また、本実施形態では、歩行者を近赤外光画像中において強調表示させる方法として、近赤外光画像中の歩行者を枠で囲む構成を示したが、必ずしもこれに限らない。例えば、近赤外光画像中の歩行者を矢印で示す等、他の方法によるものであってもよい。
【００４０】
ここで、図６を用いて、表示画像の表示例について説明を行う。なお、図６は、表示画像の表示の一例を示す図である。図６中のＡが表示画像を示しており、Ｂが表示画像周囲の注意喚起枠を示しており、Ｃが表示画像中の歩行者検知枠を示している。図６に示すように、近赤外光の反射光を用いて撮像された画像が表示されるとともに、表示画像中の歩行者が歩行者検知枠によって強調表示される。また、実体を自車両の運転者が目視で認識可能であると認識可否判断部４９で判断された歩行者については歩行者検知枠が表示されず、強調表示が行われない。さらに、運転者に歩行者の存在を確実に伝達するために、歩行者が表示画像中に存在する場合には、表示画像の外周部に注意喚起枠を発光表示させる。なお、注意喚起枠を発光表示させる以外にも、図示しないスピーカから案内音声やブザー音を出力することによって表示画像中に歩行者が存在することを運転者に知らせる構成としてもよい。
【００４１】
また、ナイトビューＥＣＵ４には、ナイトビューＥＣＵ４の起動／停止を切り替える操作スイッチ（以下、ナイトビュースイッチと呼ぶ）が接続されており、このナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止されるものとする。
【００４２】
なお、本実施形態では、ナイトビュースイッチのＯＮ／ＯＦＦによってナイトビューＥＣＵ４が起動／停止される構成を示したが、必ずしもこれに限らない。例えば、ナイトビューＥＣＵ４には、自車両のヘッドライトの点消灯を切り替える図示しないヘッドライトスイッチが接続されており、このヘッドライトスイッチのＯＮ／ＯＦＦに連動してナイトビューＥＣＵ４が起動／停止される構成としてもよい。この場合、ヘッドライトスイッチがＯＮになってヘッドライトが点灯された場合には、ナイトビューＥＣＵ４が起動され、ヘッドライトスイッチがＯＦＦになってヘッドライトが消灯された場合には、ナイトビューＥＣＵ４が停止される。
【００４３】
以上の構成によれば、自車両の運転者が目視できない、もしくは目視しにくい歩行者を、近赤外光投光器１から照射した近赤外光の反射光を用いて撮像した画像によって気付かせることが可能になる。前述したように、ロービーム時のヘッドライトから照射される可視光は自車両前方の５０ｍ程度までが照射範囲であるため、街灯などの外光がなければ運転者は自車両前方の５０ｍよりも先を目視することは困難である。よって、自車両前方の５０ｍよりも先の自車両の予想進路に歩行者が存在した場合には、ロービーム時のヘッドライトから照射される可視光だけではこの歩行者を目視できない可能性が高い。これに対して、ナイトビューモニター装置１００では、近赤外光投光器１から近赤外光をロービーム時のヘッドライトの照射距離よりも遠い自車両前方の約１００ｍまで照射し、その反射光をカメラ部２で撮像するので、ロービーム時のヘッドライトから照射される可視光だけでは目視できない歩行者も近赤外光画像中に捉えることができる。
【００４４】
ここで、図７を用いて、近赤外光を用いて撮像された画像および可視光を用いて撮像された画像での自車両前方に存在する歩行者の見え方について説明を行う。なお、図７は、近赤外光を用いて撮像された画像および可視光を用いて撮像された画像の一例を示す図である。また、図７では、「シーン１」と「シーン２」との２種類の状況での近赤外光を用いて撮像された画像および可視光を用いて撮像された画像を示している。図７に示すように、近赤外光を用いて撮像された画像では白い破線で囲った場所に歩行者が見えるが、可視光を用いて撮像された画像では、同じ場所に歩行者が見られない。なお、可視光を用いて撮像された画像は、運転者が目視している画像と同様の画像である。よって、図７から解るように、可視光だけでは目視できない歩行者も近赤外光を用いて撮像された画像中に捉えることができる。
【００４５】
なお、可視光を用いて撮像された画像は、運転者が目視している画像と同様の画像であるので、可視光画像の情報をもとにすれば、運転者の視界中の対象物を運転者が目視で認識可能であるかをより正確に判断することが可能になる。以上の構成によれば、近赤外光画像と可視光画像とを比較することによって、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを判断するので、当該歩行者の実体を運転者が目視で認識可能であるか否かをより正確に判断することが可能になる。そして、以上の構成によれば、当該歩行者の実体を運転者が目視で認識可能であると判断した歩行者については、表示器３の表示画像中において強調表示を行わせないので、運転者が気付いていない可能性の高い歩行者をより正確に判断し、運転者が気付いていない可能性の高い歩行者についてのみ強調表示を行うことができる。つまり、以上の構成によれば、運転者にとって有用な情報だけをより正確に判断して強調表示することができるので、自車両の周辺の歩行者を運転者により認識し易くしながらも、運転者に煩わしさを感じさせにくく、運転者の快適性を損ないにくい。
【００４６】
また、以上の構成によれば、近赤外光画像と可視光画像との同じ場所に少なくとも大きさが類似した歩行者を検知したか否かに応じて、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを判断することになる。近赤外光画像と可視光画像との同じ場所に対象物が検知された場合であっても、近赤外光画像に比べて可視光画像では歩行者の体の一部しか写っていない場合などは、近赤外線画像から検知した歩行者の実体を運転者が目視で認識出来ていない可能性がある。これに対して、以上の構成によれば、近赤外光画像に比べて可視光画像では歩行者の体の一部しか写っていない場合には、少なくとも歩行者画像中の歩行者の大きさをもとにして、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能でないと判断することが可能となる。よって、以上の構成によれば、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを正確に判断することが可能になる。
【００４７】
さらに、以上の構成によれば、ハーフミラー２２によって近赤外光と可視光とを分離して、分離した近赤外光と可視光とをそれぞれ近赤外光用撮像素子２３と可視光用撮像素子２４とで用いることが可能になるので、近赤外光を選択的に取り込む部材と可視光を選択的に取り込む部材とを別体にして設ける必要がなくなり、ナイトビューモニター装置１００の小型化が容易になる。例えば、可視光を用いて自車両前方を撮像する可視光用カメラと近赤外光カメラとの２つのカメラをナイトビューモニター装置１００に備える必要がなく、ナイトビューモニター装置１００の小型化が容易になる。
【００４８】
また、以上の構成によれば、近赤外光は不可視光の中でも可視光に波長が近いので、表示器３で表示する表示画像が遠赤外光による画像等の他の不可視光を用いて撮像した画像に比べて物体がより見易く表示される。詳しくは、暗い場所の近赤外光を用いて撮像した画像は、明るい場所の可視光を用いて撮像した画像をモノクロにしたように物体が比較的はっきりと表示される。さらに、以上の構成によれば、例えば光学素子によって不可視光と可視光とを分離する構成を採用する場合にも、近赤外光は不可視光の中でも可視光に波長が近いので、実際にコールドミラーがよく知られているように、近赤外光と可視光とを分離する光学素子をより容易に実現することができるという利点がある。
【００４９】
さらに、以上の構成によれば、近赤外光画像と可視光画像とを比較することによって、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを判断するので、近赤外光画像のみをもとにして近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを判断する構成に比べて、当該対象物の実体を運転者が目視で認識可能であるか否かをより正確に判断することが可能になる。
【００５０】
以下では、自車両と対向車両とのヘッドライトの光によって、目視で歩行者の実体が確認しにくくなる蒸発現象時のケースを例に挙げて上述の効果について詳しく説明を行う。蒸発現象時において、近赤外光画像では光の強さの違いにより可視光画像よりも歩行者が認識し易くなる可能性があるため、目視で実体が確認可能でない歩行者についても画像認識によって検知できる可能性がある。ここで、近赤外光画像のみをもとにして歩行者の実体を目視で認識可能であるか否かを判断する構成では、蒸発現象によって歩行者の実体を目視で認識できない場合であっても、目視で認識可能であるという誤った判断をしてしまう可能性が高い。これに対して、本発明の構成によれば、近赤外光画像と可視光画像とを比較し、近赤外光画像と可視光画像との同じ場所に歩行者を検知しなかった場合には、歩行者の実体を運転者が目視で認識可能でないと判断するので、蒸発現象によって歩行者の実体を目視で認識可能でない場合に、目視で認識可能でないという正確な判断を行うことができる。
【００５１】
なお、前述の実施形態では、近赤外光画像由来の歩行者画像と座標上で同じ場所に位置する可視光画像由来の歩行者画像が存在し、且つ、近赤外光画像由来の当該歩行者画像中の歩行者と可視光画像由来の当該歩行者画像中の歩行者との大きさが類似すると判定した場合に、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると認識可否判断部４９が判断し、強調表示の対象から外される構成を示したが、必ずしもこれに限らない。例えば、近赤外光画像由来の歩行者画像と座標上で同じ場所に位置する可視光画像由来の歩行者画像が存在した場合に、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると認識可否判断部４９が判断し、強調表示の対象から外される構成としてもよい。この構成について、図８を用いて詳しく説明を行う。なお、図８は、対象物の強調表示を行うか否かについてのパターンごとの場合分けを示す表である。
【００５２】
図８のパターン１に示すように、近赤外光画像中に歩行者を検知しなかった場合（つまり、「対象無し」の場合）には、可視光画像中に歩行者を検知したか否かによらず（図８中の「ＡＮＹ」）に、強調表示する対象が存在しないので、強調表示は「無し」とする。また、パターン２に示すように、近赤外光画像中に歩行者を検知した場合（つまり、「対象有り」の場合）であって、可視光画像中の同じ場所に歩行者を検知した場合（つまり、「同じ場所に対象有り」の場合）には、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると考えられるので、強調表示は「無し」とする。そして、パターン３に示すように、近赤外光画像中に歩行者を検知した場合（つまり、「対象有り」の場合）であって、可視光画像中の同じ場所に歩行者を検知しなかった場合（つまり、「同じ場所に対象無し」の場合）には、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能でないと考えられるので、強調表示は「有り」とする。
【００５３】
以上の構成によれば、近赤外光画像から検知した歩行者を可視光画像でも検知したか否かに応じて、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを判断することになる。よって、以上の構成によっても、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを正確に判断することが可能になる。
【００５４】
また、前述の実施形態では、近赤外光画像と可視光画像とを比較し、近赤外光画像から検知した歩行者を可視光画像でも検知したか否かに応じて、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かをナイトビューＥＣＵ４で判断する構成を示したが、必ずしもこれに限らない。例えば、近赤外光画像と可視光画像とを比較し、近赤外光画像から検知した歩行者に対応する可視光画像中での場所の輝度が、所定の値よりも大きいか否かに応じて、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かをナイトビューＥＣＵ４ａで判断する構成としてもよい。以下では、ナイトビューＥＣＵ４ａの構成について図９を用いて説明を行う。
【００５５】
図９に示すように、ナイトビューＥＣＵ４ａは、第１映像信号取得部４１、第１Ａ／Ｄ変換部４２、分配処理部４３、遅延処理部４４、第１対象物検知部４５、第２映像信号取得部４６、第２Ａ／Ｄ変換部４７、描画部５０、制御部５１、および認識可否判断部５２を備えている。また、ナイトビューＥＣＵ４ａは、第２対象物検知部４８および認識可否判断部４９の代わりに認識可比判断部５２を備えること以外は、ナイトビューＥＣＵ４と同様の構成である。なお、説明の便宜上、ナイトビューＥＣＵ４の説明に用いた図に示した部材と同様の機能を有する部材については、同一の符号を付し、その説明を省略する。
【００５６】
第１対象物検知部４５では、歩行者画像を確定した後に、確定した歩行者画像の位置情報を認識可否判断部５２に出力する。なお、ここで言うところの位置情報とは、例えば近赤外光画像中での歩行者画像の座標である。また、第２Ａ／Ｄ変換部４７は、アナログ信号である可視光映像信号をデジタル画像である可視光画像に変換し、認識可否判断部５２に出力する。
【００５７】
認識可否判断部５２は、第１対象物検知部４５から出力された位置情報（以下、歩行者位置情報と呼ぶ）をもとに、第２Ａ／Ｄ変換部４７から出力された可視光画像中での歩行者位置情報に該当する場所の輝度が、所定の値よりも大きいか否かを判定し、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であるか否かを判断する。なお、ここで所定の値と比較を行う輝度とは、例えば該当する場所の輝度の中心値であってもよいし、該当する場所の輝度の平均値であってもよい。また、ここで言うところの所定の値とは、例えば運転者が対象物を目視で確認できると推定される程度の輝度であって、任意に設定可能な値である。
【００５８】
また、認識可否判断部５２は、可視光画像中での歩行者位置情報に該当する場所の輝度が、所定の値よりも大きいと判定した場合には、近赤外光画像由来の歩行者画像については、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると判断し、当該歩行者画像については強調表示の対象から外す。また、可視光画像中での歩行者位置情報に該当する場所の輝度が、所定の値よりも大きいと判定しなかった場合には、近赤外光画像由来の歩行者画像については、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能でないと判断し、当該歩行者画像については強調表示の対象とする。そして、認識可否判断部５２は、近赤外光画像由来の歩行者画像のうち、強調表示の対象から外した歩行者画像以外の歩行者画像の位置情報を描画部５０に出力する。
【００５９】
描画部５０は、遅延処理部４４から出力される近赤外光画像と認識可否判断部５２から出力される歩行者画像の位置情報とをもとに、当該近赤外光画像中の当該位置情報が示す場所に歩行者検知枠を加えた表示画像を生成し、生成した表示画像を表示器３に出力する。そして、表示器３では、描画部５０から入力された表示画像を表示する。
【００６０】
ここで、以上の構成について、対象物の強調表示を行うか否かについてのパターンごとの場合分けについて図１０を用いて詳しく説明を行う。なお、図１０は、対象物の強調表示を行うか否かについてのパターンごとの場合分けを示す表である。
【００６１】
図１０のパターン１に示すように、近赤外光画像中に歩行者を検知しなかった場合（つまり、「対象無し」の場合）には、可視光画像中の輝度によらず（図１０中の「ＡＮＹ」）に、強調表示する対象が存在しないので、強調表示は「無し」とする。また、パターン２に示すように、近赤外光画像中に歩行者を検知した場合（つまり、「対象有り」の場合）であって、可視光画像中の同じ場所の輝度が所定の値よりも大きいと判定した場合（つまり、「同じ場所の輝度が高い」の場合）には、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能であると考えられるので、強調表示は「無し」とする。そして、パターン３に示すように、近赤外光画像中に歩行者を検知した場合（つまり、「対象有り」の場合）であって、可視光画像中の同じ場所の輝度が所定の値よりも大きいと判定しなかった場合（つまり、「同じ場所の輝度が低い」の場合）には、第１対象物検知部４５で検知した歩行者の実体を自車両の運転者が目視で認識可能でないと考えられるので、強調表示は「有り」とする。以上の構成によっても、近赤外光画像から検知した歩行者の実体を運転者が目視で認識可能であるか否かを正確に判断することが可能になる。
【００６２】
また、前述の実施形態では、ハーフミラー２２を用いて近赤外光と可視光とを分離し、近赤外光用撮像素子２３と可視光用撮像素子２４とにそれぞれ近赤外光と可視光とを導くことによって、可視光用カメラと近赤外光カメラとの２つのカメラをナイトビューモニター装置１００に備えなくても済むようにしている構成を示したが、必ずしもこれに限らない。例えば、ナイトビューモニター装置１００に可視光用カメラと近赤外光カメラとをそれぞれ備える構成としてもよい。なお、ナイトビューモニター装置１００に可視光用カメラと近赤外光カメラとをそれぞれ備える構成とした場合には、可視光用カメラと近赤外光カメラとの取り付け位置および取り付け角度等をもとに、予め近赤外光画像上の位置と可視光画像上の位置との対応付けを行うものとする。
【００６３】
なお、対象物までの距離の検知等の位置精度を向上させるために、２つのカメラ部２からなるステレオカメラを用いる構成としてもよい。例えば対象物までの距離の情報は、第１対象物検知部４５での候補画像の抽出時における所定の領域の切り出しの大きさを決めるのに用いる構成とすることも可能である。また、ナイトビューモニター装置１００に可視光用カメラと近赤外光カメラとをそれぞれ備える構成とした場合には、可視光用カメラと近赤外光カメラとをそれぞれ２つずつ備えたステレオカメラを用いる構成とすればよい。なお、例えば対象物までの距離の情報は、第１対象物検知部４５での候補画像の抽出時における所定の領域の切り出しの大きさを決めるのに用いることも可能である。
【００６４】
さらに、前述の実施形態では、可視光の照射範囲外の対象物を検知するために近赤外光を利用する構成を示したが、必ずしもこれに限らない。可視光の照射範囲外の対象物を検知するためには、不可視光（例えば）を利用する構成とすればよく、例えば、遠赤外光を利用する構成としてもよい。なお、遠赤外光を用いる場合には、物体が発する熱を感知することが可能であるので、近赤外光を用いる場合のような投光器が不要となる。また、ここで言うところの不可視光とは、前述した可視光の範囲外の波長の光を示している。さらに、遠赤外光とは、例えば約４μｍ〜約１ｍｍの波長の光を示している。
【００６５】
また、前述の実施形態では、対象物を歩行者とした場合の構成を示したが、必ずしもこれに限らない。例えば、対象物を歩行者以外の移動体とする構成としてもよい。
【００６６】
なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００６７】
１  近赤外光投光器（投光器）、２  カメラ部、３  表示器、４  ナイトビューＥＣＵ、５  ウィンドシールド、２１  レンズ、２２  ハーフミラー（光学素子）、２３  近赤外光用撮像素子（不可視光撮像部）、２４  可視光用撮像素子（可視光撮像部）、４１  第１映像信号取得部、４２  第１Ａ／Ｄ変換部、４３  分配処理部、４４  遅延処理部、４５  第１対象物検知部（不可視光画像認識部）、４６  第２映像信号取得部、４７  第２Ａ／Ｄ変換部、４８  第２対象物検知部（可視光画像認識部）、４９  認識可否判断部、５０  描画部、５１  制御部、５２  認識可否判断部、１００  ナイトビューモニター装置（車両用表示装置）
【図１】
2011087006.tif 000003
【図２】
2011087006.tif 000004
【図３】
2011087006.tif 000005
【図４】
2011087006.tif 000006
【図５】
2011087006.tif 000007
【図６】
2011087006.tif 000008
【図８】
2011087006.tif 000009
【図９】
2011087006.tif 000010
【図１０】
2011087006.tif 000011
【図７】
2011087006.tif 000012