(57)【要約】【課題】運転者に違和感を覚えさせず、より安全運転に寄与すること。【解決手段】車両前方を撮像する赤外線カメラと、赤外線カメラにより撮像された画像が表示されるメインディスプレイと、メインディスプレイと異なるサブディスプレイと、メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうようにサブディスプレイを制御する制御手段と、を備え、制御手段は、メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも注意喚起表示を行なうようにサブディスプレイを制御することを特徴とする、車両用夜間視界支援装置。【選択図】図７
2011091549.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、前記メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置。
【請求項２】
前記サブディスプレイは、ＨＵＤ（Head  Up  Display）である、
請求項１に記載の車両用夜間視界支援装置。
【請求項３】
車速を検出する車速検出手段と、
操舵角を検出する操舵角検出手段と、を備え、
前記制御手段は、前記メインディスプレイに表示されている画像における歩行者の位置に基づき車両と歩行者の相対位置を算出し、該算出した相対位置と、前記車速検出手段及び前記操舵角検出手段の検出結果により算出される車両の走行方向とに基づいて、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する手段である、
請求項１又は２に記載の車両用夜間視界支援装置。
【請求項４】
前記メインディスプレイには、前記赤外線カメラにより撮像された画像のうち左右方向に関する中央部が表示される、
請求項１ないし３のいずれか１項に記載の車両用夜間視界支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された赤外線カメラによって夜間に撮像された画像を、車室内で視認できるように車載ディスプレイ等に表示する車両用夜間視界支援装置に関する。
【背景技術】
【０００２】
従来、夜間においても歩行者等を認識可能な赤外線カメラによって撮像された画像を車室内で表示する装置が知られている。
【０００３】
これに関連し、車両前方の走行環境を検出する走行環境検出手段を備え、検出された走行環境に応じて、赤外線カメラ等の撮像手段によって撮像される領域を広角に切替えることを特徴とする車両用表示装置についての発明が開示されている。（例えば、特許文献１参照）。車両前方の走行環境としては、例えば前走車の存在が挙げられており、前走車が存在する場合には、撮像される領域を広角に切替えるものとしている。
【０００４】
また、ステアリング舵角センサにより検出されたステアリング舵角信号に基づいて、赤外線カメラ等の撮像手段を車幅方向水平にスイブル駆動する車両用暗視装置についての発明が開示されている（例えば、特許文献２参照）。なお、この撮像手段は、前照灯と連動して車幅方向水平にスイブル駆動される。
【０００５】
ところで、赤外線カメラによって撮像された画像は、インストルメントパネル中央部等に取り付けられたディスプレイ装置（例えばナビゲーション表示にも用いられるもの）に表示されたり、インストルメントパネル上部に取り付けた発光装置により発光された光をフロントガラスに反射させて運転者に視認させる、いわゆるＨＵＤ（Head  Up  Display）に表示されたりする。
【０００６】
そして、このような複数のディスプレイ装置を用いて、赤外線カメラによって撮像された画像に基づく視界支援を行う装置について実用化が進められている。この装置では、例えば赤外線カメラによって撮像された画像をインストルメントパネル中央部等に取り付けられたメインディスプレイに表示させ、表示中の画像に歩行者が存在する場合には、歩行者の形状を示すアイコン等の注意喚起表示を、ＨＵＤ等のサブディスプレイに表示させている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−０８１８６０号公報
【特許文献２】特開２００５−０８８６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来の装置では、赤外線カメラの画角と運転者の視野範囲との不一致により、運転者が違和感を覚える場合がある。
【０００９】
赤外線カメラの画角は、解像度の問題、及びヘッドランプの照射限界よりも遠方を撮像する必要性等から、運転者の視野範囲よりも狭く設定されるのが通常である。撮像範囲を広角にすると遠方の撮像制度が低下するからである。
【００１０】
従って、歩行者が車両前方から車両側方を通過して後方に過ぎ去るまでの過程で、赤外線カメラには撮像されていない（或いは、撮像されているが表示範囲外となっている）にも拘わらず、運転者には視認されているという期間が生じる。この期間において運転者は、自分の眼で歩行者を確認しているのにサブディスプレイの注意喚起表示が消滅するという現象を体感し、違和感を覚えるのである。
【００１１】
また、歩行者が運転者により視認可能であるということは、依然として、運転上の注意が必要な状態である。従って、サブディスプレイの注意喚起表示が消滅すると、安全運転を十分に支援しているとはいえないことになる。
【００１２】
本発明はこのような課題を解決するためのものであり、運転者に違和感を覚えさせず、より安全運転に寄与することが可能な車両用夜間視界支援装置を提供することを、主たる目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するための本発明の一態様は、
車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、前記メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置である。
【００１４】
この本発明の一態様によれば、メインディスプレイに表示されている画像中に歩行者が存在場合に加え、メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうようにサブディスプレイを制御するため、運転者に違和感を覚えさせず、より安全運転に寄与することができる。
【００１５】
本発明の一態様において、
前記サブディスプレイは、例えばＨＵＤ（Head  Up  Display）である。
【００１６】
また、本発明の一態様において、
車速を検出する車速検出手段と、
操舵角を検出する操舵角検出手段と、を備え、
前記制御手段は、前記メインディスプレイに表示されている画像における歩行者の位置に基づき車両と歩行者の相対位置を算出し、該算出した相対位置と、前記車速検出手段及び前記操舵角検出手段の検出結果により算出される車両の走行方向とに基づいて、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する手段であるものとしてもよい。
【００１７】
また、本発明の一態様において、
前記メインディスプレイには、前記赤外線カメラにより撮像された画像のうち左右方向に関する中央部が表示されるものとしてもよい。
【発明の効果】
【００１８】
本発明によれば、運転者に違和感を覚えさせず、より安全運転に寄与することが可能な車両用夜間視界支援装置を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１実施例に係る車両用夜間視界支援装置１のシステム構成例である。
【図２】赤外線カメラ１２の構成例である。
【図３】メインディスプレイ２０に車両前方の風景（赤外線画像）及び強調表示が表示され、サブディスプレイ３０に注意喚起表示が表示された状態を示す図である。
【図４】赤外線カメラ１２の撮像範囲と運転者の視野範囲の関係を示す図である。
【図５】メインディスプレイ２０からは強調表示が消滅したが、サブディスプレイ３０には依然として注意喚起表示が表示されている状態を示す図である。
【図６】歩行者が運転者の視野範囲外に至ったと判定され、注意喚起表示が終了した状態を示す図である。
【図７】第１実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。
【図８】第２実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【実施例】
【００２１】
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る車両用夜間視界支援装置１について説明する。図１は、本発明の第１実施例に係る車両用夜間視界支援装置１のシステム構成例である。車両用夜間視界支援装置１は、主要な構成として、赤外線カメラ装置１０と、メインディスプレイ２０と、サブディスプレイ３０と、夜間視界支援用ＥＣＵ（Electronic  Control  Unit）４０と、を備える。
【００２２】
赤外線カメラ装置１０は、赤外線照射装置１１と、赤外線カメラ１２と、を備える。赤外線照射装置１１は、例えばフロントグリルに取り付けられ、近赤外線を車両前方に照射する。赤外線カメラ１２は、例えばフロントガラスの中央上部内側に取り付けられ、車両の斜め前方を撮像する。
【００２３】
なお、赤外線カメラ装置１０は、赤外線を照射して反射光を撮像する態様に限らず、歩行者が体温によって自ら発する赤外線を撮像する態様であっても構わない。また、ヘッドランプやフォグランプの照射光には赤外線が含まれるため、これが歩行者によって反射された光を主に撮像するものであっても構わない。
【００２４】
図２は、赤外線カメラ１２の構成例である。赤外線カメラ１２は、例えば可視光カットフィルタ１３と、ＣＣＤ（Charge  Coupled  Device）カメラ１４と、を備える。ＣＣＤカメラ１４は、例えば、撮像レンズ１５と、イメージセンサ１６と、電子制御部１７と、を備える。なお、ＣＣＤカメラに代えてＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）カメラ等を備えてもよい。可視光カットフィルタ１３は、例えばフロントガラスに貼付される。
【００２５】
イメージセンサ１６は、例えばインターライン型イメージセンサであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するＣＣＤとをそれぞれ２次元平面状に配列し、フォトダイオードとＣＣＤの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側（撮像レンズ１５側）には、集光のためのマイクロレンズが取り付けられている。なお、こうした構造は、あくまでイメージセンサ１６の機能を簡易に説明するために模式的に例示したものであり、機能性向上等のための如何なる設計変更も許容される。また、インターライン型イメージセンサに限らず、ＣＣＤ自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサを用いてもよい。
【００２６】
電子制御部１７は、例えば、マイクロコンピュータや電子回路等が用いられ、イメージセンサ１６が有するトランスファゲートの開閉タイミングを制御することにより赤外線カメラ１２のシャッタースピードや撮像周期（例えば、１秒間に数十回程度）を調節する。そして、電子制御部１７は、イメージセンサ１６の出力回路から出力されるデータに対して所定のゲインによる増幅等を行なって、画像データとして夜間視界支援用ＥＣＵ４０に出力する。
【００２７】
ここで、赤外線照射装置１１の照射範囲と、赤外線カメラ１２の照射範囲は、略一致するように設定されている。赤外線カメラ１２の撮像範囲は、ヘッドランプの照射範囲よりも角度が狭く、且つ、より遠方を撮像可能であるように設定されている。
【００２８】
メインディスプレイ２０は、例えばインストルメントパネルの中央部等に取り付けられ、グラフィックシステムとしてＶＧＡ（Video  Graphics  Array）を採用して動画を含む画像表示を行なうタッチパネル式のディスプレイ装置である。メインディスプレイ２０は、その表示にユーザーがタッチ操作したことによる電圧の変化を検出して、タッチ操作された位置を認識する。これにより、表示面に各種ＧＵＩスイッチを設定し、ユーザーによる各種の入力操作を可能にしている。また、メインディスプレイ２０の表示面の周辺には、各種操作を可能にする複数のスイッチが設けられている。
【００２９】
メインディスプレイ２０は、ナビゲーション装置等の他の車載装置の表示／入力装置として共用されてもよい。この場合、車両用夜間視界支援装置１の作動時（夜間）のみメインディスプレイ２０として機能し、それ以外の時には他の車載装置用の表示／入力装置として機能する。
【００３０】
サブディスプレイ３０は、例えばＨＵＤ（Head  Up  Display）である。サブディスプレイ３０は、フロントガラス上の表示位置に映像を投影することにより、あたかも運転者の視点から当該表示位置を見た延長線上の位置（車外の位置）に存在するかのような虚像として、映像の内容を表示する。
【００３１】
サブディスプレイ３０は、例えばインストルメントパネルの上面に形成された凹部にその全体が収納される。そして、コンビネーションメータの裏側に配設され、車両の進行方向に向けて発光表示を行なう液晶ディスプレイと、液晶ディスプレイが発する光を反射してウインドシールドに投影する反射鏡等を備える。
【００３２】
夜間視界支援用ＥＣＵ４０は、例えば、ＣＰＵ（Central  Processing  Unit）を中心としてＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等がバスを介して相互に接続されたマイクロコンピュータであり、その他、ＨＤＤ（Hard  Disc  Drive）やＤＶＤ（Digital  Versatile  Disk）ドライブ、ＣＤ−Ｒ（Compact  Disc-Recordable）ドライブ、ＥＥＰＲＯＭ（Electronically  Erasable  and  Programmable  Read  Only  Memory）等の記憶装置やＩ／Ｏポート、タイマー、カウンター等を備える。記憶装置には、ＣＰＵが実行するプログラムやデータが格納されている。
【００３３】
夜間視界支援用ＥＣＵ４０には、多重通信線等の車載通信線を介して、車速センサ５０、操舵角センサ５２等の車載センサが接続されている。車速センサ５０は、例えば、車両の各車輪に取り付けられた車輪速センサとスキッドコントロールコンピュータを備え、車輪速センサが出力する車輪速パルス信号をスキッドコントロールコンピュータが車速矩形波パルス信号（車速信号）に変換して出力する。車輪速センサは、例えば、ゴムに磁性粉が充填されて円周方向に正極及び負極が交互に配置された磁気ローターと、磁気ローターの回転による磁界の変化を検出するアクティブセンサと、を備える。操舵角センサ５２は、例えば、ステアリングコラム内部に配設され、操舵角信号を出力する。多重通信線を介した機器間の通信は、ＣＡＮ（Controller  Area  Network）や、ＬＩＮ（Local  Interconnect  Network）に代表される低速なボデー系通信プロトコル、ＭＯＳＴ（Media  Oriented  Systems  Transport）に代表されるマルチメディア系通信プロトコル、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。
【００３４】
また、夜間視界支援用ＥＣＵ４０は、記憶装置に記憶されたプログラムをＣＰＵが実行することにより機能する主要な機能ブロックとして、画像上歩行者認識部４２と、視野範囲内歩行者推定部４４と、ディスプレイ制御部４６と、を備える。なお、これらの機能ブロックが明確に別のプログラムに基づくものである必要はなく、同一プログラムの中に複数の機能ブロックを実現する部分が含まれていてもよい。
【００３５】
ここで、車両用夜間視界支援装置１の作動は、例えばメインディスプレイ２０の表示面に設定されたＧＵＩスイッチやメインディスプレイ２０の周辺に取り付けられたスイッチによってユーザーにより指示される。これに限らず、照度センサによって車外の照度が所定値未満となったときに自動的に作動するものとしてもよい。
【００３６】
車両用夜間視界支援装置１が作動すると、赤外線カメラ１２の撮像画像がメインディスプレイ２０に表示される。
【００３７】
画像上歩行者認識部４２は、例えば赤外線カメラ１２の撮像画像中（本実施例では、メインディスプレイ２０の表示画像と同じである）に歩行者が存在するか否かを判定する。係る歩行者の認識は、例えば赤外線カメラ１２の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。特徴点とは、簡易的には隣接する画素との輝度差が所定値以上の点と定義されるが、この種の画像処理に特有のフィルタを用いて特徴点を抽出してもよい。
【００３８】
ディスプレイ制御部４６は、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定すると、当該認識された歩行者に強調のための方形輪郭線（あくまで一例である）を重畳表示するように、メインディスプレイ２０を制御する。この方形輪郭線は、いわゆるオーバーレイ表示と称されるものであり、赤外線カメラ１２の撮像画像を示す画素値の一部を所望の画素値に置換することにより表示可能となるものである。以下、このような表示を強調表示と称する。
【００３９】
また、ディスプレイ制御部４６は、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定すると、歩行者を示すアイコン等を所望の位置に表示するようにサブディスプレイ３０を制御する。この所望の位置は、常に一定の位置であってもよいが、車両の右側と左側のいずれに歩行者が認識されたか等によって変更してもよい。以下、このような歩行者を示すアイコン等の表示を注意喚起表示と称する。
【００４０】
このような制御によって、運転者は、前方に歩行者が存在する場合に、まずサブディスプレイ３０を見ることにより歩行者の存在に気付き、その後にメインディスプレイ２０を見ることにより歩行者の位置や動向をチェックし、衝突等を起こさないように安全に運転することができる。図３は、メインディスプレイ２０に車両前方の風景（赤外線画像）及び強調表示が表示され、サブディスプレイ３０に注意喚起表示が表示された状態を示す図である。
【００４１】
ところが、前述のように、赤外線カメラ１２の撮像範囲は、ヘッドランプの照射範囲よりも角度が狭くなるように設定されているため、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者であっても、運転者の視野範囲内（夜間においてはヘッドランプの照射範囲と略等しいものとする）には留まっている場合がある。図４は、赤外線カメラ１２の撮像範囲と運転者の視野範囲の関係を示す図である。
【００４２】
従って、ディスプレイ制御部４６が、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定している場合（図４における（Ａ）の場合）のみ、注意喚起表示をサブディスプレイ３０に表示させるものとすると、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっているにも拘わらず、サブディスプレイ３０から注意喚起表示が消滅することになり、違和感を覚えることになる。
【００４３】
そこで、本実施例の車両用夜間視界支援装置１では、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する（判定する）視野範囲内歩行者推定部４４を備え、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定した場合（図４における（Ｂ）の場合）にも、注意喚起表示をサブディスプレイ３０に表示させることにした。
【００４４】
視野範囲内歩行者推定部４４は、例えば以下の手順によって推定を行なう。まず、画像上歩行者認識部４２が認識した歩行者の画像上の位置（実際には所定の大きさを有するので、足下等を代表点とする）に基づいて、車両と歩行者の相対位置を算出する。相対位置は、例えば距離、及び車両中心軸を基準とした方位角の組み合わせとして算出される。次に、車速センサ５０から入力された車速信号及び操舵角センサ５２から入力された操舵角信号に基づいて車両の速度ベクトルを算出する。そして、歩行者の位置を不変として、車両の速度ベクトルを段階的に積分することによって将来の車両の位置を複数個算出し、最初に歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間を算出する。画像上歩行者認識部４２が歩行者を認識していたタイミングから、歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間内の間は、歩行者が運転者の視野範囲内に存在すると推定することができる。
【００４５】
係る制御によって、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような歩行者が運転者の視野範囲内には留まっている状態は、依然として、運転上の注意が必要な状態である。従って、サブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
【００４６】
図５は、メインディスプレイ２０からは強調表示が消滅したが、サブディスプレイ３０には依然として注意喚起表示が表示されている状態を示す図である。
【００４７】
そして、ディスプレイ制御部４６は、画像上歩行者認識部４２が歩行者を認識していたタイミングから、歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間が経過することにより、視野範囲内歩行者推定部４４が、歩行者が運転者の視野範囲内に存在しないと判定すると、注意喚起表示を終了するようにサブディスプレイ３０を制御する。図６は、歩行者が運転者の視野範囲外に至ったと判定され、注意喚起表示が終了した状態を示す図である。
【００４８】
以下、上記説明した処理の流れをフローチャートによって説明する。図７は、第１実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。本フローは、車両用夜間視界支援装置１が作動している間、繰り返し実行される。
【００４９】
まず、画像上歩行者認識部４２は、赤外線カメラ１２の撮像画像中に歩行者が存在するか否かを判定する（Ｓ１００）。
【００５０】
ディスプレイ制御部４６は、赤外線カメラ１２の撮像画像中に歩行者が存在すると画像上歩行者認識部４２が判定した場合は、歩行者を強調表示するようにメインディスプレイ２０を制御すると共に、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ１０２）。
【００５１】
赤外線カメラ１２の撮像画像中に歩行者が存在しないと画像上歩行者認識部４２が判定した場合は、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定（判定）する（Ｓ１０４）。
【００５２】
ディスプレイ制御部４６は、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると視野範囲内歩行者推定部４４が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ１０６）。
【００５３】
一方、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在しないと判定した場合は、強調表示及び注意喚起表示のいずれも行わない（Ｓ１０８）。
【００５４】
以上説明した本実施例の車両用夜間視界支援装置１によれば、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような運転上の注意が必要な状態においてサブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
【００５５】
＜第２実施例＞
以下、本発明の第２実施例に係る車両用夜間視界支援装置２について説明する。車両用夜間視界支援装置２は、ハードウエア構成において第１実施例の車両用夜間視界支援装置１と共通するため、基本構成等についての説明は省略し、第１実施例との相違点を中心に説明する。
【００５６】
本実施例に係る車両用夜間視界支援装置１２作動すると、赤外線カメラ１２の撮像画像のうち、左右端部を除いた中央部のみがメインディスプレイ２０に表示される。このような表示は、強調表示のハンチングを回避すること等を目的としている。
【００５７】
従って、画像上歩行者認識部４２が、赤外線カメラ１２の撮像画像中に歩行者が存在すると判定した場合であっても、メインディスプレイ２０には歩行者及び強調表示が表示されない場合があり得る。
【００５８】
本実施例においてメインディスプレイ２０に強調表示がなされ、サブディスプレイ３０に注意喚起表示がなされるのは、赤外線カメラ１２の撮像画像のうち、左右端部を除いた中央部に歩行者が存在する場合である。
【００５９】
一方、メインディスプレイ２０に強調表示がなされないが、サブディスプレイ３０に注意喚起表示がなされるのは、赤外線カメラ１２の撮像画像のうち、左右端部に歩行者が存在する場合、及び画像上歩行者認識部４２によりメインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定された場合である。
【００６０】
すなわち、赤外線カメラ１２の撮像画像のうち左右端部を除いた中央部に歩行者が存在する場合には強調表示及び注意喚起表示を行ない、赤外線カメラ１２の撮像画像のうち左右端部に歩行者が存在する場合（歩行者の存在が画像認識によって検知された場合）及び画像上歩行者認識部４２によりメインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定された場合には、注意喚起表示のみを行なう。
【００６１】
以下、上記説明した処理の流れをフローチャートによって説明する。図８は、第２実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。本フローは、車両用夜間視界支援装置１が作動している間、繰り返し実行される。
【００６２】
まず、画像上歩行者認識部４２は、赤外線カメラ１２の撮像画像中に歩行者が存在するか否かを判定する（Ｓ２００）。
【００６３】
赤外線カメラ１２の撮像画像中に歩行者が存在すると判定した場合は、更に、当該撮像画像における中央部に歩行者が存在するか否かを判定する（Ｓ２０２）。
【００６４】
ディスプレイ制御部４６は、撮像画像における中央部に歩行者が存在すると判定された場合は、歩行者を強調表示するようにメインディスプレイ２０を制御すると共に、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０４）。
【００６５】
また、ディスプレイ制御部４６は、撮像画像における端部に歩行者が存在すると画像上歩行者認識部４２が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０６）。
【００６６】
一方、赤外線カメラ１２の撮像画像中に歩行者が存在しないと画像上歩行者認識部４２が判定した場合は、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定（判定）する（Ｓ２０８）。
【００６７】
ディスプレイ制御部４６は、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると視野範囲内歩行者推定部４４が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０６）。
【００６８】
視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在しないと判定した場合は、強調表示及び注意喚起表示のいずれも行わない（Ｓ２１０）。
【００６９】
以上説明した本実施例の車両用夜間視界支援装置２によれば、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような運転上の注意が必要な状態においてサブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
【００７０】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００７１】
例えば、メインディスプレイ２０やサブディスプレイ３０の具体的態様は実施例のものに限定されず、例えばサブディスプレイ３０は、コンビネーションメータ内に設けられた表示部が用いられてもよい。
【００７２】
また、運転者がサブディスプレイ３０における注意喚起表示を見てからメインディスプレイ２０に視線を移すまでの時間を考慮し、これを制御に反映させてもよい。
【産業上の利用可能性】
【００７３】
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
【符号の説明】
【００７４】
１、２  車両用夜間視界支援装置
１０  赤外線カメラ装置
１１  赤外線照射装置
１２  赤外線カメラ
１３  可視光カットフィルタ
１４  ＣＣＤカメラ
１５  撮像レンズ
１６  イメージセンサ
１７  電子制御部
２０  メインディスプレイ
３０  サブディスプレイ
４０  夜間視界支援用ＥＣＵ
４２  画像上歩行者認識部
４４  視野範囲内歩行者推定部
４６  ディスプレイ制御部
５０  車速センサ
５２  操舵角センサ
【図１】
2011091549.tif 000003
【図２】
2011091549.tif 000004
【図５】
2011091549.tif 000005
【図７】
2011091549.tif 000006
【図８】
2011091549.tif 000007
【図３】
2011091549.tif 000008
【図４】
2011091549.tif 000009
【図６】
2011091549.tif 000010
【手続補正書】
【提出日】平成22年6月16日(2010.6.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
赤外線カメラの画角は、解像度の問題、及びヘッドランプの照射限界よりも遠方を撮像する必要性等から、運転者の視野範囲よりも狭く設定されるのが通常である。撮像範囲を広角にすると遠方の撮像精度が低下するからである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
この本発明の一態様によれば、メインディスプレイに表示されている画像中に歩行者が存在する場合に加え、メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうようにサブディスプレイを制御するため、運転者に違和感を覚えさせず、より安全運転に寄与することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
【図１】本発明の第１実施例に係る車両用夜間視界支援装置１のシステム構成例である。
【図２】赤外線カメラ１２の構成例である。
【図３】メインディスプレイ２０に車両前方の風景（赤外線画像）及び強調表示が表示され、サブディスプレイ３０に注意喚起表示が表示された状態を示す図である。
【図４】メインディスプレイ２０からは強調表示が消滅したが、サブディスプレイ３０には依然として注意喚起表示が表示されている状態を示す図である。
【図５】赤外線カメラ１２の撮像範囲と運転者の視野範囲の関係を示す図である。
【図６】歩行者が運転者の視野範囲外に至ったと判定され、注意喚起表示が終了した状態を示す図である。
【図７】第１実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。
【図８】第２実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
ところが、前述のように、赤外線カメラ１２の撮像範囲は、ヘッドランプの照射範囲よりも角度が狭くなるように設定されているため、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者であっても、運転者の視野範囲内（夜間においてはヘッドランプの照射範囲と略等しいものとする）には留まっている場合がある。図５は、赤外線カメラ１２の撮像範囲と運転者の視野範囲の関係を示す図である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
従って、ディスプレイ制御部４６が、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定している場合（図５における（Ａ）の場合）のみ、注意喚起表示をサブディスプレイ３０に表示させるものとすると、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっているにも拘わらず、サブディスプレイ３０から注意喚起表示が消滅することになり、違和感を覚えることになる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
そこで、本実施例の車両用夜間視界支援装置１では、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する（判定する）視野範囲内歩行者推定部４４を備え、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定した場合（図５における（Ｂ）の場合）にも、注意喚起表示をサブディスプレイ３０に表示させることにした。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
図４は、メインディスプレイ２０からは強調表示が消滅したが、サブディスプレイ３０には依然として注意喚起表示が表示されている状態を示す図である。