(57)【特許請求の範囲】
【請求項１】
車両前方を撮影する赤外線カメラの映像をヘッドアップディスプレイ装置に表示する夜間運転視界支援装置において、
ドライバの眼球を撮影する顔面撮影カメラと、
該顔面撮影カメラで撮影された画像を処理する画像処理部と、
該画像処理部の処理データから該眼球の瞳孔位置を検出する瞳孔位置検出部と、
該瞳孔位置検出部で得られた瞳孔位置が、該ヘッドアップディスプレイ装置により表示される映像における実際の風景と重なって見える所定範囲内に有るか否かを判定する瞳孔位置判定部と、
該瞳孔位置検出部で瞳孔位置が該所定範囲内にあると判定された時のみ該ヘッドアップディスプレイ装置を駆動する制御装置と、
を備えたことを特徴とする夜間運転視界支援装置。
【請求項２】
請求項１において、
該所定範囲が、ドライバの視点位置からの前方視界と該ＨＵＤ装置による表示とが一致するように初期設定されていることを特徴とした夜間運転視界支援装置。
【請求項３】
請求項１において、
該顔面撮影カメラが、カメラと該カメラの先端部においてその光軸上に設けた赤外線ＬＥＤとで構成された近赤外線カメラであることを特徴とした夜間運転視界支援装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は夜間運転視界支援装置に関するものであり、特に車両前方視界支援装置として赤外線カメラを介して車室内のヘッドアップディスプレイ（以下、ＨＵＤと略称する）装置によって表示する夜間運転視界支援装置（ナイトビジョン）に関するものである。
【０００２】
夜間の安全な走行を実現するため、可視光では確認できない歩行者などの存在を事前に認知できるような夜間運転視界支援装置が求められている。
【０００３】
【従来の技術】
従来から知られている車両前方視界支援装置としては、例えば、特開平７−２５７２２８号公報が挙げられる。ここでは、特にドライバの視線を検出する技術が提案されており、赤外線カメラを用いてドライバの眼球画像を検出し、この検出した画像を処理してナビ情報（地図データとＧＰＳなどを用いて目的地への自動誘導を行う際の矢印情報等）をＨＵＤ装置により道路面画像上に仮想的に重ねて表示するものである。
【０００４】
すなわち、車両前方道路の誘導経路に対する交差点位置とドライバの眼球位置とを結んだ直線上（視線）に、進行方向を示すナビの矢印情報をＨＵＤ装置により表示している。これにより、ＨＵＤ表示を見てから該交差点位置を探すという視線の移動を不必要にしている。
【０００５】
一方、従来から知られている夜間運転視界支援装置としては、可視光が少ない夜間時の前方視界を赤外線カメラを使って撮影し、その映像をドライバへ提示する技術（ナイトビジョン）が既に提案されている。
【０００６】
【発明が解決しようとする課題】
上記の特開平７−２５７２２８号公報による従来技術においては、ドライバの視点から撮影された映像を前方の視界に重ねて表示させるために常に変動するドライバの視線を計測し、それに合わせてＨＵＤ表示位置を変化させることが必須である。
このためには、ドライバの視線計測を行い、これに応じてＨＵＤ表示位置を適切に計算して表示させなければならない。
【０００７】
ここで、リアルタイムでＨＵＤ装置を前方視界に重ねて表示するには、コンピュータへの負荷が非常に大きくなり、旋回などの車両運動が激しい場合には計算処理しきれない可能性がある。
【０００８】
一方、現在提案されている視線計測技術においても、常にドライバの視線を計測できるわけではなく、ドライバの頭部が大きく揺れたり光環境条件が悪い場合には視線計測が不可能となり、そのような状況では前方視界にＨＵＤ表示を重ねて表示することは不可能となってしまう。
【０００９】
したがって、このような車両前方視界支援装置は信頼性が十分でなく、特に上記のような夜間運転視界支援装置に適用した場合には危険を伴うことになる。
したがって本発明は、車両前方を撮影する赤外線カメラの映像をヘッドアップディスプレイ装置に表示する夜間運転視界支援装置において、ドライバの視線位置を常に計測することなく適切な安全走行を実現できるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る夜間運転視界支援装置は、ドライバの眼球を撮影する顔面撮影カメラと、該顔面撮影カメラで撮影された画像を処理する画像処理部と、該画像処理部の処理データから該眼球の瞳孔位置を検出する瞳孔位置検出部と、該瞳孔位置検出部で得られた瞳孔位置が、該ＨＵＤ装置により表示される映像における実際の風景と重なって見える所定範囲内に有るか否かを判定する瞳孔位置判定部と、該瞳孔位置検出部で瞳孔位置が該所定範囲内にあると判定された時のみ該ＨＵＤ装置を駆動する制御装置と、を備えたことを特徴としている。
【００１１】
端的に言えば、本発明では、常にＨＵＤ表示を行うのではなく、ドライバの眼球位置（視線位置）が特定の位置にあるときだけＨＵＤ表示を行おうとするものである。
【００１２】
すなわち、本発明においては、顔面撮影カメラによってドライバの眼球位置（視線位置）を計測する。この顔面撮影カメラから出力された映像を画像処理部により画像処理を施す。
【００１３】
そして、画像処理部から出力されたデータにより瞳孔位置検出部がドライバの瞳孔位置（眼球位置又は視点位置）を検出する。
そして、制御部は、該瞳孔位置がＨＵＤ装置に表示される映像における実際の風景と重なって見える所定範囲内に存在するか否かを判定し、この判定結果によりＨＵＤ表示装置を制御する。
【００１４】
したがって、該所定範囲内に瞳孔位置が存在する場合には制御部はＨＵＤ装置を駆動し（ＯＮ）、赤外線カメラ１からの映像をドライバの特定の視点位置から前方の視界と一致させてＨＵＤ表示させる。しかしながら、該所定範囲内に瞳孔位置が無い場合には、ＨＵＤ装置を駆動せず（ＯＦＦ）、ＨＵＤ表示を行わない。
【００１５】
このようにすることで、ドライバの視線が常に計測される必要が無く、ドライバの視線に応じてＨＵＤ表示位置を自動調整する必要も無くなる。
【００１６】
さらに、ドライバが意識的に前方の様子を確認したい時には自分の頭を動かして特定の視点位置に視点を合わせれば前方視界と重なるＨＵＤ表示を積極的に得ることができ、それとは逆に視点をずらせてしまえば意識的にＨＵＤ表示を行わないようにすることも可能である。
【００１７】
なお、上記のような特定のドライバの視点位置からは前方視界とＨＵＤ表示が一致するように初期設定として調整しておくことが望ましい。
【００１８】
また、上記の顔面撮影カメラは、カメラと該カメラの先端部においてその光軸上に設けた赤外線ＬＥＤとで構成された近赤外線カメラである。
【００１９】
【発明の実施の形態】
図１は、本発明に係る夜間運転視界支援装置の実施例を示したもので、図中、１は例えば監視カメラ等に用いられる赤外線カメラを示し、この赤外線カメラ１の出力映像はＨＵＤ表示装置２に常に送られている。
【００２０】
また、３は顔面撮影用の近赤外線カメラであり特にドライバの視線位置（眼球位置）を計測するものである。この近赤外線カメラ３はその映像をデジタル信号データに変換するとともにこのデータに対して前処理としての画像処理を行う画像処理部４に接続されている。また、画像処理部４はドライバの瞳孔位置（眼球位置又は視点位置）を検出する瞳孔位置検出部５に接続されており、瞳孔位置検出部５は検出された瞳孔（眼球）位置が所定範囲内に存在するか否かを判定する制御部６に接続されている。
【００２１】
制御部６はＨＵＤ表示装置２に接続され、ＨＵＤ表示装置２を駆動してＨＵＤ表示をさせるか、或いは駆動せずにＨＵＤ表示させないように制御を行うものである。
図２には図１に示した本発明に係る夜間運転視界支援装置を実際に車両に搭載した時の実施例が概略的に示されており、図中、１０は、商業車両のキャブを示しており、１１はキャブ１０内のドライバである。
【００２２】
ＨＵＤ表示装置２は、図示のように車両キャブ１０の天井部分に設けられたプロジェクタ２１とウインドウガラスに取り付けられたコンバイナ２２とで構成されている。プロジェクタ２１には赤外線カメラ１が接続されており、その出力画像を取り込むようになっている。また、顔面撮影用近赤外線カメラ３は車両キャブ１０のダッシュボードに取り付けられており、その先端部分には赤外線ＬＥＤ３０が設けられている。
【００２３】
図３には図２に示した実施例の変形例が示されており、ここでは、プロジェクタ２１がダッシュボードの内部に設けられており、このプロジェクタ２１の出力映像は反射部２３を介してコンバイナ２２に写し出されるように構成している点が異なっている。
【００２４】
なお、赤外線カメラ１は監視用に使用されているもので、数ルクスというほどんど可視光が無い状態でも物体が特有の放射熱により物体の形状が映像として見えるものが使用されている。
【００２５】
ここで上記のＨＵＤ表示装置２は、周知の如く、駆動されたとき図４に示すように赤外線カメラ１からの出力映像を仮想的な映像面ＶＰが前方視界とオーバラップしてドライバ１１に見えるようにするものである。
【００２６】
図５は図１に示した本発明に係る夜間運転視界支援装置における動作を示したフローチャートであり、以下、このフローチャートを参照して上記の実施例の動作を説明する。
【００２７】
まず、キースイッチ（図示せず）が入った時点でシステムが動作を開始し、この制御プログラムが実行される。
次に、制御部６は運転中か否かを判定する（ステップＳ１）。これは、例えば車速センサ（図示せず）を用いて車速を検出し走行中か否かを判定してもよいし、或いはペダル操作やハンドル操作等から判断してもよい。
【００２８】
次に、制御部６は夜間か否かを判定する（ステップＳ２）。これは、ヘッドライトを点灯させたか否かで判断することができ、或いは顔面撮影用の近赤外線カメラの自動絞り機能を使って判断することができる。
【００２９】
ここで、赤外線カメラ１によるＨＵＤ表示例を図６により説明する。
同図（１）は昼間の道路映像を示しており、この状態において夜間になると同図（２）に示すような上半分が暗くなった映像になってしまい、その視界はハイビームにしない限り遠方までの視界が得られない。これは、対向車両がある場合など、ロービームで走行しなければならないことが多々あるからである。
【００３０】
そこで、同図（３）に示すように赤外線カメラ１による映像を用いて前方視界にＨＵＤ表示を重ねて表示させれば、ハイビーム状態と同様の前方視界が得られることになる。
【００３１】
図５に戻って、ステップＳ３により近赤外線カメラにより顔面画像を取得する。
図７には、このようして取得したドライバ１１の顔面画像が示されている。
【００３２】
さらに、このような顔面画像を画像処理部４により画像処理してドライバ１１の眼球の瞳孔位置の検出を行う（ステップＳ４）。
【００３３】
ここで、ドライバの瞳孔位置（眼球位置）を検出する方法について説明する。
ドライバの瞳孔位置を検出するための一つの方法は、夜間、ストロボを照射して写真撮影した時に人物などの被写体の目が赤く輝くことがあるが、これと同様の原理を応用したものである。
【００３４】
すなわち、図８に示すように、近赤外線カメラ３の光軸に非常に近い光源を用いることによりドライバの眼球１１０の網膜からの反射像をカメラで捉えることができる。こうすることにより画像処理を行う上で瞳孔を抽出し易くできる。
【００３５】
この時、可視光の光源であればドライバに対して眩惑光となり、その運転に支障を来すこととなるので、人間の目には感知できない近赤外線（７６０ｎｍ以上で８００ｎｍ付近の波長域の光線）の赤外線ＬＥＤ（発光ダイオード）３０を光源とし、近赤外線の領域まで感度が高いＣＣＤカメラを用いることでドライバを眩惑せずに眼球１１０の網膜反射像を得ることができる。
【００３６】
図９にはこのような瞳孔反射像が示されており、同図（１）に示す場合においては、カメラ３の光軸上にない赤外線ＬＥＤ（光源）３０を用いた場合を示しており、瞳孔が暗く見える像（暗瞳孔反射像）が得られるが、カメラ３の光軸上に光源３０がある場合には同図（２）に示すように瞳孔部分が明るく光る網膜反射像（明瞳孔反射像）が得られることになる。
【００３７】
従って、図２及び図３に示す近赤外線カメラ３の位置は図８及び図９の原理を考慮して設定する必要がある。
【００３８】
この結果、図７に示したドライバの顔面画像に二値化処理などの画像処理を行って図１０に示す瞳孔位置ＥＰを抽出することができる。
【００３９】
図５に戻って、このようにして瞳孔位置の検出（ステップＳ４）が行われた後、瞳孔位置が所定範囲内に有るか否かを判定する（ステップＳ５）。
【００４０】
このステップは、ドライバの瞳孔位置（視点）による前方視界と赤外線カメラ１によるＨＵＤ表示像が丁度重なる特定の視点位置（所定の範囲内）に来ているか否かを判定するものであり、図１１に示すように、黒枠で示した部分ＳＰに瞳孔位置ＥＰが有るか否かで判断することができる。
【００４１】
この時、瞳孔として検出される瞳孔位置が二つ検出されるが、いずれかが黒枠の位置にあればドライバの視点が該所定範囲内にあると判断する。
【００４２】
ここで、図１１に示すような所定範囲はドライバの個人差に応じてドライバ自身で調節し初期設定を行う必要がある。このような初期設定は例えば、ドライバがＨＵＤ表示画像が前方視界と重なって見えて欲しい位置に自分の頭を固定し、ＨＵＤ表示画像を見ながらプロジェクタ２１を調整してＨＵＤ表示画像が前方視界に重なるようにする。そして、プロジェクタ２１の調整が終了した時点で所定範囲を例えば制御部６に記憶しておく。
【００４３】
一度記憶してしまえば次に同じドライバが運転する場合、シートポジションをずらさない限り初期設定を行わなくてもよいことになる。
【００４４】
このようにして瞳孔位置が所定範囲内にあると分かった時には、制御部６はＨＵＤ装置２をＯＮとし赤外線カメラ１による前方映像をＨＵＤ表示させる。
【００４５】
しかしながら、所定範囲内になければＨＵＤ装置２をＯＦＦとし、赤外線カメラ１による前方映像表示を行わない（ステップＳ７）。
【００４６】
【発明の効果】
以上説明したように、本発明に係る夜間運転視界支援装置によれば、近赤外線カメラからの画像を処理してドライバの瞳孔位置を検出し、この瞳孔位置が予め定めた所定位置に存在するか否かを判定し、存在する場合のみＨＵＤ表示装置を駆動して赤外線カメラの出力画像による夜間の前方視界を表示するように構成したので、ドライバの視線が常に計測される必要が無く、ドライバの視線に応じてＨＵＤ表示装置を自動調整する必要も無く赤外線カメラによる前方視界のＨＵＤ表示をドライバの前方視線に重ねて表示できることとなる。さらに、ＨＵＤ表示をさせるか否かに対するドライバの意識を反映させることができる。
【図面の簡単な説明】
【図１】  本発明に係る夜間運転視界支援装置の実施例を示したブロック図である。
【図２】本発明に係る夜間運転視界支援装置を実際の車両に搭載した時の実施例（１）を概略的に示した図である。
【図３】本発明に係る夜間運転視界支援装置を実際の車両に搭載した時の実施例（２）を概略的に示した図である。
【図４】ＨＵＤ表示装置によるＨＵＤ表示例を示した図である。
【図５】本発明に係る夜間運転視界支援装置の動作を示したフローチャート図である。
【図６】赤外線カメラによるＨＵＤ表示例（ナイトビジョン）を示した図である。
【図７】本発明に係る夜間運転視界支援装置で撮影されたドライバの顔面画像を示した図である。
【図８】本発明に係る夜間運転視界支援装置における瞳孔反射像の撮影原理を示した図である。
【図９】本発明に係る夜間運転視界支援装置における瞳孔反射像を説明するための図である。
【図１０】本発明に係る夜間運転視界支援装置において抽出されたドライバの瞳孔位置を示した図である。
【図１１】本発明に係る夜間運転視界支援装置における瞳孔位置と特定位置との関係を示した図である。
【符号の説明】
１  赤外線カメラ
２  ＨＵＤ（ヘッドアップディスプレイ）表示装置
３  顔面撮影用近赤外線カメラ
４  画像処理部
５  瞳孔位置検出部
６  制御部
１０  キャブ
１１  ドライバ
２１  プロジェクタ
２２  コンバイナ
３０  赤外線ＬＥＤ
１１０  眼球
図中、同一符号は同一又は相当部分を示す。
【図１】
0003855439.tif 000002
【図２】
0003855439.tif 000003
【図３】
0003855439.tif 000004
【図４】
0003855439.tif 000005
【図５】
0003855439.tif 000006
【図６】
0003855439.tif 000007
【図７】
0003855439.tif 000008
【図８】
0003855439.tif 000009
【図９】
0003855439.tif 000010
【図１０】
0003855439.tif 000011
【図１１】
0003855439.tif 000012