(57)【要約】【課題】被写体の明るさに係わらず、安定して人の目を検出することを可能とする。【解決手段】  目検出装置２００は、露出の異なる複数の撮像素子２１１、２１２を備え、複数の撮像素子２１１、２１２の各々が前記被写体からの撮像光Ｎ１、Ｎ２を受けて前記被写体を撮像する撮像部２１０と、複数の撮像素子２１１、２１２の各々で撮像された前記被写体の画像Ｆ、Ｓを合成し、複数の撮像素子２１１、２１２の各々で撮像された前記被写体の画像Ｆ、Ｓよりも広いダイナミックレンジを持つハイダイナミックレンジ画像Ｇを生成する画像合成部２２１と、ハイダイナミックレンジ画像Ｇから人の目を検出する解析部２２２と、を備えてなる。【選択図】図３
2016170052.tif 000002
【特許請求の範囲】
【請求項１】
人の顔部を含む被写体を撮像し、撮像した被写体の画像に基づいて人の目を検出する目検出装置であって、
露出の異なる複数の撮像素子を備え、前記複数の撮像素子の各々が前記被写体からの撮像光を受けて前記被写体を撮像する撮像部と、
前記複数の撮像素子の各々で撮像された前記被写体の画像を合成し、前記複数の撮像素子の各々で撮像された前記被写体の画像よりも広いダイナミックレンジを持つハイダイナミックレンジ画像を生成する画像合成部と、
前記ハイダイナミックレンジ画像から人の目を検出する解析部と、を備えてなる、ことを特徴とする目検出装置。
【請求項２】
前記被写体からの撮像光を入射し、前記被写体からの撮像光の一部を透過し、一部を反射して前記複数の撮像素子の各々に向けて出射する半透過反射部材を備えてなる、ことを特徴とする請求項１に記載の目検出装置。
【請求項３】
前記画像合成部は、前記ハイダイナミックレンジ画像の輝度合計値の平均値を算出し、前記解析部は、前記輝度合計値の平均値に基づいて所定の輝度範囲を設定し、前記ハイダイナミックレンジ画像のうち設定した輝度範囲内の部分から人の目を検出する、ことを特徴とする請求項１または請求項２に記載の目検出装置。
【請求項４】
請求項１から請求項３の何れかに記載の目検出装置によって使用者の目の位置及び／あるいは視線を算出し、前記目検出装置によって検出された前記使用者の目の位置及び／あるいは視線に応じて、ヘッドアップディスプレイ装置によって出射される表示画像を示す表示光によって前記使用者が視認する前記表示画像の虚像の位置を調整する、ことを特徴とする車両用表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の顔を撮像した画像から人の目を検出する目検出装置及びこれを用いた車両用表示システムに関する。
【背景技術】
【０００２】
従来、この種の目検出装置としては、ＣＣＤやＣＭＯＳなどの撮像素子を用いて人の顔を含む被写体を撮像するものが知られている（例えば特許文献１参照）。目検出装置によって検出された人の目に基づいて、さらに人の目の位置及び視線方向を算出することができ、例えば特許文献２に示すように、ヘッドアップディスプレイ装置における表示像（虚像）の位置調整などに用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平４−６８５００号公報
【特許文献２】特開２００８−１２６９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、太陽光が強く被写体に当たっている場合など被写体が明るすぎると、本来明暗のある部分が白一色となるいわゆる白飛び現象が発生し、反対にトンネルなどの暗所内で被写体に光が当たらない場合など被写体が暗すぎる場合は暗い部分が黒一色となるいわゆる黒潰れ現象が発生し、いずれの場合も人の目を検出できなくなるという問題があった。このような問題に対し、被写体が暗い場合の対策としては特許文献２に開示されるように、撮像素子に赤外線カメラを用いて被写体に赤外光を照射して被写体を撮像する方法が考えられるが、赤外線カメラを用いた場合でも被写体が明るすぎると白飛び現象が生じてしまう。
【０００５】
本発明は上記問題を鑑みてなされたものであり、被写体の明るさに係わらず、安定して人の目を検出することが可能な目検出装置及び車両用表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の目検出装置は、人の顔部を含む被写体を撮像し、撮像した被写体の画像に基づいて人の目を検出する目検出装置であって、
露出の異なる複数の撮像素子を備え、前記複数の撮像素子の各々が前記被写体からの撮像光を受けて前記被写体を撮像する撮像部と、
前記複数の撮像素子の各々で撮像された前記被写体の画像を合成し、前記複数の撮像素子の各々で撮像された前記被写体の画像よりも広いダイナミックレンジを持つハイダイナミックレンジ画像を生成する画像合成部と、
前記ハイダイナミックレンジ画像から人の目を検出する解析部と、を備えてなる。
【０００７】
上記目的を達成するため、本発明の車両用表示システムは、上述の目検出装置によって使用者の目の位置及び／あるいは視線を算出し、前記目検出装置によって算出された前記使用者の目の位置及び／あるいは視線に応じて、ヘッドアップディスプレイ装置から出射される表示画像を示す表示光によって前記使用者が視認する前記表示画像の虚像の位置を調整する。
【発明の効果】
【０００８】
本発明によれば、被写体の明るさに係わらず、安定して人の目を検出することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態における車両用表示システムの構成を説明する図である。
【図２】上記実施形態における車両の使用者が視認する景色を説明する図である。
【図３】上記実施形態における目検出装置を示す概観図である。
【図４】上記実施形態における第１、第２の被写体画像及び合成画像を示す図である。
【図５】上記実施形態における車両用表示システムの動作を説明するフローチャート図である。
【発明を実施するための形態】
【００１０】
図１に、本発明の目検出装置を適用した本実施形態に係る車両用表示システム１のシステム構成を示す。
本実施形態に係る車両用表示システム１は、表示画像を表す表示光Ｌを車両２のフロントガラス（反射透過面の一実施形態）２ａに投影し、表示画像の虚像Ｍを車両２の乗員（主に運転者）である使用者３に視認させるヘッドアップディスプレイ装置（以下、ＨＵＤ装置）１００と、使用者３の顔部を含む被写体を撮像し、使用者３の目を検出して目の位置及び視線を算出する目検出装置２００と、経路案内のための情報を生成するナビゲーションシステム３００と、目検出装置２００とナビゲーションシステム３００とから入力される情報に基づき、ＨＵＤ１００の表示を制御する表示コントローラ４００と、から構成される。
【００１１】
ＨＵＤ装置１００は、虚像Ｍを表示するための表示画像Ｊを表示面に表示する表示器１０と、表示画像Jを示す画像光Ｋを反射する平面ミラー２０と、この平面ミラー２０が反射した画像光Ｋを拡大及び変形して表示光Ｌとしてフロントガラス２ａ側へ反射する自由曲面ミラー３０と、を備える。
【００１２】
表示器１０は、後述する表示コントローラ４００による制御の下、案内経路を示す経路案内画像や、車両２に関する情報を示す車両情報画像等を表示画像Ｊとして表示面に表示するものであり、例えば、液晶パネルなどの表示素子（図示しない）と、この表示素子を照明する光源（図示しない）とから構成される透過型液晶ディスプレイからなる。なお、表示器１０は、透過型液晶ディスプレイではなく、自発光型の有機ＥＬディスプレイや、反射型のＤＭＤ（Ｄｉｇｉｔａｌ  Ｍｉｃｒｏｍｉｒｒｏｒ  Ｄｅｖｉｃｅ）、反射型及び透過型のＬＣｏＳ（登録商標：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  ｏｎ  Ｓｉｌｉｃｏｎ）等で構成されてもよい。後述する表示コントローラ４００は、虚像Ｍを使用者３に視認させるように、目検出装置２００によって算出された使用者３の目の位置及び視線方向に応じて表示器１０の表示面に表示する表示画像Ｊの表示位置を調整する。これにより、使用者３は、視線の先に位置合わせされた虚像Ｍを視認することができる。なお、虚像Ｍの表示位置を調整する他の方法として、例えば自由曲面ミラー３０の角度を調整するモータなどからなる角度調整部を設けてもよい。
【００１３】
平面ミラー２０は、表示器１０が出射した画像光Ｋを、自由曲面ミラー３０に向けて反射させるものである。
【００１４】
自由曲面ミラー３０は、例えば合成樹脂材料からなる凹状の基材の表面に、蒸着等の手段により反射膜を形成したものであり、平面ミラー２０で反射した画像光Ｋを拡大すると共に、画像光Ｋを変形して表示光Ｌとしてフロントガラス２ａの方向に出射する。
【００１５】
図２は、使用者３に視認される虚像Ｍの一例を示す。図２に示す例では、使用者３から見てフロントガラス２ａの奥側で視認される虚像Ｍは、目的地までの経路を案内する経路案内虚像Ｍ１を有する。経路案内虚像Ｍ１は、例えば、アローヘッドや矢印などの形状の画像であり、特定の方向を指示する。また、経路案内虚像Ｍ１には、「２００ｍ先左折」などの文字画像が含まれていてもよい。
【００１６】
以上が、本実施形態におけるＨＵＤ装置１００の光学的な構成であり、ＨＵＤ装置１００から出射された表示光Ｌが車両２のフロントガラス２ａに投影され、使用者３の目に入射することにより、使用者３にステアリング２ｂの上側のフロントガラス２ａの所定の表示可能領域Ｅで虚像Ｍを視認させるものである。このフロントガラス２ａの表示可能領域Ｅは、表示器１０の表示領域に対応しており、表示器１０の表示可能領域Ｅ内で表示画像Ｊを移動させることで、フロントガラス２ａの表示可能領域Ｅ内で虚像Ｍが移動して視認されることになる。
【００１７】
目検出装置２００は、使用者３の顔部を含む被写体を撮像し、被写体の画像から使用者３の目を検出し、使用者３の目の位置及び視線を算出するものであり、本実施形態では、使用者３の前方に配置され被写体を撮像する撮像部２１０と、この撮像部２１０で撮像された被写体の画像を解析する画像解析部２２０と、を備える。
【００１８】
撮像部２１０は、図３に示すように、第１、第２の撮像素子２１１、２１２と、半透過反射部材２１３と、を備える。第１、第２の撮像素子２１１、２１２は例えばＣＣＤやＣＭＯＳなどからなり、互いに露出（感受する光の量）が異なるように構成されている。第１、第２の撮像素子２１１、２１２は互いに異なる角度で配置され、各々が半透過反射部材２１３と対向する。半透過反射部２１３は、被写体からの撮像光Ｎが入射され、撮像光Ｎの一部を第１の撮像光Ｎ１として第１の撮像素子２１１に向けて透過し、一部を第２の撮像光Ｎ２として第２の撮像素子２１２に向けて反射する。半透過反射部２１３の透過率と反射率との比は１：１であるものとする。したがって、第１の撮像光Ｎ１と第２の撮像光Ｎ２とはそれぞれが共に光量が半分となった撮像光Ｎとなる。これにより、第１、第２の撮像素子２１１、２１２は、半透過反射部２１３で撮像光Ｎが分配された第１、第２の撮像光Ｎ１、Ｎ２を受けて各々が被写体を同じ角度から同時に撮像し、第１の撮像素子２１１が第１の被写体画像Ｆを、第２の撮像素子２１２が第２の被写体画像Ｓをそれぞれ画像解析部２１０に同じタイミングで送信することができる。図４（ａ）には第１の被写体画像Ｆの一例を示し、図４（ｂ）には第２の被写体画像Ｓの一例を示す。第１、第２の被写体画像Ｆ、Ｓは互いに露出が異なる画像であり、図４に示す例では第１の被写体画像Ｆは第２の被写体画像Ｓよりも露出が多くなっている。
【００１９】
画像解析部２２０は、画像合成部２２１と、解析部２２２と、を備える。画像合成部２２１は、第１の撮像素子２１１から送信された第１の被写体画像Ｆ及び第２の撮像素子２１２から送信された第２の被写体画像Ｓを合成して合成画像Ｇ（ハイダイナミックレンジ画像）を生成するものである。解析部２２２は、画像合成部２２１で生成した合成画像Ｇから使用者３の目を検出し、使用者３の目の位置及び視線を算出して、目の位置情報Ｉ１及び視線情報Ｉ２を表示コントローラ４００に送信するものである。
【００２０】
次に、図５を参照して、車両用表示システム１における、画像解析部２２０による使用者３の目の位置の検出から表示コントローラ４００による虚像Ｍの位置調整までの処理について説明する。
【００２１】
まず、ステップＳ１０１において、画像解析部２２０は、第１、第２の撮像素子２１１、２１２から第１、第２の被写体画像Ｆ、Ｓを受信する。
【００２２】
次に、ステップＳ１０２において、画像合成部２２１は、内部変数である合成画像Ｇの輝度合計値Ｂｔを初期化する。
【００２３】
次に、ステップＳ１０３において、画像合成部２２１は、第１の被写体画像Ｆの画素と第２の被写体画像Ｓの画素との合成を行う（画素を合成）。具体的には、第１の被写体画像Ｆの画素輝度値Ｂｆに第１の露出係数Ｃｆを乗じた値と第２の被写体画像Ｓの画素輝度値Ｂｓに第２の露出係数Ｃｓを乗じた値とを加算して合成画像Ｇの画素輝度値Ｂｇとする（Ｂｇ＝Ｂｆ×Ｃｆ＋Ｂｓ×Ｃｓ）。したがって、合成画像Ｇの画素輝度値Ｂｇは第１の被写体画像Ｆの画素輝度値Ｂｆ及び第２の被写体画像Ｓの画素輝度値Ｂｓの取り得る範囲より広い範囲を取ることができる。なお、第１、第２の露出係数Ｃｆ、Ｃｓは、第１、第２の撮像素子２１１、２１２の露光時間及びレンズの絞りに応じて予め設定される。
【００２４】
次に、ステップＳ１０４において、画像合成部２２１は、合成画像Ｇの輝度合計値Ｂｔを算出する。具体的には、ステップＳ１０３で算出した合成画像Ｇの画素輝度値Ｂｇを輝度合計値Ｂｔに加算する（Ｂｔ＝Ｂｔ＋Ｂｇ）。
【００２５】
次に、ステップＳ１０５において、画像合成部２２１は、第１、第２の被写体画像Ｆ、Ｓの横１ラインの全ての画素に対してステップＳ１０３及びＳ１０４の処理が終了したか否かを判定する。画素合成部２２１は、横１ラインの全ての画素に対してステップＳ１０３及びＳ１０４の処理が終了していると判定される場合は（ステップＳ１０５；Ｙｅｓ）、ステップＳ１０６に移行し、終了していないと判定される場合（ステップＳ１０５；Ｎｏ）は、ステップＳ１０３に戻って、横１ラインの次の画素に対してステップＳ１０３及びＳ１０４の処理を繰り返し実行する。
【００２６】
次に、ステップＳ１０６において、画像合成部２２１は、第１、第２の被写体画像Ｆ、Ｓの全ての横ラインに対してステップＳ１０３及びＳ１０４の処理が終了したか否かを判定する。画像合成部２２１は、全ての横ラインに対してステップＳ１０３及びＳ１０４の処理が終了したと判定される場合は（ステップＳ１０６；Ｙｅｓ）、ステップＳ１０７に移行し、終了していないと判定される場合は（ステップＳ１０６；Ｎｏ）、ステップＳ１０３に戻って次の横ラインの画素に対してステップＳ１０３及びＳ１０４の処理を繰り返し実行する。このようにして、第１、第２の被写体画像Ｆ、Ｓの全ての画素に対してステップＳ１０３及びＳ１０４の処理が実行される。このようにして合成された画素からなる合成画像Ｇは、第１、第２の被写体画像Ｆ、Ｓよりも広いダイナミックレンジを持つハイダイナミックレンジ画像となる。図４（ｃ）には、合成画像Ｇの一例を示している。図４（ｃ）で示すように、合成画像Ｇとして、第１、第２の被写体画像Ｆ、Ｓに対して白飛び及び黒潰れが低減された画像が得られる。
【００２７】
次に、ステップＳ１０７において、画像合成部２２１は、合成画像Ｇの輝度平均値Ｂａを算出する。具体的には、ステップＳ１０４で算出された合成画像Ｇの輝度合計値Ｂｔを合成画像Ｇの画素数ｄで除算する（Ｂａ＝Ｂｔ／ｄ）。
【００２８】
次に、ステップＳ１０８において、画像合成部２２１は、ステップＳ１０７までの処理で得られた合成画像Ｇ及び合成画像Ｇの輝度平均値Ｂａを保存する。
【００２９】
次に、ステップＳ１０９において、解析部２２２は、画像合成部２２１に保存された合成画像Ｇから合成画像Ｇの輝度平均値Ｂａを用いて使用者３の目を検出する。具体的には、合成画像Ｇの輝度平均値Ｂａに基づいて所定の輝度レンジ（輝度範囲）を設定し、合成画像Ｇのうち設定した輝度レンジの範囲内の部分（画素）に対してエッジ検出を行い、目の輪郭や黒目を検出する（すなわち、極端に輝度が高いあるいは低い部分はエッジ検出を行わない）。前述のように、合成画像Ｇは、第１、第２の被写体画像Ｆ、Ｓに対して白飛び及び黒潰れが低減された画像であるため、被写体の明るさに係わらず安定して使用者３の目を検出することができる。また、合成画像Ｇは広いダイナミックレンジを持つことから全ての画素に対してエッジ検出を行うと従来よりも目の検出に時間を要することが考えられるが、合成画像Ｇの輝度平均値Ｂａを用いてエッジ検出を行う部分を絞り込むことで速やかな目の検出が可能となる。
【００３０】
次に、ステップＳ１１０において、解析部２２２は、ステップＳ１０９で検出された目の輪郭及び黒目の相関関係から、使用者３の目の位置及び視線を算出する。
【００３１】
次に、ステップＳ１１１において、解析部２２２は、ステップＳ１１０で算出した使用者３の目の位置情報Ｉ１及び視線情報Ｉ２を表示コントローラ４００に送信する。
【００３２】
次に、ステップＳ１１２において、表示コントローラ４００は、目検出装置２００から受信した目の位置情報Ｉ１及び視線方向情報Ｉ２に基づいて、表示画像Ｊの表示位置の補正量を算出する。具体的には、予め図示しない記憶部に格納される目の位置及び視線に対する表示補正量を定めた補正データテーブルに基づいて、目検出装置２００から受信した目の位置情報Ｉ１及び視線情報Ｉ２に対する表示補正量を読み出す。
【００３３】
次に、ステップＳ１１３において、表示コントローラ４００は、ステップＳ１１２で算出した表示補正量に基づいて表示画像Ｊを更新し（表示位置を移動させ）、使用者３の視線と重なるように、虚像Ｍの位置を調整する。
【００３４】
車両用表示システム１の各部は、以上の処理を繰り返し実行する。
【００３５】
以上に説明したように、本実施形態における目検出装置２００は、人（使用者３）の顔部を含む被写体を撮像し、撮像した被写体の画像に基づいて人の目を検出する目検出装置であって、露出の異なる複数の撮像素子２１１、２１２を備え、複数の撮像素子２１１、２１２の各々が前記被写体からの撮像光Ｎ１、Ｎ２を受けて前記被写体を撮像する撮像部２１０と、複数の撮像素子２１１、２１２の各々で撮像された前記被写体の画像Ｆ、Ｓを合成し、複数の撮像素子２１１、２１２の各々で撮像された前記被写体の画像Ｆ、Ｓよりも広いダイナミックレンジを持つハイダイナミックレンジ画像（合成画像Ｇ）を生成する画像合成部２２１と、前記ハイダイナミックレンジ画像から人の目を検出する解析部２２２と、を備えてなる。
これによれば、被写体の明るさに係わらず安定して人の目を検出することができる。
【００３６】
また、目検出装置２００は、被写体からの撮像光Ｎを入射し、前記被写体からの撮像光Ｎの一部を透過し、一部を反射して複数の撮像素子２１１、２１２の各々に向けて出射する半透過反射部材２１３を備えてなる。
これによれば、複数の撮像素子２１１、２１２で被写体を同時に撮像して露出の異なる複数の被写体画像Ｆ、Ｓを同じタイミングで画像合成部２２１に送信することができ、ハイダイナミックレンジ画像を生成するのに要する時間を短縮することができる。
【００３７】
また、目検出装置２００において、画像合成部２２１は、前記ハイダイナミックレンジ画像の輝度合計値Ｂｔの平均値Ｂａを算出し、解析部２２２は、輝度合計値Ｂｔの平均値Ｂａに基づいて所定の輝度範囲を設定し、前記ハイダイナミックレンジ画像のうち設定した輝度範囲内の部分から人の目を検出する。
これによれば、ハイダイナミックレンジ画像を用いる際にも、速やかに人の目を検出することができる。
【００３８】
本実施形態の車両用表示システム１は、目検出装置２００によって使用者３の目の位置及び／あるいは視線を算出し、目検出装置２００によって検出された使用者３の目の位置及び／あるいは視線に応じて、ヘッドアップディスプレイ装置１００によって出射される表示画像Ｊを示す表示光Ｌによって使用者３が視認する表示画像Ｊの虚像Ｍの位置を調整する。
これによれば、周囲の明るさに係わらず安定して虚像Ｍの位置調整を行うことができる。
【００３９】
なお、本発明は前述の実施形態に限定されるものではなく、発明の要旨を変更しない範囲内で種々の変更（構成要素の追加及び削除を含む）が可能であることは勿論である。例えば、目検出装置２００と表示コントローラ４００が１つの制御部に一体的に構成されてもよい。また、目検出装置２００は、検出した人の目に基づいて、目の位置及び視線のほか、さらに人の居眠りや脇見、集中の低下などを判定してもよい。また、撮像素子は複数であればよく、３つ以上であってもよい。さらに、撮像素子の数に伴って半透過反射部材が複数備えられてもよい。
【産業上の利用可能性】
【００４０】
本発明は、人の顔を撮像した画像から人の目を検出して目の位置及び／あるいは視線を算出する目検出装置及びこれを用いた車両用表示システムに好適である。
【符号の説明】
【００４１】
１    車両用表示システム
２    車両
３    使用者
１００    ヘッドアップディスプレイ装置
２００    目検出装置
２１０    撮像部
２１１    第１の撮像素子
２１２    第２の撮像素子
２２０    画像解析部
２２１    画像合成部
２２２    解析部
３００    ナビゲーションシステム
４００    表示コントローラ
Ｆ    第１の被写体画像
Ｇ    合成画像（ハイダイナミックレンジ画像）
Ｋ    画像光
Ｌ    表示光
Ｍ    虚像
Ｎ    撮像光
Ｎ１  第１の撮像光
Ｎ２  第２の撮像光
Ｓ    第２の被写体画像
【図１】
2016170052.tif 000003
【図２】
2016170052.tif 000004
【図３】
2016170052.tif 000005
【図４】
2016170052.tif 000006
【図５】
2016170052.tif 000007