(57)【要約】【課題】車両内に容易に取り付け可能で安価に製造が可能な単眼カメラを用いたドライバの視点検出方法とその装置およびそれを用いたヘッドアップディスプレイ装置を提供する。【解決手段】乗り物内においてドライバの視点を検出するドライバの視点検出装置であって、前記乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、前記ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付けられた単眼カメラと、前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、３次元空間において前記検出したドライバの視点に向かう直線を特定し、特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する演算部と、を備えている。【選択図】図８
2019142297.tif 000002
【特許請求の範囲】
【請求項１】
単眼カメラを、乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付け、
前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、
前記３次元空間において前記単眼カメラから前記検出したドライバの視点に向かう直線を特定し、
前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する、ドライバの視点検出方法。
【請求項２】
請求項１に記載のドライバの視点検出方法において、
前記乗り物の長さ方向を前記乗り物内の３次元空間のｘ軸、前記乗り物の幅方向をｙ軸、前記乗り物の高さ方向をｚ軸とし、
前記鉛直平面は、前記ドライバの座席の中央を通る３次元上の鉛直平面（ｚ-ｘ平面）であり、
前記単眼カメラは、前記鉛直平面（ｚ-ｘ平面）に対して予め設定された距離だけｙ軸方向に離れて配置されている、ドライバの視点検出方法。
【請求項３】
乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付けられた単眼カメラと、
前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、前記３次元空間において前記検出したドライバの視点に向かう直線を特定し、前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する演算部と、を備えた、ドライバの視点検出装置。
【請求項４】
請求項３に記載のドライバの視点検出装置において、
前記乗り物の長さ方向を前記乗り物内の３次元空間のｘ軸、前記乗り物の幅方向をｙ軸、高さ方向をｚ軸とし、
前記鉛直平面は、前記ドライバの座席の中央を通る３次元上の鉛直平面（ｚ-ｘ平面）であり、
前記単眼カメラは、前記鉛直平面（ｚ-ｘ平面）に対して予め設定された距離だけｙ軸方向に離れて配置されている、ドライバの視点検出装置。
【請求項５】
光源および表示素子を有し、前記表示素子に映像を形成する映像表示装置と、
前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を乗り物の前方に表示する虚像光学系と、
ドライバの視点を検出する視点検出装置と、
前記映像表示装置からの光を出射する方向を調整する光出射方向調整手段と、を備え、
前記視点検出装置は、
前記乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、前記ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付けられた単眼カメラと、
前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、前記３次元空間において前記検出したドライバの視点に向かう直線を特定し、前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する演算部と、を有し、
前記光出射方向調整手段は、前記演算部で求めた前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）に基づいて前記光を出射する方向を調整する、ヘッドアップディスプレイ装置。
【請求項６】
請求項５に記載のヘッドアップディスプレイ装置において、
前記乗り物の長さ方向を前記乗り物内の３次元空間のｘ軸、前記乗り物の幅方向をｙ軸、高さ方向をｚ軸とし、
前記鉛直平面は、前記ドライバの座席の中央を通る３次元上の鉛直平面（ｚ-ｘ平面）であり、
前記単眼カメラは、前記鉛直平面（ｚ-ｘ平面）に対して予め設定された距離だけｙ軸方向に離れて配置されている、ヘッドアップディスプレイ装置。
【請求項７】
請求項６に記載のヘッドアップディスプレイ装置において、
前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの顔の前記乗り物前方に対する傾斜を推定する顔向き推定手段を備え、
前記光出射方向調整手段は、前記顔向き推定手段により推定されたドライバの顔の前記乗り物前方に対する傾斜に基づいて前記光を出射する方向を調整する、ヘッドアップディスプレイ装置。
【請求項８】
請求項７に記載のヘッドアップディスプレイ装置において、
前記光出射方向調整手段は、前記顔向き推定手段により推定されたドライバの顔の前記乗り物前方に対する傾斜が所定の許容範囲内にあるときは、求めた前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）に基づいて光を出射する方向を調整し、前記顔向き推定手段により推定されたドライバの顔の前記乗り物前方に対する傾斜が所定の範囲外のときは光の出射方向の調整を行わない、ヘッドアップディスプレイ装置。
【請求項９】
請求項８に記載のヘッドアップディスプレイ装置において、
前記顔向き推定手段により推定されたドライバの顔の前記乗り物前方に対する傾斜は、前記乗り物前方に対するロール方向、ピッチ方向、ヨー方向の少なくとも１つの傾斜角度を含んでいる、ヘッドアップディスプレイ装置。
【請求項１０】
請求項９に記載のヘッドアップディスプレイ装置において、
前記ドライバの顔の前記乗り物前方に対する傾斜の許容範囲は、±１０°である、ヘッドアップディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばドライバの視点を検出する視点検出方法とその装置に関し、特に、透明なガラス等に画像を投影／反射して虚像として表示するヘッドアップディスプレイ装置において用いるのに適したドライバの視点検出方法とその装置およびそれを用いたヘッドアップディスプレイ装置に関する。
【背景技術】
【０００２】
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれ、もしくはダッシュボード上に設置されたディスプレイに表示される。運転者（ドライバ）がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）やコンバイナ等に投射して表示するヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ、以下では「ＨＵＤ」と記載する場合がある）装置が既に知られている。
【０００３】
かかるＨＵＤに関連する技術として、例えば、以下の特許文献１には、ＨＵＤと視点検出カメラであるドライバ撮影カメラを組み合わせた技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９２３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は、特に、障害物等までの距離感を得やすい表示装置を提供することを目的とするものであり、以下にも詳細に述べるような課題、すなわち、簡易に取り付け可能で安価な単眼カメラを用いてドライバの視点を検出することに関しては記載されていなかった。
【０００６】
そこで本発明では、乗り物内においても容易に取り付けることが可能で、かつ、安価に製造が可能な単眼カメラを用いたドライバの視点検出方法とその装置、さらには、それを用いたヘッドアップディスプレイ装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【０００８】
本発明では、一例として、乗り物内においてドライバの視点を検出するドライバの視点検出方法であって、単眼カメラを、前記乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、前記ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付け、前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、前記３次元空間において前記単眼カメラから前記検出したドライバの視点に向かう直線を特定し、前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（xd，yd，zd）を検出する、ドライバの視点検出方法が提供される。
【０００９】
また、本発明では、一例として、乗り物内においてドライバの視点を検出するドライバの視点検出装置であって、前記乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、前記ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付けられた単眼カメラと、前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、前記３次元空間において前記検出したドライバの視点に向かう直線を特定し、前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する演算部と、を備えた、ドライバの視点検出装置が提供される。
【００１０】
さらに、本発明では、上記の方法または装置を用いたヘッドアップディスプレイ装置として、光源および表示素子を有し、前記表示素子に映像を形成する映像表示装置と、前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を乗り物の前方に表示する虚像光学系と、ドライバの視点を検出する視点検出装置と、前記映像表示装置からの光を出射する方向を調整する光出射方向調整手段と、を備え、前記視点検出装置は、前記乗り物内の３次元空間（ｘ軸、ｙ軸、ｚ軸）の前方の一部において、前記ドライバの顔を含む２次元画像が撮像可能な位置に固定して取り付けられた単眼カメラと、前記単眼カメラにより撮像した２次元カメラ画像から前記ドライバの視点を検出し、前記３次元空間において前記検出したドライバの視点に向かう直線を特定し、前記特定した直線が前記ドライバの視点を含む鉛直平面と交わる点を求めることにより、前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）を検出する演算部と、を有し、前記光出射方向調整手段は、前記演算部で求めた前記ドライバの３次元上の視点座標（ｘd，ｙd，ｚd）に基づいて前記光を出射する方向を調整する、ヘッドアップディスプレイ装置が提供される。
【発明の効果】
【００１１】
本発明によれば、乗り物内においても簡易に取り付けることが可能で、かつ、安価に製造が可能な単眼カメラを用いたドライバの視点検出方法とその装置を、さらには、それを用いたヘッドアップディスプレイ装置を提供するという実用的にも優れた効果を発揮する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係る車両用ヘッドアップディスプレイ装置の動作概念の概要を示した図である。
【図２】本発明の一実施の形態に係るヘッドアップディスプレイ装置における虚像の位置の調整について説明する説明図である。
【図３】本発明の一実施の形態に係るヘッドアップディスプレイ装置における視点検出制御部の構成の一例を示すブロック図である。
【図４】本発明の一実施の形態に係るヘッドアップディスプレイ装置におけるＨＵＤ制御部の構成の一例を示すブロック図である。
【図５】（ａ）、（ｂ）は本発明の一実施の形態に係るヘッドアップディスプレイ装置におけるドライバの運転状態の変化による課題を説明するための図である。
【図６】（ａ）、（ｂ）は本発明の一実施の形態に係るドライバの視点検出方法とその装置の原理について説明するための図である。
【図７】本発明の一実施の形態に係るドライバの視点検出方法とその装置の原理について説明するための図である。
【図８】本発明の一実施の形態に係るドライバの視点検出方法とその装置の原理について説明するための図である。
【図９】実際のヘッドアップディスプレイ装置におけるほかの課題について説明するための図である。
【図１０】（ａ）〜（ｃ）はほかの課題の解決案について説明するための図である。
【図１１】本発明の一実施の形態に係るヘッドアップディスプレイ装置におけるドライバ視点検出とその結果に基づく凹面ミラーの位置調整の全体の処理フローを示した図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、ほかの図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。また、以下に示す実施の形態では、本発明のドライバの視点検出方法とその装置を、主に、自動車等の車両に設置される車両用のヘッドアップディスプレイ（ＨＵＤ）装置に適用した例について詳細に説明する。なお、前記ＨＵＤ装置は車両だけではなく、電車や航空機等のほかの乗り物にも適用可能であり、また、乗り物以外の用途に用いるＨＵＤ装置にも適用可能である。
【００１４】
本発明の視点検出方法とその装置に先立って、まず、本発明のドライバの視点検出方法とその装置を適用した一実施の形態である車両用のヘッドアップディスプレイ（ＨＵＤ）装置を説明する。図１は、ＨＵＤ装置の動作概念の概要を示した図である。本実施の形態のＨＵＤ装置１では、ここでは図示しない筐体内、もしくは、筐体に着脱可能な箇所に配置された映像表示装置３０によって表示された映像を、必要な光学素子（ここでは、反射ミラー５１）を介して、凹面ミラー５２により反射させて、車両２のウィンドシールド３に投射する。
【００１５】
ここで、被投射部材はウィンドシールド３に限られず、映像が投射される部材であれば、コンバイナ等ほかの部材としても構わない。また、映像表示装置３０は、例えば、バックライトを有するプロジェクタやＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等により構成される。自発光型のＶＦＤ（Ｖａｃｕｕｍ  Ｆｌｕｏｒｅｓｃｅｎｔ  Ｄｉｓｐｌａｙ）等であってもよい。投射装置によりスクリーンに映像を表示するものであってもよい。このようなスクリーンとしては、例えば、マイクロレンズを２次元状に配置したマイクロレンズアレイにより構成してもよい。
【００１６】
凹面ミラー５２は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等により構成される。より具体的には、凹面ミラー５２の形状は、虚像の歪みを低減するために、例えば、その上部の領域（すなわち、ここで反射した光線はウィンドシールド３の下方で反射するため、相対的に運転者（ドライバ）の視点５との距離が短くなる）では、拡大率が大きくなるように相対的に曲率半径を小さくする。一方、凹面ミラー５２の下部の領域（すなわち、ここで反射した光線はウィンドシールド３の上方で反射するため、相対的にドライバの視点５との距離が長くなる）では、拡大率が小さくなるように相対的に曲率半径を大きくする。映像表示装置３０を凹面ミラー５２の光軸に対して傾斜させて配置することで、上記のような像倍率の違いを補正して、発生する歪みそのものを低減するようにしてもよい。
【００１７】
ドライバは、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認する。凹面ミラー５２の角度を調整することで、映像をウィンドシールド３に投射する位置を調整することにより、ドライバが見る虚像の表示位置を上下方向に調整可能としてもよい。なお、虚像として表示する内容は特に限定されず、例えば、車両情報やナビゲーション情報、図示しないカメラ等で撮影した風景の映像などを適宜表示することができる。
【００１８】
また、図中の符号６は、本発明のドライバの視点検出方法を採用した単眼カメラであり、ドライバの視点を検出する手段を構成する。なお、この視点検出手段である単眼カメラは、ドライバの視点を検出可能であればよく、例えば、ここではダッシュボード６１の一部に取り付けた例について説明するが、あるいは、ウィンドシールド３の一部に取り付けられてもよい。
【００１９】
続いて、上記にその構成を説明したＨＵＤ装置１における虚像の位置の調整について、図２を参照しながら、以下に詳述する。基本的には、本発明のＨＵＤ装置では、ダッシュボード６１の一部に取り付けられたドライバの視点５を検出する手段である視点検出用の単眼カメラ６により、ドライバの視点５に対応して凹面ミラー５２の傾斜角度を制御し、もって、車両２のウィンドシールド３に投射する虚像の位置を調整／制御する。なお、図には、ドライバの視点５の位置Ａ、Ｂ、Ｃに対応して、凹面ミラー５２の傾斜位置、ウィンドシールド３上の虚像の投射位置、そして、ドライバの視点５から見える虚像の位置が、それぞれ、Ａ、Ｂ、Ｃによって示されている。
【００２０】
なお、上述した制御は、例えば、図３にブロック図で示す視点検出制御部２０の通信部２４が、図４に示すＨＵＤ制御部３１に視点情報を通知し、ＨＵＤ制御部３１が凹面ミラー５２を移動させることで実現する。この視点検出制御部２０では、単眼カメラ６やエンジン始動センサ１０９等の各デバイスからの情報の取得は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）（１）２１の制御の下で行われる。また、ＨＵＤ制御部３１では、車両情報４の取得、スピーカ６０の制御、映像表示装置３０の制御、および凹面ミラー５２の駆動はＨＵＤ制御部３１のＥＣＵ（２）３２の制御の下で行われる。しかしながら、必ずしもこれらに限定する必要はなく、また、ほかの種類のデバイスを備えていてもよい。
【００２１】
このように、ＨＵＤ用視点検出システムは、車両２の各部に設置された各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報４を取得して出力する。この車両情報４には、ここでは図示しないが、例えば、車両２内部の温度情報（温度センサ）、速度情報（車速センサ）、距離情報（測距センサ）、カメラ映像情報（カメラ）、エンジンの始動情報（エンジン始動センサ）等が含まれてもよい。
【００２２】
視点検出制御部２０は、検出した視点情報をＨＵＤ制御部３１に通知する機能を有し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）（図示しない）とこれにより実行されるソフトウェア（例えば、視点検出制御部２０の不揮発性メモリ２２やメモリ２３に格納）により実装される。マイコンやＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェアにより実装されていてもよい。検出した視点情報は、通信部２４を介し、ＣＡＮやＥｔｈｅｒｎｅｔ（登録商標）などによりＨＵＤ制御部３１に通知される。また、ＨＵＤ制御部３１は、車両情報取得部１０から取得した車両情報等に基づいて、虚像として表示する映像を、映像表示装置３０を駆動して形成し、これを凹面ミラー５２によって反射させることでウィンドシールド３に投射する。これと共に、ミラー駆動部４５により、凹面ミラー５２の傾斜角度の制御を行う。なお、エンジン始動センサ１０９は、エンジンの始動を把握するためであり、エンジン始動時に、システムを開始する。
【００２３】
さらに、上記の視点検出制御部２０によれば、赤外線ＬＥＤ１２０は、赤外線ＬＥＤ制御部１２１を介して、夜間にドライバの視点を検出するために点灯される。
【００２４】
ＨＵＤ制御部３１は、車両情報４に基づいた映像の投影、および、視点検出制御部２０から通知された視点情報を基に、凹面ミラー５２を移動させる機能を有し、ＣＰＵとこれにより実行されるソフトウェア（例えば、図４のＨＵＤ制御部３１の不揮発性メモリ３５やメモリ３６に格納）により実装される。マイコンやＦＰＧＡ等のハードウェアにより実装されていてもよい。
【００２５】
＜視点検出システムにおける課題と本発明のドライバの視点検出方法＞
上述したヘッドアップディスプレイ装置では、図２にも示すように、表示する虚像の位置をドライバの視点５に応じて移動することが行われる。
【００２６】
そのため、従来の視点検出システムにおいては、ドライバの視点５の検出により検出された視点座標（ｕ，ｖ）を３Ｄ視点座標（ｘ，ｙ，ｚ）に変換する際、単眼カメラ６の撮像位置に応じたパラメータを設定する必要があった。
【００２７】
かかる単眼カメラを用いた視点検出システムでは、カメラから顔（視点）までの測距は、単眼カメラによる顔検出機能で検出した顔のサイズから距離を算出しているため、顔のサイズの個人差により変動してしまい、精度が悪いという課題が指摘されている。この課題を、単眼カメラを用いた視点検出システムで解決する手段の１つとして、複数（２個以上）の単眼カメラを用いてドライバの顔（視点）までの測距を行うことが考えられるが、単眼カメラ１つで測距することができればコスト面でのメリットが得られる。
【００２８】
そこで、本発明では、単眼カメラを用いても十分に精度の高いドライバの視点検出方法とその装置を提案するものであり、もって、車両内においても簡易に取り付けることが可能で、かつ、安価に製造が可能な視点検出システムを実現し、さらには、それを用いたヘッドアップディスプレイ装置を提供するものである。より具体的には、例えば、図５に示すように、ドライバが通常の運転状態（図５（ａ））から、前かがみの状態（図５（ｂ））に移った場合でも、単眼カメラ６の画像から車内でのドライバの視点５を特定して検出することが可能となる。
【００２９】
続いて、本発明の単眼カメラを用いたドライバの視点検出方法について、以下に詳細に説明する。
【００３０】
＜単眼カメラの配置と座標＞
図６（ａ）にも示すように、車両内部において単眼カメラ６をドライバの顔（視点）が撮像可能な位置、例えば、本例ではドライバの前面にあるダッシュボード６１の一部（右隅）に固定して配置する。このとき、前記単眼カメラ６を、車両内部の３次元空間座標における中心に配置すると共に、ｘ軸を車両の長さ方向（車の進行方向）に、ｙ軸を車両の幅方向、ｚ軸を高さ（鉛直）方向に設定する。この状態を上から見た状況を図６（ｂ）に示す。すなわち、図からも明らかなように、単眼カメラ６は、それを中心とした車両内の３次元空間において、ドライバの前面からその顔（視点）を含む画像を撮影する（図に網掛けで示す「撮影範囲」を参照）。
【００３１】
次に、図７では、上記の前提に基づいて、まず、単眼カメラ６によって撮像された２次元カメラ画像から目（視点）を検出する。続いて、単眼カメラ６（３次元空間の原点）から検出したドライバの目（視点）５に向かう（すなわち、単眼カメラ６と視点とを結ぶ）直線を求める。これにより、単眼カメラ６である３次元空間の原点から見た場合のドライバの目（視点）５の方向に向かう直線を特定することが可能となる。換言すれば、単眼カメラ６の設置方向と画角との関係から、カメラ画像（２次元）上の１点（上記ではドライバの目の位置）を指定すると、単眼カメラ６と画像上の１点を結ぶ３次元空間上の直線を求めることができる。但し、直線上のどこに目が位置しているかについては限定できない。
【００３２】
続いて、図８にも示すように、上記で求めた３次元上の直線と、座席中央（または、ステアリングホイール７の中心軸）を通る３次元上の鉛直平面（ｚ−ｘ平面）との交点を求め、前記求めた交点がドライバの目である視点位置となる。なお、座席中央（ステアリングホイール７の中心軸）を通る３次元上の鉛直平面（ｚ−ｘ平面）は、車両の幅方向（ｙ軸）において単眼カメラ６（原点）から座席中央までの距離Ｌだけ離れたｚ−ｘ平面であり、その距離は、単眼カメラ６を車両の内部に配置する際に予め設定し、または、計測することによって容易に求めることができる。
【００３３】
すなわち、ＨＵＤ装置１では、図には示さないが、上記図４のＨＵＤ制御部３１が、例えば、イグニッション等の電源がオン状態になって処理を開始し、単眼カメラ６により撮像されたドライバの顔に基づいて、上記で述べた本発明の視点検出方法によりドライバの視点座標（ｘd，ｙd，ｚd）を求め、求めた視点に基づいて凹面ミラー５２を移動させる一連の処理を繰り返す。
【００３４】
ところで、上述した視点検出方法では、通常、ドライバの顔は、上から見た場合、当該平面上に位置している前提に基づいているが、しかしながら、実際のＨＵＤ装置１では、図９にも示すように、顔が座席の中心にない場合もある。その場合、図において破線や一点鎖線で示すように、ドライバの目である視点位置と座席の中心との間に差異（ズレ）が生じてしまい、視点検出システムによる凹面ミラー５２の角度調整による虚像の表示位置調整が適正に行われない場合が生じる。
【００３５】
そこで、単眼カメラ６で撮像された画像によりドライバの顔の向きを推定し、推定される顔の向きによって、ドライバの顔が座席の中央に位置しているか否かを判定して凹面ミラー５２の位置調整を実行することが提案される。例えば、図１０（ａ）にも示すように、単眼カメラ６で撮像された画像に基づいてドライバの顔の向き（図に矢印で示すように、ロール、ピッチ、ヨーの３方向の向き）を推定し、顔が車両前方を向いていると判定される場合には、上記で求められたドライバの視点座標（ｘd，ｙd，ｚd）によって凹面ミラー５２の角度調整による虚像の表示位置調整を実行し、図１０（ｂ）や（ｃ）にも示すように、ドライバの顔の向きが車両前方から外れている場合には、凹面ミラー５２の角度調整による虚像の表示位置調整は行わないようにする。
【００３６】
より具体的には、図１１には、視点検出システムにおける処理について、上述したドライバの目（視点）５の位置の検出をも含めて詳細に示す。なお、この処理は、視点検出制御部２０を構成するＥＣＵ（１）２１において不揮発性メモリ２２やメモリ２３に格納されたソフトウェアに基づいて実行される。
【００３７】
図１１にも示すように、この処理はエンジン始動時における電源（イグニッション）の投入により開始し、まず、単眼カメラ６で撮像された２次元画像を取り込み、前記２次元画像に基づく画像処理によりドライバの視点（目）５を検出する（ステップＳ１１１）。そして、単眼カメラ６が配置された位置である３次元空間の原点から上記２次元画像上に検出した視点（目）５に向かう直線を特定する（ステップＳ１１２）。さらに、上記直線と座席中央を通る鉛直平面（ｚ-ｘ平面）との交点からドライバの視点座標（ｘd，ｙd，ｚd）を求める（ステップＳ１１３）。
【００３８】
その後、求めたドライバの視点座標（ｘd，ｙd，ｚd）により視点検出システムによる凹面ミラー５２の角度調整による虚像の表示位置調整を行うこととなるが、その際、図１１にも示すように、上記単眼カメラ６で撮像された２次元画像から既存の画像処理技術によりドライバの顔の向き（車両前方に対する傾斜）を推定して３方向の向き（ロール、ピッチ、ヨー）を求める（ステップＳ１１４）。その後、これらの求められた３方向の向き（ロール、ピッチ、ヨー）について、それぞれ、予め設定された所定の範囲（例えば、±１０°）と比較し、各方向の向きが所定の許容範囲内であるか否かを判定する。具体的には、ロール方向の角度が所定範囲内であるか否かを判定し（ステップＳ１１５）、ピッチ方向の角度が所定範囲内であるか否かを判定し（ステップＳ１１６）、そして、ヨー方向の角度が所定範囲内であるか否かを判定する（ステップＳ１１７）。
【００３９】
その結果、求められた３方向の向きが所定の範囲内である（Ｙｅｓ）と判定された場合には、ドライバの顔は車両前方を向いているものとしてドライバの視点座標を求める。上記ドライバの視点座標（ｘd，ｙd，ｚd）によって凹面ミラー５２の角度調整による虚像の表示位置調整を実行し（ステップＳ１１８）、上記のステップＳ１１１へ戻り、再び、一連の処理を繰り返す。他方、３方向の少なくともいずれか１つの向きにおいて予め設定された所定の範囲を外れている（Ｎｏ）と判定される場合には、ドライバの顔は車両前方以外を向いているものとして、凹面ミラー５２の角度調整による虚像の表示位置調整を行わずに上記のステップＳ１１１へ戻り、再び、一連の処理を繰り返す。
【００４０】
なお、上記では、２次元カメラ画像は、単眼カメラ６によって自然光のもとで撮像されるものと説明した。しかしながら、夜間やトンネル内の暗い環境下においては、単眼カメラ６の感度を高くすることによって必要な２次元カメラ画像を撮像することも可能であるが、その他、上述した夜間にドライバの視点を検出するために点灯される視点検出制御部２０（図３を参照）の赤外線ＬＥＤ１２０を利用することも可能である。なお、その場合、赤外線ＬＥＤ制御部１２１を介して赤外線ＬＥＤ１２０を点灯することはいうまでもなかろう。
【００４１】
以上に述べた詳細な説明からも明らかなように、上述した視点検出システムにおける処理によれば、車両内においても簡易に取り付けることが可能で、かつ、コスト面からも有利な単眼カメラを用いることにより、十分に精度の高い視点検出方法とその装置を提供することが可能であり、かかる視点検出方法とその装置を採用することにより、安価に製造が可能な視点検出システムを実現すると共に、さらには、それを用いたヘッドアップディスプレイ装置を提供することが可能となる。
【００４２】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部をほかの実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成にほかの実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、ほかの構成の追加・削除・置換をすることが可能である。
【産業上の利用可能性】
【００４３】
本発明は、特に、車両のウィンドシールドを介して虚像をドライバに対して表示するヘッドアップディスプレイ装置等に利用可能である。
【符号の説明】
【００４４】
１…ＨＵＤ装置、２…車両、３…ウィンドシールド、４…車両情報、５…ドライバの視点、６…単眼カメラ、６１…ダッシュボード、７…ステアリングホイール、２０…視点検出制御部、２１…ＥＣＵ（１）、２２…不揮発性メモリ、２３…メモリ、２４…通信部、３０…映像表示装置、３１…ＨＵＤ制御部、３２…ＥＣＵ（２）、５１…反射ミラー、５２…凹面ミラー、３５…不揮発性メモリ、３６…メモリ、４５…ミラー駆動部、６０…スピーカ、１０９…エンジン始動センサ、１２０…赤外線ＬＥＤ、１２１…赤外線ＬＥＤ制御部。
【図１】
2019142297.tif 000003
【図２】
2019142297.tif 000004
【図３】
2019142297.tif 000005
【図４】
2019142297.tif 000006
【図５】
2019142297.tif 000007
【図６】
2019142297.tif 000008
【図７】
2019142297.tif 000009
【図８】
2019142297.tif 000010
【図９】
2019142297.tif 000011
【図１０】
2019142297.tif 000012
【図１１】
2019142297.tif 000013