(57)【要約】【課題】観察者であるドライバに対する虚像の表示位置を最適に制御可能な実用的にも優れたヘッドアップディスプレイ装置とドライバ視点検出方法を提供する。【解決手段】車両用のヘッドアップディスプレイ装置であって、光源および表示素子を有し、表示素子に映像を形成する映像表示装置と、前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を前記車両の前方に表示する虚像光学系と、ドライバの視点を検出するカメラ手段と、を備え前記カメラ手段は、カメラ設置位置の移動によっても、前記車両内での撮像位置を一意に決定する機能を有するヘッドアップディスプレイ装置。【選択図】図７
2019026198.tif 000002
【特許請求の範囲】
【請求項１】
車両用のヘッドアップディスプレイ装置であって、
光源および表示素子を有し、表示素子に映像を形成する映像表示装置と、
前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を前記車両の前方に表示する虚像光学系と、
ドライバの視点を検出するカメラ手段と、を備え、
前記カメラ手段は、カメラ設置位置の移動によっても、前記車両内での撮像位置を一意に決定する機能を有する、ヘッドアップディスプレイ装置。
【請求項２】
請求項１に記載のヘッドアップディスプレイ装置において、
前記カメラ手段は、前記車両内の一部を利用して前記撮像位置を一意に決定する、ヘッドアップディスプレイ装置。
【請求項３】
請求項２に記載のヘッドアップディスプレイ装置において、
前記カメラ手段は、前記車両内の一部として、前記ウィンドシールドを前部座席と後部座席の間で支持する柱を利用する、ヘッドアップディスプレイ装置。
【請求項４】
請求項１に記載のヘッドアップディスプレイ装置において、
前記カメラ手段は、前記車両内のステアリングコラムに取り付けられている、ヘッドアップディスプレイ装置。
【請求項５】
車両用のヘッドアップディスプレイ装置において撮影カメラからの画像に基づいてドライバの視点を前記車両内の３Ｄ空間座標上に特定するドライバ視点検出方法であって、
前記撮影カメラからの画像により前記車両内の３Ｄ空間内において移動しない物体の座標を求め、
求めた物体の前記座標から前記撮影カメラの位置、上向きベクトル、注視点についてのパラメータを求め、
求めた前記パラメータの設定により、前記撮影カメラからの画像に基づいて前記車両内の３Ｄ空間内における視点を検出する、ドライバ視点検出方法。
【請求項６】
請求項５に記載のドライバ視点検出方法において、
前記３Ｄ空間内において移動しない物体は、ウィンドシールドを前部座席と後部座席の間で支持する柱である、ドライバ視点検出方法。
【請求項７】
請求項５に記載のドライバ視点検出方法において、
前記撮影カメラは、前記車両内のステアリングコラムに取り付けられている、ドライバ視点検出方法。
【請求項８】
請求項５に記載のドライバ視点検出方法において、
前記撮影カメラからの画像によるニアクリップ平面とファークリップ平面に基づいて、前記車両内の前記３Ｄ空間における視点を算出する、ドライバ視点検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透明なガラス等に画像を投影／反射して虚像として表示するヘッドアップディスプレイ装置に関し、特に、ドライバ撮影カメラを備えて表示する虚像の位置をドライバにとって最適な位置に表示するヘッドアップディスプレイ装置とそのためのドライバ視点検出方法に関するものである。
【背景技術】
【０００２】
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれ、もしくはダッシュボード上に設置されたディスプレイに表示される。運転者（ドライバ）がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）やコンバイナ等に投射して表示するヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ、以下では「ＨＵＤ」と記載する場合がある）装置が既に知られている。
【０００３】
かかるＨＵＤに関連する技術として、例えば、以下の特許文献１には、ＨＵＤと視点検出カメラであるドライバ撮影カメラを組み合わせた技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−９２３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術は、特に、障害物等までの距離感を得やすい表示装置を提供することを目的とするものであり、以下にも詳細に述べるような課題、すなわち、ヘッドアップディスプレイ装置により表示する虚像をドライバにとって最適な位置に表示することに関しては記載されていなかった。
【０００６】
そこで本発明の目的は、虚像である投射画像の表示位置を、その観察者であるドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置とそのためのドライバ視点検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【０００８】
本発明では、上記の目的を達成するため、まず、車両用のヘッドアップディスプレイ装置であって、光源および表示素子を有し、前記表示素子に映像を形成する映像表示装置と、前記映像表示装置から出射された光をウィンドシールドまたはコンバイナで反射させることで虚像を前記車両の前方に表示する虚像光学系と、ドライバの視点を検出するカメラ手段と、を備え、前記カメラ手段は、カメラ設置位置の移動によっても、前記車両内での撮像位置を一意に決定する機能を有するヘッドアップディスプレイ装置が提供される。
【０００９】
また、本発明では、上記の目的を達成するため、車両用のヘッドアップディスプレイ装置において、撮影カメラからの画像に基づいてドライバの視点を前記車両内の３Ｄ空間座標上に特定する視点検出方法であって、前記撮影カメラからの画像により前記車両内の３Ｄ空間内において移動しない物体の座標を求め、前記求めた物体の座標から前記撮影カメラの位置、上向きベクトル、注視点についてのパラメータを求め、前記求めたパラメータの設定により、前記撮影カメラからの画像に基づいて前記車両内の３Ｄ空間内における視点を検出するドライバ視点検出方法が提供される。
【発明の効果】
【００１０】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００１１】
すなわち、本発明の代表的な実施の形態によれば、虚像である投射画像の表示位置を、その観察者であるドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置とそのためのドライバ視点検出方法が提供されるという効果を発揮する。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態に係るヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。
【図２】上記ヘッドアップディスプレイ装置における虚像の位置の調整について説明する説明図である。
【図３Ａ】上記ヘッドアップディスプレイ装置におけるＨＵＤ用視点検出システムの構成の一例を示すブロック図である。
【図３Ｂ】上記ヘッドアップディスプレイ装置におけるＨＵＤ用視点検出システムの構成の一例を示すブロック図である。
【図４】上記ヘッドアップディスプレイ装置におけるカメラの撮像位置の変化による課題を説明するための図である。
【図５】上記ヘッドアップディスプレイ装置におけるドライバの運転状態の変化による課題を説明するための図である。
【図６】上記ヘッドアップディスプレイ装置におけるステアリングコラムの位置を調整（移動）した場合の課題を説明するための図である。
【図７】上記ヘッドアップディスプレイ装置におけるドライバ視点検出方法の全体の処理フローを示した図である。
【図８】本発明の一実施の形態に係るヘッドアップディスプレイ装置におけるカメラ位置補正の概要である全体の処理フローを示した図である。
【図９】上記ヘッドアップディスプレイ装置におけるＢピラーの検出点の変化について説明するための図である。
【図１０】上記ヘッドアップディスプレイ装置におけるカメラの撮像位置であるカメラ位置、カメラの上向きベクトル、カメラ注視点を説明するための図である。
【図１１】上記ヘッドアップディスプレイ装置における視点座標（ｕ，ｖ）変換処理と視点座標変換処理の概要である全体のフローを示した図である。
【図１２】本発明の一実施の形態に係るヘッドアップディスプレイ装置における視点座標変換処理の一例を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、ほかの図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。また、以下に示す実施の形態では、ヘッドアップディスプレイ（ＨＵＤ）装置が自動車等の車両に設置される場合を例として説明するが、電車や航空機等のほかの乗り物にも適用可能である。また、乗り物以外の用途に用いるＨＵＤ装置にも適用可能である。
【００１４】
図１は、本発明の一実施の形態に係るヘッドアップディスプレイ装置の動作概念の例について概要を示した図である。本実施の形態のＨＵＤ装置１では、ここでは図示しない筐体内、もしくは、筐体に着脱可能な箇所に配置された映像表示装置３０によって表示された映像を、必要な光学素子（ここでは、反射ミラー５１）を介して、凹面ミラー５２により反射させて、車両２のウィンドシールド３に投射する。
【００１５】
ここで、被投射部材はウィンドシールド３に限られず、映像が投射される部材であれば、コンバイナなどほかの部材としても構わない。また、映像表示装置３０は、例えば、バックライトを有するプロジェクタやＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等により構成される。自発光型のＶＦＤ（Ｖａｃｕｕｍ  Ｆｌｕｏｒｅｓｅ  Ｄｉｓｐｌａｙ）等であってもよい。投射装置によりスクリーンに映像を表示するものであってもよい。このようなスクリーンとしては、例えば、マイクロレンズを２次元状に配置したマイクロレンズアレイにより構成してもよい。
【００１６】
凹面ミラー５２は、例えば、自由曲面ミラーや光軸非対称の形状を有するミラー等により構成される。より具体的には、凹面ミラー５２の形状は、虚像の歪みを低減するために、例えば、その上部の領域（すなわち、ここで反射した光線はウィンドシールド３の下方で反射するため、相対的に運転者（ドライバ）の視点５との距離が短くなる）では、拡大率が大きくなるように相対的に曲率半径を小さくする。一方、凹面ミラー５２の下部の領域（すなわち、ここで反射した光線はウィンドシールド３の上方で反射するため、相対的にドライバ５の視点との距離が長くなる）では、拡大率が小さくなるように相対的に曲率半径を大きくする。映像表示装置３０を凹面ミラー５２の光軸に対して傾斜させて配置することで、上記のような像倍率の違いを補正して、発生する歪みそのものを低減するようにしてもよい。
【００１７】
ドライバは、ウィンドシールド３に投射された映像を見ることで、透明のウィンドシールド３を通してその前方に虚像として上記映像を視認する。凹面ミラー５２の角度を調整することで、映像をウィンドシールド３に投射する位置を調整することにより、ドライバが見る虚像の表示位置を上下方向に調整可能としてもよい。なお、虚像として表示する内容は特に限定されず、例えば、車両情報やナビゲーション情報、図示しないカメラ映像（監視カメラやアラウンドビュアー等）で撮影した風景の映像などを適宜表示することができる。
【００１８】
また、図中の符号６は、ステアリングコラム７１に取り付けられた、例えば、赤外線カメラを含むカメラであり、ドライバの視点を検出する手段を構成する。なお、この視点検出手段であるカメラは、必ずしも、上述したようにステアリングコラム７１の一部に取り付けられる必要はなく、ドライバの視点を検出可能であればよく、例えば、ダッシュボードの一部、または、ウィンドシールド３の一部に取り付けられてもよい。
【００１９】
続いて、上記にその構成を説明したＨＵＤ装置１における虚像の位置の調整について、図２を参照しながら、以下に詳述する。基本的には、本発明のＨＵＤ装置では、ステアリングコラム７１の一部に取り付けられドライバの視点を検出する手段である視点検出用のカメラ６により、ドライバの視点に対応して凹面ミラー５２の傾斜角度を制御し、もって、車両２のウィンドシールド３に投射する虚像の位置を調整／制御する。なお、図には、ドライバの視点の位置Ａ、Ｂ、Ｃに対応して、凹面ミラー５２の傾斜位置、ウィンドシールド３上の虚像の投射位置、そして、ドライバの視点から見える虚像の位置が、それぞれ、Ａ、Ｂ、Ｃによって示されている。
【００２０】
なお、上述した制御は、例えば、図３Ａにブロック図で示す視点検出制御部２０の通信部２４が、図３Ｂに示すＨＵＤ制御部３１に視点情報を通知し、ＨＵＤ制御部３１が凹面ミラー５２を移動させることで実現する。この視点検出制御部２０では、カメラ（車内）６やエンジン始動センサ１０９、ステアリングコラム７１の位置を検知するステアリングコラム位置センサ１１０等の各デバイスからの情報の取得は、例えば、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２１の制御の下で行われる。また、ＨＵＤ制御部では、車両情報４の取得、スピーカ６０の制御、映像表示装置３０の制御、凹面ミラー５２の駆動はＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）３２の制御の下で行われる。しかしながら、必ずしもこれらに限定する必要はなく、また、ほかの種類のデバイスを備えていてもよい。
【００２１】
このように、ＨＵＤ用視点検出システムは、車両２の各部に設置された各種のセンサ等の情報取得デバイスからなり、車両２で生じた各種イベントを検知したり、所定の間隔で走行状況に係る各種パラメータの値を検知・取得したりすることで車両情報を取得して出力する。この車両情報には、ここでは図示しないが、例えば、車両２内部の温度情報（温度センサ）、速度情報（車速センサ）、ステアリングホイール７の操舵角情報（ハンドル操舵角センサ）、距離情報（測距センサ）、カメラ映像情報（カメラ）、エンジンの始動情報（エンジン始動センサ）等が含まれてもよい。
【００２２】
視点検出制御部２０は、検出した視点情報をＨＵＤ制御部３１に通知する機能を有し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とこれにより実行されるソフトウェア（不揮発性メモリ２２やメモリ２３に格納）により実装される。マイコンやＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェアにより実装されていてもよい。検出した視点情報は、通信部２４を介し、ＣＡＮやＥｔｈｅｒｎｅｔ（登録商標）などによりＨＵＤ制御部３１に通知される。
ＨＵＤ制御部３１は、車両情報取得部から取得した車両情報等に基づいて、虚像として表示する映像を映像表示装置３０を駆動して形成し、これを凹面ミラー５２によって反射させることでウィンドシールド３に投射する。これと共に、ミラー駆動部４５により、凹面ミラー５２の傾斜角度の制御を行う。なお、エンジン始動センサ１０９は、エンジンの始動を把握するためであり、エンジン始動時に、システムを開始する。ステアリングコラム位置センサ１１０は、ステアリングコラム７１の設定位置を検知する。
【００２３】
さらに、上記の制御部２０によれば、赤外線ＬＥＤ１２０は、赤外ＬＥＤ制御部１２１を介して、夜間にドライバの視点を検出するために点灯される。
【００２４】
ＨＵＤ制御部３１は、車両情報４に基づいた映像の投影、および、視点検出制御部２０から通知された視点情報を基に、凹面ミラー５２を移動させる機能を有し、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）とこれにより実行されるソフトウェア（不揮発性メモリ３５やメモリ３６に格納）により実装される。マイコンやＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等のハードウェアにより実装されていてもよい。
【００２５】
＜カメラ位置補正の課題＞
上述したヘッドアップディスプレイ装置では、図４にも示すように、表示する虚像の位置は、ドライバの視点５に応じて移動することが行われる。そのため、視点検出システムにおいては、視点５の検出により算出された視点座標（ｕ，ｖ）を３Ｄ視点座標（ｘ，ｙ，ｚ）に変換する際、車内の任意の座標を原点とした空間座標におけるカメラ６の撮像位置に応じたパラメータを設定する必要がある。その際、カメラ６を動かない場所に設置する場合には、カメラ撮像位置が一意に決まるため問題はない。
【００２６】
しかしながら、カメラ６が、例えば、ステアリングコラム７１などに取り付けられる等、いわゆる、移動する場所（部分）に設置される場合には、図に破線で示すように、カメラ６の撮像位置が変化してしまい、そのため、カメラの撮像位置に応じて、後に詳述するが、その（カメラ）パラメータ等を含めて再設定する必要が生じる。
【００２７】
視点検出システムでは、例えば、図５に示すように、ドライバが通常の運転状態（図５（ａ））から、前かがみの状態（図５（ｂ））に移った場合、ステアリングコラム７１に取り付けられたカメラ６の画像から車内でのドライバの視点５を特定して検出することができる。
【００２８】
他方、ドライバがその好みに応じてステアリングホイール７（ステアリングコラム７１）の位置を調整（移動）した場合（図４の破線を参照）には、カメラ６の位置も移動することとなる（図４では、移動したカメラの位置を符号６’で示す）。その結果、図６にも示すように、ドライバの顔の位置は移動していないにも関わらず、カメラ画像上の視点が移動してしまう（図６（ａ）は移動前、図６（ｂ）は移動後を示す）。すなわち、カメラ６の位置が動くと、実際のドライバの顔の位置は動いていないが、カメラ画像における顔の位置は動くため、算出する視点の座標に誤差が生じる。そのため、ヘッドアップディスプレイ装置の本来的な機能である、表示する虚像の位置をドライバの視点５に応じて移動することができなくなることが分かった。
【００２９】
本発明では、上述した問題点に鑑みて達成したものであり、ドライバの視点５を検知するためのカメラ６が、例えば、上述したステアリングコラム７１のような、車内での位置移動が可能な部位に取り付けられた場合における問題点を解消するためのカメラ位置補正を実現する。なお、カメラ位置補正とは、視点座標変換に用いる、カメラ撮像位置に応じたパラメータを、ステアリングコラム７１等の取付け位置の変動に応じて、適切な値に再設定することであり、以下にその詳細を説明する。
【００３０】
＜カメラ位置補正の概要＞
本発明は、上記に詳述した課題を解消して、カメラ６の移動に伴って自動的にカメラ位置補正を実現するものであり、まず、本システムであるドライバ視点検出方法の全体の処理フローについて、図７を参照しながら説明する。
【００３１】
例えば、イグニッション等の電源がオン状態によって処理が開始され、カメラ撮像位置の補正が必要か否かを判定する（ステップＳ７１）。例えば、上記の例では、上述したステアリングコラム位置センサ１１０の出力により、ステアリングコラム７１の位置が移動されたか、より具体的には、ステアリングコラム７１のデフォルト位置であるか否かによって、必要の要否を判定する。
【００３２】
上記ステップＳ７１でカメラ撮像位置の補正が必要と判定（Ｙｅｓ）された場合には、さらに、上記の例では、ステアリングコラム７１の位置（または、角度）がシステムから取得可能であるか否かを判定する（ステップＳ７２）。すなわち、このステップは、ステアリングコラム７１の位置（角度）調整が電動や自動で行われる場合などでは、前記システムにおいてステアリングコラム７１の位置（角度）データが入手可能である場合を考慮したものである。その結果、取得可能である（Ｙｅｓ）場合には、ステアリングコラム７１の位置（角度）を前記システムから取得する（ステップＳ７３）。
【００３３】
他方、取得不可能である（Ｎｏ）場合には、カメラ６の現在の撮像位置であるカメラ撮像位置を補正するためのカメラ位置補正処理を実行する（ステップＳ７４）。なお、図８には、このカメラ撮像位置補正処理の詳細が示されている。このカメラ撮像位置補正処理は、カメラ画像から車内において固定された部位（物体）を検出して、この検出した部位（物体）の座標（ｕ，ｖ）から、現在のカメラ撮像位置を求めるものである。
【００３４】
図８にも明らかなように、このカメラ撮像位置補正処理が開始すると、まず、現在の撮像位置でのカメラ６により得られたカメラ画像から、車内における位置移動のない（固定された）部位である前部座席と後部座席の間の支柱（以下、Ｂピラーともいう）の位置を、例えば、テンプレートマッチングにより、カメラ画像の平面座標上で求める（ステップＳ８１）。なお、本実施の形態では、カメラ６がステアリングコラム７１に取り付けられていることから、図９にも示すように、カメラ画像上のＢピラーは、ステアリングコラム７１の移動に伴って縦（ｖ軸）方向にのみ移動する。そのため、Ｂピラーの検出点は、図９（ａ）に示した移動前のカメラ画像の平面座標上の点（２０，１０）から、移動後のカメラ画像の平面座標上の点（２０，４０）に移動する。すなわち、ｖ座標値のみが変化する。
【００３５】
続いて、上記で求めたＢピラーのカメラ画像（平面座標（ｕ，ｖ））上の位置（すなわち、ｖ座標値）を基にして、後にも述べる実空間の３Ｄ座標（ｘ，ｙ，ｚ）の算出に必要な３つのパラメータを求める（ステップＳ８２）。より具体的には、図１０にも示すように、カメラの撮像位置であるカメラ位置、カメラの上向きベクトル、そして、カメラ注視点を求める。なお、本例では、これらの関係は予め算出して以下の表１に示すルックアップテーブルとして、例えば、ＣＰＵを構成するメモリ等に格納されている。
【００３６】
【表１】
2019026198.tif 000003
【００３７】
再び上記図７に戻り、その後、以下にその詳細を述べる、視点座標（ｕ，ｖ）変換処理（ステップＳ７５）および視点座標変換処理（ステップＳ７６）を実行し、求めた視点に基づき凹面ミラー５２を移動させ（ステップＳ７７）、上記のステップＳ７１へ戻り、再び、一連の処理を繰り返す。
【００３８】
続いて、上述した視点座標（ｕ，ｖ）変換処理と視点座標変換処理の詳細について、以下に、図１１を参照しながら説明する。
【００３９】
図１２に示すように、検出したドライバの顔を含む視点の座標（ｕ，ｖ）から、ニアクリップ平面上の視点座標Ａ＝（ｘ1，ｙ1，ｚ1）とファークリップ平面上のドライバの視点座標Ｂ＝（ｘ2，ｙ2，ｚ2）を算出し、座標Ａから座標Ｂへ向かう以下の単位ベクトルを求める（ステップＳ１１２）。
【００４０】
【数１】
2019026198.tif 000004
【００４１】
そして、視点検出制御部が検出したドライバの顔の大きさ（面積）に基づいて、カメラと顔（視点）との間の距離Ｌを算出する（ステップＳ１１３）。なお、ニアクリップ、ファークリップは透視投影変換で使用され、カメラからニアクリップ平面までの距離（例えば０．１５ｍ）、およびカメラからファークリップ平面までの距離（例えば２ｍ）は予め設定しておく。
【００４２】
次に、以下の数２でドライバの３Ｄ視点座標（ｘ，ｙ，ｚ）を求める（ステップＳ１１４）。
【００４３】
【数２】
2019026198.tif 000005
【００４４】
ここで、ベクトルｄはドライバの視点ベクトル（ｘ，ｙ，ｚ）、ベクトルｃはカメラ位置ベクトル、Ｌはカメラ−視点間距離、ベクトルＡＢ／｜ＡＢ｜はニアクリップ平面上の視点座標Ａからファークリップ平面上の視点座標Ｂへ向かう単位ベクトルである。
【００４５】
このように、上述した処理によれば、車内におけるカメラ６の取付け位置が変更された場合においても、前記カメラ６からのカメラ画像から、車内におけるドライバの視点ベクトル（ｘ，ｙ，ｚ）の位置を正確に求めることが可能となる。
【００４６】
以上にも詳述したように、本発明のヘッドアップディスプレイ装置とそのためのドライバ視点検出方法によれば、ドライバの視点を検知するためのカメラ６がステアリングコラム７１のような、車内での位置移動が可能な部位に取り付けられた場合でも、ドライバの視点をその変動に応じて、適切に再設定されて、虚像である投射画像の表示位置を、ドライバに対してより最適な制御を行うことが可能な、実用的にも優れたヘッドアップディスプレイ装置が達成されることとなる。
【００４７】
なお、上記の実施の形態では、カメラ撮像位置の移動を補正するため、車内において固定された部位（物体）を検出することで、現在のカメラ撮像位置を算出する。なお、この車内に固定された物体の例としては、上述したウィンドシールドを支持する支柱（Ｂピラー）を利用して現在のカメラ撮像位置を算出するものを説明したが、しかしながら、本発明はこれにのみ限定されることはなく、その他、例えば、ルームライト、スカイルーフ、アシストグリップ、ヘッドレスト、あるいは、アッパーカバーなどを利用することも可能であろう。
【００４８】
また、ウィンドシールドを支持する柱（ピラー）についても、フロントピラー（Ａピラー：ウィンドシールドを支える左右両端の支柱）、センターピラー（Ｂピラー：前部座席と後部座席の間の支柱）、リアピラー（Ｃピラー：車両の一番後部の支柱）などと表現されるものもある。上記の実施の形態では、Ｂピラーについてのみ言及したが、しかしながら、車内での位置の移動のないものであれば、特に、特定されるものではないことは、当業者であれば明らかであろう。
【００４９】
加えて、車内に設置された物体を検出し、現在のカメラ撮像位置を取得する手法としては、上記のほかに、例えば、検出物体のｖ座標が、１画素分ずれるときのカメラパラメータの変換量を事前に求めておく方法、または、検出した物体のｖ座標とステアリングコラム７１の初期位置（例えば、ステアリングコラム７１が最下点の位置など、基準のステアリングコラム７１の位置として任意に設定した位置）のｖ座標の差分を求め、ｖ座標の差分と１画素あたりのカメラパラメータ座標の変化量からステアリングコラム初期位置のカメラパラメータとの誤差を算出する方法などが利用可能であろう。
【００５０】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部をほかの実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成にほかの実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、ほかの構成の追加・削除・置換をすることが可能である。
【産業上の利用可能性】
【００５１】
本発明は、特に、車両のウィンドシールドを介して虚像をドライバに対して表示するヘッドアップディスプレイ装置に利用可能である。
【符号の説明】
【００５２】
１…ＨＵＤ装置、２…車両、３…ウィンドシールド、４…車両情報、５…ドライバの視点、７…ステアリングホイール、７１…ステアリングコラム、３０…映像表示装置、３１…ＨＵＤ制御部、５１…反射ミラー、５２…凹面ミラー、６…カメラ、２０…制御部、２１…ＥＣＵ、２２…不揮発性メモリ、２３…メモリ、１０９…エンジン始動センサ、１１０…ステアリングコラム位置センサ。
【図１】
2019026198.tif 000006
【図２】
2019026198.tif 000007
【図３Ａ】
2019026198.tif 000008
【図３Ｂ】
2019026198.tif 000009
【図４】
2019026198.tif 000010
【図５】
2019026198.tif 000011
【図６】
2019026198.tif 000012
【図７】
2019026198.tif 000013
【図８】
2019026198.tif 000014
【図９】
2019026198.tif 000015
【図１０】
2019026198.tif 000016
【図１１】
2019026198.tif 000017
【図１２】
2019026198.tif 000018