(57)【要約】  ヘッドアップディスプレイは、映像表示装置と、虚像光学系と、映像表示装置及び前記虚像光学系を収容する筐体と、筐体開口部と、筐体開口部を覆い映像光を透過する防眩板と、乗り物の運転者の目を含む顔領域を撮像するカメラと、カメラが撮像した画像に基づいて運転者の視点を検出する視点検出装置と、主制御装置と、を備える。カメラは、筐体の外側にあり、かつ筐体開口部から映像光が出射する光路から退避した位置に防眩板に運転者の目を含む顔が写った領域を撮像する向きで設置される。主制御装置は、視点検出装置が検出した運転者の視点位置に基づいて、映像光の出射方向を調整する制御を虚像光学系に対して行う。
2020021823.tif 000002
【特許請求の範囲】
【請求項１】
虚像を乗り物の前方に表示するヘッドアップディスプレイであって、
光源及び表示素子を含み、前記表示素子に表示オブジェクトを表示し、当該表示オブジェクトを含む映像光を出射する映像表示装置と、
前記映像光を被投射部材に向けて出射方向を変えて拡大投射する虚像光学系と、
前記映像表示装置及び前記虚像光学系を収容する筐体と、
前記筐体に設けられ、前記筐体から前記映像光が出射する筐体開口部と、
前記筐体開口部を覆い、前記映像光を透過する防眩板と、
前記乗り物の運転者の目を含む顔領域を撮像するカメラと、
前記カメラが撮像した画像に基づいて前記運転者の視点を検出する視点検出装置と、
前記映像表示装置、前記虚像光学系、前記視点検出装置の其々に接続された主制御装置と、を備え、
前記カメラは、前記筐体の外側における前記筐体開口部から前記映像光が出射する光路から退避した位置に、前記防眩板に前記運転者の目を含む顔が写った領域を撮像する向きで設置され、
前記主制御装置は、前記視点検出装置が検出した運転者の視点位置に基づいて、前記映像光の出射方向を調整する制御を前記虚像光学系に対して行う、
ことを特徴とするヘッドアップディスプレイ。
【請求項２】
請求項１に記載のヘッドアップディスプレイにおいて、
前記カメラは近赤外光を検出する撮像素子を含み、
近赤外光像を含む画像を出力する、
ことを特徴とするヘッドアップディスプレイ。
【請求項３】
請求項１に記載のヘッドアップディスプレイにおいて、
前記カメラは近赤外光から可視光までを検出する撮像素子を含み、
前記防眩板は、前記防眩板における前記映像光の出射領域とは異なる領域に、前記運転者の顔表面で反射し前記被投射部材を経て前記防眩板に到達した自然光を、前記カメラに向けて反射する反射部材を更に備え、
前記カメラは前記防眩板から反射した前記自然光を検出して前記画像を撮像する、
ことを特徴とするヘッドアップディスプレイ。
【請求項４】
請求項１に記載のヘッドアップディスプレイにおいて、
前記カメラの光軸が、前記運転者のアイポイント中心に向かって水平軸に対して水平と見做せる許容範囲内の角度で入射する向きに、前記カメラは設置される、
ことを特徴とするヘッドアップディスプレイ。
【請求項５】
請求項１に記載のヘッドアップディスプレイにおいて、
前記防眩板から前記被投射部材に向かう前記映像光の光路を開閉する遮光部材を更に備え、
前記主制御装置は、前記遮光部材に更に接続され、
前記カメラは、前記防眩板における前記映像光の出射領域の少なくとも一部領域を更に含んで撮像する向きで前記筐体の外側に設置され、
前記主制御装置は、前記カメラが撮像した画像の輝度値が予め定められた遮光閾値以上となった場合に、前記映像光の光路を閉じる制御を前記遮光部材に対して行う、
ことを特徴とするヘッドアップディスプレイ。
【請求項６】
請求項５に記載のヘッドアップディスプレイにおいて、
前記主制御装置は、前記映像光の光路を閉じる制御を前記遮光部材に対して行った後に、前記カメラが新たに撮像した画像の輝度値が前記遮光閾値未満となると、前記映像光の光路を開く制御を前記遮光部材に対して行う、
ことを特徴とするヘッドアップディスプレイ。
【請求項７】
請求項５に記載のヘッドアップディスプレイにおいて、
前記虚像光学系は、前記映像光を前記被投射部材に向けて反射する凹面ミラー及び当該凹面ミラーの鏡面の向きを変えるミラー駆動部を含み、
前記主制御装置は、前記視点検出装置が検出した前記運転者の視点位置に基づいて、前記凹面ミラーを回動させるための制御信号を前記ミラー駆動部に出力すると共に、前記カメラが撮像した画像の輝度値が予め定められた遮光閾値以上となった場合に、前記凹面ミラーの鏡面を前記映像光の光路から退避する角度に回転させるための制御信号を前記ミラー駆動部に出力する、
ことを特徴とするヘッドアップディスプレイ。
【請求項８】
請求項５に記載のヘッドアップディスプレイにおいて、
前記遮光部材は、シャッターユニットであって、
前記シャッターユニットは、シャッター及び当該シャッターを含み退避位置及び遮光位置に移動させる移動機構を含み、
前記退避位置は、前記シャッターが前記映像光の光路から外れて配置される位置であり、前記遮光位置は、前記シャッターが前記映像光の光路上に配置される位置である、
ことを特徴とするヘッドアップディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドアップディスプレイに関する。
【背景技術】
【０００２】
例えば、自動車等の車両において、通常は、車速やエンジン回転数等の情報は、ダッシュボード内の計器盤（インパネ）に表示される。また、カーナビゲーション等の画面は、ダッシュボードに組み込まれ、もしくはダッシュボード上に設置されたディスプレイに表示される。運転者がこれらの情報を視認する場合に視線を大きく移動させることが必要となることから、視線の移動量を低減させる技術として、車速等の情報やカーナビゲーションに係る指示等の情報をフロントガラス（ウィンドシールド）やコンバイナ等に投射して表示するヘッドアップディスプレイ（Ｈｅａｄ  Ｕｐ  Ｄｉｓｐｌａｙ、以下では「ＨＵＤ」と記載する場合がある）が既に知られている。【０００３】
ＨＵＤに関する技術として、特許文献１には「ヘッドアップディスプレイ装置は、利用者の目球位置を検出する目球位置検出手段と、前記目球位置検出手段によって検出された第一の目球位置に基づいて表示像の結像位置を算出する制御手段と、制御手段の算出結果に基づいて可視光の出射方向を調整する光路調整手段と、前記第一の目球位置を基準目球位置として記憶する記憶手段と、を備え、制御手段は、前記第一の目球位置を検出した時刻よりも後に前記目球位置検出手段によって検出された第二の目球位置が前記基準目球位置と所定距離あるいは所定角度以上の差があると判定される場合に、前記第二の目球位置に基づいて表示像の結像位置を算出し、この算出結果に基づいて光路調整手段を駆動させる（要約抜粋）」ＨＵＤが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５５７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
視点検出カメラはダッシュボードやウィンドシールド近くの天井付近に設置される。しかし、視点検出カメラをダッシュボードに配置すると運転者を見上げる位置で撮像することとなる一方、天井付近に設置すると運転者を見下ろす位置で撮像することとなる。視点検出に用いる顔画像は運転者の顔の正面画像であることが望ましいが、運転者の正面に視点検出カメラを配置すると視界を遮るので好ましくない。【０００６】
この点に関し、特許文献１では、視点検出カメラの顔画像を正面画像に近づけることについては考慮されておらず、視点検出の精度向上については更なる工夫の余地がある。【０００７】
本発明は上記実情に鑑みてなされたものであり、視点検出精度を向上させて虚像表示位置の制御が行えるＨＵＤを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、請求の範囲に記載の構成を備える。その一例をあげるならば、虚像を乗り物の前方に表示するヘッドアップディスプレイであって、光源及び表示素子を含み、前記表示素子に表示オブジェクトを表示し、当該表示オブジェクトを含む映像光を出射する映像表示装置と、前記映像光を被投射部材に向けて出射方向を変えて拡大投射する虚像光学系と、前記映像表示装置及び前記虚像光学系を収容する筐体と、前記筐体に設けられ、前記筐体から前記映像光が出射する筐体開口部と、前記筐体開口部を覆い、前記映像光を透過する防眩板と、前記乗り物の運転者の目を含む顔領域を撮像するカメラと、前記カメラが撮像した画像に基づいて前記運転者の視点を検出する視点検出装置と、前記映像表示装置、前記虚像光学系、前記視点検出装置の其々に接続された主制御装置と、を備え、前記カメラは、前記筐体の外側における前記筐体開口部から前記映像光が出射する光路から退避した位置に、前記防眩板に前記運転者の目を含む顔が写った領域を撮像する向きで設置され、前記主制御装置は、前記視点検出装置が検出した運転者の視点位置に基づいて、前記映像光の出射方向を調整する制御を前記虚像光学系に対して行う、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、視点検出精度を向上させて虚像表示位置の制御が行えるＨＵＤを提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１０】
【図１】ＨＵＤの概略構成図
【図２】ミラー駆動部の拡大構成図
【図３】カメラの画角を示す図
【図４】ＨＵＤのシステム構成図
【図５】視点と映像光Ｌのウィンドシールドにおける反射位置と虚像位置との関係を示す図
【図６】ＨＵＤによる処理の流れを示すフローチャート
【図７】照度が違う状態で撮像した画像と各画像の輝度値の分布を示すヒストグラムを示す図
【図８】遮光角度で凹面ミラーを回転させた状態を示す図
【図９】車両内部の３次元空間座標系を示す図
【図１０Ａ】運転者が頭の移動に伴う視点移動量の説明図
【図１０Ｂ】運転者が頭の移動に伴う視点移動量の説明図
【図１０Ｃ】運転者が頭の移動に伴う視点移動量の説明図
【図１１】ＨＵＤ内におけるシャッターの取付位置を示す概観図
【図１２】シャッターユニットの拡大説明図
【図１３】シャッターが遮光位置にある状態を示す図
【図１４】シャッターが退避位置にある状態を示す図
【図１５】防眩板に反射部材を備えた別実施形態を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、実施形態を説明するための全図において、同一部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下に示す各実施形態では、ヘッドアップディスプレイ（ＨＵＤ）が乗り物としての車両に設置される場合を例として説明するが、電車等の他の乗り物にも適用可能である。
【００１２】
図１を参照して本実施形態に係るＨＵＤ１の構成について説明する。図１はＨＵＤ１の概略構成図である。図１のＨＵＤ１では、映像光Ｌの光路を開閉する遮光部材として、虚像光学系に含まれる凹面ミラー４３及びそれを回動させるミラー駆動部４４を用いる 。
【００１３】
図１に示すように、ＨＵＤ１は、車両２に備えられたダッシュボード４内に備えられる。ダッシュボード４はＨＵＤ１から出射した映像光Ｌを通過させるためのダッシュボード開口部７を備える。ＨＵＤ１から射出した映像光Ｌはダッシュボード開口部７を通過して被投射部材としてのウィンドシールド３に到達し、ウィンドシールド３で反射して運転者５の目に入射する。運転者５は、その映像光Ｌによる虚像１００をウィンドシールド３よりも更に前方に視認する。なお、被投射部材はウィンドシールド３に限られず、映像光Ｌが投射される部材であれば、コンバイナなど他の部材を用いてもよい。
【００１４】
ＨＵＤ１は、筐体５０と、筐体５０に収容又は装着されるＨＵＤ制御装置２０（主制御装置に相当する。）及び映像表示装置３０と、映像表示装置３０から出射される映像光Ｌを拡大投射する虚像光学系４０とを含んで構成される。
【００１５】
筐体５０の上面には、映像光Ｌの出射口となる筐体開口部５１が形成される。筐体開口部５１は、筐体５０に塵やほこりの侵入を防ぐための防眩板（グレアトラップ）５２で覆われている。防眩板５２は、可視光を透過する部材により構成される。
【００１６】
映像表示装置３０は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）を用いて構成され、ＨＵＤ制御装置２０からの制御信号に従って動作する。より詳しくは、映像表示装置３０は光源３１、照明光学系３２、及び表示オブジェクトを表示し、透過性を有する表示素子３３を含んで形成される。光源３１から発せられた光が表示素子３３を透過することにより表示オブジェクトを含む映像光Ｌが映像表示装置３０から出射される（図４参照）。
【００１７】
虚像光学系４０は、映像表示装置３０に近い位置から順に、映像光Ｌの出射方向に沿ってレンズユニット４１と折り返しミラー４２と凹面ミラー４３とが配置されて構成される。更に虚像光学系４０は凹面ミラー４３を回転させるミラー駆動部４４を含んで構成される。
【００１８】
レンズユニット４１は、映像表示装置３０から折り返しミラー４２までの光学的な距離を調整するための少なくとも１つ以上のレンズの集合体である。
【００１９】
折り返しミラー４２は、レンズユニット４１から出射した映像光Ｌの光路を凹面ミラー４３に向けて折り返すミラーである。
【００２０】
凹面ミラー４３は、折り返しミラー４２で反射された映像光Ｌを筐体開口部５１に向けて反射させる部材である。凹面ミラー４３はミラー駆動部４４により回動する。
【００２１】
図２はミラー駆動部４４の拡大構成図である。
【００２２】
ミラー駆動部４４は、ミラーモータ４４ａ及びミラーモータ４４ａの回転軸４４ｂと、回転軸４４ｂの先端部に連結され、凹面ミラー４３を収容するミラーカバー４５と、回転軸４４ｂの軸受け部材であるミラーホルダー４６とを備える。
【００２３】
図１に示すようにミラーモータ４４ａは、ＨＵＤ制御装置２０にバス６１を介して接続される。そしてＨＵＤ制御装置２０からの制御信号に従ってミラーモータ４４ａが駆動する。ミラーモータ４４ａが駆動すると回転軸４４ｂが回転し、これに連結されたミラーカバー４５が回転する。その結果、凹面ミラー４３はミラーカバー４５と一体となって回転する。
【００２４】
凹面ミラー４３が回転することにより、映像光Ｌの反射角度を変えてウィンドシールド３に向けて反射させることができる。映像光Ｌの反射角度が変わるとウィンドシールド３における映像光Ｌの反射位置が変わり、映像光Ｌの光路長を変えることができる。光路長が変わることにより虚像１００が表示される虚像面の距離が変わり、また反射位置が変わることで虚像面の表示高さが変わる。
【００２５】
ダッシュボード４には、ダッシュボード開口部７におけるウィンドシールド側端部にＨＵＤ１への直射太陽光の入射を遮蔽するための遮光フード１０が備えられる。遮光フード１０には、防眩板５２を画角に含む位置及び向きでカメラ７０が設置される。カメラ７０は、ＨＵＤ制御装置２０と通信線６２により接続され、カメラ７０で撮像した画像が後述する視点検出装置７００（図４参照）に出力される。視点検出装置７００の機能をＨＵＤ制御装置２０が有する場合は、画像はＨＵＤ制御装置２０に出力される。
【００２６】
カメラ７０の画像は、運転者５の視点検出処理とＨＵＤ１への直射太陽光の入射量監視処理との双方に用いられる。そのため、画像には運転者５の目が写っていることと、防眩板５２との両方が撮像されていることが必要である。そこで、本実施形態では、図３に示すように、カメラ７０のレンズを防眩板５２に向け、かつ運転者５の目を含む顔表面で反射した光がウィンドシールド３で反射して防眩板５２に到達し、防眩板５２の表面で反射してカメラ７０のレンズに入射する取付位置及びレンズの向き（画角）で遮光フード１０に設置する。防眩板５２に対するカメラ７０の取付位置及びレンズの向きは、本実施形態に係るＨＵＤ１の特徴の一つである。
【００２７】
カメラ７０は、近赤外光を発光するＬＥＤなどの近赤外光源７０ａ及び近赤外光から可視光までを検出する撮像素子としてのＣＭＯＳ７０ｂを搭載する。視点検出処理には近赤外光を用いる。即ち、カメラ７０に搭載された近赤外光源７０ａから発生した近赤外光は、運転者５の目を含め顔表面（顔領域）に到達して反射し、その反射近赤外光が防眩板５２に到達してＣＭＯＳ７０ｂに向かって再度反射され、ＣＭＯＳ７０ｂに入射する。ＣＭＯＳ７０ｂからの出力に基づきカメラ７０は近赤外光像による運転者５の顔画像を生成、出力する。これにより、外界が暗いとき、例えば夜間やトンネル、地下駐車場でも運転者５の視点検出が行える。
【００２８】
一方、太陽光の入射量の監視処理には可視光を用いる。防眩板５２に到達した可視光が、防眩板５２からＣＭＯＳ７０ｂに入射する。ＣＭＯＳ７０ｂからの出力に基づきカメラ７０は可視光画像による防眩板５２の外表面画像を生成、出力する。
【００２９】
図３はカメラ７０の画角を示す図である。
【００３０】
一般に、虚像１００を視認する運転者５の視線方向は、水平方向を基準として俯角（例えば１°〜５°）を有する。そのため、映像光Ｌの光路にカメラ７０の光軸を合わせて運転者５を撮像すると、運転者５は伏し目な状態で撮像され、水平方向に視線が向いている場合と比べて目の座標の検出精度が低下する。
【００３１】
そこで本実施形態では、図３に示すように目を含む顔表面を水平に近い角度（映像光Ｌの光軸に沿って目を撮像するよりも水平に近い角度）で撮像するようにカメラ７０の光軸を合わせる向きと位置でカメラ７０を設置する。例えば、カメラ７０の光軸が、運転者５のアイポイント中心に向かって水平軸に対して水平と見做せる許容範囲内の角度で入射する向きに、カメラ７０は設置される 。これにより運転者５の目を水平方向に近い向きで撮像し、正面画像に近い画像が出力できる。よって、後述するステップＳ２０の視点検出処理の精度向上が期待できる。
【００３２】
図４はＨＵＤ１のシステム構成図である。
【００３３】
ＨＵＤ制御装置２０は、第１ＥＣＵ（Ｅｌｅｃｔｒｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２１と、これにシステムバスを介して接続された第１不揮発性メモリ２２、第１メモリ２３、光源調整部２４、歪み補正部２５、表示素子駆動部２６、第１ＣＡＮ通信部２７（ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ミラー調整部２８、及びタイマ２９を含む。第１ＣＡＮ通信部２７は、視点検出装置７００にＣＡＮを介して接続される。光源調整部２４は光源３１に、表示素子駆動部２６は表示素子３３に、ミラー調整部２８はミラーモータ４４ａに接続される。第１ＥＣＵ２１は、第１ＣＡＮ通信部２７から車両２に備えられたＣＡＮを介してスピード、エンジン回転数などの車両情報９を取得し、これらの車両情報９を含む表示オブジェクトを虚像１００として表示する。
【００３４】
視点検出装置７００は第２ＥＣＵ７０１、カメラ制御部７０２、第２ＣＡＮ通信部７０３、第２不揮発性メモリ７０４、及び第２メモリ７０５を含む。第２ＥＣＵ７０１の入力段はカメラ７０の出力段に接続され、カメラ７０の画像が第２ＥＣＵ７０１を介して第２ＣＡＮ通信部７０３からＨＵＤ制御装置２０へ送信される。また第２ＥＣＵ７０１はカメラ制御部７０２、第２不揮発性メモリ７０４及び第２メモリ７０５の其々に接続される。
【００３５】
続いて、上記にその構成を説明したＨＵＤ１における虚像１００の表示位置の調整について、図５を参照しながら説明する。図５は、視点と映像光Ｌのウィンドシールド３における反射位置と虚像位置との関係を示す図である。
【００３６】
ＨＵＤ１では、カメラ７０の画像を用いて視点検出装置７００が視点を検出し、検出した運転者５の視点に対応して凹面ミラー４３の回転角度（傾斜角度）を制御し、もって、車両２のウィンドシールド３に投射する虚像１００の表示位置を調整するための制御を行う。なお、図５には、運転者５の視点の位置Ａ、Ｂ、Ｃに対応して、凹面ミラー４３の回転（傾斜）位置、ウィンドシールド３上の虚像１００の投射位置、そして、運転者５の視点から見える虚像１００の位置が、それぞれ、Ａ、Ｂ、Ｃによって示されている。
【００３７】
上記した制御は、例えば、視点検出装置７００の第２ＣＡＮ通信部７０３が、ＨＵＤ制御装置２０に視点情報を通知し、ＨＵＤ制御装置２０が凹面ミラー４３を回転させることで実現する。この視点検出装置７００では、カメラ７０からの情報の取得は、第２ＥＣＵ７０１の制御の下で行われる。また、ＨＵＤ制御装置２０では、車両情報９の取得、映像表示装置３０の制御、及び凹面ミラー４３の駆動は第１ＥＣＵ２１の制御の下で行われる。しかし、必ずしもこれらに限定する必要はなく、また、ほかの種類のデバイスを備えていてもよい。
【００３８】
図６はＨＵＤ１による処理の流れを示すフローチャートである。
【００３９】
ＨＵＤ１は、運転者５の視点に合わせて虚像位置を調整する処理及びＨＵＤ１への太陽光の入射量の監視処理にカメラ７０の画像を併用する点も特徴の一つである。
【００４０】
ＨＵＤ１の電源がＯＮになると（Ｓ１０／Ｙｅｓ）、カメラ７０が撮像を開始し（Ｓ１１）、撮像した画像を視点検出装置７００に出力する。この画像は、防眩板５２における映像光Ｌの出射領域５２ａ（図１５参照）を映しており、映像光Ｌの出射領域５２ａに映り込んだ運転者５の目を含む顔の全体又は一部も被写体として含んでいる。防眩板５２における出射領域５２ａとは異なる位置に運転者５の顔表面で反射した近赤外光が到達する場合は、近赤外光が到達する領域をカメラ７０の画角に含み、顔画像を撮像する。
【００４１】
視点検出装置７００の第２ＥＣＵ７０１は、カメラ７０から画像を取得し、視点検出処理を実行する（Ｓ２０）。この詳細は後述する。
【００４２】
第２ＥＣＵ７０１は、ステップＳ２０で求めた視点位置と、現在ＨＵＤ１で虚像１００の表示位置を決定する際に用いられた視点位置との差からなる視点移動量を演算し（Ｓ２１）、ＨＵＤ制御装置２０に送信する。この詳細は後述する。
【００４３】
視点検出処理（Ｓ２０）と並行して、第２ＥＣＵ７０１は、カメラ７０の画像の輝度値を演算する（Ｓ３０）。本実施形態では、第２ＥＣＵ７０１が画像全体の輝度値を演算する場合を例に挙げて図７を参照して説明するが、画像の中央領域等、画像全領域ではなく一部領域の輝度値を検出してもよい。図７は照度が違う状態で撮像した画像と各画像の輝度値の分布を示すヒストグラムを示す図である。
【００４４】
標準的な明るさ、例えば運転者５が眩しすぎることもなく、かつヘッドライトを点灯させることなく運転ができる明るさで撮像した第２画像２１２では、画像の輝度値の分布を示す第２ヒストグラム２２２はピーク値が大きくなく、輝度値が分散する。第２ヒストグラム２２２の面積（図中で色を付けた部分）は、画像の合計画素数を示しており、後述する第１ヒストグラム２２１及び第３ヒストグラム２２３の其々の面積は第２ヒストグラム２２２の面積と同じである。
【００４５】
一方、暗い場所で撮像した第１画像２１１の輝度値の分布を示す第１ヒストグラム２２１は、暗い輝度値の画素数が多い。また明るすぎる場所、即ち太陽光の防眩板５２への照射量が多い場所で撮像した第３画像２１３の輝度値の分布を示す第３ヒストグラム２２３は、明るい輝度値の画素数が多い。
【００４６】
そこで第２ＥＣＵ７０１は、各画像の輝度値を（輝度値×度数）の積分値として求め、ＨＵＤ制御装置２０に出力する。
【００４７】
ＨＵＤ制御装置２０の第１ＥＣＵ２１は、ステップＳ３０で求めた画像の輝度値が予め定められた遮光閾値以上であると判定すると（Ｓ４０／Ｙｅｓ）、画像の輝度値が遮光閾値以上となってからの経過時間ｔの計測をタイマ２９を用いて開始する（Ｓ４１）。経過時間ｔが予め定められた時間閾値以上となると（Ｓ４２／Ｙｅｓ）、ミラー調整部２８は、太陽光が映像表示装置３０に到達しない角度（以下「遮光角度」という）となるように凹面ミラー４３を回転させる（Ｓ４３）。この時点でタイマ２９による計時は終了してもよい。
【００４８】
図８は遮光角度に凹面ミラー４３を回転させた状態を示す図である。
【００４９】
防眩板５２に到達した太陽光Ｓｂの一部は反射してカメラ７０に入射し、一部は防眩板５２を透過して凹面ミラー４３に到達する。凹面ミラー４３を遮光角度となるように回転させると、凹面ミラー４３に到達した太陽光Ｓｂが凹面ミラー４３の鏡面で反射して筐体５０の下部方向、即ち折り返しミラー４２に向かう方向とは異なる方向に反射する。
【００５０】
これにより、映像光Ｌが防眩板５２に向かって照射されなくなるので虚像１００の表示が消えるが、防眩板５２から入射した太陽光Ｓｂが凹面ミラー４３、及び折り返しミラー４２を経て映像表示装置３０に到達する光路も遮断することができる。また、防眩板５２から入射した太陽光Ｓｂが凹面ミラー４３で反射され再度防眩板５２に向かって照射され、ウィンドシールド３に照射されることも防ぐことができる。
【００５１】
一方、画像の輝度値が遮光閾値未満の場合（Ｓ４０／Ｎｏ）、凹面ミラー４３が遮光角度で回転中、即ち、既に画像の輝度値が遮光閾値以上となり、凹面ミラー４３の鏡面を映像光Ｌの光路から退避させている場合（Ｓ４４／Ｙｅｓ）、第１ＥＣＵ２１はミラー調整部２８に凹面ミラー４３の鏡面を映像光Ｌの光路上に戻す（復帰）させる（Ｓ４５）。
【００５２】
ステップＳ４５終了後、又は凹面ミラー４３が遮光角度で回転中ではない（Ｓ４４／Ｎｏ）、即ち凹面ミラー４３の鏡面が映像光Ｌの光路上にある場合、若しくは経過時間ｔが時間閾値未満の場合（Ｓ４２／Ｎｏ）、第１ＥＣＵ２１は視点の移動量と予め定められた移動量閾値以上とを比較する（Ｓ４６）。
【００５３】
視点の移動量が移動量閾値以上の場合（Ｓ４６／Ｙｅｓ）、第１ＥＣＵ２１は、ミラー調整部２８に対して虚像位置を視点に合わせるためのミラー調整処理（Ｓ４７）を実行さる。より具体的には、ミラー調整部２８からミラーモータ４４ａに対して、Ｓ２１で演算された視点移動量に応じて凹面ミラー４３を回動させる信号をミラーモータ４４ａに出力する。これにより、視点検出装置７００で検出させた視点の位置に合わせて虚像を表示させることができる 。
【００５４】
ミラー調整処理（Ｓ４７）後、又は視点の移動量が移動量閾値未満の場合（Ｓ４６／Ｎｏ）、第１ＥＣＵ２１は、歪み補正部２５において虚像１００として表示させる表示オブジェクトの歪み補正を行い、表示素子駆動部２６が歪み補正後の表示オブジェクトを表示素子３３に表示する。それと共に第１ＥＣＵ２１は、光源調整部２４に光源３１の点灯処理を実行させ、表示素子３３から表示オブジェクトを含む映像光Ｌを出射させる。映像光Ｌが虚像光学系４０において拡大されウィンドシールド３に投射され、運転者５の目に入射することにより虚像１００が表示される（Ｓ４８）。ＨＵＤ１の電源がＯＦＦでなければ（Ｓ４９／Ｎｏ）、ステップＳ１１へ戻り、以後の処理を繰り返す。ＨＵＤ１の電源がＯＦＦになると（Ｓ４９／Ｙｅｓ）、ＨＵＤ１による虚像表示処理を終了する。
【００５５】
＜Ｓ２０：視点検出処理＞
図９は車両２内部の３次元空間座標系を示す図である。
【００５６】
車両２内部においてカメラ７０は運転者５の顔（視点）が撮像可能な位置、本実施形態では遮光フード１０の内部に固定して配置される（図３参照）。このとき、カメラ７０を、車両２内部の３次元空間座標における中心に配置すると共に、ｘ軸を車両２の長さ方向（車の進行方向）に、ｙ軸を車両の幅方向、ｚ軸を高さ（鉛直）方向に設定する。この状態を上から見た状況を図９に示す。カメラ７０は、それを中心とした車両内の３次元空間において、運転者５の前面からその顔（視点）を含む画像を撮影する。図９において符号７１は、カメラ７０の撮影範囲を示す。
【００５７】
第２ＥＣＵ７０１は、カメラ７０によって撮像された２次元カメラ画像から目（視点）を検出する。続いて、第２ＥＣＵ７０１はカメラ７０（３次元空間の原点）から検出した運転者５の目（視点）５に向かう（すなわち、カメラ７０と視点とを結ぶ）直線を求める。これにより、カメラ７０である３次元空間の原点から見た場合の運転者５の目（視点）の方向に向かう直線を特定することが可能となる。換言すれば、カメラ７０の設置方向と画角との関係から、カメラ画像（２次元）上の１点（上記では運転者５の目の位置）を指定すると、カメラ７０と画像上の１点を結ぶ３次元空間上の直線を求めることができる。但し、直線上のどこに目が位置しているかについては限定できない。
【００５８】
続いて、上記で求めた３次元上の直線と、座席中央（又は、ステアリングホイール８の中心軸）を通る３次元上の鉛直平面（ｚ−ｘ平面）との交点を求め、求めた交点が運転者５の目である視点位置となる。なお、座席中央（ステアリングホイールの中心軸）を通る３次元上の鉛直平面（ｚ−ｘ平面）は、車両２の幅方向（ｙ軸）においてカメラ７０（原点）から座席中央までの距離だけ離れたｚ−ｘ平面であり、その距離は、カメラ７０を車両２の内部に配置する際に予め設定し、又は、計測することによって求めることができる。
【００５９】
すなわち、第２ＥＣＵ７０１はカメラ７０により撮像された運転者５の顔に基づいて、上記で述べた視点検出処理により運転者５の視点座標（ｘd，ｙd，ｚd）を求め、第２不揮発性メモリ７０４に記憶する。そして次のサンプリング周期で撮影されたカメラ７０の画像を用いて視点移動量演算処理（Ｓ２１）に用いる。
【００６０】
＜Ｓ２１：視点移動量演算処理＞
運転者５が前かがみになったり、頭を動かしたりすることで視点位置がずれることがある。そこで、第２ＥＣＵ７０１は、カメラ７０で撮像された画像により運転者５の顔の向きを推定し、推定される顔の向きによって、運転者５の顔が座席の中央に位置しているか否かを判定して凹面ミラー４３の位置調整を実行する。図１０Ａ、図１０Ｂ、図１０Ｃは運転者の頭の移動に伴う視点移動量の説明図である。
【００６１】
図１０Ａにも示すように、カメラ７０で撮像された画像に基づいて運転者５の顔の向き（図に矢印で示すように、ロール、ピッチ、ヨーの３方向の向き）を推定し、顔が車両前方を向いていると判定される場合には、上記で求められた運転者５の視点座標（ｘd，ｙd，ｚd）によって凹面ミラー４３の角度調整による虚像１００の表示位置調整を実行する。また図１０Ｂや図１０Ｃに示すように、運転者５の顔の向きが車両前方から外れている場合には、凹面ミラー４３の角度調整による虚像１００の表示位置調整は行わないようにする。本実施形態では特に運転者５の頭の微動に合わせて虚像１００の表示位置が頻回に変わることを抑制するため、第２ＥＣＵ７０１は、前回の視点検出位置（ｘdｔ，ｙdｔ，ｚdｔ）と今回の視点検出位置（ｘdｔ+1，ｙdｔ+1，ｚdｔ+1）との差分（Δｘd，Δｙd，Δｚd）を求め、Δｘd，Δｙd，Δｚdのいずれかが運転者５の頭が移動したと判定するために予め定められた移動量閾値Δｘdｔｈ，Δｙdｔｈ，Δｚdｔｈ以上となると、（Δｘd，Δｙd，Δｚd）を含む視点移動量情報をＨＵＤ制御装置２０に出力する。
【００６２】
本実施形態によれば、運転者５の視点検出を行い、その結果に追従させて虚像１００の表示位置を調整するので、虚像１００の視認性を向上させることができる。
【００６３】
また視点検出に用いるカメラ７０は、運転者５から見て遮光フード１０により生じる視覚内に設置するので、車両２内の美観が向上する。
【００６４】
更にカメラ７０は、防眩板５２に写る運転者５の顔を撮像するので、ほぼ正面から顔画像が撮像でき、高精度に視点検出が行える。
【００６５】
またカメラ７０は、ＨＵＤ１への太陽光の入射量の監視カメラとしての機能を実現させることができ、監視用部材を別途用意する場合と比べて、部品点数を減らすことができる。
【００６６】
またカメラ７０がＨＵＤ１の映像光Ｌの光路から退避した位置に備えられるので、太陽光の入射量が過大となり映像光Ｌの光路を遮光した後も、太陽光の入射量を監視でき、入射量が遮光閾値未満となると、映像光Ｌの光路を再度復帰させることができる。
【００６７】
上記各実施形態は本発明を限定するものではなく、本発明の趣旨を逸脱しない範囲での様々な変更態様は本発明の技術的範囲に属する。例えば、各処理の説明で用いた計算式は、当該処理の一実施形態に過ぎず、当該処理に必要な算出結果をもたらす他の計算式を適用してもよい。
【００６８】
また、上記では映像光Ｌの光路を遮光する構造として、凹面ミラー４３の鏡面を映像光Ｌの光路から退避させる（凹面ミラー４３の鏡面を映像光Ｌの光路から遮光角度で回転させる）構造を用いたが、これに限定されない。図１１〜図１４に映像光Ｌの遮光構造としてのシャッター構造を示す。
【００６９】
図１１は、ＨＵＤ１ａ内におけるシャッター３０６の取付位置を示す概観図である。図１２は、シャッターユニット３００の拡大説明図である。図１３は、シャッター３０６が遮光位置にある状態を示す図である。図１４は、シャッター３０６が退避位置にある状態を示す図である。
【００７０】
図１１に示すＨＵＤ１ａは、映像表示装置３０における映像光Ｌの射出面（レンズユニット４１側の面）の前にシャッター３０６を配置又は退避させるシャッターユニット３００を備える。シャッターユニット３００はＨＵＤ制御装置２０にバス６１で接続される。そして、ＨＵＤ制御装置２０は、ステップＳ４３ではシャッター３０６を遮光位置（図１３参照）に位置させ、ステップＳ４５ではシャッター３０６を退避位置（図１４参照）に位置させるように、シャッターユニット３００を駆動制御する。
【００７１】
図１２に示すように、シャッターユニット３００は、シャッター３０６及びシャッター３０６の移動機構、具体的には、シャッターモータ３０１、ギア列３０２、リードスクリュー３０３、シャッターホルダー３０４、リードスクリューホルダー３０５、及び摺動ガイド３０７を備える。シャッターモータ３０１はＨＵＤ制御装置２０にバス６１を介して通信接続される。リードスクリューホルダー３０５と摺動ガイド３０７とは筐体５０に取付けられている。
【００７２】
シャッターモータ３０１の回転軸はギア列３０２に連結され、リードスクリュー３０３の一端部がギア列３０２に連結する。
【００７３】
リードスクリュー３０３の他端はリードスクリューホルダー３０５に保持される。リードスクリュー３０３の表面にはネジ山が切られている。
【００７４】
シャッターホルダー３０４はシャッター３０６を保持する。シャッターホルダー３０４におけるリードスクリュー３０３との対向位置には、ネジ溝が切られている。リードスクリュー３０３のネジ山と、シャッターホルダー３０４のネジ溝とは噛み合っている。
【００７５】
摺動ガイド３０７はリードスクリュー３０３とシャッター３０６を介して対向して設置される。摺動ガイド３０７におけるシャッターホルダー３０４との対向面には溝形状が設けられる。シャッターホルダー３０４の摺動ガイド３０７に対向する端部は、摺動ガイド３０７の溝に挿入され、シャッター３０６が退避位置から遮光位置へ、又は遮光位置から退避位置へと移動する際にシャッターホルダー３０４及びシャッター３０６がぐらつくことを抑制し、安定した移動が行える。
【００７６】
ＨＵＤ制御装置２０からシャッターモータ３０１へ正回転信号又は逆回転信号を送信すると、それに応じてシャッターモータ３０１が正回転又は逆回転する。シャッターモータ３０１の回転軸が正回転又は逆回転すると、ギア列３０２を介してリードスクリュー３０３が正回転又は逆回転する。そして、シャッターホルダー３０４はリードスクリュー３０３のネジ山に沿って退避位置から遮光位置へ、又は遮光位置から退避位置に向けて移動する。シャッターホルダー３０４と一体となって、シャッター３０６が退避位置から遮光位置へ、又は遮光位置から退避位置へと移動する。本例ではシャッターユニット３００を映像表示装置３０の前に配置したが、ＨＵＤ１ａにおける映像光Ｌの光路上にシャッターユニット３００を備えればよく、映像表示装置３０の前に限定されない。
【００７７】
また、上記ではステップＳ４５でミラー調整部２８がミラー駆動部４４を駆動させると記載したが、鏡面が遮光角度で回転していることを示すフラグを格納する処理だけを行ってもよい。そして、ステップＳ４７において虚像位置の制御時に、凹面ミラー４３の復帰も同時に行ってもよい。これにより、凹面ミラー４３の駆動回数を減らすことができる。
【００７８】
また上記では、ステップＳ４３で凹面ミラー４３を遮光角度で回転させた後、虚像表示をＯＦＦにしておらず、直前の処理で虚像表示（Ｓ４８）を実行していると、虚像表示処理をしたまま凹面ミラー４３を遮光角度で回転させるとしている。しかし、凹面ミラー４３を遮光角度で回転させた後の映像光Ｌの生成は、虚像１００の表示に結びつかず無駄な処理なので、ステップＳ４３の後に虚像表示ＯＦＦの処理、例えば光源３１を消灯したり、表示素子３３に表示オブジェクトを非表示にする処理を追加してもよい。その場合、次回ステップＳ４８で虚像表示をする際に、光源３１を点灯したり、表示素子３３に表示オブジェクトを表示する処理を再開する。
【００７９】
図１５は防眩板５２に反射部材５２ｂを備えた別実施形態を示す図である。図１４では、防眩板５２における映像光Ｌの出射領域５２ａとは異なる領域に、自然光（近赤外光から可視光を含む）を反射する反射部材５２ｂを備える。そして、反射部材５２ｂは運転者５の顔表面で反射し、ウィンドシールド３を経て防眩板５２に到達した自然光を、カメラ７０に向けて反射する。反射部材５２ｂは例えばアルミニウム板やミラーでもよい。これにより、運転者５の顔画像をカメラ７０でより鮮明に撮像することができる。
【符号の説明】
【００８０】
１          ：ＨＵＤ
２          ：車両
３          ：ウィンドシールド
４          ：ダッシュボード
５          ：運転者
７          ：ダッシュボード開口部
１０        ：遮光フード
２０        ：ＨＵＤ制御装置
３０        ：映像表示装置
４０        ：虚像光学系
４３        ：凹面ミラー 
４４        ：ミラー駆動部
５０        ：筐体
５１        ：筐体開口部
５２        ：防眩板
７０        ：カメラ
１００      ：虚像
７００      ：視点検出装置
【図１】
2020021823.tif 000003
【図２】
2020021823.tif 000004
【図３】
2020021823.tif 000005
【図４】
2020021823.tif 000006
【図５】
2020021823.tif 000007
【図６】
2020021823.tif 000008
【図７】
2020021823.tif 000009
【図８】
2020021823.tif 000010
【図９】
2020021823.tif 000011
【図１０Ａ】
2020021823.tif 000012
【図１０Ｂ】
2020021823.tif 000013
【図１０Ｃ】
2020021823.tif 000014
【図１１】
2020021823.tif 000015
【図１２】
2020021823.tif 000016
【図１３】
2020021823.tif 000017
【図１４】
2020021823.tif 000018
【図１５】
2020021823.tif 000019
【国際調査報告】
2020021823.tif 000020
2020021823.tif 000021
2020021823.tif 000022
2020021823.tif 000023