(57)【要約】  ヘッドアップディスプレイは、表示装置と、光学系とを備える。表示装置は、表示パネルと、入力部と、メモリと、コントローラとを備える。表示パネルは、画像を表示するよう構成される。入力部は、撮像装置を基準とした、較正用オブジェクトの位置を示す較正用情報、および利用者の眼の位置を示す第１位置情報を受け付けるよう構成される。メモリは、較正用情報を記憶するよう構成される。光学系は、表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって利用者に画像の虚像である虚像面を視認させるよう構成される。コントローラは、較正用情報を用いて、第１位置情報を、虚像面を基準とした眼の位置を示す第２位置情報に変換するよう構成される。
2020045350.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示するよう構成される表示パネルと、撮像装置を基準とした利用者の眼の位置を示す第１位置情報を受け付けるよう構成される入力部と、較正用情報を記憶するよう構成されるメモリと、コントローラとを含む表示装置と、
前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される光学系と、を備え、
前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成されるヘッドアップディスプレイ。
【請求項２】
前記コントローラは、
前記較正用情報として前記第１位置情報を前記第２位置情報に変換するための変換パラメータを算出して前記メモリに記憶するよう構成され、
前記変換パラメータを用いて、前記第１位置情報を前記第２位置情報に変換するよう構成される請求項１に記載のヘッドアップディスプレイ。
【請求項３】
前記メモリは、第１配置情報を記憶し、該第１配置情報は前記撮像装置の位置および姿勢の少なくとも１つを示すよう構成され、
前記入力部は、前記撮像装置の位置および姿勢の少なくとも１つが変化したとき、前記撮像装置の変化後の位置および姿勢の少なくとも１つを示す変化後の前記第１配置情報を受け付けるよう構成され、
前記コントローラは、前記入力部によって受け付けられた前記変化後の前記第１配置情報の、前記メモリに記憶されている前記第１配置情報からの変化に基づいて前記変換パラメータを決定するよう構成される請求項２に記載のヘッドアップディスプレイ。
【請求項４】
前記メモリは、第２配置情報を記憶し、該第２配置情報は前記光学系の位置および姿勢の少なくとも１つを示すよう構成され、
前記入力部は、前記光学系の位置および姿勢の少なくとも１つが変化したとき、前記光学系の変化後の位置および姿勢の少なくとも１つを示す変化後の前記第２配置情報を受け付けるよう構成される、
前記コントローラは、前記入力部によって受け付けられた前記変化後の前記第２配置情報の、前記メモリに記憶されている前記第２配置情報からの変化に基づいて前記変換パラメータを決定するよう構成される請求項２又は３に記載のヘッドアップディスプレイ。
【請求項５】
前記メモリは、第３配置情報を記憶し、該第３配置情報は、前記表示パネルの位置および姿勢の少なくとも１つを示すよう構成され、
前記入力部は、前記表示パネルの位置および姿勢の少なくとも１つが変化したとき、前記表示パネルの変化後の位置および姿勢の少なくとも１つを示す変化後の前記第３配置情報を受け付けるよう構成され、
前記コントローラは、前記入力部によって受け付けられた前記変化後の前記第３配置情報の、前記メモリに記憶されている前記第３配置情報からの変化に基づいて前記変換パラメータを決定するよう構成される請求項２から４のいずれか一項に記載のヘッドアップディスプレイ。
【請求項６】
較正用オブジェクトの位置、および利用者の眼の位置を検出するよう構成される撮像装置と、
画像を表示するよう構成される表示パネルと、前記撮像装置を基準とした利用者の眼の位置を示す第１位置情報を受け付けるよう構成される入力部と、較正用情報を記憶するよう構成されるメモリと、コントローラとを含む表示装置と、前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される光学系と、を含み、前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成されるヘッドアップディスプレイと、
を備えるヘッドアップディスプレイシステム。
【請求項７】
画像を表示するよう構成される表示パネルと、撮像装置を基準とした利用者の眼の位置を示す第１位置情報を受け付けるよう構成される入力部と、較正用情報を記憶するよう構成されるメモリと、コントローラとを含むよう構成される表示装置と、前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される光学系と、を含み、前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成されるヘッドアップディスプレイ
を備える移動体。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年８月２９日出願の日本国特許出願第２０１８−１６０６８５号の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。
【技術分野】
【０００２】
本開示は、ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体に関する。
【背景技術】
【０００３】
従来、撮像装置における車両の進行方向からの光軸のずれを検出することによって、対象物の位置を正確に算出する位置検出装置が知られている（特許文献１参照）。車両に搭乗する利用者の眼の位置に向けて画像光を投影するヘッドアップディスプレイにおいては、利用者の眼の位置を正確に検出することが必要である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−５６５６号公報
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示のヘッドアップディスプレイは、表示装置と、光学系とを備える。前記表示装置は、表示パネルと、入力部と、メモリと、コントローラとを備える。前記表示パネルは、画像を表示するよう構成される。前記入力部は、撮像装置を基準とした、較正用オブジェクトの位置を示す較正用情報、および利用者の眼の位置を示す第１位置情報を受け付けるよう構成される。前記メモリは、前記較正用情報を記憶するよう構成される。前記光学系は、前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される。前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成される。【０００６】
本開示のヘッドアップディスプレイシステムは、撮像装置と、ヘッドアップディスプレイとを備える。ヘッドアップディスプレイは、表示装置と、光学系とを備える。前記表示装置は、表示パネルと、入力部と、メモリと、コントローラとを備える。前記表示パネルは、画像を表示するよう構成される。前記入力部は、前記撮像装置を基準とした、較正用オブジェクトの位置を示す較正用情報、および利用者の眼の位置を示す第１位置情報を受け付けるよう構成される。前記メモリは、前記較正用情報を記憶する。前記光学系は、前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される。前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成される。【０００７】
本開示の移動体は、ヘッドアップディスプレイを備える。ヘッドアップディスプレイは、表示装置と、光学系とを備える。前記表示装置は、表示パネルと、入力部と、メモリと、コントローラとを備える。前記表示パネルは、画像を表示するよう構成される。前記入力部は、撮像装置を基準とした、較正用オブジェクトの位置を示す較正用情報、および利用者の眼の位置を示す第１位置情報を受け付けるよう構成される。前記メモリは、前記較正用情報を記憶するよう構成される。前記光学系は、前記表示パネルに表示された画像に対応して射出された画像光を利用者の眼に向けて反射させることによって前記利用者に前記画像の虚像である虚像面を視認させるよう構成される。前記コントローラは、前記較正用情報を用いて、前記第１位置情報を、前記虚像面を基準とした前記眼の位置を示す第２位置情報に変換するよう構成される。
【図面の簡単な説明】
【０００８】
【図１】ヘッドアップディスプレイシステムを搭載した移動体の例を示す図である。
【図２】図１に示す表示装置の概略構成を示す図である。
【図３】図２に示す表示パネルを奥行方向から見た例を示す図である。
【図４】図２に示すパララックスバリアを奥行方向から見た例を示す図である。
【図５】図１に示す虚像と利用者の眼との関係を説明するための図である。
【図６】図５に示す虚像面における左可視領域を説明するための図である。
【図７】図５に示す虚像面における右可視領域を説明するための図である。
【図８】水平方向から見た虚像面と撮像装置との位置関係の例を示す図である。
【図９】鉛直方向から見た虚像面と撮像装置との位置関係の例を示す図である。
【図１０】ｙ軸方向についての第１位置情報を第２位置情報に変換するための変換パラメータを説明するための図である。
【図１１】ｘ軸方向についての第１位置情報を第２位置情報に変換するための変換パラメータを説明するための図である。
【図１２】図３に示す表示パネルの変形例を奥行方向から見た図である。
【図１３】図４に示すパララックスバリアの変形例を奥行方向から見た図である。
【発明を実施するための形態】
【０００９】
利用者がヘッドアップディスプレイによって投影された画像の虚像を視認することが妨げられることなく、撮像装置が利用者の眼の位置を正確に検出することが望まれている。
【００１０】
本開示は、利用者に適切な虚像を視認させることができるヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体を提供する。
【００１１】
以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１２】
本開示の一実施形態にかかるヘッドアップディスプレイシステム１００は、図１に示すように、撮像装置１と、ヘッドアップディスプレイ（ＨＵＤ：Head Up Display）２とを含む。ヘッドアップディスプレイシステム１００は、移動体２０に搭載されてよい。
【００１３】
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
【００１４】
撮像装置１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。
【００１５】
撮像装置１は、該撮像装置１の被写体側に利用者の顔が位置するように配置される。撮像装置１は、撮像範囲に利用者の顔が含まれるように、利用者の顔の正面からずれた位置に配置されてよい。ヘッドアップディスプレイシステム１００が移動体２０に搭載される場合、撮像装置１は、ルームミラーに取り付けられてよい。撮像装置１は、インスツルメントパネル内の、例えばクラスターに取り付けられてよい。撮像装置１は、センターパネルに取り付けられてよい。撮像装置１は、ステアリングホイールの中心に配置された、移動体２０に調整可能に固定して搭載されている、該ステアリングホイールの支持部に取り付けられてよい。
【００１６】
撮像装置１は、物体の位置を検出するよう構成される。例えば、撮像装置１は、第１座標系における利用者の左眼（第１眼）および右眼（第２眼）の少なくとも一方の位置を検出するよう構成される。第１座標系は、撮像装置１を基準とした座標系である。第１座標系において、撮像装置１の光軸ＯＸの方向をＺ方向とする。第１座標系は、例えば、撮像装置１の所定の位置を原点としてよい。撮像装置１の所定の位置は、例えば、光軸ＯＸに垂直な撮像面の中心であってよい。撮像装置１は、較正用オブジェクトの位置を検出するよう構成される。較正用オブジェクトは、較正作業者の眼であってよい。
【００１７】
撮像装置１は、利用者の眼の第１座標系における位置を示す第１位置情報を表示装置４に出力するよう構成される。撮像装置１は、較正用オブジェクトの第１座標系における位置を示す較正位置情報を表示装置４に出力するよう構成される。撮像装置１は、第１位置情報および較正位置情報を、有線、無線、およびＣＡＮ（Controller Area Network）等の通信ネットワークを介して表示装置４に出力するよう構成されてよい。
【００１８】
撮像装置１は、カメラの利用者の顔の像を含む撮影画像から左眼および右眼の少なくとも一方の位置を検出するよう構成されてよい。具体的には、撮像装置１は、撮像画像上の利用者の顔の位置、顔の向き、および顔の大きさの組み合わせと、第１座標系における利用者の眼の位置と、を対応付けた対応情報を予め記憶できるよう構成される。対応情報は、例えば実験またはシミュレーションによって決定可能である。対応情報は、例えばルックアップテーブルとして記憶されてよい。撮像装置１は、撮像画像上の利用者の顔の位置、顔の向き、および顔の大きさを検出できるよう構成される。顔および眼の検出には、例えばパターンマッチングを用いる手法、または撮像画像上の利用者の特徴点を抽出する手法等が採用可能である。撮像装置１は、検出された撮像画像上の利用者の顔の位置、顔の向き、および顔の大きさの組み合わせに対応しうる、第１座標系における利用者の両眼の位置を、対応情報から抽出できるよう構成される。撮像装置１は、抽出された位置を、第１座標系における利用者の両眼の位置として検出できるよう構成される。
【００１９】
撮像装置１は、光軸ＯＸの方向における利用者の眼の位置を公知の方法により検出できるよう構成される。例えば、撮像装置１は、合焦点距離と画像上のぼけとに基づいて、光軸ＯＸの方向における利用者の眼までの距離を検出できるよう構成される。例えば、撮像装置１は、赤外線を用いたＴｏＦ（Time of Flight）方式により光軸ＯＸの方向における利用者の顔の位置を検出し、該顔の位置に基づいて、上述したように眼の位置を検出できよう構成される。例えば、撮像装置１は、カメラ画角と対象物とのサイズ比較により距離の算出を行うよう構成される。
【００２０】
ＨＵＤ２は、光学系３と、表示装置４とを含む。光学系３は、１つ以上の光学素子３１と、光学部材３２とを含みうる。
【００２１】
１つ以上の光学素子３１は、表示装置４から射出された画像光を、光学部材３２の所定領域に向けて反射させるよう構成される。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材３２に対する利用者の眼の方向、および光学部材３２への画像光の入射方向によって定まりうる。１つ以上の光学素子３１のそれぞれは、ミラー又はレンズであってよい。光学素子３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、１つ以上の光学素子３１は、１つのミラーとして表示するよう構成されている。しかし、これに限られず、１つ以上の光学素子３１は、１つ以上のミラー、レンズ、およびその他の光学素子を組み合わせて構成されてよい。
【００２２】
光学部材３２は、表示装置４から射出され、１つ以上の光学素子３１によって反射された画像光を、利用者の左眼および右眼に向けて反射させるよう構成される。例えば、移動体２０のウインドシールドは、光学部材３２として兼用されてよい。したがって、ＨＵＤ２は、光路Ｌに沿って、表示装置４から射出された光を、利用者の左眼および右眼まで進行させるよう構成される。利用者は、光路Ｌに沿って到達した光を虚像Ｖとして視認しうる。
【００２３】
図２に示すように、表示装置４は、入力部５と、照射器６と、表示パネル７と、光学素子としてのパララックスバリア８と、コントローラ９と、メモリ１０とを含むことができる。表示装置４が移動体２０に搭載される場合、表示装置４は、移動体２０のクラスターに取り付けられてよい。
【００２４】
入力部５は、撮像装置１によって検出された第１座標系における利用者の眼の位置を示す第１位置情報を受け付けるよう構成される。入力部５は、撮像装置１によって検出された第１座標系における較正用オブジェクトの位置を示す較正位置情報を受け付けるよう構成される。入力部５は、後述する第１配置情報、第２配置情報、および第３配置情報の少なくとも１つを受け付けるよう構成されてよい。
【００２５】
照射器６は、表示パネル７を面的に照射できるよう構成される。照射器６は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器６は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル７の面方向に均一化するよう構成される。そして、照射器６は均一化された光を表示パネル７の方に出射できるよう構成される。
【００２６】
表示パネル７は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル７としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル７として、自発光型の表示パネルを使用した場合、表示装置４は照射器６を備えなくてよい。表示パネル７を液晶パネルとして説明する。
【００２７】
図３に示すように、表示パネル７は、面状に形成されたアクティブエリア７１上に複数の区画領域を有するよう構成される。アクティブエリア７１は、視差画像を表示するよう構成される。視差画像は、後述する左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。区画領域は、格子状のブラックマトリックスにより区画された領域である。区画領域は、第１方向および第１方向に直交する第２方向に区画された領域である。第１方向および第２方向に直交する方向は第３方向と称される。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。第３方向は奥行方向と称されてよい。しかし、第１方向、第２方向、および第３方向はそれぞれこれらに限られない。図３、４、６および７において、第１方向はｕ軸方向として表され、第２方向はｖ軸方向として表され、第３方向はｗ軸方向として表される。
【００２８】
区画領域の各々には、１つのサブピクセルが対応する。したがって、アクティブエリア７１は、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
【００２９】
各サブピクセルは、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応する。Ｒ，Ｇ，Ｂの３つのサブピクセルは、一組として１ピクセルを構成する。１ピクセルは、１画素と称されうる。水平方向は、例えば、１ピクセルを構成する複数のサブピクセルが並ぶ方向である。鉛直方向は、例えば、同じ色のサブピクセルが並ぶ方向である。
【００３０】
上述のようにアクティブエリア７１に配列された複数のサブピクセルは、サブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、水平方向に繰り返して配列される。サブピクセル群Ｐｇは、鉛直方向にも繰り返して配列される。サブピクセル群Ｐｇは、所定の行および列のサブピクセルを含む。具体的には、サブピクセル群Ｐｇは、鉛直方向にｂ行、水平方向に２×ｎ列、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１〜Ｐ（２×
ｎ×ｂ）を含む。図３に示す例では、ｎ＝５、ｂ＝１である。アクティブエリア７１には、鉛直方向に１行、水平方向に１０列、連続して配列された１０個のサブピクセルＰ１〜Ｐ１０を含むサブピクセル群Ｐｇが配置される。図３に示す例では、一部のサブピクセル群Ｐｇに符号を付している。サブピクセル群Ｐｇの水平方向の長さである画像ピッチｋは、１つのサブピクセルの水平方向の長さをＨｐとすると、ｋ＝２×ｎ×Ｈｐと表される。
【００３１】
サブピクセル群Ｐｇは、後述するコントローラ９が画像を表示するための制御を行う最小単位である。全てのサブピクセル群Ｐｇの同じ識別情報を有するサブピクセルＰ１〜Ｐ（２×ｎ×ｂ）は、コントローラ９によって同時に制御される。例えば、コントローラ９は、サブピクセルＰ１に表示させる画像を左眼画像から右眼画像に切り替える場合、全てのサブピクセル群ＰｇにおけるサブピクセルＰ１に表示させる画像を左眼画像から右眼画像に同時的に切り替えられる。
【００３２】
パララックスバリア８は、図２に示したように、アクティブエリア７１に沿って広がる。パララックスバリア８は、アクティブエリア７１から所定距離（ギャップ）ｇ、離れて位置する。パララックスバリア８は、表示パネル７に対して照射器６の反対側に位置してよい。パララックスバリア８は、表示パネル７の照射器６側に位置してよい。
【００３３】
パララックスバリア８は、図４に示すように、サブピクセルから射出される画像光の伝播方向である光線方向を規定するよう構成される。具体的には、図４に示したように、パララックスバリア８は、複数の透光領域８１および複数の減光領域８２を有する。透光領域８１は、パララックスバリア８に入射する光を透過させる部分である。透光領域８１は、第１所定値以上の透過率で光を透過させるよう構成されてよい。第１所定値は、後述する第２所定値より高い。減光領域８２は、第２所定値以下の透過率で光を透過させてよい。減光領域８２は、所定方向に延び、互いに隣接する該減光領域８２の間の、所定方向に延びる透光領域８１を画定する。所定方向は、例えば、鉛直方向であってよい。透光領域８１と減光領域８２とは、所定方向と直交する方向に繰り返し交互に配列される。
【００３４】
例えば、減光領域８２は、遮光面によって構成されてよい。透光領域８１は、遮光面によって画定される開口によって構成されてよい。このような構成において、第１所定値は、例えば１００％であってよいし、１００％に近い値であってよい。第２所定値は、例えば０％であってよいし、０％に近い値であってよい。第１所定値は、第２所定値との相対的な比率として規定されうる。
【００３５】
パララックスバリア８は、液晶シャッタで構成されてよい。液晶シャッタは、印加する電圧に応じて光の透過率を制御しうる。液晶シャッタは、複数の画素で構成され、各画素における光の透過率を制御してよい。このような構成において、第１所定値に対する第２所定値の比率は低いほどよい。第１所定値に対する第２所定値の比率は、一例では、１／１００とすることできる。第１所定値に対する第２所定値の比率は、他の例では、１／１０００とすることができる。
【００３６】
表示パネル７のアクティブエリア７１から射出された画像光の一部は、透光領域８１を透過し、１つ以上の光学素子３１を介して光学部材３２に到達する。さらに光学部材３２に到達した画像光は光学部材３２に反射されて利用者の眼に到達する。これにより、利用者の眼は光学部材３２の前方にアクティブエリア７１に表示された画像の虚像である第１虚像Ｖ７を認識する。本願において前方は、利用者からみて光学部材３２の方向である。前方は、移動体２０の通常移動する方向である。したがって、図５に示したように、利用者は、見かけ上、パララックスバリア８の虚像である第２虚像Ｖ８を介して第１虚像Ｖ７からの画像光の方向を規定しているかのごとく、画像を認識する。
【００３７】
このように、利用者は、見かけ上、第２虚像Ｖ８を介して第１虚像Ｖ７を視認するかのごとく画像を認識しており、実際にはパララックスバリア８の虚像である第２虚像Ｖ８は存在しない。しかし、以降においては、第２虚像Ｖ８は、見かけ上、パララックスバリア８の虚像が形成される位置にあり、第１虚像Ｖ７からの画像光を規定するとみなされるものとして説明される。
【００３８】
このように構成されることによって、パララックスバリア８は、アクティブエリア７１の一部のサブピクセルから出射した画像光を、透光領域８１を透過させ利用者の左眼に伝播させるよう構成される。パララックスバリア８は、他の一部のサブピクセルから出射した画像光を、透光領域８１を透過させ利用者の右眼に伝播させるよう構成される。画像光が利用者の左眼および右眼のそれぞれに伝播されることによって、利用者の眼に視認される画像について、図６および図７を参照して詳細に説明する。図６および図７において、左眼画像を表示するサブピクセルには符号「Ｌ」が付され、右眼画像を表示するサブピクセルには符号「Ｒ」が付されている。
【００３９】
図６に示す左可視領域（第１可視領域）ＶａＬは、上述のように、パララックスバリア８の透光領域８１を透過した画像光が利用者の左眼に到達することによって、利用者の左眼が視認する虚像面Ｖ７１の領域である。左遮光領域ＶｂＬは、パララックスバリア８の減光領域８２によって画像光が減光されることによって、利用者の左眼が視認しにくい領域である。図６に示す例では、左可視領域ＶａＬには、虚像サブピクセルＶＰ１からＶＰ５が含まれる。左遮光領域ＶｂＬには、虚像サブピクセルＶＰ６からＶＰ１０が含まれる。虚像サブピクセルＶＰ１からＶＰ１０は、それぞれアクティブエリア７１に配列されたサブピクセルＰ１からＰ１０に表示される画像の虚像である。左可視領域ＶａＬおよび左遮光領域ＶｂＬは、図５に示す適視距離ｄ、利用者の眼間距離Ｅ、第２虚像Ｖ８のピッチＢｐｖ、虚像ギャップｇｖ、および第１虚像Ｖ７の画像ピッチｋｖとの関係で定まりうる。虚像ギャップｇＶは、第２虚像Ｖ８と第１虚像Ｖ７との間の距離ｇｖである。適視距離ｄは、第２虚像Ｖ８と利用者の眼との間の距離である。第１虚像Ｖ７の画像ピッチｋｖは、虚像面Ｖ７１において画像ピッチｋに対応する長さである。
【００４０】
図７に示す右可視領域（第２可視領域）ＶａＲは、パララックスバリア８の透光領域８１を透過した他の一部のサブピクセルからの画像光が利用者の右眼に到達することによって、利用者の右眼が視認する虚像面Ｖ７１の領域である。右遮光領域ＶｂＲは、パララックスバリア８の減光領域８２によって画像光が減光されることによって、利用者の右眼が視認しにくい領域である。図７に示す例では、右可視領域ＶａＲには、虚像サブピクセルＶＰ６からＶＰ１０が含まれる。右遮光領域ＶｂＲには、虚像サブピクセルＶＰ１からＶＰ５が含まれる。右可視領域ＶａＲおよび右遮光領域ＶｂＲは、左可視領域ＶａＬおよび左遮光領域ＶｂＬと同じく、図５に示す適視距離ｄ、利用者の眼間距離Ｅ、第２虚像Ｖ８のピッチＢｐｖ、虚像ギャップｇｖ、および第１虚像Ｖ７の画像ピッチｋｖとの関係で定まりうる。
【００４１】
このように、利用者の左眼が左可視領域ＶａＬの左眼画像の虚像を視認し、右眼が右可視領域ＶａＲに右眼画像の虚像を視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像の虚像を視認する。
【００４２】
コントローラ９は、ヘッドアップディスプレイシステム１００の各構成要素に接続され、各構成要素を制御できるよう構成される。コントローラ９によって制御される構成要素は、撮像装置１および表示パネル７を含む。コントローラ９は、例えばプロセッサとして構成される。コントローラ９は、１以上のプロセッサを含んでよい。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。コントローラ９は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In aPackage）のいずれかであってよい。コントローラ９は、記憶部を備え、記憶部に各種情報、またはヘッドアップディスプレイシステム１００の各構成要素を動作させるためのプログラム等を格納するよう構成されてよい。記憶部は、例えば半導体メモリ等で構成されてよい。記憶部は、コントローラ９のワークメモリとして機能してよい。
【００４３】
メモリ１０は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１０は、入力部５によって受け付けられた情報、およびコントローラ９によって変換された情報を記憶するよう構成される。例えば、メモリ１０は、入力部５によって受け付けられた、後述する較正位置情報を記憶するよう構成される。例えば、メモリ１０は、コントローラ９によって変換された、後述する変換パラメータを較正用情報として記憶するよう構成されてよい。例えば、メモリ１０は、入力部５によって受け付けられた、第１配置情報、第２配置情報、および第３配置情報の少なくとも１つを記憶するよう構成されてよい。
【００４４】
上述したように、利用者が適切に３次元画像の虚像を視認するためには、ＨＵＤ２は、虚像面Ｖ７１における左可視領域ＶａＬおよび右可視領域ＶａＲにそれぞれ左眼画像の虚像および右眼画像の虚像を利用者に視認させる必要がある。上述したように、左可視領域ＶａＬおよび右可視領域ＶａＲは適視距離ｄに基づいて定まりうる。適視距離ｄは、虚像ギャップｇＶと、虚像面Ｖ７１から眼の位置までの距離とに基づいて算出されうる。虚像ギャップｇＶは、第１虚像Ｖ７と第２虚像Ｖ８との間の距離であり、表示パネル７、パララックスバリア８、および光学系３の関係により算出されうる。したがって、適視距離ｄを算出するためには、虚像面Ｖ７１から眼の位置までの距離を算出することが必要である。そこで、コントローラ９は、撮像装置１によって検出された眼の位置に基づいて、虚像面Ｖ７１から眼の位置までの距離を算出するよう構成される。
【００４５】
撮像装置１は、利用者の視野と重ならないよう、第１虚像Ｖ７への光線から離れて配置される。第１虚像Ｖ７への光線から離れて配置された撮像装置１が利用者の顔を検出するために、撮像装置１の光軸ＯＸの方向は虚像面Ｖ７１の法線方向と必ずしも同一ではない。例えば、図８に示すように、撮像装置１の光軸ＯＸの方向は、虚像面Ｖ７１の法線方向からチルト方向にずれていてよい。例えば、図９に示すように、撮像装置１の光軸ＯＸの方向は、虚像面Ｖ７１の法線方向からパン方向にずれていてよい。
【００４６】
そのため、コントローラ９は、撮像装置１を基準とした第１座標系における眼の位置に基いて、虚像面Ｖ７１を基準とした第２座標系の座標を算出するよう構成される。図８および図９に示したように、第２座標系は、虚像面Ｖ７１を基準とした直交座標系である。具体的には、第２座標系は、虚像面Ｖ７１における所定の位置を原点とし、撮像装置１の法線方向をｚ軸とした直交座標系である。所定の位置は、例えば、虚像面Ｖ７１の中心であってよい。第２座標系において、虚像面Ｖ７１内の一方向をｘ方向とする。ｘ方向は、利用者の右眼と左眼とを通る直線に沿う方向であってよい。虚像面Ｖ７１内でｘ方向に直交する方向をｙ方向とする。
【００４７】
図８に示したように、利用者の眼が位置Ａにある場合と、位置Ａからｚ方向に変位した位置Ｂにある場合とでは、第２座標系における眼の位置のｙ座標ｙeyeは変化しない。一方、撮像装置１の光軸ＯＸの方向が第２座標系のｚ軸からチルト方向にずれている構成において、撮像装置１を基準とした第１座標系における、位置Ａにある眼の位置のＹ座標ＹAと、位置Ｂにある眼の位置のＹ座標ＹBとは異なる。具体的には、眼の位置が光軸ＯＸとｚ軸との交点からｚ方向に離れるほど、第１座標系における眼の位置のＹ座標の、第２座標系のｙ座標ｙeyeからの差異は大きい。
【００４８】
図９に示したように、利用者の眼が位置Ｃにある場合と、位置Ｃからｚ方向に変位した位置Ｄにある場合とでは、第２座標系における眼の位置のｘ座標ｘeyeは変化しない。一方、撮像装置１の光軸ＯＸの方向が第２座標系のｚ軸からパン方向にずれている構成において、第１座標系における、位置Ｃにある眼の位置のＸ座標ＸCと、位置Ｄにある眼の位置のＸ座標ＸDとは異なる。具体的には、眼の位置が光軸ＯＸとｚ軸との交点からｚ方向に離れるほど、第１座標系における眼の位置のＸ座標の、第２座標系のｘ座標ｘeyeからの差異は大きい。
【００４９】
この差異を補正するために、コントローラ９は、初期設定モードにおいて、撮像装置１によって検出された第１較正点ＣＰ１および第２較正点ＣＰ２を用いて、第１位置情報を第２位置情報に変換するための変換パラメータを決定するよう構成される。第１位置情報は、撮像装置１によって検出された眼の位置を第１座標系で示した情報である。第２位置情報は、眼の位置を第２座標系で示した情報である。コントローラ９は、較正モードにおいて、初期設定モードで決定された変換パラメータを、表示パネル７、撮像装置１、および光学系３の少なくとも１つの配置（位置および姿勢の少なくとも１つ）に基づいて変更することによって決定するよう構成されてよい。コントローラ９は、通常モードにおいて、初期設定モードまたは較正モードで決定された変換パラメータを用いて、撮像装置１によって検出された眼の位置を示す第１位置情報を第２位置情報に変換するよう構成される。
【００５０】
以降において、初期設定モード、通常モード、および較正モードのそれぞれで撮像装置１および表示装置４が実行する処理について詳細に説明する。
【００５１】
＜＜初期設定モード＞＞
＜ｙ軸方向についての変換パラメータの決定＞
図１０に示したように、撮像装置１は、第１座標系における第１較正点ＣＰ１および第２較正点ＣＰ２それぞれの位置を検出するよう構成される。第１較正点ＣＰ１は、第２座標系におけるｚ軸上にある任意の点である。図１０に示す例では、第１較正点ＣＰ１のＹ座標Ｙ１は０である。第２較正点ＣＰ２は、第２座標系におけるｚ軸上にある、第１較正点ＣＰ１とは異なる点である。例えば、撮像装置１は、較正作業者によって第１較正点ＣＰ１に配置された較正用オブジェクトを検出することによって第１較正点ＣＰ１の第１座標系における位置を示すＺ座標およびＹ座標を検出できるよう構成される。例えば、撮像装置１は、較正作業者によって第２較正点ＣＰ２に配置された較正用オブジェクトを検出することによって、第２較正点ＣＰ２の、第１座標系における位置を示すＺ座標およびＹ座標を検出できるよう構成される。撮像装置１は、検出された第１較正点ＣＰ１および第２較正点ＣＰ２それぞれの、第１座標系における位置を示す較正位置情報を表示装置４に出力するよう構成される。
【００５２】
入力部５は、撮像装置１から出力された較正位置情報を受け付けるよう構成される。
【００５３】
コントローラ９は、第１座標系における第２座標系のｚ軸を示す式を算出するよう構成される。具体的には、コントローラ９は、入力部５によって受け付けた第１較正点ＣＰ１および第２較正点ＣＰ２を通る第１座標系での直線の式を算出するよう構成される。例えば、第１較正点ＣＰ１の座標を（Ｚ１、Ｙ１）、第２較正点ＣＰ２の座標を（Ｚ２、Ｙ２）とすると、第２座標系のｚ軸は、次の式（１）で表される。撮像装置１によって検出される、第１座標系におけるＹ座標は、第１座標系のＺ軸方向に垂直な方向におけるＺ軸からの長さである。第１座標系のＺ軸と第２座標系のｚ軸とのなす角が小さい場合、第１座標系における第１較正点ＣＰ１および第２較正点ＣＰ２のそれぞれＹ座標は、ｙ軸方向におけるＺ軸からの距離Ｙ１およびＹ２に近似されうる。
【００５４】
【数１】
2020045350.tif 000003
【００５５】
第１座標系における眼の位置のｙ座標ｙeyeは、撮像装置１によって検出された眼の位置のＹ座標ＹdetectおよびＺ座標Ｚdetectを用いて次の式（２）で示される。
ｙeye＝−Ｄｙ＋Ｙdetect                              （２）
【００５６】
上述したように、眼の位置が光軸ＯＸとｚ軸との交点からｚ方向に離れるほど、眼の位置の第１座標系におけるＹ座標Ｙdetectにおける、第２座標系のｙ座標ｙeyeからの差異Ｄｙは大きくなる。差異Ｄｙは、第１座標系のＺ軸を示す直線の式（１）を用いて次の式（３）で表される。
【００５７】
【数２】
2020045350.tif 000004
【００５８】
したがって、コントローラ９は、第１座標系における眼の位置のｙ座標ｙeyeが、式（２）および（３）に基づく次の式（４）で表されると決定するよう構成される。すなわち、コントローラ９は、Ｙ座標ＹdetectおよびＺ座標Ｚdetectで示される第１位置情報を、ｙ座標ｙeyeで示される第２位置情報に変換するための変換パラメータを決定するよう構成される。なお、図１０に示すように、第１較正点ＣＰ１として第１座標系のＺ軸上に位置する点が用いられる場合、（４）式においてオフセットとなるＹ１を０にすることができる。
【００５９】
【数３】
2020045350.tif 000005
【００６０】
＜ｘ軸方向についての変換パラメータの決定＞
図１１に示したように、撮像装置１は、第２座標系における第１較正点ＣＰ１および第２較正点ＣＰ２それぞれの座標を検出する。例えば、撮像装置１は、較正作業者によって第１較正点ＣＰ１に配置された較正用オブジェクトを検出することによって第１較正点ＣＰ１のＺ座標Ｚ１およびＸ座標Ｘ１を検出できるよう構成される。図１１に示す例では、第１較正点ＣＰ１のＸ座標Ｘ１は０である。例えば、撮像装置１は、較正作業者によって第２較正点ＣＰ２に配置された較正用オブジェクトを検出することによって第２較正点ＣＰ２のＺ座標Ｚ２およびＸ座標Ｘ２を検出できるよう構成される。撮像装置１は、検出された第１較正点ＣＰ１および第２較正点ＣＰ２それぞれの座標を示す較正位置情報を表示装置４に出力するよう構成される。
【００６１】
入力部５は、撮像装置１から出力された較正位置情報を受け付けるよう構成される。
【００６２】
コントローラ９は、第２座標系における第１座標系のｚ軸を示す式を算出するよう構成される。具体的には、コントローラ９は、入力部５によって受け付けた較正位置情報が示す第１較正点ＣＰ１および第２較正点ＣＰ２の座標に基づいて、第１座標系における第１較正点ＣＰ１および第２較正点ＣＰ２を通る直線の式を算出するよう構成される。例えば、第１較正点ＣＰ１の座標を（Ｚ１、Ｘ１）、第２較正点ＣＰ２の座標を（Ｚ２、Ｘ２）とすると、次の式（５）で表される。撮像装置１によって検出される、第１座標系におけるＸ座標は、第１座標系のＺ軸方向に垂直な方向におけるＺ軸からの長さである。第１座標系のＺ軸と第２座標系のｚ軸とのなす角が小さい場合、第１座標系における第１較正点ＣＰ１および第２較正点ＣＰ２のそれぞれＸ座標は、ｘ軸方向におけるＺ軸からの距離Ｘ１およびＸ２に近似されうる。
【００６３】
【数４】
2020045350.tif 000006
【００６４】
第１座標系における眼の位置のｘ座標ｘeyeは、撮像装置１によって検出された第２座標系のＸ座標ＸdetectおよびＺ座標Ｚdetectを用いて次の式（６）で示される。
【００６５】
ｘeye＝−Ｄｘ＋Ｘdetect                              （６）
【００６６】
上述したように、眼の位置が光軸ＯＸとｚ軸との交点からｚ方向に離れるほど、眼の位置の第１座標系におけるＸ座標Ｘdetectの、第２座標系のｘ座標ｘeyeからの差異Ｄｘは大きくなる。差異Ｄｘは、第１座標系のｚ軸を示す直線の式（５）を用いて次の式（７）で表される。
【００６７】
【数５】
2020045350.tif 000007
【００６８】
したがって、コントローラ９は、第１座標系における眼の位置のｙ座標ｙeyeが、式（６）および（７）に基づく次の式（８）で表されることを決定する。すなわち、コントローラ９は、Ｘ座標ＸdetectおよびＺ座標Ｚdetectで示される第１位置情報を、ｘ座標ｘeye第２位置情報に変換するための変換パラメータを決定する。なお、第１較正点ＣＰ１として第１座標系のＺ軸上に位置する点が用いられる場合、ｙ座標ｙeyeの算出にあたってオフセットとなるＸ１を０にすることができる。
【００６９】
【数６】
2020045350.tif 000008
【００７０】
＜＜較正モード＞＞
上述したように、撮像装置１は、移動体２０のルームミラーに取り付けられることがある。このような構成において、ルームミラーの位置および姿勢の少なくとも一方が変化すると、ルームミラーに取り付けられた撮像装置１の位置および姿勢の少なくとも一方が変化する。撮像装置１の位置および姿勢の少なくとも一方が変化することにより、第１座標系が変化する。この結果、第１座標系と第２座標系との相対的な関係が変化する。
【００７１】
そこで、入力部５は、初期設定又は較正の際に、撮像装置１の位置および姿勢の少なくとも一方を制御する制御装置から送信された第１配置情報を受け付けるよう構成されてよい。第１配置情報は、撮像装置１の位置および姿勢の少なくとも一方を示す情報である。メモリ１０は、入力部５によって受け付けられた第１配置情報を記憶する。入力部５は、撮像装置１の位置および姿勢の少なくとも一方が変化したとき、撮像装置１の位置および姿勢の少なくとも一方を制御する制御装置から送信された、撮像装置１の変化後の位置および姿勢の少なくとも一方を示す第１配置情報を受け付けるよう構成されてよい。
【００７２】
コントローラ９は、第１配置情報の変化に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第１配置情報の、前回に入力部５によって受け付けられてメモリ１０に記憶されている第１配置情報からの変化に基づいて変換パラメータを決定するよう構成されてよい。例えば、コントローラ９は、予めメモリ１０に予め記憶されている、第１配置情報の変化と変換パラメータの補正量との関係を用いて、変換パラメータを決定するよう構成されてよい。コントローラ９は、第１配置情報の変化に基づいて、所定の変換ルールを用いて変換パラメータを決定するよう構成されてよい。
【００７３】
コントローラ９は、新たに受け付けた第１配置情報に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第１配置情報がメモリ１０に記憶されている第１配置情報と異なる場合、新たに受け付けた第１配置情報に基づいて変換パラメータを決定するよう構成されてよい。
【００７４】
撮像装置１が移動体２０におけるクラスター、センターパネル、又はステアリングホイールの支持部に取り付けられる構成においても、コントローラ９は、同じく変換パラメータを決定するよう構成されてよい。
【００７５】
上述したように、画像光を射出する表示パネル７、および該画像光を反射する光学系３は利用者の眼に画像光が到達するように配置される。利用者の眼の位置は該利用者の座高に応じて変化することがある。この場合、適切に画像光を利用者の眼に到達させるために、光学系３の位置および姿勢の少なくとも一方が変化されることがある。光学系３の位置および姿勢の少なくとも一方が変化することにより虚像面Ｖ７１の位置および姿勢の少なくとも一方が変化し、第１座標系が変化する。この結果、第１座標系と第２座標系との相対的な関係が変化する。
【００７６】
そこで、入力部５は、初期設定又は較正の際に、光学系３の位置および姿勢の少なくとも一方を変化させる制御装置から送信された第２配置情報を受け付けるよう構成されてよい。第２配置情報は、光学系３の位置および姿勢の少なくとも一方を示す情報である。光学系３の位置および姿勢とは、光学系３に含まれる光学素子３１の位置及び姿勢を意味する。メモリ１０は、入力部５によって受け付けられた第２配置情報を記憶するよう構成される。入力部５は、光学系３の位置および姿勢の少なくとも一方が変化したとき、光学系３の位置および姿勢の少なくとも一方を制御する制御装置から送信された、光学系３の変化後の位置および姿勢の少なくとも一方を示す第２配置情報を受け付けるよう構成されてよい。
【００７７】
コントローラ９は、第２配置情報の変化に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第２配置情報の、前回に入力部５によって受け付けられてメモリ１０に記憶されている第２配置情報からの変化に基づいて変換パラメータを決定するよう構成されてよい。例えば、コントローラ９は、予めメモリに予め記憶されている、第２配置情報の変化と変換パラメータの補正量との関係を用いて、変換パラメータを決定するよう構成されてよい。コントローラ９は、第２配置情報の変化に基づいて、所定の変換ルールを用いて変換パラメータを決定するよう構成されてよい。
【００７８】
コントローラ９は、新たに受け付けた第２配置情報に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第２配置情報がメモリ１０に記憶されている第２配置情報と異なる場合、新たに受け付けた第２配置情報に基づいて変換パラメータを決定するよう構成されてよい。
【００７９】
上述したように、利用者の眼の位置が該利用者の座高に応じて変化した場合、画像光を利用者の眼に到達させるために、表示パネル７の位置および姿勢の少なくとも一方が変化されることがある。表示パネル７の位置および姿勢の少なくとも一方が変化することにより虚像面Ｖ７１の位置および姿勢が変化し、第２座標系が変化する。この結果、第１座標系と第２座標系との相対的な関係は変化する。
【００８０】
そこで、入力部５は、初期設定又は較正の際に、表示パネル７の位置および姿勢の少なくとも一方を制御する制御装置から送信された第３配置情報を受け付けるよう構成されてよい。第３配置情報は、表示パネル７の位置および姿勢の少なくとも一方を示す情報である。メモリ１０は、入力部５によって受け付けられた第３配置情報を記憶するよう構成される。入力部５は、表示パネル７の位置および姿勢の少なくとも一方が変化したとき、表示パネル７の位置および姿勢の少なくとも一方を制御する制御装置から送信された、表示パネル７の変化後の位置および姿勢の少なくとも一方を示す第３配置情報を受け付けるよう構成されてよい。
【００８１】
コントローラ９は、第３配置情報の変化に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第３配置情報の、前回に入力部５によって受け付けられてメモリ１０に記憶されている第３配置情報からの変化に基づいて変換パラメータを決定するよう構成されてよい。例えば、コントローラ９は、予めメモリに予め記憶されている、第３配置情報の変化と変換パラメータの補正量との関係を用いて、変換パラメータを決定するよう構成されてよい。コントローラ９は、第３配置情報の変化に基づいて、所定の変換ルールを用いて変換パラメータを決定するよう構成されてよい。
【００８２】
コントローラ９は、新たに受け付けた第３配置情報に基づいて変換パラメータを決定するよう構成されてよい。具体的には、コントローラ９は、入力部５によって受け付けられた第３配置情報がメモリ１０に記憶されている第３配置情報と異なる場合、新たに受け付けた第３配置情報に基づいて変換パラメータを決定するよう構成されてよい。
【００８３】
＜＜通常モード＞＞
＜ｙ軸方向の眼の位置の算出＞
通常モードにおいて、撮像装置１は、公知の方法により利用者の眼の位置を検出するよう構成される。具体的には、撮像装置１は、第１座標系における利用者の眼の位置を示すＹ座標ＹdetectおよびＺ座標Ｚdetectを検出するよう構成される。撮像装置１は、Ｙ座標とＹdetectおよびＺ座標Ｚdetectを含む第１位置情報を表示装置４に出力するよう構成される。表示装置４の入力部５が第１位置情報を受け付けると、コントローラ９は、第１位置情報に含まれるＹ座標ＹdetectおよびＺ座標Ｚdetectに基づいて、式（４）を用いてｙ座標ｙeyeを算出することによって第１位置情報を第２位置情報に変換するよう構成される。
【００８４】
＜ｘ軸方向の眼の位置の算出＞
通常モードにおいて、撮像装置１は、公知の方法により利用者の眼の位置を検出するよう構成される。具体的には、撮像装置１は、第１座標系において眼の位置を示すＸ座標ＸdetectおよびＺ座標Ｚdetectを検出するよう構成される。撮像装置１は、Ｘ座標とＸdetectおよびＺ座標Ｚdetectを含む第１位置情報を表示装置４に出力するよう構成される。表示装置４の入力部５が第１位置情報を受け付けると、コントローラ９は、第１位置情報に含まれるＸ座標ＸdetectおよびＺ座標Ｚdetectに基づいて、式（８）を用いてｘ座標ｘeyeを算出することによって第１位置情報を第２位置情報に変換するよう構成される。
【００８５】
以上説明したように、本実施形態では、ＨＵＤ２は、較正位置情報を用いて第１位置情報を第２位置情報に変換するよう構成される。このため、表示装置４は、虚像面Ｖ７１を基準とした眼の位置に基づいて表示パネル７に表示させる画像を制御することができる。したがって、ＨＵＤ２は、利用者に適切に虚像を視認させることができる。
【００８６】
本実施形態では、ＨＵＤ２は、撮像装置１の位置および姿勢の少なくとも１つの変化に基づいて変換パラメータを決定するよう構成される。このため、撮像装置１の位置および姿勢の少なくとも１つが変化することによって第１座標系と第２座標系との関係が変化しても、適切に変換パラメータを決定することができる。このため、ＨＵＤ２は、虚像面Ｖ７１を基準とした眼の位置に基づいて表示パネル７に表示させる画像を制御することができる。したがって、ＨＵＤ２は、利用者に適切に虚像を視認させることができる。
【００８７】
本実施形態では、ＨＵＤ２は、光学系３の位置および姿勢の少なくとも１つの変化に基づいて変換パラメータを決定するよう構成される。このため、光学系３の位置および姿勢の少なくとも１つが変化することによって第１座標系と第２座標系との関係が変化しても、適切に変換パラメータを決定することができる。このため、ＨＵＤ２は、虚像面Ｖ７１を基準とした眼の位置を適切に取得し、該眼の位置に基づいて表示パネル７に表示させる画像を制御することができる。したがって、ＨＵＤ２は、利用者に適切に虚像を視認させることができる。
【００８８】
本実施形態では、ＨＵＤ２は、表示パネル７の位置および姿勢の少なくとも１つの変化に基づいて変換パラメータを決定するよう構成される。このため、表示パネル７の位置および姿勢の少なくとも１つが変化することによって虚像面Ｖ７１の位置および姿勢の少なくとも１つが変化して、第１座標系と第２座標系との関係が変化しても、適切に変換パラメータを決定することができる。このため、ＨＵＤ２は、虚像面Ｖ７１を基準とした眼の位置を適切に取得し、該眼の位置に基づいて表示パネル７に表示させる画像を制御することができる。したがって、ＨＵＤ２は、利用者に適切に虚像を視認させることができる。
【００８９】
上述の実施形態では、表示装置４は、サブピクセル群Ｐｇが、水平方向に繰り返して配列され、鉛直方向にも繰り返して配列された表示パネル７を備える。表示装置４は、例えば、図１２に示すような、サブピクセル群Ｐｇが、水平方向に繰り返して配列され、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列された表示パネル７０を備えてもよい。
【００９０】
表示装置４が表示パネル７０を備える構成において、表示装置４は、パララックスバリア８の代わりに、パララックスバリア８０を備える。図１３に示すように、パララックスバリア８０は、複数のバリア領域群ｓｇから構成される。バリア領域群ｓｇは、水平方向に繰り返して配列されている。バリア領域群ｓｇは、鉛直方向においては、水平方向に１バリア領域分ずれた位置に隣接して繰り返して配列されるよう構成されている。バリア領域群ｓｇは、サブピクセル群Ｐｇのサブピクセルの配列に対応して、鉛直方向にｂ個、水平方向に２×ｎ個、連続して配列された（２×ｎ×ｂ）個のバリア領域ｓ１〜ｓ（２×ｎ×ｂ）を含む。図１３では、ｎ＝５、ｂ＝１であり、一部のバリア領域群ｓｇに符号を付している。バリア領域群ｓｇは、鉛直方向にｂ’個（ｂ’≠ｂ）、水平方向に２×ｎ’個（ｎ’≠ｎ）、連続して配列された（２×ｎ’×ｂ’）個のバリア領域ｓ１〜ｓ（２×ｎ’×ｂ’）を含むよう構成されてもよい。
【００９１】
バリア領域群ｓｇに含まれる複数のバリア領域ｓの一部は透光領域８０１を構成し、残りの一部は減光領域８０２を構成する。透光領域８０１及び減光領域８０２は、表示パネル７０の複数のサブピクセル群Ｐｇそれぞれにおいて対応する位置にあるサブピクセルからの画像光が同時に透光または減光されるように構成される。
【００９２】
このように構成されることによって、パララックスバリア８０は、サブピクセルから出射される画像光の伝播方向である光線方向を規定するよう構成される。アクティブエリアＡの一部のサブピクセルから出射した画像光は、透光領域８０１を透過して利用者の左眼の瞳に伝搬する。アクティブエリアＡの他の一部のサブピクセルから出射した画像光は、透光領域８０１を透過して利用者の右眼の瞳に伝搬する。
【００９３】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００９４】
１                撮像装置
２                ヘッドアップディスプレイ
３                光学系
４                表示装置
５                入力部
６                照射器
７、７０          表示パネル
８、８０          パララックスバリア
９                コントローラ
１０              移動体
３１              光学素子
３２              光学部材
７１              アクティブエリア
Ｖ７              第１虚像
Ｖ８              第２虚像
Ｖ７１            虚像面
ＶａＬ            左可視領域
ＶａＲ            右可視領域
ＶｂＬ            左遮光領域
ＶｂＲ            右遮光領域
８１、８０１      透光領域
８２、８０２      減光領域
１００            ヘッドアップディスプレイシステム
ｓ、ｓ１〜ｓ１０  バリア領域
ｓｇ              バリア領域群
【図１】
2020045350.tif 000009
【図２】
2020045350.tif 000010
【図３】
2020045350.tif 000011
【図４】
2020045350.tif 000012
【図５】
2020045350.tif 000013
【図６】
2020045350.tif 000014
【図７】
2020045350.tif 000015
【図８】
2020045350.tif 000016
【図９】
2020045350.tif 000017
【図１０】
2020045350.tif 000018
【図１１】
2020045350.tif 000019
【図１２】
2020045350.tif 000020
【図１３】
2020045350.tif 000021
【国際調査報告】
2020045350.tif 000022
2020045350.tif 000023
2020045350.tif 000024
2020045350.tif 000025