(57)【要約】【課題】利用者に適切な画像を視認させることができる。【解決手段】通信ヘッドアップディスプレイシステム１００は、通信機器１と、ヘッドアップディスプレイ２とを備える。通信機器１は、少なくとも一の方向における利用者の眼の位置を判定する第１コントローラ１２を含む。ヘッドアップディスプレイ２は、表示パネル５２と、光学素子と、反射器３とを含む。表示パネル６２１は、視差画像を表示する。光学素子は、視差画像から射出した画像光の伝播方向を規定する。反射器３は、光学素子によって伝播方向が規定された画像光を反射する。反射器３は、反射素子３１と、駆動装置３２とを有する。反射素子３１は、画像光を反射する。駆動装置３２は、反射素子によって反射された画像光が眼の位置に到達するように反射素子３１の位置および姿勢の少なくとも一方を変化させる。【選択図】図４
2020072460.tif 000002
【特許請求の範囲】
【請求項１】
センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する第１コントローラ、および前記第１コントローラによって推定された前記位置を送信する第１通信部を含む通信機器と、
視差画像を表示する表示パネル、前記視差画像から射出した画像光の伝播方向を規定する光学素子、前記光学素子によって伝播方向が規定された画像光を反射する反射器、および、前記通信機器から前記眼の位置を受信可能な第２通信部を含むヘッドアップディスプレイと、
を備え、
前記反射器は、
前記画像光を反射する反射素子と、
前記反射素子によって反射された画像光が前記第２通信部により取得した前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置と、
を有する通信ヘッドアップディスプレイシステム。
【請求項２】
前記第１コントローラは、前記利用者の高さ方向の前記眼の位置を推定し、
前記駆動装置は、前記高さ方向の前記眼の位置に基づいて前記反射素子の位置および姿勢の少なくとも一方を変化させる、請求項１に記載の通信ヘッドアップディスプレイシステム。
【請求項３】
前記センサは、前記利用者、および実空間において所定の位置にある所定の物体を撮像することによって撮像画像を生成する撮像素子であり、
前記第１コントローラは、前記撮像画像における前記利用者の体の少なくとも一部の像および前記所定の物体の像の位置と、実空間における前記所定の物体の位置に基づいて、前記実空間における前記眼の位置を推定する、請求項１又は２に記載の通信ヘッドアップディスプレイシステム。
【請求項４】
前記通信機器は、実空間における複数の異なる位置に移動可能に設置され、前記センサは、前記複数の異なる位置のそれぞれで前記利用者を撮像することによって複数の撮像画像を生成する撮像素子であり、
前記第１コントローラは、複数の前記撮像画像それぞれにおける前記利用者の体の少なくとも一部の像の位置と、前記利用者を撮像したときの前記撮像素子の複数の異なる位置とに基づいて、実空間における前記眼の位置を推定する、請求項１又は２に記載の通信ヘッドアップディスプレイシステム。
【請求項５】
前記通信機器は、
前記眼の位置を示す位置情報を記憶するメモリをさらに備え、
前記第１通信部が、前記ヘッドアップディスプレイとの接続を確立したときに前記メモリに前記位置情報が記憶されている場合、前記第１コントローラは、前記第１通信部が前記位置情報を前記ヘッドアップディスプレイに送信するよう制御する、請求項１から４のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
【請求項６】
前記第１通信部は、
前記ヘッドアップディスプレイに前記通信機器または該通信機器の利用者を識別するための識別情報を送信する第１通信モジュールと、
前記ヘッドアップディスプレイに前記位置情報を送信する第２通信モジュールと、を含み、
前記第２通信部は、
前記第１通信モジュールから前記識別情報を受信する第３通信モジュールと、
前記第２通信モジュールから前記位置情報を受信する第４通信モジュールと、を含み、
前記第１コントローラは、前記第１通信モジュールと前記第３通信モジュールとの通信が確立した後に、前記第２通信モジュールに第４通信モジュールとの接続を確立させる、請求項５に記載の通信ヘッドアップディスプレイシステム。
【請求項７】
前記ヘッドアップディスプレイは、
前記駆動装置が前記反射素子の位置および姿勢の少なくとも一方を変化させた後、前記利用者の眼の位置に基づいて、前記視差画像における前記利用者の第１眼に視認させるための第１画像を表示させるサブピクセルと、前記視差画像における前記利用者の第２眼に視認させるための第２画像を表示させるサブピクセルとを判定する第２コントローラを備える、請求項１から６のいずれか一項に記載の通信ヘッドアップディスプレイシステム。
【請求項８】
ヘッドアップディスプレイと通信可能である通信機器であって、前記ヘッドアップディスプレイは、視差画像を表示する表示パネル、前記視差画像から射出した画像光の伝播方向を規定する光学素子、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含み、前記反射器は、画像光を反射する反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置を含み、
利用者を撮像した撮像画像を生成する撮像素子と、
前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するコントローラと、
前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信する通信部と、
を備える通信機器。
【請求項９】
センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する第１コントローラ、および前記第１コントローラによって推定された前記位置を送信する第１通信部を含む通信機器と、
視差画像を表示する表示パネルと、前記視差画像から射出した画像光の伝播方向を規定する光学素子と、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含むヘッドアップディスプレイと、含み、前記反射器は、前記画像光を反射する反射素子と、前記反射素子によって反射された画像光が利用者の眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置と、
を有する通信ヘッドアップディスプレイシステムと、
前記通信機器を移動可能に取付ける取付部と、
を備える移動体。
【請求項１０】
撮像素子と、コントローラと、通信部とを備える通信機器の前記コントローラが実行するプログラムであって、前記通信機器はヘッドアップディスプレイと通信し、前記ヘッドアップディスプレイは、視差画像を表示する表示パネルと、前記視差画像から射出した画像光の伝播方向を規定する光学素子と、前記光学素子によって伝播方向が規定された画像光を反射する反射器とを含み、前記反射器は、画像光を反射する反射素子と、前記反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置を含み、
前記コントローラが、
前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成し、
前記通信部が、前記駆動装置の制御に使用するため前記位置情報を前記ヘッドアップディスプレイに送信するよう制御するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムに関する。
【背景技術】
【０００２】
従来、眼鏡を用いずに３次元表示を行うために、表示パネルから出射された光の一部を右眼に到達させ、表示パネルから出射された光の他の一部を左眼に到達させる光学素子を備える３次元表示装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１６６２５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
利用者がヘッドアップディスプレイによって投影された画像の虚像を適切に視認するために、利用者の眼の位置に適切に画像光が到達することが望まれている。
【０００５】
本開示は、利用者に適切な虚像を視認させることができる通信ヘッドアップディスプレイシステム、通信機器、移動体、およびプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射する。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる。
【０００７】
本開示の通信機器は、ヘッドアップディスプレイと通信可能である。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射素子と、駆動装置とを含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記通信機器は、撮像素子と、コントローラと、第通信部と、を備える。前記撮像素子は、利用者を撮像した撮像画像を生成する。前記コントローラは、前記撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成する。前記第１通信部は、前記位置情報を、前記駆動装置の制御に使用するため前記ヘッドアップディスプレイに送信する。
【０００８】
本開示の移動体は、通信ヘッドアップディスプレイシステムと、取付部とを備える。前記通信ヘッドアップディスプレイシステムは、通信機器と、ヘッドアップディスプレイとを備える。前記通信機器は、第１コントローラと、第１通信部とを含む。第１コントローラは、センサ、および、該センサの出力に基づいて少なくとも一の方向における利用者の眼の位置を推定する。前記第１通信部は、前記第１コントローラによって推定された前記位置を送信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器と、第２通信部と、を含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。前記反射器は、前記光学素子によって伝播方向が規定された画像光を反射する。前記反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子によって反射された画像光が前記眼の位置に到達するように前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記取付部は、前記通信機器を移動可能に取付ける。
【０００９】
本開示のプログラムは、撮像素子と、コントローラと、通信部とを備える通信機器が実行するプログラムである。前記通信機器はヘッドアップディスプレイと通信する。前記ヘッドアップディスプレイは、表示パネルと、光学素子と、反射器とを含む。前記表示パネルは、視差画像を表示する。前記光学素子は、前記視差画像から射出した画像光の伝播方向を規定する。反射器は、反射素子と、駆動装置とを有する。前記反射素子は、前記画像光を反射する。前記駆動装置は、前記反射素子の位置および姿勢の少なくとも一方を変化させる。前記コントローラは、前記撮像素子が、利用者を撮像することによって生成した撮像画像に基づいて、前記利用者の眼の高さ方向の位置を推定し、前記高さ方向の位置を含む位置情報を生成するよう制御する。前記コントローラは、前記通信部が、反射素子の位置および姿勢の少なくとも一方を変化させる駆動装置に前記位置情報を送信するよう制御する。
【発明の効果】
【００１０】
本開示の一実施形態によれば、利用者に適切な虚像を視認させることが可能となる。
【図面の簡単な説明】
【００１１】
【図１】移動体に搭載された通信ヘッドアップディスプレイシステムの例を示す図である。
【図２】図１に示す通信機器が移動する前の状態を示す図である。
【図３】図１に示す通信機器が移動した後の状態を示す図である。
【図４】図１に示す通信機器およびヘッドアップディスプレイの概略構成を示す図である。
【図５】図４に示す表示パネルを奥行方向から見た例を示す図である。
【図６】図４に示すパララックスバリアを奥行方向から見た例を示す図である。
【図７】図１に示す虚像と利用者の眼との関係を説明するための図である。
【図８】図４に示す第１コントローラの処理フローの一例を示すフローチャートである。
【図９】利用者が表示パネルを直接視認する場合の、３次元表示装置と利用者の眼との位置関係を示す図である。
【図１０】光学素子をレンチキュラレンズとした場合の３次元表示装置の概略構成図である。
【発明を実施するための形態】
【００１２】
以下、本開示の一実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１３】
本開示の一実施形態にかかる通信ヘッドアップディスプレイシステム（通信ＨＵＤ（ＨＵＤ：Head Up Display）システム）１００は、図１に示すように、通信機器１と、ヘッドアップディスプレイ（ＨＵＤ）２とを備える。通信ＨＵＤシステム１００は、移動体２０に搭載されてよい。
【００１４】
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
【００１５】
通信機器１は、利用者の両眼を撮像可能に配置される。通信機器１は、移動体２０に移動可能に取り付けられてよい。例えば、通信ＨＵＤシステム１００が移動体２０に搭載される構成において、通信機器１を移動体２０に取付ける取付部２０１は、図２に示すように、ステアリングホイール２０２に固定して設置されてよい。通信機器１は、取付部２０１がステアリングホイール２０２に固定して設置されている構成において、該ステアリングホイール２０２が回転することによって、図３に示すように、回転前の位置とは異なる位置に移動する。すなわち、取付部２０１は、通信機器１を取り付けたまま、実空間における複数の異なる位置に移動可能である。
【００１６】
通信機器１は、汎用の無線通信端末、例えば、携帯電話、スマートフォン、タブレット端末等を採用しうる。図４に示すように、通信機器１は、撮像光学系１０と、撮像素子１１と、第１コントローラ（コントローラ）１２と、メモリ１３と、第１通信部（通信部）１４とを含む。
【００１７】
撮像光学系１０は、１つ以上のレンズを含んで構成される。撮像光学系１０は、撮像光学系１０の光軸が撮像素子１１の撮像面に垂直となるように配置されている。撮像光学系１０は、被写体から入射した光を撮像素子１１の撮像面において被写体像として結像させる。
【００１８】
撮像素子（センサ）１１は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子１１は、撮像光学系１０によって結像された像を電気信号に変換することによって撮像画像を生成し、出力する。具体的には、撮像素子１１は、利用者を、実空間において所定の位置にある所定の物体とともに撮像することによって撮像画像を生成し、出力する。撮像素子１１は、通信機器１が異なる位置にある状態でそれぞれ複数の撮像画像を生成し、出力してよい。例えば、上述したように通信機器１が、図２に示したようにステアリングホイール２０２に取付けられ、該ステアリングホイール２０２が自動または手動により回転されることにより通信機器１が移動して、撮像素子１１が複数の撮像画像を生成しうる。該ステアリングホイール２０２が回転前の状態にあるときに、撮像素子１１は、第１の撮像画像を生成し、出力してよい。そして、図３に示すように、ステアリングホイール２０２が利用者によって回転され、回転後の状態にあるときに撮像素子１１は、第２の撮像画像を生成し、出力してよい。
【００１９】
第１コントローラ１２は、通信機器１の各構成要素に接続され、各構成要素を制御しうる。第１コントローラ１２によって制御される構成要素は、撮像素子１１、メモリ１３、および第１通信部１４を含む。第１コントローラ１２は、１以上のプロセッサを含んでよい。第１コントローラ１２は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ：Application Specific Integrated Circuit）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ：Programmable Logic Device）を含んでよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでよい。第１コントローラ１２は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
【００２０】
第１コントローラ１２の詳細については追って説明する。
【００２１】
メモリ１３は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ１３は、第１コントローラ１２によって処理された各種情報を記憶する。
【００２２】
例えば、メモリ１３は、セキュリティ情報を記憶する。セキュリティ情報は、他の装置への接続を可能にするための認証に用いられる、通信機器１を一意に識別するための識別情報を含んでよい。通信機器１が、例えば、複数の利用者によって共有されるタブレット端末のような機器である場合、セキュリティ情報は、各利用者を一意に識別するための識別情報を含んでよい。
【００２３】
例えば、メモリ１３は、利用者の眼の位置を示す位置情報を記憶してよい。メモリ１３は、反射素子３１の位置および姿勢の少なくとも１つを示す駆動情報を記憶してよい。
【００２４】
第１通信部１４は、３次元表示装置５と通信可能である。第１通信部１４と３次元表示装置５との通信において用いられる通信方式は、近距離無線通信規格または携帯電話網へ接続する無線通信規格であってよいし、有線通信規格であってよい。近距離の無線通信規格は、例えば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線、ＮＦＣ（Near Field Communication）、等を含んでよい。携帯電話網へ接続する無線通信規格は、例えば、ＬＴＥ（Long Term Evolution）、第４世代移動通信システムまたは第５世代移動通信システム等を含んでよい。
【００２５】
第１通信部１４は、第１通信モジュール１４１と、第２通信モジュール１４２とを含んでよい。第１通信モジュール１４１は、通信機器１とＨＵＤ２との間の通信を確立するために、ＨＵＤ２とセキュリティ情報を交換する。さらに、第１通信モジュール１４１は、ＨＵＤ２に通信機器１または該通信機器１の利用者を識別するための識別情報を送信してよい。第２通信モジュール１４２は、ＨＵＤ２に位置情報を送信してよい。具体的には、第１通信モジュール１４１が、ＮＦＣの通信規格を用いてＨＵＤ２との間でセキュリティ情報を交換する。ＨＵＤ２によるセキュリティ情報に基づく認証を経て、通信機器１とＨＵＤ２との接続が確立されると、第２通信モジュール１４２が、ＷｉＦｉを用いて各種情報を送信してよい。これにより、通信機器１は、盗聴されることが困難なＮＦＣ通信規格によりＨＵＤ２との間でセキュリティ情報を交換することによって安全に通信を確立してから、汎用的なＷｉＦｉの通信規格により各種情報を送受信することができる。通信機器１とＨＵＤ２との間で交換するセキュリティ情報には、ＷｉＦi通信の暗号化キーを含んでよい。
【００２６】
これに限られず、第１通信モジュール１４１および第２通信モジュール１４２は、それぞれ任意の通信規格を用いて通信してよい。第１通信モジュール１４１および第２通信モジュール１４２は、同じ通信規格を用いて通信してよい。
【００２７】
ＨＵＤ２は、１つ以上の反射器３と、光学部材４と、３次元表示装置５とを含みうる。
【００２８】
反射器３は、３次元表示装置５から射出された画像光を、光学部材４の所定領域に向けて反射させる。所定領域は、該所定領域で反射した画像光が利用者の眼の方に向かう領域である。所定領域は、光学部材４に対する利用者の眼の方向、および光学部材４への画像光の入射方向によって定まりうる。１つ以上の反射器３は、１つ以上の反射素子３１と、駆動装置３２とを含む。
【００２９】
反射素子３１それぞれは、ミラーであってよい。反射素子３１がミラーである場合、例えば、ミラーは凹面鏡としてよい。図１において、１つ以上の反射素子３１は、１つのミラーとして表示している。しかし、これに限られず、１つ以上の反射素子３１は、１つ以上のミラーを組み合わせて構成してよい。
【００３０】
駆動装置３２は、利用者の眼の位置に基づいて、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方を変化させる。具体的には、駆動装置３２は、通信機能を有し、通信機器１から位置情報を受信する。駆動装置３２は、通信機器１から直接、位置情報を受信してよい。駆動装置３２は、位置情報で示される眼の位置から、利用者の眼の位置に画像光が到達するような反射素子３１の位置および姿勢の少なくとも一方を算出する。駆動装置３２は、反射素子３１を駆動して、該反射素子３１の位置および姿勢の少なくとも一方が算出した値となるように制御する。
【００３１】
光学部材４は、３次元表示装置５から射出され、１つ以上の反射器３によって反射された画像光を、利用者の左眼（第１眼）および右眼（第２眼）に向けて反射させる。例えば、移動体２０のウインドシールドは、光学部材４として兼用されてよい。したがって、ＨＵＤ２は、光路Ｌに沿って、３次元表示装置５から射出された光を、利用者の左眼および右眼まで進行させる。利用者は、光路Ｌに沿って到達した光を虚像Ｖとして視認しうる。
【００３２】
図４に示すように、３次元表示装置５は、照射器５１と、表示パネル５２と、光学素子としてのパララックスバリア５３と、第２通信部５４と、第２コントローラ５５とを含むことができる。ＨＵＤ２が移動体２０に搭載される構成において、３次元表示装置５は、移動体２０のダッシュボードに収容されてよい。
【００３３】
照射器５１は、表示パネル５２を面的に照射しうる。照射器５１は、光源、導光板、拡散板、拡散シート等を含んでよい。照射器５１は、光源により照射光を出射し、導光板、拡散板、拡散シート等により照射光を表示パネル５２の面方向に均一化する。そして、照射器５１は均一化された光を表示パネル５２の方に出射しうる。
【００３４】
表示パネル５２は、例えば透過型の液晶表示パネルなどの表示パネルを採用しうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。表示パネル５２を液晶パネルとして説明する。
【００３５】
図５に示すように、表示パネル５２は、面状に形成されたアクティブエリアＡ上に複数の区画領域を有する。アクティブエリアＡは、視差画像を表示する。視差画像は、後述する左眼画像（第１画像）と左眼画像に対して視差を有する右眼画像（第２画像）とを含む。区画領域は、第１方向および第１方向に直交する第２方向に区画された領域である。第１方向および第２方向に直交する方向は第３方向と称される。第１方向は水平方向と称されてよい。第２方向は鉛直方向と称されてよい。第３方向は奥行方向と称されてよい。しかし、第１方向、第２方向、および第３方向はそれぞれこれらに限られない。図４〜図６、図９、および図１０において、第１方向はｘ軸方向として表され、第２方向はｙ軸方向として表され、第３方向はｚ軸方向として表される。図１および図７において、利用者の右眼および左眼を通る直線の方向である眼間方向はｕ軸方向として表され、利用者の前後方向はｗ軸方向として表され、ならびにｕ軸方向およびｗ軸方向に垂直な高さ方向はｖ軸方向として表される。
【００３６】
区画領域の各々には、１つのサブピクセルが対応する。したがって、アクティブエリアＡは、水平方向および鉛直方向に沿って格子状に配列された複数のサブピクセルを備える。
【００３７】
各サブピクセルは、Ｒ（Red），Ｇ（Green），Ｂ（Blue）のいずれかの色に対応し、Ｒ，Ｇ，Ｂの３つのサブピクセルを一組として１ピクセルを構成することができる。１ピクセルは、１画素と称されうる。表示パネル５２としては、透過型の液晶パネルに限られず、有機ＥＬ等他の表示パネルを使用しうる。表示パネル５２として、自発光型の表示パネルを使用した場合、３次元表示装置５は照射器５１を備えなくてよい。
【００３８】
上述のようにアクティブエリアＡに配列された複数のサブピクセルはサブピクセル群Ｐｇを構成する。サブピクセル群Ｐｇは、水平方向に繰り返して配列される。サブピクセル群Ｐｇは、鉛直方向に同じ位置に配列すること、および、ずらして配列することができる。例えば、サブピクセル群Ｐｇは、鉛直方向においては、水平方向に１サブピクセル分ずれた位置に隣接して繰り返して配列することができる。サブピクセル群Ｐｇは、所定の行および列のサブピクセルを含む。具体的には、サブピクセル群Ｐｇは、鉛直方向にｂ個（ｂ行）、水平方向に２×ｎ個（２×ｎ列）、連続して配列された（２×ｎ×ｂ）個のサブピクセルＰ１〜Ｐ（２×ｎ×ｂ）を含む。図５に示す例では、ｎ＝６、ｂ＝１である。アクティブエリアＡには、鉛直方向に１個、水平方向に１２個、連続して配列された１２個のサブピクセルＰ１〜Ｐ１２を含むサブピクセル群Ｐｇが配置される。図５に示す例では、一部のサブピクセル群Ｐｇに符号を付している。
【００３９】
サブピクセル群Ｐｇは、後述する第２コントローラ５５が視差画像を表示するための制御を行う最小単位である。サブピクセル群Ｐｇに含まれる各サブピクセルは、識別情報Ｐ１〜Ｐ（２×ｎ×ｂ）で識別される。全てのサブピクセル群Ｐｇの同じ識別情報を有するサブピクセルＰ１〜Ｐ（２×ｎ×ｂ）は、第２コントローラ５５によって同時に制御される。例えば、第２コントローラ５５は、サブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に切り替える場合、全てのサブピクセル群ＰｇにおけるサブピクセルＰ１に表示させる視差画像を左眼画像から右眼画像に同時的に切り替えられる。
【００４０】
パララックスバリア５３は、図４に示したように、アクティブエリアＡに沿う平面により形成され、アクティブエリアＡから所定距離（ギャップ）ｇ、離れて配置される。パララックスバリア５３は、表示パネル５２に対して照射器５１の反対側に位置してよい。パララックスバリア５３は、表示パネル５２の照射器５１側に位置してよい。
【００４１】
パララックスバリア５３は、図６に示すように、面内の所定方向に伸びる複数の帯状領域である透光領域５３１ごとに、サブピクセルから射出される画像光の伝播方向を規定する。具体的には、パララックスバリア５３は、複数の、画像光を減光させる減光領域５３２を有する。複数の減光領域５３２は、互いに隣接する該減光領域５３２の間の透光領域５３１を画定する。透光領域５３１は、減光領域５３２に比べて光透過率が高い。減光領域５３２は、透光領域５３１に比べて光透過率が低い。透光領域５３１と減光領域５３２とは、アクティブエリアＡに沿う所定方向に延び、所定方向と直交する方向に繰り返し交互に配列される。所定方向は、例えばサブピクセルの対角線に沿う方向である。所定方向は、例えば、第１方向にａ個のサブピクセルを横切る間に、第２方向にｂ個のサブピクセルを横切る方向（ａ，ｂは互いの素の正の整数）としうる。また、所定方向は、第２方向としてもよい。
【００４２】
このように、パララックスバリア５３がアクティブエリアＡに配列されたサブピクセルから射出された画像光の伝播方向を規定することによって、図７に示すように、利用者の眼が視認可能な、アクティブエリアＡの領域に対応する第１虚像Ｖ１の領域が定まる。以降において、利用者の眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は可視領域Ｖａと称される。利用者の左眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は左可視領域ＶａＬ（第１可視領域）と称される。利用者の右眼の位置に伝播する画像光によって利用者が視認しうる第１虚像Ｖ１内の領域は右可視領域ＶａＲ（第２可視領域）と称される。
【００４３】
透光領域５３１の水平方向における配置間隔である虚像バリアピッチＶＢｐおよび虚像ギャップＶｇは、適視距離Ｖｄを用いた次の式（１）および式（２）が成り立つように規定される。虚像バリアピッチＶＢｐは、減光領域５３２の虚像Ｖ２の、第１方向に対応する方向の配置間隔である。虚像ギャップＶｇは、第２虚像Ｖ２と第１虚像Ｖ１との間の距離である。式（１）および式（２）において、虚像バリア開口幅ＶＢｗは、第２虚像Ｖ２における透光領域５３１の幅に対応する幅である。適視距離Ｖｄは、通信機器１から受信した位置情報が示す利用者の右眼および左眼それぞれの位置とパララックスバリア５３の虚像Ｖ２との間の距離である。眼間距離Ｅは、右眼と左眼との間の距離である。眼間距離Ｅは、例えば、産業技術総合研究所の研究によって算出された値である６１．１ｍｍ〜６４．４ｍｍであってよい。ＶＨｐは、サブピクセルの虚像の水平方向の長さである。ＶＨｐは、第１虚像Ｖ１におけるサブピクセル虚像の、第１方向に対応する方向の長さである。
Ｅ：Ｖｄ＝（ｎ×ＶＨｐ）：Ｖｇ                                        式（１）
Ｖｄ：ＶＢｐ＝（Ｖｄｖ＋Ｖｇ）：（２×ｎ×ＶＨｐ）                    式（２）
【００４４】
表示パネル５２のアクティブエリアＡから射出された画像光の一部は、透光領域５３１を透過し、１つ以上の反射器３を介して光学部材４に到達する。さらに光学部材４に到達した画像光は光学部材４に反射されて利用者の眼に到達する。これにより、利用者の眼は光学部材４の前方にアクティブエリアＡに表示された視差画像の虚像である第１虚像Ｖ１を認識する。本願において前方は、利用者からみて光学部材４の方向である。前方は、移動体２０の通常移動する方向である。
【００４５】
したがって、利用者は、見かけ上、第２虚像Ｖ２を介して第１虚像Ｖ１を視認するかのごとく視差画像を認識するが、実際にはパララックスバリア５３の虚像である第２虚像Ｖ２を認識しない。
【００４６】
第２通信部５４は、通信機器１と通信可能である。第２通信部５４は第３通信モジュール５４１および第４通信モジュール５４２を含む。第３通信モジュール５４１は、通信機器１の第１通信モジュール１４１と同じ通信規格を用いて、第１通信モジュール１４１と通信可能である。第４通信モジュール５４２は、通信機器１の第２通信モジュール１４２と同じ通信規格を用いて、第２通信モジュール１４２と通信可能である。
【００４７】
具体的には、第３通信モジュール５４１は、第１通信モジュール１４１との間でセキュリティ情報を交換する。セキュリティ情報に基づく認証の後、第４通信モジュール５４２は、第３通信モジュール５４１が第１通信モジュール１４１との接続を確立した後に、第２通信モジュール１４２との接続を確立する。第４通信モジュール５４２は、第２通信モジュール１４２との接続を確立すると第２通信モジュール１４２から各種情報を受信する。上述したように、各種情報は、例えば、位置情報を含んでよい。
【００４８】
第２コントローラ５５は、ＨＵＤ２の各構成要素に接続され、各構成要素を制御しうる。第２コントローラ５５によって制御される構成要素は、照射器５１、表示パネル５２、第２通信部５４を含む。第２コントローラ５５は、１以上のプロセッサを含んでよい。第２コントローラ５５は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、ＡＳＩＣを含んでよい。プロセッサは、ＰＬＤを含んでよい。ＰＬＤは、ＦＰＧＡを含んでよい。第２コントローラ５５は、１つまたは複数のプロセッサが協働するＳｏＣ、およびＳｉＰのいずれかであってよい。
【００４９】
通信ＨＵＤシステム１００は、視差画像を表示する動作を開始する前に、利用者に３次元画像の虚像を視認させるための初期設定を行う。利用者の眼の位置に応じて、通信ＨＵＤシステム１００が画像光を到達させる位置は異なる。通信ＨＵＤシステム１００は、利用者の眼の位置に応じて、利用者が適切に３次元画像を視認するために、眼の位置の推定、反射素子３１の駆動制御、可視領域Ｖａの判定を行う。
【００５０】
＜眼の位置の推定＞
第１コントローラ１２は、撮像素子１１によって生成された利用者の両眼の像を含む撮像画像から左眼および右眼の位置を推定してよい。
【００５１】
眼の位置を推定する方法の一例として、第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像に含まれる所定の物体の像と、眼の像との位置関係に基づいて、実空間における眼の位置を推定してよい。通信機器１が移動体２０内部に取付けられる構成において、所定の物体は、移動体２０に対して固定して取付けられている物体であって、例えば、運転席のヘッドレスト、サイドウィンドウのフレーム等である。
【００５２】
例えば、第１コントローラ１２は、撮像画像上の各位置に対応付けて、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を予め対応付けてメモリ１３に記憶させてよい。このような構成において、第１コントローラ１２は、撮像画像から眼を抽出する。第１コントローラ１２は、撮像画像における眼の位置に対応してメモリ１３に記憶されている、該位置に対応する実空間の位置から所定の物体の像の位置までの距離および方向を抽出する。第１コントローラ１２は、所定の物体の像の位置までの距離および方向に基づいて、実空間における位置を推定しうる。
【００５３】
第１コントローラ１２は、撮像素子１１によって生成された単一の撮像画像における利用者の体の少なくとも一部の像および所定の物体の像の位置と、実空間における所定の物体の位置に基づいて、実空間における眼の位置を推定する。身体の一部は、例えば、頭の頂部、肩、耳等であってよい。
【００５４】
眼の位置を推定する方法の他の例として、第１コントローラ１２は、通信機器１が異なる位置にある状態で撮像素子１１によってそれぞれ生成された複数の撮像画像に基づいて眼の位置を推定してよい。第１コントローラ１２が、複数の撮像画像に基づいて眼の位置を推定する構成において、上述したようにステアリングホイール２０２に取付けられている通信機器１の位置は、該ステアリングホイール２０２の回転に伴って変更されうる。具体的には、第１コントローラ１２は、ステアリングホイール２０２が回転する前の第１の位置を示す情報をメモリ１３に記憶させる。撮像素子１１は、通信機器１が第１の位置にある状態で利用者を撮像することによって第１の撮像画像を生成する。ステアリングホイール２０２が回転して、通信機器１が第１の位置とは異なる第２の位置で停止すると、第１コントローラ１２は、第２の位置を示す情報をメモリ１３に記憶させる。撮像素子１１は、通信機器１が第２の位置にある状態で利用者を撮像することによって第２の撮像画像を生成する。第１コントローラ１２は、第１の撮像画像および第２の撮像画像上それぞれの眼の位置と、実空間における第１の位置および第２の位置とに基づいて、オプティカルフロー法により、３次元空間における眼の位置を推定する。
【００５５】
第１コントローラ１２は、推定した眼の位置を示す位置情報を生成する。第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御する。
【００５６】
＜反射器の駆動制御＞
第１通信部１４から送信された位置情報をＨＵＤ２の第２通信部５４が受信すると、ＨＵＤ２の駆動装置３２は、位置情報が示す高さ方向（ｗ軸方向）の眼の位置に基づいて反射素子３１を駆動する。既に説明したように、３次元表示装置５から射出された画像光は、反射素子３１によって光学部材４の所定領域に向けて反射される。そして、光学部材４の所定領域に到達した画像光は、利用者の眼の位置に向けて光学部材４によって反射される。利用者の眼の位置は、利用者、該利用者の座高等の身体的特徴、利用者の着座姿勢によって異なる。駆動装置３２は、利用者の眼の位置に基づいて、該眼の位置に画像光が到達するような、反射素子３１の位置および姿勢の少なくとも１つを判定する。駆動装置３２は、反射素子３１が判定した位置および姿勢となるように駆動する。
【００５７】
駆動装置３２は、高さ方向の眼の位置ではなく、眼間方向または前後方向の位置に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してもよい。第１コントローラ１２は、高さ方向、眼間方向、前後方向のいずれか２つ以上の眼の位置に基づいて駆動情報を生成してよい。駆動装置３２は、該駆動情報に基づいて反射素子３１の位置および姿勢の少なくとも１つを判定してよい。
【００５８】
＜表示パネルの制御＞
ＨＵＤ２の第２通信部５４が位置情報を受信すると、第２コントローラ５５は、利用者の眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定する。３次元表示装置５の特性は、上述した虚像バリアピッチＶＢｐ、虚像ギャップＶｇ、および第１虚像Ｖ１の画像ピッチ（２×ｎ×ＶＨｐ）である。ＨＵＤ２の第２コントローラ５５は、左可視領域ＶａＬおよび右可視領域ＶａＲを判定すると、左可視領域ＶａＬおよび右可視領域ＶａＲに基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、左可視領域ＶａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、右可視領域ＶａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を所定割合より多く視認し、右眼が右眼画像の虚像を所定割合より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像の虚像を視認することができる。
【００５９】
＜メモリへの情報の記憶＞
第１コントローラ１２は、眼の位置を推定すると、眼の位置を示す位置情報をメモリ１３に記憶させてもよい。このような構成において、第１コントローラ１２は、第１通信部１４がＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、該位置情報をＨＵＤ２に送信する。これにより、ＨＵＤ２の第２コントローラ５５は、第１通信部１４から受信した位置情報に基づいて可視領域Ｖａを判定する。また、駆動装置３２は、第１通信部１４から受信した位置情報に基づいて、反射素子３１の位置および姿勢の少なくとも一方を判定する。これにより、第１コントローラ１２は、一度眼の位置を推定する処理を実行すれば、利用者が２回目以降にＨＵＤシステム１００の利用を開始するとき、眼の位置を推定する処理を省略することができる。
【００６０】
＜＜第１コントローラの処理フロー＞＞
続いて、通信機器１の第１コントローラ１２が実行する処理について、図８を参照して詳細に説明する。
【００６１】
まず、第１コントローラ１２は、第１通信モジュール１４１がセキュリティ情報をＨＵＤ２の第３通信モジュール５４１に送信するよう制御する（ステップＳ１１）。
【００６２】
第１コントローラ１２は、ステップＳ１１で送信されたセキュリティ情報に基づき第１通信モジュール１４１が第３通信モジュール５４１との接続を確立すると、第２通信モジュール１４２に第４通信モジュール５４２との接続を確立させる（ステップＳ１２）。
【００６３】
第１コントローラ１２は、撮像素子１１によって撮像された撮像画像を取得する（ステップＳ１３）。
【００６４】
ステップＳ１３で撮像画像が取得されると、第１コントローラ１２は、撮像画像に基づいて、利用者の眼の位置を推定する（ステップＳ１４）。
【００６５】
ステップＳ１４で眼の位置が推定されると、第１コントローラ１２は、眼の位置を示す位置情報をＨＵＤ２に送信する（ステップＳ１５）。
【００６６】
上述した実施形態に係る通信機器１として、携帯電話、スマートフォン、タブレット端末等の情報処理装置が採用可能である。このような情報処理装置は、実施形態に係る通信機器１の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることで実現可能である。
【００６７】
以上説明したように、本実施形態では、駆動装置３２は、反射素子３１によって反射された画像光が眼の位置に到達するように反射素子３１の位置および姿勢の少なくとも一方を変化させる。このため、例えば、利用者自身または利用者の位置姿勢が変わることによって眼の位置が変わっても、画像光は眼の位置に到達することができる。したがって、利用者は、適切に３次元表示装置５によって表示された視差画像を視認しうる。
【００６８】
本実施形態では、第１コントローラ１２は、高さ方向の眼の位置を推定し、駆動装置３２は、高さ方向の眼の位置に基づいて反射素子３１の位置および姿勢の少なくとも一方を変化させる。例えば、利用者が所定の座席に着座した状態で、３次元表示装置５が用いられる場合、利用者が変わると、画像光が到達すべき眼の位置は、他の方向より高さ方向に大きく変わる。このため、高さ方向の眼の位置に基づいて反射素子３１を変化させれば、利用者が３次元表示装置５によって表示された視差画像を視認しにくくなることが大きく低減されうる。
【００６９】
本実施形態では、撮像画像における眼の像および所定の物体の像の位置と、実空間における所定の物体の位置に基づいて、実空間における眼の位置を推定する。このため、第１コントローラ１２は、複数の撮像画像を用いることなく、単一の撮像画像を用いて眼の位置を推定することできる。したがって、通信ＨＵＤシステム１００の設定にあたって、通信機器１の位置の変更前後でそれぞれ撮像画像を生成する必要がなく、より簡易に通信ＨＵＤシステム１００が設定されうる。
【００７０】
本実施形態では、第１通信部１４が、ＨＵＤ２との接続を確立したときにメモリ１３に位置情報が記憶されている場合、第１コントローラ１２は、第１通信部１４が位置情報をＨＵＤ２に送信するよう制御する。このため、利用者がＨＵＤシステム１００の利用を開始するたびに、撮像素子１１が撮像画像を生成し、第１コントローラ１２が眼の位置を推定することを行わなくても、既に記憶されている利用者の眼の位置をＨＵＤ２に送信しうる。これにより、通信機器１の負荷を低減しうる。
【００７１】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００７２】
例えば、図９に示すように、３次元表示装置５は、表示パネル５２から射出した画像光がパララックスバリア５３の透光領域５３１を透過して、反射器３および光学部材４を介さずに、直接、利用者の眼に到達するように、配置されてもよい。このような構成においては、上述した構成と同様に、第２コントローラ５５は、第２通信部５４によって受信した可視領域情報に基づいて、アクティブエリアＡの一部に左眼画像を表示させ、アクティブエリアＡの残りの一部に右眼画像を表示する。具体的には、第２コントローラ５５は、可視領域情報が示すアクティブエリアＡ上の左可視領域５３２ａＬに所定割合（例えば、５０％）より多くが含まれるサブピクセルに左眼画像を表示する。第２コントローラ５５は、可視領域情報が示す右可視領域５３２ａＲに所定割合より多くが含まれるサブピクセルに右眼画像を表示する。これにより、利用者の左眼が左眼画像の虚像を右眼画像の虚像より多く視認し、右眼が右眼画像の虚像を左眼画像の虚像より多く視認する。上述したように、右眼画像および左眼画像は互いに視差を有する視差画像であるため、利用者は３次元画像を視認する。
【００７３】
例えば、上述の実施形態では、駆動装置３２が反射素子３１の位置および姿勢の少なくとも一方を判定するとしたが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて反射素子３１の位置および姿勢を判定してよい。このような構成において、第１コントローラ１２は、反射素子３１の位置および姿勢を示す駆動情報を生成して、第１通信部１４に送信させてよい。駆動装置３２は、第１通信部１４から送信された駆動情報に基づいて反射素子３１を駆動してよい。
【００７４】
例えば、上述の実施形態では、ＨＵＤ２の第２コントローラ５５が左可視領域ＶａＬおよび右可視領域ＶａＲを判定したが、この限りではない。通信機器１の第１コントローラ１２が、眼の位置に基づいて、眼間距離Ｅおよび３次元表示装置５の特性を用いて、左可視領域ＶａＬおよび右可視領域ＶａＲを判定してよい。このような構成において、第１コントローラ１２は、左可視領域ＶａＬおよび右可視領域ＶａＲを示す可視領域情報を生成して、第１通信部１４に送信させてよい。ＨＵＤ２の第２コントローラ５５は、第１通信部１４から送信された駆動情報に基づいて表示パネル５２に視差画像を表示してよい。
【００７５】
例えば、実施形態では、光学素子がパララックスバリア５３であるとしたが、これに限られない。例えば、図１０に示すように、光学素子は、レンチキュラレンズ６２４であってもよい。この場合、レンチキュラレンズ６２４は、垂直方向に延びるシリンドリカルレンズ６２５を、平面上に水平方向に配列して構成される。レンチキュラレンズ６２４は、パララックスバリア５３と同様に、一部のサブピクセルを出射した画像光を、利用者の左眼の位置に伝搬させ、他の一部のサブピクセルを出射した画像光を、利用者の右眼の位置に伝搬させる。
【符号の説明】
【００７６】
１          通信機器
２          ヘッドアップディスプレイ
３          反射器
４          光学部材
５          ３次元表示装置
１０        撮像光学系
１１        撮像素子
１２        第１コントローラ
１３        メモリ
１４        第１通信部
２０        移動体
３１        反射素子
３２        駆動装置
５１        照射器
５２        表示パネル
５３        パララックスバリア
５４        第２通信部
５５        第２コントローラ
５６        レンチキュラレンズ
１４１      第１通信モジュール
１４２      第４通信モジュール
２０１      取付部
２０２      ステアリングホイール
５４１      第３通信モジュール
５４２      第４通信モジュール
５６１      シリンドリカルレンズ
５３１      透光領域
５３２      減光領域
Ａ          アクティブエリア
Ｖ１        第１虚像
Ｖ２        第２虚像
ＶａＬ      左可視領域
ＶａＲ      右可視領域
ＶｂＬ      左減光領域
ＶｂＲ      右減光領域
５２ａＬ    左可視領域
５２ａＲ    右可視領域
１００      通信ヘッドアップディスプレイシステム
【図１】
2020072460.tif 000003
【図２】
2020072460.tif 000004
【図３】
2020072460.tif 000005
【図４】
2020072460.tif 000006
【図５】
2020072460.tif 000007
【図６】
2020072460.tif 000008
【図７】
2020072460.tif 000009
【図８】
2020072460.tif 000010
【図９】
2020072460.tif 000011
【図１０】
2020072460.tif 000012