(57)【要約】【課題】使用者が付加される情報を整理でき、情報の認識性を向上させることが可能なＨＭＤ装置を提供する。【解決手段】使用者に風景と重ねて所定の情報を含む表示画像を視認させるヘッドマウントディスプレイ装置１００である。制御部１０は、使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、注視位置検出部２０からの注視位置情報と脳測定部５０からの注視位置推定情報との少なくとも一方に基づいて使用者が注視している表示ゾーンを特定し、通信部７０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように結像位置調整部９０を駆動させるとともに、表示器８０に取得した前記画像情報に応じて前記表示画像を表示させる。【選択図】図２
2018041009.tif 000002
【特許請求の範囲】
【請求項１】
使用者に風景と重ねて所定の情報を含む表示画像を視認させる表示装置であって、
前記使用者の注視位置を検出する注視位置検出部と、
前記使用者の脳活動に基いて前記使用者の注視位置を推定する注視位置推定部と、
前記表示画像を示す表示光を出射する表示器と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した前記情報を示す画像情報に応じて前記表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の少なくとも一部の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、前記使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報と前記注視位置推定部からの注視位置推定情報との少なくとも一方に基づいて使用者が注視している表示ゾーンを特定し、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように前記結像位置調整部を駆動させるとともに、前記表示器に取得した前記画像情報に応じて前記表示画像を表示させる、
ことを特徴とする表示装置。
【請求項２】
前記制御部は、前記注視位置情報と前記注視位置推定情報とに基いて前記使用者が注視している表示ゾーンが特定できない場合、前回特定した表示ゾーンを前記使用者が注視している表示ゾーンとする、
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記複数の表示ゾーンとして、第１の表示ゾーンとこの第１の表示ゾーンよりも奥行き側に位置する第２の表示ゾーンが設定され、
前記外部サーバにおいて、前記第１の表示ゾーンに関連付けられて前記使用者及び／あるいは前記使用者と共に移動する移動体に関する第１の情報が格納されており、前記第２の表示ゾーンに関連付けられて風景に重畳する第２の情報が格納されている、
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記複数の表示ゾーンとして、さらに前記第１の表示ゾーンよりも手前側に位置する第３の表示ゾーンが設定され、
前記外部サーバにおいて、前記第３の表示ゾーンに関連付けられて警告状態に関する第３の情報が格納されている、
ことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記制御部は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、特定した前記表示ゾーンに係わらず前記通信部を介して前記外部サーバから前記第３の情報を示す画像情報を取得して、前記表示画像のうち少なくとも前記第３の情報の結像位置が前記第３の表示ゾーンの奥行き位置に一致するように前記結像位置調整部を駆動させるとともに、前記表示器に取得した前記第３の情報を示す画像情報に応じて前記表示画像を表示させる、
ことを特徴とする請求項４に記載の表示装置。
【請求項６】
前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す前記画像情報に応じて前記表示画像を表示させる際に、特定した前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が特定した前記表示ゾーンに関連付けられた前記情報よりも強調されるように前記表示器に前記表示画像を表示させる、
ことを特徴とする請求項４に記載の表示装置。
【請求項７】
前記制御部は、前記警告状態が発生したと判定し、前記表示器に前記第３の情報を示す前記画像情報に応じて前記表示画像を表示させる際に、特定した前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる、
ことを特徴とする請求項４に記載の表示装置。
【請求項８】
前記制御部は、取得した前記画像情報に応じて前記表示画像を前記表示器に表示させる際に、前記注視位置情報と前記注視位置推定情報の少なくとも一方に基づいて前記表示画像に含まれる前記情報のうちその少なくとも一部が前記使用者の注視位置近傍に位置する情報をその全てが前記使用者の注視位置近傍よりも外側に位置する情報に対して強調されるように前記表示器に前記表示画像を表示させる、
ことを特徴とする請求項１記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者に風景と重ねて所定の情報を含む表示画像を視認させる表示装置に関する。
【背景技術】
【０００２】
従来より、使用者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ（Head  Mounted  Display；ＨＭＤ）装置が知られている（例えば特許文献１参照）。ＨＭＤ装置は、頭部に装着する表示装置であり、表示器からの表示光を投射光学系や導光体などを用いて使用者に投射し、使用者に表示光が示す表示画像の虚像を視認させるものである。使用者は、ＨＭＤ装置による虚像を前方の実風景を重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Augmented  Reality；ＡＲ）と称される技術を適用することができる。すなわち、表示画像として実風景に関連するＡＲ画像を表示することで、実風景に情報を付加することができる。
【０００３】
また、ＨＭＤ装置として、使用者が視認する虚像の結像位置を変更可能な技術が特許文献２及び３に開示されている。特許文献２に開示される技術は、虚像距離制御手段によって表示パネルと拡大光学部材の間隔を機械的に切り換えることで虚像の結像位置を変更するものである。また、特許文献３に開示される技術は、一対の表示駆動部からの表示光により形成される像の射出領域を移動させることで画像処理によって虚像の結像位置を変更するものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１１９７８６号公報
【特許文献２】特開平１０−２６２１６５号公報
【特許文献３】特開２０１５−３２１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、透過型のＨＭＤ装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、視認される情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能な表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の表示装置は、前述の課題を解決するために、使用者に風景と重ねて所定の情報を含む表示画像を視認させる表示装置であって、
前記使用者の注視位置を検出する注視位置検出部と、
前記使用者の脳活動に基いて前記使用者の注視位置を推定する注視位置推定部と、
前記表示画像を示す表示光を出射する表示器と、
外部サーバと通信可能な通信部と、
前記通信部を介して前記外部サーバから取得した前記情報を示す画像情報に応じて前記表示画像を前記表示器に表示させる制御部と、
前記表示光によって使用者に視認される前記表示画像の少なくとも一部の結像位置を調整可能な結像位置調整部と、を備え、
前記制御部は、前記使用者前方に奥行き方向の位置が異なる複数の表示ゾーンを仮想的に設定し、前記注視位置検出部からの注視位置情報と前記注視位置推定部からの注視位置推定情報との少なくとも一方に基づいて使用者が注視している表示ゾーンを特定し、前記通信部を介して前記外部サーバから特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と前記表示画像のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように前記結像位置調整部を駆動させるとともに、前記表示器に取得した前記画像情報に応じて前記表示画像を表示させる、
ことを特徴とする。
【発明の効果】
【０００８】
本発明は、使用者が付加される情報を整理でき、情報の認識性を向上させることが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一の実施形態であるヘッドマウントディスプレイ装置の概観を示す図である。
【図２】同上ヘッドマウントディスプレイ装置の電気的構成を示すブロック図である。
【図３】同上ヘッドマウントディスプレイ装置を装着した使用者が車両に搭乗した状態を示す図である。
【図４】同上ヘッドマウントディスプレイ装置において仮想的に設定される表示ゾーンと表示ゾーンに関連付けられた情報の一例を示す図である。
【図５】同上ヘッドマウントディスプレイ装置における表示処理を示すフロー図である。
【図６】同上ヘッドマウントディスプレイ装置における注視表示ゾーン決定処理を示すフロー図である。
【図７】同上ヘッドマウントディスプレイ装置の表示例を示す図である。
【図８】同上ヘッドマウントディスプレイ装置の他の表示例を示す図である。
【図９】同上ヘッドマウントディスプレイ装置における警告表示処理を示すフロー図である。
【図１０】同上ヘッドマウントディスプレイ装置の警告表示処理による表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１１】
図１は、本発明の第一の実施形態に係るヘッドマウントディスプレイ装置（以下、ＨＭＤ装置ともいう）１００の概観を示す図であり、図２はＨＭＤ装置１００の電気的構成を示す図である。
ＨＭＤ装置１００は、制御部１０と、注視位置検出部２０と、撮像部３０と、位置情報取得部４０と、脳測定部５０と、状態情報取得部６０と、通信部７０と、表示器８０と、結像位置調整部９０と、を備える。
ＨＭＤ装置１００は、使用者Ｕの頭部に装着される眼鏡型の表示装置である。ＨＭＤ装置１００は、クラウドサーバ（外部サーバ）２００と無線通信で接続され、ＨＭＤ装置１００とクラウドサーバ２００とからなる表示システムを構成している。クラウドサーバ２００には、使用者Ｕの個人情報や身体情報などの生体情報や、地図情報、後述する第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３にそれぞれ関連付けられた各種情報を示す画像情報がネットワーク通信によって蓄積されている。ＨＭＤ装置１００は、後述する表示処理によって、クラウドサーバ２００から任意の画像情報を受信して各種情報を示す表示画像を表示し、表示画像を示す表示光を図示しないレンズや光学部材などを介して使用者Ｕの眼に入射させ、使用者Ｕに前方の風景と重ねて表示画像（虚像）を視認させる。
【００１２】
制御部１０は、例えばマイクロコンピュータからなり、制御部１０が実行する処理（ＨＭＤ装置１００全体の制御など）を実際に行うＣＰＵ（Central  Processing  Unit）と、ＣＰＵのメインメモリとして機能するＲＡＭ（Random  Access  Memory）と、制御部１０に後述の処理などを実行させる各種プログラムを格納するＲＯＭ（Read  Only  Memory）と、制御部１０に入出力される情報（信号）をＣＰＵ用にデジタル変換したり出力用にアナログ変換したりする各種変換器と、を備える。制御部１０は、ＣＰＵに加えて、制御部１０が行う処理の一部をＣＰＵに代わって実行するための各種専用回路（例えば、画像処理回路など）を備えても良い。
【００１３】
制御部１０は、図１に示すように、使用者Ｕの前方に奥行き方向の異なる第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定している。
第１の表示ゾーンＺ１は、第２の表示ゾーンＺ２と第３の表示ゾーンＺ３との間に位置する表示ゾーンである。第２の表示ゾーンＺ２は、第１の表示ゾーンＺ１よりも奥行き側（最も奥行き側）に位置する表示ゾーンである。第３の表示ゾーンＺ３は、第１の表示ゾーンＺ１よりも使用者Ｕ側（最も手前側）に位置する表示ゾーンである。
各表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置は、任意に設定されるものであるが、図３に示すように、使用者Ｕが車両Ｃの運転席に座って車両Ｃ前方を見た状態を例に挙げると以下のように設定することができる。すなわち、第３の表示ゾーンＺ３は、使用者Ｕ（運転者）とインパネＣ２との間に位置するステアリングＣ１付近を奥行き位置とする。第１の表示ゾーンＺ１は、ステアリングＣ１よりも奥行き側のインパネＣ２付近を奥行き位置とする。第２の表示ゾーンＺ２は、インパネＣ２よりも奥行き側の、フロントガラスから視認できる使用者Ｕから１５ｍ先の風景付近を奥行き位置とする。なお、以上の説明は、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３の奥行き位置の例を説明したものであって、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３は、車両の各部と重なる部分にのみ設定されるものではなく、使用者Ｕの顔が向いている先に設定される。
【００１４】
前述のように、クラウドサーバ２００には、第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報を示す画像情報が格納されている。図４は表示ゾーンＺ１、Ｚ２、Ｚ３に関連付けられた情報の一例を示すものである。第１の表示ゾーンＺ１、第２の表示ゾーンＺ２、第３の表示ゾーンＺ３は、第３の表示ゾーンＺ３、第１の表示ゾーンＺ１、第２の表示ゾーンＺ２の順に優先度が高い情報が関連付けられている。すなわち、第１の表示ゾーンＺ１を基準として、より優先度の低い情報が第２の表示ゾーンＺ２に関連付けられており、より優先度が高い情報が第３の表示ゾーンＺ３に関連付けられている。第１の表示ゾーンＺ１には、２番目に優先度の高い（優先度「中」）、例えば使用者Ｕの状態（心拍数、脈拍、脳波など）や使用者Ｕが搭乗する車両Ｃ（使用者Ｕと共に移動する移動体の一例）の状態（走行速度、エンジン回転数、残燃料など）といった使用者Ｕ及び使用者と共に移動する移動体に関する情報（第１の情報）が関連付けられている。第２の表示ゾーンＺ２には、最も優先度の低い（優先度「低」）、例えば周辺の店舗情報や経路案内情報、ヒヤリハット情報といった風景に対して所定の位置関係を持って重畳して情報を付加するＡＲ情報（第２の情報）が関連付けられている。第３の表示ゾーンＺ３には、最も優先度の高い（優先度「高」）、例えば使用者Ｕの体調不良や車両Ｃの故障などの警告情報といった緊急度の高い警告状態に関する情報（第３の情報）が関連付けられている。
【００１５】
注視位置検出部２０は、視線検出や眼軸測定により使用者Ｕの注視位置を検出するものである。視線検出の場合は、ＣＣＤカメラなどで使用者Ｕの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置として使用者Ｕの視線方向を検出する。眼軸測定の場合は、使用者Ｕの眼球に超音波を照射し、眼の水晶体前面、後面、網膜前面までの距離をエコーの伝搬時間から算出することによって、眼軸長（角膜、前房、水晶体、硝子体の組織の軸長を含んだ眼の角膜前面から網膜前面までの長さ）及び水晶体厚を測定し、その測定結果から注視位置として使用者Ｕの焦点位置を検出する。注視位置検出部２０は、使用者Ｕの注視位置情報を制御部１０に送信する。
【００１６】
撮像部３０は、例えばＣＣＤカメラなどからなり、使用者Ｕ前方の風景を撮像するものである。撮像部３０は、使用者Ｕ前方の風景を撮像した撮像情報（風景画像情報）を制御部１０に送信する。
【００１７】
位置情報取得部４０は、例えばＧＰＳアンテナを含み、使用者Ｕの現在位置を取得するものである。位置情報取得部４０は、使用者Ｕの現在位置を示す位置情報を制御部１０に送信する。
【００１８】
脳測定部５０は、使用者Ｕの脳活動を測定する機能を有するものである。脳測定部５０は、ＨＭＤ装置１００の眼鏡と一体に設けられる。なお、脳測定部５０をＨＭＤ装置１００の眼鏡とは別体に設けて車両Ｃのヘッドレストに設置し、ＨＭＤ装置１００の本体と有線あるいは無線で接続してもよい。脳測定部５０は、より具体的には使用者Ｕの脳活動として少なくとも脳波を測定し、主に脳波の変化から使用者Ｕの注視位置を推定し、測定した数値及び推定した注視位置を脳測定情報及び注視位置推定情報として制御部１０に送信する。すなわち、脳測定部５０は、注視位置推定部として機能する。使用者Ｕの注視位置の推定は、例えば予め使用者Ｕが所定の位置を注視している状態での脳波をそれぞれ測定して基準データとして格納しておき、計測した脳波の状態と基準データと一致あるいは近似するか否かを判断することで行う。基準データと一致あるいは近似しない場合は「注視位置なし」と判断する。また、他の方法とし人間が光や音などの刺激に対して認知した時、一過性に生じる脳波を利用する方法が考えられる。例えば、ＨＭＤ装置１００あるいは他の装置を用いて、所定の位置に所定周期で点滅するアイコンを表示する。使用者Ｕの脳波から前記アイコンの点滅周期と同じ周期で脳波が計測された場合、使用者Ｕがアイコンの位置を注視していると推定できる。なお、脳測定部５０は、脳波のほか、脳活動として脳血流量や脳磁場を測定するものであってもよい。また、脳測定部５０は、使用者Ｕの脳活動の測定のみを行い、脳測定情報を制御部１０にまたは通信部７０を介してクラウドサーバ２００に送信し、制御部１０またはクラウドサーバ２００上で使用者Ｕの注視位置を推定してもよい。すなわち、制御部１０またはクラウドサーバ２００が注視位置推定部として機能してもよい。
【００１９】
状態情報取得部６０は、使用者Ｕの状態を検出する各種センサや使用者Ｕと共に移動する移動体（車両Ｃ）と接続され、使用者Ｕの状態（脳活動を除く）を示す使用者状態情報や移動体の状態示す移動体状態情報を取得し、制御部１０に送信する。なお、使用者Ｕの状態としては、例えば心拍数、脈拍などが挙げられる。また、移動体が車両Ｃである場合、移動体の状態としては、走行速度、エンジン回転数、残燃料、走行距離などが挙げられる。
【００２０】
通信部７０は、クラウドサーバ２００との間で無線通信を行う送信部及び受信部からなり、制御部１０からの注視位置情報、後述する注視表示ゾーン情報、撮像情報、位置情報、状態情報等の各種情報をクラウドサーバ２００に送信し、クラウドサーバ２００から画像情報を受信し、制御部１０に送信する。
【００２１】
表示器８０は、例えばＴＦＴ型の液晶表示器や有機ＥＬ表示器からなり、所定の表示画像を表示して、表示画像を表す表示光を出射するものである。
【００２２】
結像位置調整部９０は、使用者Ｕに視認される表示画像の少なくとも一部の結像位置を変更可能とするものである。具体的には、一例として、表示器８０から使用者Ｕまでの表示光の光路長を変更するべく、表示器８０を移動させて表示器８０と図示しないレンズとの間の距離を変更可能とするモータなどから構成される。また、表示器８０とレンズとの間に光学部材が設けられる場合は、この光学部材の位置を変更するものであってもよい。さらに、結像位置の調整として、画像処理を行うものであってもよく、左右の視差によって結像位置を変更するために左右の眼に入射させる画像の位置を調整するものや、任意の焦点距離で画像が鮮明に視認されるように画像をぼかして表示するものであってもよい。この場合、制御部１０が結像位置調整部９０を兼ねても良い。したがって、結像位置の調整、変更には使用者Ｕの錯覚による場合も含む。
【００２３】
次に、図５を用いてＨＭＤ装置１００の注視位置に基づく通常表示処理について説明する。
【００２４】
まず、ステップＳ１０１において、制御部１０は、注視位置検出部２０から使用者Ｕの注視位置を示す注視位置情報を取得する。なお、情報の取得には、受信する場合のほか受信した情報に基づいて算出する場合を含む。
【００２５】
次に、ステップＳ１０２において、制御部１０は、脳測定部５０から脳測定情報及び注視位置推定情報を取得する。
【００２６】
次に、ステップＳ１０３において、制御部１０は、注視位置情報と注視位置推定情報とに基づいて第１、第２、第３の表示ゾーンＺ１、Ｚ２、Ｚ３のうちから、使用者Ｕが注視している表示ゾーン（以下、注視表示ゾーンともいう）を特定する注視表示ゾーン決定処理を行う。図６は注視表示ゾーン決定処理の詳細を示している。制御部１０は、まず、ステップＳ１２１において、注視位置情報に基づく注視表示ゾーンの特定を試みる。具体的には、例えば奥行き位置が注視位置に所定の距離よりも近く、かつ最も注視位置に近い表示ゾーンを注視表示ゾーンに特定する。次に、ステップＳ１２２において、制御部１０は、注視表示ゾーンを特定したか否かを判定する。制御部１０は、注視表示ゾーンを特定したと判定される場合（ステップＳ１２２でＹＥＳ）は、注視表示ゾーン決定処理を終了し、注視位置情報が取得できない、あるいは注視位置情報に基いて注視表示ゾーンがないと判断されるなど注視表示ゾーンが特定できない場合（ステップＳ１２２でＮＯ）は、ステップＳ１２３に進む。ステップＳ１２３において、制御部１０は、注視位置推定情報に基づく注視表示ゾーンの特定を試みる。具体的には、奥行き位置が推定された注視位置に所定の距離よりも近く、かつ最も推定された注視位置に近い表示ゾーンを注視表示ゾーンに特定する。次に、ステップＳ１２４において、制御部１０は、注視表示ゾーンを特定したか否かを判定する。制御部１０は、注視表示ゾーンを特定したと判定される場合（ステップＳ１２４でＹＥＳ）は、注視表示ゾーン決定処理を終了し、注視位置推定情報が取得できない、あるいは注視位置推定情報に基いて注視表示ゾーンがないと判断されるなど注視表示ゾーンが特定できない場合（ステップＳ１２４でＮＯ）は、ステップＳ１２５に進む。ステップＳ１２５において、制御部１０は、前回の特定した注視表示ゾーンを今回の注視表示ゾーンに特定し、注視表示ゾーン決定処理を終了する。なお、制御部１０は、注視位置情報と注視位置推定情報との少なくとも一方に基いて注視表示ゾーンを特定するものであればよく、例えば、注視位置情報に基いて特定される注視表示ゾーンと注視位置推定情報に基いて特定される注視表示ゾーンとが一致する場合に、その注視表示ゾーンを特定してもよい。
【００２７】
また、ステップＳ１０４において、制御部１０は、撮像部３０から使用者Ｕ前方の風景を撮像した撮像情報を取得する。
【００２８】
また、ステップＳ１０５において、制御部１０は、位置情報取得部４０から使用者Ｕの現在位置を示す位置情報を取得する。
【００２９】
また、ステップＳ１０６において、制御部１０は、状態情報取得部６０から使用者Ｕ及び使用者Ｕと共に移動する移動体の状態を示す使用者状態情報及び移動体状態情報（以下、まとめて状態情報ともいう）を取得する。
【００３０】
次に、ステップＳ１０７において、制御部１０は、ステップＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０６で取得した注視位置情報、脳測定情報、注視位置推定情報、撮像情報、状態情報に基づいて、新たに警告状態が発生したか否かを判定する。なお、本実施形態における警告状態とは、第３の表示ゾーンＺ３に表示する、緊急度の高い情報が示す内容が発生した状態を意味している。制御部１０は、上述の情報の他にも外部から警告状態の発生を示す情報を受信して、新たに警告状態が発生したか否かを判定してもよい。ステップＳ１０７において新たに警告状態が発生していないと判定されると（ステップＳ１０７；Ｎｏ）、制御部１０はステップＳ１０８以降の処理を実行し、新たに警告状態が発生したと判定されると（ステップＳ１０７；Ｙｅｓ）、制御部はステップＳ１１２の警告表示処理を実行する。警告表示処理については後で詳述する。
【００３１】
ステップＳ１０８において、制御部１０は、ステップＳ１０３で決定した注視表示ゾーンを示す注視表示ゾーン情報、ステップＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０６で取得した注視位置情報、脳測定情報、注視位置推定情報、撮像情報、状態情報を通信部７０を介してクラウドサーバ２００に送信する。
ＨＭＤ装置１００（の通信部７０）からこれらの情報を受信したクラウドサーバ２００は、受信した注視表示ゾーン情報及び各種情報に基づいて、自身に蓄積される画像情報から特定された表示ゾーンに関連付けられた情報を示す画像情報を抽出する。具体的に、注視表示ゾーンが第１の表示ゾーンＺ１である場合、クラウドサーバ２００は、抽出する情報の種別を第１の表示ゾーンＺ１に関連付けられた「使用者Ｕ及び移動体に関する情報」とし、さらに、脳測定情報、状態情報に基づいて表示するべき画像情報（例えば状態情報の値や程度を表す数字、文字、図柄など）を抽出する。また、注視表示ゾーンが第２の表示ゾーンＺ２である場合、クラウドサーバ２００は、抽出する情報の種別を第２の表示ゾーンＺ２に関連付けられた「風景に重畳するＡＲ情報」とし、さらに、注視位置情報、注視位置推定情報、撮像情報及び位置情報に基づいて表示するべき画像情報（例えば、使用者Ｕの注視位置周辺の店舗情報、道路に重畳する経路案内マーク、現在位置周辺のヒヤリハット情報）を抽出する。また、注視表示ゾーンが第３の表示ゾーンＺ３である場合、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、脳測定情報、状態情報などに基づいて表示するべき画像情報（例えば使用者Ｕの体調不良や移動体の故障、不調を報知する文字、図柄など）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。
【００３２】
次に、ステップＳ１０９において、制御部１０は、通信部７０を介してクラウドサーバ２００が抽出した画像情報を受信する。なお、ＨＭＤ装置１００は、クラウドサーバ２００から各表示ゾーンＺ１〜Ｚ３に関連付けられた情報を示す画像情報の一部を予め受信して内部の記憶部（図示しない）に格納しておき、ステップＳ１０３で決定した注視表示ゾーンを示す注視表示ゾーン情報、ステップＳ１０１、Ｓ１０１、Ｓ１０４〜Ｓ１０６で取得した注視位置情報、脳測定情報、注視位置推定情報、撮像情報、状態情報に基づいて前記記憶部から注視表示ゾーンに関連付けられた情報のうち表示するべき画像情報を読み出してもよい。
【００３３】
次に、ステップＳ１１０において、制御部１０は、ステップＳ１０２で特定した注視表示ゾーンの奥行き位置と表示画像の虚像の結像位置とが一致するように結像位置調整部９０を駆動させる。なお、表示画像の一部について結像位置の調整が可能である場合は、表示画像のうち決定した注視表示ゾーンに関連付けられた情報（受信した画像情報に応じた部分）についてのみ結像位置を調整してもよい。
【００３４】
次に、ステップＳ１１１において、制御部１０は、表示器８０にステップＳ１０９でクラウドサーバ２００から受信した画像情報に応じて表示画像を表示させる（表示画像を更新させる）。
【００３５】
以上の処理を繰り返し実行することによって、ＨＭＤ装置１００は、使用者Ｕの注視位置に応じて、注視位置に関連する情報を虚像として使用者Ｕに視認させることができる。これにより、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが付加される情報を容易に整理でき、情報の認識性を向上することができる。
【００３６】
図７は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の表示例を示すものである。なお、図７では使用者Ｕに視認される表示画像の虚像を示している。図７（ａ）は、注視表示ゾーンが第１の表示ゾーンＺ１である場合の例を示す。図７（ａ）に示す例では、使用者Ｕ及び移動体に関する情報として、車両Ｃの走行速度（６０Ｋｍ／ｈ）と使用者Ｕの脈拍（８０ｂｐｍ）を示す表示画像Ｖ１が表示器８０に表示され、表示画像Ｖ１の虚像が使用者Ｕに視認される。図７（ｂ）は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図７（ｂ）に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を示す表示画像Ｖ２が表示器８０に表示され、表示画像Ｖ２の虚像が使用者Ｕに視認される。図７（ｃ）は、注視表示ゾーンが第３の表示ゾーンＺ３である場合の例を示す。図７（ｃ）に示す例では、緊急度の高い警告状態に関する情報として、残燃料の減少（警告状態）を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字）を示す表示画像Ｖ３が表示器８０に表示され、表示画像Ｖ３の虚像が使用者Ｕに視認される。
【００３７】
図８は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の他の表示例を示すものである。他の表示例では、ステップＳ１０１で取得した注視位置情報とステップＳ１０２で取得した注視位置推定情報の少なくとも一方に基づいて、表示画像に含まれる情報のうちその少なくとも一部が注視位置Ｐ近傍に位置する情報をその全てが使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器８０に表示画像が表示される。本実施形態においては、制御部１０は、注視位置情報及び注視位置推定情報と表示器８０に表示される表示画像における情報の位置とから、その少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍に位置すると判断し、その全てが注視領域Ｅの外側に位置すると判断される場合に使用者Ｕの注視位置Ｐ近傍の外側に位置すると判断する。なお、注視領域Ｅは注視位置Ｐを中心として車両Ｃの水平方向（使用者Ｕの前後方向に対して垂直な方向）に広がる円状の範囲である。なお、図８では使用者Ｕに視認される表示画像の虚像を示している。図８は、注視表示ゾーンが第２の表示ゾーンＺ２である場合の例を示す。図８に示す例では、風景に重畳するＡＲ情報として、経路案内マーク（矢印マーク）と駐車場マーク（「Ｐ」を含むアイコン）を含む表示画像Ｖ２２が表示器８０に表示され、表示画像Ｖ２２の虚像が使用者Ｕに視認される。さらに、表示画像Ｖ２２に含まれるＡＲ情報のうち、経路案内マークはその一部が注視領域Ｅの内側に位置し、駐車場マークはその全てが注視領域Ｅの外側に位置しており、経路案内マークが駐車場マークよりも強調されている。ここで、特定の情報を他の情報よりも強調するとは、特定の情報が他の情報よりも鮮明に使用者Ｕに視認されることを意味し、その具体的な方法としては、特定の情報の表示輝度を他の情報よりも高くする、表示色を異ならせるなどのほか、他の情報の表示輝度を下げる、他の情報の表示色をカラーからモノクロ（白黒）とする、他の情報をぼかして表示する（ピントをずらす）など他の情報の視認性を強調する特定の情報よりも低下させて相対的に強調する方法がある。なお、かかる他の表示例では、注視表示ゾーンが第１、第３の表示ゾーンＺ１、Ｚ３である場合も同様に、ステップＳ１０１で取得した注視位置情報に基づいて、表示画像に含まれる情報のうちその少なくとも一部が使用者Ｕの注視位置Ｐを含む注視領域Ｅの内側、すなわち注視位置Ｐ近傍に位置する情報をその全てが使用者Ｕの注視領域Ｅよりも外側に位置する情報に対して強調されるように表示器８０に表示画像が表示され、その虚像が使用者Ｕに視認される。
【００３８】
次に、ステップＳ１１２における警告表示処理について図９を用いて説明する。
まず、ステップＳ１３１において、制御部１０は、警告状態の発生を示す警告状態発生情報、ステップＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０６で取得した注視位置情報、脳測定情報、注視位置推定情報、撮像情報、状態情報を通信部７０を介してクラウドサーバ２００に送信する。また、このとき、注視表示ゾーン情報も送信してもよい。
ＨＭＤ装置１００（の通信部７０）からこれらの情報を受信したクラウドサーバ２００は、受信した警告状態発生情報及び各種情報に基づいて、自身に蓄積される画像情報から第３の表示ゾーンＺ３に関連付けられた情報を示す画像情報を抽出する。具体的に、クラウドサーバ２００は、抽出する情報の種別を第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」とし、さらに、脳測定情報、状態情報などに基づいて表示するべき画像情報（新たに発生した警告状態に関する画像情報）を抽出する。クラウドサーバ２００は、抽出した画像情報をＨＭＤ装置１００に送信する。また、クラウドサーバ２００は、注視表示ゾーン情報を受信した場合、自身に蓄積される画像情報から注視表示ゾーンに関連付けられた情報を示す画像情報も抽出してもよい。
【００３９】
次に、ステップＳ１３２において、制御部１０は、通信部７０を介してクラウドサーバ２００が抽出した画像情報を受信する。このとき、クラウドサーバ２００から受信する画像情報は、少なくとも第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報となる。
【００４０】
次に、ステップＳ１３３において、制御部１０は、第３の表示ゾーンＺ３の奥行き位置と表示画像の結像位置とが一致するように結像位置調整部９０を駆動させる。
【００４１】
次に、ステップＳ１３４において、制御部１０は、表示器８０にステップＳ１０７でクラウドサーバ２００から受信した、第３の表示ゾーンＺ３に関連付けられた「緊急度の高い警告状態に関する情報」を示す画像情報に応じて表示画像を表示させる（表示画像を更新させる）。
【００４２】
以上の処理を実行することによって、ＨＭＤ装置１００は、警告状態が新たに発生した場合には、使用者Ｕの注視位置に係わらず、優先順位の高い情報を虚像として使用者Ｕに視認させることができる。これにより、新たに発生した優先順位の高い情報が使用者Ｕに近い結像位置で自動的に表示されるため、使用者Ｕが付加される情報を容易に整理でき、情報の認識性を向上することができる。なお、警告状態が継続する場合、制御部１０は、ステップＳ１０１からの処理を繰り返し実行することで、再び使用者Ｕの注視表示ゾーンに関連付けられた情報を示す表示画像の表示を行う。すなわち、使用者Ｕの注視位置が第３の表示ゾーンＺ３に維持されない場合は、表示画像の結像位置が他の表示ゾーンに移動し、また、視認される表示画像はその表示内容が緊急度の高い警告状態に関する情報から使用者Ｕの注視表示ゾーンに関連付けられた情報に切り替わることとなる。
【００４３】
図１０は、使用者Ｕが車両Ｃを運転している場合のＨＭＤ装置１００の警告表示処理による表示例を示すものである。なお、図１０においては使用者Ｕに視認される表示画像の虚像を示している。図１０（ａ）に示す第１の例では、警告表示処理により、使用者Ｕの注視位置に応じた情報の表示に替えて、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））のみを含む表示画像Ｖ４が表示器８０に表示され、表示画像Ｖ４の虚像が使用者Ｕに視認される。図１０（ｂ）に示す第２の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン）））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ緊急度の高い警告状態に関する情報が使用者Ｕの注視表示ゾーンに関連付けられた情報よりも強調されている表示画像Ｖ５が表示器８０に表示され、表示画像Ｖ５の虚像が使用者Ｕに視認される。情報を強調する具体的な方法としては、その表示輝度を他の情報よりも高くする、表示色を異ならせるなど前述の方法が用いられる。図１０（ｃ）に示す第３の例では、警告表示処理により、使用者Ｕの注視表示ゾーンに関連付けられた情報の表示（風景に重畳するＡＲ情報（経路案内マーク（矢印マーク）及び駐車場マーク（「Ｐ」を含むアイコン）））に、緊急度の高い警告状態に関する情報（残燃料の減少を報知するテキストメッセージ（「燃料減少。給油してください。」なる文字））が使用者Ｕ側となるように重なり、かつ、使用者Ｕの注視表示ゾーンに関連付けられた情報が緊急度の高い警告状態に関する情報よりも視認性を下げられた表示画像Ｖ６が表示器８０に表示され、表示画像Ｖ６の虚像が使用者Ｕに視認される。情報の視認性を下げる具体的な方法としては、その表示輝度を他の情報よりも低くする、彩度及び／あるいは明度を下げる、表示をぼかす（ピントをずらす）、一部（例えば緊急度の高い警告状態に関する情報と重なる部分及び周辺部分）を非表示とする、大きさを縮小するなどの方法がある。さらに、図１０（ｄ）に示す例の表示画像Ｖ７のように、情報の視認性を下げる方法として、使用者Ｕの注視表示ゾーンに関連付けられた情報を緊急度の高い警告状態に関する情報と重ならない表示位置に移動させてもよい。
【００４４】
本実施形態におけるＨＭＤ装置１００は、使用者Ｕに風景と重ねて所定の情報を含む表示画像Ｖ１〜Ｖ７、Ｖ２２を視認させる表示装置であって、使用者Ｕの注視位置を検出する注視位置検出部２０と、使用者Ｕの脳活動に基いて使用者Ｕの注視位置を推定する脳測定部５０と、表示画像Ｖ１〜Ｖ７、Ｖ２２を示す表示光を出射する表示器８０と、クラウドサーバ２００と通信可能な通信部７０と、通信部７０を介してクラウドサーバ２００から取得した前記情報を示す画像情報に応じて表示画像Ｖ１〜Ｖ７、Ｖ２２を表示器８０に表示させる制御部１０と、前記表示光によって使用者Ｕに視認される前記表示画像の少なくとも一部の結像位置を調整可能な結像位置調整部９０と、を備え、
制御部１０は、使用者Ｕ前方に奥行き方向の位置が異なる複数の表示ゾーンＺ１、Ｚ２、Ｚ３を仮想的に設定し、注視位置検出部２０からの注視位置情報と脳測定部５０からの注視位置推定情報との少なくとも一方に基づいて使用者Ｕが注視している表示ゾーンを特定し、通信部７０を介してクラウドサーバ２００から特定した前記表示ゾーンに関連付けられた情報を示す画像情報を取得して、特定した前記表示ゾーンの奥行き位置と表示画像Ｖ１〜Ｖ３、Ｖ２２のうち少なくとも特定した前記表示ゾーンに関連付けられた前記情報の結像位置とが一致するように結像位置調整部９０を駆動させるとともに、表示器８０に取得した前記画像情報に応じて表示画像Ｖ１〜Ｖ３、Ｖ２２を表示させる。
【００４５】
これによれば、使用者Ｕが注視している位置に関連する情報が自動的に切り換えて表示されるため、使用者Ｕが付加される情報を容易に整理でき、情報の認識性を向上することができる。
【００４６】
また、ＨＭＤ装置１００において、制御部１０は、前記注視位置情報と前記注視位置推定情報とに基いて使用者Ｕが注視している表示ゾーンが特定できない場合、前回特定した表示ゾーンを前記使用者が注視している表示ゾーンとする。
これによれば、注視表示ゾーンが特定できない場合でも情報の表示を維持することができ、使用者Ｕの違和感を軽減することができる。
【００４７】
また、ＨＭＤ装置１００は、複数の表示ゾーンとして、第１の表示ゾーンＺ１とこの第１の表示ゾーンＺ１よりも奥行き側に位置する第２の表示ゾーンＺ２が設定され、
クラウドサーバ２００において、第１の表示ゾーンＺ１に関連付けられて使用者Ｕ及び／あるいは使用者Ｕと共に移動する移動体（車両Ｃ）に関する第１の情報が格納されており、第２の表示ゾーンＺ２に関連付けられて風景に重畳する第２の情報が格納されている。
またさらに、ＨＭＤ装置１００は、複数の表示ゾーンとして、さらに第１の表示ゾーンＺ１よりも手前側に位置する第３の表示ゾーンＺ３が設定され、
クラウドサーバ２００において、第３の表示ゾーンＺ３に関連付けられて警告状態に関する第３の情報が格納されている。
これによれば、使用者Ｕが注視する位置に応じて優先度の異なる情報が自動的に切り換えて表示されるため、使用者Ｕが付加される情報を容易に整理でき、情報の視認性を向上することができる。
【００４８】
また、ＨＭＤ装置１００において、制御部１０は、取得した前記画像情報に応じて表示画像Ｖ２２を表示器８０に表示させる際に、前記注視位置情報と前記注視位置推定情報との少なくとも一方に基づいて表示画像Ｖ２２に含まれる前記情報のうちその少なくとも一部が使用者Ｕの注視位置Ｐ近傍に位置する情報をその全てが使用者Ｕの注視位置Ｐ近傍よりも外側に位置する情報に対して強調されるように表示器８０に表示画像Ｖ２２を表示させる。
これによれば、使用者Ｕが付加される情報のうち、より注視位置に近い情報を瞬時に認識することができ、情報の視認性を向上することができる。
【００４９】
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態の発生を判定し、前記警告状態が発生したと判定される場合に、特定した前記表示ゾーンに係わらず通信部７０を介してクラウドサーバ２００から前記第３の情報を示す画像情報を取得して、表示画像Ｖ４〜Ｖ７のうち少なくとも前記第３の情報の結像位置が第３の表示ゾーンＺ３の奥行き位置に一致するように結像位置調整部９０を駆動させるとともに、表示器８０に取得した前記第３の情報を示す画像情報に応じて表示画像Ｖ４〜Ｖ７を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示でき、状況に応じた最適な情報を提供することができる。
【００５０】
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器８０に前記第３の情報を示す画像情報に応じて表示画像Ｖ５を表示させる際に、特定した前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、前記第３の情報が特定した前記表示ゾーンに関連付けられた前記情報よりも強調されるように表示器８０に表示画像Ｖ５を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
【００５１】
また、ＨＭＤ装置１００において、制御部１０は、前記警告状態が発生したと判定し、表示器８０に前記第３の情報を示す画像情報に応じて表示画像Ｖ６，Ｖ７を表示させる際に、特定した前記表示ゾーンに関連付けられた前記情報と前記第３の情報とを含み、かつ、特定した前記表示ゾーンに関連付けられた前記情報が前記第３の情報よりも視認性が低くなるように前記表示器に前記表示画像を表示させる。
これによれば、新たに発生した警告状態に関する情報を優先的に表示する場合に、使用者Ｕが使用者Ｕの注視位置に関連する情報の存在を認識しながら、優先度の高い情報を容易に把握することができる。
【００５２】
なお、本実施形態においてはＨＭＤ装置１００を例に挙げて説明したが、本発明は、表示装置として、表示画像を示す表示光を出射する表示器と、車両に使用者の少なくとも一方の眼の視界を覆うように設置され、前記表示光を前記使用者の眼に入射させる透過性のコンバイナ（表示部材）と、を備える車両用表示装置（非装着型の表示装置）に適用されてもよい。また、本発明は、表示装置として、表示器が使用者の視界を遮るように配置される非透過型の表示装置に適用されてもよい。非透過型の表示装置においては、使用者前方の風景を撮像した風景画像に所定の情報を示す付加画像が重ねられた表示画像が表示器に表示され、レンズや光学部材を介して使用者に表示画像（実像）が視認される。すなわち、本発明における「風景」は実風景のほか風景画像であってもよく、使用者に視認される表示画像は虚像であっても実像であってもよい。
【産業上の利用可能性】
【００５３】
本発明は、視認者に風景と重ねて所定の情報を含む表示画像を視認させる表示装置に好適である。
【符号の説明】
【００５４】
１００  ヘッドマウントディスプレイ装置（ＨＭＤ装置）
１０    制御部
２０    注視位置検出部
３０    撮像部
４０    位置情報取得部
５０    脳測定部（注視位置推定部）
６０    状態情報取得部
７０    通信部
８０    表示器
９０    結像位置調整部
Ｃ      車両
Ｕ      使用者
Ｖ１〜Ｖ７、Ｖ２２  表示画像
【図１】
2018041009.tif 000003
【図２】
2018041009.tif 000004
【図３】
2018041009.tif 000005
【図４】
2018041009.tif 000006
【図５】
2018041009.tif 000007
【図６】
2018041009.tif 000008
【図７】
2018041009.tif 000009
【図８】
2018041009.tif 000010
【図９】
2018041009.tif 000011
【図１０】
2018041009.tif 000012