(57)【要約】【課題】複数の機能を有する表示装置をより簡単に操作できるようにして、利便性を向上させる。【解決手段】画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部１７０と、検出部１７０の検出結果に基づき、使用者の身体の状態を判定する状態判定部１９５と、表示部における表示を含む機能を実行する処理実行部１５８と、処理実行部１５８が実行可能な機能のうち、状態判定部１９５の判定結果に対応する機能を選択して処理実行部１５８に実行させるアプリ実行制御部１５４と、を備える表示装置。【選択図】図６
2018055416.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
使用者の身体に直接或いは間接的に装着される検出部と、
前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定部と、
前記表示部における表示を含む機能を実行する実行部と、
前記実行部が実行可能な前記機能のうち、前記判定部の判定結果に対応する前記機能を選択して前記実行部に実行させる実行制御部と、
を備える表示装置。
【請求項２】
前記判定部は、前記検出部の検出結果に基づき前記使用者の身体の状態を、予め設定された複数の状態の中から特定し、
前記実行制御部は、前記判定部が特定した前記状態に対応する前記機能を前記実行部に実行させる請求項１記載の表示装置。
【請求項３】
前記実行部は、前記機能を実行することにより、前記機能に関する画像及びテキストの少なくともいずれかを含む表示を前記表示部に実行させる請求光または２記載の表示装置。
【請求項４】
前記実行部が実行する機能に対応するプログラムを記憶する記憶部を備え、
前記実行制御部は、前記記憶部に記憶されたプログラムに基づき前記実行部が実行可能な前記機能を選択して前記実行部に実行させる請求項１から３のいずれか１項に記載の表示装置。
【請求項５】
前記実行制御部は、前記プログラムを前記表示装置にインストールする場合に、インストールされる前記プログラムを、前記使用者の身体の状態に対応付けて前記記憶部に記憶させる請求項４記載の表示装置。
【請求項６】
外部の装置と通信する通信部を備え、
前記実行制御部は、前記通信部により前記外部の装置から取得可能なプログラムに基づき前記実行部が実行可能な前記機能を選択して、選択した前記機能に対応する前記プログラムを前記通信部により受信し、受信した前記プログラムに対応する前記機能を前記実行部に実行させる請求項１から５のいずれか１項に記載の表示装置。
【請求項７】
前記実行制御部は、前記実行部が実行可能な前記機能のそれぞれについて、前記機能の実行回数、前記機能に対する評価、前記機能の実行時に必要な前記表示部における表示領域のサイズ、及び、前記機能の実行に伴うコストの少なくともいずれかの条件、及び、各々の前記条件に対して設定された重み付けを示す優先情報を取得し、取得した前記条件及び前記優先情報に基づき、前記機能を選択する請求項１から６のいずれか１項に記載の表示装置。
【請求項８】
前記条件及び前記優先情報を記憶する条件記憶部を備える請求項７記載の表示装置。
【請求項９】
前記実行制御部は、前記条件及び前記優先情報を外部の装置から取得する請求項７記載の表示装置。
【請求項１０】
前記実行制御部は、前記機能を選択する際に、前記表示部で前記機能の表示に使用する表示領域のサイズを設定し、設定した前記表示領域に前記機能に係る表示を実行させ、
前記実行部に前記機能を実行させる前に、設定したサイズよりも小さい前記表示領域に前記機能に係る表示をして、実行の可否の入力を待機する請求項１から９のいずれか１項に記載の表示装置。
【請求項１１】
前記実行部が実行可能な前記機能の各々にタグまたは識別子が付与され、
前記実行制御部は、前記実行部に前記機能を実行させる前に、複数の前記機能を前記タグまたは前記識別子とともに選択可能に表示し、前記機能の選択及び実行の可否に関する前記入力を待機する請求項１０記載の表示装置。
【請求項１２】
前記実行制御部は、前記判定部が判定した前記使用者の状態に基づき、前記表示部で前記機能の表示に使用する表示領域のサイズを設定し、設定した前記表示領域に前記機能に係る表示を実行させる請求項１から９のいずれか１項に記載の表示装置。
【請求項１３】
前記実行制御部は、前記実行部が前記機能を実行中に外部要因の発生または前記検出部による異常値の検出があった場合に、予め設定された割り込み処理を前記実行部に実行させる請求項１から１２のいずれか１項に記載の表示装置。
【請求項１４】
前記判定部は、予め設定された時間毎に前記使用者の状態を判定し、
前記実行制御部は、前記判定部が判定した前記使用者の状態が変化した場合に、前記判定部が判定した前記使用者の状態が所定時間以内に、以前に判定された状態に戻るか否かを判定し、戻らないと判定した場合に、前記実行部が実行する前記機能を変更させる請求項１から１３のいずれか１項に記載の表示装置。
【請求項１５】
使用者の頭部に装着され、外景を視認可能に画像を表示する表示部と、
前記使用者の身体に直接或いは間接的に装着される検出部と、
前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定部と、
前記表示部における表示を含む機能を実行する実行部と、
前記実行部が実行可能な前記機能のうち、前記判定部の判定結果に対応する前記機能を選択して前記実行部に実行させる実行制御部と、
を備える頭部装着型表示装置。
【請求項１６】
画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部と、を備える表示装置を制御して、
前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定ステップと、
実行可能な複数の機能のうち、前記判定ステップの判定結果に対応する前記機能を選択する選択ステップと、
前記選択ステップで選択された、前記表示部における表示を含む前記機能を実行する実行ステップと、を有する表示装置の制御方法。
【請求項１７】
画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部と、を備える表示装置を制御するコンピューターに、
前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定ステップと、
実行可能な複数の機能のうち、前記判定ステップの判定結果に対応する前記機能を選択する選択ステップと、
前記選択ステップで選択された、前記表示部における表示を含む前記機能を実行する実行ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、表示装置の一例として、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）が知られている（例えば、特許文献１参照）。特許文献１記載のＨＭＤは、ユーザーの眼前に装着され、ユーザーを、仮想世界の画像に没入させる。また、特許文献１記載のＨＭＤはタッチパネルを備えるので、ユーザーは、表示画像に注視しながらＨＭＤを操作できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１８３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載のＨＭＤは、ユーザーの操作により、コンテンツの再生、停止、音声の出力、出力の制限等の各種処理を行う。
ところで、複数の機能を実行可能な表示装置では、実行する機能をユーザーが選択し、実行を指示するために、何度かの操作を行う必要がある。特に、表示装置が多機能である場合には操作回数が多い。この種の操作を行うため、ユーザーは手を空けなければならず、利便性を向上させることが望まれていた。
本発明は、複数の機能を有する表示装置をより簡単に操作できるようにして、利便性を向上させることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部と、前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定部と、前記表示部における表示を含む機能を実行する実行部と、前記実行部が実行可能な前記機能のうち、前記判定部の判定結果に対応する前記機能を選択して前記実行部に実行させる実行制御部と、を備える。
本発明によれば、表示装置が、使用者の身体の状態に合わせて機能を選択して実行する。このため、使用者が機能を選択する等の操作を行うことなしに、適切な機能が実行される。例えば、使用者が手を使わずに表示装置に機能を実行させることができるので、表示装置の利便性を向上させることができる。
【０００６】
また、本発明は、前記判定部は、前記検出部の検出結果に基づき前記使用者の身体の状態を、予め設定された複数の状態の中から特定し、前記実行制御部は、前記判定部が特定した前記状態に対応する前記機能を前記実行部に実行させる。
本発明によれば、設定に従って、使用者の身体の状態に適する機能をより適切に、速やかに選択できる。
【０００７】
また、本発明は、前記実行部は、前記機能を実行することにより、前記機能に関する画像及びテキストの少なくともいずれかを含む表示を前記表示部に実行させる。
本発明によれば、使用者の身体の状態に合わせて選択される機能に関する画像やテキストを表示して、利便性の向上を図ることができる。
【０００８】
また、本発明は、前記実行部が実行する機能に対応するプログラムを記憶する記憶部を備え、前記実行制御部は、前記記憶部に記憶されたプログラムに基づき前記実行部が実行可能な前記機能を選択して前記実行部に実行させる。
本発明によれば、表示装置が、記憶部に記憶したプログラムを実行して機能を実現する構成において、使用者の身体の状態に適する機能を適切に選択できる。
【０００９】
また、本発明は、前記実行制御部は、前記プログラムを前記表示装置にインストールする場合に、インストールされる前記プログラムを、前記使用者の身体の状態に対応付けて前記記憶部に記憶させる。
本発明によれば、表示装置にインストールされるプログラムを、使用者の身体の状態に対応付けることができる。このため、インストールされたプログラムを、使用者の身体の状態に応じて適切に選択できる。
【００１０】
また、本発明は、外部の装置と通信する通信部を備え、前記実行制御部は、前記通信部により前記外部の装置から取得可能なプログラムに基づき前記実行部が実行可能な前記機能を選択して、選択した前記機能に対応する前記プログラムを前記通信部により受信し、受信した前記プログラムに対応する前記機能を前記実行部に実行させる。
本発明によれば、外部の装置から取得するプログラムにより機能を実現する構成において、使用者の身体の状態に適する機能を適切に選択できる。
【００１１】
また、本発明は、前記実行制御部は、前記実行部が実行可能な前記機能のそれぞれについて、前記機能の実行回数、前記機能に対する評価、前記機能の実行時に必要な前記表示部における表示領域のサイズ、及び、前記機能の実行に伴うコストの少なくともいずれかの条件、及び、各々の前記条件に対して設定された重み付けを示す優先情報を取得し、取得した前記条件及び前記優先情報に基づき、前記機能を選択する。
本発明によれば、使用者の身体の状態と、各々の機能の実行に関する条件とを組み合わせて、より適切に機能を選択できる。
【００１２】
また、本発明は、前記条件及び前記優先情報を記憶する条件記憶部を備える。
本発明によれば、各々の機能の実行に関する条件と、条件を重み付けする情報とを表示装置が記憶し、これらの記憶した情報に基づいて速やかに機能を選択できる。
【００１３】
また、本発明は、前記実行制御部は、前記条件及び前記優先情報を外部の装置から取得する。
本発明によれば、各々の機能の実行に関する条件と、条件を重み付けする情報とを外部の装置から取得し、これらの記憶した情報に基づいて速やかに機能を選択できる。
【００１４】
また、本発明は、前記実行制御部は、前記機能を選択する際に、前記表示部で前記機能の表示に使用する表示領域のサイズを設定し、設定した前記表示領域に前記機能に係る表示を実行させ、前記実行部に前記機能を実行させる前に、設定したサイズよりも小さい前記表示領域に前記機能に係る表示をして、実行の可否の入力を待機する。
本発明によれば、機能を実行する際の表示領域のサイズを設定し、機能を実行する前に、機能に係る表示のサイズを小さくして、実行の可否の入力を待機する。このため、機能に係る表示のサイズを適切に設定でき、使用者が実行の可否を入力する際には、表示を小さくすることによって使用者の操作性を高めることができる。
【００１５】
また、本発明は、前記実行部が実行可能な前記機能の各々にタグまたは識別子が付与され、前記実行制御部は、前記実行部に前記機能を実行させる前に、複数の前記機能を前記タグまたは前記識別子とともに選択可能に表示し、前記機能の選択及び実行の可否に関する前記入力を待機する。
本発明によれば、使用者の入力に応じて機能を選択できる。また、タグや識別子をもとに、使用者の身体の状態に適する機能を選択できる。
【００１６】
また、本発明は、前記実行制御部は、前記判定部が判定した前記使用者の状態に基づき、前記表示部で前記機能の表示に使用する表示領域のサイズを設定し、設定した前記表示領域に前記機能に係る表示を実行させる。
本発明によれば、機能に関する表示のサイズを、使用者の状態に対応して適切に設定できる。
【００１７】
また、本発明は、前記実行制御部は、前記実行部が前記機能を実行中に外部要因の発生または前記検出部による異常値の検出があった場合に、予め設定された割り込み処理を前記実行部に実行させる。
本発明によれば、機能の実行中に、外部要因の発生または異常値の検出があった場合に割り込み処理を実行できる。
【００１８】
また、本発明は、前記判定部は、予め設定された時間毎に前記使用者の状態を判定し、前記実行制御部は、前記判定部が判定した前記使用者の状態が変化した場合に、前記判定部が判定した前記使用者の状態が所定時間以内に、以前に判定された状態に戻るか否かを判定し、戻らないと判定した場合に、前記実行部が実行する前記機能を変更させる。
本発明によれば、使用者の身体の状態が変化した場合に、この変化に対応して実行する機能を変更でき、変更する必要性が小さい場合には、機能の実行を継続できる。このため、頻繁な機能の変更による不都合を回避し、使用者の身体の状態の変化に対応できる。
【００１９】
また、上記課題を解決するため、本発明は、使用者の頭部に装着され、外景を視認可能に画像を表示する表示部と、前記使用者の身体に直接或いは間接的に装着される検出部と、前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定部と、前記表示部における表示を含む機能を実行する実行部と、前記実行部が実行可能な前記機能のうち、前記判定部の判定結果に対応する前記機能を選択して前記実行部に実行させる実行制御部と、を備える。
本発明によれば、使用者の頭部に装着される表示部を有する表示装置が、使用者の身体の状態に合わせて機能を選択して実行し、実行する機能に関する表示を行う。このため、使用者が機能を選択する等の操作を行うことなしに、適切な機能が実行される。例えば、使用者が手を使わずに表示装置に機能を実行させることができるので、表示装置の利便性を向上させることができる。
【００２０】
また、上記課題を解決するため、本発明は、画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部と、を備える表示装置を制御して、前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定ステップと、実行可能な複数の機能のうち、前記判定ステップの判定結果に対応する前記機能を選択する選択ステップと、前記選択ステップで選択された、前記表示部における表示を含む前記機能を実行する実行ステップとを有する。
本発明によれば、表示装置が、使用者の身体の状態に合わせて機能を選択して実行する。このため、使用者が機能を選択する等の操作を行うことなしに、適切な機能が実行される。例えば、使用者が手を使わずに表示装置に機能を実行させることができるので、表示装置の利便性を向上させることができる。
【００２１】
また、上記課題を解決するため、本発明は、画像を表示する表示部と、使用者の身体に直接或いは間接的に装着される検出部と、を備える表示装置を制御するコンピューターに、前記検出部の検出結果に基づき、前記使用者の身体の状態を判定する判定ステップと、実行可能な複数の機能のうち、前記判定ステップの判定結果に対応する前記機能を選択する選択ステップと、前記選択ステップで選択された、前記表示部における表示を含む前記機能を実行する実行ステップと、を実行させるためのプログラムである。
本発明によれば、表示装置が、使用者の身体の状態に合わせて機能を選択して実行する。このため、使用者が機能を選択する等の操作を行うことなしに、適切な機能が実行される。例えば、使用者が手を使わずに表示装置に機能を実行させることができるので、表示装置の利便性を向上させることができる。
【００２２】
本発明は、上述した表示装置、頭部装着型表示装置、及び表示装置の制御方法以外の種々の形態で実現することも可能である。例えば、上記の表示装置を含む表示システムを構成することも可能である。
また、上記の制御方法を実行するためにコンピューター（或いはプロセッサー）が実行するプログラムとして実現する場合、上記プログラムを記録した記録媒体、プログラムを配信するサーバー装置、上記プログラムを伝送する伝送媒体、上記プログラムを搬送波内に具現化したデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００２３】
【図１】実施形態に係る表示システム１の概略構成図。
【図２】ＨＭＤの外観構成を示す説明図。
【図３】画像表示部の光学系の構成を示す図。
【図４】画像表示部と撮像範囲の対応を示す説明図。
【図５】ＨＭＤを構成する各部のブロック図。
【図６】ＨＭＤの制御系の機能ブロック図。
【図７】ＨＭＤが記憶するアプリ情報の構成例を示す模式図。
【図８】ＨＭＤが記憶するアプリ実行条件の構成例を示す模式図。
【図９】ＨＭＤが記憶するアプリ付加情報の構成例を示す模式図。
【図１０】ＨＭＤの動作を示すフローチャート。
【図１１】ＨＭＤの動作を示すフローチャート。
【図１２】ＨＭＤの動作を示すフローチャート。
【図１３】ＨＭＤの表示例を示す図。
【発明を実施するための形態】
【００２４】
図１は、本発明を適用した実施形態に係る表示システム１の概略構成図である。
この図１に示すように、表示システム１は複数のＨＭＤ１００を備える。これら複数のＨＭＤ１００は共通の構成を有する。表示システム１が備えるＨＭＤ１００の数に制限はなく、本実施形態では２台のＨＭＤ１００を備える例を提示する。以下の説明では、表示システム１が備える２台のＨＭＤ１００を区別する場合、符号１００Ａ、１００Ｂを記載する。
【００２５】
ＨＭＤ１００は、図１に示すように使用者が頭部に装着する表示装置であり、頭部装着型表示装置（ヘッドマウントディスプレイ、Head Mounted Display）とも呼ばれる。ＨＭＤ１００の具体的な構成は本発明を限定しない。本実施形態で説明するＨＭＤ１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な構成を有する。ＨＭＤ１００は、いわゆる光学透過型のＨＭＤと呼ばれる装置である。
以下の説明では、便宜的に、ＨＭＤ１００を装着した使用者が、ＨＭＤ１００の機能によって視認する虚像を、「表示画像」と呼ぶ。ＨＭＤ１００が、画像データに基づいて生成された画像光を射出する処理、或いは動作を「画像を表示する」と定義する。
また、符号ＵＡは、ＨＭＤ１００Ａを頭部に装着して使用する使用者（ユーザー）を指す。符号ＵＢは、ＨＭＤ１００Ｂを頭部に装着して使用する使用者を指す。使用者ＵＡ、ＵＢを区別しない場合、使用者Ｕと記載する。
【００２６】
表示システム１において、ＨＭＤ１００Ａ、１００Ｂは、後述する各種の無線通信方式によって相互に通信できる。
ＨＭＤ１００Ａ、１００Ｂを、通信ネットワーク４を介してサーバー３に接続することができる。通信ネットワーク４は、各種の通信回線またはその組合せで実現される。通信ネットワーク４は、遠隔地を接続できる広域通信回線網であってもよいし、特定の施設や建物内に敷設されたＬＡＮ（Local Area Network）であってもよい。通信ネットワーク４の具体的構成は限定されない。例えば、通信ネットワーク４は、公衆回線網、専用線、携帯電話回線を含む無線通信回線、及び、これらの回線のバックボーン通信回線などを含んでもよい。通信ネットワーク４は、上記の通信回線を接続するサーバー装置、ゲートウェイ装置、ルーター装置等のネットワーク機器を含んでもよい。また、通信ネットワーク４が複数の通信回線を含んでもよい。
【００２７】
サーバー３（外部の装置）は、有線または無線通信回線を介して通信ネットワーク４に接続される。
ＨＭＤ１００Ａ、及びＨＭＤ１００Ｂは、それぞれ、通信部１１７（図５）によって通信ネットワーク４と無線通信回線により接続する。ＨＭＤ１００Ａ、１００Ｂは、通信ネットワーク４を利用して、サーバー３との間でデータ通信を実行する。例えば、ＨＭＤ１００Ａ、１００Ｂは、サーバー３からアプリケーションプログラムや、アプリケーションプログラムの実行に関係する各種のデータを受信することができる。アプリケーションプログラムの実行に関係する各種のデータは、例えば、アプリ情報１２７（図７）、アプリ実行条件１２８（図８）、アプリ付加情報１２９（図９）等を含む。
ＨＭＤ１００Ａ、１００Ｂは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）を含む）等の規格に準拠した無線通信を行う。
また、サーバー３と、ＨＭＤ１００Ａ、１００Ｂのそれぞれとが、通信ネットワーク４を経由せず直接、データ通信を行ってもよい。
【００２８】
図２は、ＨＭＤ１００の外観構成を示す説明図である。ＨＭＤ１００は、使用者Ｕの頭部に装着された状態で使用者Ｕに虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備える。制御装置１０は、図２に示すように、平たい箱形のケース１０Ａ（筐体、あるいは本体ともいえる）を備え、ケース１０Ａに後述する各部を備える。ケース１０Ａの表面には、使用者Ｕの操作を受け付ける各種のボタン１１、スイッチ、トラックパッド１４等が設けられる。これらを使用者Ｕが操作することによって、制御装置１０は、ＨＭＤ１００のコントローラーとして機能する。
【００２９】
画像表示部２０は、使用者Ｕの頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、左保持部２３と、前部フレーム２７とを有する本体に、右表示ユニット２２、左表示ユニット２４、右導光板２６、及び左導光板２８を備える。
【００３０】
右保持部２１及び左保持部２３は、それぞれ、前部フレーム２７の両端部から後方に延び、眼鏡のテンプル（つる）のように、使用者Ｕの頭部に画像表示部２０を保持する。ここで、前部フレーム２７の両端部のうち、画像表示部２０の装着状態において使用者Ｕの右側に位置する端部を端部ＥＲとし、使用者Ｕの左側に位置する端部を端部ＥＬとする。右保持部２１は、前部フレーム２７の端部ＥＲから、画像表示部２０装着状態において使用者Ｕの右側頭部に対応する位置まで延伸して設けられる。左保持部２３は、端部ＥＬから、画像表示部２０の装着状態において使用者Ｕの左側頭部に対応する位置まで延伸して設けられる。
【００３１】
右導光板２６及び左導光板２８は、前部フレーム２７に設けられる。右導光板２６は、画像表示部２０の装着状態において使用者Ｕの右眼の眼前に位置し、右眼に画像を視認させる。左導光板２８は、画像表示部２０の装着状態において使用者Ｕの左眼の眼前に位置し、左眼に画像を視認させる。
【００３２】
前部フレーム２７は、右導光板２６の一端と左導光板２８の一端とを互いに連結した形状を有し、この連結位置は、使用者Ｕが画像表示部２０を装着する装着状態で、使用者Ｕの眉間に対応する。前部フレーム２７は、右導光板２６と左導光板２８との連結位置において、画像表示部２０の装着状態で使用者Ｕの鼻に当接する鼻当て部を設けてもよい。この場合、鼻当て部と右保持部２１及び左保持部２３とにより画像表示部２０を使用者Ｕの頭部に保持できる。また、右保持部２１及び左保持部２３に、画像表示部２０の装着状態において使用者Ｕの後頭部に接するベルト（図示略）を連結してもよく、この場合、ベルトによって画像表示部２０を使用者Ｕの頭部に保持できる。
【００３３】
右表示ユニット２２は、右導光板２６による画像の表示に係るユニットであり、右保持部２１に設けられ、装着状態において使用者Ｕの右側頭部の近傍に位置する。左表示ユニット２４は、左導光板２８による画像の表示に係るユニットであり、左保持部２３に設けられ、装着状態において使用者Ｕの左側頭部の近傍に位置する。なお、右表示ユニット２２及び左表示ユニット２４を総称して単に「表示駆動部」とも呼ぶ。
【００３４】
本実施形態の右導光板２６及び左導光板２８は、光透過性の樹脂等によって形成される光学部であり、例えばプリズムであり、右表示ユニット２２及び左表示ユニット２４が出力する画像光を、使用者Ｕの眼に導く。
また、右導光板２６及び左導光板２８の表面に、調光板（図示略）を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者Ｕの眼の側とは反対の側である前部フレーム２７の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板２６及び左導光板２８に入射し、右導光板２６及び左導光板２８を透過する外光の光量を調整できる。
【００３５】
画像表示部２０は、右表示ユニット２２及び左表示ユニット２４がそれぞれ生成する画像光を、右導光板２６及び左導光板２８に導き、この画像光によって虚像を使用者Ｕに視認させることによって、画像を表示する。使用者Ｕの前方から、右導光板２６及び左導光板２８を透過して外光が使用者Ｕの眼に入射する場合、使用者Ｕの眼には、虚像を構成する画像光および外光が入射することとなり、虚像の視認性が外光の強さに影響される。このため、例えば前部フレーム２７に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整できる。典型的な例では、ＨＭＤ１００を装着した使用者Ｕが少なくとも外の景色を視認できる程度の光透過性を有する調光板を用いることができる。また、調光板を用いると、右導光板２６及び左導光板２８を保護し、右導光板２６及び左導光板２８の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム２７、或いは、右導光板２６及び左導光板２８のそれぞれに対し着脱可能としてもよく、複数種類の調光板を交換して装着可能としてもよく、調光板を省略してもよい。
【００３６】
カメラ６１は、画像表示部２０の前部フレーム２７に配設される。カメラ６１は、使用者Ｕが画像表示部２０を装着した状態で視認する外景方向を撮像することが望ましく、前部フレーム２７の前面において、右導光板２６及び左導光板２８を透過する外光を遮らない位置に設けられる。図２の例では、カメラ６１が前部フレーム２７の端部ＥＲ側に配置される。カメラ６１は、端部ＥＬ側に配置されてもよく、右導光板２６と左導光板２８との連結部に配置されてもよい。
【００３７】
カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、本実施形態のカメラ６１は単眼カメラであるが、ステレオカメラで構成してもよい。カメラ６１は、ＨＭＤ１００の表側方向、換言すれば、ＨＭＤ１００を装着した状態における使用者Ｕの視界方向の少なくとも一部の外景（実空間）を撮像する。別の表現では、カメラ６１は、使用者Ｕの視界と重なる範囲または方向を撮像し、使用者Ｕが注視する方向を撮像するということもできる。カメラ６１の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者Ｕが右導光板２６及び左導光板２８を通して視認する外界を含む。より好ましくは、右導光板２６及び左導光板２８を透過して視認可能な使用者Ｕの視界の全体を撮像できるように、カメラ６１の撮像範囲が設定される。
カメラ６１は、制御部１５０及び／またはセンサーハブ１９２（図６）の制御に従って撮像を実行し、撮像画像データを撮像制御部１４９に出力する。ここで、カメラ６１は、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群をカメラ６１が備える構成であってもよい。
【００３８】
図３は、画像表示部２０が備える光学系の構成を示す要部平面図である。図３には説明のため使用者Ｕの左眼ＬＥ及び右眼ＲＥを図示する。
図３に示すように、右表示ユニット２２と左表示ユニット２４とは、左右対称に構成される。使用者Ｕの右眼ＲＥに画像を視認させる構成として、右表示ユニット２２は、画像光を発するＯＬＥＤ（Organic Light Emitting Diode）ユニット２２１と、ＯＬＥＤユニット２２１が発する画像光Ｌを導くレンズ群等を備えた右光学系２５１とを備える。画像光Ｌは、右光学系２５１により右導光板２６に導かれる。
【００３９】
ＯＬＥＤユニット２２１は、ＯＬＥＤパネル２２３と、ＯＬＥＤパネル２２３を駆動するＯＬＥＤ駆動回路２２５とを有する。ＯＬＥＤパネル２２３は、有機エレクトロルミネッセンスにより発光してＲ（赤）、Ｇ（緑）、Ｂ（青）の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される、自発光型の表示パネルである。ＯＬＥＤパネル２２３は、Ｒ、Ｇ、Ｂの素子を１個ずつ含む単位を１画素として、複数の画素を備え、マトリクス状に配置される画素により画像を形成する。ＯＬＥＤ駆動回路２２５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２２３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２２３の発光素子を発光させる。ＯＬＥＤ駆動回路２２５は、ＯＬＥＤパネル２２３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２２５は、例えばＯＬＥＤパネル２２３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２２３の裏面に固定される基板（図示略）に実装されてもよい。この基板には温度センサー２１７が実装される。
なお、ＯＬＥＤパネル２２３は、白色に発光する発光素子をマトリクス状に配置し、Ｒ、Ｇ、Ｂの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、Ｒ、Ｇ、Ｂの色光をそれぞれ放射する発光素子に加え、Ｗ（白）の光を発する発光素子を備えるＷＲＧＢ構成のＯＬＥＤパネル２２３を用いてもよい。
【００４０】
右光学系２５１は、ＯＬＥＤパネル２２３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６に入射する。右導光板２６の内部において光を導く光路には、画像光Ｌを反射する複数の反射面が形成される。画像光Ｌは、右導光板２６の内部で複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６には、右眼ＲＥの眼前に位置するハーフミラー２６１（反射面）が形成される。画像光Ｌは、ハーフミラー２６１で反射して右眼ＲＥに向けて右導光板２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者Ｕに画像を視認させる。
【００４１】
また、使用者Ｕの左眼ＬＥに画像を視認させる構成として、左表示ユニット２４は、画像光を発するＯＬＥＤユニット２４１と、ＯＬＥＤユニット２４１が発する画像光Ｌを導くレンズ群等を備えた左光学系２５２とを備える。画像光Ｌは、左光学系２５２により左導光板２８に導かれる。
【００４２】
ＯＬＥＤユニット２４１は、ＯＬＥＤパネル２４３と、ＯＬＥＤパネル２４３を駆動するＯＬＥＤ駆動回路２４５とを有する。ＯＬＥＤパネル２４３は、ＯＬＥＤパネル２２３と同様に構成される自発光型の表示パネルである。ＯＬＥＤ駆動回路２４５は、制御部１５０（図６）の制御に従って、ＯＬＥＤパネル２４３が備える発光素子の選択及び発光素子への通電を実行して、ＯＬＥＤパネル２４３の発光素子を発光させる。ＯＬＥＤ駆動回路２４５は、ＯＬＥＤパネル２４３の裏面すなわち発光面の裏側に、ボンディング等により固定される。ＯＬＥＤ駆動回路２４５は、例えばＯＬＥＤパネル２４３を駆動する半導体デバイスで構成され、ＯＬＥＤパネル２４３の裏面に固定される基板（図示略）に実装されてもよい。この基板には、温度センサー２３９が実装される。
【００４３】
左光学系２５２は、ＯＬＥＤパネル２４３から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２８に入射する。左導光板２８は、画像光Ｌを反射する複数の反射面が形成された光学素子であり、例えばプリズムである。画像光Ｌは、左導光板２８の内部で複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２８には、左眼ＬＥの眼前に位置するハーフミラー２８１（反射面）が形成される。画像光Ｌは、ハーフミラー２８１で反射して左眼ＬＥに向けて左導光板２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者Ｕに画像を視認させる。
【００４４】
この構成によれば、ＨＭＤ１００は、シースルー型の表示装置として機能する。すなわち、使用者Ｕの右眼ＲＥには、ハーフミラー２６１で反射した画像光Ｌと、右導光板２６を透過した外光ＯＬとが入射する。また、左眼ＬＥには、ハーフミラー２８１で反射した画像光Ｌと、ハーフミラー２８１を透過した外光ＯＬとが入射する。このように、ＨＭＤ１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者Ｕの眼に入射させ、使用者Ｕにとっては、右導光板２６及び左導光板２８を透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。
ハーフミラー２６１、２８１は、右表示ユニット２２及び左表示ユニット２４がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
【００４５】
なお、左光学系２５２と左導光板２８とを総称して「左導光部」とも呼び、右光学系２５１と右導光板２６とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者Ｕの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００４６】
本実施形態のカメラ６１（図２）は、使用者Ｕの両眼が向く方向、すなわち使用者Ｕにとって前方を撮像する。カメラ６１の光軸は、例えば、右眼ＲＥ及び左眼ＬＥ（図３）の視線方向を含む方向とすることができる。使用者ＵがＨＭＤ１００を装着した状態で視認できる外景は、無限遠とは限らない。例えば、使用者Ｕが、視界に位置する対象物（図示略）を両眼で注視すると、使用者Ｕの視線は、対象物に向けられる。この場合、使用者Ｕから対象物までの距離は、３０ｃｍ〜１０ｍ程度であることが多く、１ｍ〜４ｍ程度であることが、より多い。そこで、ＨＭＤ１００について、通常使用時における使用者Ｕから対象物までの距離の上限、及び下限の目安を定めてもよい。この目安は調査や実験により求めてもよいし使用者Ｕが設定してもよい。カメラ６１の光軸、及び画角は、通常使用時における対象物までの距離が、設定された上限の目安に相当する場合、及び、下限の目安に相当する場合に、この対象物が画角に含まれるように、設定されることが好ましい。
【００４７】
また、一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。このため、右眼ＲＥの視線及び左眼ＬＥの視線を中心として水平方向に３０度、垂直方向に２０度程度が、右眼ＲＥ及び左眼ＬＥのそれぞれの有効視野となる。また、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。さらに、使用者Ｕが画像表示部２０を透過して右導光板２６及び左導光板２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶことができる。図２及び図３に示す本実施形態の構成で、実視野は、右導光板２６及び左導光板２８を透過して使用者Ｕが視認する実際の視野に相当する。実視野は、視野角及び安定注視野より狭いが、有効視野より広い。
【００４８】
カメラ６１の画角は、使用者Ｕの視野よりも広い範囲を撮像可能であることが好ましく、具体的には、カメラ６１の画角が、少なくとも使用者Ｕの有効視野よりも広いことが好ましい。また、カメラ６１の画角が、使用者Ｕの実視野よりも広いことが、より好ましい。さらに好ましくは、カメラ６１の画角が、使用者Ｕの安定注視野よりも広く、最も好ましくは、カメラ６１の画角が使用者Ｕの両眼の視野角よりも広い。
【００４９】
図２に戻り、制御装置１０と画像表示部２０とは、接続ケーブル４０により接続される。接続ケーブル４０は、ケース１０Ａの下部に設けられるコネクター（図示略）に着脱可能に接続され、左保持部２３の先端から、画像表示部２０の内部に設けられる各種回路に接続する。接続ケーブル４０は、デジタルデータを伝送するメタルケーブルまたは光ファイバーケーブルを有し、アナログ信号を伝送するメタルケーブルを有していてもよい。接続ケーブル４０の途中には、コネクター４６が設けられる。コネクター４６は、ステレオミニプラグを接続するジャックであり、コネクター４６と制御装置１０とは、例えばアナログ音声信号を伝送するラインで接続される。図２に示す構成例では、ステレオヘッドホンを構成する右イヤホン３２と左イヤホン３４、及び、マイク６３を有するヘッドセット３０が、コネクター４６に接続される。
【００５０】
マイク６３は、例えば図２に示すように、マイク６３の集音部が使用者Ｕの視線方向を向くように配置され、音声を集音して、音声信号を音声インターフェイス１８２（図５）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００５１】
制御装置１０は、使用者Ｕにより操作される被操作部として、ボタン１１、ＬＥＤインジケーター１２、トラックパッド１４、上下キー１５、切替スイッチ１６、及び電源スイッチ１８を備える。これらの被操作部はケース１０Ａの表面に配置される。
ボタン１１は、制御装置１０が実行するオペレーティングシステム１４３（図６）の操作等を行うためのメニューキー、ホームキー、戻るキー等を含み、特に、これらのキーやスイッチのうち押圧操作により変位するものを含む。ＬＥＤインジケーター１２は、ＨＭＤ１００の動作状態に対応して点灯し、或いは点滅する。上下キー１５は、右イヤホン３２及び左イヤホン３４から出力する音量の増減の指示入力や、画像表示部２０の表示の明るさの増減の指示入力に利用される。切替スイッチ１６は、上下キー１５の操作に対応する入力を切り替えるスイッチである。電源スイッチ１８は、ＨＭＤ１００の電源のオン／オフを切り替えるスイッチであり、例えばスライドスイッチで構成される。
【００５２】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。トラックパッド１４への接触（タッチ操作）は、タッチセンサー１３（図５）により検出される。
また、図２に破線で示すように、トラックパッド１４にはＬＥＤ表示部１７が設置される。ＬＥＤ表示部１７は複数のＬＥＤを備え、それぞれのＬＥＤの点灯によりＬＥＤ表示部１７に操作部が視認可能となる。図２の例では、３つの記号△（三角形）、○（丸）、□（四角形）が、ＬＥＤ表示部１７のＬＥＤの点灯時に現れる。ＬＥＤ表示部１７が消灯している状態では、これらの記号は視認できない状態となる。この構成は、例えば、トラックパッド１４を、透光性を有する有色または無色透明の平板で構成し、この平板の直下にＬＥＤを配置することで、実現できる。
【００５３】
ＬＥＤ表示部１７はソフトウェアボタンとして機能する。例えば、ＬＥＤ表示部１７が点灯中においては、記号の点灯位置（表示位置）が、記号に対応する指示を行うボタンとして機能する。図２の例で、記号○（丸）はホームボタンとして機能し、記号○（丸）の位置に接触する操作が行われると、制御部１５０は、タッチセンサー１３の検出値に基づき、ホームボタンの操作を検出する。また、記号□（四角形）は履歴ボタンとして機能する。記号□（四角形）の位置に接触する操作が行われると、制御部１５０は、タッチセンサー１３の検出値に基づき、履歴ボタンの操作を検出する。また、記号△（三角形形）は戻るボタンとして機能する。記号△（三角形）の位置に接触する操作が行われると、制御部１５０は、タッチセンサー１３の検出値に基づき、戻るボタンの操作を検出する。
【００５４】
図４は、画像表示部２０の要部構成を示す図であり、は画像表示部２０を使用者Ｕの頭部側から見た要部斜視図である。図４では接続ケーブル４０の図示を省略する。
【００５５】
図４は、画像表示部２０の使用者Ｕの頭部に接する側、言い換えれば使用者Ｕの右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右導光板２６及び左導光板２８の裏側が見えている。図４では、使用者Ｕの右眼ＲＥに画像光を照射するハーフミラー２６１、及び、左眼ＬＥに画像光を照射するハーフミラー２８１が、略四角形の領域として見える。また、ハーフミラー２６１、２８１を含む右導光板２６及び左導光板２８の全体が、上述したように外光を透過する。このため、使用者Ｕには、右導光板２６及び左導光板２８の全体を透過して外景が視認され、ハーフミラー２６１、２８１の位置に矩形の表示画像が視認される。この矩形のハーフミラー２６１、２８１によって画像が形成される領域を、画像表示部２０が画像を表示する表示領域Ｖ（図１３）と呼ぶ。
【００５６】
図５は、ＨＭＤ１００を構成する各部の構成を示すブロック図である。
制御装置１０は、プログラムを実行してＨＭＤ１００を制御するメインプロセッサー１４０を備える。メインプロセッサー１４０には、メモリー１１８及び不揮発性記憶部１２１が接続される。また、メインプロセッサー１４０には、入力装置としてトラックパッド１４及び操作部１１０が接続される。また、メインプロセッサー１４０には、センサー類として、６軸センサー１１１、磁気センサー１１３、及び、ＧＰＳ１１５が接続される。また、メインプロセッサー１４０には、通信部１１７、音声コーデック１８０、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、及び、ＦＰＧＡ１９４が接続される。これらは外部とのインターフェイスとして機能する。
【００５７】
メインプロセッサー１４０は、制御装置１０が内蔵するコントローラー基板１２０に実装される。コントローラー基板１２０には、メインプロセッサー１４０に加えて、メモリー１１８、不揮発性記憶部１２１等が実装されてもよい。本実施形態では、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、通信部１１７、メモリー１１８、不揮発性記憶部１２１、音声コーデック１８０等がコントローラー基板１２０に実装される。また、外部コネクター１８４、外部メモリーインターフェイス１８６、ＵＳＢコネクター１８８、センサーハブ１９２、ＦＰＧＡ１９４、及びインターフェイス１９６をコントローラー基板１２０に実装した構成であってもよい。
【００５８】
メモリー１１８は、メインプロセッサー１４０がプログラムを実行する場合に、実行されるプログラム、及び、処理されるデータを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０が実行するプログラムや、メインプロセッサー１４０がプログラムを実行して処理する各種データを記憶する。
【００５９】
メインプロセッサー１４０は、トラックパッド１４から入力される操作信号に基づいて、トラックパッド１４の操作面に対する接触操作を検出し、操作位置を取得する。
操作部１１０は、ボタン１１、タッチセンサー１３、およびＬＥＤ表示部１７を含む。タッチセンサー１３は、トラックパッド１４へのタッチ操作を検出し、検出したタッチ操作の操作位置を特定する。ボタン１１の操作が行われた場合、及び、タッチセンサー１３がタッチ操作を検出した場合、操作部１１０からメインプロセッサー１４０に対し、操作信号が出力される。
ＬＥＤ表示部１７は、トラックパッド１４（図２）の直下に配置されＬＥＤ（図示略）、及び、このＬＥＤを点灯させる駆動回路を含む。ＬＥＤ表示部１７は、メインプロセッサー１４０の制御に従って、ＬＥＤを点灯、点滅、消灯させる。
【００６０】
６軸センサー１１１は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー１１３は、例えば、３軸の地磁気センサーである。
ＧＰＳ（Global Positioning System）１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０の現在位置の座標を検出する。
６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー１４０に出力する。或いは、６軸センサー１１１、磁気センサー１１３及びＧＰＳ１１５は、メインプロセッサー１４０の要求に応じて、メインプロセッサー１４０により指定されたタイミングで、検出値をメインプロセッサー１４０に出力する。
【００６１】
通信部１１７は、外部の機器との間で無線通信を実行する。表示システム１では、通信部１１７は通信ネットワーク４（図１）を利用して、或いは直接、サーバー３とデータ通信を実行する。通信部１１７は、アンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、或いはこれらが統合されたデバイスで構成される。通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ、無線ＬＡＮ（Ｗｉ−Ｆｉを含む）等の規格に準拠した無線通信を行う。
【００６２】
音声インターフェイス１８２は、音声信号を入出力するインターフェイスである。音声インターフェイス１８２は、接続ケーブル４０に設けられたコネクター４６（図２）を含む。音声コーデック１８０は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８０はアナログ音声信号からデジタル音声データへの変換を行うＡ／Ｄコンバーター、及び、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。例えば、本実施形態のＨＭＤ１００は、音声を右イヤホン３２及び左イヤホン３４により出力し、マイク６３で集音する。音声コーデック１８０は、メインプロセッサー１４０が出力するデジタル音声データをアナログ音声信号に変換して、音声インターフェイス１８２を介して出力する。また、音声コーデック１８０は、音声インターフェイス１８２に入力されるアナログ音声信号をデジタル音声データに変換してメインプロセッサー１４０に出力する。
【００６３】
外部コネクター１８４は、メインプロセッサー１４０と通信する外部の装置を接続するコネクターである。外部コネクター１８４は、例えば、外部の装置をメインプロセッサー１４０に接続して、メインプロセッサー１４０が実行するプログラムのデバッグや、ＨＭＤ１００の動作のログの収集を行う場合に、この外部の装置を接続するインターフェイスである。
【００６４】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。この場合のカード型記録媒体のサイズ、形状、規格は制限されず、適宜に変更可能である。
【００６５】
ＵＳＢ（Universal Serial Bus）コネクター１８８は、ＵＳＢ規格に準拠したコネクターとインターフェイス回路とを備え、ＵＳＢメモリーデバイス、スマートフォン、コンピューター等を接続できる。ＵＳＢコネクター１８８のサイズや形状、適合するＵＳＢ規格のバージョンは適宜に選択、変更可能である。
【００６６】
また、ＨＭＤ１００は、バイブレーター１９を備える。バイブレーター１９は、モーター（図示略）、偏心した回転子（図示略）等を備え、メインプロセッサー１４０の制御に従って振動を発生する。ＨＭＤ１００は、例えば、操作部１１０に対する操作を検出した場合、ＨＭＤ１００の電源がオン／オフされる場合等に、所定の振動パターンでバイブレーター１９により振動を発生する。
【００６７】
センサーハブ１９２及びＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して、画像表示部２０を接続される。センサーハブ１９２は、画像表示部２０が備える各種センサーの検出値を取得してメインプロセッサー１４０に出力する。また、ＦＰＧＡ１９４は、メインプロセッサー１４０と画像表示部２０の各部との間で送受信するデータの処理、及び、インターフェイス１９６を介した伝送を実行する。
【００６８】
画像表示部２０の右表示ユニット２２及び左表示ユニット２４は、それぞれ、制御装置１０に接続される。図２に示すように、ＨＭＤ１００では左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０内部に敷設され、右表示ユニット２２と左表示ユニット２４のそれぞれが制御装置１０に接続される。
【００６９】
右表示ユニット２２は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１、インターフェイス２１１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２１３、及び、ＥＥＰＲＯＭ２１５（記憶部）が実装される。
インターフェイス２１１は、受信部２１３、ＥＥＰＲＯＭ２１５、温度センサー２１７、カメラ６１、照度センサー６５、及びＬＥＤインジケーター６７を、制御装置１０に接続する。
【００７０】
ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５は、各種のデータをメインプロセッサー１４０が読み取り可能に記憶する。ＥＥＰＲＯＭ２１５は、例えば、画像表示部２０が備えるＯＬＥＤユニット２２１、２４１の発光特性や表示特性に関するデータ、右表示ユニット２２または左表示ユニット２４が備えるセンサーの特性に関するデータなどを記憶する。具体的には、ＯＬＥＤユニット２２１、２４１のガンマ補正に係るパラメーター、温度センサー２１７、２３９の検出値を補償するデータ等を記憶する。これらのデータは、ＨＭＤ１００の工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５に書き込まれ、出荷後はメインプロセッサー１４０がＥＥＰＲＯＭ２１５のデータを利用して処理を行える。
【００７１】
カメラ６１は、インターフェイス２１１を介して入力される信号に従って撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号を制御装置１０に出力する。
照度センサー６５は、図２に示すように、前部フレーム２７の端部ＥＲに設けられ、画像表示部２０を装着する使用者Ｕの前方からの外光を受光するよう配置される。照度センサー６５は、受光量（受光強度）に対応する検出値を出力する。
ＬＥＤインジケーター６７は、図２に示すように、前部フレーム２７の端部ＥＲにおいてカメラ６１の近傍に配置される。ＬＥＤインジケーター６７は、カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【００７２】
温度センサー２１７は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２１７は、ＯＬＥＤパネル２２３（図４）の裏面側に実装される。温度センサー２１７は、例えばＯＬＥＤ駆動回路２２５と同一の基板に実装されてもよい。この構成により、温度センサー２１７は、主としてＯＬＥＤパネル２２３の温度を検出する。
【００７３】
受信部２１３は、インターフェイス２１１を介してメインプロセッサー１４０が送信するデータを受信する。受信部２１３は、ＯＬＥＤユニット２２１で表示する画像の画像データを受信した場合に、受信した画像データを、ＯＬＥＤ駆動回路２２５（図３）に出力する。
【００７４】
左表示ユニット２４は、表示ユニット基板２１０を有する。表示ユニット基板２１０には、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１、インターフェイス２３１を介して制御装置１０から入力されるデータを受信する受信部（Ｒｘ）２３３が実装される。また、表示ユニット基板２１０には、６軸センサー２３５、及び、磁気センサー２３７が実装される。
インターフェイス２３１は、受信部２３３、６軸センサー２３５、磁気センサー２３７、及び温度センサー２３９を、制御装置１０に接続する。
【００７５】
６軸センサー２３５は、３軸加速度センサー、及び、３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５は、上記のセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。
磁気センサー２３７は、例えば、３軸の地磁気センサーである。
【００７６】
温度センサー２３９は、温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。温度センサー２３９は、ＯＬＥＤパネル２４３（図４）の裏面側に実装される。温度センサー２３９は、例えばＯＬＥＤ駆動回路２４５と同一の基板に実装されてもよい。この構成により、温度センサー２３９は、主としてＯＬＥＤパネル２４３の温度を検出する。
また、温度センサー２３９が、ＯＬＥＤパネル２４３或いはＯＬＥＤ駆動回路２４５に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、ＯＬＥＤパネル２４３が、Ｓｉ−ＯＬＥＤとして、ＯＬＥＤ駆動回路２４５等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２３９を実装してもよい。
【００７７】
右表示ユニット２２が備えるカメラ６１、照度センサー６５、温度センサー２１７、及び、左表示ユニット２４が備える６軸センサー２３５、磁気センサー２３７、温度センサー２３９は、センサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０の制御に従って各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。また、センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２及び左表示ユニット２４が備える各センサーの検出値を、メインプロセッサー１４０に出力する。センサーハブ１９２は、各センサーの検出値を、メインプロセッサー１４０に対する出力のタイミングに合わせて一時的に保持する機能を備えてもよい。また、センサーハブ１９２は、各センサーの出力値の信号形式、或いはデータ形式の相違に対応し、統一されたデータ形式のデータに変換して、メインプロセッサー１４０に出力する機能を備えてもよい。
また、センサーハブ１９２は、メインプロセッサー１４０の制御に従ってＬＥＤインジケーター６７への通電を開始及び停止させ、カメラ６１が撮像を開始及び終了するタイミングに合わせて、ＬＥＤインジケーター６７を点灯または点滅させる。
【００７８】
制御装置１０は、電源部１３０を備え、電源部１３０から供給される電力により動作する。電源部１３０は充電可能なバッテリー１３２、及び、バッテリー１３２の残容量の検出およびバッテリー１３２への充電の制御を行う電源制御回路１３４を備える。電源制御回路１３４はメインプロセッサー１４０に接続され、バッテリー１３２の残容量の検出値、或いは電圧の検出値をメインプロセッサー１４０に出力する。また、電源部１３０が供給する電力に基づき、制御装置１０から画像表示部２０に電力を供給してもよい。また、電源部１３０から制御装置１０の各部及び画像表示部２０への電力の供給状態を、メインプロセッサー１４０が制御可能な構成としてもよい。
【００７９】
ＨＭＤ１００は、コンテンツの供給元となる種々の外部機器を接続するインターフェイス（図示略）を備えてもよい。例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスであってもよく、無線通信インターフェイスで構成してもよい。この場合の外部機器は、ＨＭＤ１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。この場合、ＨＭＤ１００は、これらの外部機器から入力されるコンテンツデータに基づく画像や音声を出力できる。
【００８０】
図６は、ＨＭＤ１００の制御系の機能ブロック図である。ＨＭＤ１００の制御系は、記憶部１２２、制御部１５０、及びセンサーハブ１９２で構成される。また、図６には、制御系の制御対象である検出部１７０を図示する。
【００８１】
記憶部１２２は、不揮発性記憶部１２１（図５）により構成される論理的な記憶部であり、ＥＥＰＲＯＭ２１５を含んでもよい。
制御部１５０、及び、制御部１５０が有する各種の機能部は、メインプロセッサー１４０がプログラムを実行することによって、ソフトウェアとハードウェアとの協働により形成される。制御部１５０、及び制御部１５０を構成する各機能部は、例えば、メインプロセッサー１４０、メモリー１１８、及び不揮発性記憶部１２１により構成される。
【００８２】
センサーハブ１９２は、ソフトウェアを実行するプロセッサー、或いは、ハードウェアプログラムを実行する素子で構成される。図６には、センサーハブ１９２の機能を、機能ブロックである状態判定部１９５（判定部）、及び、検出値取得部１９７として示す。
【００８３】
センサーハブ１９２に接続される各種のセンサーを、検出部１７０として示す。センサーハブ１９２の検出値取得部１９７は、検出部１７０を構成する各種のセンサーの検出値を取得する。
【００８４】
検出部１７０は、ＨＭＤ１００が備えるセンサーであって、使用者Ｕの身体に直接、或いは間接的に装着されるセンサーを含む。特に、検出部１７０は、使用者Ｕの身体の動きを検出するセンサーを含む。例えば、検出部１７０は、６軸センサー２３５を含む。６軸センサー２３５は、画像表示部２０の左保持部２３を介在させて、使用者Ｕの身体（頭部）に装着されるセンサーである。
【００８５】
検出部１７０は、動きセンサーに限らず、他の種類のセンサーを含んでよい。例えば、検出部１７０は、磁気センサー２３７を含んでもよい。また、検出部１７０は、カメラ６１を含んでもよく、この場合、検出値取得部１９７が取得する検出値は、カメラ６１の撮像画像データ或いはカメラ６１の撮像素子が出力する信号である。また、検出部１７０は照度センサー６５を含んでもよい。さらに、検出部１７０は、温度センサー２３９を含んでもよい。また、検出部１７０は、制御装置１０が備えるセンサーを含んでもよく、具体的には、６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５、タッチセンサー１３を含んでもよい。また、検出部１７０は、音声コーデック１８０を含んでもよい。この場合、検出値取得部１９７が取得する検出値は、音声コーデック１８０が生成したデジタル音声データである。
【００８６】
検出値取得部１９７は、予め設定されたサンプリング周期で、検出部１７０を構成する各種センサーの検出値を取得する。
状態判定部１９５は、検出値取得部１９７が取得した検出値に基づき、使用者Ｕの身体の状態を判定する。状態判定部１９５は、判定結果を制御部１５０に出力する。状態判定部１９５は、予め設定された周期で判定を繰り返し実行するので、状態判定部１９５から制御部１５０に、周期的に判定結果が出力される。状態判定部１９５の判定の周期は、検出値取得部１９７が検出部１７０の検出値を取得する周期等に合わせて設定される。状態判定部１９５は、検出値取得部１９７が、検出部１７０に含まれる全てのセンサーの検出値を用いて判定を行ってもよいし、検出部１７０に含まれる一部のセンサーの検出値を用いて判定を行ってもよい。
【００８７】
状態判定部１９５が判定する使用者Ｕの身体の状態は、例えば、使用者Ｕの運動状態、使用者Ｕの姿勢、使用者Ｕが行っている動作である。具体的には、使用者Ｕの運動状態とは、静止している、歩行している、走っている、泳いでいる、車両等の移動体に搭乗して移動している、等の状態である。また、使用者Ｕの姿勢とは、立っている、座っている、かがんでいる、しゃがんでいる、等である。また、状態判定部１９５は、使用者Ｕの身体の一部が運動している場合に、運動状態と、運動している身体の部位とを判定してもよい。例えば、状態判定部１９５は、身体の一部が動いていることを判定し、動いている部位を、頭部、腕、脚、上半身、下半身等と特定する。腕や脚について左右を判定してもよい。
【００８８】
また、状態判定部１９５は、使用者Ｕの身体の状態が、危険あるいは非常の状態であることを判定してもよい。例えば、使用者Ｕが転倒した状態、溺れている状態、腹臥位など指定された姿勢で設定された時間以上動かない状態等を判定してもよい。
【００８９】
状態判定部１９５は、検出部１７０を構成する複数のセンサーの検出値を統合的に処理して、使用者Ｕの身体の状態を判定してもよい。例えば、６軸センサー１１１の検出値と、６軸センサー２３５の検出値とを比較することにより、制御装置１０が装着された部位（例えば、腰部、胸部あるいは上腕部）と、頭部との相対位置の変化や相対運動を求めてもよい。また、状態判定部１９５は、センサーフュージョン処理を実行してもよい。センサーフュージョン処理は、複数のセンサーの検出値を用いた演算処理を行い、１つのセンサーで直接検出できない種類の値を擬似的に求める処理である。状態判定部１９５は、センサーフュージョン処理により、検出部１７０のセンサーのうち一つ、或いは少数のセンサーでは直接検出できない種類の値を求めることができる。また、センサーフュージョン処理では、上記のセンサーの一つ、または複数のセンサーで直接検出し、センサーが検出値として出力できる種類の値を、より高精度で求める目的でも利用できる。つまり、センサーの検出値の基づく演算処理により、センサーが直接検出できない制度の値を求めることもできる。例えば、６軸センサー２３５が出力する角速度の検出値に基づき、センサーフュージョン処理を行い、より高精度の角速度の検出値を求めることができる。加速度や地磁気の検出値、ＧＰＳ位置情報、及び照度センサー６５の検出値等についても同様である。
【００９０】
また、状態判定部１９５は、検出部１７０が備える複数のセンサーの検出値を統合的に処理することにより、使用者Ｕの状態を、より多面的に判定してもよい。例えば、状態判定部１９５は、６軸センサー２３５の加速度、角加速度の検出値や、ＧＰＳ１１５の検出値である位置情報を総合的に判断してもよい。この例では、状態判定部１９５は、使用者Ｕが自宅で睡眠している、ソファーに掛けて休息している、新幹線に乗って座席で睡眠している、等の判定結果を得てもよい。また、状態判定部１９５は、使用者Ｕが睡眠中であると判定した場合に、さらに、寝返りの頻度などを判定して、使用者Ｕの睡眠状態がレム睡眠か、ノンレム睡眠であるかを判定してもよい。
【００９１】
また、ＨＭＤ１００は、距離センサー（図示略）を備えてもよく、距離センサーを検出部１７０に含めてもよい。この場合、検出値取得部１９７が取得する検出値は、例えば、距離センサーが検出した距離である。距離センサーは、例えば、右光学像表示部２６と左光学像表示部２８との境目部分に配置することができる。例えば、使用者Ｕが画像表示部２０を装着した状態で、距離センサーの位置は、水平方向においては使用者Ｕの両眼のほぼ中間であり、鉛直方向においては使用者Ｕの両眼より上とすることができる。距離センサーは、予め設定された測定方向に位置する測定対象物までの距離を検出するものを利用できる。例えば、距離センサーとして、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有するものを利用できる。この場合、距離センサーは、検出値取得部１９７の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサーとして、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサーは、検出値取得部１９７の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサーは光源や受光部、或いは音源と検出部とを備え、測距処理を状態判定部１９５が行ってもよい。距離センサーの測定方向は、例えば、ＨＭＤ１００の表側方向であり、カメラ６１の撮像方向と重複する方向とすることができる。状態判定部１９５は、距離センサーの検出値と、他のセンサーの検出値とを用いて、使用者Ｕの状態を判定してもよい。
【００９２】
また、ＨＭＤ１００は、使用者Ｕの身体に装着される筋電位センサーを備え、検出値取得部１９７の制御に従って、筋電位の変化を検出することによって、使用者Ｕの筋肉の動きを検出する構成であってもよい。筋電位センサーは、例えば、使用者Ｕの眼筋の動きを検出するセンサーであってもよい。この場合、状態判定部１９５は、筋電位センサーを利用して、使用者Ｕの眼球運動を検出することができる。また、筋電位センサーは、使用者Ｕの顎の筋肉の動きを検出するセンサーであってもよい。この場合、状態判定部１９５は、筋電位センサーを利用して、使用者Ｕが口を開閉する動きを身体の動きとして検出できる。また、状態判定部１９５は、筋電位センサーの検出値と、他のセンサーの検出値とを用いて、使用者Ｕの状態を判定してもよい。
【００９３】
また、ＨＭＤ１００は、画像表示部２０の使用者Ｕ側に内側カメラを備えてもよい。この場合、検出値取得部１９７が取得する検出値は、内側カメラの撮像画像データまたは内側カメラの撮像素子が出力する信号である。内側カメラは、例えば、使用者Ｕの右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けることができる。内側カメラは、使用者Ｕの右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラとすることができる。また、例えば、１つの内側カメラを、画像表示部２０の中央位置に設けてもよい。この場合、１つの内側カメラが、右眼ＲＥ及び左眼ＬＥを撮像できる画角を有する構成であってもよい。また、例えば、右眼ＲＥまたは左眼ＬＥの一方のみを内側カメラにより撮像してもよい。
【００９４】
内側カメラは、検出値取得部１９７の制御に従って撮像を行う構成であってもよい。状態判定部１９５は、内側カメラの撮像画像データを解析する。例えば、状態判定部１９５は、内側カメラの撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、使用者Ｕの視線方向を特定してもよい。また、状態判定部１９５は、使用者Ｕの視線方向の変化を求めてもよく、右眼ＲＥ及び左眼ＬＥのそれぞれの眼球運動を求めてもよい。また、状態判定部１９５は、内側カメラの撮像画像データから使用者Ｕの右眼ＲＥ及び左眼ＬＥの瞼（眼瞼）の画像を抽出して、眼瞼運動を検出してもよく、眼瞼の状態を検出してもよい。また、状態判定部１９５は、内側カメラの撮像画像から右眼ＲＥ及び左眼ＬＥの視線方向を検出してもよく、検出した視線方向に基づき右眼ＲＥ及び左眼ＬＥの輻輳角を求めてもよい。状態判定部１９５は、右眼ＲＥ、左眼ＬＥの視線方向、瞳孔の動き、及び眼瞼運動等と、他のセンサーの検出値とを用いて、使用者Ｕの状態を判定してもよい。
【００９５】
制御部１５０は、記憶部１２２が記憶するデータを利用して各種処理を実行し、ＨＭＤ１００を制御する。
記憶部１２２は、制御部１５０が実行するプログラムを記憶する。すなわち、記憶部１２２は、制御プログラム１４１、及び、アプリケーションプログラム１２５を記憶する。
制御プログラム１４１は、制御部１５０がＨＭＤ１００の各部を制御するための基本制御プログラムであり、具体的にはメインプロセッサー１４０によって実行される。また、制御プログラム１４１は、ＨＭＤ１００の各種機能を実現するためのオペレーティングシステムを構成する。メインプロセッサー１４０が、制御プログラム１４１を読み出して実行することにより、制御部１５０が構成される。制御部１５０は、ＨＭＤ１００のオペレーティングシステム１４３を含む。オペレーティングシステム１４３は、制御部１５０の各種機能に相当する機能モジュールを備える。機能モジュールは、画像処理部１４５、表示制御部１４７、撮像制御部１４９、情報取得部１５２、アプリ実行制御部１５４、表示設定部１５６、及び、処理実行部１５８を含む。
【００９６】
アプリケーションプログラム１２５は、オペレーティングシステム１４３上で実行されるプログラムである。すなわち、メインプロセッサー１４０がアプリケーションプログラム１２５を読み出して実行すると、オペレーティングシステム１４３によって提供されるＡＰＩ（Application Programming Interface）等が呼び出される。メインプロセッサー１４０は、アプリケーションプログラム１２５を実行することにより、オペレーティングシステム１４３の機能を利用して、様々な動作、或いは処理を行う。このように、アプリケーションプログラム１２５は、例えば、ＨＭＤ１００がオペレーティングシステム１４３によって実行する機能を拡張し、或いは、ＨＭＤ１００の機能を追加するプログラムということができる。メインプロセッサー１４０が１つのアプリケーションプログラム１２５を実行することで、複数の機能を実行可能であってもよい。或いは、１つのアプリケーションプログラム１２５が、ＨＭＤ１００の１つの機能を実現するプログラムであってもよい。
【００９７】
メインプロセッサー１４０が実行するアプリケーションプログラム１２５の実体データは、記憶部１２２が記憶する。また、アプリケーションプログラム１２５の実体データを、ＨＭＤ１００がサーバー３からダウンロードして、メインプロセッサー１４０により実行してもよい。この場合、記憶部１２２は、アプリケーションプログラム１２５に代えて、アプリケーションプログラム１２５をダウンロードするための情報を記憶すればよい。例えば、アプリケーションプログラム１２５をダウンロードさせるサーバー３や記憶領域を指定するＵＲＬ（Uniform Resource Locator）、ネットワークアドレス、ファイルパス等を記憶部１２２が記憶してもよい。
【００９８】
ＨＭＤ１００は、図１０に示すインストール処理によってインストールされたアプリケーションプログラム１２５を、実行できる。インストール処理では、記憶部１２２に、アプリケーションプログラム１２５が記憶され、或いは、アプリケーションプログラム１２５をダウンロードするための情報が記憶される。そして、インストール処理によってインストールされたアプリケーションプログラム１２５の名称等が、実行可能なプログラムとして、実行可能リスト１２６に記録される。
【００９９】
ＨＭＤ１００には、複数のアプリケーションプログラム１２５をインストールすることが可能である。記憶部１２２は、インストールされた複数のアプリケーションプログラム１２５を記憶することができる。
【０１００】
記憶部１２２は、制御部１５０が処理する各種のデータを記憶する。記憶部１２２は、設定データ１２３、コンテンツデータ１２４、アプリケーションプログラム１２５、実行可能リストデータ１２６、アプリ情報１２７、アプリ実行条件１２８、及び、アプリ付加情報１２９を記憶する。
【０１０１】
設定データ１２３は、ＨＭＤ１００の動作に係る各種の設定値を含む。また、制御部１５０がＨＭＤ１００を制御する際にパラメーター、行列式、演算式、ＬＵＴ（LookUp Table）等を用いる場合、これらを設定データ１２３に含めてもよい。
【０１０２】
コンテンツデータ１２４は、制御部１５０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータであり、画像データ、或いは映像データを含む。また、コンテンツデータ１２４は、音声データを含んでもよい。また、コンテンツデータ１２４は複数の画像の画像データを含んでもよく、この場合、これら複数の画像は同時に画像表示部２０に表示される画像に限定されない。
また、コンテンツデータ１２４は、コンテンツを画像表示部２０により表示する際に、制御装置１０によって使用者Ｕの操作を受け付けて、受け付けた操作に応じた処理を制御部１５０が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ１２４は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
【０１０３】
実行可能リスト１２６は、ＨＭＤ１００にインストールされ、ＨＭＤ１００によって実行可能なアプリケーションプログラム１２５が登録されるリストである。実行可能リスト１２６は、実行可能なアプリケーションプログラム１２５に加え、アプリケーションプログラム１２５の実体データが記憶部１２２に記憶されているか否かを示すデータを含んでもよい。また、アプリケーションプログラム１２５をするための情報を、実行可能リスト１２６に含めてもよい。制御部１５０は、実行可能リスト１２６を参照することにより、実行可能なアプリケーションプログラム１２５を知ることができる。
【０１０４】
アプリ情報１２７は、実行可能リスト１２６に登録されたアプリケーションプログラム１２５に対応するタグ、及び、識別子を記憶する。
図７は、アプリ情報１２７の構成例を示す模式図である。図７の例では、インストールされたアプリケーションプログラム１２５を区別する符号として、３桁の数値が用いられる。タグは、各々のアプリケーションプログラム１２５の機能或いは利用目的を示す、付加的な情報である。例えば、番号００１のアプリケーションプログラム１２５のタグは「万歩計」と設定される。従って、番号００１のアプリケーションプログラム１２５は、ＨＭＤ１００が万歩計（登録商標）の機能を実現するためのプログラムである。また、番号００１のアプリケーションプログラム１２５には、識別子として画像０１１が設定される。例えば、使用者Ｕに対し、番号００１のアプリケーションプログラム１２５を実行できることを提示する場合、ＨＭＤ１００は、表示領域Ｖに、画像０１１を表示する。識別子は、文字（テキスト）や記号、或いは画像を用いることができ、図７の例では、画像である。識別子である画像（例えば、画像０１１）の画像データの実体は、例えば、アプリ情報１２７に対応付けて記憶部１２２に記憶される。
【０１０５】
図６に示すアプリ実行条件１２８は、ＨＭＤ１００にインストールされたアプリケーションプログラム１２５の各々について、実行する条件を含む。アプリ実行条件１２８は、実行可能リスト１２６に登録されたアプリケーションプログラム１２５についての情報を含む。
【０１０６】
図８は、アプリ実行条件１２８の構成例を示す模式図である。本実施形態では、ＨＭＤ１００が、インストールされたアプリケーションプログラム１２５を、使用者Ｕの身体の状態に合わせて選択し、実行する。アプリ実行条件１２８は、使用者Ｕの身体の状態と、実行されるアプリケーションプログラム１２５とを対応付ける情報といえる。
【０１０７】
図８の例で、アプリ実行条件１２８は、状態判定部１９５が出力する判定結果と、実行するアプリケーションプログラム１２５とを対応付けて設定する。すなわち、アプリ実行条件１２８は、センサーハブ１９２の出力値と、アプリケーションプログラム１２５の番号とを対応付ける。図８の例では、アプリ実行条件１２８は、センサーハブ１９２の出力値に対応する使用者Ｕの状態を示す文字を含むが、この文字情報を含む必要はない。状態判定部１９５が使用者Ｕの状態を「歩行中」と判定した場合、センサーハブ１９２の出力値は「００１」である。この出力値に対応するプログラムとして、番号０１１のアプリケーションプログラム１２５が設定されている。
【０１０８】
アプリ実行条件１２８では、１つのセンサーハブ１９２の出力値に対応付けて、複数のアプリケーションプログラム１２５を設定することができる。また、センサーハブ１９２の複数の出力値に対応付けて、１つの（共通する）アプリケーションプログラム１２５を設定してもよい。
【０１０９】
例えば、センサーハブ１９２の出力値「００４」は、予め設定された速度範囲（例えば、時速１０ｋｍ未満）で移動する使用者Ｕが転倒したことを示す出力値である。出力値「００５」は、予め設定された速度範囲（例えば、時速１０ｋｍ以上）で移動する使用者Ｕが転倒したことを示す出力値である。また、出力値「００７」は使用者Ｕが遊泳中に異常な状態となったことを示す出力値である。このうち、出力値「００２」、「００５」のそれぞれに、番号０１５のアプリケーションプログラム１２５が対応付けられる。番号０１５のアプリケーションプログラム１２５は、図７に例示したアプリ情報１２７によれば、重度の異常を通報するためのアプリケーションプログラムであると定義されている。図８のアプリ実行条件１２８によれば、使用者Ｕが予め設定された速度範囲で転倒した場合に、公的機関に対する救助要請（救援要請、救急通報）等を行うアプリケーションプログラム１２５が動作するように設定されている。また、使用者Ｕが遊泳中に通報を要する状態となったことを状態判定部１９５が判定した場合、同じアプリケーションプログラム１２５が起動して、公的機関に対する救助要請等を行うよう設定されている。
【０１１０】
図６に示すアプリ付加情報１２９は、ＨＭＤ１００にインストールされたアプリケーションプログラム１２５を選択する場合の条件として、状態判定部１９５の判定結果以外の付加的な情報を含む。アプリ付加情報１２９は、実行可能リスト１２６に登録されたアプリケーションプログラム１２５についての情報を含む。
【０１１１】
図９は、アプリ付加情報１２９の構成例を示す模式図である。アプリ付加情報１２９は、ＨＭＤ１００がアプリケーションプログラム１２５を選択する場合に利用される情報を、アプリケーションプログラム１２５のそれぞれに対応付ける。アプリ付加情報１２９が含む情報は、実行するアプリケーションプログラム１２５を選択する処理において、センサーハブ１９２の出力値とともに利用される。
【０１１２】
図９の例で、アプリ付加情報１２９は、各々のアプリケーションプログラム１２５に対応付けて、実行回数、評価、表示領域の位置及びサイズ、及び、実行に要するコストを含む。実行回数はアプリケーションプログラム１２５を過去に実行した履歴である。評価は、使用者Ｕ、及び／又は、他のユーザーがアプリケーションプログラム１２５を評価した結果の統計である。アプリ付加情報１２９に含まれる情報は、アプリケーションプログラム１２５がＨＭＤ１００にインストールされた後、或いはインストールされる際に、生成され、必要に応じて更新される。例えば、制御部１５０が、通信部１１７によりサーバー３と通信して、アプリケーションプログラム１２５の評価のデータをダウンロードし、ダウンロードしたデータに基づきアプリ付加情報１２９を更新する。データをダウンロードするタイミングは、アプリケーションプログラム１２５の実行の都度であってもよい。表示領域の位置とサイズは、アプリケーションプログラム１２５を実行する場合に、表示領域Ｖにおいて、アプリケーションプログラム１２５に関する画像やテキストを表示する領域の位置とサイズである。表示領域の位置は、表示領域Ｖ全体に対する相対位置とすることができ、予め設定された上部、中央、下部などのいずれかを選択する情報であってもよい。また、表示領域のサイズは、表示領域Ｖを構成する画素数であってもよい。
【０１１３】
アプリ付加情報１２９が含む表示領域のサイズに基づき、表示設定部１５６がアプリケーションプログラム１２５用の表示領域のサイズを設定する。ここで設定される表示領域のサイズや位置は、使用者Ｕの動作に応じて表示可能な表示領域としてもよい。すなわち、センサーハブ１９２の判定結果に基づき表示領域のサイズや位置を決定してもよい。例えば、使用者Ｕが静止時における表示領域のサイズを表示領域Ｖの100％としてもよい。また、使用者Ｕが歩行中は、表示領域Ｖにおいて使用者Ｕの有効視野（中心から±15度）を除く他の領域を表示領域としてもよい。また、使用者Ｕが走っている状態で、表示領域を、表示領域Ｖにおいて安定注視野（中心から±30度）を除く残りの領域としてもよい。
【０１１４】
コストは、例えば、アプリケーションプログラム１２５の実行あるいはダウンロードをするために必要な料金である。アプリケーションプログラム１２５の実体のプログラムを、アプリケーションプログラム１２５の実行時にサーバー３からダウンロードする構成では、ダウンロードに伴い課金されることがある。アプリ付加情報１２９が含むコストは、アプリケーションプログラム１２５のダウンロードに伴い課金される料金を示している。
【０１１５】
制御部１５０は、オペレーティングシステム（ＯＳ）１４３、画像処理部１４５、表示制御部１４７、撮像制御部１４９、情報取得部１５２、アプリ実行制御部１５４、表示設定部１５６、及び、処理実行部１５８を有する。
【０１１６】
画像処理部１４５は、画像表示部２０により表示する画像または映像の画像データに基づいて、右表示ユニット２２及び左表示ユニット２４に送信する信号を生成する。画像処理部１４５が生成する信号は、垂直同期信号、水平同期信号、クロック信号、アナログ画像信号等であってもよい。
また、画像処理部１４５は、必要に応じて、画像データの解像度を右表示ユニット２２及び左表示ユニット２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１４５は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。画像処理部１４５は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル４０を介して画像表示部２０に送信する。
【０１１７】
画像処理部１４５は、メインプロセッサー１４０がプログラムを実行して実現される構成のほか、メインプロセッサー１４０とは別のハードウェア（例えば、ＤＳＰ（Digital Signal Processor））で構成してもよい。
【０１１８】
表示制御部１４７は、右表示ユニット２２及び左表示ユニット２４を制御する制御信号を生成し、この制御信号により、右表示ユニット２２及び左表示ユニット２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、表示制御部１４７は、ＯＬＥＤ駆動回路２２５、２４５を制御して、ＯＬＥＤパネル２２３、２４３による画像の表示を実行させる。表示制御部１４７は、画像処理部１４５が出力する信号に基づきＯＬＥＤ駆動回路２２５、２４５がＯＬＥＤパネル２２３、２４３に描画するタイミングの制御、ＯＬＥＤパネル２２３、２４３の輝度の制御等を行う。
【０１１９】
表示制御部１４７は、アプリ実行制御部１５４の制御に従って、アプリケーションプログラム１２５が実行される場合に、アプリケーションプログラム１２５に係る文字や画像を、表示設定部１５６が設定する位置及びサイズに従って表示する。
【０１２０】
撮像制御部１４９は、カメラ６１を制御して撮像を実行させ、撮像画像データを生成し、記憶部１２２に一時的に記憶する。また、カメラ６１が撮像画像データを生成する回路を含むカメラユニットとして構成される場合、撮像制御部１４９は撮像画像データをカメラ６１から取得して、記憶部１２２に一時的に記憶する。本実施形態では、カメラ６１を検出部１７０に含める場合、カメラ６１はセンサーハブ１９２の制御に従って撮像を実行し、撮像素子の出力信号または撮像画像データをセンサーハブ１９２が取得する。撮像制御部１４９は、センサーハブ１９２を介して撮像を実行させ、センサーハブ１９２を経由して撮像画像データを取得してもよい。
【０１２１】
情報取得部１５２は、アプリ実行制御部１５４がアプリケーションプログラム１２５を選択する処理において必要なデータを取得する。情報取得部１５２は、センサーハブ１９２の出力値を取得する。また、情報取得部１５２は、記憶部１２２が記憶する実行可能リスト１２６、アプリ情報１２７、アプリ実行条件１２８、及びアプリ付加情報１２９のうち、必要な情報を取得する。
【０１２２】
アプリ実行制御部１５４（実行制御部）は、情報取得部１５２が取得する情報に基づいて、実行するアプリケーションプログラム１２５を選択する。また、アプリ実行制御部１５４は、選択したアプリケーションプログラム１２５を、処理実行部１５８（実行部）により実行させる。
【０１２３】
表示設定部１５６は、処理実行部１５８が実行するアプリケーションプログラム１２５に関する表示を行う表示領域の位置、及びサイズを設定する。表示設定部１５６は、アプリ付加情報１２９に含まれる情報に基づいて、表示領域の位置およびサイズを設定する。また、表示設定部１５６は、後述するように、アプリ実行制御部１５４が使用者Ｕによる確認の入力を要求する場合、一時的に、アプリケーションプログラム１２５の表示領域を縮小するように、表示領域を設定する。
【０１２４】
処理実行部１５８は、アプリ実行制御部１５４が選択し、実行を指示したアプリケーションプログラム１２５を実行する。アプリ実行条件１２８は、実行するアプリケーションプログラム１２５の実体のプログラムが、記憶部１２２に記憶されていない場合、通信部１１７によりサーバー３からプログラムをダウンロードして実行する。
【０１２５】
図１０は、ＨＭＤ１００の動作を示すフローチャートである。図１０には、特に、ＨＭＤ１００にアプリケーションプログラム１２５をインストールする、インストール処理を示す。図１０のインストール処理は、アプリケーションプログラム１２５の実体プログラムを記憶部１２２に記憶する例である。
【０１２６】
制御部１５０は、通信部１１７を制御してサーバー３に接続する（ステップＳ１１）。制御部１５０は、操作部１１０が検出する操作等により、インストールするアプリケーションプログラム１２５が指定され、インストールが指示されると（ステップＳ１２）、指定されたアプリケーションプログラム１２５を過去にインストールした履歴の有無を判定する（ステップＳ１３）。制御部１５０は、例えば、記憶部１２２が記憶する実行可能リスト１２６を参照して、ステップＳ１３の判定を行う。この場合、実行可能リスト１２６に、ＨＭＤ１００からアンインストールされて使用不能になったアプリケーションプログラム１２５について、過去にインストールされた履歴を示すデータを含めることが好ましい。
【０１２７】
制御部１５０は、ステップＳ１２で指定されたアプリケーションプログラム１２５を過去にインストールした履歴がない場合（ステップＳ１３；Ｎｏ）、当該アプリケーションプログラム１２５に関する情報を生成する（ステップＳ１４）。ステップＳ１４で、制御部１５０は、ステップＳ１２で指定されたアプリケーションプログラム１２５に関する情報を生成して、実行可能リスト１２６、アプリ情報１２７、アプリ実行条件１２８、及びアプリ付加情報１２９に追記する。
【０１２８】
制御部１５０は、アプリケーションプログラム１２５をインストールする処理を実行し、この処理によって、アプリケーションプログラム１２５の実体プログラムを記憶部１２２に記憶させる（ステップＳ１５）。
制御部１５０は、ステップＳ１４で作成した情報を、例えば、操作部１１０が検出する操作によって入力される情報に基づき更新する（ステップＳ１６）。
【０１２９】
ＨＭＤ１００がインストールするアプリケーションプログラム１２５と、状態判定部１９５の出力値との対応付けを、使用者Ｕが決めることがある。例えば、ジョギング中に使用者Ｕに速度や位置情報を提示する機能に対応するアプリケーションプログラム１２５を、使用者Ｕが走行中に使用するか、使用者Ｕが歩行中に使用するかを、使用者Ｕが選択したいというニーズがある。また、例えば、心拍数を測定する機能に対応するアプリケーションプログラム１２５を、使用者Ｕが走行中に使用するか、使用者Ｕの安静時に使用するかを、使用者Ｕが選択したいというニーズもある。このようなアプリケーションプログラム１２５について、制御部１５０は、ステップＳ１４では、アプリ実行条件１２８に具体的な情報を設定しない。そして、ステップＳ１６で、使用者Ｕが、アプリケーションプログラム１２５とセンサーハブ１９２の出力値或いは使用者Ｕの状態とを対応付ける操作を行い、この操作で入力される情報に基づき、制御部１５０がアプリ実行条件１２８を更新する。
【０１３０】
また、インストールされるアプリケーションプログラム１２５と、使用者Ｕの状態とが明らかな場合、制御部１５０は、ステップＳ１４において、アプリ実行条件１２８に情報を登録してもよい。
【０１３１】
また、制御部１５０は、ステップＳ１２で指定されたアプリケーションプログラム１２５を過去にインストールした履歴がある場合（ステップＳ１３；Ｙｅｓ）、過去に作成された情報への対応付けを行う（ステップＳ１７）。ステップＳ１７で、制御部１５０は、アプリ情報１２７、アプリ実行条件１２８、アプリ付加情報１２９に含まれる情報のうち、インストールするアプリケーションプログラム１２５に対応する情報を探索する。そして、ステップＳ１２で指定されたアプリケーションプログラム１２５と、探索により特定したアプリケーションプログラム１２５の番号とを対応付ける処理を行う。これにより、過去に作成された情報を活用できる。その後、制御部１５０は、ステップＳ１５に移行する。
【０１３２】
図１１及び図１２は、ＨＭＤ１００の動作を示すフローチャートである。図１１は、特に、アプリケーションプログラム１２５を選択して実行する動作を示す。また、図１２は、図１１のステップＳ２４の動作を詳細に示す。
【０１３３】
ＨＭＤ１００において、例えばＨＭＤ１００が起動した後に各部が初期化され、センサーハブ１９２が動作を開始する（ステップＳ２１）。
センサーハブ１９２は検出部１７０の検出値を取得して、使用者Ｕの状態を判定し、判定結果を制御部１５０に出力する。制御部１５０は、センサーハブ１９２の出力値を取得する（ステップＳ２２）。
【０１３４】
制御部１５０は、既にアプリケーションプログラム１２５を実行している間か否かを判定する（ステップＳ２３）。ＨＭＤ１００は、オペレーティングシステム１４３の仕様により、いわゆるマルチタスクを実現できる。この場合、ＨＭＤ１００は複数のアプリケーションプログラム１２５を、オペレーティングシステム１４３上で並列的に実行することができる。また、アプリケーションプログラム１２５のうち、使用者Ｕの状態とは関係なく、実行されるアプリケーションプログラム１２５もある。ステップＳ２３で、制御部１５０は、センサーハブ１９２が判定した使用者Ｕの状態に基づき選択されたアプリケーションプログラム１２５が、既に実行されている状態であるか否かを判定する（ステップＳ２３）。
【０１３５】
アプリケーションプログラム１２５の実行中でないと判定した場合（ステップＳ２３；Ｎｏ）、制御部１５０は、アプリケーションプログラム選択処理を行う（ステップＳ２４）。ステップＳ２４では、使用者Ｕの判定結果に適合するアプリケーションプログラム１２５を選択する。
【０１３６】
制御部１５０は、ステップＳ２４で選択したアプリケーションプログラム１２５の実行を開始する（ステップＳ２５）。制御部１５０は、アプリケーションプログラム１２５を実行して、アプリケーションプログラム１２５の機能に関する画像やテキストを、画像表示部２０により表示させる。例えば、図７に例示した番号０１１のアプリケーションプログラム１２５は、万歩計の機能に対応する。このアプリケーションプログラム１２５を実行する場合、制御部１５０は、万歩計のカウント値を示す画像を画像表示部２０に表示させる。また、例えば、制御部１５０は、サイクリング記録を行うアプリケーションプログラム１２５を実行する場合、使用者Ｕの現在位置のＧＰＳ座標、走行速度、走行方向、過去に記録された内容等を配置した画面を、画像表示部２０により表示させる。また、例えば、制御部１５０は、翻訳のアプリケーションプログラム１２５を実行する場合、翻訳機能に係る画像を画像表示部２０により表示させる。具体的には、制御部１５０は、マイク６３で集音した音声を音声認識したテキスト、音声認識したテキストから判定した言語、音声認識したテキストを、設定された言語に翻訳した翻訳処理の結果等のテキストや画像を配置した画面を、画像表示部２０により表示させる。
【０１３７】
その後、制御部１５０は、動作を終了するか否かを判定する（ステップＳ２６）。操作部１１０が検出する操作等によりアプリケーションプログラム１２５の実行停止やＨＭＤ１００の動作停止が指示された場合、制御部１５０は動作終了と判定し（ステップＳ２６；Ｙｅｓ）、本処理を終了する。また、動作を継続すると判定した場合（ステップＳ２６；Ｎｏ）、制御部１５０はステップＳ２２に戻る。
【０１３８】
また、制御部１５０は、既に使用者Ｕの状態に基づき選択したアプリケーションプログラム１２５を実行中であると判定した場合（ステップＳ２６；Ｙｅｓ）、センサーハブ１９２の出力値に変化があったか否かを判定する（ステップＳ２７）。ステップＳ２７で、制御部１５０は、使用者Ｕの状態に基づきアプリケーションプログラム１２５を選択したときのセンサーハブ１９２の出力値と、ステップＳ２２で取得した出力値とが相違するか否かを判定する。ステップＳ２７で、制御部１５０は、アプリケーションプログラム１２５を選択したときのセンサーハブ１９２の出力値とステップＳ２２で取得した出力値とが完全に一致しなくても、互いに類似する使用者Ｕの状態を示していれば、変化なしと判定する。
【０１３９】
出力値の変化がないと判定した場合（ステップＳ２７；Ｎｏ）、制御部１５０はステップＳ２２に戻る。
また、出力値の変化があったと判定した場合（ステップＳ２７；Ｙｅｓ）、制御部１５０は、センサーハブ１９２の出力値の監視を開始する（ステップＳ２８）。
制御部１５０は、センサーハブ１９２の出力値が、ステップＳ２７で変化したと判定した後の出力値を、所定時間以上継続しているか否かを判定する（ステップＳ２９）。ステップＳ２９では、同一の出力値が継続していなくても、類似する使用者Ｕの状態を示す出力値であれば、継続していると判定する。変化後の出力値が、設定された時間以上継続した場合（ステップＳ２９；Ｙｅｓ）、制御部１５０は、アプリケーションプログラム選択処理（ステップＳ２４）に移行する。これにより、使用者Ｕの状態が変化した場合に、変化後の使用者Ｕの状態に適したアプリケーションプログラム１２５を選択しなおすことができる。
【０１４０】
また、制御部１５０は、ステップＳ２７で変化したと判定した後のセンサーハブ１９２の出力値が、所定時間以上継続しなかったと判定した場合（ステップＳ２９；Ｎｏ）、ステップＳ２２に戻る。これにより、使用者Ｕの状態が一時的に変化した場合に、実行するアプリケーションプログラム１２５を変更しないので、ＨＭＤ１００の動作を安定させることができる。
【０１４１】
ステップＳ２４に示したアプリケーションプログラム選択処理を詳細に説明する。
図１２のステップＳ３１で、制御部１５０は、一覧表示設定がオンになっているか否かを判定する（ステップＳ３１）。一覧表示設定は、使用者Ｕの状態に適するアプリケーションプログラム１２５を、使用者Ｕに見えるように表示領域に一覧表示する動作を行うことの設定である。一覧表示設定がオンの場合、表示領域に一覧表示されたアプリケーションプログラム１２５のタグ、或いは識別子を見て、使用者Ｕがアプリケーションプログラム１２５を選択できる。そして、使用者Ｕが選択したアプリケーションプログラム１２５が、実行される。一覧表示設定の設定状態（オンまたはオフ）は、例えば、記憶部１２２が記憶する設定データ１２３に含まれる。
【０１４２】
一覧表示設定がオフの場合（ステップＳ３１；Ｎｏ）、制御部１５０は、ステップＳ２２で取得したセンサーハブ１９２の出力値に対応して、アプリ実行条件１２８に設定されたアプリケーションプログラム１２５を選択する（ステップＳ３２）。
ステップＳ３２で、制御部１５０は、いずれか１つのアプリケーションプログラム１２５を選択する。センサーハブ１９２の出力値に対応してアプリ実行条件１２８に設定されるアプリケーションプログラム１２５が複数ある場合、制御部１５０は、アプリ付加情報１２９に登録された付加情報を用いて、いずれか１のアプリケーションプログラム１２５を選択する。アプリ付加情報１２９に登録された複数の付加情報には、予め重み付けがされていてもよい。この場合、例えば、制御部１５０は、アプリ付加情報１２９に登録された複数の付加情報を数値化し、数値化した付加情報と重み付けの値をもとに、各アプリケーションプログラム１２５のスコアを算出する。制御部１５０は、算出したスコアに従って、１のアプリケーションプログラム１２５を選択する。
【０１４３】
制御部１５０は、実行可否入力画面を画像表示部２０により表示させる（ステップＳ３３）。実行可否入力画面は、使用者Ｕに対して、選択されたアプリケーションプログラム１２５を実行してよいか否かの確認の入力を求める文字や画像を含む画面である。ステップＳ３３では、表示設定部１５６の機能により、アプリケーションプログラム１２５に係る表示を行う表示領域のサイズが縮小され、表示位置が、視界の邪魔にならない位置に移動される。
【０１４４】
実行可否入力の表示を行った後、制御部１５０は、実行可の入力の検出を開始し（ステップＳ３４）、実行可の入力がされない間は待機する（ステップＳ３４；Ｎｏ）。実行可の入力がされた場合（ステップＳ３４；Ｙｅｓ）、制御部１５０は、図１１のステップＳ２５に移行してアプリケーションプログラム１２５を実行する。
【０１４５】
ステップＳ３３〜Ｓ３４の実行可否入力の表示および入力の待機は、省略してもよい。また、選択されたアプリケーションプログラム１２５の種類によって、ステップＳ３３〜Ｓ３４を実行するか否かを設定してもよい。例えば、異常時や緊急時に救助要請を行うアプリケーションプログラム１２５（図７の番号０１５）が選択された場合に、ステップＳ３３〜Ｓ３４を省略してもよい。また、ステップＳ３３〜Ｓ３４を省略するか、実行するかを、アプリ実行条件１２８に設定してもよい。
【０１４６】
一覧表示設定がオンの場合（ステップＳ３１；Ｙｅｓ）、制御部１５０は、ステップＳ２２で取得したセンサーハブ１９２の出力値に対応して、アプリ実行条件１２８に設定された複数のアプリケーションプログラム１２５を選択する（ステップＳ３５）。制御部１５０は、選択されたアプリケーションプログラム１２５のタグ及び／または識別子を画像表示部２０によって一覧表示させる（ステップＳ３６）。制御部１５０は、操作部１１０により使用者Ｕの操作を検出する（ステップＳ３７）。ステップＳ３７で検出する操作は、アプリケーションプログラム１２５を指定する操作であるから、この操作によって１のアプリケーションプログラム１２５が特定される。その後、制御部１５０は、ステップＳ３３に移行する。
【０１４７】
図１３は、画像表示部２０の表示例を示す図である。図１３は、ステップＳ３６（図１２）で実行するアプリケーションプログラム１２５を一覧表示する状態の例を示す。図中、符号ＶＲは、画像表示部２０を装着する使用者Ｕの視野を示す。符号Ｖはハーフミラー２６１、２８１により画像を使用者Ｕに視認させることが可能な領域であり、言い換えれば画像表示部２０が画像を表示できる表示可能領域である。
【０１４８】
図１３の例では、視野ＶＲに位置する表示領域Ｖに、識別子３０１、３０２、３０３が並べて表示される。識別子３０１は、心拍数モニターの機能を提供するアプリケーションプログラム１２５の識別子（画像）である。識別子３０２は、移動速度をメーター表示する機能を提供するアプリケーションプログラム１２５の識別子である。また、識別子３０３は、方位を表示する機能を提供するアプリケーションプログラム１２５の識別子である。このように、選択可能なアプリケーションプログラム１２５について、画像等の識別子を表示して、使用者Ｕに選択を促すことにより、使用者Ｕが、アプリケーションプログラム１２５を直感的に、速やかに選択できる。
【０１４９】
従来の頭部装着型表示装置、或いは、スマートフォン等のアプリケーションプログラムを実行して機能を実現する装置では、アプリケーションプログラムを選択するために、使用者Ｕが操作を行う必要がある。この操作は、装置にインストールされた複数のアプリケーションの中から任意のアプリケーションを目視等により選択し、実行するアプリケーションプログラムを決定するために、操作手順が多い。このような従来の装置での操作を、使用者Ｕが歩きながら、或いは他の動作をしながら行う場合、操作手順が多いことから、使用者Ｕが操作の困難を感じることがある。また、使用者Ｕが装置の操作に集中してしまい、他の動作へ意識を向けることが難しくなり、安全性に問題が生じる可能性も否定できない。この点、本実施形態のＨＭＤ１００は、アプリケーションプログラム１２５を選択する操作が少なくて済む。また、アプリ情報１２７、アプリ実行条件１２８及びアプリ付加情報１２９に登録される情報に基づき、操作なしにアプリケーションプログラム１２５を選択し、起動させることができる。これにより、使用者Ｕが、歩行や、他の動作を行いながらＨＭＤ１００によりアプリケーションプログラム１２５を実行させることが容易になり、ＨＭＤ１００の操作性の向上を図ることができる。
【０１５０】
また、制御部１５０は、センサーハブ１９２によって、処理実行部１５８がアプリケーションプログラム１２５を実行中に、外部要因の発生を検出してもよい。また、制御部１５０は、検出部１７０の検出値に基づき、センサーハブ１９２によって異常の発生を検出してもよい。この場合、外部要因の発生または異常の検出があった場合に、予め設定された割り込み処理を処理実行部１５８に実行させる構成であってもよい。この場合、機能の実行中に、外部要因の発生または異常値の検出があった場合に割り込み処理を実行できる。割り込み処理の内容は、実行中のアプリケーションプログラム１２５の種類に応じて、或いは個々のアプリケーションプログラム１２５毎に、設定してもよい。例えば、地図を表示して経路案内（ナビゲーション）を行うアプリケーションプログラム１２５など、大きな表示領域を使用するアプリケーションプログラム１２５に対し、表示領域を縮小して、異常報知の画面を新たに表示する割り込み処理を実行してもよい。また、救助要請のアプリケーションプログラム１２５の実行中には割り込み処理を禁止してもよい。また、外部要因が解消した場合に、ＨＭＤ１００は、元のアプリケーションプログラム１２５の実行状態に復帰してもよい。
【０１５１】
さらに、アプリケーションプログラム１２５の選択には、他のＨＭＤ１００の使用者Ｕの動き及び／又は状態を加味してもよい。
すなわち、使用者ＵＡがＨＭＤ１００Ａを使用中に、使用者ＵＢが使用するＨＭＤ１００Ｂが状態判定部１９５により判定した判定結果を利用して、アプリケーションプログラム１２５を選択してもよい。ＨＭＤ１００Ａが、ＨＭＤ１００Ｂの判定結果を取得する方法は、通信部１１７によりＨＭＤ１００Ａ、１００Ｂ間の通信を行う方法があるが、カメラ６１の撮像画像を利用してもよい。ＨＭＤ１００Ｂが、判定結果に対応するパターンでＬＥＤインジケーター６７を点滅させ、ＨＭＤ１００Ａの制御部１５０が、ＨＭＤ１００ＢのＬＥＤインジケーター６７の点滅をカメラ６１の撮像画像データから検出し、解析して、判定結果を算出してもよい。
【０１５２】
具体的な例を挙げる。ＨＭＤ１００Ａ、１００Ｂは、音声インターフェイス１８２により使用者ＵＡ、ＵＢの音声をそれぞれ集音し、集音した音声から、使用者ＵＡ、ＵＢが発話する音声を検出してもよい。この場合、ＨＭＤ１００Ａ、１００Ｂは、それぞれ、状態判定部１９５により、使用者ＵＡ、ＵＢが話す言語を特定してもよい。この場合の判定結果は、使用者ＵＡ、ＵＢが発話していること、及び、言語を示すデータである。ＨＭＤ１００Ａは、ＨＭＤ１００Ｂの判定結果から使用者ＵＢの言語を特定し、この言語を、ＨＭＤ１００Ａが特定した使用者ＵＡの言語に翻訳するアプリケーションプログラム１２５を選択して、実行する。これにより、異なる言語使用者ＵＡと使用者ＵＢとの間で、翻訳用のアプリケーションプログラム１２５を使用して、コミュニケーションを行うことができる。この場合、ＨＭＤ１００Ｂが、ＨＭＤ１００Ａと同様に翻訳用のアプリケーションプログラム１２５を選択して起動してもよい。
【０１５３】
また、ＨＭＤ１００Ａが、ＨＭＤ１００Ｂが使用者ＵＢの経験情報としてお勧めの観光スポットの画像情報や位置情報を有する場合に、これらの情報を共有してもらう態様も実現できる。この場合、ＨＭＤ１００Ａは、ＨＭＤ１００Ｂから、画像情報や位置情報を取得し、経路案内のアプリケーションプログラム１２５を選択して実行し、使用者ＵＡに対し、観光スポットへの経路案内を行うことができる。
また、ＨＭＤ１００ＡとＨＭＤ１００Ｂとが、対戦型ゲームを実行する場合に、ＨＭＤ１００Ａが、ＨＭＤ１００Ｂが有する使用者ＵＢのレベル、ハンディー等の情報を取得して共有化する態様も想定できる。この場合、ＨＭＤ１００Ｂにより、使用者ＵＢがゲームを行っていると判定した場合に、この判定結果をＨＭＤ１００Ａが取得し、ＨＭＤ１００Ａにおいて同じゲームのアプリケーションプログラム１２５を実行する。そして、ＨＭＤ１００Ａが、ゲームのアプリケーションプログラム１２５の実行条件として、ＨＭＤ１００Ｂにおける使用者ＵＢのレベル、ハンディー等の情報を設定する。これにより、使用者ＵＡ、ＵＢは、互いに、対戦型ゲームを行う相手を容易に見つけることができ、相手のレベル等を反映したゲームを実行でき、興趣性を高めることができる。
【０１５４】
また、上述したように、状態判定部１９５の判定結果が、使用者Ｕが自宅で睡眠中であるという結果である場合に、省電力機能を実行するアプリケーションプログラム１２５を起動してもよい。この場合、使用者Ｕの睡眠中に動作させる必要性が乏しい機能部、例えばＧＰＳ１１５の動作を停止させて省電力化を図ることができる。
【０１５５】
また、状態判定部１９５の判定結果が、使用者Ｕが公共施設内にいることを示す結果である場合に、公共性の観点から、カメラ６１の撮像画像データに基づく状態判定部１９５の判定機能をオンにし、かつ、操作部１１０の操作による撮像機能をオフにすることも可能である。この場合、プライバシー保護等の観点でＨＭＤ１００の機能の実行状態を制御できる。また、使用者Ｕの状態の変化に応じて、実行中のアプリケーションプログラム１２５の実行状態を、省エネルギーの観点から制御してもよい。例えば、ＨＭＤ１００は、使用者Ｕが自宅にいると判定した場合に、自宅では使用頻度の少ないアプリケーションプログラム１２５の実行を停止、及び／又は実行開始を制限する機能を、アプリケーションプログラム１２５により行ってもよい。また、使用者Ｕの状態が、救助要請を行うアプリケーションプログラム１２５など、緊急時に使用されるアプリケーションプログラム１２５を実行するような状態と判定された場合に、特定の機能をオンにしてもよい。具体的には、通信部１１７によるＷｉＦｉの通信、図示しないセルラー通信部による３Ｇ、３．９Ｇ、４Ｇ（ＬＴＥ：Long Term Evolution）ネットワークを介した通信機能をオンに切り替えて、通報を行い、通報先に使用者Ｕの生体情報を送信するアプリケーションプログラム１２５を実行する態様も考えられる。
【０１５６】
また、制御部１５０は、使用者Ｕの状態に対応する適切な表示サイズを基準として、アプリケーションプログラム１２５を選択してもよい。例えば、状態判定部１９５が、ＨＭＤ１００を装着する使用者Ｕの状態を、自宅等での静止状態と判定した場合に、アプリ実行制御部１５４が、画像表示部２０の表示領域全体に画面を表示するアプリケーションプログラム１２５を選択してもよい。具体的には、アプリ実行制御部１５４は、表示領域の全体に、アプリケーションプログラム１２５に係るテキストや画像を含む画面を表示する、いわゆるフルスクリーン表示を行うアプリケーションプログラム１２５を、選択する。あるいは、表示サイズが最大に設定されているアプリケーションプログラム１２５を選択する。これに対し、状態判定部１９５が、使用者Ｕの状態を、外出先（電車、車での移動状態）と判断した場合、アプリ実行制御部１５４は、画角を狭くして表示するアプリケーションプログラム１２５を選択する。画角を狭くするとは、例えば、使用者Ｕが画像表示部２０越しに外景を少し見ることができる程度の表示サイズで、表示領域に画面を表示することをいう。また、状態判定部１９５が、使用者Ｕの状態を、歩いている、走っている状態と判断した場合、アプリ実行制御部１５４は、使用者Ｕの視界の邪魔にならないように中心に画像、アイコン等を配置しない中心領域無表示の周辺表示モードにするアプリケーションプログラム１２５を選択する。例えば、画像表示部２０の表示領域の中央を含む所定範囲に画像やテキストを配置せず、この所定範囲に背景色も表示しない状態を中心領域無表示ということができる。
【０１５７】
特に、地図を表示する地図表示用のアプリケーションプログラム１２５、或いは地図とともに、ＨＭＤ１００の現在位置や目的地あるいは移動経路を表示するナビゲーション用のアプリケーションプログラム１２５が例としてあげられる。このようなアプリケーションプログラム１２５をアプリ実行制御部１５４が選択する場合、使用者Ｕが動いているときは、上述した中心領域無表示の態様で表示をするアプリケーションプログラム１２５を選択すればよい。この場合、複数の地図表示用のアプリケーションプログラム１２５、或いは、複数のナビゲーション用のアプリケーションプログラム１２５から、該当するアプリケーションプログラム１２５を選択してもよい。これに対し、使用者Ｕが停止して下を向いている場合は、上述したフルスクリーン表示を行う、地図表示用あるいはナビゲーション用のアプリケーションプログラム１２５を選択すればよい。
【０１５８】
さらに、画像表示部２０で表示する画像の輝度、すなわち、右表示ユニット２２、及び／又は左表示ユニット２４から使用者Ｕの眼に入射する画像光の光量を、表示サイズと合わせて、或いは独立して、アプリ実行制御部１５４がアプリケーションプログラム１２５を選択する基準としてもよい。アプリ実行制御部１５４は、状態判定部１９５が判定した使用者Ｕの状態から、適切な輝度或いは光量を算出あるいは取得し、この輝度あるいは光量に該当するアプリケーションプログラム１２５を選択する。例えば、使用者Ｕが動いている場合には外景を視認しやすいように輝度あるいは光量が小さいアプリケーションプログラム１２５を選択する。さらに、アプリケーションプログラム１２５の選択だけでなく、例えば、状態判定部１９５が判定した状態に、動きがある場合は、使用者Ｕが外景を視認できる程度に、右表示ユニット２２、左表示ユニット２４が出射する画像光の輝度（光量）を低下させる等の、微妙な調整も、シースルー型の画像表示部２０を有するＨＭＤ１００では可能である。
【０１５９】
音声についても同様に、アプリ実行制御部１５４は、状態判定部１９５が判定する使用者Ｕの状態が静止状態であるか、外出先（電車、車での移動状態）であるか、歩いている状態か、走っている状態か等により、調整を行ってもよい。この場合、アプリ実行制御部１５４は、アプリケーションプログラム１２５の実行時の音量を下げる、または、両耳から片耳出力に変更する等の処理を行ってアプリケーションプログラム１２５を実行させるまた、該当する態様で音声出力を行うアプリケーションプログラム１２５を選択してもよい。
【０１６０】
また、制御部１５０は、表示制御部１４７の機能により、アプリケーションプログラム１２５を起動させ或いは実行するアプリケーションプログラム１２５を切り替える場合の表示変化を制御してもよい。また、アプリケーションプログラム１２５の実行中に画像を変化させる、いわゆるアニメーション表示を行う場合に、アニメーション表示の態様を制御してもよい。この場合、表示制御部１４７は、状態判定部１９５が判定する使用者Ｕの状態、使用者Ｕの移動速度等に合わせて、表示の切り替え速度やアニメーションの変化速度を、変化させてもよい。変化速度を決定するパラメーターとして、例えば、慣性力、時定数等を用いてもよい。慣性力は表示の変化中に表示変化速度を変更するパラメーターであり、制御部１５０が検出する使用者Ｕの移動速度に対応して決定すればよい。また、時定数は表示の変化速度を決定するパラメーターであり、制御部１５０が検出する使用者Ｕの移動速度に対応して決定すればよい。例えば、使用者Ｕの移動速度を状態判定部１９５が検出して時定数を決定し、この時定数に応じた速度で表示を変化させる。そして、表示の変化の間に、使用者Ｕの移動速度を制御部１５０が検出して、慣性力を決定する。制御部１５０は、決定した慣性力に基づき、表示の変化速度を変更する。時定数、及び、慣性力は、表示の変化を開始する前に、予め設定されてもよい。これにより、画像表示部２０に画面や画像が出てくる速さ、退避する速さを調整し、例えば、画像が急に出てきて目がくらむ現象の防止を実現できる。また、制御部１５０は、状態判定部１９５の判定結果から、使用者Ｕが危険回避を要すると思われる状態の場合に、画像表示部２０の表示を即時消去（停止）する、または、画像表示部２０の表示領域の周辺部に画像等を退避するなどしてもよい。そして、このように表示を変化させる場合に、使用者Ｕの状態によりスピード変化させることができる。
【０１６１】
以上説明したように、本発明を適用した実施形態の表示システム１を構成するＨＭＤ１００は、画像を表示する画像表示部２０と、使用者Ｕの身体に直接或いは間接的に装着される検出部１７０とを備える。ＨＭＤ１００は、検出部１７０の検出結果に基づき、使用者Ｕの身体の状態を判定する状態判定部１９５と、画像表示部２０における表示を含む機能を実行する処理実行部１５８とを備える。ＨＭＤ１００は、処理実行部１５８が実行可能な機能のうち、状態判定部１９５の判定結果に対応する機能を選択して処理実行部１５８に実行させるアプリ実行制御部１５４を備える。この構成では、ＨＭＤ１００が、使用者Ｕの身体の状態に合わせて機能を選択して実行する。このため、使用者Ｕが機能を選択する等の操作を行うことなしに、適切な機能が実行される。例えば、使用者Ｕが手を使わずにＨＭＤ１００に機能を実行させることができるので、ＨＭＤ１００の利便性を向上させることができる。
【０１６２】
また、状態判定部１９５は、検出部１７０の検出結果に基づき使用者Ｕの身体の状態を、予め設定された複数の状態の中から特定し、アプリ実行制御部１５４は、状態判定部１９５が特定した状態に対応する機能を処理実行部１５８に実行させる。このため、設定に従って、使用者Ｕの身体の状態に適する機能をより適切に、速やかに選択できる。
【０１６３】
また、処理実行部１５８は、アプリケーションプログラム１２５を実行することにより、アプリケーションプログラム１２５に関する画像及びテキストの少なくともいずれかを含む表示を画像表示部２０に実行させる。これにより、使用者Ｕの身体の状態に合わせて選択されるアプリケーションプログラム１２５に関する画像やテキストを表示して、利便性の向上を図ることができる。
【０１６４】
また、ＨＭＤ１００は、処理実行部１５８が実行する機能に対応するアプリケーションプログラム１２５を記憶する記憶部１２２を備える。アプリ実行制御部１５４は、記憶部１２２に記憶されたアプリケーションプログラム１２５に基づき処理実行部１５８が実行可能な機能を選択して処理実行部１５８に実行させる。これにより、ＨＭＤ１００が、記憶部１２２に記憶したアプリケーションプログラム１２５を実行して機能を実現する構成において、使用者Ｕの身体の状態に適する機能を適切に選択できる。
【０１６５】
また、アプリ実行制御部１５４は、アプリケーションプログラム１２５をＨＭＤ１００にインストールする場合に、インストールされるアプリケーションプログラム１２５を、使用者Ｕの身体の状態に対応付けて記憶部１２２に記憶させる。これにより、ＨＭＤ１００にインストールされるアプリケーションプログラム１２５を、使用者Ｕの身体の状態に対応付けることができる。このため、インストールされたアプリケーションプログラム１２５を、使用者Ｕの身体の状態に応じて適切に選択できる。
【０１６６】
また、ＨＭＤ１００は、サーバー３と通信する通信部１１７を備える。アプリ実行制御部１５４は、通信部１１７によりサーバー３から取得可能なアプリケーションプログラム１２５に基づき処理実行部１５８が実行可能な機能を選択してもよい。この場合、アプリ実行制御部１５４は、選択した機能に対応するアプリケーションプログラム１２５を通信部１１７によりダウンロード（受信）する。ＨＭＤ１００は、通信部１１７により受信したプログラムに対応する機能を処理実行部１５８に実行させる構成であってもよい。この場合、サーバー３から取得するプログラムにより機能を実現する構成において、使用者Ｕの身体の状態に適する機能を適切に選択できる。
【０１６７】
また、アプリ実行制御部１５４は、処理実行部１５８が実行可能な機能のそれぞれについて、図９に例示したアプリ付加情報１２９のように、各種の情報を記憶する。例えば、これらの情報は、機能の実行回数、機能に対する評価、機能の実行時に必要な画像表示部２０における表示領域のサイズ、及び、機能の実行に伴うコストの少なくともいずれかの条件を含む。ＨＭＤ１００は、上記の条件と、各々の上記条件に対して設定された重み付けを示す優先情報を取得し、取得した条件及び優先情報に基づき、機能を選択する構成であってもよい。これにより、使用者Ｕの身体の状態と、各々の機能の実行に関する条件とを組み合わせて、より適切に機能を選択できる。
【０１６８】
また、ＨＭＤ１００は、記憶部１２２に、アプリ実行条件１２８及びアプリ付加情報１２９を記憶する構成であってもよい。この構成では、各々の機能の実行に関する条件と、条件を重み付けする情報とをＨＭＤ１００が記憶し、これらの記憶した情報に基づいて速やかに機能を選択できる。
【０１６９】
また、アプリ実行制御部１５４は、アプリ実行条件１２８及びアプリ付加情報１２９をサーバー３から取得する構成であってもよい。この場合、各々の機能の実行に関する条件と、条件を重み付けする情報とをサーバー３から取得し、これらの記憶した情報に基づいて速やかに機能を選択できる。
【０１７０】
また、アプリ実行制御部１５４は、機能を選択する際に、画像表示部２０で機能の表示に使用する表示領域のサイズを、表示設定部１５６の機能により設定する。アプリ実行制御部１５４は、設定した表示領域に機能に係る表示を実行させ、処理実行部１５８に機能を実行させる前に、設定したサイズよりも小さい表示領域に機能に係る表示をして、実行の可否の入力を待機する。これにより、機能を実行する際の表示領域のサイズを設定し、機能を実行する前に、機能に係る表示のサイズを小さくして、実行の可否の入力を待機する。このため、機能に係る表示のサイズを適切に設定でき、使用者Ｕが実行の可否を入力する際には、表示を小さくすることによって使用者Ｕの操作性を高めることができる。
【０１７１】
また、図７にアプリ情報１２７の例を示して説明したように、処理実行部１５８が実行可能な機能の各々にタグまたは識別子が付与される。アプリ実行制御部１５４は、処理実行部１５８に機能を実行させる前に、複数の機能をタグまたは識別子とともに選択可能に表示し、機能の選択及び実行の可否に関する入力を待機する。これにより、使用者Ｕの入力に応じて機能を選択できる。また、タグや識別子をもとに、使用者Ｕの身体の状態に適する機能を選択できる。
【０１７２】
また、アプリ実行制御部１５４は、状態判定部１９５が判定した使用者Ｕの状態に基づき、画像表示部２０で機能の表示に使用する表示領域Ｖ（表示領域）のサイズを設定し、設定した表示領域Ｖに機能に係る表示を実行させる。これにより、機能に関する表示のサイズを、使用者Ｕの状態に対応して適切に設定できる。
【０１７３】
また、アプリ実行制御部１５４は、処理実行部１５８が機能を実行中に外部要因の発生または検出部１７０による異常値の検出があった場合に、予め設定された割り込み処理を処理実行部１５８に実行させる構成であってもよい。この場合、機能の実行中に、外部要因の発生または異常値の検出があった場合に割り込み処理を実行できる。
【０１７４】
また、状態判定部１９５は、予め設定された時間毎に使用者Ｕの状態を判定する。アプリ実行制御部１５４は、状態判定部１９５が判定した使用者Ｕの状態が変化した場合に、状態判定部１９５が判定した使用者Ｕの状態が設定された時間（所定時間）以内に、以前に判定された状態に戻るか否かを判定する。アプリ実行制御部１５４は、状態判定部１９５が判定した状態が所定時間以内に戻らないと判定した場合に、処理実行部１５８が実行する機能を変更させる。これにより、使用者Ｕの身体の状態が変化した場合に、この変化に対応して実行する機能を変更でき、変更する必要性が小さい場合には、機能の実行を継続できる。このため、頻繁な機能の変更による不都合を回避し、使用者Ｕの身体の状態の変化に対応できる。
【０１７５】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、上記実施形態では、制御装置１０が画像表示部２０と有線接続される構成を例示したが、本発明はこれに限定されず、制御装置１０に対して画像表示部２０が無線接続される構成であってもよい。この場合の無線通信方式は通信部１１７が対応する通信方式として例示した方式を採用してもよいし、その他の通信方式であってもよい。
【０１７６】
また、制御装置１０が備える一部の機能を画像表示部２０に設けてもよく、制御装置１０を複数の装置により実現してもよい。例えば、制御装置１０に代えて、使用者Ｕの身体、着衣、或いは、使用者Ｕが身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
【０１７７】
さらに、上記実施形態では、画像表示部２０と制御装置１０とが分離され、接続ケーブル４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０とが一体に構成され、使用者Ｕの頭部に装着される構成とすることも可能である。
【０１７８】
また、上記実施形態において、使用者Ｕが表示部を透過して外景を視認する構成は、右導光板２６及び左導光板２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、カメラ６１の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、上記実施形態で説明したように実空間に重ねて画像を表示するＡＲ表示や、撮像した実空間の画像と仮想画像とを組み合わせるＭＲ（Mixed Reality）表示、或いは仮想画像を表示するＶＲ（Virtual Reality）表示といった処理を行わない表示装置にも適用できる。例えば、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０１７９】
また、例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者Ｕの左眼ＬＥに対応して画像を表示する表示部と、使用者Ｕの右眼ＲＥに対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Ｕの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１８０】
また、画像光を使用者Ｕの眼に導く光学系として、右導光板２６及び左導光板２８の一部に、ハーフミラー２６１、２８１により虚像が形成される構成を例示した。本発明はこれに限定されず、右導光板２６及び左導光板２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、本発明の光学素子は、ハーフミラー２６１、２８１を有する右導光板２６、左導光板２８に限定されず、画像光を使用者Ｕの眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１８１】
また、ブロック図に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１５０が実行するプログラムは、不揮発性記憶部１２１または制御装置１０内の他の記憶装置（図示略）に記憶されてもよい。また、外部の装置に記憶されたプログラムを通信部１１７や外部コネクター１８４を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１０がユーザーインターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、メインプロセッサー１４０と同様のプロセッサーが画像表示部２０に配置されてもよいし、制御装置１０が備えるメインプロセッサー１４０と画像表示部２０のプロセッサーとが別々に分けられた機能を実行する構成としてもよい。
【符号の説明】
【０１８２】
１…表示システム、３…サーバー（外部の装置）、１０…制御装置、２０…画像表示部（表示部）、２２…右表示ユニット、２４…左表示ユニット、３０…ヘッドセット、３２…右イヤホン、３４…左イヤホン、４０…接続ケーブル、６１…カメラ、６３…マイク、６５…照度センサー、１００…ＨＭＤ（表示装置、頭部装着型表示装置）、１１０…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ、１１７…通信部、１１８…メモリー、１２０…コントローラー基板、１２１…不揮発性記憶部、１２２…記憶部（記憶部、条件記憶部）、１２３…設定データ、１２４…コンテンツデータ、１２５…アプリケーションプログラム（プログラム）、１２６…実行可能リスト、１２７…アプリ情報、１２８…アプリ実行条件（条件）、１２９…アプリ付加情報（優先情報）、１３０…電源部、１３２…バッテリー、１３４…電源制御回路、１４０…メインプロセッサー、１４１…制御プログラム、１４３…オペレーティングシステム、１４５…画像処理部、１４７…表示制御部、１４９…撮像制御部、１５０…制御部、１５２…情報取得部、１５４…アプリ実行制御部（実行制御部）、１５６…表示設定部、１５８…処理実行部（実行部）、１７０…検出部、１８０…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９４…ＦＰＧＡ、１９５…状態判定部、１９６…インターフェイス、１９７…検出値取得部、２１１…インターフェイス、２１３…受信部、２１５…ＥＥＰＲＯＭ、２１７…温度センサー、２２１…ＯＬＥＤユニット、２３１…インターフェイス、２３３…受信部、２３５…６軸センサー、２３７…磁気センサー、２３９…温度センサー、２４１…ＯＬＥＤユニット、Ｕ、ＵＡ、ＵＢ…使用者、Ｖ…表示領域。
【図１】
2018055416.tif 000003
【図２】
2018055416.tif 000004
【図３】
2018055416.tif 000005
【図４】
2018055416.tif 000006
【図５】
2018055416.tif 000007
【図６】
2018055416.tif 000008
【図７】
2018055416.tif 000009
【図８】
2018055416.tif 000010
【図９】
2018055416.tif 000011
【図１０】
2018055416.tif 000012
【図１１】
2018055416.tif 000013
【図１２】
2018055416.tif 000014
【図１３】
2018055416.tif 000015