(57)【要約】【課題】頭部装着型表示装置において、様々なシーンに応じて、データ処理量を適切に調整できる技術を提供する。【解決手段】頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、画像表示部の動作を制御する画像表示制御部と、外景を撮像する外景撮像用カメラと、外景撮像用カメラが撮像した撮像画像データを画像処理して処理画像データを生成する撮像処理部であって、第１処理モードと、第１処理モードよりも単位時間当たりのデータ処理量の多い第２処理モードとのいずれかに設定可能な撮像処理部とを備え、撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、撮像処理部は、対象物判別部によって対象物が存在すると判別された場合に、処理モードを第１処理モードから第２処理モードに切り換える。【選択図】図１１
2018085595.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置であって、
虚像を使用者に視認させる画像表示部と、
前記画像表示部の動作を制御する画像表示制御部と、
外景を撮像する外景撮像用カメラと、
前記外景撮像用カメラが撮像した撮像画像データを画像処理して処理画像データを生成する撮像処理部であって、前記撮像画像データを処理するための第１処理モードと、前記第１処理モードよりも単位時間当たりのデータ処理量の多い第２処理モードであって、前記撮像画像データを処理するための第２処理モードとのいずれかに設定可能な撮像処理部と、を備え、
前記撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、
前記撮像処理部は、前記対象物判別部によって前記対象物が存在すると判別された場合に、処理モードを前記第１処理モードから前記第２処理モードに切り換える、頭部装着型表示装置。
【請求項２】
請求項１に記載の頭部装着型表示装置であって、さらに、
前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域において、前記対象物の候補となる物体の存在を検出するための物体検出部を備え、
前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記第１処理モードを実行する、頭部装着型表示装置。
【請求項３】
請求項２に記載の頭部装着型表示装置であって、
前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内である、頭部装着型表示装置。
【請求項４】
請求項３に記載の頭部装着型表示装置であって、
前記物体を視認できる範囲は、
水平方向において、前記使用者の視線方向に対して一方の側が６０度以下の範囲であり、他方の側が６０度以下の範囲であり、
垂直方向において、前記視線方向よりも上側が３０度以下の範囲であり、前記視線方向よりも下側が４０度以下の範囲である、頭部装着型表示装置。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記使用者の頭部の動きを検出し、経時的に検出した前記頭部の動きに基づいて前記使用者の頭部の動き量を算出する頭部動き検出部と、
前記使用者の視線方向を検出し、経時的に検出した前記視線方向に基づいて前記使用者の視線方向の変化量を算出する視線方向検出部と、を備え、
前記撮像処理部は、
処理モードが前記第１処理モードであるときに、前記動き量が第１閾値を超え、かつ、前記変化量が第２閾値を超えている場合は、前記対象物判別部の判別結果に拘わらず前記処理モードを前記第１処理モードに維持する、頭部装着型表示装置。
【請求項６】
請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
前記撮像処理部は、前記第１処理モードと前記第２処理モードとの少なくともいずれ一方のモードにおいて、第１のフレームを構成する前記処理画像データ内の前記対象物が位置する画素領域を含む一定画素領域を設定し、前記第１のフレームの次に撮像された第２のフレームを構成する前記撮像画像データに対して前記一定画素領域に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行う、頭部装着型表示装置。
【請求項７】
請求項１から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、
前記撮像処理部は、さらに、
前記第２処理モードにおいて、経時的に撮像された複数フレームの前記撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、
前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させる、頭部装着型表示装置。
【請求項８】
請求項７に記載の頭部装着型表示装置であって、
前記対象物は、使用者の手である、頭部装着型表示装置。
【請求項９】
請求項１から請求項８までのいずれか一項に記載の頭部装着型表示装置であって、
前記第１処理モードは、前記外景撮像用カメラによって第１フレームレートで前記外景を撮像させる第１撮像モードを含み、
前記第２処理モードは、前記外景撮像用カメラによって前記第１フレームレートよりも高い第２フレームレートで前記外景を撮像させる第２撮像モードを含む、頭部装着型表示装置。
【請求項１０】
請求項１から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
前記第１処理モードは、前記外景撮像用カメラによって第１解像度で前記外景を撮像させる第１解像度モードを含み、
前記第２処理モードは、前記外景撮像用カメラによって前記第１解像度よりも高い第２解像度で前記外景を撮像させる第２解像度モードを含む、頭部装着型表示装置。
【請求項１１】
請求項１から請求項１０までのいずれか一項に記載の頭部装着型表示装置であって、
前記第１処理モードは、前記外景撮像用カメラが撮像した前記撮像画像データを構成する複数のフレームの一部の前記フレームを間引いて、間引いた後の前記撮像画像データを画像処理するモードを含み
前記第２処理モードは、前記第１処理モードよりも多い前記フレームから構成される前記撮像画像データを画像処理するモードを含む、頭部装着型表示装置。
【請求項１２】
頭部装着型表示装置であって、
虚像を使用者に視認させる画像表示部と、
前記画像表示部の動作を制御する画像表示制御部と、
外景を撮像して撮像画像データを生成する外景撮像用カメラと、
前記外景撮像用カメラの動作を制御する撮像処理部と、
前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出するための物体検出部と、を備え、
前記撮像処理部は、
前記物体検出部によって前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させる、頭部装着型表示装置。
【請求項１３】
請求項１２に記載の頭部装着型表示装置であって、
前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内である、頭部装着型表示装置。
【請求項１４】
請求項１３に記載の頭部装着型表示装置であって、
前記物体を視認できる範囲は、
水平方向において、前記使用者の視線方向に対して一方の側が６０度以下の範囲であり、他方の側が６０度以下の範囲であり、
垂直方向において、前記視線方向よりも上側が３０度以下の範囲であり、前記視線方向よりも下側が４０度以下の範囲である、頭部装着型表示装置。
【請求項１５】
請求項１２から請求項１４までのいずれか一項に記載の頭部装着型表示装置であって、
前記撮像処理部は、前記外景の撮像を実行している際に、経時的に撮像された複数フレームの撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、
前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させる、頭部装着型表示装置。
【請求項１６】
外景を撮像する外景撮像用カメラを備える頭部装着型表示装置の制御方法であって、
（ａ）前記外景撮像用カメラによって前記外景を撮像させ撮像画像データを取得する工程と、
（ｂ）前記撮像画像データを画像処理して処理画像データを生成する工程と、
（ｃ）前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する工程と、
（ｄ）前記工程（ｃ）において、前記対象物が存在すると判別された場合に、処理モードを第１処理モードから第２処理モードに切り換える工程と、を備え、
前記第１処理モードは、前記撮像画像データを処理するための処理モードであり、
前記第２処理モードは、前記第１処理モードよりも単位時間当たりのデータ処理量の多い処理モードであって、前記撮像画像データを処理するための処理モードである、制御方法。
【請求項１７】
外景を撮像する外景撮像用カメラを備える頭部装着型表示装置の制御方法であって、
（ａ）前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出する工程と、
（ｂ）前記工程（ａ）において前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させる工程と、を備える、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置に関する。
【背景技術】
【０００２】
使用者の頭部に装着されて、使用者の眼前に位置する画像表示部に虚像を形成する頭部装着型表示装置が知られている（例えば、特許文献１）。また、現実環境にコンピューターを用いて情報を付加提示する拡張現実感（ＡＲ、Augmented Reality）と呼ばれる技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２９６７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、頭部装着型表示装置は、外景を撮像するカメラを備える場合がある。カメラによって撮像した撮像画像データは、解析したり、画像表示部や外部の表示部に画像を表示したりするために、様々な処理が施される。様々な処理の一例としては、解像度変換処理や、明るさの調整（ガンマ補正）や、ノイズ除去処理や、２Ｄ／３Ｄ変換処理や、対象物を抽出するために対象物の背景を除去するための背景除去処理などが挙げられる。
【０００５】
しかしながら、様々なシーンにおいて、頭部装着型表示装置が撮像画像データを同じ条件下でデータ処理した場合、不必要にデータ処理量が高くなる場合がある。不必要にデータ処理量が高くなると、撮像画像データの処理時間が長くなったり、撮像画像データの処理のための消費電力が高くなったりする不具合が生じ得る。よって、様々なシーンに応じて、データ処理量を適切に調整できる技術が望まれている。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００７】
（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景を撮像する外景撮像用カメラと、前記外景撮像用カメラが撮像した撮像画像データを画像処理して処理画像データを生成する撮像処理部であって、前記撮像画像データを処理するための第１処理モードと、前記第１処理モードよりも単位時間当たりのデータ処理量の多い第２処理モードであって、前記撮像画像データを処理するための第２処理モードとのいずれかに設定可能な撮像処理部と、を備え、前記撮像処理部は、前記処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する対象物判別部を有し、前記撮像処理部は、前記対象物判別部によって前記対象物が存在すると判別された場合に、処理モードを前記第１処理モードから前記第２処理モードに切り換える。この形態によれば、対象物が存在すると判別された場合に第１処理モードから第２処理モードに切り換えることから、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。
【０００８】
（２）上記形態の頭部装着型表示装置であって、さらに、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域において、前記対象物の候補となる物体の存在を検出するための物体検出部を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記第１処理モードを実行してもよい。この形態によれば、物体検出部によって物体が存在することが検出された場合に第１処理モードが実行されることで、外景撮像用カメラによる外景の撮像を不必要に行う可能性を低減できる。これにより、撮像処理部によるデータ処理の負荷を軽減できる。
【０００９】
（３）上記形態の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内であってもよい。この形態によれば、対象物検出領域が、物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者が対象物を容易に確認できる。
【００１０】
（４）上記形態の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が６０度以下の範囲であり、他方の側が６０度以下の範囲であり、垂直方向において、前記視線方向よりも上側が３０度以下の範囲であり、前記視線方向よりも下側が４０度以下の範囲であってもよい。この形態によれば、使用者が対象物をより容易に確認できる。
【００１１】
（５）上記形態の頭部装着型表示装置であって、さらに、前記使用者の頭部の動きを検出し、経時的に検出した前記頭部の動きに基づいて前記使用者の頭部の動き量を算出する頭部動き検出部と、前記使用者の視線方向を検出し、経時的に検出した前記視線方向に基づいて前記使用者の視線方向の変化量を算出する視線方向検出部と、を備え、前記撮像処理部は、処理モードが前記第１処理モードであるときに、前記動き量が第１閾値を超え、かつ、前記変化量が第２閾値を超えている場合は、前記対象物判別部の判別結果に拘わらず前記処理モードを前記第１処理モードに維持してもよい。この形態によれば、動き量が第１閾値を超え、かつ、変化量が第２閾値を超えている場合に、第１処理モードを維持できる。
【００１２】
（６）上記形態の頭部装着型表示装置であって、前記撮像処理部は、前記第１処理モードと前記第２処理モードとの少なくともいずれ一方のモードにおいて、第１のフレームを構成する前記処理画像データ内の前記対象物が位置する画素領域を含む一定画素領域を設定し、前記第１のフレームの次に撮像された第２のフレームを構成する前記撮像画像データに対して前記一定画素領域に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行ってもよい。この形態によれば、対象物を含まない領域のデータに対しては画像処理を行う必要がないので、撮像処理部によるデータ処理の負荷をさらに軽減できる。
【００１３】
（７）上記形態の頭部装着型表示装置であって、前記撮像処理部は、さらに、前記第２処理モードにおいて、経時的に撮像された複数フレームの前記撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させてもよい。この形態によれば、対象物の動きを検出する際には、単位時間当たりのデータ処理量の多い第２処理モードを実行しているので、対象物の動きを精度良く検出できると共に、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。
【００１４】
（８）上記形態の頭部装着型表示装置であって、前記対象物は、使用者の手であってもよい。この形態によれば、使用者の手の動きに基づいて虚像の表示内容を変化できる。
【００１５】
（９）上記形態の頭部装着型表示装置であって、前記第１処理モードは、前記外景撮像用カメラによって第１フレームレートで前記外景を撮像させる第１撮像モードを含み、前記第２処理モードは、前記外景撮像用カメラによって前記第１フレームレートよりも高い第２フレームレートで前記外景を撮像させる第２撮像モードを含んでもよい。この形態によれば、外景撮像用カメラのフレームレートを変更することで、第１処理モードと第２処理モードとのいずれかの処理モードを設定できる。
【００１６】
（１０）上記形態の頭部装着型表示装置であって、前記第１処理モードは、前記外景撮像用カメラによって第１解像度で前記外景を撮像させる第１解像度モードを含み、前記第２処理モードは、前記外景撮像用カメラによって前記第１解像度よりも高い第２解像度で前記外景を撮像させる第２解像度モードを含んでもよい。この形態によれば、外景撮像用カメラの解像度を変更することで、第１処理モードと第２処理モードとのいずれかの処理モードを設定できる。
【００１７】
（１１）上記形態の頭部装着型表示装置であって、前記第１処理モードは、前記外景撮像用カメラが撮像した前記撮像画像データを構成する複数のフレームの一部の前記フレームを間引いて、間引いた後の前記撮像画像データを画像処理するモードを含み前記第２処理モードは、前記第１処理モードよりも多い前記フレームから構成される前記撮像画像データを画像処理するモードを含んでもよい。この形態によれば、画像処理する撮像画像データのフレーム数を変更することで、第１処理モードと第２処理モードとのいずれかの処理モードを設定できる。
【００１８】
（１２）本発明の他の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は、虚像を使用者に視認させる画像表示部と、前記画像表示部の動作を制御する画像表示制御部と、外景を撮像して撮像画像データを生成する外景撮像用カメラと、前記外景撮像用カメラの動作を制御する撮像処理部と、前記外景撮像用カメラの撮像領域のうちで一定の対象物検出領域に、物体の存在を検出するための物体検出部と、を備え、前記撮像処理部は、前記物体検出部によって前記物体が存在することが検出された場合に、前記外景撮像用カメラによって前記外景の撮像を開始させてもよい。この形態によれば、物体が存在することが検出された場合に外景撮像用カメラによって外景の撮像を開始させることで、対象物検出領域に物体が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。
【００１９】
（１３）上記形態の頭部装着型表示装置であって、前記一定の対象物検出領域は、前記使用者が前記物体を視認できる範囲内であり、かつ、奥行き方向において前記使用者が水平に手を延ばしたときに前記使用者の手が届く範囲内であってもよい。この形態によれば、対象物検出領域が、物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者が対象物を容易に確認できる。
【００２０】
（１４）上記形態の頭部装着型表示装置であって、前記物体を視認できる範囲は、水平方向において、前記使用者の視線方向に対して一方の側が６０度以下の範囲であり、他方の側が６０度以下の範囲であり、垂直方向において、前記視線方向よりも上側が３０度以下の範囲であり、前記視線方向よりも下側が４０度以下の範囲であってもよい。この形態によれば、使用者が対象物をより容易に確認できる。
【００２１】
（１５）上記形態の頭部装着型表示装置であって、前記撮像処理部は、前記外景の撮像を実行している際に、経時的に撮像された複数フレームの撮像画像データに基づいて前記対象物の動きを検出する対象物動き検出部を備え、前記画像表示制御部は、前記対象物動き検出部によって検出された前記対象物の動きに基づいて前記虚像の表示内容を変化させてもよい。この形態によれば、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。
【００２２】
上述した本発明の各形態の有する複数の構成要素は全てが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな構成要素との差し替え、限定内容の一部削除を行うことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００２３】
なお、本発明は、種々の態様で実現することが可能であり、例えば、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置を含む画像表示システム、これらの装置、方法、システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを配布するためのサーバー装置、そのコンピュータープログラムを記憶した記憶媒体等の形態で実現することができる。
【図面の簡単な説明】
【００２４】
【図１】第１実施形態における頭部装着型表示装置の概略構成を示す説明図である。
【図２】使用者から見た画像表示部の要部構成を示す図である。
【図３】ＨＭＤの構成を機能的に示すブロック図である。
【図４】ＣＰＵの構成を機能的に示すブロック図である。
【図５】対象物検出領域を説明するための第１の図である。
【図６】対象物検出領域を説明するための第２の図である。
【図７】記憶部について説明するための図である。
【図８】コンテンツ対応テーブルを説明するための図である。
【図９】使用者に視認される視野の一例を示す第１の図である。
【図１０】使用者に視認される視野の一例を示す第２の図である。
【図１１】ＣＰＵが実行する処理フローである。
【図１２】ＣＰＵが実行する処理フローの他の例である。
【図１３】ＨＭＤを備える表示システムの概略構成を示す説明図である。
【図１４】表示システムが用いられる一つのシーンを説明するための図である。
【図１５】使用者に視認される視野の一例を示す第１の図である。
【図１６】使用者に視認される視野の一例を示す第２の図である。
【図１７】他の処理フローが実行される一つのシーンを示す図である。
【図１８】ＣＰＵが実行する他の処理フローである。
【図１９】切出処理を説明するための図である。
【図２０】第３変形例におけるＨＭＤの外観の構成を示す説明図である。
【図２１】第４変形例におけるＨＭＤの外観の構成を示す説明図である。
【図２２】第６変形例におけるＨＭＤの構成を機能的に示すブロック図である。
【発明を実施するための形態】
【００２５】
Ａ．第１実施形態：
図１は、本発明の第１実施形態における頭部装着型表示装置（ＨＭＤ）１００の概略構成を示す説明図である。図２は、使用者Ｐｓから見た画像表示部２０の要部構成を示す図である。図３は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４は、ＣＰＵ１４０の構成を機能的に示すブロック図である。
【００２６】
ＨＭＤ１００（図１）は、使用者Ｐｓの頭部に装着された状態において使用者Ｐｓに虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部（コントローラー）１０とを備えている。
【００２７】
画像表示部２０は、使用者Ｐｓの頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者Ｐｓが画像表示部２０を装着した際に使用者Ｐｓの右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者Ｐｓが画像表示部２０を装着した際の使用者Ｐｓの眉間に対応する位置で、互いに接続されている。
【００２８】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者Ｐｓが画像表示部２０を装着した際の使用者Ｐｓの側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者Ｐｓが画像表示部２０を装着した際の使用者Ｐｓの側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者Ｐｓの頭部に画像表示部２０を保持する。
【００２９】
右表示駆動部２２は、右保持部２１の内側、換言すれば、使用者Ｐｓが画像表示部２０を装着した際の使用者Ｐｓの頭部に対向する側に配置されている。また、左表示駆動部２４は、左保持部２３の内側に配置されている。なお、以降では、右保持部２１および左保持部２３を区別せず「保持部」として説明する。同様に、右表示駆動部２２および左表示駆動部２４を区別せず「表示駆動部」として説明し、右光学像表示部２６および左光学像表示部２８を区別せず「光学像表示部」として説明する。
【００３０】
表示駆動部は、液晶ディスプレイ（Liquid Crystal Display、以下「ＬＣＤ」と呼ぶ）２４１、２４２や投写光学系２５１、２５２等を含む（図３参照）。表示駆動部の構成の詳細は後述する。光学部材としての光学像表示部は、導光板２６１、２６２（図３参照）と調光板とを含んでいる。導光板２６１、２６２は、光透過性の樹脂材料等によって形成され、表示駆動部から出力された画像光を使用者Ｐｓの眼に導く。調光板は、薄板状の光学素子であり、画像表示部２０の表側（使用者Ｐｓの眼の側とは反対の側）を覆うように配置されている。調光板は、導光板２６１、２６２を保護し、導光板２６１、２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者Ｐｓの眼に入る外光量を調整して虚像の視認のしやすさを調整することができる。なお、調光板は省略可能である。
【００３１】
画像表示部２０（図１）は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、本体コード４８が２本に分岐した右コード４２および左コード４４と、分岐点に設けられた連結部材４６と、を含んでいる。右コード４２は、右表示駆動部２２に接続され、左コード４４は、左表示駆動部２４に接続されている。連結部材４６には、イヤホンプラグ３０を接続するためのジャックが設けられている。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
【００３２】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行う。本体コード４８における連結部材４６と反対側の端部と、制御部１０とのそれぞれには、互いに嵌合するコネクター（図示省略）が設けられており、本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８には、例えば、金属ケーブルや光ファイバーを採用することができる。
【００３３】
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、点灯部１２と、タッチパッド１４と、十字キー１６と、電源スイッチ１８とを含んでいる。点灯部１２は、ＨＭＤ１００の動作状態（例えば、電源のＯＮ／ＯＦＦ等）を、その発光態様によって通知する。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）を用いることができる。タッチパッド１４は、タッチパッド１４の操作面上での接触操作を検出して、検出内容に応じた信号を出力する。タッチパッド１４としては、静電式や圧力検出式、光学式といった種々のタッチパッドを採用することができる。十字キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、ＨＭＤ１００の電源の状態を切り替える。
【００３４】
制御部１０（図３）は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、ＧＰＳモジュール１３４と、ＣＰＵ１４０と、インターフェイス１８０と、送信部（Ｔｘ）５１，５２とを備え、各部は図示しないバスにより相互に接続されている。
【００３５】
入力情報取得部１１０は、例えば、タッチパッド１４や十字キー１６、電源スイッチ１８などに対する操作入力に応じた信号を取得する。記憶部１２０は、ＲＯＭ、ＲＡＭ、ＤＲＡＭ、ハードディスク等によって構成されている。
【００３６】
電源１３０は、ＨＭＤ１００の各部に電力を供給する。電源１３０としては、例えば、リチウムポリマーバッテリー、リチウムイオンバッテリーなどの二次電池を用いることができる。さらに、二次電池に替えて、一次電池や燃料電池でもよいし、無線給電を受けて動作するようにしてもよい。さらには、太陽電池とキャパシターから給電を受けるようにしてもよい。無線通信部１３２は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）、ｉＢｅａｃｏｎ（登録商標）といった所定の無線通信規格に則って、他の機器との間で無線通信を行う。ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、自身の現在位置を検出する。
【００３７】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ОＡとしては、例えば、パーソナルコンピューターＰＣや携帯電話端末、ゲーム端末等がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイスや、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等を用いることができる。
【００３８】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６と、左光学像表示部２８としての左導光板２８と、外景撮像用カメラ６１と、９軸センサー６６と、を備える。また、画像表示部２０は、第１内側カメラ６２と、第２内側カメラ６４と、距離検出センサー６８と、を備えている。
【００３９】
外景撮像用カメラ６１（図１）は、使用者Ｐｓが画像表示部２０を装着した際の使用者Ｐｓの眉間に対応する位置に配置されている。そのため、外景撮像用カメラ６１は、使用者Ｐｓが画像表示部２０を頭部に装着した状態において、使用者Ｐｓが向いている方向の外部の景色である外景を撮像する。外景撮像用カメラ６１は、単眼カメラである。外景撮像用カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。なお、本実施形態では、外景撮像用カメラ６１は、望遠機能を有し、望遠での撮影を行うことが可能となっている。望遠機能としては、光学ズーム、デジタルズームのいずれによるものであってもよい。さらに、外景撮像用カメラ６１は、ＵＳＢ接続等の外付けのカメラであってもよい。
【００４０】
第１内側カメラ６２（図２）および第２内側カメラ６４（図２）は、外景撮像用カメラ６１と同様に、ＣＣＤやＣＭＯＳ等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。第１内側カメラ６２および第２内側カメラ６４は、ＨＭＤ１００の内側方向、換言すれば、画像表示部２０の装着状態における使用者Ｐｓと対向する方向を撮像する。第１内側カメラ６２は使用者Ｐｓの右眼ＲＥを撮像するために用いられ、第２内側カメラ６４は使用者Ｐｓの左眼ＬＥを撮像するために用いられる。第１内側カメラ６２の画角の広さは、使用者Ｐｓの右眼ＲＥ全体を撮像可能な範囲に設定されることが好ましい。また、第２内側カメラ６４の画角の広さは、使用者Ｐｓの左眼ＬＥ全体を撮像可能な範囲に設定されることが好ましい。第１内側カメラ６２および第２内側カメラ６４は、外景撮像用カメラ６１と同様に、制御部１０（図３）の制御に従って撮像を実行し、得られた撮像画像データを制御部１０へ出力する。
【００４１】
図２に示す状態では、右導光板２６および左導光板２８の裏側が視認できると共に、右眼ＲＥに画像光を照射するためのハーフミラー２６１、および、左眼ＬＥに画像光を照射するためのハーフミラー２８１が略四角形の領域として視認できる。使用者Ｐｓは、これらハーフミラー２６１、２８１を含む左右の導光板２６、２８の全体を透過して外景を視認すると共に、ハーフミラー２６１、２８１の位置に矩形の表示画像を視認する。
【００４２】
距離検出センサー６８（図１）は、前部フレーム２７の中央付近に２つ設けられている。距離検出センサー６８は、予め設定された測定領域に位置する測定対象物までの距離を検出するために用いられる。測定領域は、ＨＭＤ１００の表側領域（外景撮像用カメラ６１の撮像領域と重複する領域）とすることができる。距離検出センサー６８は、例えば、レーザー距離センサーであり、赤外領域の光（赤外線）を発光する発光部と、光源が発する光が測定対象物に反射する反射光を受光する受光部と、により構成できる。この場合、三角測距処理や、時間差に基づく測距処理により距離を求める。また、距離検出センサー６８は、例えば、超音波センサーであり、超音波を発する発信部と、測定対象物で反射する超音波を受信する受信部と、により構成してもよい。この場合、時間差に基づく測距処理により距離を求める。距離検出センサー６８は、検出結果を制御部１０へ出力する。
【００４３】
９軸センサー６６（図３）は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーであり、本実施形態では使用者Ｐｓの右側のこめかみに対応する位置に配置されている。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者Ｐｓの頭部に装着されているときには、ＣＰＵ１４０によって使用者Ｐｓの頭部の動きを検出するために用いられる。検出された使用者Ｐｓの頭部の動きから画像表示部２０の向きが特定される。
【００４４】
右表示駆動部２２（図３）は、受信部（Ｒｘ）５３と、光源として機能する右バックライト（ＢＬ）制御部２０１および右バックライト（ＢＬ）２２１と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１とを含んでいる。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して「画像光生成部」とも呼ぶ。
【００４５】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用画像データとに基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光を、画像を表す有効な画像光へと変調する。
【００４６】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者Ｐｓの右眼ＲＥに導く。光学像表示部は、画像光を用いて使用者Ｐｓの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いてもよいし、半透過反射膜を用いてもよい。なお、ＨＭＤ１００が画像光を出射することを、本明細書では「画像（または虚像）を表示する」とも呼ぶ。
【００４７】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。すなわち、左表示駆動部２４は、受信部（Ｒｘ）５４と、光源として機能する左バックライト（ＢＬ）制御部２０２および左バックライト（ＢＬ）２２２と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２とを含んでいる。右ＬＣＤ２４１と同様に、左ＬＣＤ２４２は、マトリクス状に配置された各画素位置の液晶を駆動することによって、左ＬＣＤ２４２を透過する光の透過率を変化させることにより、左バックライト２２２から照射される照明光を、画像を表す有効な画像光へと変調する。なお、本実施形態ではバックライト方式を採用することとしたが、フロントライト方式や、反射方式を用いて画像光を射出してもよい。
【００４８】
ＣＰＵ１４０（図４）は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、画像表示制御部１６２、撮像処理部１６４、音声処理部１７０、物体検出部１７２、頭部動き検出部１７３、視線方向検出部１７６、として機能する。
【００４９】
画像処理部１６０は、インターフェイス１８０や無線通信部１３２を介して入力されるコンテンツ（映像）に基づいて信号を生成する。そして、画像処理部１６０は、生成した信号を、接続部４０を介して画像表示部２０に供給することで、画像表示部２０を制御する。画像表示部２０に供給するための信号は、アナログ形式とディジタル形式の場合で異なる。アナログ形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、画像データＤａｔａとを生成し、送信する。具体的には、画像処理部１６０は、コンテンツに含まれる画像信号を取得する。取得した画像信号は、例えば動画像の場合、一般的に１秒あたり３０枚のフレーム画像から構成されているアナログ信号である。画像処理部１６０は、取得した画像信号から垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離し、それらの周期に応じて、ＰＬＬ回路等によりクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、ＲＧＢデータの画像データＤａｔａとして、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。
【００５０】
一方、ディジタル形式の場合、画像処理部１６０は、クロック信号ＰＣＬＫと、画像データＤａｔａとを生成し、送信する。具体的には、コンテンツがディジタル形式の場合、クロック信号ＰＣＬＫが画像信号に同期して出力されるため、垂直同期信号ＶＳｙｎｃおよび水平同期信号ＨＳｙｎｃの生成と、アナログ画像信号のＡ／Ｄ変換とが不要となる。なお、画像処理部１６０は、記憶部１２０に格納された画像データＤａｔａに対して、解像度変換処理や、輝度、彩度の調整といった種々の色調補正処理や、キーストーン補正処理等の画像処理を実行してもよい。
【００５１】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃと、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａとを、送信部５１、５２を介してそれぞれ送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データＤａｔａ１」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データＤａｔａ２」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００５２】
画像表示制御部１６２は、画像表示部２０の動作を制御する。画像表示制御部１６２は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、画像表示制御部１６２は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦや、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦや、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなどを個別に制御することにより、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。画像表示制御部１６２は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号を、送信部５１および５２を介してそれぞれ送信する。同様に、画像表示制御部１６２は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号を、それぞれ送信する。
【００５３】
また、画像表示制御部１６２は、後述する撮像処理部１６４によって生成された処理画像データ中の予め定められた対象物の動きに基づいて虚像（画像）の表示内容を変化させる。対象物は、表示内容を変化させるトリガーとなる物体であればよく、例えば、使用者Ｐｓの手やペンなどが挙げられる。画像表示制御部１６２によって実行される表示内容の変化についての具体例は後述する。
【００５４】
撮像処理部１６４は、外景撮像用カメラ６１が撮像した撮像画像データを画像処理して、処理画像データを生成する。具体的には、撮像処理部１６４は、撮像画像データを虚像として表示するための表示画像処理や、撮像画像データから対象物を抽出するための対象物抽出処理が挙げられる。表示画像処理としては、例えば、ガンマ補正、輝度補正、コントラスト補正、ノイズ除去、輪郭強調等が挙げられる。また、対象物抽出処理としては、対象物の背景を除去する処理や対象物の輪郭を抽出する処理が挙げられる。
【００５５】
撮像処理部１６４は、撮像画像データを処理するための第１処理モードＭ１と、撮像画像データを処理するための第２処理モードＭ２であって、第１処理モードＭ１とは処理するデータ容量が異なる第２処理モードＭ２とのいずれかに設定可能である。第２処理モードＭ２は、第１処理モードＭ１よりも単位時間当たりのデータ処理量が多い。本実施形態では、第１処理モードＭ１は、外景撮像用カメラ６１によって第１フレームレートで外景を撮像させるモード（第１撮像モード）である。また本実施形態では、第２処理モードＭ２は、外景撮像用カメラ６１によって第１フレームレートよりも高い第２フレームレートで外景を撮像させるモード（第２撮像モード）である。第１フレームレートは、処理画像データ中に存在する物体を表すデータが、予め定めた対象物を表す対象物データであることを後述する対象物判別部１６６が判別できる程度のフレームレートであればよい。第１フレームレートは、例えば、１ｆｐｓ以上１０ｆｐｓ以下の範囲においていずれかの値に設定される。第２フレームレートは、経時的に並んだ複数のフレームごとの処理画像データに基づいて、対象物の動きを追跡できる程度のフレームレートであればよい。第２フレームレートは、例えば、３０ｆｐｓ以上の値に設定される。なお、第２フレームレートは、ＣＰＵ１４０の負荷が過大になる可能性を低減するために、１２０ｆｐｓ以下であってもよい。
【００５６】
撮像処理部１６４は、対象物判別部１６６を有する。対象物判別部１６６は、処理画像データが表す画像内に予め定めた対象物が存在するか否かを判別する。対象物判別部１６６は、対象物抽出処理が行われた処理画像データと、後述する対象物データ１２９とをパターンマッチングや統計的識別法による比較を行うことで、処理画像データが表す画像内に対象物が存在するか否かを判別する。つまり、処理画像データが表す画像内に対象物が存在する場合には、外景撮像用カメラ６１が撮像した撮像領域内に対象物が存在すると判別し、処理画像データ中に対象物が存在しない場合には、外景撮像用カメラ６１が撮像した撮像領域内に対象物が存在しないと判別する。撮像処理部１６４が、第１処理モードＭ１を実行中において、対象物判別部１６６によって対象物が撮像領域内に存在すると判別された場合、撮像処理部１６４は処理モードを第１処理モードＭ１から第２処理モードＭ２に切り換えて実行する。
【００５７】
撮像処理部１６４は、対象物動き検出部１７８を有する。対象物動き検出部１７８は、外景撮像用カメラ６１によって経時的に撮像された複数フレームの撮像画像データに基づいて対象物の動きを検出する。具体的には、複数フレームの撮像画像データから対象物を抽出した処理画像データを生成し、処理画像データ内における対象物の位置の変化によって対象物の動きを検出する。
【００５８】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内の図示しないスピーカーおよび左イヤホン３４内の図示しないスピーカーに対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４からは、それぞれ、例えば周波数等が変えられた異なる音が出力される。
【００５９】
物体検出部１７２は、距離検出センサー６８から検出データ（距離情報）を取得し、検出結果に基づいて、外景撮像用カメラ６１の撮像領域のうちで一定の対象物検出領域において対象物の候補となる物体の存在を検出する。具体的には、物体の距離情報が、対象物検出領域内に位置する場合には、対象物検出領域に物体が位置することを検出する。対象物検出領域は、撮像領域と同じ領域であってもよいし、撮像領域の内側であって撮像領域よりも狭い領域であってもよい。対象物検出領域は、使用者Ｐｓが右導光板２６および左導光板２８を透過して視認する実際の視野のうち色が弁別できる範囲に設定することが好ましい。この対象物検出領域の詳細は後述する。
【００６０】
頭部動き検出部１７３は、使用者Ｐｓの頭部の動きを検出する。具体的には、９軸センサー６６から取得した検出データに基づいて使用者Ｐｓの頭部の動きを検出する。また、頭部動き検出部１７３は、経時的に検出した使用者Ｐｓの頭部の動きに基づいて、使用者Ｐｓの頭部の動き量（例えば、一定時間に移動した動部の移動量）を算出する。動き量は、例えば、一定時間に変化した回転角の合計であってもよいし、一定時間に変化した水平方向および垂直方向の移動量であってもよいし、回転角の合計と移動量とを組み合わせて用いてもよい。
【００６１】
視線方向検出部１７６は、使用者Ｐｓの視線方向を検出する。具体的には、第１内側カメラ６２によって撮像された使用者Ｐｓの右眼ＲＥの画像と、第２内側カメラ６４によって撮像された使用者Ｐｓの左眼ＬＥの画像から、両眼ＲＥ，ＬＥの黒目の向きを検出する。そして、視線方向検出部１７６は、検出した黒目の向きから使用者Ｐｓの視線方向を推定する。視線方向は、右眼と左眼との中間点から使用者Ｐｓが注視している注視点に向かう方向であるともいえる。また、視線方向検出部１７６は、経時的に推定した視線方向に基づいて使用者Ｐｓの視線方向の変化量（例えば、一定時間に変化した視線方向の変化量）を算出する。変化量は、例えば、一定時間における視線方向の角度変化量の合計であってもよい。
【００６２】
図５は、対象物検出領域を説明するための第１の図である。図６は、対象物検出領域を説明するための第２の図である。図５および図６を用いて対象物検出領域の好ましい範囲について説明する。対象物検出領域は、使用者Ｐｓが物体を視認できる範囲Ｒｘ，Ｒｚに設定することが好ましい。物体を視認できる範囲Ｒｘ，Ｒｚとしては、以下の範囲（ａ）〜（ｄ）のいずれかに設定してもよい。
（ａ）色が弁別できる範囲：
色、輝度が変化する場合の色を弁別できる範囲Ｒｘａ，Ｒｚａ。
（ｂ）誘導視野の範囲：
視覚情報による座標系誘導効果が生じ、臨場感を引き起こす範囲Ｒｘｂ，Ｒｚｂ。
（ｃ）安定注視野の範囲：
眼球・頭部運動で無理なく物体を注視でき、効果的な情報受容ができる範囲Ｒｘｃ、Ｒｚｃ。
（ｄ）有効視野の範囲：
眼球運動だけで瞬時に情報受容できる範囲Ｒｘｄ，Ｒｚｄ。
【００６３】
色が弁別できる範囲のうち水平方向の範囲Ｒｘａは、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して一方の側が６０度以下の範囲であり、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して他方の側が６０度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が１２０度以下の範囲であってもよい。また、図６に示すように、色が弁別できる範囲のうち垂直方向の範囲Ｒｚａは、視線方向ＥＤよりも上側が３０度以下の範囲であり、かつ、視線方向ＥＤよりも下側が４０度以下の範囲である。
【００６４】
誘導視野の範囲のうち水平方向の範囲Ｒｘｂは、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して一方の側が５０度以下の範囲であり、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して他方の側が５０度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が１００度以下の範囲であってもよい。また、図６に示すように、誘導視野の範囲のうち垂直方向の範囲Ｒｚｂは、視線方向ＥＤよりも上側が３５度以下の範囲であり、かつ、視線方向ＥＤよりも下側が５０度以下の範囲である。
【００６５】
安定注視野の範囲のうち水平方向の範囲Ｒｘｃは、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して一方の側が４５度以下の範囲であり、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して他方の側が４５度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が９０度以下の範囲であってもよい。また、図６に示すように、安定注視野の範囲のうち垂直方向の範囲Ｒｚｃは、視線方向ＥＤよりも上側が３０度以下の範囲であり、かつ、視線方向ＥＤよりも下側が４０度以下の範囲である。
【００６６】
有効視野の範囲のうち水平方向の範囲Ｒｘｄは、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して一方の側が１５度以下の範囲であり、正面を向いた視線方向ＥＤ（まっすぐな視線方向ＥＤ）に対して他方の側が１５度以下の範囲である。つまり、対象物検出領域は、水平方向の角度が３０度以下の範囲であってもよい。また、図６に示すように、有効視野の範囲のうち垂直方向の範囲Ｒｚｄは、視線方向ＥＤよりも上側が８度以下の範囲であり、かつ、視線方向ＥＤよりも下側が１２度以下の範囲である。
【００６７】
また、対象物検出領域は、奥行き方向において、使用者Ｐｓが正面側に水平に手を延ばしたときに、右眼ＲＥと左眼ＬＥとの中間点ＣＥから使用者Ｐｓの手の先端までの範囲Ｒｙに設定することが好ましい。範囲Ｒｙは、例えば１メートル以内である。つまり、対象物検出領域は、使用者が物体を視認できる角度（角度Ｒｘ、Ｒｚ）の範囲内であり、かつ、奥行き方向において使用者Ｐｓが水平に手を延ばしたときに使用者Ｐｓの手が届く範囲内であることが好ましい。対象物検出領域が使用者が物体を視認できる範囲内であり、かつ、手が届く範囲内であることで、使用者Ｐｓが対象物を容易に確認できる。特に、対象物が使用者Ｐｓの手である場合、対象物検出領域の奥行き方向が手の届く範囲内であることで、手以外の他の物体が対象物検出領域に位置する状況を低減できるので、対象物の検出精度を向上できる。
【００６８】
図７は、記憶部１２０について説明するための図である。記憶部１２０は、ＣＰＵ１４０における処理に供する種々のデータが記憶されている。例えば、記憶部１２０には、コンテンツデータ１２２と、コンテンツ対応テーブル１２４と、閾値データ１２６と、対象物データ１２９とが記憶されている。
【００６９】
コンテンツデータ１２２は、制御部１０の制御によって画像表示部２０が表示する画像や映像を含むコンテンツのデータ（画像データ、映像データ、音声データ等）が含まれている。なお、コンテンツデータ１２２には、双方向型のコンテンツのデータが含まれてもよい。双方向型のコンテンツとは、制御部１０によって使用者Ｐｓの操作を取得して、取得した操作内容に応じた処理を制御部１０が実行し、処理内容に応じたコンテンツを画像表示部２０に表示するタイプのコンテンツを意味する。この場合、コンテンツのデータには、使用者Ｐｓの操作を取得するためのメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理を定めるデータ等を含みうる。
【００７０】
コンテンツ対応テーブル１２４は、予め定められた対象物の動きと、予め定められた対象物の動きに応じて画像表示部２０に表示するコンテンツとが対応付けられている。本実施形態では、予め定められた対象物の動きは使用者Ｐｓの手の動きであり、具体的にはジェスチャーの変化（手の形状の変化）である。なお、予め定められた対象物の動きは、上記に限定されるものではなく、画像表示部２０の表示内容を変化させるトリガーとなる動きであればよい。例えば、予め定められた対象物の動きは、使用者Ｐｓの手の形状変化を伴わない移動（手を右から左に移動させること等）や、ペンの移動（ペンの速度や、ペンの移動方向）などであってもよい。コンテンツ対応テーブル１２４と、コンテンツ対応テーブル１２４を参照して実行される画像表示部２０の表示内容の変化については後述する。
【００７１】
閾値データ１２６は、撮像処理部１６４のモードを変更するか否かを決定するための第１閾値１２７および第２閾値１２８を有する。
【００７２】
第１閾値１２７は、頭部動き検出部１７３によって検出された使用者Ｐｓの頭部の動き量の基準値である。第１閾値１２７は、使用者Ｐｓが意図して頭部を動かしているか否かを判定するための基準値であり、基準値を超えた場合に使用者Ｐｓが意図して頭部を動かしていることを推定できる値に設定することが好ましい。第１閾値１２７は、例えば、一定時間（例えば、０．５秒間）における回転角を指標とする場合には２０度以上に設定されてもよい。また第１閾値１２７は、一定時間（例えば、０．５秒間）における頭部の移動量を指標とする場合は、１０ｃｍ〜３０ｃｍのいずれかの値に設定されてもよい。
【００７３】
第２閾値１２８は、視線方向検出部１７６によって検出された角度変化量の基準値である。第２閾値１２８は、使用者Ｐｓが意図して注目している注目物体から視線を移動させたか否かを判定するための基準値であり、基準値を超えた場合に使用者Ｐｓが意図して視線方向を変化させていることを推定できる値に設定することが好ましい。第２閾値１２８は、一定時間（例えば、０．５秒間）における視線方向の角度変化量であり、例えば、角度変化量は２０度以上の値が設定されてもよい。
【００７４】
対象物データ１２９は、対象物判別部１６６（図４）で判別するための対象物データである。対象物データ１２９は、例えば、人間の手を表すデータであったり、ペンを表すデータであってもよい。また、対象物データ１２９は、使用者Ｐｓなどのよって適宜変更可能であってもよい。
【００７５】
図８は、コンテンツ対応テーブル１２４を説明するための図である。図９は、使用者Ｐｓに視認される視野ＶＲの一例を示す第１の図である。図１０は、使用者Ｐｓに視認される視野ＶＲの一例を示す第２の図である。
【００７６】
コンテンツ対応テーブル１２４（図８）は、予め定められた対象物の動きと、画像表示部２０に表示するコンテンツとを規定する。つまり、コンテンツ対応テーブル１２４は、予め定められた対象物の動きと、対象物の動きに応じて変化させる画像表示部２０の表示内容とを規定する。対象物の動きが第１の動きの場合に、ブラウザーが画像表示部２０に表示される。第１の動きは、例えば、使用者Ｐｓのジェスチャーの変化であり、手をグーの状態からパーの状態に変化させる動きである。対象物の動きが第２の動きの場合に、電話のコンテンツ（例えば、登録者名および登録者名の電話番号を表す画像）が画像表示部２０に表示される。第２の動きは、例えば、使用者Ｐｓのジェスチャーの変化であり、手をパーの状態からチョキの状態に変化させる動きである。対象物の動きが第３の動きの場合に、メールのコンテンツを画像表示部２０に表示させる。第３の動きは、例えば、使用者Ｐｓのジェスチャーの変化であり、手をチョキの状態からパーの状態に変化させる動きである。対象物の動きが第４の動きの場合に、画像表示部２０に表示されているコンテンツを非表示にする。
【００７７】
図９に示すように、使用者ＰｓがＨＭＤ１００を起動してタッチパッド１４などを操作することでＨＭＤ１００が特定のモード（受付モード）になった場合、使用者Ｐｓは光学像表示部２６，２８を透過した外景ＳＣと、画像表示部２０に表示されたメニュー画像ＶＩとを視認できる。メニュー画像ＶＩは、各種の選択画像ＶＩａ〜ＶＩｄを含む。ブラウザー選択画像ＶＩａは、選択されることでブラウザーの画面が画像表示部２０に表示される。電話選択画像ＶＩｂは、選択されることで電話をするための画像が画像表示部２０に表示される。また、メール選択画像ＶＩｃは、選択されることでメールのコンテンツ画像ＶＩＢ（図１０）を画像表示部２０に表示させる。エンド選択画像ＶＩｄは、選択されることで画像表示部２０に表示されているコンテンツ画像を非表示にする。つまり、エンド選択画像ＶＩｄは、選択されることで起動中のコンテンツが終了する。使用者Ｐｓは、タッチパッド１４や十字キー１６を用いて各種の選択画像ＶＩａ〜ＶＩｄを選択してもよいし、ジェスチャーの変化を撮像処理部１６４に検出させることで各種の選択画像ＶＩａ〜ＶＩｄに対応するコンテンツを実行してもよい。例えば、使用者Ｐｓは、外景撮像用カメラ６１の撮像領域内の対象物検出領域に手を位置させて、コンテンツ対応テーブル１２４に規定された手の動きを行う。
【００７８】
図１１は、ＣＰＵ１４０が実行する処理フローである。図１１に示す処理フローは、ＨＭＤ１００が特定のモード（受付モード）になったことをトリガーに開始される。まず、物体検出部１７２は、対象物検出領域に物体が存在するか否かを検出する（ステップＳ１２）。物体が存在しない場合（ステップＳ１２：Ｎｏ）、繰り返しステップＳ１２を実行する。物体が存在することを検出した場合（ステップＳ１２：Ｙｅｓ）、撮像処理部１６４は、第１処理モードＭ１を実行する（ステップＳ１４）。つまり、撮像処理部１６４は、外景撮像用カメラ６１によって第１フレームレートで外景を撮像させる。撮像処理部１６４は、第１フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。次に、対象物判別部１６６は処理画像データが表す画像内に、記憶部１２０に記憶された予め定めた対象物データが表す対象物が存在するか否かを判別する（ステップＳ１６）。対象物が存在しないと判別された場合（ステップＳ１６：Ｎｏ）、さらに生成された処理画像データに対してステップＳ１６を繰り返し実行する。
【００７９】
対象物が存在すると判別された場合（ステップＳ１６：Ｙｅｓ）、閾値判定を行う（ステップＳ１８）。閾値判定は、頭部の動き量が第１閾値１２７を超え、かつ、視線方向の変化量が第２閾値１２８を超えているか否かを撮像処理部１６４が判定する。この判定に用いられる一定時間の終点は、例えば、ステップ１６で対象物が存在すると判定された処理画像データの元となる撮像画像データが生成された時間（撮影時刻）であってもよい。なお、ステップＳ１８は省略してもよい。
【００８０】
頭部の動き量が第１閾値１２７を超えていることと、視線方向の変化量が第２閾値１２８を超えていることの少なくともいずれか一方を満たさない場合は（ステップＳ１８：Ｎｏ）、撮像処理部１６４は、処理モードを第１処理モードＭ１から第２処理モードＭ２に切り換える（ステップＳ２０）。これにより撮像処理部１６４は第２処理モードＭ２を実行する。つまり、撮像処理部１６４は、外景撮像用カメラ６１によって第２フレームレートで外景を撮像させる。撮像処理部１６４は、第２フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。一方で、頭部の動き量が第１閾値１２７を超え、かつ、視線方向の変化量が第２閾値１２８を超えている場合は、ステップＳ１４に戻る。つまり、処理モードが第１処理モードＭ１であるときに、動き量が第１閾値１２７を超え、かつ、変化量が第２閾値１２８を超えている場合は、物体が存在することを検出したか否かに拘わらず処理モードを第１処理モードＭ１に維持する。なお、ステップＳ１８は省略してもよい。
【００８１】
次に、対象物動き検出部１７８は、第２フレームレートで撮像された撮像画像データに基づいて、対象物の動きを検出する（ステップＳ２２）。詳細には、撮像処理部１６４は、第２フレームレートで撮像された各フレームの撮像画像データを、対象物の動きを検出するために画像処理して処理画像データを生成する。そして、対象物動き検出部１７８は、生成された処理画像データをもとに対象物の動きを検出する。
【００８２】
次に、撮像処理部１６４は、検出した対象物の動きに対応するコンテンツがあるかどうかを判定する（ステップＳ２４）。具体的には、撮像処理部１６４は、記憶部１２０に記憶されたコンテンツ対応テーブル１２４（図８）を参照して、検出した対象物の動きに対応するコンテンツがあるかどうかを判定する。対応するコンテンツがある場合は、対象物の動きに応じたコンテンツ（例えば、メールのコンテンツ）を実行して、画像表示制御部１６２は、コンテンツの画面を画像表示部２０に表示させる（ステップＳ２５）。つまり、画像表示制御部１６２は、対象物動き検出部１７８によって検出された対象物の動きに基づいて虚像の表示内容を変化させる。
【００８３】
上記第１実施形態によれば、撮像処理部１６４は、対象物が存在すると判別された場合に第１処理モードＭ１から第２処理モードＭ２に切り換えることから（図１１のステップＳ１４〜ステップＳ２０）、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物の動きを検出する際には、データ処理量の多い第２処理モードＭ２を実行し、対象物の存在を判別する際には、データ処理量の少ない第１処理モードＭ１を実行することで、撮像処理部１６４によるデータ処理の負荷を軽減できるとともに、ＨＭＤ１００の消費電力を低減できる。また、第１実施形態によれば、外景撮像用カメラ６１のフレームレートを変更することで、第１処理モードＭ１と第２処理モードＭ２とのいずれかの処理モードを設定できる。
【００８４】
また上記第１実施形態によれば、物体検出部１７２によって物体が存在することが検出された場合に第１処理モードＭ１が実行される（図１１のステップＳ１２，Ｓ１４）。これにより、外景撮像用カメラ６１による外景の撮像を不必要に行う可能性を低減できる。これにより、撮像処理部１６４によるデータ処理の負荷をさらに軽減できる。
【００８５】
また上記第１実施形態によれば、撮像処理部１６４は、動き量が第１閾値１２７を超え、かつ、変化量が第２閾値１２８を超えている場合に、対象物判別部１６６の判別結果に拘わらず第１処理モードを維持している（図１１のステップＳ１８：Ｙｅｓ）。動き量が第１閾値１２７を超え、かつ、変化量が第２閾値１２８を超えている場合、使用者Ｐｓは対象物の動きに着目していないことが想定される。よって、この場合においては、対象物の動きを解析するための処理モードである第２処理モードＭ２に設定する必要がない。これにより、撮像処理部１６４によるデータ処理の負荷をさらに軽減できる。
【００８６】
また上記第１実施形態によれば、対象物動き検出部１７８は、第２処理モードＭ２において撮像された複数フレームの撮像画像データに基づいて対象物の動きを検出し、画像表示制御部１６２は、検出された対象物の動きに基づいて虚像の表示内容を変化させている（図１１のステップＳ２０〜ステップＳ２５）。対象物の動きを検出する際には、単位時間当たりのデータ処理量の多い第２処理モードＭ２を実行しているので、対象物の動きを精度良く検出できると共に、対象物の動きに基づいた虚像の表示内容を精度良く変化させることができる。また上記第１実施形態によれば、対象物が使用者Ｐｓの手であることで、使用者Ｐｓの手の動きに基づいて虚像の表示内容を変化できる。これにより、使用者ＰｓがＨＭＤ１００をより直感的に操作できる。
【００８７】
図１２は、ＣＰＵ１４０が実行する処理フローの他の例である。ＣＰＵ１４０は、図１１に示す処理フローに代えて図１２に示す処理フローを実行してもよい。ここで、図１１と同様の内容のステップについては、図１１と同一の符号を付している。図１２に示す処理フローと、図１１に示す処理フローとの異なる主な点は、対象物検出領域に物体が存在することが検出された場合に、撮像処理部１６４は第２処理モードＭ２を実行する点と、ステップＳ１８を省略した点である。
【００８８】
まず、物体検出部１７２は対象物検出領域に物体が存在するか否かを検出する（ステップＳ１２）。物体が存在しない場合は（ステップＳ１２：Ｎｏ）、繰り返しステップＳ１２を実行する。物体が存在することを検出した場合（ステップＳ１２：Ｙｅｓ）、撮像処理部１６４は、第２処理モードを実行する（ステップＳ２０ａ）。つまり、撮像処理部１６４は、外景撮像用カメラ６１によって第２フレームレートで外景を撮像させる。撮像処理部１６４は、第２フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。上記のように、ステップＳ２０ａは、対象物検出領域に物体が存在する場合に、外景撮像用カメラ６１を起動して撮像を開始させる処理である。よって、本処理フローを用いる場合、撮像処理部１６４は、第１処理モードＭ１（図４）を有していなくてもよい。
【００８９】
次に、対象物判別部１６６は、処理画像データが表す画像内に、記憶部１２０に記憶された予め定めた対象物データが表す対象物が存在するか否かを判別する（ステップＳ２１）。対象物が存在しないと判別された場合（ステップＳ２１：Ｎｏ）、さらに生成された処理画像データに対してステップＳ２１を繰り返し実行する。
【００９０】
対象物が存在すると判別された場合（ステップＳ２１：Ｙｅｓ）、第２フレームレートで撮像された各フレームの撮像画像データに基づいて、対象物の動きを検出する（ステップＳ２２）。次に、撮像処理部１６４は、図１１に示す処理フローと同様にステップＳ２４以降の処理を実行する。
【００９１】
この処理フローによれば、物体検出部１７２によって物体が存在することが検出された場合に、撮像処理部１６４は、外景撮像用カメラ６１に対して外景の撮像を開始させている。こうすることで、対象物検出領域に物体が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物検出領域に対象物の候補となる物体が存在しない状況において、外景撮像用カメラ６１による外景を撮像しないことで、撮像処理部１６４のデータ処理量が不必要に過大になる可能性を低減できる。
【００９２】
Ｂ．第２実施形態：
図１３は、ＨＭＤ１００を備える表示システム１の概略構成を示す説明図である。第２実施形態では、第１実施形態のＨＭＤ１００と、サーバー６０を経由してＨＭＤ１００の通信を行うパーソナルコンピューター（ＰＣ）２５０とを備える表示システム１を例に、ＨＭＤ１００の使用例について説明する。具体的には、第２実施形態の表示システム１００は、例えば、工場などでＨＭＤ１００を装着した使用者Ｐｓに遠隔から作業内容などの指示を行う遠隔支援システムとして用いることができる。
【００９３】
ＨＭＤ１００は、通信キャリアを介して無線通信でインターネットＩＮＴに接続されている。ＰＣ２５０は、通信キャリアＢＳを介して無線通信でインターネットＩＮＴに接続されている。サーバー６０は、有線通信でインターネットＩＮＴに接続されている。この結果、サーバー６０、ＨＭＤ１００、ＰＣ２５０は互いにインターネットＩＮＴを介してデータ通信できる。通信キャリアＢＳは、送受信アンテナや、無線基地局、交換局を含む。
【００９４】
図１４は、表示システム１が用いられる一つのシーンを説明するための図である。図１４に示すシーンは、ＨＭＤ１００の使用者Ｐｓが工場内で製品６０２を生産しているシーンである。製品６０２は、作業台６０１に配置されている。使用者Ｐｓは、製品６０２の組み立てや不良品の検査などを行う。
【００９５】
図１５は、使用者Ｐｓに視認される視野ＶＲの一例を示す第１の図である。図１６は、使用者Ｐｓに視認される視野ＶＲの一例を示す第２の図である。ＨＭＤ１００が起動して、タッチパッド１４などを操作することでＨＭＤ１００が特定のモード（受付モード）になった場合、使用者Ｐｓは光学像表示部２６，２８を透過した外景ＳＣと、画像表示部２０に表示されたメニュー画像ＶＩ１とを視認できる（図１５）。
【００９６】
メニュー画像ＶＩ１は、ヘルプ選択画像ＶＩ２と通話選択画像ＶＩ３とエンド選択画像ＶＩ４とを含む。ヘルプ選択画像ＶＩ２は、選択されることで製品６０２の組立手順内容や検査手順内容などの手順内容が画像ＶＩ５として表示される（図１６）。通話選択画像ＶＩ３は、選択されることで予め定められた相手（本実施形態では、ＰＣ２５０を操作する遠隔作業支援者）との通話が可能となり、通話に関する画像（通話時間画像など）が画像表示部２０に表示される。エンド選択画像ＶＩ４は、選択されることで起動中のコンテンツ（例えば、手順内容の画像ＶＩ４）が終了する。使用者Ｐｓは、タッチパッド１４や十字キー１６を用いて各種の選択画像ＶＩ２〜ＶＩ４を選択してもよいし、ジェスチャーの変化を撮像処理部１６４に検出させることで各種の選択画像ＶＩ２〜ＶＩ４に対応するコンテンツを実行してもよい。例えば、使用者Ｐｓは、外景撮像用カメラ６１の撮像領域内の対象物検出領域に手を位置させて、コンテンツ対応テーブル１２４（図８）に規定された手の動きを行う。ここで、コンテンツ対応テーブル１２４は、第２実施形態のシーンに対応した内容に変更される。この変更は、シーンごとに対応した複数のコンテンツ対応テーブル１２４を記憶部１２０に記憶させておき、使用者Ｐｓがシーンに応じて対応するコンテンツ対応テーブル１２４を選択してもよい。第２実施形態の場合、第１の動きによってヘルプ選択画像ＶＩ２に対応するコンテンツを実行し（画像ＶＩ４を表示し）、第２の動きによって通話選択画像ＶＩ３に対応するコンテンツを実行し、第３の動きによってエンド選択画像ＶＩ４に対応するコンテンツを実行する。
【００９７】
ＣＰＵ１４０が実行する処理フローは、上記第１実施形態の図１１に示す処理フローや、第１実施形態の変形態様である図１２に示す処理フローと同様の処理フローを採用できる。ここで、外景撮像用カメラ６１が起動した以降である、図１１のステップＳ１４以降や図１２のステップＳ２０ａ以降においては、外景撮像用カメラ６１が撮像した撮像画像データを画像処理して、ＰＣ２５０に送信してもよい。こうすることで、ＰＣ２５０側にいる遠隔作業支援者は、ＰＣ２５０の表示部２５８を介して外景撮像用カメラ６１によって撮像された画像を確認できる。また、使用者Ｐｓが対象物検出領域で予め定められた対象物の動きを行う場合、製品６０２について遠隔作業支援者からの指示を受けたいという要望が高いと推定される。図１１や図１２に示す処理フローにおいて、対象物の動きを検出するステップ２２ではフレームレートが高い第２フレームレートで外景撮像用カメラ６１によって外景ＳＣを撮像させる。よって、遠隔作業支援者は、第２フレームレートで撮像された動画像を表示部２５８で視認できるので、製品６０２やその周辺の状況をより詳細に把握できる。これにより、遠隔作業支援者は、使用者Ｐｓに対してより適切な指示を行うことができる。
【００９８】
上記第２実施形態によれば、上記第１実施形態と同様の構成を有する限りにおいて第１実施形態と同様の効果を奏する。例えば、撮像処理部１６４は、対象物が存在すると判別された場合に第１処理モードＭ１から第２処理モードＭ２に切り換えることから（図１１のステップＳ１４〜ステップＳ２０）、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。つまり、対象物の動きを検出する際には、データ処理量の多い第２処理モードＭ２を実行し、対象物の存在を判別する際には、データ処理量の少ない第１処理モードＭ１を実行することで、撮像処理部１６４によるデータ処理の負荷を軽減できるとともに、ＨＭＤ１００の消費電力を低減できる。
【００９９】
Ｃ．第２実施形態の変形態様：
上記第２実施形態では、上記第１実施形態の図１１や図１２と同様の処理フローを採用可能であったが、他の処理フローを採用してもよい。図１７は、他の処理フローが実行される一つのシーンを示す図である。図１７に示すシーンは、不具合が発生した製品を使用者Ｐｓが修理するシーンであり、ＰＣ２５０側の遠隔作業支援者が表示部２５８に表示された外景撮像用カメラ６１によって撮像された動画像を見て使用者Ｐｓに指示を出したりするシーンである。図１７では、製品６０４と製品６０５のうち、製品６０５に不具合が発生しと仮定する。使用者Ｐｓや遠隔作業支援者は、記憶部１２０の対象物データ１２９に、製品６０５を判別するための情報（例えば、製品６０５の形状データ）を予め記憶させる。
【０１００】
図１８は、ＣＰＵ１４０が実行する他の処理フローである。図１８に示す処理フローは、例えば図１７に示すシーンで実行される。以下に説明する他の処理フローのように、図１１や図１２に示す処理フローでは、物体検出部１７２は対象物検出領域に物体が存在するか否かを検出するステップを有していたが（ステップＳ１２）、省略してもよい。
【０１０１】
図１８に示す処理フローは、ＨＭＤ１００が特定のモード（受付モード）になったことをトリガーに開始される。まず、撮像処理部１６４は外景撮像用カメラ６１を起動させて、第１処理モードＭ１を実行する（ステップＳ４０）。第１処理モードＭ１は、上記第１実施形態と同様の内容であり、外景撮像用カメラ６１によって第１フレームレートで外景を撮像させるモードである。撮像処理部１６４は、第１フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。また、第１フレームレートで撮像された各フレームは、画像処理してＰＣ２５０（図１３）に送信される。
【０１０２】
次に、対象物判別部１６６は処理画像データが表す画像内に、記憶部１２０に記憶された予め定めた対象物データが表す対象物（製品６０５）が存在するか否かを判別する（ステップＳ４２）。対象物が存在しないと判別された場合（ステップＳ４２：Ｎｏ）、さらに生成された処理画像データに対してステップＳ４２を繰り返し実行する。
【０１０３】
対象物が存在すると判別された場合（ステップＳ４２：Ｙｅｓ）、撮像処理部１６４は、処理モードを第１処理モードＭ１から第２処理モードＭ２に切り換える（ステップＳ４４）。これにより撮像処理部１６４は第２処理モードＭ２を実行する。つまり、撮像処理部１６４は、外景撮像用カメラ６１によって第２フレームレートで外景を撮像させる。撮像処理部１６４は、第２フレームレートで撮像された各フレームの撮像画像データを画像処理して処理画像データを生成する。また、第２フレームレートで撮像された各フレームは、画像処理してＰＣ２５０（図１３）に送信される。なお、ステップＳ４２とステップＳ４４との間に図１１に示すステップＳ１８を実行してもよい。
【０１０４】
上記変更態様によれば、対象物が存在すると判別された場合に第１処理モードＭ１から第２処理モードＭ２に切り換えることから、対象物が存在する場合と存在しない場合とでデータ処理量を適切に調整できる。また、対象物が存在する場合は、第１フレームレートよりも高い第２フレームレートで撮像された撮像画像データを処理してＰＣ２５０側に送信することから、ＰＣ２５０側の遠隔作業支援者は対象物をより精度良く観察できる。よって、遠隔作業支援者はより適切な指示を使用者Ｐｓに出すことができる。
【０１０５】
Ｄ．処理モードの変形態様：
上記各実施形態では、第１処理モードＭ１は外景撮像用カメラ６１によって第１フレームレートで撮像させる第１撮像モードであり、第２処理モードＭ２は外景撮像用カメラ６１によって第１フレームレートよりも高い第２フレームレートで外景を撮像させる第２撮像モードであった。しかしながら、第２処理モードＭ２の単位時間当たりのデータ処理量が、第１処理モードＭ１の単位時間当たりのデータ処理量よりも多ければ、各処理モードを実現するための内容は上記に限定されるものではない。以下に、第１処理モードＭ１と第２処理モードＭ２の変形態様について説明する。
【０１０６】
第１処理モードＭ１は、外景撮像用カメラ６１によって第１解像度で外景を撮像させる第１解像度モードであってもよく、第２処理モードＭ２は、外景撮像用カメラ６１によって第１解像度よりも高い第２解像度で外景を撮像させる第２解像度モードであってもよい。第１解像度は、処理画像データ中に存在する物体を表すデータが予め定めた対象物を表す対象物データであるかを対象物判別部１６６が判別できる程度の解像度であればよい。
【０１０７】
また、第１処理モードＭ１は、所定のフレームレート（例えば、上記第２フレームレート）で外景撮像用カメラ６１が撮像した複数のフレームの撮像画像データの一部のフレームを間引いて、間引いた後の撮像画像データを画像処理するモード（間引きモード）であってもよい。また、第２処理モードＭ２は、第１処理モードＭ１よりも多いフレームから構成される撮像画像データを画像処理するモード（通常モード）であってもよい。単位時間当たりに画像処理するフレーム数は、第２処理モードＭ２の方が第１処理モードＭ１よりも多い。第２処理モードＭ２は、例えば、所定のフレームレート（例えば、上記第２フレームレート）で外景撮像用カメラ６１が撮像した複数のフレームの撮像画像データの全てを画像処理する。また、第１処理モードＭ１は、第１撮像モードと第１解像度モードと間引きモードとの２つ以上を組み合わせて実行してもよい。また、第２処理モードＭ２は、第２撮像モードと第２解像度モードと通常モードとの２つ以上を組み合わせて実行してもよい。
【０１０８】
また、第１処理モードＭ１と第２処理モードＭ２との少なくともいずれか一方のモードにおいて、撮像処理部１６４は以下に説明する切出処理を行ってもよい。図１９は、切出処理を説明するための図である。図１９は処理画像データＩＭＧＤの一例である。第１のフレームを構成する処理画像データＩＭＧＤに基づき、対象物判別部１６６が対象物ｈｄ（本例では手ｈｄ）を判別した場合、撮像処理部１６４は対象物ｈｄが位置する画素領域ＩＭＧＲ２を含む一定画素領域ＩＭＧＲ１を設定する。図１９に示す例では、撮像処理部１６４は、対象物ｈｄが位置する画素領域ＩＭＧＲ２よりも大きい領域の一定画素領域ＩＭＧＲ１が設定される。本実施形態では撮像画像データと処理画像データとでは、画素数は同じであり、また一定画素領域ＩＭＧＲ１も同じである。撮像処理部１６４は、第１のフレームの次に外景撮像用カメラ６１によって撮像された第２のフレームを構成する撮像画像データに対しては一定画素領域ＩＭＧＲ１に対応する範囲のデータを抽出し、抽出したデータに対して画像処理を行う。本例では、一定画素領域ＩＭＧＲ１に対応する範囲は、一定画素領域ＩＭＧＲ１と同じ領域であり、画素の座標で特定できる。抽出したデータに対して画像処理を行って、例えば、対象物動き検出部１７８による対象物の動きを検出するために用いてもよい。また、抽出したデータに対して画像処理を行って、１フレーム前の処理画像データＩＭＧＤにおける一定画素領域ＩＭＧＲ１の画素データと差し替えてもよい。抽出したデータに対して画像処理を行うことで、対象物を含まない領域のデータに対しては画像処理を行う必要がない。これにより、撮像処理部１６４によるデータ処理の負荷をさらに軽減できる。
【０１０９】
Ｅ．変形例：
上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。その他、以下のような変形も可能である。
【０１１０】
Ｅ−１．第１変形例：
上記各実施形態において、対象物は特定の印の画像である印画像であってもよい。印画像としては、ＱＲコード（登録商標）やバーコードなどが挙げられる。撮像処理部１６４は、印画像を読み取って印画像に対応する虚像を画像表示部２０に表示させてもよい。例えば、第１処理モードＭ１で、物体が印画像であることを判別し、次に第２処理モードＭ２で印画像を読み取ってもよい。
【０１１１】
Ｅ−２．第２変形例：
上記各実施形態では、外景撮像用カメラ６１は単眼カメラであったが、ステレオカメラであってもよい。また、視線方向の検出は、第１内側カメラ６２と第２内側カメラ６４の撮像画像に基づいて行っていたが、これに限定されるものではなく、例えば、筋電センサーを用いて行ってもよい。
【０１１２】
Ｅ−３．第３変形例：
図２０は、第３変形例におけるＨＭＤの外観の構成を示す説明図である。図２０に示す例の場合、画像表示部２０ｘは、右光学像表示部２６に代えて右光学像表示部２６ｘを備え、左光学像表示部２８に代えて左光学像表示部２８ｘを備えている。右光学像表示部２６ｘと左光学像表示部２８ｘとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者Ｐｓの右眼および左眼の斜め上にそれぞれ配置されている。画像表示部２０ｘは、図示は省略しているが、上記第各実施形態と同様に、距離検出センサー６８、外景撮像用カメラ６１、９軸センサー６６、第１内側カメラ６２、第２内側カメラ６４などの上記各実施形態を実施するための構成を備えている。
【０１１３】
Ｅ−４．第４変形例：
図２１は、第４変形例におけるＨＭＤの外観の構成を示す説明図である。図２１に示す例の場合、画像表示部２０ｙは、右光学像表示部２６に代えて右光学像表示部２６ｙを備え、左光学像表示部２８に代えて左光学像表示部２８ｙを備えている。右光学像表示部２６ｙと左光学像表示部２８ｙとは、上記実施形態の光学部材よりも小さく形成され、ＨＭＤの装着時における使用者Ｐｓの右眼および左眼の斜め下にそれぞれ配置されている。画像表示部２０ｙは、図示は省略しているが、上記第各実施形態と同様に、距離検出センサー６８、外景撮像用カメラ６１、９軸センサー６６、第１内側カメラ６２、第２内側カメラ６４などの上記各実施形態を実施するための構成を備えている。このように、光学像表示部は使用者Ｐｓの眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者Ｐｓの眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者Ｐｓの眼を完全に覆わない態様のＨＭＤとして実現することもできる。
【０１１４】
Ｅ−５．第５変形例：
上記実施形態では、右導光板２６および左導光板２８が外光を透過する、いわゆる透過型のＨＭＤ１００について説明した。しかし、本発明は、例えば、外景を視認できない状態で画像を表示する、いわゆる非透過型のＨＭＤ１００に適用することもできる。また、これらのＨＭＤ１００では、上記実施形態で説明した実空間に重畳して画像を表示するＡＲ表示のほか、撮像した実空間の画像と仮想画像とを組み合わせて表示するＭＲ（Mixed Reality）表示、あるいは、仮想空間を表示するＶＲ（Virtual Reality）表示を行うこともできる。また本発明は、ＡＲ、ＭＲ、ＶＲ表示のいずれも行わない装置にも適用できる。
【０１１５】
Ｅ−６．第６変形例：
上記各実施形態におけるＨＭＤ１００の機能ブロック図は図３に示す構成であったが、上記に限定されるものではなく他の機能ブロック図であってもよい。以下に各実施形態とは異なる機能ブロックを有するＨＭＤ１００ａについて説明する。図２２は、ＨＭＤ１００ａの構成を機能的に示すブロック図である。上記実施形態のＨＭＤ１００の構成と同様の構成については同一符号を付すと共に説明を適宜省略する。
【０１１６】
制御装置１０ａは、プログラムを実行してＨＭＤ１００ａを制御するメインプロセッサー１４０ａと、記憶部と、入出力部と、センサー類と、インターフェイスと、電源部１３０ａとを備える。メインプロセッサー１４０ａには、これらの記憶部、入出力部、センサー類、インターフェイス、電源部１３０ａがそれぞれ接続されている。メインプロセッサー１４０ａは、制御装置１０ａが内蔵しているコントローラー基板１２０ａに実装されている。メインプロセッサー１４０ａは、上記各実施形態のＣＰＵ１４０と同様の処理を実行できる。例えば、メインプロセッサー１４０ａは、図４に示す機能部を少なくとも備える。
【０１１７】
記憶部には、メモリー１１８と、不揮発性記憶部１２１とが含まれている。メモリー１１８は、メインプロセッサー１４０ａによって実行されるコンピュータープログラム、および、処理されるデーターを一時的に記憶するワークエリアを構成する。不揮発性記憶部１２１は、フラッシュメモリーやｅＭＭＣ（embedded Multi Media Card）で構成される。不揮発性記憶部１２１は、メインプロセッサー１４０ａが実行するコンピュータープログラムや、メインプロセッサー１４０ａによって処理される各種のデーターを記憶する。不揮発性記憶部１２１には、図７に示す記憶部１２０が記憶するデータを少なくとも記憶する。本実施形態において、これらの記憶部はコントローラー基板１２０ａに実装されている。
【０１１８】
入出力部には、トラックパッド１４ａと、操作部１１０ａとが含まれている。操作部１１０ａには、例えばボタン１１と、ＬＥＤインジケーター１２ａと、十字キー１６とが含まれる。メインプロセッサー１４０ａは、これら各入出力部を制御すると共に、各入出力部から出力される信号を取得する。
【０１１９】
センサー類には、６軸センサー１１１と、磁気センサー１１３と、ＧＰＳ（Global Positioning System）１１５とが含まれている。６軸センサー１１１は、３軸加速度センサーと３軸ジャイロ（角速度）センサーとを備えるモーションセンサー（慣性センサー）である。６軸センサー１１１は、これらセンサーがモジュール化されたＩＭＵ（Inertial Measurement Unit）を採用してもよい。磁気センサー１１３は、例えば、３軸の地磁気センサーである。ＧＰＳ受信部１１５は、図示しないＧＰＳアンテナを備え、ＧＰＳ衛星から送信される無線信号を受信して、制御装置１０ａの現在位置の座標を検出する。これらセンサー類（６軸センサー１１１、磁気センサー１１３、ＧＰＳ１１５）は、検出値を予め指定されたサンプリング周波数に従って、メインプロセッサー１４０ａへと出力する。各センサーが検出値を出力するタイミングは、メインプロセッサー１４０ａからの指示に応じてもよい。
【０１２０】
インターフェイスには、無線通信部１１７と、音声コーデック１８１と、外部コネクター１８４と、外部メモリーインターフェイス１８６と、ＵＳＢ（Universal Serial Bus）コネクター１８８と、センサーハブ１９２と、ＦＰＧＡ１９４と、インターフェイス１９６とが含まれている。これらは、外部とのインターフェイスとして機能する。無線通信部１１７は、ＨＭＤ１００ａと外部機器との間における無線通信を実行する。無線通信部１１７は、図示しないアンテナ、ＲＦ回路、ベースバンド回路、通信制御回路等を備えて構成され、あるいはこれらが統合されたデバイスとして構成されている。無線通信部１１７は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉを含む無線ＬＡＮ等の規格に準拠した無線通信を行う。
【０１２１】
音声コーデック１８１は、音声インターフェイス１８２に接続され、音声インターフェイス１８２を介して入出力される音声信号のエンコード／デコードを行う。また、音声コーデック１８１は、マイクや右イヤホン３２や左イヤホン３４を備えるヘッドセットを介して入出力される音声を加工処理する機能を備えていてもよい。さらに、音声コーデック１８１は、内蔵されているヘッドセットを介して入出力される音声信号について、アナログ音声信号からデジタル音声データーへの変換を行うＡ／Ｄコンバーター、および、その逆の変換を行うＤ／Ａコンバーターを備えてもよい。Ａ／Ｄコンバーターは、マイク（図示せず）を介して入力されるアナログ音声信号を、デジタル音声データーに変換してメインプロセッサー１４０ａへ出力する。Ｄ／Ａコンバーターは、メインプロセッサー１４０ａから出力されるデジタル音声データーをアナログ音声信号に変換して、右イヤホン３２および左イヤホン３４（図１）へと出力する。音声インターフェイス１８２は、ヘッドセットとの間で、音声信号を入出力するインターフェイスである。
【０１２２】
外部コネクター１８４は、メインプロセッサー１４０ａに対して、メインプロセッサー１４０ａと通信する外部装置（例えば、パーソナルコンピューター、スマートフォン、ゲーム機器等）を接続するためのコネクターである。外部コネクター１８４に接続された外部装置は、コンテンツの供給元となり得るほか、メインプロセッサー１４０ａが実行するコンピュータープログラムのデバッグや、ＨＭＤ１００ａの動作ログの収集に使用できる。外部コネクター１８４は種々の態様を採用できる。外部コネクター１８４としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスや、無線ＬＡＮインターフェイス、Ｂｌｕｅｔｏｏｔｈインターフェイス等の無線接続に対応したインターフェイスを採用できる。
【０１２３】
外部メモリーインターフェイス１８６は、可搬型のメモリーデバイスを接続可能なインターフェイスである。外部メモリーインターフェイス１８６は、例えば、カード型記録媒体を装着してデーターの読み書きを行うメモリーカードスロットと、インターフェイス回路とを含む。カード型記録媒体のサイズ、形状、規格等は適宜選択できる。ＵＳＢコネクター１８８は、ＵＳＢ規格に準拠したメモリーデバイス、スマートフォン、パーソナルコンピューター等を接続可能なインターフェイスである。ＵＳＢコネクター１８８は、例えば、ＵＳＢ規格に準拠したコネクターと、インターフェイス回路とを含む。ＵＳＢコネクター１８８のサイズ、形状、ＵＳＢ規格のバージョン等は適宜選択できる。
【０１２４】
また、ＨＭＤ１００ａは、バイブレーター１９を備える。バイブレーター１９は、図示しないモーターと、偏芯した回転子等を備え、メインプロセッサー１４０ａの制御に従って振動を発声する。ＨＭＤ１００ａは、例えば、操作部１１０ａに対する操作を検出した場合や、ＨＭＤ１００ａの電源がオンオフされた場合等に予め定められた振動パターンでバイブレーター１９により振動を発生させる。
【０１２５】
センサーハブ１９２およびＦＰＧＡ１９４は、インターフェイス（Ｉ／Ｆ）１９６を介して画像表示部２０ａに接続されている。センサーハブ１９２は、画像表示部２０ａが備える各種センサーの検出値を取得して、メインプロセッサー１４０ａに出力する。ＦＰＧＡ１９４は、メインプロセッサー１４０ａと画像表示部２０ａの各部との間で送受信されるデーターの処理およびインターフェイス１９６を介した伝送を実行する。インターフェイス１９６は、画像表示部２０ａの右表示ユニット２２ａと、左表示ユニット２４ａとに対してそれぞれ接続されている。本実施形態の例では、左保持部２３に接続ケーブル４０が接続され、この接続ケーブル４０に繋がる配線が画像表示部２０ａ内部に敷設され、右表示ユニット２２ａと左表示ユニット２４ａとのそれぞれが、制御装置１０ａのインターフェイス１９６に接続される。
【０１２６】
電源部１３０ａは、制御装置１０ａが動作するための電力を供給する。バッテリー１３６は、充電可能な電池である。電源制御回路１３５は、バッテリー１３６の残容量の検出と、ＯＳ１４３への充電の制御を行う。電源制御回路１３５は、メインプロセッサー１４０ａに接続され、バッテリー１３６の残容量の検出値や、バッテリー１３６の電圧の検出値をメインプロセッサー１４０ａへと出力する。なお、電源部１３０ａが供給する電力に基づいて、制御装置１０ａから画像表示部２０ａへと電力を供給してもよい。電源部１３０ａから制御装置１０ａの各部および画像表示部２０ａへの電力の供給状態を、メインプロセッサー１４０ａにより制御可能な構成としてもよい。
【０１２７】
右表示ユニット２２ａは、表示ユニット基板２１０ａと、ＯＬＥＤユニット２２１ａと、外景撮像用カメラ６１と、第１内側カメラ６２と、照度センサー６５ａと、ＬＥＤインジケーター６７ａと、温度センサー２１７ａと、距離検出センサー６８と、を備える。表示ユニット基板２１０ａには、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２１１ａと、受信部（Ｒｘ）２１３ａと、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）２１５ａとが実装されている。受信部２１３ａは、インターフェイス２１１ａを介して制御装置１０ａから入力されるデーターを受信する。受信部２１３ａは、ＯＬＥＤユニット２２１ａで表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路へと出力する。
【０１２８】
ＥＥＰＲＯＭ２１５ａは、各種のデーターをメインプロセッサー１４０ａが読み取り可能な態様で記憶する。ＥＥＰＲＯＭ２１５ａは、例えば、画像表示部２０ａのＯＬＥＤユニット２２１ａ、２４１ａの発光特性や表示特性に関するデーター、右表示ユニット２２ａまたは左表示ユニット２４ａのセンサー特性に関するデーター等を記憶する。具体的には、例えば、ＯＬＥＤユニット２２１ａ、２４１ａのガンマ補正に係るパラメーター、後述する温度センサー２１７ａ、２３９ａの検出値を補償するデーター等を記憶する。これらのデーターは、ＨＭＤ１００ａの工場出荷時の検査によって生成され、ＥＥＰＲＯＭ２１５ａに書き込まれる。出荷後は、メインプロセッサー１４０ａがＥＥＰＲＯＭ２１５ａのデーターを読み込んで各種の処理に利用する。
【０１２９】
外景撮像用カメラ６１は、インターフェイス２１１ａを介して入力される信号に従って撮像を実行し、撮像画像データーあるいは撮像結果を表す信号を制御装置１０ａへと出力する。照度センサー６５ａは、画像表示部２０ａを装着する使用者の前方からの外光を受光するように配置される。照度センサー６５ａは、受光量（受光強度）に対応した検出値を出力する。ＬＥＤインジケーター６７ａは、外景撮像用カメラ６１の近傍に配置される。ＬＥＤインジケーター６７ａは、外景撮像用カメラ６１による撮像を実行中に点灯して、撮像中であることを報知する。
【０１３０】
温度センサー２１７ａは、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２１７ａは、ＯＬＥＤパネル（図示せず）の裏面側に実装される。温度センサー２１７ａは、例えばＯＬＥＤ駆動回路と同一の基板に実装されてもよい。この構成により、温度センサー２１７ａは主としてＯＬＥＤパネルの温度を検出する。なお、温度センサー２１７ａは、ＯＬＥＤパネルあるいはＯＬＥＤ駆動回路に内蔵されてもよい。例えば、ＯＬＥＤパネルがＳｉ−ＯＬＥＤとしてＯＬＥＤ駆動回路と共に統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー２１７ａを実装してもよい。
【０１３１】
左表示ユニット２４ａは、表示ユニット基板２３０ａと、ＯＬＥＤユニット２４１ａと、温度センサー２３９ａと、第２内側カメラ６４と、を備える。表示ユニット基板２３０ａには、インターフェイス１９６に接続されるインターフェイス（Ｉ／Ｆ）２３１ａと、受信部（Ｒｘ）２３３ａと、６軸センサー２３５ａと、磁気センサー２３７ａとが実装されている。受信部２３３ａは、インターフェイス２３１ａを介して制御装置１０ａから入力されるデーターを受信する。受信部２３３ａは、ＯＬＥＤユニット２４１ａで表示する画像の画像データーを受信した場合に、受信した画像データーをＯＬＥＤ駆動回路（図示せず）へと出力する。
【０１３２】
６軸センサー２３５ａは、３軸加速度センサーおよび３軸ジャイロ（角速度）センサーを備えるモーションセンサー（慣性センサー）である。６軸センサー２３５ａは、上記のセンサーがモジュール化されたＩＭＵを採用してもよい。磁気センサー２３７ａは、例えば、３軸の地磁気センサーである。温度センサー２３９ａは、温度を検出し、検出した温度に対応する電圧値あるいは抵抗値を出力する。温度センサー２３９ａは、ＯＬＥＤパネル（図示せず）の裏面側に実装される。温度センサー２３９ａは、例えばＯＬＥＤ駆動回路と同一の基板に実装されてもよい。この構成により、温度センサー２３９ａは主としてＯＬＥＤパネルの温度を検出する。温度センサー２３９ａは、ＯＬＥＤパネルあるいはＯＬＥＤ駆動回路に内蔵されてもよい。詳細は温度センサー２１７ａと同様である。
【０１３３】
右表示ユニット２２ａの外景撮像用カメラ６１、照度センサー６５ａ、温度センサー２１７ａと、左表示ユニット２４ａの６軸センサー２３５ａ、磁気センサー２３７ａ、温度センサー２３９ａは、制御装置１０ａのセンサーハブ１９２に接続される。センサーハブ１９２は、メインプロセッサー１４０ａの制御に従って各センサーのサンプリング周期の設定および初期化を行う。センサーハブ１９２は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データーの送信、検出値の取得等を実行する。センサーハブ１９２は、予め設定されたタイミングで、右表示ユニット２２ａおよび左表示ユニット２４ａが備える各センサーの検出値をメインプロセッサー１４０ａへ出力する。ＦＰＧＡ１９４は、各センサーの検出値を一時的に保持するキャッシュ機能を備えてもよい。センサーハブ１９２は、各センサーの検出値の信号形式やデーター形式の変換機能（例えば、統一形式への変換機能）を備えてもよい。ＦＰＧＡ１９４は、メインプロセッサー１４０ａの制御に従ってＬＥＤインジケーター６７ａへの通電を開始および停止させることで、ＬＥＤインジケーター６７ａを点灯または消灯させる。
【０１３４】
Ｅ−７．第７変形例：
本発明は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１３５】
１…表示システム、１０…制御部、１０ａ…制御装置、１１…ボタン、１２…点灯部、１２ａ…ＬＥＤインジケーター、１４…タッチパッド、１４ａ…トラックパッド、１６…十字キー、１８…電源スイッチ、１９…バイブレーター、２０，２０ａ，２０ｘ，２０ｙ…画像表示部、２１…右保持部、２２…右表示駆動部、２２ａ…右表示ユニット、２３…左保持部、２４…左表示駆動部、２４ａ…左表示ユニット、２６，２６ｘ，２６ｙ…右光学像表示部、２７…前部フレーム、２８，２８ｘ，２８ｙ…左光学像表示部、３０…イヤホンプラグ、３２…右イヤホン、３４…左イヤホン、４０…接続部（接続ケーブル）、４２…右コード、４４…左コード、４６…連結部材、４８…本体コード、５１…送信部、５２…送信部、５３…受信部、６０…サーバー、６１…外景撮像用カメラ、６２…第１内側カメラ、６４…第２内側カメラ、６５ａ…照度センサー、６６…９軸センサー、６７ａ…ＬＥＤインジケーター、６８…距離検出センサー、１００…表示システム、１１０…入力情報取得部、１１０ａ…操作部、１１１…６軸センサー、１１３…磁気センサー、１１５…ＧＰＳ受信部、１１７…無線通信部、１１８…メモリー、１２０…記憶部、１２０ａ…コントローラー基板、１２１…不揮発性記憶部、１２２…コンテンツデータ、１２４…コンテンツ対応テーブル、１２６…閾値データ、１２７…第１閾値、１２８…第２閾値、１２９…対象物データ、１３０…電源、１３０ａ…電源部、１３２…無線通信部、１３４…ＧＰＳモジュール、１３５…電源制御回路、１３６…バッテリー、１４０…ＣＰＵ、１４０ａ…メインプロセッサー、１６０…画像処理部、１６２…画像表示制御部、１６４…撮像処理部、１６６…対象物判別部、１７０…音声処理部、１７２…物体検出部、１７３…頭部動き検出部、１７６…視線方向検出部、１７８…対象物動き検出部、１８０…インターフェイス、１８１…音声コーデック、１８２…音声インターフェイス、１８４…外部コネクター、１８６…外部メモリーインターフェイス、１８８…ＵＳＢコネクター、１９２…センサーハブ、１９６…インターフェイス、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２１３ａ…受信部、２１５ａ…ＥＥＰＲＯＭ、２１７ａ…温度センサー、２２１…右バックライト、２２１ａ…ＯＬＥＤユニット、２２２…左バックライト、２３０ａ…表示ユニット基板、２３１ａ…インターフェイス、２３３ａ…受信部、２３５ａ…６軸センサー、２３７ａ…磁気センサー、２３９ａ…温度センサー、２４１ａ…ＯＬＥＤユニット、２５０…ＰＣ、２５１…右投写光学系、２５２…左投写光学系、２５８…表示部、２６１，２８１…ハーフミラー、６０１…作業台、６０２、６０４、６０５…製品、ＥＤ…視線方向、ＥＬ…端部、ＥＲ…端部、ＩＭＧＤ…処理画像データ、ＩＭＧＲ１…一定画素領域、ＩＭＧＲ２…画素領域、ＩＮＴ…インターネット、ＬＥ…左眼、Ｐｓ…使用者、ＲＥ…右眼、ＳＣ…外景、ＶＲ…視野、ｈｄ…手（対象物）
【図１】
2018085595.tif 000003
【図２】
2018085595.tif 000004
【図３】
2018085595.tif 000005
【図４】
2018085595.tif 000006
【図５】
2018085595.tif 000007
【図６】
2018085595.tif 000008
【図７】
2018085595.tif 000009
【図８】
2018085595.tif 000010
【図９】
2018085595.tif 000011
【図１０】
2018085595.tif 000012
【図１１】
2018085595.tif 000013
【図１２】
2018085595.tif 000014
【図１３】
2018085595.tif 000015
【図１４】
2018085595.tif 000016
【図１５】
2018085595.tif 000017
【図１６】
2018085595.tif 000018
【図１７】
2018085595.tif 000019
【図１８】
2018085595.tif 000020
【図１９】
2018085595.tif 000021
【図２０】
2018085595.tif 000022
【図２１】
2018085595.tif 000023
【図２２】
2018085595.tif 000024