(57)【要約】【課題】使用者が表示装置を装着して、画像と、表示装置の外景を見る場合に、表示装置の表示画像が見える範囲と外景が見える範囲との不整合に起因する問題を防止する。【解決手段】頭部装着型表示装置１００は、頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、画像表示部２０を透過して視認される外景を含む外景画像を取得し、取得した外景画像に基づいて、画像表示部２０を透過して視認される対象を認識し、対象に関する情報を画像表示部２０に表示する制御部１４０を備える。【選択図】図４
2016224086.tif 000002
【特許請求の範囲】
【請求項１】
外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、
前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
を備えることを特徴とする表示装置。
【請求項２】
前記制御部は、前記対象が前記表示部において前記情報が表示される範囲の外にある場合に、前記表示部により、視線を前記対象へ誘導する誘導表示を行うこと、
を特徴とする請求項１記載の表示装置。
【請求項３】
前記制御部は、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認可能な範囲の外景の画像を、前記表示部に表示すること、
を特徴とする請求項１または２記載の表示装置。
【請求項４】
前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記画像を表示する第１表示部と、前記第１表示部よりも外景側において前記第１表示部よりも広い範囲で視認される画像を表示する第２表示部と、を備え、
前記制御部は、前記第２表示部により、視線を前記対象へ誘導する誘導表示を行うこと、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項５】
前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、
前記使用者の視線を検出する視線検出部を備え、
前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、
を特徴とする請求項１から４のいずれかに記載の表示装置。
【請求項６】
前記制御部は、前記外景画像取得部が取得する外景画像の一部領域を前記表示部に表示し、前記視線検出部が検出する前記使用者の視線の方向に対応して、前記外景画像において前記表示部に表示する一部領域の位置を変化させること、
を特徴とする請求項５記載の表示装置。
【請求項７】
前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、
前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、
を特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記外景画像取得部は、前記撮像部が撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、
を特徴とする請求項７記載の表示装置。
【請求項９】
複数の前記撮像部を備え、
前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、
を特徴とする請求項７または８記載の表示装置。
【請求項１０】
外部機器に接続する接続部を備え、
前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、
を特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項１１】
現在位置を検出する位置検出部を備え、
前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、
を特徴とする請求項１０記載の表示装置。
【請求項１２】
前記制御部は、前記外景画像取得部が取得した前記外景画像から前記対象の画像を抽出することにより、前記対象を認識すること、
を特徴とする請求項１から１１のいずれかに記載の表示装置。
【請求項１３】
使用者の頭部に装着される表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示する表示領域を有する表示部と、
前記表示領域を透過して視認できる範囲の外に位置する対象を認識し、前記対象に関する情報を出力する制御部と、
を備えることを特徴とする表示装置。
【請求項１４】
前記制御部は、前記対象が前記表示部を透過して視認できる範囲の外にある場合に、前記使用者を、前記対象を視認可能な状態に誘導する前記情報を出力すること、
を特徴とする請求項１３記載の表示装置。
【請求項１５】
前記制御部は、前記対象が前記表示部において前記表示領域の外側を透過して視認される場合に、前記使用者を、前記表示領域を透過して前記対象を視認可能な状態に誘導する前記情報を出力すること、
を特徴とする請求項１３記載の表示装置。
【請求項１６】
前記制御部は、前記情報を構成する文字及び／又は画像を前記表示部の表示領域に表示すること、
を特徴とする請求項１３から１５のいずれかに記載の表示装置。
【請求項１７】
音を出力する音出力部を備え、
前記制御部は、前記情報を構成する音を前記音出力部により出力すること、
を特徴とする請求項１３から１６のいずれかに記載の表示装置。
【請求項１８】
前記制御部は、前記対象の位置を示す位置情報を取得し、取得した前記位置情報に基づいて、前記使用者が前記表示領域を透過して視認する範囲と前記対象との相対位置を求めて前記情報を出力すること、
を特徴とする請求項１３から１７のいずれかに記載の表示装置。
【請求項１９】
前記制御部は、前記外景を撮像した外景画像を取得し、取得した前記外景画像に基づいて、前記使用者が前記表示領域を透過して視認する範囲と前記対象との相対位置を求めて前記情報を出力すること、
を特徴とする請求項１３から１８のいずれかに記載の表示装置。
【請求項２０】
外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、
前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、
を特徴とする表示装置の制御方法。
【請求項２１】
外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備えた表示装置を制御するコンピューターを、
前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、
前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、
して機能させるプログラム。
【請求項２２】
外景を透過し、前記外景とともに視認できるように画像を表示する表示領域を有する表示部を備えた表示装置を制御するコンピューターを、
前記表示領域を透過して視認できる範囲の外に位置する対象を認識し、前記対象に関する情報を出力する制御部と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置が知られている（例えば、特許文献１参照）。この種の表示装置は、例えば特許文献１に記載されたように、現実の空間に関連した表示を行う用途に使用されるが、装着者に、表示する内容と現実の空間との位置関係の食い違いを感じさせるという課題があった。この課題に対し、特許文献１には、使用者の頭部の動きの変化を検出して表示を補正する構成が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２１３４０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１記載の構成では、ＨＭＤを装着中は、使用者は表示画像を見るが、その外界を見ることはない。このため、特許文献１の構成では、使用者の前庭反射の運動感覚と表示の食い違いを防止する。
ところで、使用者がＨＭＤの画像を視認する間に、ＨＭＤの外の外景を視認できる構成を考えると、ＨＭＤの表示画像と外景の見え方が異なるという課題がある。すなわち、ＨＭＤを装着する使用者にとって、表示画像を視認する範囲が、外景が見える範囲と一致することは少ない。例えば、表示画像が、外景が見える範囲に比べて小さい範囲にしか見えないという事態が起こり得る。このような構成で効果的な表示を行うための手法が望まれていた。
本発明は上記事情に鑑みてなされたものであり、使用者が表示装置を装着して、画像と、表示装置の外景を見る場合に、表示装置の表示画像が見える範囲と外景が見える範囲との不整合に起因する問題を防止することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の表示装置は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部と、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、を備えることを特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。
【０００６】
また、本発明は、上記表示装置において、前記制御部は、前記対象が前記表示部において前記情報が表示される範囲の外にある場合に、前記表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。
【０００７】
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認可能な範囲の外景の画像を、前記表示部に表示すること、を特徴とする。
本発明によれば、使用者が視認する外景の画像の見え方を変化させることができる。
【０００８】
また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記画像を表示する第１表示部と、前記第１表示部よりも外景側において前記第１表示部よりも広い範囲で視認される画像を表示する第２表示部と、を備え、前記制御部は、前記第２表示部により、視線を前記対象へ誘導する誘導表示を行うこと、を特徴とする。
本発明によれば、頭部装着型の表示装置が２つの表示部で表示を行う場合に、使用者が視認する外景と表示画像との不整合を防ぐことができる。また、使用者に表示画像を視認させた状態で、使用者の視線を表示画像の外に誘導できる。
【０００９】
また、本発明は、上記表示装置において、前記表示部は、使用者の頭部に装着される頭部装着型の表示部であり、前記使用者の視線を検出する視線検出部を備え、前記制御部は、前記視線検出部が検出する前記使用者の視線の方向に対応して前記表示部の表示を変化させること、を特徴とする。
本発明によれば、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。
【００１０】
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得する外景画像の一部領域を前記表示部に表示し、前記視線検出部が検出する前記使用者の視線の方向に対応して、前記外景画像において前記表示部に表示する一部領域の位置を変化させること、を特徴とする。
本発明によれば、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。
【００１１】
また、本発明は、上記表示装置において、前記表示部を透過して視認される外景を含む範囲を撮像する撮像部を備え、前記外景画像取得部は、前記撮像部の撮像画像を前記外景画像として取得すること、を特徴とする。
本発明によれば、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。
【００１２】
また、本発明は、上記表示装置において、前記外景画像取得部は、前記撮像部が撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、撮像部の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。
【００１３】
また、本発明は、上記表示装置において、複数の前記撮像部を備え、前記外景画像取得部は、複数の前記撮像部がそれぞれ撮像した複数の撮像画像を取得して合成することにより前記外景画像を生成すること、を特徴とする。
本発明によれば、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。
【００１４】
また、本発明は、上記表示装置において、外部機器に接続する接続部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から前記外景画像を取得すること、を特徴とする。
本発明によれば、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。
【００１５】
また、本発明は、上記表示装置において、現在位置を検出する位置検出部を備え、前記外景画像取得部は、前記接続部に接続する前記外部機器から、前記位置検出部が検出する現在位置に対応する前記外景画像を取得すること、を特徴とする。
本発明によれば、表示装置の位置に対応する外景画像を取得できる。
【００１６】
また、本発明は、上記表示装置において、前記制御部は、前記外景画像取得部が取得した前記外景画像から前記対象の画像を抽出することにより、前記対象を認識すること、を特徴とする。
本発明によれば、外景画像を用いて対象の位置を速やかに検出できる。
ここで、制御部は、外景画像から、予め設定された対象の画像を検出し、検出した画像の外景画像における位置を特定することで、対象を認識してもよい。また、制御部には、予め、認識する対象が設定されてもよく、この対象に関するデータが、予め記憶部に記憶されてもよい。ここで記憶されるデータは、対象を検出し認識するためのデータであり、例えば、対象の画像の特徴量等である。例えば、対象が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、制御部は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、予め記憶されたデータに含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体と、対象とが一致したと判定でき、この物体を対象として認識する。また、対象について複数の特徴量のデータが記憶される場合、制御部は、複数の特徴量に基づき外景画像から対象を認識してもよい。また、制御部は、対象までの距離を検出する距離検出部を利用して、対象までの距離を検出し、検出した距離に基づき対象を認識してもよい。また、外景画像から対象を認識する方法としては、外景画像を取得して特徴量に基づく処理を行うだけでなく、表示装置を使用する人間（使用者）の指示により、外景画像に含まれる物体等から対象を選択してもよい。この場合、使用者の指示は、音声による指示であってもよいし、表示装置が備える操作部に対する指等の操作であってもよい。また、表示装置がジェスチャー操作を認識する機構を備える場合に、使用者がジェスチャー操作によって対象を指定し、指定された対象を外景から認識してもよい。
【００１７】
また、上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着される表示装置であって、外景を透過し、前記外景とともに視認できるように画像を表示する表示領域を有する表示部と、前記表示領域を透過して視認できる範囲の外に位置する対象を認識し、前記対象に関する情報を出力する制御部と、を備えることを特徴とする。
本発明によれば、使用者を注目させる対象が、表示領域に重なって視認できる位置にない場合であっても、この対象に関する情報を使用者に提供できる。
【００１８】
また、本発明は、上記表示装置において、前記制御部は、前記対象が前記表示部を透過して視認できる範囲の外にある場合に、前記使用者を、前記対象を視認可能な状態に誘導する前記情報を出力すること、を特徴とする。
本発明によれば、使用者を注目させる対象が、表示部を透過して使用者が視認できる位置にない場合に、対象に関する情報を出力できる。このため、例えば使用者の視線を対象に向けて誘導することができる。
【００１９】
また、本発明は、上記表示装置において、前記制御部は、前記対象が前記表示部において前記表示領域の外側を透過して視認される場合に、前記使用者を、前記表示領域を透過して前記対象を視認可能な状態に誘導する前記情報を出力すること、を特徴とする。
本発明によれば、使用者を注目させる対象が、表示部を透過して使用者が視認できる位置にあり、表示領域に重なって視認される位置にない場合に、使用者の視線を誘導して、対象を視認させることができる。
【００２０】
本発明において、前記制御部は、前記情報を構成する文字及び／又は画像を前記表示部の表示領域に表示してもよい。また、本発明において、音を出力する音出力部を備え、前記制御部は、前記情報を構成する音を前記音出力部により出力してもよい。
【００２１】
また、本発明は、上記表示装置において、前記制御部は、前記対象の位置を示す位置情報を取得し、取得した前記位置情報に基づいて、前記使用者が前記表示領域を透過して視認する範囲と前記対象との相対位置を求めて前記情報を出力すること、を特徴とする。
本発明によれば、対象の位置にかかわらず、対象の位置に対応して情報を出力して、例えば使用者を対象の方向を向くように誘導できる。このため、例えば、対象の位置が、表示装置から対象を撮像し、或いは視認できる位置でなくても、情報を出力できる。
【００２２】
また、本発明は、上記表示装置において、前記制御部は、前記外景を撮像した外景画像を取得し、取得した前記外景画像に基づいて、前記使用者が前記表示領域を透過して視認する範囲と前記対象との相対位置を求めて前記情報を出力すること、を特徴とする。
本発明によれば、使用者が視認する外景における対象の位置に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。
【００２３】
また、上記目的を達成するために、本発明の表示装置の制御方法は、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備える表示装置を制御して、前記表示部を透過して視認される外景を含む外景画像を取得し、取得した前記外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示すること、を特徴とする。
本発明によれば、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。
【００２４】
上記目的を達成するために、本発明のプログラムは、外景を透過し、前記外景とともに視認できるように画像を表示する表示部を備えた表示装置を制御するコンピューターを、前記表示部を透過して視認される外景を含む外景画像を取得する外景画像取得部と、前記外景画像取得部が取得する外景画像に基づいて、前記表示部を透過して視認される対象を認識し、前記対象に関する情報を前記表示部に表示する制御部と、して機能させる。
本発明によれば、表示装置を制御して、外景画像に基づいて表示部を透過して視認される対象を認識するので、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景に対応した、効果的な表示を行うことができる。
【００２５】
上記目的を達成するために、本発明のプログラムは、外景を透過し、前記外景とともに視認できるように画像を表示する表示領域を有する表示部を備えた表示装置を制御するコンピューターを、前記表示領域を透過して視認できる範囲の外に位置する対象を認識し、前記対象に関する情報を出力する制御部と、して機能させる。
本発明によれば、使用者を注目させる対象が、表示領域に重なって視認できる位置にない場合であっても、この対象に関する情報を使用者に提供できる。
【図面の簡単な説明】
【００２６】
【図１】第１実施形態の頭部装着型表示装置の外観構成を示す説明図。
【図２】画像表示部の光学系の構成を示す図。
【図３】画像表示部の要部構成を示す図。
【図４】頭部装着型表示装置を構成する各部の機能ブロック図。
【図５】第１実施形態の頭部装着型表示装置の動作を示すフローチャート。
【図６】外景画像取得処理の第１の態様を示すフローチャート。
【図７】外景画像取得処理の第２の態様に係る撮像処理を示すフローチャート。
【図８】外景画像取得処理の第２の態様を示すフローチャート。
【図９】外景画像取得処理の第３の態様を示すフローチャート。
【図１０】頭部装着型表示装置の表示例を示す図であり、（Ａ）は使用者の視野を示し、（Ｂ）は外景画像の例を示し、（Ｃ）は誘導画像の表示例を示す。
【図１１】頭部装着型表示装置の表示例を示す図であり、（Ａ）は縮小表示の例を示し、（Ｂ）は注視方向を検出する例を示し、（Ｃ）は注視方向を拡大した表示例を示す。
【図１２】第２実施形態の頭部装着型表示装置の動作を示すフローチャート。
【図１３】頭部装着型表示装置の誘導動作の具体例を示す図であり、（Ａ）は画像による誘導動作の例を示し、（Ｂ）は画像とテキストによる誘導動作の例を示す。
【図１４】頭部装着型表示装置の誘導動作の具体例を示す図。
【図１５】頭部装着型表示装置の誘導動作の具体例を示す図であり、（Ａ）はマーカーを操作対象とする例を示し、（Ｂ）はマーカーに対する操作例を示し、（Ｃ）はマーカーに対する操作の別の例を示す。
【図１６】第３実施形態の頭部装着型表示装置の動作を示すフローチャート。
【図１７】頭部装着型表示装置の表示例を示す図であり、（Ａ）は使用者の視野を示し、（Ｂ）は外景画像の例を示し、（Ｃ）は外景画像の表示例を示す。
【図１８】第４実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。
【図１９】第４実施形態の画像表示部の光学系の構成を示す図。
【図２０】頭部装着型表示装置の動作を示すフローチャート。
【図２１】頭部装着型表示装置の表示例を示す図であり、（Ａ）は右透明ＬＣＤ、左透明ＬＣＤの表示の例を示し、（Ｂ）はハーフミラーによる表示の例を示し、（Ｃ）は表示が重なった状態を示す。
【発明を実施するための形態】
【００２７】
［第１実施形態］
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。
【００２８】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、右カメラ６１（撮像部）と、左カメラ６２（撮像部）と、マイク６３と、距離センサー６４とを備える。右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
【００２９】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００３０】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００３１】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図２〜図４を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
【００３２】
右カメラ６１は、頭部装着型表示装置１００の前面において右保持部２１側の端部に配置される。また、左カメラ６２は、頭部装着型表示装置１００の前面において左保持部２３側の端部に配置される。右カメラ６１、左カメラ６２は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
右カメラ６１及び左カメラ６２は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。右カメラ６１及び左カメラ６２の画角の広さは適宜設定可能であるが、本実施形態では、後述するように、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む画角である。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるように右カメラ６１、左カメラ６２の撮像範囲が設定されているとより好ましい。
右カメラ６１及び左カメラ６２は、制御部１４０が備える画像取得部１６１（図３）の制御に従って撮像を実行し、撮像画像データを画像取得部１６１に出力する。
【００３３】
距離センサー６４は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、距離センサー６４の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。
距離センサー６４は、予め設定された測定方向に位置する測定対象物までの距離を検出する。距離センサー６４は、例えば、ＬＥＤやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有する。この場合、距離センサー６４は、後述する位置検出部１６２の制御に従い、三角測距処理や時間差に基づく測距処理を実行する。また、距離センサー６４は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成としてもよい。この場合、距離センサー６４は、後述する位置検出部１６２の制御に従い、超音波の反射までの時間差に基づき測距処理を実行する。なお、距離センサー６４は光源や受光部、或いは音源と検出部とを備え、測距処理を位置検出部１６２が行ってもよい。
本実施形態の距離センサー６４の測定方向は、頭部装着型表示装置１００の表側方向であり、右カメラ６１及び左カメラ６２の撮像方向と重複する。
【００３４】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、ＬＥＤ等の光源と拡散板とを有する左バックライト２２２、左バックライト２２２の拡散板から発せられる光の光路上に配置される透過型の左ＬＣＤ２４２、および、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備えた左投写光学系２５２を備える。左ＬＣＤ２４２は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００３５】
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａ（反射面）が形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００３６】
右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、ＬＥＤ等の光源と拡散板とを有する右バックライト２２１、右バックライト２２１の拡散板から発せられる光の光路上に配置される透過型の右ＬＣＤ２４１、および、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備えた右投写光学系２５１を備える。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００３７】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａ（反射面）が形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００３８】
使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。
【００３９】
なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００４０】
画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
【００４１】
連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。
【００４２】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図４）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００４３】
右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。
【００４４】
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。
【００４５】
制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。
【００４６】
決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
【００４７】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。
【００４８】
図３は、画像表示部２０の要部構成を示す図であり、（Ａ）は画像表示部２０を使用者の頭部側から見た要部斜視図、（Ｂ）は右カメラ６１及び左カメラ６２の画角の説明図である。なお、図３（Ａ）では画像表示部２０に繋がる右コード４２、左コード４４等の図示を省略する。
【００４９】
図３（Ａ）は、画像表示部２０の使用者の頭部に接する側、言い換えれば使用者の右眼ＲＥ及び左眼ＬＥに見える側である。別の言い方をすれば、右光学像表示部２６及び左光学像表示部２８の裏側が見えている。
この図３（Ａ）では、使用者の右眼ＲＥに画像光を照射するハーフミラー２６１Ａ、及び、左眼ＬＥに画像光を照射するハーフミラー２６２Ａが、略四角形の領域として見える。また、ハーフミラー２６１Ａ、２６２Ａを含む右光学像表示部２６及び左光学像表示部２８の全体が、上述したように外光を透過する。このため、使用者には、右光学像表示部２６及び左光学像表示部２８の全体を透過して外景が視認され、ハーフミラー２６１Ａ、２６２Ａの位置に矩形の表示画像が視認される。
【００５０】
右カメラ６１は、上記のように右保持部２１側の端部に、画像表示部２０の前方を向いて配置され、左カメラ６２は、左保持部２３側の端部に配置される。また、距離センサー６４は、右光学像表示部２６と左光学像表示部２８との中央において、前方を向いて配置される。
図３（Ｂ）は、右カメラ６１、左カメラ６２、及び距離センサー６４の位置を、使用者の右眼ＲＥ及び左眼ＬＥとともに平面視で模式的に示す図である。右カメラ６１の画角（撮像範囲）をＣＲ、左カメラ６２の画角（撮像範囲）をＣＬで示す。なお、図３（Ｂ）には水平方向の画角ＣＲ、ＣＬを示すが、右カメラ６１及び左カメラ６２の実際の画角は、一般的なデジタルカメラと同様に上下方向に拡がる。
【００５１】
画角ＣＲと画角ＣＬとは、画像表示部２０の中央位置に対してほぼ左右対称であり、画角ＣＲと画角ＣＬは、いずれも画像表示部２０の中央位置の真正面方向を含む。このため、画像表示部２０の中央位置の正面で、画角ＣＲ、ＣＬが重なる。
例えば、図３（Ｂ）に示すように、画像表示部２０の正面方向に対象ＯＢがある場合、対象ＯＢは画角ＣＲ及び画角ＣＬのどちらにも含まれる。このため、右カメラ６１の撮像画像と、左カメラ６２の撮像画像のいずれも、対象ＯＢが写る。ここで、使用者が対象ＯＢを注視すると、使用者の視線は、図中符号ＲＤ、ＬＤに示すように対象ＯＢに向けられる。一般に、人間の視野角は水平方向におよそ２００度、垂直方向におよそ１２５度とされ、そのうち情報受容能力に優れる有効視野は水平方向に３０度、垂直方向に２０度程度である。さらに、人間が注視する注視点が迅速に安定して見える安定注視野は、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度とされている。
従って、注視点が対象ＯＢである場合、視線ＲＤ、ＬＤを中心として水平方向に３０度、垂直方向に２０度程度が有効視野であり、水平方向に６０〜９０度、垂直方向に４５度〜７０度程度が安定注視野であり、水平方向に約２００度、垂直方向に約１２５度が視野角となる。
【００５２】
また、頭部装着型表示装置１００を装着する使用者が画像表示部２０を透過して右光学像表示部２６及び左光学像表示部２８を透過して視認する実際の視野を、実視野（ＦＯＶ：Field Of View）と呼ぶ。図１及び図２に示す本実施形態の構成で、実視野は、右光学像表示部２６及び左光学像表示部２８を透過して使用者が視認する実際の視野に相当する。実視野は、図３（Ｂ）を参照して説明した視野角及び安定注視野より狭いが、有効視野より広い。
【００５３】
右カメラ６１及び左カメラ６２は、使用者の視野よりも広い範囲を撮像可能であることが好ましく、具体的には、画角ＣＲ、ＣＬの全体が、少なくとも使用者の有効視野よりも広いことが好ましい。また、画角ＣＲ、ＣＬの全体が、使用者の実視野よりも広いことが、より好ましい。さらに好ましくは、画角ＣＲ、ＣＬの全体が、使用者の安定注視野よりも広く、最も好ましくは、画角ＣＲ、ＣＬの全体が使用者の視野角よりも広い。
【００５４】
このため、右カメラ６１及び左カメラ６２は、画角ＣＲと画角ＣＬとが、図３（Ｂ）に示すように画像表示部２０の前方で重なるように配置される。また、右カメラ６１及び左カメラ６２を広角カメラで構成してもよい。すなわち、右カメラ６１及び左カメラ６２が、撮像レンズとして、いわゆる広角レンズを備え、広い画角を撮像できる構成としてもよい。広角レンズには、超広角レンズ、準広角レンズと呼ばれるレンズを含んでもよいし、単焦点レンズであってもズームレンズであってもよく、複数のレンズからなるレンズ群を右カメラ６１及び左カメラ６２が備えてもよい。また、右カメラ６１の画角ＣＲと左カメラ６２の画角ＣＬとは同じ角度でなくてもよい。また、右カメラ６１の撮像方向と左カメラ６２の撮像方向とは、完全に平行である必要はない。右カメラ６１の撮像画像と、左カメラ６２の撮像画像とを重ね合わせた場合に、使用者の視野よりも広い範囲が撮像されていればよい。
【００５５】
図３（Ｂ）には、距離センサー６４の検出方向を符号６４Ａで示す。本実施形態で、距離センサー６４は、画像表示部２０の中央位置から正面方向に位置する物体までの距離を検出可能に構成され、例えば対象ＯＢまでの距離を検出する。頭部装着型表示装置１００を装着した使用者は、注視する方向に頭を向けるため、注視する対象は画像表示部２０の正面にあると考えることができる。このため、画像表示部２０の中央に配置された距離センサー６４が、画像表示部２０の正面を検出方向６４Ａとすれば、使用者が注視する対象までの距離を検出できる。
【００５６】
また、図３（Ａ）に示すように、画像表示部２０の使用者側には視線センサー６８が配置される。視線センサー６８は、使用者の右眼ＲＥ、及び、左眼ＬＥのそれぞれに対応するように、右光学像表示部２６と左光学像表示部２８との中央位置に一対、設けられる。視線センサー６８は、例えば、使用者の右眼ＲＥと左眼ＬＥとをそれぞれ撮像する一対のカメラで構成される。視線センサー６８は、制御部１４０（図４）の制御に従って撮像を行い、制御部１４０が、撮像画像データから右眼ＲＥ及び左眼ＬＥの眼球表面における反射光や瞳孔の画像を検出し、視線方向を特定する。
【００５７】
図４は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
【００５８】
制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１３５に接続される。操作部１３５は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１３５から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。
【００５９】
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データ１２１を記憶する。設定データ１２１は、制御部１４０が使用する各種の設定値を含む。設定データ１２１が含む設定値は、予め操作部１３５の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
【００６０】
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。３軸センサー１１３により、制御部１４０は、制御装置１０の動きを検出することができ、例えば制御装置１０を振る等の操作を検出できる。また、３軸センサー１１３は９軸センサーに置き換えてもよい。この場合、制御部１４０は、３軸の加速度センサー、３軸の角速度センサー、及び３軸の地磁気センサーの検出値を取得し、例えば、制御装置１０の姿勢、向き、動きを検出できる。
ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
【００６１】
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。
【００６２】
制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を備える。制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、画像取得部１６１、位置検出部１６２、画像選択部１６３、動作処理部１６４、表示位置制御部１６５、音声処理部１８７、及び、表示制御部１９０として機能する。
【００６３】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
【００６４】
画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
【００６５】
表示制御部１９０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１９０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。
【００６６】
音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。
【００６７】
画像表示部２０は、上記の右カメラ６１、左カメラ６２、及び距離センサー６４を備える。また、画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６と、視線センサー６８とを備える。
【００６８】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。
【００６９】
インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１９０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、右カメラ６１、左カメラ６２、距離センサー６４、９軸センサー６６及び視線センサー６８を接続するインターフェイスである。右カメラ６１、左カメラ６２の撮像データ、距離センサー６４の検出結果、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果、及び、視線センサー６８の検出結果は、インターフェイス２５を介して制御部１４０に送られる。
【００７０】
右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
【００７１】
受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。
【００７２】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。
【００７３】
受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。
【００７４】
図３（Ａ）に示したように、頭部装着型表示装置１００を装着する使用者が、ハーフミラー２６１Ａ、２６２Ａから照射される画像光を視認する範囲は、実視野より小さい。例えば、頭部装着型表示装置１００が、ＡＲ（Augmented Reality）効果を奏する画像（以下、ＡＲ画像という）を表示する場合、使用者が注視する対象ＯＢに重なるようにＡＲ画像を表示する。この場合、対象ＯＢにＡＲ画像が重なって見えることで、ＡＲの効果が得られるが、ＡＲ画像が視認される領域はハーフミラー２６１Ａ、２６２Ａの大きさの制約を受ける。このため、実視野に対象ＯＢが含まれる場合であっても、対象ＯＢに重なる位置にＡＲ画像を表示することが困難なケースも考えられる。また、ＡＲ画像以外の画像を表示する場合も、頭部装着型表示装置１００が画像を表示できる領域が、実視野に比べて小さいことが機能上の制約となる可能性がある。
【００７５】
そこで、頭部装着型表示装置１００は、右カメラ６１及び左カメラ６２の撮像画像や、予め用意された画像など、使用者の実視野よりも広い範囲の外景の画像を利用して、使用者が注視する外景中の対象ＯＢに対応するＡＲコンテンツを表示するなど、外景に対応した表示を行う。
【００７６】
画像取得部１６１は、頭部装着型表示装置１００の現在の位置に対応する外景画像を取得する。外景画像は、右カメラ６１及び左カメラ６２の撮像画像、または、通信部１１７を介して通信可能な外部装置から取得する画像が挙げられる。画像取得部１６１が外景画像を取得する処理については後述する。
【００７７】
位置検出部１６２は、制御部１４０が外景画像から対象物（対象）を検出（認識）する機能を実行する。この機能では、位置検出部１６２は、例えば画像取得部１６１が取得した外景画像を解析する。位置検出部１６２は、外景画像から対象物の画像を検出し、検出した画像の外景画像における位置を特定することで、使用者が注視する対象物の位置を検出する。この処理については後述する。また、位置検出部１６２は、距離センサー６４を制御して検出した対象物までの距離を計測することにより、対象物の位置を検出してもよく、外景画像の処理と距離センサー６４で検出した距離とを併用して対象物の位置を検出してもよい。
【００７８】
画像選択部１６３は、外部機器ＯＡからインターフェイス１２５に入力されるＡＲコンテンツのうち、表示するＡＲコンテンツを選択する。
動作処理部１６４は、９軸センサー６６の検出値等に基づいて、画像表示部２０の動きを検出し、画像表示部２０の動きに対応した処理を行う。画像表示部２０の動きは、頭部装着型表示装置１００を装着する使用者の頭の動きと見なすことができる。また、動作処理部１６４は、視線センサー６８を制御して、使用者の視線方向を検出する。
表示位置制御部１６５は、位置検出部１６２が検出する対象物の位置、動作処理部１６４が検出する画像表示部２０の動き、及び／又は使用者の視線方向に対応して右表示駆動部２２及び左表示駆動部２４のＡＲ画像の表示位置に係る制御を行う。
【００７９】
図５は、頭部装着型表示装置１００の動作を示すフローチャートである。
使用者が頭部装着型表示装置１００を装着し、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
制御部１４０は、画像取得部１６１により、外景画像取得処理を実行する（ステップＳ１２）。外景画像取得処理の具体的な態様は３通りある。
【００８０】
図６は、ステップＳ１２の外景画像取得処理の第１の態様を示すフローチャートである。この第１の態様では、画像取得部１６１は、右カメラ６１及び左カメラ６２を制御して撮像を実行させ（ステップＳＡ１）、撮像画像データを取得する（ステップＳＡ２）。
画像取得部１６１は、取得した撮像画像データが複数あるか否かを判定する（ステップＳＡ３）。本実施形態の頭部装着型表示装置１００は２つの右カメラ６１、左カメラ６２のそれぞれが撮像画像データを出力するので、画像取得部１６１は複数の撮像画像データを取得し（ステップＳＡ３；ＹＥＳ）、取得した撮像画像データを合成することにより外景画像データを得る（ステップＳＡ４）。また、ステップＳＡ２で取得した撮像画像データが１つである場合（ステップＳＡ３；ＮＯ）、画像取得部１６１は、取得した撮像画像データを外景画像データとする。撮像画像データが１つである場合とは、例えば、右カメラ６１と左カメラ６２が撮像した範囲の１つの撮像画像データが制御部１４０に入力される場合や、右カメラ６１または左カメラ６２のいずれか一方のみを使用するよう設定された場合、１つのカメラを備えた構成である場合等が挙げられる。
【００８１】
図７及び図８は、外景画像取得処理の第２の態様を示し、図７は撮像処理を示すフローチャートであり、図８は外景画像取得処理を示すフローチャートである。
第２の態様では、頭部装着型表示装置１００の動作中、画像取得部１６１が、一定時間毎に右カメラ６１及び左カメラ６２による撮像を実行する。すなわち、画像取得部１６１は、頭部装着型表示装置１００の動作開始またはＡＲコンテンツの表示開始をトリガーとして撮像動作を開始し（ステップＳＢ１）、右カメラ６１及び左カメラ６２による撮像を実行する（ステップＳＢ２）。
画像取得部１６１は右カメラ６１及び左カメラ６２が撮像した撮像画像データを取得する（ステップＳＢ３）。続いて、画像取得部１６１は、ＧＰＳ１１５により頭部装着型表示装置１００の現在位置の座標、及び／又は９軸センサー６６の検出値を取得する（ステップＳＢ４）。例えば、画像取得部１６１は、ＧＰＳ１１５の現在位置と、９軸センサー６６の地磁気センサー、角速度センサー及び加速度センサーの検出値とを取得し、頭部装着型表示装置１００の現在位置と姿勢を特定できる。
【００８２】
画像取得部１６１は、ステップＳＢ３で取得した撮像画像データを、ステップＳＢ４で取得した現在位置や検出値に対応付けて記憶部１２０に記憶する（ステップＳＢ５）。
その後、画像取得部１６１は、撮像を終了する条件が成立しているか否かを判定し（ステップＳＢ６）、撮像終了の条件が成立していない場合は（ステップＳＢ６；ＮＯ）、ステップＳＢ２に戻る。撮像終了の条件とは、操作部１３５の操作により撮像終了が指示された場合、頭部装着型表示装置１００の動作モードが、ＡＲコンテンツを表示する動作モードや、右カメラ６１、左カメラ６２の撮像を行わない動作モードに切り換えられた場合等が挙げられる。
【００８３】
頭部装着型表示装置１００は、例えば、右カメラ６１及び左カメラ６２が撮像を実行可能な状態で、ステップＳＢ２〜ＳＢ６の動作を、所定時間ごとに繰り返し実行してもよい。この場合、頭部装着型表示装置１００がＡＲ表示を行うか否かにかかわらず、記憶部１２０には、頭部装着型表示装置１００の現在位置やセンサーの検出値に対応付けて、撮像画像データが記憶される。なお、記憶部１２０の記憶容量の制限がある場合、画像取得部１６１は、通信部１１７を介して接続される外部装置に、撮像画像データと現在位置とセンサーの検出値とを対応付けて送信してもよい。この場合の外部装置は、ＬＡＮ（Local Area Network）に接続された記憶装置や、オンラインストレージと呼ばれる記憶装置、或いは、クラウドストレージサーバー等が挙げられる。
また、撮像終了の条件が成立した場合は（ステップＳＢ６；ＹＥＳ）、本処理を終了する。
【００８４】
図８の外景画像取得処理は、図７の動作で記憶された撮像画像データを使用するが、図７の動作と連動または協調して実行する必要はない。つまり、図７の動作および図８の動作は、互いに、実行タイミングは拘束されない。
画像取得部１６１は、ＧＰＳ１１５で頭部装着型表示装置１００の現在位置を検出して取得し、９軸センサー６６の検出値を取得する（ステップＳＢ１１）。続いて、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサーの検出値に対応付けて記憶された撮像画像データを、記憶部１２０または通信部１１７で接続された外部機器から取得する（ステップＳＢ１２）。ステップＳＢ１２で、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサー検出値を検索条件として撮像画像データを検索する。画像取得部１６１は、検索条件の全てに該当する撮像画像データを取得してもよいし、一部の検索条件にのみ該当する撮像画像データを取得してもよい。
【００８５】
画像取得部１６１は、ステップＳＢ１２で取得した撮像画像データが複数か否かを判定する（ステップＳＢ１３）。撮像画像データが複数ある場合（ステップＳＢ１３；ＹＥＳ）、画像取得部１６１は、取得した複数の撮像画像データを合成して１つの撮像画像データにして（ステップＳＢ１４）、図５のステップＳ１３に移行する。一方、取得した撮像画像データが１つである場合（ステップＳＢ１３；ＮＯ）、画像取得部１６１は、図５のステップＳ１３に移行する。
【００８６】
図９は、外景画像取得処理の第３の態様を示す。
第３の態様では、画像取得部１６１は外部機器から撮像画像データを取得する。この場合の外部機器は、限定的な範囲に敷設されたＬＡＮ等の通信回線、或いは、インターネット等の広域ネットワークを介して、頭部装着型表示装置１００と通信可能に接続されたサーバー装置等である。この外部機器は、頭部装着型表示装置１００の位置やセンサーの検出値等に対応する画像データを記憶する。
【００８７】
画像取得部１６１は、ＧＰＳ１１５で頭部装着型表示装置１００の現在位置を検出して取得し、９軸センサー６６の検出値を取得する（ステップＳＣ１）。続いて、画像取得部１６１は、ステップＳＢ１１で取得した現在位置及びセンサーの検出値を、通信部１１７を介して接続される外部機器に送信し、撮像画像データを要求する（ステップＳＣ３）。
その後、画像取得部１６１は、ステップＳＣ３で送信した要求への応答として、外部機器が送信する画像データを受信する（ステップＳＣ３）。
【００８８】
画像取得部１６１は、ステップＳＣ３で受信した撮像画像データが複数か否かを判定する（ステップＳＣ４）。撮像画像データが複数ある場合（ステップＳＣ４；ＹＥＳ）、画像取得部１６１は、受信した複数の撮像画像データを合成して１つの撮像画像データにして（ステップＳＣ５）、図５のステップＳ１３に移行する。一方、受信した撮像画像データが１つである場合（ステップＳＣ４；ＮＯ）、画像取得部１６１は、図５のステップＳ１３に移行する。
【００８９】
上記の第１、第２、或いは第３の態様の外景画像取得処理を実行し、画像取得部１６１は、１つの外景画像を得る。
その後、位置検出部１６２は、取得した外景画像から、ＡＲ表示の対象を認識する（ステップＳ１３）。ＡＲ表示の対象とは、頭部装着型表示装置１００の使用者が外景において視認する物体であり、人間、動物、及び無生物のいずれであってもよく、移動可能なものに限定されず建物等の移動できない物を含む。対象は、使用者が対象の方を向いたときに、右光学像表示部２６及び左光学像表示部２８を透過して視認される。頭部装着型表示装置１００は、予め設定された対象に関する情報を、対象と同時に見えるように画像表示部２０により表示することで、ＡＲ表示を行う。
【００９０】
位置検出部１６２には、予め、検出する対象が設定される。対象は、ＡＲ表示のコンテンツ毎に設定可能であり、例えば、ＡＲ表示のコンテンツ（以下、ＡＲコンテンツと呼ぶ）のデータに含まれる。また、検出する対象に関するデータが設定データ１２１として記憶されてもよい。ステップＳ１３で、位置検出部１６２は、ＡＲコンテンツまたは設定データ１２１から対象を検出するためのデータを取得し、このデータを用いて、外景画像に含まれる対象物（対象）を認識する。対象物を検出するためのデータとは、撮像画像から対象物の画像を検出する処理に用いるデータであり、対象物の画像の特徴量等である。例えば、対象物が物体である場合に、この物体を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量が設定データに含まれる。この場合、位置検出部１６２は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、設定データ１２１に含まれる特徴量とを比較照合する。特徴量が近い値であり、或いは同一である場合は、外景画像から抽出した画像の物体を対象物として認識できる。また、対象物について複数の特徴量が設定データ１２１に含まれる場合、位置検出部１６２は複数の特徴量に基づき外景画像から対象物を検出し、認識できる。位置検出部１６２は、外景画像において対象を認識できない場合、ステップＳ１２で画像取得部１６１が新たな外景画像を取得するまで待機し、新たな外景画像について対象を認識する処理を行う。
【００９１】
ステップＳ１３において、位置検出部１６２が対象物を認識する方法は、上記のように画像の特徴量に基づき対象物の画像を認識する方法に限定されない。例えば、使用者の指示により、外景画像に含まれる物体等から対象を選択してもよい。この場合、使用者の指示は、音声による指示であってもよく、マイク６３で集音された音声を音声処理部１８７がテキスト変換することにより、位置検出部１６２が対象を認識し、特定するための情報を取得する。例えば、色や対象の形状など、撮像画像における対象物の特徴を指定する音声がテキスト変換された場合に、位置検出部１６２は、指定された特徴に該当する画像を撮像画像から検出して、認識する。
対象物に関する情報の入力方法は、トラックパッド１４への操作であってもよいし、指等によるジェスチャー操作を制御部１４０が検出してもよい。この場合、右カメラ６１、左カメラ６２の撮像範囲において使用者が指等を動かしてジェスチャー操作を行い、このジェスチャー操作を制御部１４０が検出すれば良い。具体的には、使用者が対象物を指さすことで、対象物そのものを指定する方法を採用してもよい。また、使用者が対象物の方向を手や指で指し示す、使用者が対象物を視認する範囲を手や指で囲む等のジェスチャーを用いてもよい。
【００９２】
続いて、位置検出部１６２は、ステップＳ１３で認識した対象の位置、または、位置および距離を算出する（ステップＳ１４）。位置検出部１６２は、頭部装着型表示装置１００を基準とした位置及び距離を算出する。より詳細には、画像表示部２０に対する対象の相対位置および画像表示部２０から対象までの距離を算出する。この場合、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央の位置を、位置及び距離を算出するときの基準にしてもよい。
【００９３】
位置検出部１６２が位置を算出する方法は、ステップＳ１３で外景画像から認識した対象の外景画像における座標を求め、求めた座標から、画像表示部２０に対する対象の相対位置を求める方法を採用できる。この場合、位置検出部１６２は、外景画像における対象の画像のサイズから、画像表示部２０から対象までの距離の推定値を算出できる。ここで、外景画像と画像表示部２０の位置との位置関係を示すデータが、外景画像のデータに付加されていてもよい。
【００９４】
また、位置検出部１６２は、右カメラ６１及び左カメラ６２により対象を撮像して、撮像画像における対象の画像を検出し、検出した画像の撮像画像における座標及びサイズに基づき、対象の位置と距離とを算出してもよい。画像取得部１６１が図６の動作で外景画像を取得した場合、この外景画像をもとに上記処理を実行できる。また、画像取得部１６１が図７、８の動作または図９の動作で外景画像を取得した場合、位置検出部１６２は、外景画像で対象を検出した後に、右カメラ６１及び左カメラ６２に撮像を実行させて、上記処理を行えばよい。
【００９５】
また、位置検出部１６２は、対象までの距離を、距離センサー６４を利用して求めてもよい。位置検出部１６２は、外景画像から検出した対象が、距離センサー６４の検出方向に位置すると判定した場合に、距離センサー６４を動作させて距離を検出し、検出した距離を、対象までの距離とすればよい。
【００９６】
ステップＳ１４で位置検出部１６２が算出する対象の位置及び距離に基づき、表示位置制御部１６５は、右光学像表示部２６及び左光学像表示部２８の表示領域における対象の位置を算出する（ステップＳ１５）。右光学像表示部２６及び左光学像表示部２８の表示領域は、具体的には、図３（Ａ）に示したように、ハーフミラー２６１Ａ、２６２Ａが相当する。表示位置制御部１６５は、使用者がハーフミラー２６１Ａ、２６２Ａ越しに視認する外景の範囲を基準とし、ＡＲコンテンツの対象の位置を算出する。
【００９７】
表示位置制御部１６５は、ステップＳ１５で算出した対象の位置が画像表示部２０の表示領域内か否かを判定する（ステップＳ１６）。ここで、表示領域とは、使用者がハーフミラー２６１Ａ、２６２Ａ越しに視認する外景の範囲を指す。この対象は外景に存在するものであり、表示位置制御部１６５は、対象が、使用者に、ハーフミラー２６１Ａ、２６２Ａと重なって見えるか否かを判定する。
【００９８】
ステップＳ１６で、表示位置制御部１６５は、ハーフミラー２６１Ａとハーフミラー２６２Ａのそれぞれについて判定を行っても良い。この場合、表示位置制御部１６５は、使用者がハーフミラー２６１Ａ越しに視認する範囲に対象が含まれるか否かの判定、及び、使用者がハーフミラー２６２Ａ越しに視認する範囲に対象が含まれるか否かの判定を、それぞれ行う。
例えば、画像選択部１６３が３ＤのＡＲコンテンツを選択した場合等は、ハーフミラー２６１Ａ、２６２Ａの両方において対象が表示範囲内であることが好ましい。この場合、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａの両方で対象が表示範囲内にある場合に、対象が表示領域内にあると判定する。
また、例えば、画像選択部１６３が、対象に関する説明文や注釈のテキストまたは画像を表示するＡＲコンテンツを選択した場合、ハーフミラー２６１Ａ、２６２Ａのいずれか一方に、ＡＲコンテンツが表示されればよい。この場合、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａのいずれか一方で対象が表示範囲内にあれば、対象が表示領域内にあると判定する。
このように、表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａに関する判定結果を、画像選択部１６３が選択するＡＲコンテンツの種類に応じて統合し、ステップＳ１６の判定を行ってもよい。
【００９９】
表示位置制御部１６５が、対象の位置表示領域内でないと判定した場合（ステップＳ１６；ＮＯ）、動作処理部１６４は、表示制御部１９０を制御して、視線を誘導する誘導画像を右光学像表示部２６及び左光学像表示部２８に表示させる（ステップＳ１７）。
【０１００】
図１０は、本実施形態における表示例を示す図であり、（Ａ）は使用者の視野ＶＲを示し、（Ｂ）は外景画像の例を示し、（Ｃ）は誘導画像の表示例を示す。
図１０（Ａ）は使用者の右眼の視野ＶＲの例を示しており、使用者の左眼の視野は図１０（Ａ）と同一または左右対称であるため図示を省略する。視野ＶＲのうちハーフミラー２６１Ａに相当する領域が表示領域Ｄ１となり、この表示領域Ｄ１に、右ＬＣＤ２４１（図４）に描画される画像が表示される。
図１０（Ａ）の例では視野ＶＲに自転車が見えているが、この自転車は画像表示部２０の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部２６を透過して、外景の自転車を視認する。
【０１０１】
図１０（Ｂ）には画像取得部１６１が取得する外景画像Ｐの例を示す。この例では、画像取得部１６１は、使用者が視認する範囲より広い範囲の外景画像Ｐを取得し、この外景画像Ｐには使用者の視野ＶＲに見える範囲より大きな範囲が写っている。参考のため、外景画像Ｐにおいて、視野ＶＲに見える範囲を符号Ｐ１で示し、表示領域Ｄ１に対応する範囲を符号Ｐ２で示す。
図１０（Ｂ）の例では、ＡＲコンテンツに対応する対象ＯＢが、視野ＶＲに見える範囲Ｐ１の外にあり、表示領域Ｄ１に対応する範囲Ｐ２の外でもある。このため、表示位置制御部１６５は、ステップＳ１６で、対象ＯＢの位置が表示領域内でないと判定する。この場合、動作処理部１６４がステップＳ１７で表示する誘導画像は、例えば図１０（Ｃ）に示すように、使用者の視線を対象ＯＢ側に移動させる画像である。図１０（Ｃ）の誘導画像Ｄ２は、対象ＯＢの方向を示す矢印である。この矢印に従って使用者が頭部の向きを変えると、対象ＯＢが表示領域Ｄ１に入る可能性がある。
【０１０２】
動作処理部１６４は、頭部装着型表示装置１００の移動を検出したか否かを判定する（ステップＳ１８）。動作処理部１６４は、９軸センサー６６により、画像表示部２０の向きや位置の変化を検出し、予め設定された閾値よりも大きい変化があった場合に、移動を検出したと判定する。また、動作処理部１６４は、ＧＰＳ１１５を利用して頭部装着型表示装置１００の移動を検出してもよい。頭部装着型表示装置１００の移動を検出しないと判定した場合（ステップＳ１８；ＮＯ）、動作処理部１６４は、誘導画像の表示を継続し、一定時間毎にステップＳ１８の判定を行う。頭部装着型表示装置１００の移動を検出した場合（ステップＳ１８；ＹＥＳ）、動作処理部１６４はステップＳ１４に戻る。
【０１０３】
また、表示位置制御部１６５が、対象が表示領域内であると判定した場合（ステップＳ１６；ＹＥＳ）、動作処理部１６４は表示制御部１９０を制御して、ＡＲコンテンツを右光学像表示部２６、左光学像表示部２８に表示させる（ステップＳ１９）。ここで、動作処理部１６４は、ＡＲコンテンツのデータを間引きして表示制御部１９０に表示させてもよい。データの間引きとは、具体的には、動画像データの一部のフレームを抽出することでフレームレートを低下させる、フレームの解像度を低下させる、等の処理を含む。これにより、表示制御部１９０が処理するデータ量を削減でき、表示タイミングの遅延を防止できる等の利点がある。
【０１０４】
続いて、表示位置制御部１６５が、表示位置のフィッティングを実行する（ステップＳ２０）。フィッティングは使用者が制御装置１０を操作して、手動でＡＲコンテンツの表示位置を調整する機能である。使用者が、ステップＳ１９でＡＲコンテンツが表示された位置の変更を望む場合など、必要があれば実行される。従って、ステップＳ２０を省略することも可能であり、ステップＳ２０のフィッティングを実行するか否かを設定可能な構成であってもよい。ステップＳ２０で、表示位置制御部１６５は、操作部１３５等の操作に従って、ＡＲコンテンツの表示位置を移動させる。ここで、表示位置制御部１６５は、操作部１３５等の操作に従ってＡＲコンテンツの表示サイズを変更してもよい。また、ステップＳ２０で実行した位置調整やサイズ調整の調整量を、記憶部１２０に設定データ１２１として記憶してもよい。
【０１０５】
ステップＳ１９〜Ｓ２０の動作により、使用者には、対象に重なる位置、或いは対象に対応する位置で、ＡＲコンテンツを視認できる。
その後、動作処理部１６４は、操作部１３５等においてズーム表示を指示する操作があったか否かを判定する（ステップＳ２１）。該当する操作があった場合（ステップＳ２１；ＹＥＳ）、動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ２２）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、注視方向を中心にしたズーム表示を実行し（ステップＳ２３）、ステップＳ２４に移行する。また、ズーム表示を指示する操作がないと判定した場合（ステップＳ２１；ＮＯ）、動作処理部１６４はステップＳ２４に移行する。
【０１０６】
図１１は、頭部装着型表示装置１００の表示例を示す図であり、（Ａ）は縮小表示の例を示し、（Ｂ）は注視方向を検出する例を示し、（Ｃ）はズーム表示の例を示す。
図１１（Ａ）に示す縮小表示は、操作部１３５の操作に対応して動作処理部１６４が実行する動作の一例であり、外景画像Ｐ（図１０（Ｂ））を縮小して表示領域Ｄ１に表示する。外景画像Ｐが、使用者が画像表示部２０を透過して視認する外景よりも広い範囲の画像である場合に、縮小表示を行うと、使用者は視野ＶＲよりも広い範囲の外景を見ることができる。
【０１０７】
表示位置制御部１６５は、ステップＳ２２で、視線センサー６８を使用して視線を検出し、検出した視線に基づいて使用者が注視している方向を求め、表示領域Ｄ１に重なる外景において使用者が注視している注視点を算出する。図１１（Ｂ）には注視点ＶＰＯが表示領域Ｄ１の内部にあるが、視線センサー６８を使用すれば、注視点ＶＰＯが表示領域Ｄ１の外にある場合も検出できる。
図１１（Ｃ）の例では、注視点ＶＰＯを中心とした所定範囲が、拡大されて表示領域Ｄ１に表示される。図１１（Ｃ）では外景画像Ｐの一部が拡大されて表示されているが、表示領域Ｄ１に表示中のＡＲ画像を、拡大表示してもよい。
【０１０８】
ステップＳ２４で、動作処理部１６４は、頭部装着型表示装置１００の移動を検出したか否かを判定する（ステップＳ２４）。動作処理部１６４は、９軸センサー６６及び／又はＧＰＳ１１５を利用して、頭部装着型表示装置１００の移動を検出する。頭部装着型表示装置１００の移動を検出しないと判定した場合（ステップＳ２４；ＮＯ）、動作処理部１６４は、誘導画像の表示を継続し、一定時間毎にステップＳ２１の判定を行う。
【０１０９】
頭部装着型表示装置１００の移動を検出した場合（ステップＳ２４；ＹＥＳ）、動作処理部１６４は、表示領域における対象の位置を算出する（ステップＳ２５）。この動作はステップＳ１５と同様である。表示位置制御部１６５は、ステップＳ２５で算出した対象の位置が画像表示部２０の表示領域内か否かを判定する（ステップＳ２６）。ステップＳ２６の判定は、ステップＳ１６と同様に行うことができる。
【０１１０】
表示位置制御部１６５が、対象の位置が表示領域内でないと判定した場合（ステップＳ２６；ＮＯ）、制御部１４０はステップＳ１７に移行して、視線を誘導する誘導画像を右光学像表示部２６及び左光学像表示部２８に表示させる（ステップＳ１７）。
ＡＲ表示の対象の位置が表示領域内であると判定した場合（ステップＳ２６；ＹＥＳ）、表示位置制御部１６５は、ＡＲ表示の表示位置を算出して更新し、更新後の位置に基づき、動作処理部１６４が表示制御部１９０を制御してＡＲコンテンツを表示する（ステップＳ２７）。
【０１１１】
その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ２８）、表示終了の条件が成立していない場合は（ステップＳ２８；ＮＯ）、ステップＳ２１に戻る。また、表示終了の条件が成立した場合（ステップＳ２８；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。
【０１１２】
なお、ステップＳ２４で移動を検出した場合、制御部１４０は、移動中にＡＲ表示を更新する構成としてもよい。この場合、制御部１４０は、右カメラ６１及び左カメラ６２の撮像画像から対象を検出し、対象の位置を特定して、対象に重なるようにＡＲ表示の表示位置を求める。さらに、制御部１４０は、撮像画像から対象の移動速度または移動量を検出し、対象の移動に合わせてＡＲ表示の表示位置を移動させることができる。具体的には、右カメラ６１及び左カメラ６２の撮像画像を複数取得し、これら複数の撮像画像における対象と背景すなわち対象以外の物体との相対位置の変化を検出し、対象の移動速度または移動量を求める。これにより、移動する対象に追従するように、ＡＲ表示を行うことができる。
【０１１３】
ここで、撮像画像に写る背景の物体が移動した場合であっても、撮像画像から対象の位置を移動速度及び移動量を正確に求めることができるように、制御部１４０は、９軸センサー６６の検出値を利用してもよい。使用者は、対象が移動する場合、対象が視野に収まるように頭部を動かすと考えることができる。制御部１４０は、撮像画像において背景と対象との相対的な移動を検出した場合に、９軸センサー６６の検出値から画像表示部２０の移動を検出する。例えば、撮像画像から検出した背景に対する対象の移動方向と、画像表示部２０の移動方向とが一致または近似する場合、制御部１４０は、対象が移動していると判定して、ＡＲ表示の表示位置を調整する。また、例えば、撮像画像から検出した背景に対する対象の移動方向と、画像表示部２０の移動方向とが異なる場合、制御部１４０は、背景が移動していると判定する。この場合、ＡＲ表示の表示位置を変化させることで使用者の違和感を惹起する可能性があるので、制御部１４０は、ＡＲ表示の表示位置を変化させない。
【０１１４】
また、ＡＲ表示する画像等は、制御部１４０が、右カメラ６１及び左カメラ６２から対象を検出する検出結果等に基づいて生成してもよいが、予め記憶部１２０等に記憶した画像データに基づき表示してもよい。また、制御部１４０は、右カメラ６１及び／又は左カメラ６２の撮像画像の一部を切り出して、ＡＲ表示してもよい。この場合、ＡＲ表示する画像等を生成する処理の負荷を軽減できるので、高速にＡＲ表示を行うことができる。
【０１１５】
以上説明したように、本発明を適用した第１実施形態に係る頭部装着型表示装置１００は、頭部装着型表示装置１００は、外景を透過し、外景とともに視認できるように画像を表示する画像表示部２０を備える。また、画像表示部２０を透過して視認される外景を含む外景画像を取得し、取得した外景画像に基づいて、画像表示部２０を透過して視認される対象を認識し、対象に関する情報を画像表示部２０に表示する制御部１４０を備える。これにより、使用者が視認する外景における対象の位置や大きさ等に対応して、対象に関する情報を表示できる。このため、使用者が視認する外景と表示画像との不整合を防ぐことができ、効果的な表示を行うことができる。また、画像表示部２０において虚像を表示できる領域（表示領域Ｄ１）が小さくても、実空間に存在する対象に関する表示を行うことができ、虚像を表示できる領域のサイズによる制約を軽減し、より広い範囲の実空間に対するＡＲ表示を行うことが可能となる。
【０１１６】
また、制御部１４０は、対象が画像表示部２０において情報が表示される範囲の外にある場合に、画像表示部２０により、視線を対象へ誘導する誘導表示を行う。これにより、対象の位置が、情報が表示される範囲に収まるように、視線を誘導できる。
また、制御部１４０は、取得した外景画像に基づいて、画像表示部２０を透過して視認可能な範囲の外景の画像を、画像表示部２０に表示する。これにより、使用者が視認する外景の画像の見え方を変化させることができる。
【０１１７】
また、画像表示部２０は、使用者の頭部に装着される頭部装着型の表示部であり、使用者の視線を検出する視線センサー６８を備える。制御部１４０は、視線センサー６８が検出する使用者の視線の方向に対応して画像表示部２０の表示を変化させる。これにより、表示画像を使用者の視線に対応させることができ、より効果的に、使用者が視認する外景と表示画像との不整合を防ぐことができる。
【０１１８】
また、制御部１４０は、外景画像の一部領域を画像表示部２０に表示し、視線検出部が検出する使用者の視線の方向に対応して、外景画像において画像表示部２０に表示する一部領域の位置を変化させる。これにより、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。
【０１１９】
また、頭部装着型表示装置１００は、画像表示部２０を透過して視認される外景を含む範囲を撮像する右カメラ６１及び左カメラ６２を備える。制御部１４０は、第１の態様で説明したように、右カメラ６１及び左カメラ６２の撮像画像を外景画像として取得してもよい。この場合、外景画像を事前に用意することなく、使用者が視認する外景に対応する外景画像を取得し、画像を表示できる。
また、制御部１４０は、複数の撮像部である右カメラ６１、左カメラ６２がそれぞれ撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、複数の撮像画像を用いて、好ましいサイズや画角を有する外景画像を得ることができる。
【０１２０】
また、制御部１４０は、第２の態様で説明したように、右カメラ６１及び左カメラ６２が撮像した複数の撮像画像を取得して合成することにより外景画像を生成してもよい。この場合、右カメラ６１、左カメラ６２の画角等に制限されず、好ましいサイズや画角を有する外景画像を得ることができる。
【０１２１】
また、頭部装着型表示装置１００は、外部機器に接続する通信部１１７を備え、制御部１４０は、第３の態様で説明したように、通信部１１７に接続する外部機器から外景画像を取得してもよい。この場合、予め外景画像を記憶したり、撮像する手段を設けたりすることなく、外景画像を取得できる。
また、頭部装着型表示装置１００は、現在位置を検出するＧＰＳ１１５を備え、制御部１４０は、通信部１１７を介して、外部機器から、ＧＰＳ１１５で検出する現在位置に対応する外景画像を取得してもよい。この場合、頭部装着型表示装置１００の位置に対応する外景画像を取得できる。
【０１２２】
また、頭部装着型表示装置１００は、使用者の頭部に装着される表示装置であって、外景を透過し、外景とともに視認できるように画像を表示する表示領域としてのハーフミラー２６１Ａ、２６２Ａを有する画像表示部２０を有する。頭部装着型表示装置１００が備える制御部１４０は、ハーフミラー２６１Ａ、２６２Ａを透過して視認できる範囲の外に位置する対象を認識し、対象に関する情報を出力する。
例えば、制御部１４０は、対象が画像表示部２０においてハーフミラー２６１Ａ、２６２Ａの外側を透過して視認される場合に、使用者を、対象を視認可能な状態に誘導する情報を出力する。制御部１４０が出力する情報は、例えば、ＡＲ表示の対象が位置する方向を示す誘導画像Ｄ２である。この場合、制御部１４０が情報を出力する方法は、画像表示部２０に誘導画像Ｄ２を表示する方法であるが、テキストによって対象の位置を示して使用者を誘導してもよい。また、右イヤホン３２及び／又は左イヤホン３４から、使用者を誘導する音を出力してもよい。
【０１２３】
［第２実施形態］
図１２は、第２実施形態における頭部装着型表示装置１００の動作を示すフローチャートである。
第２実施形態の頭部装着型表示装置１００の構成は、上記第１実施形態で図１〜図４を参照して説明した構成と共通であるため、図示及び説明を省略する。
第２実施形態で、頭部装着型表示装置１００は、ＡＲコンテンツの対象が、画像表示部２０を透過して視認できる範囲の外にある場合に、対象を視認できる状態となるように使用者に対する案内を出力する。
【０１２４】
使用者が頭部装着型表示装置１００を装着し、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
【０１２５】
制御部１４０は、ＡＲコンテンツの表示の対象の位置に関する対象情報を取得する（ステップＳ３１）。対象情報は、頭部装着型表示装置１００と対象との相対位置を求めるためのデータを含む。具体的には、頭部装着型表示装置１００と対象との相対位置を示すデータを含んでもよいし、所定の目標物と対象との相対位置を示すデータを含んでもよい。
【０１２６】
例えば、対象情報は、ＧＰＳやＷｉＦｉを利用した位置検出システムで対象の位置を特定できるデータを含んでもよい。この場合、制御部１４０は、ＧＰＳ１１５や通信部１１７を利用して画像表示部２０の位置を検出し、検出した画像表示部２０の位置と対象情報とに基づいて、画像表示部２０と対象との相対位置を特定できる。
また、ＡＲ表示の対象は、物体の全体に限定されず、物体において特定される部分または面が対象に設定されてもよい。この場合、対象を含む物体の位置に対する対象の位置を特定するデータを、対象情報に含めることができる。例えば、対象を含む物体のＣＡＤデータ、物体全体の外観図など、物体の全体を特定するデータと、物体の全体における対象の位置を特定するデータとを、対象情報に含めることができる。
【０１２７】
制御部１４０は、画像取得部１６１により、外景画像取得処理を実行する（ステップＳ１２）。外景画像取得処理は、上述した第１〜第３の態様で実行できる。
【０１２８】
制御部１４０は、位置検出部１６２により、ステップＳ１２で取得した外景画像と、ステップＳ３１で取得した対象情報から、ＡＲ表示の対象を認識する（ステップＳ３２）。ＡＲ表示の対象は、上述したように、ＡＲコンテンツを表示する際に使用者が視認する実空間の物体である。ステップＳ３２で、位置検出部１６２は、ステップＳ１３（図５）を参照して説明したように、ステップＳ１２で取得した外景画像において対象を認識する。また、対象が外景画像に含まれない場合、位置検出部１６２は、ステップＳ３１で取得した対象情報を用いて対象の位置（頭部装着型表示装置１００と対象との相対位置）を特定する。
【０１２９】
対象情報が、目標物と対象の相対位置を示すデータを含む場合、位置検出部１６２は、外景画像から目標物を検出し、検出した目標物と頭部装着型表示装置１００との相対位置を求める。求めた相対位置と対象情報に含まれるデータとをもとに、位置検出部１６２は、頭部装着型表示装置１００に対する対象の位置を求める。外景画像から目標物を検出する処理では、撮像画像から目標物の画像を検出する処理に用いるデータが用いられ、このデータは、例えば目標物を撮像した場合の撮像画像の色、形状、その他の特徴を示す特徴量を含む。このデータは、例えば、対象情報に含まれる。位置検出部１６２は、外景画像の画像データから物体の画像を抽出する処理を行い、抽出した物体の画像の特徴量を算出し、算出した特徴量と、対象情報に含まれる特徴量とを比較照合する。特徴量が近い値である場合、或いは同一である場合、位置検出部１６２は、外景画像から抽出した画像を目標物の画像として認識する。
【０１３０】
また、ステップＳ３１で取得した対象情報に、対象と頭部装着型表示装置１００の相対位置を示すデータが含まれる場合、位置検出部１６２は、外景画像を用いずに対象の位置を特定してもよい。この処理は、位置検出部１６２が、外景画像から対象及び目標物のいずれも検出できない場合に実行してもよい。
【０１３１】
位置検出部１６２は、ステップＳ３２で認識した対象の位置について、使用者が視認可能な位置であるか否かを判定する（ステップＳ３３）。画像表示部２０を装着する使用者は、画像表示部２０を透過して外景（実空間）を視認するので、位置検出部１６２は、使用者が画像表示部２０を透過して視認する範囲に対象があるか否かを判定する。
ここで、使用者が視認可能な範囲に対象がある場合（ステップＳ３３；ＹＥＳ）、位置検出部１６２は、ステップＳ１４に移行する。その後の動作は上記第１実施形態で説明した通りである。
【０１３２】
一方、使用者が視認可能な範囲に対象がない場合（ステップＳ３３；ＮＯ）、動作処理部１６４は、使用者を誘導する誘導動作を実行する（ステップＳ３４）。
制御部１４０がステップＳ３４に移行する場合は、使用者が画像表示部２０を透過して視認可能な範囲、すなわち、使用者の視野に対象が無い。このため、使用者が対象を見るためには、使用者自身が、移動（前進や後退など）したり、頭の向きを変えたりする必要がある。制御部１４０は、ステップＳ３４の誘導動作により、対象が使用者の視野に入る状態にするために使用者が行うべき動作を、案内あるいは通知する。つまり、誘導動作は、使用者を、対象を視認できる状態に誘導するための頭部装着型表示装置１００の動作である。誘導動作は、具体的には、画像の表示、テキストの表示、及び、音声の出力が挙げられ、これらを組み合わせて実行してもよい。
【０１３３】
図１３は、誘導動作の具体例を示す図であり、（Ａ）は画像による誘導動作の例を示し、（Ｂ）は画像とテキストによる誘導動作の例を示す。
図１３（Ａ）の例では、使用者の視野ＶＲにおいて表示領域Ｄ１に誘導表示Ｄ３が表示される。表示領域Ｄ１は、上述したようにハーフミラー２６１Ａ、２６２Ａにより使用者の眼に虚像を視認させることが可能な領域である。
【０１３４】
図１３（Ａ）に例示する誘導表示Ｄ３は、矢印によって特定の方向を指し示す。誘導表示Ｄ３が指し示す方向は、例えば、（１）対象が位置する方向、（２）対象を視認できる状態にするために使用者が移動すべき方向、あるいは、（３）対象を視認できる状態にするために使用者が顔（頭）の向きを転回すべき方向である。誘導表示Ｄ３が指し示す方向の意味あるいは目的（例えば、上記（１）〜（３））を、誘導画像の属性と呼ぶ。
誘導表示Ｄ３の属性は、上記（１）〜（３）のどれであるか予め設定されてもよいし、誘導表示Ｄ３の表示態様により区別できるようにしてもよい。
【０１３５】
例えば、制御部１４０が、誘導表示Ｄ３の表示態様を切り替えることが可能な構成であってもよい。具体的には、誘導表示Ｄ３を点滅させる表示と点滅しない表示とを切り替えてもよいし、誘導表示Ｄ３の表示色を複数の色から選択して切り替えてもよく、誘導表示Ｄ３の表示サイズを、複数段階の表示サイズから選択してもよい。
この場合、制御部１４０は、誘導表示Ｄ３の属性に対応して誘導表示Ｄ３の表示態様を選択できる。例えば、誘導表示Ｄ３の各々の属性に対応付けて表示態様が設定され、この設定に従って制御部１４０が誘導表示Ｄ３の表示態様を決定してもよい。
【０１３６】
図１３（Ｂ）は、制御部１４０が、誘導表示Ｄ３に加えてテキストを含む誘導表示Ｄ４を表示する例を示す。誘導表示Ｄ４は、誘導表示Ｄ３とともに表示領域Ｄ１に表示され、テキストによって情報を提供する。誘導表示Ｄ４の内容は任意であるが、誘導表示Ｄ３が提供する情報に関連する内容であってもよい。例えば、誘導表示Ｄ３が示す方向について、付加的な情報を誘導表示Ｄ４で提供してもよい。また、誘導表示Ｄ４の情報の内容が、誘導表示Ｄ３と同じ情報であってもよいし、誘導表示Ｄ３の情報の説明であってもよい。また、誘導表示Ｄ４の内容が、誘導表示Ｄ３を見ることなく理解可能な情報であってもよい。
【０１３７】
誘導表示Ｄ４は、使用者に対して移動を促す内容であってもよい。例えば、「前方に１歩進んでください」、「前方に５０ｃｍ進み、対象の自転車に近づいてください」等のテキストとすることができる。また、移動を促すテキストと、移動の目的や移動後の動作を説明するテキストを含んでもよい。例えば、「前方に５０ｃｍ進み、対象の自転車に近づいてください。ＡＲ表示する工具が自転車のネジに重なります」等とすることができる。また、誘導表示Ｄ３の矢印を利用して、使用者の動作を促す内容であってもよく、例えば、「左の黄色の矢印方向に工具箱があります。工具箱からレンチを取り出してください」等とすることができる。
【０１３８】
制御部１４０は、図１３（Ａ）、（Ｂ）に例示する誘導表示Ｄ３、Ｄ４等により、使用者に対し、ＡＲ表示の対象が表示領域Ｄ１に重なるように誘導できる。また、制御部１４０は、ＡＲ表示の対象が表示領域Ｄ１の中央に重なるように誘導してもよい。
また、制御部１４０は、誘導表示Ｄ３、Ｄ４等の誘導のための表示の表示態様を、表示領域Ｄ１とＡＲ表示の対象との相対位置に応じて変化させてもよい。すなわち、使用者が表示領域Ｄ１を透過して視認する実空間と、対象との相対位置に応じて、表示態様を変化させてもよい。具体的には、使用者が表示領域Ｄ１を透過して視認する実空間と対象との距離を複数段階に分類し、距離が長いほど誘導表示Ｄ３や誘導表示Ｄ４の表示サイズを大きくし、距離が短いほど表示サイズを小さくしてもよい。また、距離が長い場合は誘導表示Ｄ３や誘導表示Ｄ４の表示位置を表示領域Ｄ１の中央に近い位置とし、距離が短いほど、表示位置を、ＡＲ表示の対象が位置する側に移動してもよい。
【０１３９】
また、制御部１４０は、誘導表示Ｄ３、Ｄ４に限らず、音声による誘導を組み合わせてもよい。使用者が制御装置１０に対して予め設定した言語で、使用者に対し、誘導や案内に関する情報を伝える内容とすることができる。
音声により提供する具体的な内容は、例えば、誘導表示Ｄ４の内容と同様とすることができる。また、テキストを含む誘導表示や音声により、使用者に対し、立ち位置、視線、頭の向き、手の位置、持ち方等の指示を出力してもよい。たとえば、ＡＲ表示により、作業シナリオに従って作業手順の案内を行う場合に、テキストの表示や音声によって作業状態を案内する情報を提供してもよい。シナリオは、画像、テキスト及び音声の少なくともいずれかを含み、画像及び／又はテキストには表示順序が設定され、画像及び／又はテキストの表示順に対応付けて音声の出力タイミングが設定されたデータである。出力するオブジェクト（画像、テキスト、音声等）が複数ある場合に、オブジェクトを切り替えて出力してもよい。オブジェクトの出力タイミングや切り替えのタイミングは、シナリオの再生開始からの時間の経過に対応付けて設定されてもよいし、制御装置１０への入力をトリガーとしてもよい。また、制御部１４０が右カメラ６１及び左カメラ６２の撮像画像を解析して、トリガーを検出してもよく、この場合はトリガーとして検出する画像の特徴量等がシナリオに含まれる。制御部１４０が出力する誘導表示Ｄ３、Ｄ４等の誘導用の画像やテキスト、或いは音声を、シナリオの一部に含めることも可能である。また、シナリオのデータに、ＡＲ表示の対象の特徴量等のデータを含めることも可能である。
制御部１４０は、シナリオのテキストや音声とともに、ステップＳ３２で認識した対象の位置に対応して、誘導表示Ｄ３、Ｄ４等のような誘導のテキスト、音声を出力してもよい。
【０１４０】
制御部１４０は、誘導表示Ｄ４のように出力するテキスト、或いは出力する音声の内容を、ステップＳ３１で取得した対象情報や、ステップＳ３２における認識結果に基づいて、その都度、生成してもよい。また、制御部１４０は、予め記憶部１２０等に記憶したデータや外部機器ＯＡから取得したデータに含まれるテキストから、テキストを選択し、選択したテキストを表示し、或いは音声に変換して出力してもよい。
【０１４１】
制御部１４０が誘導表示において表示する誘導表示Ｄ３、Ｄ４、或いはＡＲ表示等は、予め記憶部１２０等に記憶された画像データを用いて表示してもよい。この場合、例えば、対象と使用者との相対位置が短時間で大きく変化する場合に、速やかに表示を行うことができる。また、制御部１４０は、右カメラ６１及び左カメラ６２の撮像画像の一部を切り出してＡＲ表示を行ってもよい。
【０１４２】
また、制御部１４０が、誘導表示Ｄ４の表示態様を切り替え可能な構成であってもよい。例えば、誘導表示Ｄ４を点滅させる表示と点滅しない表示とを切り替えてもよいし、誘導表示Ｄ４の表示色を複数の色から選択して切り替えてもよく、誘導表示Ｄ４のフォント及び文字サイズを複数のフォント及び文字サイズから選択してもよい。
【０１４３】
制御部１４０は、誘導表示Ｄ３、Ｄ４の表示態様を、上述したように誘導表示Ｄ３の属性や誘導表示Ｄ４の内容に対応して切り替えてもよい。また、誘導表示Ｄ４の内容により誘導表示Ｄ３の属性が明らかな場合、制御部１４０は、誘導表示Ｄ３の属性に対応する表示態様の調整を行わなくてもよい。
【０１４４】
制御部１４０が実行する誘導動作の内容は、図１３（Ａ）、（Ｂ）に示した例に限定されない。例えば、表示領域Ｄ１の周縁部に、通知用のマーカーを表示してもよい。マーカーは、誘導表示Ｄ３のように矢印としてもよいし、円形や多角形等の幾何学図形であってもよいし、イラスト等であってもよい。マーカーはテキストを伴ってもよいが、使用者が直感的に認識できるように、テキストを伴わない態様で表示することが好ましい。
【０１４５】
図１４は、頭部装着型表示装置１００の誘導動作の別の具体例として、マーカーによる誘導動作の例を示す。
図１４の例では使用者の視野ＶＲにおいて表示領域Ｄ１の周縁部にマーカーＤ６、Ｄ１０が表示される。この例では、制御部１４０は、使用者に対して注意を促す注意情報、安全性に関係する事柄について特に強い注意または警戒を促す警戒情報、及び、シナリオに従った作業に関する作業情報を表示する。
例えば、マーカーＤ１０は、図中左方向に関する警戒情報を示すマーカーであり、警戒情報の表示色として設定された色（例えば、赤色）で表示される。このマーカーＤ１０の表示を開始するタイミングに同期して、制御部１４０は、「それ以上左方向に近づかないでください。壁にぶつかります」等のテキストを音声に変換して右イヤホン３２及び左イヤホン３４から出力してもよい。また、マーカーＤ６は、注意情報の表示色として設定された色（例えば、黄色）で表示される。マーカーＤ６の表示を開始するタイミングに同期して、制御部１４０は、「左前方に進行案内矢印が見えます。行き過ぎないようにしてください」等のテキストを音声に変換して右イヤホン３２及び左イヤホン３４から出力してもよい。
【０１４６】
また、マーカーＤ７はＡＲ表示の対象の位置を示し、作業情報の表示色として設定された色（例えば、緑色）で表示される。マーカーＤ６の表示を開始するタイミングに同期して、制御部１４０は、「３０メートル左前方に進んでください。対象の荷物がみえます。対象物は緑色のマーカーです。」等のテキストを音声に変換して右イヤホン３２及び左イヤホン３４から出力してもよい。ここで、対象そのものが表示領域Ｄ１を透過して視認できる場合、制御部１４０は表示領域Ｄ１にＡＲ表示を行う。制御部１４０は、頭部装着型表示装置１００から対象までの距離が設定された距離より遠い場合、壁や障害物のために対象を直接視認できず撮像画像から対象を検出できない場合、マーカーＤ７を表示する。これにより、表示領域Ｄ１に重なる位置にあって直接視認できない、或いは直接の視認が難しい対象について使用者に通知できる。
【０１４７】
マーカーＤ６、１０等、方向を有するマーカーは、指し示す方向が特定された画像、或いはＡＲオブジェクトとして予め記憶される。すなわち、制御部１４０は、指し示す方向が特定されたマーカーを表示する場合、表示する方向に対応するマーカーの画像を読み出して表示する。これらの画像は、ベクトルを有するＡＲ表示オブジェクトということができる。図に例示した矢印の画像だけでなく、文字（テキスト）に方向を対応付けてもよい。この場合、マーカーの画像や文字を生成する場合に比べ、制御部１４０は、速やかにＡＲ表示を行えるという利点がある。
【０１４８】
さらに、頭部装着型表示装置１００において、表示領域Ｄ１に表示するマーカーを、使用者の入力を受け付ける操作対象として利用可能な構成としてもよい。
図１５は、頭部装着型表示装置１００の誘導動作の別の具体例を示す図であり、（Ａ）はマーカーを操作対象とする例を示し、（Ｂ）はマーカーに対する操作例を示し、（Ｃ）はマーカーに対する操作の別の例を示す。
【０１４９】
図１５（Ａ）では表示領域Ｄ１にマーカーＤ１１が表示される。制御部１４０は、マーカーＤ１１に対する操作を検出すると、例えばテキスト情報Ｄ１２を表示し、出力する。テキスト情報Ｄ１２は天気予報であり、制御部１４０が、通信部１１７等により取得する。
また、図１５（Ｂ）では、表示領域Ｄ１に、マーカーＤ６、及びマーカーＤ１３が表示される。マーカーＤ６は図１４で説明したように、例えば注意情報として表示される。これに対し、マーカーＤ１３は操作の対象であり、マーカーＤ１３が操作されると、例えばプルダウンメニューＤ１４が表示される。
【０１５０】
マーカーＤ１３を選択する操作は、例えば、使用者が指示の音声を発話し、この音声を、マイク６３が集音した音声の中から制御部１４０が検出することで、行われる。また、使用者が頭を動かすことでマーカーを選択できる構成としてもよい。制御部１４０は、９軸センサー６６により、画像表示部２０を装着した使用者の頭部の動きを検出して、検出した動きに対応する位置に表示されるマーカーを選択する。図１５（Ｂ）の例では、使用者が頭を右上に動かす動作を行うことで、表示領域Ｄ１の右上に表示されたマーカーＤ１３が選択される。また、プルダウンメニューＤ１４に表示される項目（図１５（Ｂ）の例では四項目）から１つの項目を選択する操作も、音声、或いは頭部の動きで行える。また、頭部装着型表示装置１００が、使用者の身体の動きを検出するセンサーを有する場合、頭だけでなく、使用者の身体の動きを操作として検出してもよい。
マーカーＤ１３等の操作対象のマーカーは、警戒情報、注意情報、或いは作業情報を示すマーカーと同時に表示することができ、例えば図１５（Ｂ）の例ではマーカーＤ６と同時に表示される。この場合、操作対象のマーカーの表示色は、警戒情報、注意情報、或いは作業情報を示すマーカーとは異なる表示色とすることが好ましい。この場合、使用者は、マーカーの色により、警戒情報、注意情報、或いは作業情報のマーカーと、操作対象のマーカーとを容易に識別できる。
【０１５１】
また、制御部１４０は表示領域Ｄ１に、捜査対象のマーカーを複数表示する構成としてもよい。この場合、表示された複数のマーカーの中から、使用者が音声により一つのマーカーを選択することができる。音声による選択方法は、マーカーの色、形状、位置などマーカーの属性を指定する語を発話すればよく、このため、表示領域Ｄ１に同時に表示される複数のマーカーは、それぞれ属性が異なることが好ましい。例えば、表示色が赤、青、黄色など異なる色のマーカーが表示された状態で、使用者がマーカーの色を指定する語を発話すれば、発話された語に該当するマーカーが選択される。
【０１５２】
さらに、図１５（Ｃ）には、複数のマーカーＤ２１、Ｄ２２、Ｄ２３、Ｄ２４を利用して方向指示操作を行う例を示す。図１５（Ｃ）の例では上下左右の方向指示に対応するキー画像Ｄ２０が表示され、指示方向に対応する位置にマーカーＤ２１、Ｄ２２、Ｄ２３、Ｄ２４が配置される。マーカーＤ２１、Ｄ２２、Ｄ２３、Ｄ２４は、それぞれ、目視により区別可能な属性を有し、例えば、表示色が赤、青、黄色など異なる色となっている。
使用者が音声でマーカーの属性を指定する語（例えば、表示色を指定する赤、青、黄色などの語）を発話すると、制御部１４０は、マーカーＤ２１、Ｄ２２、Ｄ２３、Ｄ２４から該当するマーカーを選択する。制御部１４０は、選択したマーカーに対応する方向に、方向を指示する操作が行われたと判定する。つまり、マーカーＤ２１、Ｄ２２、Ｄ２３、Ｄ２４のいずれかを選択することで、選択したマーカーに対応する方向の指示を行える。これにより、実質的に、キー画像Ｄ２０のような十字キーのハードウェアを操作するように、ハンズフリーで音声による操作を行うことが可能となる。
【０１５３】
制御部１４０は、例えば、キー画像Ｄ２０により特定の方向（例えば右方向）が指示された場合に、ＡＲ表示の表示態様を、近位置作業用の表示に切り替える。  画像表示部２０は、外景を透過可能なハーフミラー２６１Ａ、２６２Ａによって使用者の眼に虚像を形成する構成である。このため、人間の視覚特性により、画像表示部２０を装着する使用者には、表示領域Ｄ１に表示するオブジェクトの大きさが、画像表示部２０を透過して視認する外景までの距離に応じた大きさに見える。頭部装着型表示装置１００では、デフォルト（初期）の設定で、使用者が、実空間において画像表示部２０から４ｍ離れた位置を注目する場合に合わせて表示する。
【０１５４】
具体的には、制御部１４０は、表示領域Ｄ１におけるＡＲ画像（マーカー等のオブジェクトを含む）の表示位置を、使用者が４ｍ先の位置に注目する場合の両眼の輻輳角に合わせた位置とする。輻輳角は、図３（Ｂ）に示す対象ＯＢに注目する場合の、右眼ＲＥと対象ＯＢとを結ぶ直線と左眼ＬＥと対象ＯＢとを結ぶ直線とがなす角度をいう。輻輳角の大きさは使用者が注視する距離（対象ＯＢまでの距離）に対応して変化する。使用者が注視する距離が４ｍより短い場合、両眼の輻輳角は、デフォルトの設定が想定する輻輳角よりも大きくなる。この場合、制御部１４０は、ハーフミラー２６１Ａ、２６２Ａにおける画像の表示位置を画像表示部２０の中央寄り、すなわち鼻側に移動させる。また、使用者が注視する距離が４ｍより長い場合、両眼の輻輳角は、デフォルトの設定が想定する輻輳角よりも小さくなる。この場合、制御部１４０は、ハーフミラー２６１Ａ、２６２Ａにおける画像の表示位置を画像表示部２０の端寄りの位置、すなわち耳側に移動させる。図１５（Ｃ）のキー画像Ｄ２０の操作を、輻輳角の調整に対応させることができる。制御部１４０は、キー画像Ｄ２０の特定の方向が指示された場合に、輻輳角が大きくなるように、表示領域Ｄ１における表示位置を鼻側に移動させる。これにより、使用者が、手元など近い位置に注視して作業を行う場合に適した表示を行える。また、キー画像Ｄ２０において上記特定の方向の反対側が指示された場合、制御部１４０は、輻輳角が小さくなるように、表示領域Ｄ１における表示位置を耳側に移動させる。これにより、使用者が、遠方を注視して作業を行う場合に適した表示を行える。この例では、使用者は、ハンズフリーの操作によって、作業対象までの距離に適した表示位置の調整を行うことができる。
【０１５５】
［第３実施形態］
図１６は、第３実施形態における頭部装着型表示装置１００の動作を示すフローチャートである。
第３実施形態の頭部装着型表示装置１００の構成は、上記第１実施形態で図１〜図４を参照して説明した構成と共通であるため、図示及び説明を省略する。
この第３実施形態で、頭部装着型表示装置１００は、ＡＲコンテンツの表示中に使用者の視線が移動したことを検出し、視線の移動に合わせて表示位置を変更する。
【０１５６】
使用者が頭部装着型表示装置１００を装着し、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、制御部１４０は、表示に係る動作を開始する（ステップＳ１１）。
制御部１４０は、画像取得部１６１により、外景画像取得処理を実行する（ステップＳ１２）。外景画像取得処理は、上述した第１〜第３の態様で実行できる。
【０１５７】
画像取得部１６１が外景画像取得処理で外景画像を取得した後、動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ４１）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う（ステップＳ４２）。
【０１５８】
動作処理部１６４は、ステップＳ４１において、視線センサー６８を使用して使用者の視線を検出し、画像表示部２０を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央位置や、ハーフミラー２６１Ａ、２６２Ａの中心等とすることができる。
ステップＳ４２において、動作処理部１６４は、画像取得部１６１がステップＳ１２で取得した外景画像と、使用者が画像表示部２０を透過して視認する実際の外景との対応を特定する。画像取得部１６１が取得する外景画像は、使用者が視認する実際の外景を含み、これに加えて、使用者が視認できない範囲の外景の画像を含む。動作処理部１６４は、ステップＳ１２の外景画像取得処理が第１の態様（図６）または第２の態様（図７、図８）で実行された場合は、右カメラ６１及び左カメラ６２の画角に基づき、使用者が視認する外景と外景画像との相対位置を求める。また、外景画像取得処理が第３の態様（図９）で実行された場合、動作処理部１６４は、外部機器から外景画像を受信する際に検出した画像表示部２０の位置や方向に基づき、使用者が視認する外景と外景画像との相対位置を求める。この相対位置をもとに、動作処理部１６４は、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。
【０１５９】
図１７は、第３実施形態における表示例を示す図であり、（Ａ）は使用者の視野ＶＲを示し、（Ｂ）は外景画像の例を示し、（Ｃ）は視線方向に対応した表示例を示す。
図１７（Ａ）、（Ｃ）は使用者の右眼の視野ＶＲの例を示しており、使用者の左眼の視野は図１７（Ａ）、（Ｃ）と同一または左右対称であるため図示を省略する。視野ＶＲのうちハーフミラー２６１Ａに相当する領域として表示領域Ｄ１を示す。
図１７（Ａ）の例では視野ＶＲに自転車が見えているが、この自転車は画像表示部２０の外側に置かれている実物の自転車である。つまり、使用者は、右光学像表示部２６を透過して、外景の自転車を視認する。
【０１６０】
動作処理部１６４は、図１７（Ｂ）に示すように、使用者の視線方向に対応する外景画像中の位置を特定し、この位置を注視点ＶＰＯとする。さらに、動作処理部１６４は、注視点ＶＰＯを中心とする矩形の部分Ｐ３を、外景画像から切り出す処理を行う。部分Ｐ３のサイズは、右ＬＣＤ２４１及び左ＬＣＤ２４２の表示解像度等に合わせて予め設定される。
【０１６１】
ステップＳ４２で動作処理部１６４が切り出す画像について、表示位置制御部１６５は、表示位置及びサイズを決定する（ステップＳ４３）。続いて、動作処理部１６４は、表示の輝度の調整を行い、ステップＳ４３で決定した位置及びサイズに従って、ステップＳ４２で切り出した外景画像を表示する（ステップＳ４４）。
外景画像の表示例を図１７（Ｃ）に示す。視野ＶＲには、注視点ＶＰＯを中心とした画像が、ハーフミラー２６１Ａの位置に表示される。ハーフミラー２６１Ａの表示画像は、外景の一部の表示位置をずらしたような表示となっており、使用者は、自分が見たい位置の外景を、見やすい位置にシフトした状態で視認できる。
表示輝度を調整すると、外景画像から切り出した画像と、実際の外景との視認性を調整できる。ハーフミラー２６１Ａ、２６２Ａが使用者の眼に入射させる画像光の光量が多いほど、ハーフミラー２６１Ａ、２６２Ａを透過する外光の光量が相対的に小さくなるので、実際の外景が見えにくくなる。言い換えれば、画像表示部２０の表示画像の輝度が高いと、表示画像の視認性が高く、実際の外景の視認性が低い。反対に、画像表示部２０の表示画像の輝度を低くすれば、表示画像の視認性が低くなり、実際の外景の視認性が高くなる。この第３実施形態で表示する画像は外景画像であるから、実際の外景と似ている。このため、輝度を高くすれば、表示される外景画像と実際の外景とを混同しにくくなるという利点がある。一方、表示画像の輝度を低くすれば、外景の視認性を確保して画像を表示できるという利点がある。
【０１６２】
ステップＳ４４で外景画像の表示を開始した後、動作処理部１６４は、視線センサー６８による視線の検出を行い、視線の移動があったか否かを判定する（ステップＳ４５）。すなわち、動作処理部１６４は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。
視線の移動がないと判定した場合（ステップＳ４５；ＮＯ）、動作処理部１６４は、視線センサー６８による視線検出とステップＳ４５の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合（ステップＳ４５；ＹＥＳ）、動作処理部１６４は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップＳ１２で取得した外景画像から切り出す（ステップＳ４６）。
【０１６３】
表示位置制御部１６５は、ステップＳ４６で動作処理部１６４が切り出す外景画像について、表示位置及びサイズを決定する（ステップＳ４７）。動作処理部１６４は、ステップＳ４７で決定した位置及びサイズに従って、表示中の画像を、ステップＳ４６で切り出した外景画像に更新する（ステップＳ４８）。
【０１６４】
その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ４９）、表示終了の条件が成立していない場合は（ステップＳ４９；ＮＯ）、ステップＳ４５に戻る。また、表示終了の条件が成立した場合（ステップＳ４９；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。
【０１６５】
このように、第３実施形態において、頭部装着型表示装置１００の制御部１４０は、画像取得部１６１が取得する外景画像の一部領域を画像表示部２０に表示し、視線センサー６８が検出する使用者の視線の方向に対応して、外景画像において画像表示部２０に表示する一部領域の位置を変化させる。このため、使用者の視線に対応させて、外景画像を表示するので、使用者が視認する外景と表示画像との不整合を防ぎ、外景画像を使用者に視認させることができる。また、使用者の視線の変化に追従するように、外景画像の表示が変化するので、使用者には、外景が視線に合わせて移動するように見える。また、外景画像が使用者の視界より大きい範囲を含む場合、使用者には、視認できる範囲が拡大したように見える。このように、使用者の視線に合わせて、擬似的な外景を表示し、擬似的な外景の位置を変化させることで、外景の視認性に関する新たな操作感を提供できる。
また、動作処理部１６４は、画像表示部２０で表示する外景画像の表示輝度を調整し、実際の外景よりも表示画像が明瞭に視認できるようにすることができる。これにより、実際の外景と外景画像を混同することがなく、使用者を外景画像に注目させることができ、擬似的な外景を表示することの効果を、より顕著にすることができる。
【０１６６】
［第４実施形態］
図１８は、第４実施形態に係る頭部装着型表示装置１００Ａを構成する各部の機能ブロック図である。
頭部装着型表示装置１００Ａは、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２を備える点を除き、第１実施形態の頭部装着型表示装置１００と共通の構成を有する。この共通の構成部については、同符号を付して説明を省略する。
【０１６７】
詳細には、頭部装着型表示装置１００Ａは、画像表示部２０Ｂに、右透明ＬＣＤ２７１を有する右表示駆動部２２Ａと、左透明ＬＣＤ２７２を有する左表示駆動部２４Ａとを備える。右表示駆動部２２Ａは、上述した右表示駆動部２２に、透過型液晶表示パネルで構成される右透明ＬＣＤ２７１を設け、右透明ＬＣＤ２７１を右ＬＣＤ制御部２１１で駆動する構成である。また、左表示駆動部２４Ａは、上述した左表示駆動部２４に、透過型液晶表示パネルで構成される左透明ＬＣＤ２７２を設け、左透明ＬＣＤ２７２を左ＬＣＤ制御部２１２で駆動する構成である。
【０１６８】
右ＬＣＤ制御部２１１が右透明ＬＣＤ２７１を駆動して表示する画像のデータ、及び、左ＬＣＤ制御部２１２が左透明ＬＣＤ２７２を駆動して表示する画像のデータは、画像処理部１６０から、送信部５１及び受信部５３を介して送信される。
【０１６９】
図１９は、画像表示部２０Ｂが備える光学系の構成を示す要部平面図であり、説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
図１９に示すように、右透明ＬＣＤ２７１は、右導光板２６１と調光板２０Ａとの間に配置される。右透明ＬＣＤ２７１は、右導光板２６１の、使用者の眼の側とは反対の側である画像表示部２０Ｂの表側を覆うように配置される。右透明ＬＣＤ２７１は光透過性を有し、調光板２０Ａを透過する外光ＯＬを、さらに右導光板２６１側に透過させる。
また、左透明ＬＣＤ２７２は、左導光板２６２と調光板２０Ａとの間に配置される。すなわち、左透明ＬＣＤ２７２は、左導光板２６２の、使用者の眼の側とは反対側である画像表示部２０Ｂの表側を覆うように配置される。左透明ＬＣＤ２７２は光透過性を有し、調光板２０Ａを透過する外光ＯＬを、さらに左導光板２６２側に透過させる。
【０１７０】
右透明ＬＣＤ２７１、左透明ＬＣＤ２７２の光透過性は制限されないが、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示を視認可能な程度の光量の外光ＯＬを透過することが好ましい。また、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２を透過して、外景を視認できることは要求されない。
【０１７１】
図２０は、頭部装着型表示装置１００Ａの動作を示すフローチャートである。また、図２１は、頭部装着型表示装置１００Ａの表示例を示す図であり、（Ａ）は右透明ＬＣＤ２７１、左透明ＬＣＤ２７２の表示の例を示し、（Ｂ）はハーフミラー２６１Ａ、２６２Ａによる表示の例を示す。（Ｃ）は右導光板２６１、左導光板２６２、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示が重なった状態を示す。
図２１（Ａ）、（Ｂ）、（Ｃ）の各図には使用者の右眼に対応する右透明ＬＣＤ２７１及び視野ＶＲの例を示す。使用者の左眼に対応する表示例は図２１（Ａ）〜（Ｃ）と同一の表示、または、表示位置が左右対称な同内容の表示となるため図示を省略する。
【０１７２】
使用者が頭部装着型表示装置１００Ａを装着し（ステップＳ６１）、操作部１３５の操作によりＡＲコンテンツの表示が指示されると、動作処理部１６４は、外景画像を取得する処理を実行する（ステップＳ６２）。ステップＳ６２の動作は、上述した第１実施形態の図５のステップＳ１２に示した動作と同様である。
【０１７３】
動作処理部１６４は、視線センサー６８によって使用者の視線を検出する（ステップＳ６３）。動作処理部１６４は、検出した視線に基づき、表示領域において使用者が注視する方向を特定し、外景画像から、注視方向に対応する部分を切り出す処理を行う（ステップＳ６４）。
【０１７４】
動作処理部１６４は、ステップＳ６４において、視線センサー６８を使用して使用者の視線を検出し、画像表示部２０を基準として使用者が注視する方向を特定する。この場合の基準は、画像表示部２０の右光学像表示部２６と左光学像表示部２８との中央位置や、ハーフミラー２６１Ａ、２６２Ａの中心等とすることができる。そして、動作処理部１６４は、外景画像と、使用者の視線方向との対応付けを行い、外景画像において使用者の視線方向に重なる位置、すなわち注視点を特定する。
【０１７５】
動作処理部１６４は、注視点を基準として外景画像から切り出した画像を、右表示駆動部２２Ａ、左表示駆動部２４Ａにより表示し（ステップＳ６５）、続いて、外景画像を右透明ＬＣＤ２７１、左透明ＬＣＤ２７２により表示する（ステップＳ６６）。
【０１７６】
図２１（Ａ）には右透明ＬＣＤ２７１の表示領域を符号Ｄ５で示す。表示領域Ｄ５には外景画像が表示される。この外景画像は画像表示部２０を装着した使用者が、同じ位置および同じ向きにおいて画像表示部２０を装着しない場合に視認できる外景を含む。頭部装着型表示装置１００Ａでは右透明ＬＣＤ２７１、左透明ＬＣＤ２７２があるため、使用者の眼に入射する外光ＯＬは外景を明瞭に視認できる程度の光量を有さない可能性がある。そこで、右透明ＬＣＤ２７１、２７２に外景画像を表示し、使用者が外景を認識できるようにする。但し、表示領域Ｄ５では、図２１（Ｂ）に示す表示領域Ｄ１に重なる位置に表示をしないことが望ましい。ハーフミラー２６１Ａ、２６２Ａは右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の画像光を透過するので、ハーフミラー２６１Ａ、２６２Ａの表示画像の視認性を確保するためには、右透明ＬＣＤ２７１及び左透明ＬＣＤ２７２の表示画像がハーフミラー２６１Ａ、２６２Ａを避けた範囲であることが好ましい。図２１（Ａ）の表示領域Ｄ５はハーフミラー２６１Ａでは表示をしない構成となっている。
【０１７７】
図２１（Ｂ）に示すように、表示領域Ｄ１には、外景画像から、使用者の視線に合わせて切り出した画像が表示される。また、右透明ＬＣＤ２７１に対応する表示領域Ｄ５には、図２１（Ａ）に示す外景画像の全体が表示される。使用者の眼には、表示領域Ｄ５に表示される画像と、表示領域Ｄ１に表示される画像とが重なって、図２１（Ｃ）に示すように視認される。
右透明ＬＣＤ２７１、左透明ＬＣＤ２７２は、右導光板２６１、左導光板２６２のように最適化された光学特性を持たない構成とすることがあり、表示領域Ｄ５に表示される画像は、表示領域Ｄ１に比べて不明瞭な画像に見える可能性がある。しかしながら、図２１（Ｃ）に示すように、使用者には、表示領域Ｄ１で視線方向に対応する明瞭な外景画像が視認され、その背景として、表示領域Ｄ５に外景画像の全体が表示される。このため、使用者には、外景画像の全体と、視線方向の一部とが視認されるため、直接外景を見ることができない使用者に、擬似的な外景を見せることができる。
【０１７８】
動作処理部１６４は、視線センサー６８による視線の検出を行い、視線の移動があったか否かを判定する（ステップＳ６７）。すなわち、動作処理部１６４は、使用者の視線方向が、前回検出した視線方向から、予め設定されたしきい値を超えて変化したか否かを判定する。視線の移動がないと判定した場合（ステップＳ６７；ＮＯ）、動作処理部１６４は、視線センサー６８による視線検出とステップＳ６７の判定を、所定時間ごとに繰り返し実行する。そして、視線の移動があったと判定した場合（ステップＳ６７；ＹＥＳ）、動作処理部１６４は、移動後の視線に基づき注視点の位置を特定し、特定した注視点に対応する部分を、ステップＳ６２で取得した外景画像から切り出す（ステップＳ６８）。
表示位置制御部１６５は、ハーフミラー２６１Ａ、２６２Ａにより表示中の画像を、ステップＳ６８で切り出した外景画像に更新する（ステップＳ６９）。
【０１７９】
その後、動作処理部１６４は、表示終了の条件が成立しているか否かを判定し（ステップＳ７０）、表示終了の条件が成立していない場合は（ステップＳ７０；ＮＯ）、ステップＳ６７に戻る。また、表示終了の条件が成立した場合（ステップＳ７０；ＹＥＳ）、ＡＲコンテンツの表示を停止する。表示終了の条件は、例えば、操作部１３５による終了の指示があること、ＡＲコンテンツの表示が完了したこと、等である。
【０１８０】
このように、第４実施形態の頭部装着型表示装置１００Ａは、右透明ＬＣＤ２７１、左透明ＬＣＤ２７２における表示と、右導光板２６１、左導光板２６２による表示とを組合せて行う。右透明ＬＣＤ２７１、左透明ＬＣＤ２７２にはＡＲコンテンツ（例えば、外景画像）の全体を表示し、右導光板２６１、左導光板２６２にはＡＲコンテンツの一部を切り出した画像を表示する。これにより、２つの表示を組み合わせて効果的なＡＲ表示を行える。また、右導光板２６１、左導光板２６２に表示する画像が、使用者の視線方向に対応してＡＲコンテンツから切り出された画像であってもよい。また、ＡＲコンテンツから切り出された画像を拡大表示、または縮小表示してもよい。さらに、ＡＲコンテンツが、右カメラ６１及び左カメラ６２の撮像画像や、この撮像画像を用いて生成された外景画像である場合、使用者に擬似的に外景を視認させることができる。
【０１８１】
なお、この発明は上記各実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
【０１８２】
上記各実施形態では、使用者が表示部を透過して外景を視認できる範囲について、右光学像表示部２６及び左光学像表示部２８が外光を透過し、この右光学像表示部２６及び左光学像表示部２８を透過する外光が使用者の眼に入射することで、使用者が外景を視認する構成を例示した。この構成において、使用者が表示部を透過して視認できる範囲は、使用者の視野（視界）において右光学像表示部２６及び左光学像表示部２８が占める範囲として説明したが、本発明はこれに限定されない。例えば、使用者の視野において右光学像表示部２６及び左光学像表示部２８に重なり、或いは含まれる領域であっても、画像表示部２０が備える枠などの構成物または付属物により視認できない範囲または領域があれば、「視認できる範囲」から除外してもよい。また、右光学像表示部２６及び左光学像表示部２８において外景を透過する部分と、使用者の視野との相対位置関係を示すデータを、予め記憶部１２０等に記憶する構成であってもよい。この場合、使用者が視認できる範囲は、記憶部１２０に記憶されるデータにより定義される範囲とすることができる。さらに、右光学像表示部２６及び左光学像表示部２８において外景を透過する部分と、使用者の視野と、右光学像表示部２６及び左光学像表示部２８が画像を表示する表示領域との相対位置関係を示すデータを、予め記憶部１２０等に記憶する構成であってもよい。このデータには、右光学像表示部２６及び左光学像表示部２８において外景を透過する部分と、表示領域とのサイズを特定するデータを含めてもよい。また、当該データは、使用者が画像表示部２０を装着した状態で、キャリブレーションが行われることで、制御部１４０が生成し、記憶部１２０に記憶させてもよい。このキャリブレーションでは、制御部１４０が右光学像表示部２６及び左光学像表示部２８によりキャリブレーション用の画像を表示し、キャリブレーション用の画像が視認できる位置と使用者の視野との位置関係について、使用者が入力または操作を行い、この操作を制御部１４０が検出して上記データを生成すればよい。この場合、キャリブレーション用の画像は、例えば、複数の幾何学図形等が配置された画像を用いることができる。
【０１８３】
また、使用者が表示部を透過して外景を視認する構成は、右光学像表示部２６及び左光学像表示部２８が外光を透過する構成に限定されない。例えば外景を視認できない状態で画像を表示する表示装置にも適用可能である。具体的には、右カメラ６１及び／又は左カメラ６２の撮像画像、この撮像画像に基づき生成される画像やＣＧ、予め記憶された映像データや外部から入力される映像データに基づく映像等を表示する表示装置に、本発明を適用できる。この種の表示装置としては、外景を視認できない、いわゆるクローズ型の表示装置を含むことができる。また、ＡＲ表示、ＭＲ表示、或いはＶＲ表示といった処理を行わず、外部から入力される映像データまたはアナログ映像信号を表示する表示装置も、本発明の適用対象として勿論含まれる。
【０１８４】
また、例えば、画像表示部２０、２０Ｂに代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
【０１８５】
さらに、上記実施形態では、画像表示部２０、２０Ｂと制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明したが、制御装置１０と画像表示部２０とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２０Ｂと分離して構成され、制御装置１０と画像表示部２０、２０Ｂとの間で無線通信により各種信号を送受信する構成としてもよい。
【０１８６】
また、例えば、画像表示部２０、２０Ｂにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon,  LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
【０１８７】
本発明でいう「表示部」は、画像光を出射する構成に相当し、以下の説明では頭部装着型表示装置１００が画像光を出射することを、「表示する」と呼ぶ。
上記各実施形態では、図４を参照して説明した左右の画像光生成部により画像光を生成し、図２に示す右光学像表示部２６及び左光学像表示部２８によって、使用者の右眼と左眼のそれぞれに向けて画像光を照射し、使用者の右眼と左眼のそれぞれに画像光を入射させる構成を例示する。「表示部」の構成はこれに限定されない。すなわち、画像光を照射するものであれば、図２及び図４の構成に限定されない。例えば本実施形態の構成では、ハーフミラー２６１Ａ、２６２Ａを有する「右導光部」及び「左導光部」によって、使用者の眼に向けて画像光を出射する。また、画像光を生成する構成として、右バックライト２２１及び左バックライト２２２と、右ＬＣＤ２４１及び左ＬＣＤ２４２とを備える。「表示部」はこれらの構成を必須としない。
【０１８８】
例えば、画像表示部２０の右表示駆動部２２及び左表示駆動部２４のいずれか、又は両方に内蔵する機構によって生成される画像光を、画像表示部２０の使用者側すなわち使用者の眼を向く側に設けられる反射機構により反射して、使用者の眼に出射してもよい。ここで、反射機構は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーを用いた走査光学系を採用することもできる。すなわち、画像光生成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系を備え、この走査光学系で走査される光が使用者の眼に直接入射する構成としてもよい。また、走査光学系により走査される光によって虚像が形成される光学部材を、画像表示部２０に設けてもよい。この光学部材はＭＥＭＳミラーが走査する走査光による虚像を形成する。この場合、ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が視認（認識）される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
【０１８９】
また、走査光学系はＭＥＭＳミラーを備えた構成に限定されない。画像光を生成する機構も、レーザー光を発するレーザー光源であってもよい。例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、走査される光を受ける虚像形成面に代えて、回折格子を用いて使用者の眼に画像光を導く構成であってもよい。つまり、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
【０１９０】
ＭＥＭＳ等を有する走査光学系を備えた構成では、画像表示部２０における走査光学系の取り付け角度を変更することで、使用者が画像を視認する位置、すなわち画像の表示位置を変更できる。従って、上記各実施形態で表示位置を変更する処理において、右ＬＣＤ２４１、左ＬＣＤ２４２における画像の表示位置を変更する動作に代えて、走査光学系の角度を変更する動作を行ってもよい。
【０１９１】
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。
【０１９２】
また、上記各実施形態では使用者の眼前に位置する右光学像表示部２６及び左光学像表示部２８の一部に、ハーフミラー２６１Ａ、２６２Ａにより虚像が形成される構成を例示した。本発明はこれに限定されず、右光学像表示部２６及び左光学像表示部２８の全面または大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
【０１９３】
さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１９４】
また、図４、図１８に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図４に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１３５のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図４、図１８に示す制御部１４０が制御装置１０と画像表示部２０との両方に形成されていてもよいし、制御装置１０に形成された制御部１４０と画像表示部２０、２０Ｂに形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。
【符号の説明】
【０１９５】
１０…制御装置、２０、２０Ｂ…画像表示部（表示部）、２１…右保持部、２２、２２Ａ…右表示駆動部、２３…左保持部、２４、２４Ａ…左表示駆動部、２５…インターフェイス、２６…右光学像表示部、２８…左光学像表示部、６１…右カメラ（撮像部）、６２…左カメラ（撮像部）、６４…距離センサー、６８…視線センサー（視線検出部）、１００、１００Ａ…頭部装着型表示装置（表示装置）、１１７…通信部（接続部）、１２０…記憶部、１２５…インターフェイス、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１６１…画像取得部（外景画像取得部）、１６２…位置検出部、１６３…画像選択部、１６４…動作処理部、１６５…表示位置制御部、１８７…音声処理部、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板、２６１Ａ、２６２Ａ…ハーフミラー、２７１…右透明ＬＣＤ、２７２…左透明ＬＣＤ。
【図１】
2016224086.tif 000003
【図２】
2016224086.tif 000004
【図３】
2016224086.tif 000005
【図４】
2016224086.tif 000006
【図５】
2016224086.tif 000007
【図６】
2016224086.tif 000008
【図７】
2016224086.tif 000009
【図８】
2016224086.tif 000010
【図９】
2016224086.tif 000011
【図１０】
2016224086.tif 000012
【図１１】
2016224086.tif 000013
【図１２】
2016224086.tif 000014
【図１３】
2016224086.tif 000015
【図１４】
2016224086.tif 000016
【図１５】
2016224086.tif 000017
【図１６】
2016224086.tif 000018
【図１７】
2016224086.tif 000019
【図１８】
2016224086.tif 000020
【図１９】
2016224086.tif 000021
【図２０】
2016224086.tif 000022
【図２１】
2016224086.tif 000023