(57)【要約】【課題】画像表示部の向きに基づいて、画像光生成領域の位置を設定することで、使用者の映像宵を抑制する頭部装着型表示装置を提供する。【解決手段】透過型の頭部装着型表示装置は、画像データに基づいて画像光を生成し射出する画像光生成部を有し、使用者の頭部に装着された状態において、使用者に画像光を虚像として視認させると共に、外景を透過させる画像表示部と；画像表示部の向きである表示部方向を特定する表示部方向特定部と；画像光生成部が画像光を生成する画像光生成領域と前記表示部方向とに基づいて特定方向を設定する特定方向設定部と；特定方向が設定された後、画像光生成領域と特定方向とが位置合わせされるように、表示部方向に基づいて、画像光生成領域の位置を設定する制御部と、を備える。【選択図】図７
2015192153.tif 000002
【特許請求の範囲】
【請求項１】
透過型の頭部装着型表示装置であって、
画像データに基づいて画像光を生成し射出する画像光生成部を有し、使用者の頭部に装着された状態において、使用者に前記画像光を虚像として視認させると共に、外景を透過させる画像表示部と、
前記画像表示部の向きである表示部方向を特定する表示部方向特定部と、
前記画像光生成部が前記画像光を生成する画像光生成領域と前記表示部方向とに基づいて特定方向を設定する特定方向設定部と、
前記特定方向が設定された後、前記画像光生成領域と前記特定方向とが位置合わせされるように、前記表示部方向に基づいて、前記画像光生成領域の位置を設定する制御部と、を備える、頭部装着型表示装置。
【請求項２】
請求項１に記載の頭部装着型表示装置であって、さらに、
前記外景を撮像する撮像部を備え、
前記特定方向設定部は、撮像された画像に含まれる特定の対象物を判別し、前記特定の対象物に基づいて前記特定方向を設定する、頭部装着型表示装置。
【請求項３】
請求項２に記載の頭部装着型表示装置であって、さらに、
前記特定の対象物の大きさを記憶する第１の対象物記憶部と、
前記撮像部の焦点距離と前記特定の対象物の画像の大きさとに基づいて、前記画像表示部と前記特定の対象物との距離を特定する距離特定部と、を備え、
前記制御部は、特定された前記距離に基づいて、前記画像光を設定する、頭部装着型表示装置。
【請求項４】
請求項２に記載の頭部装着型表示装置であって、さらに、
前記特定の対象物の大きさと前記特定の対象物とは異なる距離基準対象物の大きさとを記憶する第２の対象物記憶部と、
撮像された画像に含まれる前記距離基準対象物を判別し、前記特定の対象物の画像の大きさと前記距離基準対象物の画像の大きさとに基づいて、前記画像表示部と前記特定の対象物との距離を特定する距離特定部と、を備え、
前記制御部は、特定された前記距離に基づいて、前記画像光を設定する、頭部装着型表示装置。
【請求項５】
請求項３または請求項４に記載の頭部装着型表示装置であって、
前記制御部は、
特定された前記距離が閾値以上の場合には、前記画像表示部が前記画像光を生成可能な領域の内の中心部分以外の部分にオブジェクトを含む前記画像光と、前記生成可能な領域に前記オブジェクトを含む画像光と撮像された画像に含まれる前記特定の対象物との位置関係を示す前記画像光と、を設定し、
特定された前記距離が前記閾値未満の場合には、前記生成可能な領域の内の中心部分にオブジェクトを含む前記画像光を設定する、頭部装着型表示装置。
【請求項６】
請求項２から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記画像表示部の位置を特定する表示部位置特定部と、
前記特定の対象物の位置を特定する情報を受信する位置情報受信部と、を備え、
前記制御部は、前記画像表示部と前記特定の対象物との位置関係に基づいて、前記画像光を設定する、頭部装着型表示装置。
【請求項７】
請求項３から請求項６までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、前記画像表示部の位置から前記特定の対象物の位置までの距離が近いほど、前記画像光に含まれるオブジェクトが大きくなるように設定する、頭部装着型表示装置。
【請求項８】
請求項２から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、撮像された画像における前記特定の対象物の画像以外の部分の画素の色に基づいて、前記画像光を設定する、頭部装着型表示装置。
【請求項９】
請求項８に記載の頭部装着型表示装置であって、
前記制御部は、前記画像光に含まれるオブジェクトを構成する画素の色を、前記特定の対象物の画像以外の部分の画素の色の補色の色になるように前記画像光を設定する、頭部装着型表示装置。
【請求項１０】
請求項２から請求項９までのいずれか一項に記載の頭部装着型表示装置であって、
前記制御部は、前記撮像された画像の輝度に基づいて、前記画像光の輝度を設定する、頭部装着型表示装置。
【請求項１１】
請求項１０に記載の頭部装着型表示装置であって、
前記制御部は、前記撮像された画像の輝度が高いほど、前記画像光の輝度を高く設定する、頭部装着型表示装置。
【請求項１２】
請求項１から請求項１１までのいずれか一項に記載の頭部装着型表示装置であって、さらに、
前記画像表示部の動きを特定する動き特定部を備え、
前記制御部は、前記画像表示部の動きに基づいて特定された使用者の移動状態に基づいて、前記画像光生成領域の位置を設定する、頭部装着型表示装置。
【請求項１３】
請求項１２に記載の頭部装着型表示装置であって、
前記制御部は、前記画像光が使用者に視認されていない状態から視認される状態へと変化させる時間と、前記画像光が使用者に視認されている状態から視認されていない状態へと変化させる時間と、の少なくとも一方を、前記画像表示部の動きの速さに対して単調増加するような関係に設定する、頭部装着型表示装置。
【請求項１４】
画像データに基づいて画像光を生成し射出する画像光生成部を有し、使用者の頭部に装着された状態において、使用者に前記画像光を虚像として視認させると共に、外景を透過させる画像表示部を備える、透過型の頭部装着型表示装置の制御方法であって、
前記画像表示部の向きである表示部方向を特定する工程と、
前記画像光生成部が前記画像光を生成する画像光生成領域と前記表示部方向とに基づいて特定方向を設定する工程と、
前記特定方向が設定された後、前記画像光生成領域と前記特定方向とが位置合わせされるように、前記表示部方向に基づいて、前記画像光生成領域の位置を設定する工程と、を備える、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、頭部装着型表示装置に関する。
【背景技術】
【０００２】
頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head  Mounted  Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。
【０００３】
特許文献１には、頭部装着型表示装置の使用者の頭部の傾きを解析することで、水平面に対する頭部装着型表示装置の傾きを算出し、使用者の所定の部位（例えば、腕）の動きを解析することで、所定の時間における使用者の動き量を算出し、動き量が所定値以上の場合には、連続する複数のフレームにおいて映像を徐々に傾けることで頭部装着型表示装置の傾きを補正して、使用者が視認する外景と映像とのズレによって生じる映像酔いを抑制する技術について開示されている。特許文献２には、頭部装着型表示装置が使用者に視認させる映像の領域の内、映像酔いに大きく影響する映像の周辺部を発光させることで、使用者の映像酔いを抑制する技術について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０９７０８号公報
【特許文献２】米国特許第８２１２８５９号明細書
【非特許文献】
【０００５】
【非特許文献１】コンテンツの生体への影響に関する調査研究報告書、平成１６年３月、総務省
【非特許文献２】アニメーション等の映像手法によるガイドライン、２００６年、日本放送協会、社団法人日本民間放送連盟
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載された技術では、頭部装着型表示装置が水平面に対して傾いており、かつ、使用者の動き量が所定値以上の場合にのみ、使用者に視認される映像が補正されるが、例えば、使用者が歩行中であり、頭部装着型表示装置が水平面に対して傾いていなければ、映像は補正されない。そのため、頭部装着型表示装置が水平面に対して傾いているか否かにかかわらず、使用者の映像酔いを抑制したいという課題があった。また、特許文献２に記載された技術では、使用者の映像酔いを抑制できるものの、発光する領域では、使用者が外景を視認しづらいため、映像酔いを抑制しつつ、かつ、視認される外景の視認性を向上させたいという課題があった。また、外景に含まれている情報に応じて、使用者に視認させる映像を制御したいという課題があった。そのほか、従来の頭部装着型表示装置においては、利便性の向上等が望まれていた。
【課題を解決するための手段】
【０００７】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
【０００８】
（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、画像データに基づいて画像光を生成し射出する画像光生成部を有し、使用者の頭部に装着された状態において、使用者に前記画像光を虚像として視認させると共に、外景を透過させる画像表示部と；前記画像表示部の向きである表示部方向を特定する表示部方向特定部と；前記画像光生成部が前記画像光を生成する画像光生成領域と前記表示部方向とに基づいて特定方向を設定する特定方向設定部と；前記特定方向が設定された後、前記画像光生成領域と前記特定方向とが位置合わせされるように、前記表示部方向に基づいて、前記画像光生成領域の位置を設定する制御部と、を備える。この形態の頭部装着型表示装置によれば、外景に対して画像光生成領域の位置合わせが行なわれるため、画像光が外景と一体化して使用者に視認され、使用者が動いた場合であっても、外景と画像光とにズレがないため、使用者の映像酔いを抑制できる。
【０００９】
（２）上記形態の頭部装着型表示装置において、さらに、前記外景を撮像する撮像部を備え；前記特定方向設定部は、撮像された画像に含まれる特定の対象物を判別し、前記特定の対象物に基づいて前記特定方向を設定してもよい。この形態の頭部装着型表示装置によれば、判別された特定の対象物によって特定方向が設定されるので、使用者が視認する外景により適した画像光が画像表示部を介して使用者に視認され、使用者の利便性が向上する。
【００１０】
（３）上記形態の頭部装着型表示装置において、さらに；前記特定の対象物の大きさを記憶する第１の対象物記憶部と；前記撮像部の焦点距離と前記特定の対象物の画像の大きさとに基づいて、前記画像表示部と前記特定の対象物との距離を特定する距離特定部と、を備え；前記制御部は、特定された前記距離に基づいて、前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、撮像部の焦点距離と特定の対象物の大きさとによって算出された頭部装着型表示装置の使用者と特定の対象物との距離によって、使用者に視認させる画像光を設定する。これにより、使用者の状況に応じた画像光を使用者に視認させることができ、使用者の利便性が向上する。
【００１１】
（４）上記形態の頭部装着型表示装置において、さらに；前記特定の対象物の大きさと前記特定の対象物とは異なる距離基準対象物の大きさとを記憶する第２の対象物記憶部と；撮像された画像に含まれる前記距離基準対象物を判別し、前記特定の対象物の画像の大きさと前記距離基準対象物の画像の大きさとに基づいて、前記画像表示部と前記特定の対象物との距離を特定する距離特定部と、を備え；前記制御部は、特定された前記距離に基づいて、前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、特定の対象物の大きさと距離基準対象物の大きさとによって算出された頭部装着型表示装置の使用者と特定の対象物との距離によって、使用者に視認させる画像光を設定する。これにより、使用者の状況に応じた画像光を使用者に視認させることができ、使用者の利便性が向上する。
【００１２】
（５）上記形態の頭部装着型表示装置において、前記制御部は；特定された前記距離が閾値以上の場合には、前記画像表示部が前記画像光を生成可能な領域の内の中心部分以外の部分にオブジェクトを含む前記画像光と、前記生成可能な領域に前記オブジェクトを含む画像光と撮像された画像に含まれる前記特定の対象物との位置関係を示す前記画像光と、を設定し；特定された前記距離が前記閾値未満の場合には、前記生成可能な領域の内の中心部分にオブジェクトを含む前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、使用者と特定の対象物との距離によって使用者に視認させる画像光が異なるため、使用者は視認する画像光によって特定の対象物との距離を認識することができ、使用者の利便性が向上する。
【００１３】
（６）上記形態の頭部装着型表示装置において、さらに、前記画像表示部の位置を特定する表示部位置特定部と；前記特定の対象物の位置を特定する情報を受信する位置情報受信部と、を備え；前記制御部は、前記画像表示部と前記特定の対象物との位置関係に基づいて、前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、画像表示部と特定の対象物との位置関係に応じて、画像表示部を介して使用者に視認される画像光が設定されるので、使用者が特定の対象物との位置関係をより視認しやすく、使用者の利便性がさらに向上する。
【００１４】
（７）上記形態の頭部装着型表示装置において、前記制御部は、前記画像表示部の位置から前記特定の対象物の位置までの距離が近いほど、前記画像光に含まれるオブジェクトが大きくなるように設定してもよい。この形態の頭部装着型表示装置によれば、使用者と特定の対象物と距離が近いほど、画像表示部を介して使用者に視認される画像光に含まれるオブジェクトの大きさが大きくなるため、使用者が特定の対象物との位置関係をより視識しやすく、使用者の利便性がさらに向上する。
【００１５】
（８）上記形態の頭部装着型表示装置において、前記制御部は、撮像された画像における前記特定の対象物の画像以外の部分の画素の色に基づいて、前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、使用者に視認される画像光が外景に混ざらずに使用者に明確に視認されるため、画像光を使用者により認識させやすく、使用者の利便性が向上する。
【００１６】
（９）上記形態の頭部装着型表示装置において、前記制御部は、前記画像光に含まれるオブジェクトを構成する画素の色を、前記特定の対象物の画像以外の部分の画素の色の補色の色になるように前記画像光を設定してもよい。この形態の頭部装着型表示装置によれば、使用者に視認される画像光が外景に混ざらずに使用者に明確に視認されるため、画像光を使用者により認識させやすく、使用者の利便性が向上する。
【００１７】
（１０）上記形態の頭部装着型表示装置において、前記制御部は、前記撮像された画像の輝度に基づいて、前記画像光の輝度を設定してもよい。この形態の頭部装着型表示装置によれば、撮像された画像の輝度に応じて、画像表示部の輝度が設定されるため、画像データが同一であっても、画像表示部を介して使用者に視認される画像光に対する使用者の視認性をより向上させることができる。
【００１８】
（１１）上記形態の頭部装着型表示装置において、前記制御部は、前記撮像された画像の輝度が高いほど、前記画像光の輝度を高く設定してもよい。この形態の頭部装着型表示装置によれば、撮像された画像の輝度が低い場合に、画像表示部の輝度を低くすることで、余計な電力を消費せずに、頭部装着型表示装置の使用時間を長くできる。
【００１９】
（１２）上記形態の頭部装着型表示装置において、さらに；前記画像表示部の動きを特定する動き特定部を備え；前記制御部は、前記画像表示部の動きに基づいて特定された使用者の移動状態に基づいて、前記画像光生成領域の位置を設定してもよい。この形態の頭部装着型表示装置によれば、使用者の移動状態による使用者に視認させる画像光の相対的な動きを相殺するため、使用者の映像酔いを抑制できる。
【００２０】
（１３）上記形態の頭部装着型表示装置において、前記制御部は、前記画像光が使用者に視認されていない状態から視認される状態へと変化させる時間と、前記画像光が使用者に視認されている状態から視認されていない状態へと変化させる時間と、の少なくとも一方を、前記画像表示部の動きの速さに対して単調増加するような関係に設定してもよい。この形態の頭部装着型表示装置によれば、使用者の動きが速い場合には、画像光が使用者に視認されていない状態から心されている状態へと変化させる時間と、画像光が使用者に視認されている状態から視認されていない状態へと変化させる時間と、の少なくとも一方が長く設定されることで、使用者の視界における画像光の変化を低減でき、使用者の映像酔いをより抑制できる。
【００２１】
上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。
【００２２】
例えば、本発明の一形態は、画像表示部と、表示部方向特定部と、特定方向設定部と、制御部と、の４つの要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、表示部方向特定部を有していてもよく、有していなくてもよい。また、装置は、特定方向設定部と有していてもよく、有していなくてもよい。また、装置は、制御部を有していてもよく、有していなくてもよい。画像表示部は、例えば、画像データに基づいて画像光を生成し射出する画像光生成部を有し、使用者の頭部に装着された状態において、使用者に前記画像光を虚像として視認させると共に、外景を透過させてもよい。表示部方向特定部は、例えば、前記画像表示部の向きである表示部方向を特定してもよい。特定方向設定部は、例えば、前記画像光生成部が前記画像光を生成する画像光生成領域と前記表示部方向とに基づいて特定方向を設定してもよい。制御部は、例えば、前記特定方向が設定された後、前記画像光生成領域と前記特定方向とが位置合わせされるように、前記表示部方向に基づいて、前記画像光生成領域の位置を設定してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。
【００２３】
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、表示装置、頭部装着型表示装置および表示装置の制御方法、頭部装着型表示システム、表示装置、頭部装着型表示システムおよび表示装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。
【図面の簡単な説明】
【００２４】
【図１】頭部装着型表示装置の外観構成を示す説明図である。
【図２】頭部装着型表示装置の構成を機能的に示すブロック図である。
【図３】画像光生成部によって画像光が射出される様子を示す説明図である。
【図４】画像表示処理の流れを示す説明図である。
【図５】使用者に視認される視野の一例を示す説明図である。
【図６】使用者に視認される表示画像の一例を示す説明図である。
【図７】使用者に視認される視野の一例を示す説明図である。
【図８】比較例において使用者に視認される視野の一例を示す説明図である。
【図９】第２実施形態における画像表示処理の流れを示す説明図である。
【図１０】第２実施形態における画像表示処理の流れを示す説明図である。
【図１１】使用者に視認される視野の一例を示す説明図である。
【図１２】使用者に視認される視野の一例を示す説明図である。
【図１３】変形例において使用者に視認される視野の一例を示す説明図である。
【図１４】変形例において使用者に視認される視野の一例を示す説明図である。
【図１５】変形例における頭部装着型表示装置の外観構成を示す説明図である。
【発明を実施するための形態】
【００２５】
次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．画像表示処理：
Ｂ．比較例：
Ｃ．第２実施形態：
Ｄ．変形例：
【００２６】
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像光を射出することを「画像を表示する」ともいう。
【００２７】
頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。
【００２８】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
【００２９】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００３０】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００３１】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。
【００３２】
カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。そのため、カメラ６１は、使用者が画像表示部２０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、外景画像を取得する。カメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。カメラ６１は、請求項における撮像部に相当する。
【００３３】
画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。
【００３４】
画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。
【００３５】
制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。
【００３６】
図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、ＧＰＳモジュール１３４と、無線通信部１３２と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。
【００３７】
入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、操作部１３５に配置されたトラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。
【００３８】
ＧＰＳモジュール１３４は、ＧＰＳ衛星からの信号を受信することにより、画像表示部２０の現在位置を特定して、位置を示す情報を生成する。画像表示部２０の現在位置が特定されることで、頭部装着型表示装置１００の使用者の現在位置が特定される。無線通信部１３２は、無線ＬＡＮやブルートゥースといった所定の無線通信規格に則って他の機器との間で無線通信を行なう。無線通信部１３２は、無線通信を行なうことで、例えば、建造物の位置情報を受信できる。なお、ＧＰＳモジュール１３４は、請求項における表示部位置特定部に相当し、無線通信部１３２は、請求項における位置情報受信部に相当する。
【００３９】
ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、向き判定部１６６、画像位置制御部１６５、および、画像判定部１６８、として機能する。
【００４０】
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
【００４１】
表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
【００４２】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。
【００４３】
画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データ、のそれぞれを、送信部５１、５２を介して送信する。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。
【００４４】
音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。
【００４５】
向き判定部１６６は、後述する９軸センサー６６が検出した画像表示部２０の向きや動きを判定する。向き判定部１６６は、画像表示部２０の向きを判定することで、使用者の頭部の向きを推定する。画像判定部１６８は、記憶部１２０に予め記憶された特定の対象物の画像データと同じ特定の対象物が外景画像に含まれているか否かを、パターンマッチングによって判定する。また、画像判定部１６８は、特定の対象物が外景画像に含まれる場合には、記憶部１２０に記憶されたデータと照合して、特定の対象物に予め設定された特徴点を抽出する。画像判定部１６８は、使用者から特徴点までを結ぶ方向を特定方向として設定する。なお、画像判定部１６８は、請求項における特定方向設定部に相当する。
【００４６】
画像位置制御部１６５は、特定の対象物が外景画像に含まれる場合に、画像判定部１６８が設定した特定方向を基準として、特定の対象物に関連付けて設定された画像データを表わす画像を画像表示部２０に表示させる。特定の対象物に関連付けられて設定された画像データとしては、例えば、特定の対象物の名前や位置情報等である。詳細については後述するが、画像位置制御部１６５は、特定方向が設定されると、画像表示部２０の向きの変化に応じて、特定方向と表示画像とが位置合わせされるように、表示画像の位置を設定する。また、画像位置制御部１６５は、外景画像の色（ＲＧＢ値）に応じて、画像データを基に、ＲＧＢ値や変化させた画像データを作成したり、外景画像の輝度に応じて、画像表示部２０の輝度を変化させることで、同一の画像データを基に異なる画像を生成する。例えば、画像位置制御部１６５は、使用者から特定の対象物までの距離が近いほど、画像データに含まれる文字を大きくした画像データを作成したり、外景画像の輝度が低いほど、画像表示部２０の輝度を小さく設定したりする。なお、画像位置制御部１６５は、請求項における制御部に相当し、画像データに含まれる文字は、請求項におけるオブジェクトに相当する。
【００４７】
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
【００４８】
画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、９軸センサー６６と、カメラ６１と、を備えている。
【００４９】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）、を検出するモーションセンサーである。９軸センサー６６は、画像表示部２０に設けられているため、画像表示部２０が使用者の頭部に装着されているときには、使用者の頭部の動きを検出する。検出された使用者の頭部の動きから画像表示部２０の向きが特定される。なお、９軸センサー６６と向き判定部１６６とは、請求項における表示部方向特定部に相当する。
【００５０】
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。
【００５１】
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００５２】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。
【００５３】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２２２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。
【００５４】
図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。
【００５５】
Ａ−２．画像表示処理：
図４は、画像表示処理の流れを示す説明図である。画像表示処理では、外景画像に特定の対象物が含まれる場合に、使用者の視線方向が変化しても、特定方向と表示画像との位置関係が固定される位置合わせが行なわれるように、表示画像の位置が変更されて画像表示部２０に表示画像が表示される。
【００５６】
画像表示処理が開始される所定の操作を受け付けると、初めに、カメラ６１は、外景を撮像する（ステップＳ１１）。次に、画像判定部１６８は、撮像された外景画像に、記憶部１２０に検出対象として記憶されている特定の対象物としての特定の建造物が含まれるかを判定する（ステップＳ１２）。外景画像に特定の対象物が含まれないと判定された場合には（ステップＳ１２：ＮＯ）、再度、カメラ６１が外景を撮像し（ステップＳ１１）、画像判定部１６８が撮像された外景画像に特定の対象物が含まれるかを判定する（ステップＳ１２）。
【００５７】
外景画像に特定の対象物が含まれると判定された場合には（ステップＳ１２：ＹＥＳ）、画像判定部１６８が特定の建造物の特徴点を抽出し、向き判定部１６６が使用者から特徴点までを結ぶ特定方向を設定する（ステップＳ１３）。図５は、使用者に視認される視野ＶＲの一例を示す説明図である。図５に示すように、使用者には、画像表示部２０の光学像表示部２６，２８を透過した外景ＳＣが視認されている。外景ＳＣには、特定の対象物としての建造中の建造物ＢＬが含まれている。画像判定部１６８は、建造物ＢＬを認識すると、記憶部１２０に記憶された建造物ＢＬのデータと照合することで、建造物ＢＬの角の特徴点ＳＰ１を特徴点として抽出する。向き判定部１６６は、使用者から抽出された特徴点ＳＰ１への方向を特定方向として設定する。なお、画像表示部２０が画像を表示できる最大領域は、画像表示最大領域ＰＮであり、破線で示されている。画像表示最大領域ＰＮおよび特徴点ＳＰ１は、便宜上、図５に示したものであり、実際には、使用者には視認されない。また、カメラ６１は、使用者の視野ＶＲと同じ範囲を撮像できる。
【００５８】
建造物ＢＬの特徴点ＳＰ１および特定方向が設定されると（図４のステップＳ１３）、ＧＰＳモジュール１３４は、画像表示部２０の現在位置、すなわち、使用者の現在位置を特定する（ステップＳ１４）。次に、無線通信部１３２は、無線通信によって、頭部装着型表示装置１００とは異なる装置であるサーバーに記憶されている特定の対象物である建造物ＢＬの位置情報（例えば、緯度および経度）を受信して、建造物ＢＬの位置（例えば、建造物ＢＬの中心の緯度および経度）を特定する（ステップＳ１５）。画像位置制御部１６５は、特定された使用者の現在位置と建造物ＢＬの位置とによって、使用者の現在位置から建造物ＢＬの位置までの距離を算出する（ステップＳ１６）。次に、画像位置制御部１６５は、画像表示部２０に表示させる画像の位置を設定して画像を表示する（ステップＳ１７）。画像位置制御部１６５は、建造物ＢＬに関する情報（例えば、完成予定日）を文字画像として画像表示部２０に表示させる。また、画像位置制御部１６５は、使用者の現在位置から建造物ＢＬの位置までの距離が近いほど、画像表示部２０に表示する文字画像を大きくする。なお、画像表示部２０に表示される文字画像が大きくなると、画像表示部２０に画像が表示される表示領域が大きくなる。
【００５９】
図６は、使用者に視認される表示画像ＩＭ１の一例を示す説明図である。図６には、使用者に視認される視野ＶＲが示されている。画像表示最大領域ＰＮ内には、画像位置制御部１６５によって設定された表示画像ＩＭ１が表示される。表示画像ＩＭ１は、建造物ＢＬの発注者の氏名、施工者、および、完成予定日に関する情報を示す文字画像である。表示画像ＩＭ１の文字画像の大きさは、使用者の現在位置から建造物ＢＬまでの距離に応じて、記憶部１２０に記憶された画像データを変更することで設定される。
【００６０】
画像表示部２０に表示画像ＩＭ１が表示されると（図４のステップＳ１７）、向き判定部１６６およびＧＰＳモジュール１３４は、画像表示部２０の装着者である使用者と特定の対象物である建造物ＢＬとの位置関係の変化を検出する（ステップＳ１８）。位置関係の変化とは、使用者の位置から建造物ＢＬの位置までの距離の変化、および、初めに設定された特定方向と現時点での使用者から特徴点ＳＰ１への方向とにおける向きの変化である。使用者と建造物ＢＬとの位置関係の変化が検出された場合には（ステップＳ１８：ＹＥＳ）、画像位置制御部１６５は、位置関係の変化に応じて、初めに設定された特定方向と表示画像ＩＭ１の表示領域との位置関係を固定するように、画像表示部２０における表示画像の位置を設定して画像表示部２０に画像を表示させる（ステップＳ１９）。
【００６１】
図７は、使用者に視認される視野ＶＲの一例を示す説明図である。図７には、図６の視野ＶＲと比較して、画像表示部２０から建造物ＢＬまでの距離、すなわち、使用者から建造物ＢＬまでの距離が小さくなり、かつ、使用者の頭部がより上方を向いた場合に使用者に視認される視野ＶＲが示されている。図７に示すように、使用者と建造物ＢＬとの位置関係が変化することにより、建造物ＢＬがより大きく使用者に視認され、外景画像に含まれる特徴点ＳＰ１の位置が変化している。そのため、初めに設定された特定方向と現時点での使用者から特徴点ＳＰ１への方向とが変化している。また、建造物ＢＬに関する文字画像は、表示画像ＩＭ１と比較して、画像表示最大領域ＰＮにおいて、より大きな表示領域に、より大きな文字の大きさで、表示画像ＩＭ２として表示されている。すなわち、表示画像ＩＭ１に文字として表示されていたオブジェクトは、表示画像ＩＭ２により大きなオブジェクトとして表示されている。このように、画像位置制御部１６５は、特徴点ＳＰ１と表示画像ＩＭ２の表示領域、すなわち、特定方向と表示画像ＩＭ２の表示領域との位置関係を、画像表示部２０と特徴点ＳＰ１との位置関係が変化する前と同じ位置関係に固定して、表示画像ＩＭ２を画像表示部２０に表示させる。
【００６２】
表示画像ＩＭ２が画像表示部２０に表示された場合（図４のステップＳ１９）、または、ステップＳ１８の処理において、位置関係の変化が検出されない場合には（ステップＳ１８：ＮＯ）、画像位置制御部１６５は、画像表示処理を終了する操作の検出を監視する（ステップＳ２０）。終了の操作が検出されない場合には（ステップＳ２０：ＮＯ）、向き判定部１６６およびＧＰＳモジュール１３４は、引き続き、画像表示部２０と特定方向との位置関係の変化の検出を監視する（ステップＳ１８）。終了の操作が検出された場合には（ステップＳ２０：ＹＥＳ）、画像位置制御部１６５は、画像表示処理を終了する。
【００６３】
以上説明したように、本実施形態の頭部装着型表示装置１００では、９軸センサー６６および向き判定部１６６が画像表示部２０の向きを判定し、使用者から特徴点ＳＰ１への方向が特定方向として設定される。画像位置制御部１６５は、特定方向が設定されると、画像表示部２０の向きの変化に応じて、表示画像ＩＭ１の表示領域と特定方向との位置関係が固定される位置合わせが行なわれるように、表示画像ＩＭ２の表示領域を設定する。そのため、本実施形態の頭部装着型表示装置１００では、外景ＳＣに対して表示領域が位置合わせされるため、表示画像ＩＭ１および表示画像ＩＭ２が外景ＳＣと一体化して使用者に視認され、使用者が動いた場合であっても、外景ＳＣと表示画像ＩＭ１とにズレがないため、使用者の映像酔いを抑制できる。
【００６４】
また、本実施形態の頭部装着型表示装置１００では、カメラ６１が外景ＳＣを撮像し、画像判定部１６８は、外景画像に特定の対象物である建造物ＢＬが含まれているかを判定し、使用者から建造物ＢＬの特徴点ＳＰ１までの方向を特定方向として設定する。そのため、本実施形態の頭部装着型表示装置１００では、認識された特定の対象物によって特定方向が設定されるので、使用者が視認する外景ＳＣにより適した画像が画像表示部２０に表示され、使用者の利便性が向上する。
【００６５】
また、本実施形態の頭部装着型表示装置１００では、ＧＰＳモジュール１３４が画像表示部２０の現在位置を特定し、無線通信部１３２が無線通信を行なうことで建造物ＢＬの位置情報を受信する。画像位置制御部１６５は、画像表示部２０の位置から建造物ＢＬの位置まで距離が近いほど、画像表示部２０に表示される文字画像に含まれるオブジェクトである文字を大きくする。そのため、本実施形態の頭部装着型表示装置１００では、使用者と建造物ＢＬとの位置関係に応じて、画像表示部２０に表示される文字画像に含まれる文字の大きさが変化するため、使用者が建造物ＢＬとの位置関係をより視識しやすく、使用者の利便性がさらに向上する。
【００６６】
Ｂ．比較例：
図８は、比較例において使用者に視認される視野ＶＲの一例を示す説明図である。図８には、図７の視野ＶＲと同じように、使用者と建造物ＢＬとの位置関係が変化した場合に、使用者に視認される視野ＶＲが示されている。図８では、図７の視野ＶＲと比較して、画像表示部２０に表示される表示画像ＩＭ１と表示画像ＩＭ２とが異なり、使用者に視認される外景ＳＣについては同じである。比較例では、使用者と建造物ＢＬとの位置関係の変化にかかわらず、画像表示最大領域ＰＮに対する表示画像ＩＭ１の表示領域が固定されている。すなわち、特定方向と表示画像ＩＭ１の表示領域との位置関係が固定されるように位置合わせされていない。そのため、比較例では、使用者が動いた場合に、外景ＳＣが使用者の動きに応じて変化するが、表示画像ＩＭ１は使用者の動きに応じて変化せず、外景ＳＣと表示画像ＩＭ１とにズレが生じるため、使用者に映像酔いが発生するおそれがあった。
【００６７】
Ｃ．第２実施形態：
第２実施形態では、外景画像に含まれる特定の対象物と特定の対象物とは異なる基準対象物とに基づいて、使用者と特定の対象物との距離が算出される。また、外景画像の画素の色によって文字画像等が表示される表示領域や文字画像のフォントの色が設定される。
【００６８】
第２実施形態では、頭部装着型表示装置１００の構成については同じであるが、一部の構成の機能が異なる。記憶部１２０は、特定の対象物の画像データに加えて、基準対象物としての使用者の人差し指の大きさの情報を含む画像データを記憶している。記憶部１２０は、操作部１３５が操作されることにより、使用者の人差し指の画像データを記憶する。画像判定部１６８は、パターンマッチングによって、カメラ６１によって撮像された外景画像に基準対象物の画像データと同じ基準対象物が含まれているか否かを判定する。画像判定部１６８は、外景画像に含まれる特定の対象物の大きさと基準対象物の大きさとを比較することで、頭部装着型表示装置１００の使用者と特定の対象物との距離を特定する。なお、第２実施形態における記憶部１２０は、請求項における第１の対象物記憶部および第２の対象物記憶部に相当し、基準対象物は、請求項における距離基準対象物に相当する。また、画像判定部１６８は、請求項における距離特定部に相当する。画像判定部１６８が外景画像に基準対象物と同じ画像データが含まれているか否かを判定することは、請求項における距離特定部が撮像された画像に含まれる距離基準対象物を判別することに相当する。
【００６９】
図９および図１０は、第２実施形態における画像表示処理の流れを示す説明図である。第２実施形態では、ステップＳ３５以降の処理が第１実施形態の画像表示処理（図４）と異なる。第２実施形態の画像表示処理では、カメラ６１が外景を撮像し（図９のステップＳ３１）、外景画像に特定の対象物が含まれていると判定されると（ステップＳ３３：ＹＥＳ）、画像判定部１６８は、外景画像に記憶部１２０に記憶されている基準対象物としての使用者の「人差し指」が含まれているか否かを判定する（ステップＳ３５）。外景画像に使用者の人差し指が含まれていると判定された場合には（ステップＳ３５：ＹＥＳ）、第１実施形態と同じように、画像判定部１６８が特定の対象物の特徴点を抽出し、向き判定部１６６が特定方向を設定する（ステップＳ３７）。
【００７０】
図１１は、使用者に視認される視野ＶＲの一例を示す説明図である。図１１に示す視野ＶＲには、外景ＳＣに含まれると共に外景画像に含まれていると判定された特定の対象物としてのタワーＴＷと基準対象物としての使用者の人差し指ＦＧとが示されている。また、タワーＴＷの特徴点ＳＰ９と、後述する画像表示部２０によって画像表示最大領域ＰＮ内に表示された文字画像ＩＭ３と、後述する人差し指の長さＬｆおよびタワーＴＷの長さＬｔと、が示されている。なお、タワーＴＷの特徴点ＳＰ９と、長さＬｆおよび長さＬｆと、長さＬｔを示す矢印および長さＬｔを示す矢印と、便宜上、図１１に示されているが、使用者には視認されない。
【００７１】
特徴点ＳＰ９および特定方向が設定されると、画像判定部１６８は、タワーＴＷの大きさとして長さＬｔと人差し指ＦＧの大きさとして長さＬｆとを特定する（図９のステップＳ３９）。図１１に示す人差し指ＦＧは、使用者が左腕を前方に真っ直ぐ伸ばした状態で立てられている。そのため、画像判定部１６８は、撮像されたタワーＴＷの長さＬｔと人差し指ＦＧの長さＬｆと、予め設定されている使用者の左腕の長さとタワーＴＷの大きさと人差し指ＦＧの大きさと、に基づいて、画像表示部２０を装着した使用者とタワーＴＷとの距離を三角法によって算出する（図９のステップＳ４１）。
【００７２】
使用者とタワーＴＷとの距離が算出された場合（ステップＳ４１）、または、ステップＳ３５の処理において基準対象物としての人差し指ＦＧが検出されない場合には（ステップＳ３５：ＮＯ）、画像判定部１６８は、外景画像の各画素を２値化することによって、各画素のＲＧＢ値のそれぞれに設定された閾値と比較することで、各画素を２つに区別する。例えば、外景画像に含まれる「青空」を表す画素を区別するために、Ｇ値が１５０以上２３０以下、かつ、Ｂ値が２００以上２５５以下である画素とそれ以外の画素とを区別する。
【００７３】
次に、画像位置制御部１６５は、算出した使用者とタワーＴＷとの距離が予め設定された閾値以上か否かを判定する（ステップＳ４５）。第２実施形態では、閾値として１０キロメートル（ｋｍ）が設定されている。図１１に示す例では、使用者とタワーＴＷとの距離が５ｋｍであり、距離が閾値未満であるため（ステップＳ４５：ＮＯ）、画像位置制御部１６５は、文字画像ＩＭ３を表示させる表示領域の候補を画像表示最大領域ＰＮの中心部から抽出する（ステップＳ４９）。なお、第２実施形態では、画像表示最大領域ＰＮの中心部とは、画像表示最大領域ＰＮを縦と横とにおいてそれぞれ４等分し、１６分割された画像表示最大領域ＰＮの中心の４つの領域のことをいう。また、中心の４つの領域以外の領域を画像表示最大領域ＰＮの周辺部という。次に、画像位置制御部１６５は、図１１に示すように、文字画像ＩＭ３の表示領域の候補の内から特徴点ＳＰ９に近い部分を文字画像ＩＭ３の表示位置として設定し、画像表示部２０にタワーＴＷまでの距離を文字で表した文字画像ＩＭ３を表示させる（図９のステップＳ５１）。
【００７４】
文字画像ＩＭ３が表示されると、画像判定部１６８は、使用者の移動などにより、使用者とタワーＴＷとの距離が変化したか否かを監視する（図１０のステップＳ５３）。距離が変化したと判定された場合には（ステップＳ５３：ＹＥＳ）、画像判定部１６８は、図９のステップＳ３７以降の処理を行なう。
【００７５】
図１２は、使用者に視認される視野ＶＲの一例を示す説明図である。図１２には、図１１の示す状態の視野ＶＲから、使用者とタワーＴＷとの距離が離れた状態の視野ＶＲが示されている。図１２では、図１１に対して、使用者とタワーＴＷとの距離が離れているのに加え、時間が昼から夜へと変化しており、外景ＳＣが暗くなっている。
【００７６】
使用者とタワーＴＷとの距離が変化した後に、図９のステップＳ３７からステップＳ４１までの処理が行なわれると、画像判定部１６８は、外景画像の各画素の輝度を２値化する（ステップＳ４３）。図１２に示す視野ＶＲでは、昼と比べて外景ＳＣが暗くなっているため、外景ＳＣの輝度や外景画像のＲＧＢ値が図１１に示す視野ＶＲと異なるため、画像判定部１６８は、外景画像に含まれる「夜空」を判別するために、各画素を２値化する。なお、第２実施形態では、外景画像に含まれる画素のＲＧＢ値や、昼や夜といった時間帯に基づいて、２値化するための閾値が自動的に変更される。第２実施形態では、画像位置制御部１６５は、文字画像ＩＭ３や文字画像ＩＭ４のような文字画像を画像表示部２０に表示させる場合には、文字画像を表示させる領域に重複する外景画像の画素の色の補色の色のフォントで形成された文字画像を表示させる。そのため、図１２に示すように、画像位置制御部１６５は、文字画像ＩＭ４として、文字画像ＩＭ３（図１１）とは異なり、黒色の背景に白色のフォントの文字で構成された画像を表示させる。
【００７７】
外景画像の各画素が２値化されると、画像位置制御部１６５は、使用者とタワーＴＷとの距離が閾値以上か否かを判定する（図９のステップＳ４５）。図１２に示す例では、距離が２０ｋｍであり、閾値の１０ｋｍ以上であるため（ステップＳ４５：ＹＥＳ）、画像位置制御部１６５は、画像の表示領域の候補を画像表示最大領域ＰＮの周辺部から抽出する（ステップＳ４７）。使用者とタワーＴＷとの距離が閾値以上の場合、画像位置制御部１６５は、図１２に示すように、タワーＴＷまでの距離を文字で表した文字画像ＩＭ４と、文字画像ＩＭ４の内容がタワーＴＷの情報を示すことを表す特徴点ＳＰ９を指し示すカーソル画像ＣＳと、を画像表示部２０に表示させる（図９のステップＳ５１）。なお、カーソル画像ＣＳは、請求項における特定の対象物との位置関係を示す画像光に相当する。
【００７８】
図１０のステップＳ５３の処理において、使用者とタワーＴＷとの距離が変化していないと判定された場合には（ステップＳ５３：ＮＯ）、向き判定部１６６は、使用者の視線方向が変化したか否かを判定する（ステップＳ５５）。使用者の視線方向が変化したと判定された場合には（ステップＳ５５：ＹＥＳ）、画像位置制御部１６５は、表示させていた文字画像ＩＭ３または文字画像ＩＭ４の一部のみが画像表示最大領域ＰＮに表示されているか否かを判定する（ステップＳ５７）。文字画像ＩＭ３または文字画像ＩＭ４の一部のみが表示されていると判定された場合には（ステップＳ５７：ＹＥＳ）、文字画像として一部のみが表示さているのは中途半端であるため、画像位置制御部１６５は、図９のステップＳ４５以降の処理を行なうことにより、再度、文字画像の表示位置を設定する。
【００７９】
図１０のステップＳ５５の処理において、視線方向が変化していないと判定された場合（ステップＳ５５：ＮＯ）、または、ステップＳ５７の処理において、文字画像の全てが表示さているまたは全てが表示されていないと判定された場合には（ステップＳ５７：ＮＯ）、画像位置制御部１６５は、画像表示処理の終了の操作の検出を監視する（ステップＳ５９）。画像表示処理の終了の操作が検出されない場合には（ステップＳ５９：ＮＯ）、ステップＳ５３以降の処理が行なわれる。ステップＳ５９の処理において、画像表示処理の終了の操作画検出された場合には（ステップＳ５９：ＹＥＳ）、画像位置制御部１６５は、画像表示処理を終了する。
【００８０】
以上説明したように、第２実施形態における頭部装着型表示装置１００では、画像判定部１６８は、外景画像に含まれる特定の対象物の大きさと基準対象物の大きさとを比較することで、頭部装着型表示装置１００の使用者と特定の対象物との距離を算出する。図１１および図１２に示すように、画像位置制御部１６５は、使用者と特定の対象物との距離に基づいて、文字画像ＩＭ３や文字画像ＩＭ４といった異なる画像を表示する。そのため、第２実施形態の頭部装着型表示装置１００では、特定の対象物の大きさと基準対象物の大きさとによって算出された頭部装着型表示装置１００の使用者と特定の対象物との距離によって、画像表示部２０に表示させる画像を設定する。これにより、使用者の状況に応じた画像を使用者に視認させることができ、使用者の利便性が向上する。
【００８１】
また、第２実施形態における頭部装着型表示装置１００では、画像位置制御部１６５は、図１２に示すように、使用者と特定の対象物との距離が閾値以上の場合には、文字画像ＩＭ４とカーソル画像ＣＳとを画像表示部２０に表示させる。また、画像位置制御部１６５は、図１１に示すように使用者と特定の対象物との距離が閾値未満の場合には、文字画像ＩＭ３を画像表示部２０に表示させる。そのため、第２実施形態の頭部装着型表示装置１００では、使用者と特定の対象物との距離によって使用者に視認させる画像が異なるため、使用者は表示画像によって特定の対象物との距離を認識することができ、使用者の利便性が向上する。
【００８２】
また、第２実施形態における頭部装着型表示装置１００では、画像位置制御部１６５は、文字画像を表示させる場合には、文字画像を表示させる領域に重複する外景画像の画素の色の補色の色のフォントで形成された文字画像を表示させる。そのため、第２実施形態の頭部装着型表示装置１００では、表示させる画像が外景ＳＣに混ざらずに使用者に明確に視認されるため、表示画像を使用者により認識させやすく、使用者の利便性が向上する。
【００８３】
Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
【００８４】
Ｄ１．変形例１：
図１３は、変形例において使用者に視認される視野ＶＲの一例を示す説明図である。図１３では、競艇場において行なわれているボートレースが使用者に視認されている。この変形例では、操作部１３５が所定の操作を受け付けると、無線通信部１３２が競艇場によって管理されているサーバーと各種情報の送受信を行なうことで、画像判定部１６８は、カメラ６１が撮像した競艇用のボートの船首と船首に備え付けられた旗の色とをパターンマッチングによって認識する。この変形例では、各ボートにボート番号が割り当てられており、図１３に示された右のボートから順番に、ボートＢＴ１、ボートＢＴ２、ボートＢＴ３、ボートＢＴ４、ボートＢＴ５である。画像判定部１６８は、画像表示最大領域ＰＮ内において使用者に視認されている外景ＳＣに含まれるボートの船首のそれぞれを、ボートのそれぞれの特徴点として抽出する。例えば、ボートＢＴ５の船首は、十字の画像が特徴点ＳＰ５として画像表示部２０に表示されている。なお、ボートＢＴ１の船首は画像表示最大領域ＰＮ内ではないため、ボートＢＴ１の特徴点は、画像表示部２０に表示されない。
【００８５】
ボートＢＴ５の特徴点ＳＰ５が抽出されると、向き判定部１６６は、使用者から特徴点ＳＰ５への方向をボートＢＴ５の特定方向として設定する。画像位置制御部１６５は、特徴点ＳＰ５と関連付けて、ボートＢＴ５の操縦者の名前を文字画像ＩＭ０５として画像表示部２０に表示させる。同じように、画像位置制御部１６５は、特徴点ＳＰ２，ＳＰ３，ＳＰ４のそれぞれに基づいて、ボートＢＴ２，ＢＴ３，ＢＴ４の操縦者の名前を文字画像ＩＭ０２，ＩＭ０３，ＩＭ０４として画像表示部２０に表示させる。その後、例えば、使用者とボートＢＴ５との位置関係が変化すると、画像位置制御部１６５は、ボートＢＴ５の特徴点ＳＰ５と文字画像ＩＭ０５との位置関係が固定されるように、画像表示部２０に表示される文字画像ＩＭ０５の領域を設定する。
【００８６】
図１４は、変形例において使用者に視認される視野ＶＲの一例を示す説明図である。図１４では、図書館内において、複数の本が収納された本棚が使用者に視認されている。この変形例では、操作部１３５が所定の操作を受け付けると、無線通信部１３２が図書館によって管理されているサーバーと各種情報の送受信を行ない、ＧＰＳモジュール１３４によって図書館内における使用者の位置情報が特定される。その後、使用者の位置情報と、画像判定部１６８による外景画像に含まれる本棚の識別と、によって、本棚に収納されている本のジャンルを文字画像として使用者に視認させる。
【００８７】
画像判定部１６８は、本棚の特徴点として、特徴点ＳＰ６，ＳＰ７，ＳＰ８を抽出する。向き判定部１６６は、使用者から特徴点ＳＰ６，ＳＰ７，ＳＰ８のそれぞれへの方向を、それぞれの本棚の特定方向として設定する。それぞれの本棚の特定方向が設定されると、画像位置制御部１６５は、特徴点ＳＰ６に基づく「文庫」の文字画像ＩＭ０６、特徴点ＳＰ７に基づく「歴史」の文字画像ＩＭ０７、および、特徴点ＳＰ８に基づく「新刊」の文字画像ＩＭ０８を画像表示部２０に表示させる。その後、例えば、使用者と特徴点ＳＰ６との位置関係が変化すると、画像位置制御部１６５は、特徴点ＳＰ６と文字画像ＩＭ０６との位置関係が固定されるように、画像表示部２０に表示される文字画像ＩＭ０６の領域を設定する。
【００８８】
Ｄ２．変形例２：
上記実施形態では、９軸センサー６６および向き判定部１６６によって、画像表示部２０の向きが特定されて、使用者から特徴点への特定方向が設定されたが、特定方向を設定する方法は、これに限られず、種々変形可能である。例えば、カメラ６１が撮像した外景画像に含まれる特定の対象物の位置関係によって特定の方向が設定されてもよい。画像判定部１６８がパターンマッチングにより、特定の対象物を認識して、特定の時点での外景画像に含まれる特定の対象物と、他の時点での外景画像に含まれる特定の対象物と、によって画像表示部２０の向きが特定される。なお、この変形例では、カメラ６１および画像判定部１６８は、請求項における表示部方向特定部に相当する。
【００８９】
また、上記実施形態では、特定の対象物と特徴点との位置関係が予め設定されている態様としたが、特定の対象物に対する特徴点の設定の方法については、これに限られず、種々変形可能である。例えば、外景画像に特定の対象物が認識された後に、操作部１３５が所定の操作を受け付けることで、特定の対象物と特徴点との位置関係が設定されてもよいし、特徴点が設定されずに、直接、特定方向が設定されてもよい。
【００９０】
また、上記実施形態では、特徴点は、画像表示部２０に表示されない態様としたが、画像表示部２０に表示される態様であってもよい。また、特定の対象物は、記憶部１２０に予め記憶されている態様としたが、操作部１３５が所定の操作を受け付けることで、使用者によって個別に特定の対象物が設定されてもよいし、無線通信部１３２を介して、頭部装着型表示装置１００とは異なる他の記憶装置から特定の対象物に関する情報が受信されてもよい。
【００９１】
Ｄ３．変形例３：
上記実施形態では、外景画像に含まれる特定の対象物が認識されることによって、特定の対象物に関連付けられて設定された画像データに基づく画像が画像表示部２０に表示されたが、画像表示部２０に表示される画像は、必ずしも特定の対象物に関連していなくてもよく、種々変形可能である。例えば、操作部１３５が所定の操作を受け付けることによって、画像表示部２０に表示されるコンテンツ動画の表示位置が画像表示部２０の向きによって設定されてもよい。画像表示部２０にコンテンツ動画が再生される場合に、例えば、向き判定部１６６は、使用者から再生開始時のコンテンツ動画の中心への方向を特定方向として設定し、画像位置制御部１６５は、特定方向とコンテンツ動画の中心との位置関係が固定されるように、画像表示部２０の向きの変化に応じて、コンテンツ動画の表示位置を設定する。この変形例では、上記実施形態と異なり、必ずしも外景ＳＣに含まれる特定の対象物を認識しなくてもよい。また、コンテンツ動画の表示領域が外景ＳＣに対して固定されるように位置合わせが行なわれるため、使用者が動いた場合であっても、外景ＳＣとコンテンツ動画とにズレがないため、使用者の映像酔いを抑制できる。なお、特定方向は、使用者からコンテンツ動画の中心への方向に限られず、操作部１３５が操作を受け付けることで、任意の方向が設定されてもよいし、種々変形可能である。
【００９２】
Ｃ４，変形例４：
上記実施形態では、画像表示部２０の位置から特定の対象物の位置までが距離に応じて、画像表示部２０に表示されるオブジェクトの大きさが変化したが、当該距離に応じて変化する画像としては、オブジェクトの大きさに限られず、種々変形可能である。例えば、画像位置制御部１６５は、画像表示部２０の位置から特定の対象物の位置までの距離に応じて、当該距離を表示する、すなわち、異なる画像データに基づく画像を画像表示部２０に表示してもよい。この変形例では、画像表示部２０と特定の対象物との位置関係に応じて、画像表示部２０に表示される画像が設定されるので、使用者が特定の対象物との位置関係をより視認しやすく、使用者の利便性がさらに向上する。
【００９３】
また、上記実施形態では、表示画像に含まれるオブジェクトとして、文字を例に挙げて説明したが、オブジェクトは、必ずしも文字に限られず、種々変形可能である。例えば、図形や記号であってもよいし、文字や図形を複合したものであってもよい。
【００９４】
また、オブジェクトとしては、特定の画像であったり、マーカー等であってもよい。
【００９５】
また、上記実施形態では、画像表示部２０と特定の対象物との位置関係に応じて、画像表示部２０に表示される画像が設定されたが、カメラ６１によって撮像された外景画像に応じて、画像表示部２０に表示される画像が設定されてもよい。例えば、画像判定部１６８は、外景画像の輝度（例えば、中央部分の輝度）を検出し、画像位置制御部１６５は、外景画像の輝度に応じて、画像表示部２０のバックライト２２１，２２２の輝度を設定してもよい。画像位置制御部１６５は、外景画像の輝度が高いほど、画像表示部２０の輝度を高くし、外景画像の輝度が低いほど、画像表示部２０の輝度を低くする。この変形例では、外景画像の輝度に応じて、画像表示部２０の輝度が設定されるため、画像表示部２０に表示される画像の基となる画像データが同一であっても、画像表示部２０に表示される画像が異なることで、使用者の視認性をより向上させることができる。また、外景画像の輝度が低い場合に、画像表示部２０の輝度を低くすることで、余計な電力を消費せずに、頭部装着型表示装置１００の使用時間を長くできる。
【００９６】
Ｄ５．変形例５：
上記実施形態では、使用者と特定の対象物との距離などによって、種々の表示画像が設定されたが、例えば、使用者の動きなどによって、表示画像が設定されてもよい。例えば、９軸センサー６６よって検出された使用者の頭部の動きにより、向き判定部１６６は、歩行や自動車に乗車しているなどの使用者の移動状態を判定する。画像位置制御部１６５は、移動状態によって生じる周期的な頭部の上下左右の動きをキャンセルするように画像の表示領域を設定してもよい。この変形例では、使用者の移動状態による使用者に対する表示画像の相対的な動きを相殺するため、使用者の映像酔いを抑制できる。なお、この変形例における９軸センサー６６および向き判定部１６６は、請求項における動き特定部に相当する。
【００９７】
また、上記実施形態では、表示画像ＩＭ１等が画像表示部２０に表示される場合に、画像が非表示の状態から表示されるまでの時間である画像表示推移時間については、特別な設定が行なわれていないが、使用者の動き等によって画像表示推移時間が設定されてもよい。例えば、画像位置制御部１６５は、使用者の頭部の動きが速いほど、画像表示推移時間を長く設定する。すなわち、画像位置制御部１６５は、使用者の頭部の動きの速さに対する画像表示推移時間が単調増加の関係になるように、画像表示推移時間を設定する。画像表示推移時間中では、画像表示推移時間が経過した後の表示画像の輝度を１００パーセントとした場合に、画像位置制御部１６５は、時間の経過と共に輝度を徐々に上昇させることで、画像表示推移時間を調整する。使用者の動きが速い場合に、画像表示推移時間が短い状態で画像が表示されると、使用者の視界に種々の表示画像が表示と非表示とが頻繁に繰り返されるおそれがある。しかし、この変形例では、使用者の動きが速い場合には、画像表示推移時間が長く設定されることで、使用者の視界における画像の変化を低減でき、使用者の映像酔いをより抑制できる。また、画像位置制御部１６５は、同じように、使用者の動きの速度に応じて、画像を表示している状態から非表示の状態へと変化する時間を設定してもよい。
【００９８】
上記第２実施形態では、画像判定部１６８は、外景画像に含まれるタワーＴＷの長さＬｔと人差し指ＦＧの長さＬｆと、予め設定されている使用者の左腕の長さとタワーＴＷの大きさと人差し指ＦＧの大きさと、に基づいて、使用者とタワーＴＷとの距離を算出したが、使用者とタワーＴＷとの距離の算出方法については、種々変形可能である。例えば、画像判定部１６８は、カメラ６１の焦点距離と、外景画像に含まれるタワーＴＷの長さＬｆと、予め設定されているタワーＴＷの大きさと、に基づいて、使用者とタワーＴＷとの距離を算出してもよい。画像判定部１６８は、人差し指ＦＧの代わりに、カメラ６１の焦点距離を用いた三角法によって、使用者とタワーＴＷとの距離を算出する。そのため、この変形例では、カメラ６１の焦点距離と特定の対象物の大きさとによって算出された頭部装着型表示装置１００の使用者と特定の対象物との距離によって、画像表示部２０に表示させる画像を設定する。これにより、使用者の状況に応じた画像を使用者に視認させることができ、使用者の利便性が向上する。
【００９９】
Ｄ６．変形例６：
上記第２実施形態では、画像判定部１６８が外景画像を構成する各画素に対して２値化を行なうことで各画素を２つに区別したが、外景画像に対する加工の方法については、これに限られず、種々変形可能である。例えば、画像判定部１６８は、外景画像の各画素に対して、２値化等の加工を行なわずに、画像位置制御部１６５は、予め定められたＲＧＢ値に基づいて文字画像等を画像表示部２０に表示させてもよい。また、外景画像の加工は、２値化でなくてもよく、例えば、閾値を用いずに各画素のＲＧＢ値に基づいて、文字画像の内の全てを同じ色の画素で構成するのではなく、異なる色の画素で構成する加工であってもよい。また、第２実施形態で示した２値化のＧ値やＢ値の数字については、一例であり、異なる数値であってもよい。
【０１００】
上記第２実施形態では、算出された使用者と特定の対象物であるタワーＴＷとの距離と閾値との比較結果に基づいて、表示画像や表示領域が設定されたが、表示画像や表示領域の設定については、これに限られず、種々変形可能である。例えば、画像位置制御部１６５は、使用者とタワーＴＷとの距離にかかわらず、表示領域を同じ位置に設定してもよい。また、画像位置制御部１６５は、１つの閾値だけではなく、使用者とタワーＴＷとの距離に対して複数の閾値によって比較することで、複数の文字画像や複数の表示領域に対応させて、画像を表示させてもよい。また、図１２に示すように、使用者とタワーＴＷとの距離が閾値以上の場合に、画像位置制御部１６５は、文字画像ＩＭ４とカーソル画像ＣＳとの２種類の画像を表示したが、カーソル画像ＣＳを表示させずに文字画像ＩＭ４のみを表示させてもよい。また、文字画像ＩＭ４やカーソル画像ＣＳは、表示画像の一例であって、画像位置制御部１６５は、上記実施形態とは異なる画像を表示してもよい。
【０１０１】
また、上記第２実施形態では、画像表示最大領域ＰＮの中心部と周辺部とが１６分割された領域を区別することで設定されたが、画像表示最大領域ＰＮにおける中心部と周辺部との領域の区別については、種々変形可能である。例えば、画像位置制御部１６５は、画像表示最大領域ＰＮを縦と横とにおいてそれぞれ３等分して、９分割された画像表示最大領域ＰＮの中心の１つの領域を中心部として設定し、その他の８つの領域を周辺部として設定してもよい。また、画像表示最大領域ＰＮの中心部や周辺部については、操作部１３５が操作されることで、使用者によって個別に設定されてもよい。
【０１０２】
また、上記実施形態では、画像判定部１６８は、記憶部１２０に記憶された特定の対象物の画像データが外景画像に含まれているか否かを判定したが、画像判定部１６８が外景画像に含まれる特定の対象物を判定する方法については、種々変形可能である。例えば、画像判定部１６８は、頭部装着型表示装置１００とは異なる他の装置に記憶された画像データと外景画像に含まれる特定の対象物の画像データとを照合することによって判定してもよい。
【０１０３】
また、上記実施形態では、画像判定部１６８は、パターンマッチングによって外景画像に特定の対象物や基準対象物が含まれているか否かを判定したが、パターンマッチング以外の方法によって、外景画像に特定の対象物等が含まれているか否かを判定してもよい。例えば、画像判定部１６８は、外景画像の画素の色を特定のＲＧＢ値の閾値によって２値した結果に基づいて、外景画像に含まれる特定の対象物を検出してもよい。
【０１０４】
また、上記第２実施形態では、基準対象物として、使用者の人差し指を例に挙げて説明したが、基準対象物については、種々変形可能である。例えば、基準対象物として用いられるものは、頭部装着型表示装置１００の制御部１０の大きさであってもよいし、使用者が身につけている腕時計や指輪であってもよいし、使用者が携帯しているボールペンや携帯電話などであってもよい。
【０１０５】
Ｄ７．変形例７：
上記実施形態では、制御部１０に操作部１３５を形成したが、操作部１３５の態様については種々変形可能である。例えば、制御部１０とは別体で操作部１３５であるユーザーインターフェースがある態様でもよい。この場合に、操作部１３５は、電源１３０等が形成された制御部１０とは別体であるため、小型化でき、使用者の操作性が向上する。また、操作部１３５の動きを検出する９軸センサーを操作部１３５に形成して、検出した動きに基づいて各種操作が行なわれることで、使用者は、感覚的に頭部装着型表示装置１００の操作ができる。
【０１０６】
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義できる。
【０１０７】
また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。
【０１０８】
図１５は、変形例における頭部装着型表示装置１００の外観構成を示す説明図である。図１５（Ａ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ａが、右光学像表示部２６に代えて右光学像表示部２６ａを備える点と、左光学像表示部２８に代えて左光学像表示部２８ａを備える点である。右光学像表示部２６ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の右眼の斜め上に配置されている。同様に、左光学像表示部２８ａは、上記実施形態の光学部材よりも小さく形成され、頭部装着型表示装置１００ａの装着時における使用者の左眼の斜め上に配置されている。図１５（Ｂ）の例の場合、図１に示した頭部装着型表示装置１００との違いは、画像表示部２０ｂが、右光学像表示部２６に代えて右光学像表示部２６ｂを備える点と、左光学像表示部２８に代えて左光学像表示部２８ｂを備える点である。右光学像表示部２６ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の右眼の斜め下に配置されている。左光学像表示部２８ｂは、上記実施形態の光学部材よりも小さく形成され、ヘッドマウントディスプレイの装着時における使用者の左眼の斜め下に配置されている。このように、光学像表示部は使用者の眼の近傍に配置されていれば足りる。また、光学像表示部を形成する光学部材の大きさも任意であり、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様の頭部装着型表示装置１００として実現できる。
【０１０９】
また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略してもよい。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。
【０１１０】
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。
【０１１１】
また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部が採用されてもよい。また、イヤホン３２，３４は適宜省略可能である。
【０１１２】
また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。
【０１１３】
また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。
【０１１４】
また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。
【０１１５】
また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。
【０１１６】
また、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。
【０１１７】
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【０１１８】
０８…文字画像
１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１，５２…送信部
５３，５４…受信部
６１…カメラ（撮像部、表示部方向特定部）
６６…９軸センサー（表示部方向特定部）
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部（第１の対象物記憶部、第２の対象物記憶部）
１３０…電源
１３２…無線通信部（位置情報受信部）
１３４…ＧＰＳモジュール（表示部位置特定部）
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…画像位置制御部（制御部）
１６６…向き判定部（表示部方向特定部）
１６８…画像判定部（特定方向設定部、表示部方向特定部、距離特定部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
２４１…右ＬＣＤ
２４２…左ＬＣＤ
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号
ＯＡ…外部機器
ＳＣ…外景
ＲＥ…右眼
ＬＥ…左眼
ＥＬ，ＥＲ…端部
ＩＬ…照明光
ＰＬ…画像光
ＢＬ…建造物
ＰＮ…画像表示最大領域
ＡＰ…先端部
ＶＲ…視野
ＩＭ１，ＩＭ２…表示画像
ＩＭ０２，ＩＭ０３，ＩＭ０４，ＩＭ０５，ＩＭ０６，ＩＭ０７，ＩＭ０８，ＩＭ３，ＩＭ４…文字画像
ＳＰ１，ＳＰ２，ＳＰ３，ＳＰ４，ＳＰ５，ＳＰ６，ＳＰ７，ＳＰ８，ＳＰ９…特徴点
ＢＴ１，ＢＴ２，ＢＴ３，ＢＴ４，ＢＴ５…ボート
ＦＧ…人差し指
ＣＳ…カーソル画像
ＴＷ…タワー
Ｌｆ…人差し指の長さ
Ｌｔ…タワーの長さ
【図１】
2015192153.tif 000003
【図２】
2015192153.tif 000004
【図３】
2015192153.tif 000005
【図４】
2015192153.tif 000006
【図５】
2015192153.tif 000007
【図６】
2015192153.tif 000008
【図７】
2015192153.tif 000009
【図８】
2015192153.tif 000010
【図９】
2015192153.tif 000011
【図１０】
2015192153.tif 000012
【図１１】
2015192153.tif 000013
【図１２】
2015192153.tif 000014
【図１３】
2015192153.tif 000015
【図１４】
2015192153.tif 000016
【図１５】
2015192153.tif 000017