(57)【要約】【課題】使用者の頭部に装着される表示装置において、シンプルな装置構成により、使用者が好ましい状態で画像を見ることが可能な構成を実現する。【解決手段】頭部装着型表示装置１００は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された画像表示部２０と、使用者の頭部に対する画像表示部２０の相対位置を検出する９軸センサー６６及び頭部側センサー７１とを備える。頭部装着型表示装置１００のＡＲ表示制御部１８５は、９軸センサー６６及び頭部側センサー７１の検出結果に基づき、画像表示部２０に表示されるオブジェクトの表示位置を調整する。【選択図】図３
2016122177.tif 000002
【特許請求の範囲】
【請求項１】
使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部と、
前記使用者の頭部に対する前記表示部の相対位置を検出する検出部と、
前記検出部の検出結果に基づき、前記表示部に表示されるオブジェクトの表示位置を調整する位置調整部と、
を備えることを特徴とする表示装置。
【請求項２】
前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置について、設定される基準時からの変化量を求める制御部を有すること、
を特徴とする請求項１記載の表示装置。
【請求項３】
前記制御部は、前記表示部に表示されるオブジェクトの表示位置が調整された状態で前記基準時を設定すること、
を特徴とする請求項２記載の表示装置。
【請求項４】
前記検出部は前記表示部の動きまたは姿勢を検出するセンサーを含み、
前記検出部は、前記センサーの出力と、前記使用者の頭部に設けられ前記頭部の動きまたは姿勢を検出する補助センサーの出力とに基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項５】
前記検出部は、前記表示部を支持する表示部本体と前記使用者の頭部との間の圧力を検出する圧力センサーを含むこと、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項６】
前記検出部は磁気センサーを含み、
前記検出部は、前記磁気センサーが、前記使用者の頭部に配置された磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項７】
前記検出部は磁性体を含み、
前記検出部は、前記使用者の頭部に配置された磁気センサーが前記磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、
を特徴とする請求項１から３のいずれかに記載の表示装置。
【請求項８】
使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記表示部を透過して視認される範囲外の位置に検出部を設けた表示装置を制御して、
前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置の変化を求め、
求める前記使用者の頭部に対する前記表示部の相対位置の変化に基づき、前記表示部に表示するオブジェクトの表示位置を調整すること、
を特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、及び、表示装置の制御方法に関する。
【背景技術】
【０００２】
従来、使用者が頭部に装着して使用する、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）と呼ばれる表示装置が知られている。この種の表示装置は、装着位置が標準的な位置からずれると、表示される画像を視認しにくいという問題がある。そこで、従来、使用者の目頭と眼球をカメラで撮像して、ディスプレイに対する目頭や目じりの位置を計測することにより、ディスプレイの位置ずれを検出する方法が提案された（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２０１２／１７２７１９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
第１の課題として、上述した従来の構成では、使用者の目頭と眼球を撮像するカメラや、ＨＭＤに貼付するマーカーなど、位置の検出を行うための装備を設ける必要があったことが挙げられる。このため、装置構成の複雑化を招き、位置の検出を行うための使用者の作業の負荷が高いという問題があった。
或いは、第２の課題として、ＨＭＤにおいては使用者に面する側の面積は限られており、上述した従来の構成では、この限られた面積の部分に、光源、カメラ、これらに関する配線を設ける必要があったことが挙げられる。しかも、これらの光源やカメラは目頭や目じりを照明し撮像できる位置に配置する必要があった。この構成上の制約は、ＨＭＤのフレームを構成する枠体や構造体を小さく、或いは細いものにしようとする場合の妨げになる可能性があった。
本発明は上記事情に鑑みてなされたものであり、使用者の頭部に装着される表示装置において、シンプルな装置構成により、使用者が好ましい状態で画像を見ることが可能な構成を実現することを目的とする。
或いは、本発明は、使用者の頭部に装着される表示装置において、小型化が可能な構成を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明の表示装置は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部と、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部と、前記検出部の検出結果に基づき、前記表示部に表示されるオブジェクトの表示位置を調整する位置調整部と、を備えることを特徴とする。
本発明によれば、シンプルな装置構成により、使用者の頭部に対する表示部の相対位置に対応して表示位置を調整する。このため、適切な位置にオブジェクトを表示でき、使用者が好ましい状態で画像を見ることができる。
【０００６】
また、本発明は、上記表示装置において、前記検出部の検出結果に基づき、前記使用者の頭部に対する前記表示部の相対位置について、設定される基準時からの変化量を求める制御部を有すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置の変化を、基準時からの変化量として求めることができるので、この相対位置の変化に対応する表示の調整等を容易に行うことができる。
【０００７】
また、本発明は、上記表示装置において、前記制御部は、前記表示部に表示されるオブジェクトの表示位置が調整された状態で前記基準時を設定すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置の変化に対応して、オブジェクトの表示位置を容易に調整できる。
【０００８】
また、本発明は、上記表示装置において、前記検出部は前記表示部の動きまたは姿勢を検出するセンサーを含み、前記検出部は、前記センサーの出力と、前記使用者の頭部に設けられ前記頭部の動きまたは姿勢を検出する補助センサーの出力とに基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、シンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
【０００９】
また、本発明は、上記表示装置において、前記検出部は、前記表示部を支持する表示部本体と前記使用者の頭部との間の圧力を検出する圧力センサーを含むこと、を特徴とする。
本発明によれば、シンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
【００１０】
また、本発明は、上記表示装置において、前記検出部は磁気センサーを含み、前記検出部は、前記磁気センサーが、前記使用者の頭部に配置された磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、磁気センサーを利用したシンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
【００１１】
また、本発明は、上記表示装置において、前記検出部は磁性体を含み、前記検出部は、前記使用者の頭部に配置された磁気センサーが前記磁性体を検出した結果に基づいて、前記使用者の頭部に対する前記表示部の前記相対位置を検出すること、を特徴とする。
本発明によれば、磁気センサーを利用したシンプルな構成により、使用者の頭部に対する表示部の相対位置の変化を検出できる。
【００１２】
また、上記目的を達成するために、本発明の表示装置の制御方法は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部を設けた表示装置を制御して、前記検出部の検出結果に基づき、前記表示部に表示するオブジェクトの表示位置を調整すること、を特徴とする。
本発明によれば、使用者の頭部に対する表示部の相対位置に対応してオブジェクトの表示位置を調整し、使用者が好ましい状態で画像を見ることを可能とする。
【００１３】
また、本発明は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された表示部を有し、前記使用者の頭部に対する前記表示部の相対位置を検出する検出部を設けた表示装置を制御するコンピューターが実行するプログラムであって、前記検出部の検出結果に基づき、前記表示部に表示するオブジェクトの表示位置を調整することを特徴とするプログラムとして構成してもよい。
また、本発明は、上記のプログラムを記憶した記録媒体として構成してもよい。
上記のプログラムをコンピューターが実行することにより、表示装置は、使用者の頭部に対する表示部の相対位置に対応してオブジェクトの表示位置を調整し、使用者が好ましい状態で画像を見ることを可能とする。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る頭部装着型表示装置の外観構成を示す説明図。
【図２】画像表示部の光学系の構成を示す図。
【図３】第１実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。
【図４】使用者の眼と表示画像との相対位置を示す図。
【図５】頭部装着型表示装置の動作を示すフローチャート。
【図６】頭部装着型表示装置の動作を示すフローチャート。
【図７】第２実施形態に係る頭部装着型表示装置の外観構成を示す説明図。
【図８】第２実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。
【図９】第３実施形態に係る頭部装着型表示装置の外観構成を示す説明図。
【図１０】第３実施形態の頭部装着型表示装置を構成する各部の機能ブロック図。
【発明を実施するための形態】
【００１５】
図１は、本発明を適用した実施形態に係る頭部装着型表示装置１００（表示装置）の外観構成を示す説明図である。
頭部装着型表示装置１００は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部２０（表示部）と、画像表示部２０を制御する制御装置１０と、を備えている。制御装置１０は、使用者が頭部装着型表示装置１００を操作するコントローラーとしても機能する。
【００１６】
画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状のフレーム２（表示部本体）を有する。フレーム２は、表示部としての画像表示部２０を支持する。フレーム２は、右保持部２１及び左保持部２３を有する。右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１は使用者の頭部において右耳またはその近傍に当接し、左保持部２３は使用者の左耳またはその近傍に当接して、使用者の頭部に画像表示部２０を保持する。
【００１７】
フレーム２には、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１（撮像部）と、マイク６３とが設けられる。
右光学像表示部２６及び左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右及び左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに連結されている。
【００１８】
右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１及び左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。
【００１９】
右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、右表示駆動部２２及び左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６及び左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。
【００２０】
表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」と呼ぶ）、図３を参照して後述する投写光学系２５１，２５２等を含む。
右光学像表示部２６及び左光学像表示部２８は、導光板２６１，２６２（図２）と、調光板２０Ａとを備える。導光板２６１，２６２は、光透過性の樹脂等によって形成され、表示駆動部２２，２４が出力する画像光を、使用者の眼に導く。調光板２０Ａは、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置される。調光板２０Ａは、光透過性がほぼ無いもの、透明に近いもの、光量を減衰させて光を透過するもの、特定の波長の光を減衰又は反射するもの等、種々のものを用いることができる。調光板２０Ａの光学特性（光透過率など）を適宜選択することにより、外部から右光学像表示部２６及び左光学像表示部２８に入射する外光量を調整して、虚像の視認のしやすさを調整できる。本実施形態では、少なくとも、頭部装着型表示装置１００を装着した使用者が外の景色を視認できる程度の光透過性を有する調光板２０Ａを用いる場合について説明する。調光板２０Ａは、右導光板２６１及び左導光板２６２を保護し、右導光板２６１及び左導光板２６２の損傷や汚れの付着等を抑制する。
調光板２０Ａは、右光学像表示部２６及び左光学像表示部２８に対し着脱可能としてもよく、複数種類の調光板２０Ａを交換して装着可能としてもよいし、省略してもよい。
【００２１】
カメラ６１は、右光学像表示部２６と左光学像表示部２８との境目部分に配置される。使用者が画像表示部２０を装着した状態で、カメラ６１の位置は、水平方向においては使用者の両眼のほぼ中間であり、鉛直方向においては使用者の両眼より上である。カメラ６１は、ＣＣＤやＣＭＯＳ等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもステレオカメラであってもよい。
カメラ６１は、頭部装着型表示装置１００の表側方向、換言すれば、頭部装着型表示装置１００を装着した状態における使用者の視界方向の少なくとも一部の外景を撮像する。カメラ６１の画角の広さは適宜設定可能であるが、カメラ６１の撮像範囲が、使用者が右光学像表示部２６、左光学像表示部２８を通して視認する外界を含む範囲であることが好ましい。さらに、調光板２０Ａを通した使用者の視界の全体を撮像できるようにカメラ６１の撮像範囲が設定されているとより好ましい。
カメラ６１は、制御部１４０が備える撮像処理部１６１（図３）の制御に従って撮像を実行し、撮像画像データを撮像処理部１６１に出力する。
【００２２】
図２は、画像表示部２０が備える光学系の構成を示す要部平面図である。図２には説明のため使用者の左眼ＬＥ及び右眼ＲＥを図示する。
左表示駆動部２４は、左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。左バックライト２２２はＬＥＤ等の光源と拡散板とを有する。左ＬＣＤ２４２は、左バックライト２２２の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。左投写光学系２５２は、左ＬＣＤ２４２を透過した画像光Ｌを導くレンズ群等を備える。
【００２３】
左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、左導光板２６２に入射される。左導光板２６２は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、左導光板２６２の内部において複数回の反射を経て左眼ＬＥ側に導かれる。左導光板２６２には、左眼ＬＥの眼前に位置するハーフミラー２６２Ａが形成される。
ハーフミラー２６２Ａで反射した画像光Ｌは左眼ＬＥに向けて左光学像表示部２８から射出され、この画像光Ｌが左眼ＬＥの網膜に像を結び、使用者に画像を視認させる。
【００２４】
右表示駆動部２２は、左表示駆動部２４と左右対称に構成される。右表示駆動部２２は、右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。右バックライト２２１はＬＥＤ等の光源と拡散板とを有する。右ＬＣＤ２４１は、右バックライト２２１の拡散板から発せられる光の光路上に配置され、複数の画素をマトリクス状に配置した透過型液晶パネルである。右投写光学系２５１は、右ＬＣＤ２４１を透過した画像光Ｌを導くレンズ群等を備える。
【００２５】
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光Ｌを平行状態の光束にするコリメートレンズを有する。コリメートレンズにより平行状態の光束にされた画像光Ｌは、右導光板２６１に入射される。右導光板２６１は、画像光Ｌを反射する複数の反射面が形成されたプリズムであり、画像光Ｌは、右導光板２６１の内部において複数回の反射を経て右眼ＲＥ側に導かれる。右導光板２６１には、右眼ＲＥの眼前に位置するハーフミラー２６１Ａが形成される。
ハーフミラー２６１Ａで反射した画像光Ｌは右眼ＲＥに向けて右光学像表示部２６から射出され、この画像光Ｌが右眼ＲＥの網膜に像を結び、使用者に画像を視認させる。
【００２６】
使用者の右眼ＲＥには、ハーフミラー２６１Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。左眼ＬＥには、ハーフミラー２６２Ａで反射した画像光Ｌと、調光板２０Ａを透過した外光ＯＬとが入射する。このように、頭部装着型表示装置１００は、内部で処理した画像の画像光Ｌと外光ＯＬとを重ねて使用者の眼に入射させ、使用者にとっては、調光板２０Ａを透かして外景が見え、この外景に重ねて、画像光Ｌによる画像が視認される。このように、頭部装着型表示装置１００は、シースルー型の表示装置として機能する。
【００２７】
なお、左投写光学系２５２と左導光板２６２とを総称して「左導光部」とも呼び、右投写光学系２５１と右導光板２６１とを総称して「右導光部」と呼ぶ。右導光部及び左導光部の構成は上記の例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
【００２８】
画像表示部２０は、制御装置１０に接続部４０を介して接続する。接続部４０は、制御装置１０に接続される本体コード４８、右コード４２、左コード４４、及び、連結部材４６を備える。右コード４２及び左コード４４は、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続される。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続される。
【００２９】
連結部材４６は、本体コード４８と、右コード４２及び左コード４４との分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有する。イヤホンプラグ３０からは、右イヤホン３２及び左イヤホン３４が延伸する。イヤホンプラグ３０の近傍にはマイク６３が設けられる。イヤホンプラグ３０からマイク６３までは一本のコードにまとめられ、マイク６３からコードが分岐して、右イヤホン３２と左イヤホン３４のそれぞれに繋がる。
【００３０】
マイク６３は、例えば図１に示すように、マイク６３の集音部が使用者の視線方向を向くように配置され、音声を集音して、音声信号を音声処理部１８７（図３）に出力する。マイク６３は、例えばモノラルマイクであってもステレオマイクであってもよく、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
【００３１】
右コード４２、左コード４４、及び、本体コード４８は、デジタルデータを伝送可能なものであればよく、例えば金属ケーブルや光ファイバーで構成できる。また、右コード４２と左コード４４とを一本のコードにまとめた構成としてもよい。
【００３２】
画像表示部２０と制御装置１０とは、接続部４０を介して各種信号を伝送する。本体コード４８の連結部材４６とは反対側の端部、及び、制御装置１０には、互いに嵌合するコネクター（図示略）が設けられる。本体コード４８のコネクターと制御装置１０のコネクターとを嵌合し、或いは、この嵌合を外すことで、制御装置１０と画像表示部２０とを接離できる。
【００３３】
制御装置１０は、頭部装着型表示装置１００を制御する。制御装置１０は、決定キー１１、点灯部１２、表示切替キー１３、輝度切替キー１５、方向キー１６、メニューキー１７、及び電源スイッチ１８を含むスイッチ類を備える。また、制御装置１０は、使用者が手指で操作するトラックパッド１４を備える。
【００３４】
決定キー１１は、押下操作を検出して、制御装置１０で操作された内容を決定する信号を出力する。点灯部１２は、ＬＥＤ（Light Emitting Diode）等の光源を備え、光源の点灯状態により、頭部装着型表示装置１００の動作状態（例えば、電源のＯＮ／ＯＦＦ）を通知する。表示切替キー１３は、押下操作に応じて、例えば、画像の表示モードの切り替えを指示する信号を出力する。
【００３５】
トラックパッド１４は、接触操作を検出する操作面を有し、操作面に対する操作に応じて操作信号を出力する。操作面における検出方式は限定されず、静電式、圧力検出式、光学式等を採用できる。輝度切替キー１５は、押下操作に応じて画像表示部２０の輝度の増減を指示する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作に応じて操作信号を出力する。電源スイッチ１８は、頭部装着型表示装置１００の電源オン／オフを切り替えるスイッチである。
【００３６】
また、図１に示すように、頭部装着型表示装置１００は、使用者の頭部に装着される頭部側センサー７１（補助センサー）と協働するように構成されている。本明細書では、特に記載した場合を除き、頭部装着型表示装置１００と、頭部側センサー７１と、を備えた装置を「表示システム」と表記することもある。頭部側センサー７１は、使用者の頭部に、直接また間接的に固定される慣性センサーであり、使用者の頭部の動き、或いは、使用者の頭部の姿勢を検出する。具体的には、頭部側センサー７１は、図示しないベルト、紐、髪留め用のピン、或いは粘着材等の手段により、使用者の頭部や頭髪に直接固定され、或いは、帽子やヘルメット、左・右イヤホン３２、３４等の頭部装着体に固定される。頭部側センサー７１は、加速度センサーや角速度（ジャイロ）センサーで構成できる。本実施形態の頭部側センサー７１は、３軸のジャイロセンサーとする。
【００３７】
頭部側センサー７１と画像表示部２０とは、互いに自由に変位可能である。本実施形態の頭部側センサー７１は、画像表示部２０とは別体として構成され、画像表示部２０に接続されていないため、画像表示部２０を、頭部側センサー７１の位置に制限されず変位させることが可能である。頭部側センサー７１は、画像表示部２０に接続する形態としてもよい。例えば、頭部側センサー７１の紛失を防止するためのワイヤーや紐、或いは、頭部側センサー７１と画像表示部２０とを電気的に接続するケーブルで、接続する態様としてもよい。この場合も、画像表示部２０が頭部側センサー７１に対して自由に変位できる構成とすることが好ましい。
【００３８】
フレーム２には、９軸センサー６６（センサー）が内蔵される。９軸センサー６６は、後述するように、加速度センサー、磁気センサー、及び角速度センサーを内蔵したユニットである。９軸センサー６６は、図１に示すように、眼鏡のテンプル部に相当する右保持部２１に内蔵される。９軸センサー６６はフレーム２に固定されており、フレーム２が変位した場合に、この動き及びフレーム２の姿勢が９軸センサー６６で検出される。９軸センサー６６の位置はフレーム２の右保持部２１に限定されず、フレーム２に対して変位しないよう配置されていればよく、９軸センサー６６の位置は任意である。
【００３９】
頭部側センサー７１は、内蔵する検出機構の測定基準点において、図１に示すＸ軸まわりの回転（ピッチ）、Ｙ軸回りの回転（ヨー）、及びＺ軸まわりの回転（ロール）を検出する。頭部側センサー７１が角速度を検出する軸は、図１に示すように、画像表示部２０を装着する使用者の頭部に対し左右方向をＸ軸、前後方向をＹ軸、上下方向をＺ軸とする。より詳細には、頭部装着型表示装置１００の装着状態において、画像表示部２０は左右の眼に対し、使用者が知覚する水平な位置にある。
【００４０】
また、また、９軸センサー６６が備える３軸の角速度センサーは、Ｘ軸、Ｙ軸、及びＺ軸回りの回転を検出する。９軸センサー６６が角速度を検出するＸ軸は、頭部装着型表示装置１００のフレーム２において、右光学像表示部２６及び左光学像表示部２８を含む前部の水平方向に相当する。また、Ｙ軸は、フレーム２の前後に相当し、Ｚ軸はフレーム２の高さ方向に相当する。フレーム２が、通常の状態で使用者の頭部に装着された場合、９軸センサー６６が角速度を検出する軸は、頭部側センサー７１が角速度を検出する軸に概ね一致するが、必ずしも一致させる必要はない。
【００４１】
図３は、頭部装着型表示装置１００を構成する各部の機能ブロック図である。
頭部装着型表示装置１００は、コンテンツの供給元となる種々の外部機器ＯＡを接続するインターフェイス１２５を備える。インターフェイス１２５は、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等の有線接続に対応したインターフェイスを用いることができ、無線通信インターフェイスで構成してもよい。外部機器ＯＡは、頭部装着型表示装置１００に画像を供給する画像供給装置であり、パーソナルコンピューター（ＰＣ）、携帯電話端末、携帯型ゲーム機等が用いられる。
【００４２】
制御装置１０は、制御部１４０、入力情報取得部１１０、記憶部１２０、送信部（Ｔｘ）５１及び送信部（Ｔｘ）５２を有する。
入力情報取得部１１０は、操作部１１１に接続される。操作部１１１は、上記のトラックパッド１４、方向キー１６、電源スイッチ１８等を含み、入力情報取得部１１０は、操作部１１１から入力される信号に基づき、入力内容を取得する。また、制御装置１０は、電源部（図示略）を備え、制御装置１０及び画像表示部２０の各部に電源を供給する。
【００４３】
記憶部１２０は、不揮発性の記憶装置であって、種々のコンピュータープログラム、および、これらのプログラムに係るデータを記憶する。また、記憶部１２０は、画像表示部２０に表示する静止画像や動画像のデータを記憶しても良い。
記憶部１２０は、設定データを記憶する。設定データは、制御部１４０が実行する各種処理に関して予め設定される設定値を含む。例えば、画像処理部１６０及び表示制御部１７０が画像信号を処理する場合の解像度等の設定値を含む。設定データが含む値は、予め操作部１１１の操作で入力された値であってもよいし、通信部１１７またはインターフェイス１２５を介して外部機器ＯＡまたは他の装置（図示略）から設定値を受信して記憶してもよい。
【００４４】
また、記憶部１２０は、コンテンツデータを記憶する。このコンテンツデータは、ＡＲ表示制御部１８５（位置調整部）がＡＲ表示するコンテンツの画像（静止画像、或いは動画像）データ、及び／又は音声データを含む。
【００４５】
制御部１４０には、３軸センサー１１３、ＧＰＳ１１５、通信部１１７及び音声認識部１１４が接続される。３軸センサー１１３は３軸の加速度センサーであり、制御部１４０は３軸センサー１１３の検出値を取得する。ＧＰＳ１１５は、アンテナ（図示略）を備え、ＧＰＳ（Global Positioning System）信号を受信し、制御装置１０の現在位置を算出する。ＧＰＳ１１５は、ＧＰＳ信号に基づいて求めた現在位置や現在時刻を制御部１４０に出力する。また、ＧＰＳ１１５はＧＰＳ信号に含まれる情報に基づいて現在時刻を取得し、制御部１４０が計時する時刻を修正させる機能を備えていてもよい。
【００４６】
通信部１１７は、無線ＬＡＮ（ＷｉＦｉ（登録商標））、Ｍｉｒａｃａｓｔ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の規格に準じた無線データ通信を実行する。
外部機器ＯＡが、通信部１１７に無線接続された場合、制御部１４０は、コンテンツデータを通信部１１７より取得して、画像表示部２０に画像を表示させる。一方、外部機器ＯＡが、インターフェイス１２５に有線接続された場合、制御部１４０は、コンテンツデータをインターフェイス１２５より取得して、画像表示部２０に画像を表示させる。通信部１１７及びインターフェイス１２５は、外部機器ＯＡからコンテンツデータを取得するデータ取得部ＤＡとして機能する。
【００４７】
制御部１４０は、プログラムを実行するＣＰＵ（図示略）、ＣＰＵが実行するプログラムやデータを一時的に格納するＲＡＭ（図示略）、及び、ＣＰＵが実行する基本制御プログラムやデータを不揮発的に記憶するＲＯＭ（図示略）を有する。制御部１４０は、ＣＰＵにより制御プログラムを実行することで、頭部装着型表示装置１００の各部を制御する。また、制御部１４０は、記憶部１２０が記憶するコンピュータープログラムを読み出して実行し、制御部１４０の各種機能を実現する。すなわち、オペレーティングシステム（ＯＳ）１５０、画像処理部１６０、表示制御部１７０、撮像処理部１８１、装着位置検出部１８３、ＡＲ表示制御部１８５、及び、音声処理部１８７として機能する。
【００４８】
画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示略）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示略）を用いてディジタル画像信号に変換する。画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データ（図中、Ｄａｔａ）として、１フレームごとに、制御部１４０のＲＡＭに格納する。この画像データは、例えばＲＧＢデータである。
なお、画像処理部１６０は、必要に応じて、画像データの解像度を右表示駆動部２２及び左表示駆動部２４に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部１６０は、画像データの輝度や彩度を調整する画像調整処理、３Ｄ画像データから２Ｄ画像データを作成し、或いは２Ｄ画像データから３Ｄ画像データを生成する２Ｄ／３Ｄ変換処理等を実行してもよい。
【００４９】
画像処理部１６０は、クロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、ＲＡＭに格納された画像データＤａｔａのそれぞれを送信部５１、５２を介して送信する。送信部５１、５２は、トランシーバーとして機能し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」と呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」と呼ぶ。
【００５０】
表示制御部１７０は、右表示駆動部２２及び左表示駆動部２４を制御する制御信号を生成し、この制御信号により、右表示駆動部２２及び左表示駆動部２４のそれぞれによる画像光の生成及び射出を制御する。具体的には、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦを制御する。また、表示制御部１７０は、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦを制御する。
【００５１】
画像処理部１６０及び表示制御部１７０は、後述するＡＲ表示制御部１８５の制御に従って、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示位置を変更する機能を有する。具体的には、ＡＲ表示制御部１８５が、表示位置をシフトさせるシフト量及びシフト方向を示す制御データを生成した場合、この制御データに従って、画像処理部１６０が画像データをシフトさせる。また、表示制御部１７０は、ＡＲ表示制御部１８５が生成する制御データに従って、右ＬＣＤ制御部２１１及び左ＬＣＤ制御部２１２を制御し、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示位置をシフトさせる。
【００５２】
さらに、画像処理部１６０及び表示制御部１７０は、後述するＡＲ表示制御部１８５の制御に従って、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示サイズを変更する機能を有する。具体的には、ＡＲ表示制御部１８５が、表示サイズを指定する制御データを生成した場合、この制御データに従って、画像処理部１６０が画像データを拡大または縮小させる。また、表示制御部１７０は、ＡＲ表示制御部１８５が生成する制御データに従って、右ＬＣＤ制御部２１１及び左ＬＣＤ制御部２１２を制御し、右ＬＣＤ２４１及び左ＬＣＤ２４２における画像の表示サイズを拡大または縮小させる。
【００５３】
画像処理部１６０及び表示制御部１７０のいずれか一方が上記処理を行って表示位置を変更してもよい。また、両方で上記処理を行ってもよく、この場合、ＡＲ表示制御部１８５は画像処理部１６０と表示制御部１７０のそれぞれに対応する制御データを生成してもよい。
【００５４】
撮像処理部１８１は、カメラ６１を制御して撮像を実行させ、撮像画像データを取得する。
装着位置検出部１８３は、９軸センサー６６及び頭部側センサー７１に接続して、フレーム２の動きの検出値、及び、頭部側センサー７１の動きに係る角速度の検出値を取得する。装着位置検出部１８３は、９軸センサー６６とともに、本発明の検出部として機能し、そして検出部は、頭部側センサー７１と協働する。これらの検出部は、画像表示部２０を透過して使用者が視認する範囲外に設けられる。
【００５５】
装着位置検出部１８３は、使用者が画像表示部２０を装着した状態で指定された時点（基準時）における９軸センサー６６及び頭部側センサー７１の検出値、又は、９軸センサー６６の検出値と頭部側センサー７１の検出値の差を保持する。この保持した値を基準値とする。基準値は制御部１４０が有するメモリー（図示略）に記憶されてもよいし、記憶部１２０が記憶してもよい。
【００５６】
装着位置検出部１８３は、９軸センサー６６及び頭部側センサー７１の検出値を取得し、取得した検出値、または検出値の差を基準値と比較することにより、使用者の頭部に対するフレーム２の相対位置の変化を検出し、変化量を算出する。
【００５７】
ＡＲ表示制御部１８５は、記憶部１２０が記憶するコンテンツデータを読み出し、画像処理部１６０及び表示制御部１７０を制御して、ＡＲ表示用の画像を画像表示部２０により表示させる。また、ＡＲ表示制御部１８５は、コンテンツデータ１２３が音声データを含む場合、音声処理部１８７を制御して、右イヤホン３２、左イヤホン３４からコンテンツの音声を出力させる。
【００５８】
ＡＲ表示制御部１８５は、使用者が画像表示部２０越しに対象物を見ている状態でＡＲコンテンツを表示する。ＡＲ表示制御部１８５は、対象物に対応する位置に画像や文字等を表示するＡＲ表示を行うことで、対象物に関する情報を提供し、或いは、画像表示部２０越しに見える対象物の姿の見え方を変える。ＡＲコンテンツは、対象物に対応する位置に表示される画像や文字のデータを含む。また、ＡＲコンテンツに、対象物を特定するデータ、及び、画像や文字の表示位置に関するデータ等を含んでもよい。ＡＲコンテンツの表示位置は対象物に重なる位置であっても対象物の周囲であってもよい。対象物は物体であればよく、建物等の不動産であってもよいし、自動車や電車などの移動体であってもよく、人間や動物などの生物であってもよい。ＡＲ表示制御部１８５は、撮像処理部１８１が取得する撮像画像データから、使用者の視界に位置する対象物を検出する。そして、ＡＲ表示制御部１８５は、検出した対象物に対応するＡＲコンテンツの表示位置を決定し、ＡＲコンテンツを表示する。
【００５９】
ＡＲコンテンツは、使用者が対象物を視認する位置に重なるように、或いは、対象物を視認する位置に合わせて、表示することが望ましい。このため、ＡＲ表示制御部１８５は、撮像処理部１８１の撮像画像データから対象物の画像を検出し、検出した対象物の画像と撮像画像全体との位置関係に基づき、カメラ６１の撮像範囲における対象物の位置を特定する。
【００６０】
ＡＲ表示制御部１８５は、例えばＡＲ表示を開始する際に、カメラ６１の撮像範囲と、画像表示部２０の表示領域との位置関係を特定するキャリブレーションを実行する。キャリブレーションを実行した後は、カメラ６１の撮像範囲と画像表示部２０の表示領域とが対応付けられるため、ＡＲ表示の対象物をカメラ６１の撮像画像から検出し、この対象物に対応する位置にコンテンツを表示できる。
このキャリブレーションでは、例えば、実際の物体を撮像したカメラ６１の撮像画像を画像表示部２０の表示領域に表示する。そして、画像表示部２０の表示領域を透過して視認される上記物体と、画像表示部２０の表示領域に画像として表示された上記物体とが、頭部装着型表示装置１００を装着する使用者の眼の中で重なるようにする。より具体的には、画像表示部２０の表示領域を透過して視認される物体の像と画像表示部２０の表示領域に表示された物体の画像とが、位置、大きさ、及び向きが同じ状態で視認されるように、画像表示部２０の表示位置やサイズを調整する。この調整は、後述するように、使用者の操作に応じて制御部１４０のＡＲ表示制御部１８５が実行する。
【００６１】
また、ＡＲ表示制御部１８５は、フレーム２の位置がずれる等の原因で、キャリブレーションで対応付けられたカメラ６１の撮像範囲と画像表示部２０の表示領域との相対位置が変化した場合、この変化に合わせてコンテンツの表示位置を補正できる。
この場合、ＡＲ表示制御部１８５は、装着位置検出部１８３が算出する変化量に基づき、表示位置を移動する方向及び移動量を算出する。ＡＲ表示制御部１８５は、表示位置の移動（シフト）に関する制御データを生成して、画像処理部１６０及び表示制御部１７０に出力し、表示位置を移動させる。ここで、ＡＲ表示制御部１８５は、コンテンツを表示する表示サイズを変更させる制御データを生成して出力してもよい。
【００６２】
音声処理部１８７は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、右イヤホン３２および左イヤホン３４に出力する。また、音声処理部１８７は、マイク６３により集音される音声を取得してディジタル音声データに変換する。音声処理部１８７は、ディジタル音声データに対して予め設定された処理を行ってもよい。
【００６３】
画像表示部２０は、インターフェイス２５と、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、振動センサー６５と、９軸センサー６６とを備えている。
【００６４】
振動センサー６５は、加速度センサーを利用して構成され、例えば図１に示すように、右保持部２１において右光学像表示部２６の端部ＥＲの近傍に内蔵される。振動センサー６５は、使用者が端部ＥＲを叩く操作（ノック操作）を行った場合に、この操作による振動を検出して、検出結果を制御部１４０に出力する。この振動センサー６５の検出結果により、制御部１４０は、使用者によるノック操作を検出する。
【００６５】
９軸センサー６６は、加速度（３軸）、角速度（３軸）、地磁気（３軸）を検出するモーションセンサーである。制御部１４０は、画像表示部２０が使用者の頭部に装着されているとき、９軸センサー６６の検出値に基づいて使用者の頭部の動きを検出できる。例えば、制御部１４０は、９軸センサー６６の検出値に基づき、画像表示部２０の傾きの大きさと傾きの向きを推定できる。
【００６６】
インターフェイス２５は、右コード４２と左コード４４とが接続されるコネクターを備える。インターフェイス２５は、送信部５１から送信されるクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、画像データＤａｔａを、対応する受信部（Ｒｘ）５３、５４に出力する。また、インターフェイス２５は、表示制御部１７０から送信される制御信号を、対応する受信部５３、５４、右バックライト制御部２０１又は左バックライト制御部２０２に出力する。
また、インターフェイス２５は、カメラ６１、振動センサー６５及び９軸センサー６６を接続するインターフェイスである。振動センサー６５による振動の検出結果や、９軸センサー６６による加速度（３軸）、角速度（３軸）、地磁気（３軸）の検出結果は、インターフェイス２５を介して制御部１４０に送られる。
【００６７】
右表示駆動部２２は、上述した右バックライト２２１、右ＬＣＤ２４１、及び右投写光学系２５１を備える。また、右表示駆動部２２は、受信部５３、右バックライト（ＢＬ）２２１を制御する右バックライト（ＢＬ）制御部２０１、及び、右ＬＣＤ２４１を駆動する右ＬＣＤ制御部２１１を備える。
【００６８】
受信部５３は、送信部５１に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、右ＬＣＤ２４１を駆動する。
【００６９】
左表示駆動部２４は、右表示駆動部２２と同様の構成を有する。左表示駆動部２４は、上述した左バックライト２２２、左ＬＣＤ２４２、及び左投写光学系２５２を備える。また、左表示駆動部２４は、受信部５４、左バックライト２２２を駆動する左バックライト制御部２０２、及び、左ＬＣＤ２４２を駆動する左ＬＣＤ制御部２１２を備える。
【００７０】
受信部５４は、送信部５２に対応するレシーバーとして動作し、制御装置１０と画像表示部２０との間におけるシリアル伝送を実行する。左バックライト制御部２０２は、入力された制御信号に基づいて、左バックライト２２２を駆動する。左ＬＣＤ制御部２１２は、受信部５４を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データＤａｔａと、に基づいて、左ＬＣＤ２４２を駆動する。
なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１とを総称して、右の「画像光生成部」とも呼ぶ。同様に、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２とを総称して、左の「画像光生成部」とも呼ぶ。
【００７１】
ところで、使用者が頭部装着型表示装置１００を装着して画像を見る場合に、使用者の眼とフレーム２との相対位置が変化すると、使用者にとっての画像の見え方に影響が生じる。
図４（Ａ）及び（Ｂ）は、使用者の眼とフレーム２との位置関係を示す説明図であり、図４（Ａ）は平面図、図４（Ｂ）は側面図である。
【００７２】
図４（Ａ）及び（Ｂ）には、使用者が画像表示部２０を頭部に装着して、使用者の前方に位置する対象物Ｏを視認する例を示す。画像表示部２０は、ＡＲ（Augmented Reality）効果を奏する画像等のコンテンツ（以下、ＡＲコンテンツという）を、使用者に視認させる。使用者は、実際に使用者の前方にある対象物Ｏを、右導光板２６１、左導光板２６２及び調光板２０Ａ越しに視認し、ＡＲコンテンツを視認する。そして、対象物ＯにＡＲコンテンツが重なって見えることで、ＡＲの効果が得られる。
【００７３】
画像表示部２０は、右導光板２６１、左導光板２６２により、画像光Ｌを使用者の眼に入射させることでＡＲコンテンツを視認させる。このとき使用者が視認するＡＲコンテンツは、右導光板２６１上に形成される実像でなく、画像光Ｌが眼内に形成する虚像である。図４（Ａ）及び（Ｂ）には、画像表示部２０が生成する虚像を実像と見なした場合の、奥行き方向における表示位置を、符号Ｐで示す。言い換えれば、画像表示位置Ｐに画像（実像）を表示すると、この画像は画像表示部２０が生成する虚像と等価とみなすことができる。
画像表示位置Ｐは、使用者の両眼と対象物Ｏとを結ぶ仮想軸線上の位置であり、ハーフミラー２６１Ａ、２６２Ａの位置により決まる。
【００７４】
図４（Ａ）に示すように、使用者が対象物Ｏを視認する場合、対象物Ｏから右眼ＲＥと左眼ＬＥのそれぞれに、外光ＯＬが入射する。このとき、右眼ＲＥには、画像表示位置Ｐに表示される画像のうち位置ＲＰにあるＡＲコンテンツが、対象物Ｏに重なって視認される。また、左眼ＬＥには、画像表示位置Ｐに表示される画像のうち位置ＬＰにあるＡＲコンテンツが、対象物Ｏに重なって視認される。
従って、頭部装着型表示装置１００は、表示位置Ｐにおいて、符号ＲＰ、ＬＰで示す位置に視認されるように、ＡＲコンテンツを表示すると、ＡＲコンテンツと対象物Ｏとが重なり、ＡＲの効果を十分に得ることができる。
【００７５】
また、図４（Ｂ）は、対象物Ｏと右眼ＲＥ及び左眼ＬＥとの間の距離の影響を示す。なお、図４（Ｂ）は側面視を示しているので、使用者の左眼ＬＥを図示するが、使用者の右眼ＲＥにおける見え方も同じように考えることができる。
【００７６】
ＡＲコンテンツは対象物Ｏに重なって見える場合に、実際の景色にない情報を使用者に提供したり、実際の景色と異なる見え方で対象物Ｏを視認させたりする効果がある。このため、ＡＲコンテンツが視認されるサイズと対象物Ｏの実際の大きさとを対応させることが望ましい。
使用者がＡＲコンテンツを視認するサイズは、図４（Ｂ）に示すように、位置Ｐにおける表示サイズと、左眼ＬＥと位置Ｐとの間の距離Ｄ１、及び、位置Ｐから対象物Ｏまでの距離Ｄ２により決まる。ここで、画像表示位置Ｐと左眼ＬＥとの距離Ｄ１は、画像表示部２０の形状、仕様から概ね一定であるが、フレーム２の位置がずれた場合は距離Ｄ１が変化する。このため、使用者が視認するＡＲコンテンツのサイズが変わる。
また、フレーム２の位置がずれた場合に、図４（Ａ）に示す対象物Ｏ、使用者の眼ＲＥ、ＬＥ、及び位置ＲＰ、ＬＰの相対位置関係が変化する。すなわち、対象物Ｏと右眼ＲＥとを結ぶ直線に対し、位置ＲＰの相対的な位置が変化する。左眼ＬＥ及び位置ＬＰについても同様である。この変化は、画像表示部２０に表示されるＡＲコンテンツの表示位置の変化を生み、使用者にはＡＲコンテンツの表示位置がずれたように視認される。
【００７７】
そこで、頭部装着型表示装置１００は、使用者が頭部装着型表示装置１００を装着し、ＡＲコンテンツを表示する場合に、使用者の頭部に対するフレーム２の位置が変化したときに、この変化に対応してＡＲコンテンツの表示位置、及び／又は表示サイズを調整する。例えば、図４（Ａ）に示す対象物Ｏ、使用者の眼ＲＥ、ＬＥ、及び位置ＲＰ、ＬＰの相対位置関係の変化に対応して、ＡＲコンテンツの表示位置を調整する。また、例えば、図４（Ｂ）に示す左眼ＬＥと位置Ｐとの間の距離Ｄ１、及び、位置Ｐから対象物Ｏまでの距離Ｄ２の値または距離の比の変化に対応して、ＡＲコンテンツの表示サイズを調整する。
使用者の眼と画像表示部２０の表示領域であるハーフミラー２６１Ａ、２６２Ａとの相対位置の変化は、使用者の頭部とフレーム２の相対位置の変化として検出できる。この構成では、使用者の眼を直接観測する必要がなく、構成がシンプルで済むという利点がある。例えば、上述した特許文献１に記載された構成は、ＨＭＤにおいて使用者側に面する限られたスペースに、使用者の目頭や目じりを撮像するカメラや、光源、及びこれらに接続する配線を設ける必要がある。これに対し、本実施形態の構成は、使用者の頭部とフレーム２の相対位置の変化を検出すれば実現可能であり、使用者の眼を観測する機能部をフレーム２に設ける等の複雑な構造、或いは構造的な制約が発生しにくい。従って、頭部装着型表示装置１００の装置構成はシンプルであり、構造上の制約を受けにくく、例えばフレーム２を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。また、９軸センサー６６および頭部側センサー７１といった、カメラの検出レート（フレームレート）よりも高い検出レートを実現し得る構成を用いて、またはカメラの解像度よりも高い解像度（検出精度）を実現し得る構成を用いて、使用者の頭部に対するフレーム２の相対位置、または相対位置の変化を検出することから、カメラに取得された撮像画像等の画像データを処理する構成に比べて、相対位置の検出の遅延を生じにくく、また相対値の検出精度の高いＨＭＤが得られるという利点がある。また、本実施形態では、カメラを用いる場合と異なり、相対位置の検出において撮像画像の各フレームから特徴点を抽出する画像処理が不要になることから、相対位置の検出がより高速になり得る。
【００７８】
図５及び図６は、頭部装着型表示装置１００の動作を示すフローチャートである。図５は特に、制御部１４０の制御により実行されるキャリブレーションを示す。
使用者が頭部装着型表示装置１００を装着して（ステップＳ１１）、初期化の操作を行うと、制御部１４０のＡＲ表示制御部１８５は、初期キャリブレーションを実行する（ステップＳ１２）。
【００７９】
図６に、初期キャリブレーションの動作を詳細に示す。
ＡＲ表示制御部１８５は、画像処理部１６０及び表示制御部１７０を制御して、キャリブレーション用の画像を、画像表示部２０により表示させる（ステップＳ３１）。キャリブレーション用の画像は、使用者が目安とする画像や文字、或いは記号であり、ここでは仮想のオブジェクトとする。ＡＲ表示制御部１８５は、仮想のオブジェクトを画像表示部２０の表示領域の中心に表示する。なお、画像表示部２０の表示領域の中心とは、ハーフミラー２６１Ａ、２６２Ａの中心を指すが、本実施形態では右ＬＣＤ２４１及び左ＬＣＤ２４２の中心が、ハーフミラー２６１Ａ、２６２Ａの中心に対応する。また、仮想オブジェクトは、ハーフミラー２６１Ａ、２６２Ａのいずれか一方に表示してもよい。
【００８０】
続いて、ＡＲ表示制御部１８５は、仮想オブジェクトに指を重ねるように、使用者への案内を行う（ステップＳ３２）。この案内は、例えば、右ＬＣＤ２４１及び／又は左ＬＣＤ２４２に画像や文字を表示する方法、音声処理部１８７が右イヤホン３２及び／又は左イヤホン３４で音声を出力する方法で行われる。使用者は、案内に従って、手指を仮想オブジェクトに重なって見える位置にする。
【００８１】
ここで、撮像処理部１８１がカメラ６１を制御して撮像を実行させ、ＡＲ表示制御部１８５が撮像画像データを取得する（ステップＳ３３）。ＡＲ表示制御部１８５は、撮像画像データに対する画像処理を実行し、撮像画像から手指の画像を検出して、撮像画像における指先の座標を算出する（ステップＳ３４）。ＡＲ表示制御部１８５が撮像画像から手指の画像を検出する処理は、例えば、予め記憶部１２０に記憶した画像の特徴量等を利用すればよい。また、この初期キャリブレーションでは、手指の代わりにペン型や棒状の指示体等を用いることができる。この場合、指示体の画像を検出するための特徴量等、必要なデータが、予め、記憶部１２０に記憶されていればよい。
【００８２】
ＡＲ表示制御部１８５は、撮像画像における指先の座標に基づき、撮像画像において指の画像を検出した位置と、表示領域の中心とを対応付ける処理を行い（ステップＳ３５）、この処理の結果を示すデータを記憶部１２０に記憶する（ステップＳ３６）。
ステップＳ３６で記憶されたデータを利用すれば、カメラ６１の撮像画像で物体の画像を検出した場合に、使用者がこの物体の位置に重なるように視認する表示領域上の位置を、制御部１４０が特定できる。
【００８３】
図５に戻り、初期キャリブレーションの実行後、装着位置検出部１８３は、９軸センサー６６及び頭部側センサー７１の検出値を取得し（ステップＳ１３）、取得した検出値に基づく基準値を算出して、記憶部１２０に記憶する（ステップＳ１４）。ステップＳ１４で記憶される基準値は、ステップＳ１３で取得した検出値そのものであってもよい。ステップＳ１４で記憶される基準値は、記憶部１２０には、キャリブレーションを行った状態におけるフレーム２と使用者の頭部との相対位置を示す値である。また、ステップＳ１３で検出値を取得したタイミングが、本発明の基準時に相当する。
【００８４】
続いて、ＡＲ表示制御部１８５は、ＡＲコンテンツを表示する処理を開始する（ステップＳ１５）。ＡＲ表示制御部１８５は、記憶部１２０からコンテンツのデータを取得し（ステップＳ１６）、撮像処理部１８１がカメラ６１に撮像を実行させ、撮像画像データからＡＲ表示制御部１８５が対象物を検出する（ステップＳ１７）。続いて、ＡＲ表示制御部１８５は、対象物の位置に基づいてＡＲコンテンツの表示位置を決定し（ステップＳ１８）、ＡＲコンテンツの表示を開始する（ステップＳ１９）。
【００８５】
ＡＲコンテンツの表示開始後、装着位置検出部１８３は、９軸センサー６６及び頭部側センサー７１の検出値を取得し（ステップＳ２０）、取得した検出値に基づいて、頭部に対するフレーム２の相対位置の変化量を算出する（ステップＳ２１）。
ＡＲ表示制御部１８５は、装着位置検出部１８３が算出した変化量に基づき、ＡＲコンテンツの表示位置の補正が必要か否かを判定する（ステップＳ２２）。例えば、装着位置検出部１８３が算出した変化量が、記憶部１２０に記憶されるしきい値を超える場合に、表示位置の補正が必要と判定する。
【００８６】
表示位置の補正が必要と判定した場合（ステップＳ２２；ＹＥＳ）、ＡＲ表示制御部１８５は、表示位置の補正を行う旨の報知を行う（ステップＳ２３）。ステップＳ２３では、例えば、画像表示部２０により報知用のメッセージや画像を表示する。このメッセージや画像は、ＡＲコンテンツと同様に対象物の位置に合わせて表示してもよく、補正後のＡＲコンテンツの表示位置に、報知用のメッセージや画像を表示してもよい。
ここで、ＡＲ表示制御部１８５は、ステップＳ２３で報知を行わずにステップＳ２４に移行してもよいし、ステップＳ２３の報知を行った後で所定時間が経過した後に、自動的にステップＳ２４に移行してもよい。或いは、ステップＳ２３で報知を行った後で使用者の操作を待機し、使用者が実行を指示する操作を行った場合にステップＳ２４に移行してもよい。
【００８７】
ＡＲ表示制御部１８５は、装着位置検出部１８３が算出した変化量、または、この変化量から算出される補正量に従って、ＡＲコンテンツの表示位置を補正し（ステップＳ２４）、終了条件の正否を判定する（ステップＳ２５）。また、表示位置を補正しないと判定した場合（ステップＳ２２；ＮＯ）、制御部１４０はステップＳ２５に移行して終了条件の正否を判定する。
【００８８】
制御部１４０は、終了条件が成立している場合（ステップＳ２５；ＹＥＳ）、本処理を終了する。また、終了条件が成立していない場合は（ステップＳ２５；ＮＯ）、ステップＳ２０に戻る。終了条件は、例えば、ＡＲコンテンツを最後まで表示し、表示が完了すること、操作部１３５の操作によりＡＲコンテンツの表示の終了が指示されたこと、インターフェイス１２５を介して外部機器より動作終了が指示されたこと、等である。
【００８９】
以上説明したように、本発明を適用した実施形態の頭部装着型表示装置１００は、使用者の頭部に装着され、画像を表示し、外景を透過可能に構成された画像表示部２０を備える。頭部装着型表示装置１００は、使用者の頭部に対する画像表示部２０の相対位置を検出する検出部としての９軸センサー６６、頭部側センサー７１及び装着位置検出部１８３を有する。ＡＲ表示制御部１８５は、９軸センサー６６及び頭部側センサー７１の検出結果に基づき、画像表示部２０に表示されるＡＲコンテンツ等のオブジェクトの表示位置を調整する。
この頭部装着型表示装置１００の構成、及び、頭部装着型表示装置１００の制御方法によれば、シンプルな装置構成を有する頭部装着型表示装置１００が、使用者の頭部に対する画像表示部２０の相対位置の変化に対応して、表示を調整することができる。このため、使用者が好ましい状態で画像を見ることができる。
【００９０】
また、制御部１４０は、９軸センサー６６及び頭部側センサー７１の検出結果に基づき、使用者の頭部に対する画像表示部２０の相対位置について、設定される基準時からの変化量を求める。これにより、使用者の頭部に対する画像表示部２０の相対位置の変化を、基準時からの変化量として求めることができるので、この相対位置の変化に対応する表示の調整等を容易に行うことができる。
【００９１】
また、制御部１４０は、画像表示部２０に表示されるＡＲコンテンツの表示位置が調整された状態、例えば初期キャリブレーションの実行後に基準時を設定する。これにより、使用者の頭部に対する画像表示部２０の相対位置の変化に対応して、ＡＲコンテンツの表示位置を容易に調整できる。
【００９２】
また、頭部装着型表示装置１００は、画像表示部２０の動きまたは姿勢を検出する９軸センサー６６を備える。装着位置検出部１８３は、９軸センサー６６の出力と、使用者の頭部に設けられ使用者の頭部の動きまたは姿勢を検出する頭部側センサー７１の出力とに基づいて、使用者の頭部に対する画像表示部２０の相対位置を検出する。これにより、使用者の頭部に対する画像表示部２０の相対位置の変化を容易に検出できる。
また、上記実施形態の頭部装着型表示装置１００は、例えば特許文献１に記載されたような使用者の眼を直接観測する構成を必須としない。このため、フレーム２の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置１００の装置構成をシンプルな構成とすることができる。また、例えばフレーム２を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。  さらに、実施形態の頭部装着型表示装置１００は、使用者の頭部に対する画像表示部２０の相対位置の変化に対応して、画像表示部２０に表示されるＡＲコンテンツ等のオブジェクトの表示位置を調整する。このため、機械的に表示装置の位置ずれを修正する場合に比べ、より一層、構造上の制約を受けにくく、シンプルな装置構成により実現でき、小型化も容易である。
【００９３】
第１実施形態では、頭部装着型表示装置１００における検出部としての装着位置検出部１８３及び９軸センサー６６が、頭部側センサー７１と協働する構成を例示した。本発明はこれに限定されず、検出部が有するセンサーの構成は、他にも挙げられる。その具体的な例を、第２実施形態及び第３実施形態として説明する。
【００９４】
［第２実施形態］
図７は、第２実施形態に係る頭部装着型表示装置１００Ｂ（表示装置）の外観構成を示す説明図である。また、図８は、頭部装着型表示装置１００Ｂを構成する各部の機能ブロック図である。
第２実施形態の頭部装着型表示装置１００Ｂは、画像表示部２０に代えて、画像表示部２０Ｂを有する。画像表示部２０Ｂは、画像表示部２０の９軸センサー６６を排し、代わりに鼻側圧力センサー７３及び耳側圧力センサー７４を設けた構成である。また、頭部装着型表示装置１００Ｂでは、図１に示した頭部側センサー７１を用いない。これらの相違点を除く各部において、頭部装着型表示装置１００Ｂは第１実施形態の頭部装着型表示装置１００と共通の構成である。頭部装着型表示装置１００Ｂにおいて、頭部装着型表示装置１００と共通する構成部については、同符号を付して図示及び説明を省略する。
【００９５】
図７に示すように、フレーム２は、２つの鼻側圧力センサー７３Ａ、７３Ｂ、及び、２つの耳側圧力センサー７４Ａ、７４Ｂを有する。鼻側圧力センサー７３Ａ、７３Ｂは、右光学像表示部２６と左光学像表示部２８との中央部分において、左右対称に配置される。フレーム２が使用者の頭部に装着された状態において、使用者の鼻に当接する位置にあり、フレーム２で鼻に当たるように形成された凹部２Ｊに固定される。フレーム２が使用者の頭部に装着された状態で、鼻側圧力センサー７３Ａは鼻の右眼側の面に当接し、鼻側圧力センサー７３Ｂは鼻の左眼側の面に当接する。
また、耳側圧力センサー７４Ａ、７４Ｂは、メガネ型のフレーム２のテンプルを構成する右保持部２１、及び左保持部２３の下面に固定される。すなわち、耳側圧力センサー７４Ａ、７４Ｂは、フレーム２が使用者の頭部に装着された状態において、使用者の耳に当接する位置にある。フレーム２が使用者の頭部に装着された状態で、耳側圧力センサー７４Ａは右耳の上部に当接し、耳側圧力センサー７４Ｂは左耳の上部に当接する。
【００９６】
鼻側圧力センサー７３Ａ，７３Ｂ及び耳側圧力センサー７４Ａ、７４Ｂは、圧力が加わった場合に、加わる圧力に応じた検出値を出力する圧力センサーである。使用者がフレーム２を装着すると、鼻側圧力センサー７３Ａ、７３Ｂは、使用者の鼻に加わるフレーム２の荷重を検出し、耳側圧力センサー７４Ａ、７４Ｂは、使用者の耳に加わる荷重を検出する。
【００９７】
図８に示すように、鼻側圧力センサー７３Ａ，７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂは、それぞれ、制御部１４０に接続される。装着位置検出部１８３は、鼻側圧力センサー７３Ａ，７３Ｂのそれぞれの検出値を取得できる。また、装着位置検出部１８３は、耳側圧力センサー７４Ａ、７４Ｂのそれぞれの検出値を取得できる。この構成では、装着位置検出部１８３は、鼻側圧力センサー７３Ａ，７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂとともに検出部を構成し、画像表示部２０Ｂを支持する表示部本体としてのフレーム２と、使用者の頭部との間の圧力を検出する圧力センサーとして機能する。また、これらの検出部は、画像表示部２０Ｂを透過して使用者が視認する範囲外に設けられる。
【００９８】
フレーム２が使用者の頭部に装着された状態では、フレーム２と使用者の頭部との相対位置によって、鼻側圧力センサー７３Ａ，７３Ｂの検出値、及び、耳側圧力センサー７４Ａ、７４Ｂの検出値が変化する。例えば、フレーム２の位置が変化した場合、鼻側圧力センサー７３Ａ、７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂのそれぞれの検出値が変化する。さらに、鼻側圧力センサー７３Ａ，７３Ｂの検出値の左右差や、耳側圧力センサー７４Ａ、７４Ｂの検出値の左右差も変化する。従って、装着位置検出部１８３は、鼻側圧力センサー７３Ａ，７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂの検出値に基づき、フレーム２の位置の変化を検出できる。そして、鼻側圧力センサー７３Ａ，７３Ｂの検出値の左右差や、耳側圧力センサー７４Ａ、７４Ｂの検出値の左右差を求める演算処理を行うことにより、フレーム２の位置変化の大きさを推定することができる。
【００９９】
上記第１実施形態の図５で説明した動作において、装着位置検出部１８３は、ステップＳ１４で基準時における検出値を取得した。さらに、ステップＳ２０で検出値を取得し、ステップＳ２１で、検出値に基づきフレーム２の装着位置の変化量を算出していた。ステップＳ２１で算出する変化量は、例えば上述のように推定される値であっても目的を達成し得る。
【０１００】
装着位置検出部１８３は、図５のステップＳ１３及びＳ２０において、鼻側圧力センサー７３Ａ、７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂのそれぞれの検出値を取得する。そして、装着位置検出部１８３は、取得した検出値の比較、或いは、取得した検出値に対する演算処理を実行する。
このように、頭部装着型表示装置１００Ｂは、検出部として、フレーム２と使用者の頭部との間の圧力を検出する鼻側圧力センサー７３Ａ，７３Ｂ、及び耳側圧力センサー７４Ａ、７４Ｂを備える構成とした。この場合においても、図５及び図６を参照して説明した動作を実行し、フレーム２の位置の変化を検出し、この位置変化に対応する表示位置の調整を行える。このため、フレーム２の位置がずれた場合であっても、ＡＲコンテンツを、良好な状態で使用者に見せることができる。
この第２実施形態の頭部装着型表示装置１００Ｂは、鼻側圧力センサー７３Ａ、７３Ｂ、及び、耳側圧力センサー７４Ａ、７４Ｂを利用することにより、フレーム２の位置の変化を検出できる。この頭部装着型表示装置１００Ｂの構成、及び、頭部装着型表示装置１００Ｂの制御方法によれば、第１実施形態の頭部装着型表示装置１００と同様、使用者の眼を直接観測する構成を必須としないので、フレーム２の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置１００Ｂの装置構成をシンプルな構成とすることができる。また、例えばフレーム２を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。
【０１０１】
［第３実施形態］
図９は、第３実施形態に係る頭部装着型表示装置１００Ｃ（表示装置）の外観構成を示す説明図である。また、図１０は、頭部装着型表示装置１００Ｃを構成する各部の機能ブロック図である。
第３実施形態の頭部装着型表示装置１００Ｃは、画像表示部２０に代えて、画像表示部２０Ｃを有する。画像表示部２０Ｃは、画像表示部２０の９軸センサー６６を排し、代わりに磁気センサー７８を設けた構成である。さらに、頭部装着型表示装置１００Ｃは、図１に示した頭部側センサー７１に代えて、磁性体８を使用者の頭部に装着する。これらの相違点を除く各部において、頭部装着型表示装置１００Ｃは第１実施形態の頭部装着型表示装置１００と共通の構成である。頭部装着型表示装置１００Ｃにおいて、頭部装着型表示装置１００と共通する構成部については、同符号を付して図示及び説明を省略する。
【０１０２】
磁気センサー７８は、図９に示すように、眼鏡のテンプル部に相当する右保持部２１に内蔵される。磁気センサー７８はフレーム２に固定される。これに対し、磁性体８は、使用者の頭部に固定される。使用者がフレーム２を装着した状態において、磁性体８は、磁気センサー７８に対応する位置に固定される。例えば、図９に示すように、磁性体８は磁気センサー７８に近接する位置で、右保持部２１に接するように配置される。磁性体８を使用者の頭部に固定的に設ける方法は、頭部側センサー７１と同様の方法を採用できる。
【０１０３】
磁気センサー７８は、磁場を検出して、検出した磁場の強さに応じた検出値を出力する。なお、磁気センサー７８は、磁場の変化を検出し、検出する磁場の単位時間あたりの変化量に応じた検出値を出力するものであってもよい。
磁性体８は、例えば永久磁石であるが、画像表示部２０から電源の供給を受ける電磁石であってもよい。
【０１０４】
磁性体８と画像表示部２０Ｃとは、互いに自由に変位可能である。本実施形態の磁性体８は、画像表示部２０Ｃとは別体として構成され、画像表示部２０Ｃに接続されていないため、画像表示部２０Ｃを、磁性体８の位置に制限されず変位させることが可能である。磁性体８は、画像表示部２０Ｃに接続する形態とすることも可能である。例えば、磁性体８の紛失を防止するためのワイヤーや紐、或いは、磁性体８と画像表示部２０Ｃとを電気的に接続するケーブルで、接続する態様としてもよい。この場合も、画像表示部２０Ｃが磁性体８に対して自由に変位できる構成とすることが好ましい。
【０１０５】
図１０に示すように、磁気センサー７８はインターフェイス２５を介して制御部１４０に接続される。装着位置検出部１８３は、磁気センサー７８の検出値を取得できる。この構成では、装着位置検出部１８３は、磁気センサー７８とともに検出部を構成する。これらの検出部は、画像表示部２０Ｃを透過して使用者が視認する範囲外に設けられる。
図９において、フレーム２がずり下がるなど、磁性体８とフレーム２の相対位置が変化した場合、磁性体８と磁気センサー７８との距離が変化する。従って、磁気センサー７８の検出値が変化した場合、磁性体８に対する磁気センサー７８の変位、すなわち、使用者の頭部に対するフレーム２の位置が変化したことになる。このため、装着位置検出部１８３は、磁気センサー７８の検出値に基づき、フレーム２の位置の変化を検出できる。
【０１０６】
上記第１実施形態の図５で説明した動作において、装着位置検出部１８３は、ステップＳ１４で基準時における検出値を取得した。さらに、ステップＳ２０で検出値を取得し、ステップＳ２１で、検出値に基づきフレーム２の装着位置の変化量を算出していた。
【０１０７】
装着位置検出部１８３は、図５のステップＳ１３及びＳ２０において、磁気センサー７８の検出値を取得する。そして、装着位置検出部１８３は、取得した検出値の比較、或いは、取得した検出値に対する演算処理を実行する。
このように、頭部装着型表示装置１００Ｃは、検出部として磁気センサー７８を有し、磁気センサー７８が、使用者の頭部に配置された磁性体８を検出した結果に基づいて、使用者の頭部に対する画像表示部２０の相対位置を検出する。この構成において、図５及び図６を参照して説明した動作を実行し、フレーム２の位置の変化を検出し、この位置変化に対応する表示位置の調整を行える。このため、シンプルな構成により、使用者の頭部に対する画像表示部２０（フレーム２）の相対位置の変化を検出できる。従って、フレーム２の位置がずれた場合であっても、ＡＲコンテンツを、良好な状態で使用者に見せることができる。
【０１０８】
また、第３実施形態において、磁性体８と磁気センサー７８とを逆に設けてもよい。即ち、磁気センサー７８を使用者の頭部に固定し、フレーム２に磁性体８を内蔵してもよい。この構成では、検出部は磁性体８を含み、頭部装着型表示装置１００は、使用者の頭部に配置される磁気センサー７８が磁性体８を検出した結果に基づいて、使用者の頭部に対する画像表示部２０の相対位置を検出する。
この場合も、磁気センサー７８を使用したシンプルな構成により、使用者の頭部に対する画像表示部２０の相対位置の変化を検出できる。
この第３実施形態の頭部装着型表示装置１００Ｃは、磁性体８と磁気センサー７８とを利用することにより、フレーム２の位置の変化を検出できる。この頭部装着型表示装置１００Ｃの構成、及び、頭部装着型表示装置１００Ｃの制御方法によれば、第１実施形態の頭部装着型表示装置１００と同様、使用者の眼を直接観測する構成を必須としないので、フレーム２の限られた面積に、設置位置の制約を有するカメラ等を設ける場合に比べ、複雑な構造が必須とされず、構造上の制約を受けにくい。このため、頭部装着型表示装置１００Ｂの装置構成をシンプルな構成とすることができる。また、例えばフレーム２を小型化し、或いは細いフレームで構成しようとした場合、実現容易性の面で優れる。
【０１０９】
なお、この発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示部２０に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよく、使用者の左眼に対応して画像を表示する表示部と、使用者の右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者の身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。画像表示部２０Ｂ、２０Ｃについても同様である。
【０１１０】
さらに、上記実施形態では、画像表示部２０、２０Ｂ、２０Ｃと制御装置１０とが分離され、接続部４０を介して接続された構成を例に挙げて説明した。本発明はこれに限定されず、制御装置１０と画像表示部２０、２０Ｂ、２０Ｃとが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、制御装置１０として、ノート型コンピューター、タブレット型コンピューター又はデスクトップ型コンピューターを用いてもよい。また、制御装置１０として、ゲーム機や携帯型電話機やスマートフォンや携帯型メディアプレーヤーを含む携帯型電子機器、その他の専用機器等を用いてもよい。また、制御装置１０が画像表示部２０、２０Ｂ、２０Ｃと分離して構成され、制御装置１０と画像表示部２０、２０Ｂ、２０Ｃとの間で無線通信により各種信号を送受信する構成としてもよい。
【０１１１】
また、例えば、画像表示部２０、２０Ｂ、２０Ｃにおいて画像光を生成する構成として、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としてもよい。また、画像光を生成する構成として、ＬＣＯＳ（Liquid crystal on silicon,  LCoSは登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。
【０１１２】
また、画像光を使用者の眼に導く光学系としては、外部から装置に向けて入射する外光を透過する光学部材を備え、画像光とともに使用者の眼に入射させる構成を採用できる。また、使用者の眼の前方に位置して使用者の視界の一部または全部に重なる光学部材を用いてもよい。さらに、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。また、光学部材の内部で画像光を導光させるものに限らず、使用者の眼に向けて画像光を屈折及び／または反射させて導く機能のみを有するものであってもよい。
例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。すなわち、光射出部が、レーザー光源と、レーザー光源を使用者の眼に導く光学系とを備え、レーザー光を使用者の眼に入射させて網膜上を走査し、網膜に結像させることにより、使用者に画像を視認させる構成を採用してもよい。
また、本発明を、ＭＥＭＳミラーを用いた走査光学系を採用し、ＭＥＭＳディスプレイ技術を利用した表示装置に適用することも可能である。すなわち、信号光形成部と、信号光形成部が射出する光を走査するＭＥＭＳミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを光射出部として備えてもよい。この構成では、信号光形成部が射出した光がＭＥＭＳミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。ＭＥＭＳミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像を使用者が眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板２６１及び左導光板２６２のように、複数回の反射を経て光を導くものであってもよく、ハーフミラー面を利用してもよい。
【０１１３】
さらに、本発明の光学素子は、ハーフミラー２６１Ａ、２６２Ａを有する右導光板２６１、左導光板２６２に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
【０１１４】
また、図３、図８、及び図１０に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよい。つまり、図３、図８、図１０に示した通りに独立したハードウェア資源を配置する構成に限定されない。また、制御部１４０が実行するプログラムは、記憶部１２０または制御装置１０内の記憶装置に記憶されてもよいし、外部の装置に記憶されたプログラムを通信部１１７又はインターフェイス１２５を介して取得して実行する構成としてもよい。また、制御装置１０に形成された構成のうち、操作部１１１のみが単独の使用者インターフェイス（ＵＩ）として形成されてもよい。また、制御装置１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図３、図８、図１０に示す制御部１４０が制御装置１０と画像表示部２０、２０Ｂ、２０Ｃとの両方に形成されていてもよい。また、制御装置１０に形成された制御部１４０と画像表示部２０、２０Ｂ、２０Ｃに形成されたＣＰＵとが行う機能が別々に分けられている構成としてもよい。
【符号の説明】
【０１１５】
２…フレーム（表示部本体）、１０…制御装置、２０、２０Ｂ、２０Ｃ…画像表示部（表示部）、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、６１…カメラ、６６…９軸センサー（検出部、センサー）、７１…頭部側センサー（検出部、補助センサー）、７３…鼻側圧力センサー（検出部、圧力センサー）、７４…耳側圧力センサー（検出部、圧力センサー）、７８…磁気センサー、１００、１００Ｂ、１００Ｃ…頭部装着型表示装置（表示装置）、１１７…通信部、１２０…記憶部、１４０…制御部、１５０…オペレーティングシステム、１６０…画像処理部、１７０…表示制御部、１８１…撮像処理部、１８３…装着位置検出部、１８５…ＡＲ表示制御部、１８７…音声処理部。
【図１】
2016122177.tif 000003
【図２】
2016122177.tif 000004
【図３】
2016122177.tif 000005
【図４】
2016122177.tif 000006
【図５】
2016122177.tif 000007
【図６】
2016122177.tif 000008
【図７】
2016122177.tif 000009
【図８】
2016122177.tif 000010
【図９】
2016122177.tif 000011
【図１０】
2016122177.tif 000012