(57)【要約】【課題】リアル感を損なうような現象を解消し、リアル感を向上させることができる。【解決手段】使用者に画像を虚像として視認させる透過型の頭部装着型表示装置１であって、現実空間上の実物体Ａの座標位置および形状を検出する物体検出部７３と、現実空間上の座標位置が設定された画像オブジェクト２６を、現実空間の座標系に合わせて視認させるように表示させる表示制御部７４と、画像オブジェクト２６を表示する表示部３０と、を備え、表示制御部７４は、画像オブジェクト２６を、実物体Ａの座標位置および形状に合わせて制御する。【選択図】図５
2015026286.tif 000002
【特許請求の範囲】
【請求項１】
使用者に画像を虚像として視認させる透過型の表示装置であって、
現実空間上の実物体の座標位置および形状を検出する物体検出部と、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、
前記画像オブジェクトを表示する表示部と、を備え、
前記表示制御部は、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示装置。
【請求項２】
前記表示制御部は、前記画像オブジェクトの挙動を、前記実物体の座標位置および形状に合わせて制御することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記表示制御部は、検出された前記実物体の座標位置と、設定された前記画像オブジェクトの座標位置とに基づいて、前記使用者から見て前記画像オブジェクトが前記実物体の後方に位置する場合、前記画像オブジェクトの、前記実物体との重畳部分が消えるように、前記画像オブジェクトを変化させることを特徴とする請求項２に記載の表示装置。
【請求項４】
前記表示制御部は、現実空間の座標系において前記実物体を避けるように、前記画像オブジェクトを挙動させることを特徴とする請求項２または３に記載の表示装置。
【請求項５】
前記表示制御部は、現実空間の座標系において、移動させた前記画像オブジェクトが前記実物体に達したとき、前記画像オブジェクトを、前記実物体と衝突したかのように挙動させることを特徴とする請求項２ないし４のいずれか１項に記載の表示装置。
【請求項６】
前記使用者の視線を検出する視線検出部を、さらに備え、
前記表示制御部は、検出した前記視線に基づいて、前記画像オブジェクトを表示させることを特徴する請求項１ないし５のいずれか１項に記載の表示装置。
【請求項７】
前記使用者から前記実物体までの距離を検出する距離検出部を、さらに備え、
前記表示制御部は、検出した前記距離に基づいて、前記画像オブジェクトを表示させることを特徴する請求項１ないし６のいずれか１項に記載の表示装置。
【請求項８】
前記表示部は、
前記画像の画像光を出力する画像光出力部と、
出力された前記画像光を前記使用者の眼に導く導光部と、を有し、
前記導光部は、外光を透過し、当該外光を前記画像光と共に前記使用者の眼に入射させることを特徴とする請求項１ないし７のいずれか１項に記載の表示装置。
【請求項９】
使用者に表示画像を虚像として視認させる透過型の表示システムであって、
現実空間上の実物体の座標位置および形状を検出する物体検出部と、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、
前記表示画像を表示する表示部と、を備え、
前記表示制御部は、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示システム。
【請求項１０】
使用者に表示画像を虚像として視認させる透過型の表示装置の制御方法であって、
現実空間上の実物体の座標位置および形状を検出する物体検出ステップと、
現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御ステップと、
前記画像オブジェクトを表示する表示ステップと、を実行し、
前記表示制御ステップでは、前記画像オブジェクトを、前記実物体の座標位置および形状に合わせて制御することを特徴とする表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用者に画像を虚像として視認させる透過型の表示装置、表示システムおよび表示装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、この種の表示装置として、使用者の頭部に装着される光学透過型の頭部装着型表示装置が知られている（特許文献１参照）。この表示装置では、使用者が、画像を虚像として視認すると同時に、現実風景（外景）も直接視認可能に構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１６３６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、この種の表示装置において、現実世界に仮想現実を融合させることを目的として、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる構成（フィッティング）が考えられた。すなわち、画像オブジェクトを現実空間の座標系に合わせて配置し、現実風景に重ねて視認させることで、視認している現実空間に画像オブジェクトが実際に存在しているかのように認識させる構成である。かかる構成によれば、視認している現実風景に画像オブジェクトを重ねる構成であるため、撮影画像と画像オブジェクトとを画像上で合成する、いわゆる拡張現実（Augmented  Reality：ＡＲ）に比べ、高いリアル感を得ることができる。
しかしながら、単に、画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる構成としただけでは、画像オブジェクトが実物体を無視して挙動してしまうという問題があった。例えば、現実空間に画像オブジェクトが存在しているのであれば、画像オブジェクトが実物体に衝突するようなケースでも、画像オブジェクトが実物体を通りぬけてしまう。また、使用者から見て画像オブジェクトが実物体の後ろに隠れるようなケースでも、画像オブジェクトが認識できてしまう。このような現象は、使用者に違和感を与え、リアル感を著しく損なってしまう原因となる。
【０００５】
本発明は、このような現象を解消し、リアル感を向上させることができる表示装置、表示システムおよび表示装置の制御方法を適用することを課題としている。
【課題を解決するための手段】
【０００６】
本発明の表示装置は、使用者に画像を虚像として視認させる透過型の表示装置であって、現実空間上の実物体の座標位置および形状を検出する物体検出部と、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、画像オブジェクトを表示する表示部と、を備え、表示制御部は、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。
【０００７】
この場合、表示制御部は、画像オブジェクトの挙動を、実物体の座標位置および形状に合わせて制御することが好ましい。
【０００８】
この場合、表示制御部は、検出された実物体の座標位置と、設定された画像オブジェクトの座標位置とに基づいて、使用者から見て画像オブジェクトが実物体の後方に位置する場合、画像オブジェクトの、実物体との重畳部分が消えるように、画像オブジェクトを変化させることが好ましい。
【０００９】
また、表示制御部は、現実空間の座標系において実物体を避けるように、画像オブジェクトを挙動させることが好ましい。
【００１０】
さらに、表示制御部は、現実空間の座標系において、移動させた画像オブジェクトが実物体に達したとき、画像オブジェクトを、実物体と衝突したかのように挙動させることが好ましい。
【００１１】
本発明の表示システムは、使用者に表示画像を虚像として視認させる透過型の表示システムであって、現実空間上の実物体の座標位置および形状を検出する物体検出部と、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御部と、表示画像を表示する表示部と、を備え、表示制御部は、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。
【００１２】
本発明の表示装置の制御方法は、使用者に表示画像を虚像として視認させる透過型の表示装置の制御方法であって、現実空間上の実物体の座標位置および形状を検出する物体検出ステップと、現実空間上の座標位置が設定された画像オブジェクトを、現実空間の座標系に合わせて視認させるように表示させる表示制御ステップと、画像オブジェクトを表示する表示ステップと、を実行し、表示制御ステップでは、画像オブジェクトを、実物体の座標位置および形状に合わせて制御することを特徴とする。
【００１３】
これらの構成によれば、画像オブジェクトを、実物体の座標位置や形状を加味して挙動させることができるため、上記したような現象を解消することができ、リアル感を向上させることができる。すなわち、画像オブジェクトが実物体に衝突するようなケースで、画像オブジェクトを、衝突したかのように挙動させることができ、使用者から見て画像オブジェクトが実物体の後ろに隠れるようなケースで、画像オブジェクトを、実物体の後ろに隠れたかのように変化させることができる。また、画像オブジェクトに、実物体の座標位置や形状を加味した挙動をさせることで、透過型の表示装置において、実物体を絡めたコンテンツを提供することができる。例えば、画像オブジェクトによる、実物体を絡めたゲームやナビゲーションサービスを提供することができる。
【００１４】
上記の表示装置において、使用者の視線を検出する視線検出部を、さらに備え、表示制御部は、検出した視線に基づいて、画像オブジェクトを表示させることが好ましい。
【００１５】
この構成によれば、使用者の視線を加味して、画像オブジェクトの表示を行うことで、画像オブジェクトのフィッティングをより精度良く行うことができる。
【００１６】
また、使用者から実物体までの距離を検出する距離検出部を、さらに備え、表示制御部は、検出した距離に基づいて、画像オブジェクトを表示させることが好ましい。
【００１７】
この構成によれば、使用者から実物体までの距離を加味して、画像オブジェクトの表示を行うことで、画像オブジェクトのフィッティングをより精度良く行うことができる。
【００１８】
一方、表示部は、画像の画像光を出力する画像光出力部と、出力された画像光を使用者の眼に導く導光部と、を有し、導光部は、外光を透過し、当該外光を画像光と共に使用者の眼に入射させることが好ましい。
【００１９】
この構成によれば、いわゆる虚像投写型の透過型表示装置を用いることで、画像オブジェクトのフィッティングをより精度良く行うことができ、リアル感を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態に係る頭部装着型表示装置の外観構成を示す説明図である。
【図２】使用者が視認可能な虚像および現実風景の一例について説明する図である。
【図３】頭部装着型表示装置の制御構成について説明するブロック図である。
【図４】頭部装着型表示装置による画像オブジェクトの表示動作を説明するフローチャートである。
【図５】表示制御部による画像オブジェクトの挙動制御の第１例を示した遷移図である。
【図６】表示制御部による画像オブジェクトの挙動制御の第２例を示した遷移図である。
【図７】表示制御部による画像オブジェクトの挙動制御の第３例を示した遷移図である。
【発明を実施するための形態】
【００２１】
以下、添付の図面を参照し、本発明の一実施形態に係る表示装置、表示システムおよび表示装置の制御方法について説明する。本実施形態では、本発明の表示装置を適用した頭部装着型表示装置を例示する。この頭部装着型表示装置は、使用者の頭部に装着される表示装置であり、ヘッドマウンドディスプレイ（Head  Mounted  Display：ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置は、使用者に画像を虚像として視認させると同時に現実風景（外景）も直接視認可能な光学透過型の頭部装着型表示装置（透過型頭部装着型表示装置、シースルータイプ・ヘッドマウントディスプレイ）であり、眼鏡型（ゴーグル型）の形状を有している。
【００２２】
図１に示すように、頭部装着型表示装置１は、右保持部１１と、右表示駆動部１２と、左保持部１３と、左表示駆動部１４と、右光学像表示部１５と、左光学像表示部１６と、外界用カメラ１７と、右耳用の右イヤホン１８および左耳用の左イヤホン１９と、を有している。
【００２３】
右光学像表示部１５および左光学像表示部１６は、頭部装着型表示装置１の装着時における使用者の右および左の眼前に対応する位置に配置されている。右光学像表示部１５の一端と、左光学像表示部１６の一端とは、それぞれ、頭部装着型表示装置１の装着時における使用者の眉間に対応する位置で接続されている。右光学像表示部１５の他端である端部ＥＲからは、右保持部１１が延伸している。同様に、左光学像表示部１６の他端である端部ＥＬからは、左保持部１３が延伸している。
【００２４】
右保持部１１は、右光学像表示部１５の端部ＥＲから頭部装着型表示装置１の装着時における使用者の側頭部に対応する位置にかけて、右光学像表示部１５とほぼ直角を成すように延伸して設けられた部材である。同様に、左保持部１３は、左光学像表示部１６の端部ＥＬから頭部装着型表示装置１の装着時における使用者の側頭部に対応する位置にかけて、左光学像表示部１６とほぼ直角を成すように延伸して設けられた部材である。右保持部１１および左保持部１３は、眼鏡のテンプル（つる、耳掛け）のようにして、使用者の頭部に頭部装着型表示装置１を保持する。
【００２５】
右表示駆動部１２は、右保持部１１の内側、換言すれば、頭部装着型表示装置１の装着時における使用者の頭部に対向する側であって、右光学像表示部１５の端部ＥＲ側に配置されている。また、左表示駆動部１４は、左保持部１３の内側であって、左光学像表示部１６の端部ＥＬ側に配置されている。
【００２６】
外界用カメラ１７は、頭部装着型表示装置１を装着した状態における使用者の視界方向（使用者の前方）の現実風景２３を撮像する。詳細は後述するが、外界用カメラ１７による撮像画像は、実物体Ａに設けられたマーカーＭＫの認識、ひいては実物体Ａの認識に用いられる。
【００２７】
右イヤホン１８および左イヤホン１９は、使用者が頭部装着型表示装置１を装着した際に、それぞれ右および左の耳に装着され、右および左の耳への各種音声出力を行う。
【００２８】
次に図２を参照して、頭部装着型表示装置１を装着した使用者が視認可能な虚像２２および現実風景２３の一例について説明する。図２に示すように、頭部装着型表示装置１を装着した使用者の視界２１には、頭部装着型表示装置１が生成する虚像２２が表示される。ここでは、虚像２２として、迷路のナビゲーター（案内人）を表す画像オブジェクト２６が表示されている。また、使用者の視界２１では、使用者は、右光学像表示部１５および左光学像表示部１６を透過して、現実風景２３を見ることができる。ここでは、現実風景２３として、実物体Ａである迷路の壁Ａ１、Ａ２、Ａ３等が見えている。すなわち、使用者は、視界２１内において、虚像２２と現実風景２３とを同時に視認できるように構成されている。なお、符号２７は、視界２１内のうち、虚像２２が表示される（虚像２２を表示可能な）虚像表示領域である。
【００２９】
次に図３を参照して、頭部装着型表示装置１の制御構成について説明する。図３に示すように、頭部装着型表示装置１は、使用者に虚像２２を視認させる表示部３０と、外界用カメラ１７と、右イヤホン１８と、左イヤホン１９と、センサー部３１と、電源部３２と、無線通信インターフェース３３と、これら各部を制御する制御部３４とを有している。
【００３０】
センサー部３１は、頭部装着型表示装置１の制御に係る各種情報を検出する。具体的には、センサー部３１は、距離センサー（距離検出部）４１、ＧＰＳ受信機４２、９軸センサー４３および視線検出センサー（視線検出部）４４を有している。距離センサー４１は、例えば赤外線方式や超音波方式により、使用者（厳密には、頭部装着型表示装置１）から実物体Ａまでの距離を検出する。ＧＰＳ受信機４２は、ＧＰＳ信号を受信して、使用者（厳密には、頭部装着型表示装置１）の位置を示す位置情報を取得する。９軸センサー４３は、３軸加速度、３軸角速度および３軸地磁気を検出する。視線検出センサー４４は、例えば赤外線方式により、使用者の視線を検出する。
【００３１】
電源部３２は、頭部装着型表示装置１の各部に電力を供給する。無線通信インターフェース３３は、無線通信により、画像（静止画像、動画像）や音声等のコンテンツデータの供給元となる種々の外部機器や外部サーバーとの通信を行うためのものである。外部機器としては、例えば、パーソナルコンピューター（ＰＣ）や携帯端末（携帯電話やスマートフォン等）、ゲーム端末等がある。本実施形態では、無線通信インターフェース３３により、ゲームやナビゲーションサービスのコンテンツデータを取得し、これに基づいて画像オブジェクト２６の表示制御が行われる。
【００３２】
表示部３０は、右表示駆動部（画像光出力部）１２と、左表示駆動部（画像光出力部）１４と、右光学像表示部１５としての右導光板（導光部）４６と、左光学像表示部１６としての左導光板（導光部）４７と、を有している。
【００３３】
右表示駆動部１２は、光源として機能する右バックライト（ＢＬ）制御部５１および右バックライト（ＢＬ）５２と、表示素子として機能する右ＬＣＤ（Liquid  Crystal  Display）制御部５３および右ＬＣＤ５４と、右投写光学系５５とを含んでいる。
【００３４】
右バックライト制御部５１は、入力された制御信号に基づいて、右バックライト５２を駆動制御する。右バックライト５２は、例えば、ＬＥＤ（Light  Emitting  Diode）やエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部５３は、入力された表示データに基づいて、右ＬＣＤ５４を駆動制御する。右ＬＣＤ５４は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
【００３５】
右投写光学系５５は、右ＬＣＤ５４から射出された画像光を投写（出力）するものであり、例えば、コリメートレンズを用いて構成される。右光学像表示部１５としての右導光板４６は、光透過性の樹脂素材等によって形成され、右投写光学系５５から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼に導く。また、右導光板４６は、外光（現実風景の光）を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
【００３６】
左表示駆動部１４は、右表示駆動部１２と同様に、左バックライト（ＢＬ）制御部６１と、左バックライト（ＢＬ）６２と、左ＬＣＤ制御部６３と、左ＬＣＤ６４と、左投写光学系６５とを含んでいる。左表示駆動部１４に含まれる各要素の構成や機能は、右表示駆動部１２に含まれる各要素と同様であるため、ここでは説明を省略する。また、左光学像表示部１６としての左導光板４７は、光透過性の樹脂素材等によって形成され、左投写光学系６５から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼に導く。また、左導光板４７は、外光を透過し、当該外光を上記画像光と共に使用者の眼に入射させる。
【００３７】
このようにして、頭部装着型表示装置１の使用者の両眼に導かれた画像光が網膜に結像することにより、使用者は、例えば図２に示すように虚像表示領域２７内に虚像２２（画像オブジェクト２６）を視認する。なお、ここでは、画像光を網膜に結像することを、「表示」もしくは「表示する」と呼称している。
【００３８】
制御部３４は、ＣＰＵ（Central  Processing  Unit）６７と、記憶部６８とを有している。記憶部６８は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等により構成されており、種々のコンピュータープログラムが格納されている。ＣＰＵ６７は、記憶部６８からコンピュータープログラムを読み出して実行することにより、オペレーティングシステム（ＯＳ）７１、画像解析部７２、物体検出部７３、表示制御部７４、表示状態制御部７５および音声処理部７６として機能する。
【００３９】
画像解析部７２は、外界用カメラ１７によって撮像された画像の画像信号を取得し、取得した画像信号の解析を行う。画像解析部７２は、画像解析により実物体Ａに設けられた物体認識用のマーカーＭＫ（図２参照）を認識して、マーカーＭＫから得られる情報に基づいて実物体Ａを認識する。すなわち、撮像画像内におけるマーカーＭＫの位置および向きの情報と、マーカーＭＫを読み取った読取情報と、予め記憶した実物体Ａの情報（実物体Ａの形状や実物体ＡにおけるマーカーＭＫの配設位置）とに基づいて、視界２１内での実物体Ａの位置と、実物体Ａの形状を認識する。なお、本実施形態では、実物体ＡにマーカーＭＫが設けられており、これを認識して実物体Ａを認識する構成であるが、マーカーレスで、実物体Ａの特徴位置（特徴点）を認識して実物体Ａを認識する構成であっても良い。また、上述した実物体Ａの情報は、無線通信インターフェース３３により、画像認識の都度、外部サーバーから取得するようにしても良い。
【００４０】
物体検出部７３は、画像解析部７２による実物体Ａの認識結果と、センサー部３１による検出結果とに基づいて、現実空間上における実物体Ａの座標位置および形状を検出する。具体的には、画像解析部７２による実物体Ａの認識結果と、距離センサー４１から得られる使用者から実物体Ａまでの距離の情報と、９軸センサー４３により得られた使用者の頭部の向きの情報とに基づいて、現実空間における使用者に対する実物体Ａの相対的な座標位置と、実物体Ａの形状とを検出する。
【００４１】
表示制御部７４は、表示部３０によって表示される表示データを生成し、表示データを表示部３０（右ＬＣＤ制御部５３および左ＬＣＤ制御部６３）に送信する。表示制御部７４は、画像オブジェクト２６に現実空間上における座標位置を設定すると共に、表示データとして、現実空間上の座標位置が設定された画像オブジェクト２６を、現実空間の座標系に合わせて視認させるように表示させる（いわゆるフィッティング）ものを生成する。
【００４２】
具体的には、表示制御部７４は、コンテンツデータに基づいて、画像オブジェクト２６に対し、現実空間上における、実物体Ａに対する相対的な座標位置が設定する。そして、この画像オブジェクト２６の相対的な座標位置と、検出した実物体Ａの座標位置と、使用者の頭部の向きの情報と、視線検出センサー４４から得られた使用者の視線の情報とに基づいて、現実空間の座標系に合わせて視認させる（現実空間の座標系に合って視認される）ような、虚像表示領域２７における画像オブジェクト２６の表示位置、表示サイズおよび向きを特定する。例えば、画像オブジェクト２６が現実空間の座標系に存在する場合には、使用者から画像オブジェクト２６までの距離によって、表示サイズが決まってくる。よって、表示サイズは、上記各情報に基づいて算出した、使用者から画像オブジェクト２６までの距離により特定される。特定した表示位置、表示サイズ、向きに基づいて、画像オブジェクト２６を拡大／縮小、回転、配置して、画像オブジェクト２６を含む表示データを生成する。
【００４３】
なお、画像オブジェクト２６を立体視画像として表示させる場合には、右目用の表示データおよび左目用の表示データとして、画像オブジェクト２６に視差を与えた表示データを生成し、右目用の表示データを右ＬＣＤ制御部５３に、左目用の表示データを左ＬＣＤ制御部６３に送信する。かかる場合、画像オブジェクト２６の視差量（奥行感）についても、現実空間の座標系に合わせて設定する。すなわち、表示サイズと同様、視差量は、使用者から画像オブジェクト２６までの距離によって決まってくるので、上記各情報に基づいて使用者から画像オブジェクト２６までの距離を算出し、これに基づいて画像オブジェクト２６の視差量を設定する。
【００４４】
また、表示制御部７４は、画像オブジェクト２６の挙動を、検出した実物体Ａの座標位置および形状に合わせて制御する。すなわち、上述では、コンテンツデータに基づいて、現実空間における上記相対的な座標位置を設定すると記載したが、厳密には、コンテンツデータと、検出した実物体Ａの座標位置および形状とに基づいて、上記相対的な座標位置を設定する。また、検出した実物体Ａの座標位置および形状に基づいて、画像オブジェクト２６を変更する。これらによって、画像オブジェクト２６を、検出した実物体Ａの座標位置および形状を加味して挙動させる。
【００４５】
表示状態制御部７５は、右表示駆動部１２および左表示駆動部１４を制御する制御信号を生成し、表示部３０に送信することにより、表示部３０における画像表示状態を制御する。具体的には、表示状態制御部７５は、制御信号により、右ＬＣＤ制御部５３による右ＬＣＤ５４の駆動のＯＮ／ＯＦＦや、右バックライト制御部５１による右バックライト５２の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部６３による左ＬＣＤ６４の駆動ＯＮ／ＯＦＦや、左バックライト制御部６１による左バックライト６２の駆動のＯＮ／ＯＦＦ等を個別に制御することにより、右表示駆動部１２および左表示駆動部１４のそれぞれによる画像光の生成および射出を制御する。
【００４６】
音声処理部７６は、音声信号を右イヤホン１８および左イヤホン１９に送信して、右イヤホン１８および左イヤホン１９に音声出力を行わせる。
【００４７】
次に図４を参照して、頭部装着型表示装置１による画像オブジェクト２６の表示動作について説明する。なお、本表示動作は、図外のコントローラーを用いた動作開始操作に起因して行われるものである。
【００４８】
図４に示すように、頭部装着型表示装置１は、まず、外界用カメラ１７により、現実風景２３を撮像する（Ｓ１）。そして、画像解析部７２により、外界用カメラ１７の撮像画像中のマーカーＭＫを認識し、実物体Ａを認識する（Ｓ２）。なお、図２の例では、撮影画像からマーカーＭＫが認識できる壁Ａ１、Ａ２を認識する。
【００４９】
実物体Ａを認識したら、距離センサー４１により、使用者から実物体Ａまでの距離を検出し（Ｓ３）、９軸センサー４３により、使用者の頭部の向きを検出する（Ｓ４）。そして、物体検出部７３により、画像解析部７２による実物体Ａの認識結果と、検出した使用者から実物体Ａまでの距離の情報と、検出した頭部の向きの情報とに基づいて、実物体Ａの座標位置（使用者に対する相対的な座標位置）および形状を検出する（Ｓ５）。
【００５０】
実物体Ａの座標位置および形状を検出したら、視線検出センサー４４により、使用者の視線を検出する（Ｓ６）。そして、表示制御部７４により、検出した視線の情報と、検出した頭部の向きの情報とに基づいて、使用者の視界２１（の向き）を推測する（Ｓ７）。
【００５１】
その後、表示制御部７４により、コンテンツデータと、検出した実物体Ａの座標位置および形状に基づいて、現実空間上における画像オブジェクト２６の座標位置（実物体Ａに対する相対的な座標位置）を設定する（Ｓ８）。そして、推定した視界２１と、設定した画像オブジェクト２６の座標位置（実物体Ａに対する相対的な座標位置）と、検出した実物体Ａの座標位置（使用者に対する相対的な座標位置）とに基づいて、現実空間の座標系に合わせて視認させるように、画像オブジェクト２６の表示位置、表示サイズおよび向きを決定し（Ｓ９）、画像オブジェクト２６を含む表示データを生成する（Ｓ１０）。その後、生成した表示データを表示部３０に送信する（Ｓ１１）。なお、請求項にいう「表示制御ステップ」は、Ｓ６からＳ１０までの工程により構成されている。
【００５２】
そして、表示部３０により、この画像オブジェクト２６を含む表示データを、表示部３０により表示（画像光を網膜に投写）する（Ｓ１２：表示ステップ）。これにより、本表示動作を終了する。
【００５３】
ここで図５ないし図７を参照して、表示制御部７４による画像オブジェクト２６の挙動制御について説明する。上述したように、表示制御部７４は、画像オブジェクト２６の挙動を、検出した実物体Ａの座標位置および形状に合わせて制御する。図５は、表示制御部７４による画像オブジェクト２６の挙動制御の第１例を示した遷移図である。図５の例では、表示制御部７４は、検出された実物体Ａの座標位置と、設定された画像オブジェクト２６の座標位置とに基づいて、使用者から見て画像オブジェクト２６が実物体Ａの後方に位置する（と推測される）場合、画像オブジェクト２６の、実物体Ａとの重畳部分２６ａが消えるように、画像オブジェクト２６を変化させる。具体的には、同図に示すように、画像オブジェクト２６を、使用者から見て壁Ａ１の後ろ側に移動させたとき、画像オブジェクト２６を、使用者から見た壁Ａ１との重畳部分２６ａが消えるように変化させる。このように画像オブジェクト２６が使用者から見て壁Ａ１の後ろに隠れたかのように表示させる。
【００５４】
図６は、表示制御部７４による画像オブジェクト２６の挙動制御の第２例を示した遷移図である。図６の例では、表示制御部７４は、現実空間の座標系において、実物体Ａを避けるように、画像オブジェクト２６を挙動させる。具体的には、同図に示すように、画像オブジェクト２６を、障害物である柱Ａ４の近くまで移動させたとき、画像オブジェクト２６の軌道を変えさせて、実物体Ａを避けたかのように表示させる。
【００５５】
図７は、表示制御部７４による画像オブジェクト２６の挙動制御の第３例を示した遷移図である。図７の例では、表示制御部７４は、現実空間の座標系において、移動させた画像オブジェクト２６が実物体Ａに達したとき、画像オブジェクト２６を、実物体Ａと衝突したかのように挙動させる。具体的には、同図に示すように、画像オブジェクト２６を、壁Ａ２に達するまで移動させたとき、壁Ａ２から跳ね返るように画像オブジェクト２６の軌道を変えさせて、実物体Ａと衝突したかのように表示させる。また、画像オブジェクト２６が壁Ａ１に達した時点で、画像オブジェクト２６が実物体Ａに衝突したかのように、画像オブジェクト２６を変化させる（図の例では衝突した方向に縮小変形）。
【００５６】
以上、実施形態の構成によれば、画像オブジェクト２６を、実物体Ａの座標位置や形状を加味して挙動させることができるため、リアル感を向上させることができる。また、画像オブジェクト２６に、実物体Ａの座標位置や形状を加味した挙動をさせることで、透過型の表示装置において、実物体Ａを絡めたコンテンツを提供することができる。よって、画像オブジェクト２６による、実物体Ａを絡めたゲームやナビゲーションサービスを提供することができる。ナビゲーションサービスのコンテンツとしては、例えば、画像オブジェクト２６として迷路の案内人を表示し、当該案内人が迷路の壁Ａ１、Ａ２、Ａ３を加味して、壁Ａ１、Ａ２、Ａ３を回避しながら道案内を行うもの等が想定される。また、ゲームのコンテンツとしては、例えば、画像オブジェクト２６としてボールを表示し、投げた当該ボールが壁Ａ１、Ａ２、Ａ３に当たって跳ね返ってくるもの等が想定される。
【００５７】
また、視線検出センサー４４により視線を検出し、使用者の視線を加味して、画像オブジェクト２６の表示を行うことで、画像オブジェクト２６のフィッティング（画像オブジェクト２６の表示位置、表示サイズおよび向きの決定）をより精度良く行うことができる。
【００５８】
さらに、距離センサー４１により使用者から実物体Ａまでの距離を検出し、この距離を加味して、画像オブジェクト２６の表示を行うことで、画像オブジェクト２６のフィッティングをより精度良く行うことができる。
【００５９】
なお、本実施形態においては、現実空間上における画像オブジェクト２６の座標位置として、実物体Ａに対する相対的な座標位置が設定される構成であったが、現実空間上における画像オブジェクト２６の座標位置として、使用者に対する相対的な座標位置が設定される構成や、現実空間上における画像オブジェクト２６の座標位置として、絶対位置が設定される構成であっても良い。
【００６０】
また、本実施形態においては、現実空間上における実物体Ａの座標位置として、使用者に対する相対的な座標位置を検出する構成であったが、現実空間上における実物体Ａの座標位置として、絶対位置を検出する構成であっても良い。
【００６１】
さらに、本実施形態においては、使用者の視線を検出し、使用者の視線と使用者の頭部の向きに基づいて、使用者の視界を検出する構成であったが、使用者の視線が常に真正面を向いているものとし、使用者の頭部の向きのみに基づいて、使用者の視界を検出する構成であっても良い。
【００６２】
またさらに、本実施形態において、物体認識用のマーカーＭＫは、ＡＲマーカーであっても良いし、２次元コード（ＱＲコード等）やバーコードであっても良い。
【００６３】
また、本実施形態においては、外界用カメラ１７により現実風景を撮像し、撮像画像に対する画像認識を用いて実物体Ａの座標位置および形状を検出する構成であったが、現実空間における所定範囲内のすべての実物体Ａの座標位置および形状を記憶したマップデータを、予め記憶しておき、これに基づいて実物体Ａの座標位置および形状を検出する構成であっても良い。
【００６４】
さらに、本実施形態において、画像オブジェクト２６のフィッティングの精度を高めるべく、眼間距離や左右視差角、輻輳角、利き目、画像との視差や実物体に対する使用者の相対速度等を検出し、これらを加味して画像オブジェクト２６のフィッティングを行う構成であっても良い。
【００６５】
またさらに、現実風景２３の光源環境を推測し、この光源環境に合わせて画像オブジェクト２６の色、明るさを調整することが好ましい。また、画像オブジェクト２６の色、明るさは、使用者から実物体Ａまでの距離や、使用者の視環境の変化（例えば暗順応や明順応）も加味して決定することが好ましい。
【００６６】
また、本実施形態において、現実空間の座標系における使用者から画像オブジェクト２６までの距離を算出し、画像オブジェクト２６の焦点距離を変更する構成であっても良い。
【００６７】
さらに、本実施形態において、コンテンツにおけるユーザー操作は、図外のコントローラーによって行う構成であっても良いし、使用者の体の一部（指や手等）を認識し、当該体の一部の挙動をユーザー操作として受け付ける構成であっても良い。また、例えば、使用者の手や指、腕等を認識し、表示制御部７４は、使用者の手に持たれているかのように、バット、ラケット、トランプやペン等の画像オブジェクト２６を表示させる。そして、使用者が手や指、腕等を動かすことで、当該画像オブジェクト２６を操作し、この操作をユーザー操作として受け付ける構成であっても良い。かかる場合にも、使用者から見て画像オブジェクト２６が実物体Ａである使用者の手や指、腕等の後方に位置する場合、画像オブジェクト２６の、実物体Ａとの重畳部分が消えるように、画像オブジェクト２６を変化させる。また、使用者が扱うことができる実物体Ａ（例えばバット、ラケット、トランプやペン）を認識し、当該実物体Ａの挙動をユーザー操作として受け付ける構成であっても良い。ひいては、使用者の頭の動き（例えば向き）や使用者の視線を検出し、これをユーザー操作として受け付ける構成であっても良い。
【００６８】
またさらに、表示させる画像オブジェクト２６は、上記したものに限定されるものではなく、例えば、矢印やマークの画像オブジェクト２６を表示させる構成であっても良い。また、現実空間の物や人体の一部（指先や腕等）を撮影して取り込み、これを画像オブジェクト２６として表示させる構成であっても良い。
【００６９】
また、本実施形態において、頭部装着型表示装置１が図外のコントローラーを有し、当該コントローラーに、画像解析部７２、物体検出部７３、表示制御部７４、表示状態制御部７５および音声処理部７６の一部または全部を搭載する構成であっても良い。かかる場合、当該コントローラーは、コード等により、制御部３４もしくは表示部３０等（表示部３０、外界用カメラ１７、センサー部３１、右イヤホン１８および左イヤホン１９）に有線接続されている構成であっても良いし、無線ＬＡＮや赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等により、制御部３４もしくは表示部３０等に無線接続されている構成であっても良い。また、当該コントローラーの機能を、パーソナルコンピュータ（ＰＣ）、携帯情報端末（ＰＤＡ、携帯電話、時計型携帯端末、スマートフォン）等により実現しても良い。
【００７０】
さらに、本実施形態においては、表示装置として両眼タイプの頭部装着型表示装置１（光学透過型頭部装着型表示装置）を例示しているが、本発明は、例えば、単眼タイプ等の他の形式の頭部装着型表示装置にも適用可能である。また、上記実施形態では、眼の前方を覆う眼鏡タイプの頭部装着型表示装置１を例示しているが、これに限るものではなく、眼の前方を完全に覆わないタイプ（眼の前方の一部を覆うタイプ）の頭部装着型表示装置にも適用可能である。さらに、本発明は、頭部装着型表示装置に限らず、ヘッドアップディスプレイ等の他の表示装置にも適用可能である。
【００７１】
またさらに、本実施形態においては、画像光出力部が、バックライト制御部（右バックライト制御部５１および左バックライト制御部６１）と、バックライト（右バックライト５２および左バックライト６２）と、ＬＣＤ制御部（右ＬＣＤ制御部５３および左ＬＣＤ制御部６３）と、ＬＣＤ（右ＬＣＤ５４および左ＬＣＤ６４）とを備える構成であったが、この様態はあくまでも一例である。画像光出力部が、これらの構成部と共に、またはこれらの構成部に代えて、他の方式を実現するための構成部を備えても良い。
【００７２】
例えば、画像光出力部が、有機ＥＬ（有機エレクトロルミネッセンス，Organic  Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像光出力部が、ＬＣＤに代えて、ＬＣＯＳ（Liquid  crystal  on  silicon，ＬＣｏＳは登録商標）や、デジタル・マイクロミラー・デバイス等を備える構成であっても良い。
【００７３】
また、本実施形態においては、いわゆる虚像投写型の頭部装着型表示装置１（ヘッドマウントディスプレイ）に、本発明を適用したが、例えば、レーザー網膜投影型（いわゆる網膜走査型）の頭部装着型表示装置に対して本発明を適用することも可能である。
【００７４】
さらに、本実施形態においては、画像光出力部が、投写光学系（右投写光学系５５および左投写光学系６５）を備え、ＬＣＤから射出された画像光を投写する構成であったが、画像光出力部が、投写光学系に代えて、例えばＭＥＭＳミラーで構成された走査光学系を備えると共に、走査光学系に信号光を射出する信号光変調部（信号光形成部）を備える構成としても良い。この場合、信号光変調部で形成し射出された信号光をスキャン部である走査光学系（ＭＥＭＳミラー）に入射する。走査光学系は信号光を走査光としてハーフミラー層を有する導光体に向けて射出し、ハーフミラー層の面上において走査光が走査されることにより、画像光による虚像が形成される。この虚像を使用者が眼で捉えることで画像を認識させることができる。
【００７５】
またさらに、本実施形態においては、頭部装着型表示装置１に本発明を適用する構成であったが、頭部装着型表示装置１と、外部機器もしくは外部サーバーとを接続した表示システムに、本発明を適用しても良い。かかる場合、画像解析部７２、物体検出部７３、表示制御部７４、表示状態制御部７５および音声処理部７６の一部または全部を、外部機器もしくは外部サーバー側に搭載する構成とする。
【符号の説明】
【００７６】
１：頭部装着型表示装置、  ２６：画像オブジェクト、  ２６ａ：重畳部分、  ３０：表示部、  ４１：距離センサー、  ４４：視線検出センサー、  ７３：物体検出部、  ７４：表示制御部、  Ａ：実物体
【図１】
2015026286.tif 000003
【図２】
2015026286.tif 000004
【図３】
2015026286.tif 000005
【図４】
2015026286.tif 000006
【図５】
2015026286.tif 000007
【図６】
2015026286.tif 000008
【図７】
2015026286.tif 000009