(57)【要約】【課題】現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供する。【解決手段】ユーザの視点位置及び視線方向に基づいて当該ユーザの視界範囲を特定し、この視界範囲に包含される配置位置の仮想オブジェクトを現実空間内の該当する位置に仮想的に配置し、前記ユーザの左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、この左眼用画像を前記ユーザの左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前ユーザの右眼部分に設けられた表示ユニットに表示させる。【選択図】図１
2011128220.tif 000002
【特許請求の範囲】
【請求項１】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、
現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定手段と、
所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶する記憶手段と、
前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置手段と、
前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
を備えたことを特徴とする情報提示装置。
【請求項２】
前記視界範囲内において前記装着者により所定の操作が行われた操作位置を特定する操作位置特定手段と、
前記操作位置に前記配置手段により仮想的に配置された前記仮想オブジェクトが存在するか否かを判定する配置関係判定手段と、
前記判定手段により前記仮想オブジェクトが存在すると判定された場合、当該仮想オブジェクトに前記操作の内容に応じた処理を施す処理手段と、
を更に備えたことを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記処理手段は、前記仮想オブジェクトに対する操作により当該仮想オブジェクトの配置変更が行われた場合、前記操作位置特定手段により特定される配置変更後の操作位置をこの操作の対象となった仮想オブジェクトの新たな配置位置として前記記憶部に記憶することを特徴とする請求項２に記載の情報提示装置。
【請求項４】
前記視界範囲を撮像する撮像手段と、
前記撮像手段により撮影された撮影画像中に前記装着者の手を表す手画像が存在するか否かを判定する手画像判定手段と、
前記ヘッドマウントディスプレイから前記視界範囲内に存在する物体までの距離を測定する測距手段と、
を更に備え、
前記操作位置特定手段は、前記手画像判定手段により前記手画像の存在が確認された場合に、前記撮影画像中の手画像の位置及び前記測距手段により測定された距離に基づいて特定した前記現実空間での前記装着者の手の存在位置を、前記操作位置とすることを特徴とする請求項２又は３に記載の情報提示装置。
【請求項５】
前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置に、前記手画像を重畳する重畳手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
【請求項６】
前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置から、前記手画像の形状の形状に相当する領域を除去する除去手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
【請求項７】
現実空間における移動体の存在位置を特定する移動体位置特定手段と、
前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、
を更に備え、
前記記憶手段は、前記相対座標系での配置位置を記憶し、
前記配置手段は、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置することを特徴とする請求項１〜６の何れか一項に記載の情報提示装置。
【請求項８】
前記移動体から当該移動体を識別するための移動体識別情報を取得する移動体識別情報取得手段を更に備え、
前記記憶手段は、前記移動体識別情報と関連付けて前記仮想オブジェクトを記憶し、
前記配置手段は、前記移動体識別情報取得手段で取得された移動体識別情報に該当し且つ、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出すことを特徴とする請求項７に記載の情報提示装置。
【請求項９】
前記記憶手段は、前記仮想オブジェクトの各々に配置角度を関連付けて記憶し、
前記配置手段は、配置対象となった前記仮想オブジェクトを当該仮想オブジェクトに関連付けられた配置角度で配置することを特徴とする請求項１〜８の何れか一項に記載の情報提示装置。
【請求項１０】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、
視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、
視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、
視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定工程と、
配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶した記憶手段から、前記視界範囲に包含される配置位置の仮想オブジェクトを読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置工程と、
画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、
表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、
を含むことを特徴とする情報提示方法。
【請求項１１】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、
現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定手段と、
所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶した記憶手段から、前記視界範囲に包含される配置位置の仮想オブジェクトを読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置手段と、
前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、透過型のヘッドマウントディスプレイを用いてユーザに仮想オブジェクトの提示を行う情報提示装置、情報提示方法及びプログラムに関する。
【背景技術】
【０００２】
従来、現実の光景と重ね合わせてＣＧ（Computer  Graphics）を付加提示する拡張現実（Augmented  Reality）と呼ばれる技術が存在している。係る技術では、情報の提示のための表示装置として、透明な視野を持つ透過型のヘッドマウンテッドディスプレイ（以下、ＨＭＤという）が利用される。例えば、特許文献１には、エンドユーザプログラマが、環境知能（Ambient  Intelligence）の環境の仮想的なインタラクションのメカニズム／パターン（仮想オブジェクト）が現実の位置、表面、オブジェクト及び装置に重畳されるよう、物理的な大きさを持つ環境知能の環境を可視化することを可能とする、拡張現実感眼鏡のための技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００９−５０５２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示の技術では、透過型のＨＭＤ（ＡＲ眼鏡）を通じて現実空間中に仮想オブジェクトが重畳表示されるが、ユーザの両眼視差については何ら考慮されていないため、同一視点からの画像がユーザの両眼に提示されることになる。そのため、現実の物体と仮想オブジェクトとの見え方に違和感が生じ、仮想オブジェクトの現実感が損なわれるという問題がある。また、特許文献１に開示の技術では、ユーザの視点位置と仮想オブジェクトの配置位置との間にユーザ自身の手が存在するような場合、仮想オブジェクトがユーザの手に重畳された状態で提示されることになるため、仮想オブジェクトの現実感が損なわれるという問題がある。さらに、特許文献１に開示の技術では、仮想オブジェクトを現実空間内の固定の位置に配置することはできるものの、現実空間内を移動する自動車等の移動体に配置することができないという問題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶する記憶手段と、前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、を備える。
【０００７】
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定工程と、配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶した記憶手段から、前記視界範囲に包含される配置位置の仮想オブジェクトを読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置工程と、画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、を含む。
【０００８】
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記視点位置及び前記視線方向に基づいて、前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの配置位置とを関連付けて記憶した記憶手段から、前記視界範囲に包含される配置位置の仮想オブジェクトを読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、現実空間内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、して機能させる。
【発明の効果】
【０００９】
本発明によれば、現実空間の所定位置に仮想的に配置された仮想オブジェクトの提示に係る利便性を向上させることが可能な情報提示装置、情報提示方法及びプログラムを提供することできる。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に係る情報提示装置の構成を模式的に示す図である。
【図２】図２は、第１の実施形態に係る情報提示装置のハードウェア構成を示す図である。
【図３】図３は、図２の記憶部に記憶された仮想オブジェクト管理テーブルのデータ構成の一例を示す図である。
【図４】図４は、図２の記憶部に記憶された配置管理テーブルのデータ構成の一例を示す図である。
【図５】図５は、第１の実施形態に係る本体部の機能構成を示す図である。
【図６】図６は、第１の実施形態に係る情報提示処理の手順を示すフローチャートである。
【図７】図７は、第１の実施形態に係る画像生成処理の手順を示すフローチャートである。
【図８−１】図８−１は、ＨＭＤを装着したユーザと、現実空間に存在するテーブルとの関係を示す図である。
【図８−２】図８−２は、図８−１のユーザに提示される仮想オブジェクトの一例を示す図である。
【図８−３】図８−３は、図８−１のユーザに提示される仮想オブジェクトの一例を示す図である。
【図９−１】図９−１は、ＨＭＤを装着したユーザと、現実空間に存在する窓部との関係を示す図である。
【図９−２】図９−２は、図９−１のユーザに提示される仮想オブジェクトの一例を示す図である。
【図１０】図１０は、第１の実施形態に係る仮想オブジェクト操作処理の手順を示すフローチャートである。
【図１１】図１１は、第１の実施形態の変形例に係る画像生成処理の手順を示すフローチャートである。
【図１２】図１２は、図１１の画像生成処理により生成された左眼用画像及び右眼用画像の提示例を示す図である。
【図１３】図１３は、第２の実施形態に係る情報提示装置のハードウェア構成を示す図である。
【図１４】図１４は、図１３の記憶部に記憶された配置管理テーブルのデータ構成の一例を示す図である。
【図１５】図１５は、第２の実施形態に係る本体部の機能構成を示す図である。
【図１６】図１６は、第２の実施形態に係る情報提示処理の手順を示すフローチャートである。
【図１７】図１７は、現実空間における移動体とユーザとの位置関係を示す図である。
【図１８】図１８は、相対座標系における移動体とユーザとの位置関係を示す図である。
【図１９】図１９は、第２の実施形態に係る画像生成処理の手順を示すフローチャートである。
【図２０−１】図２０−１は、ＨＭＤを装着したユーザと、このユーザが乗車した移動体との関係を示す図である。
【図２０−２】図２０−２は、図２０−１のユーザに提示される仮想オブジェクトの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明にかかる情報提示装置、情報提示方法及びプログラムの実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。
【００１２】
［第１の実施形態］
図１は、本実施形態に係る情報提示装置の構成を模式的に示す図である。同図に示すように、本実施形態の情報提示装置１は、透過型のヘッドマウントディスプレイ（以下、ＨＭＤという）１０と、本体部２０とを有している。
【００１３】
ＨＭＤ１０は眼鏡形状に構成され、ユーザの眼前に配置されるフレーム部Ｇ１と、フレーム部Ｇ１の長手方向の両端部に連結されたテンプルＧ２とを有している。フレーム部Ｇ１は、後述する左眼用表示ユニット１３と右眼用表示ユニット１４とを有し、ユーザの左右の眼前に配置されるよう構成されている。また、フレーム部Ｇ１の上部には、後述する位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９等が備えられている。なお、位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９の配置位置や個数は、図１の例に限定されないものとする。
【００１４】
図２は、情報提示装置１のハードウェア構成を示す図である。同図に示すように、ＨＭＤ１０は、ＨＭＤ通信部１１と、入出力制御部１２と、左眼用表示ユニット１３と、右眼用表示ユニット１４と、位置検出部１５と、視線方向検出部１６と、高度検出部１７と、撮像部１８と、測距部１９とを有している。
【００１５】
ＨＭＤ通信部１１は、本体部２０（後述する本体通信部２２）との間で各種情報の授受を行う通信インタフェースである。なお、ＨＭＤ通信部１１の通信方式は特に問わず、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ等の規格に準じたものを用いることができる。
【００１６】
入出力制御部１２は、ＨＭＤ１０の各部（位置検出部１５、視線方向検出部１６、高度検出部１７、撮像部１８及び測距部１９等）から入力される各種の情報を、ＨＭＤ通信部１１を介して本体部２０に出力する。また、入出力制御部１２は、ＨＭＤ通信部１１を介し本体部２０から入力される後述する左眼用画像を左眼用表示ユニット１３に出力するとともに、後述する右眼用画像を右眼用表示ユニット１４に出力する。
【００１７】
左眼用表示ユニット１３は、ＬＣＤ等の表示素子やレンズ等の光学系を有し（何れも図示せず）、入出力制御部１２から入力される左眼用画像を、現実の光景が観察可能な状態でユーザの左眼に提示する。また、右眼用表示ユニット１４は、左眼用表示ユニット１３と同様の構成を有し、入出力制御部１２から入力される右眼用画像を、現実の光景が観察可能な状態でユーザの右眼に提示する。
【００１８】
位置検出部１５は、現実空間に存在するＨＭＤ１０の水平方向での存在位置（例えば、緯度経度）を検出し、ＨＭＤ１０を装着したユーザの存在位置を表す位置情報として入出力制御部１２へ出力する。なお、存在位置の検出方法は特に問わず、例えば、位置検出部１５をＧＰＳ（Global  Positioning  System）受信機とした場合には、ＧＰＳ衛星により測位された位置情報を入出力制御部１２へ出力する。また、位置検出部１５をＷｉ−Ｆｉのアクセスポイントを用いて測位する測位装置、ジャイロ装置、地磁気センサとする形態としてもよい。
【００１９】
視線方向検出部１６は、ジャイロセンサや電子コンパス等であって、現実空間でのＨＭＤ１０自体の傾きを検出し、ユーザの視線方向を表す視線方向情報として入出力制御部１２へ出力する。
【００２０】
高度検出部１７は、測距センサや高度センサであって、現実空間に存在するＨＭＤ１０の垂直方向での存在位置（高度）を検出し、ユーザの視点の高さを表す高度情報として入出力制御部１２へ出力する。
【００２１】
撮像部１８は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等の撮像素子を有し、ＨＭＤ１０を装着するユーザの視界範囲を撮影し、撮影画像として入出力制御部１２へ出力する。
【００２２】
測距部１９は、赤外線や音波を用いた測距センサであって、ユーザの視線方向に存在する現実の物体（例えば、ユーザ自身の手）までの距離を測定し、測距情報として入出力制御部１２へ出力する。なお、測距部１９では、ユーザの視界範囲内に入るユーザ自身の手までの距離を測定することを主として用いるため、距離の測定が可能な範囲をユーザの手が届く範囲、例えば１ｍ程度とすることが好ましい。また、撮像部１８を測距部１９として用いる形態としてもよく、この場合、撮像部１８のフォーカス値から導出される物体までの距離を測距情報として用いることができる。
【００２３】
本体部２０は、ＰＣ（Personal  Computer）やサーバ装置、携帯機器等の情報処理装置である。本体部２０は、ユーザの視界範囲となる現実空間内に仮想オブジェクトを仮装的に配置し、この配置状態を表した後述する左眼用画像及び右眼用画像を、ＨＭＤ１０を用いてユーザに提示する。
【００２４】
図２に示すように、制御部２１と、本体通信部２２と、記憶部２３とを有している。制御部２１は、図示しないＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＲＯＭ（Read  Only  Memory）及びＲＡＭ（Random  Access  Memory）等により構成され、記憶部２３に記憶された所定のプログラムとの協働により、本体部２０の各部の動作を統括的に制御する。
【００２５】
また、制御部２１は、記憶部２３に記憶された所定のプログラムとの協働により、後述する各機能部（図５参照）を実現させ、後述する情報提示処理（図６参照）や仮想オブジェクト操作処理（図１０参照）等の各種処理を実行する。
【００２６】
本体通信部２２は、ＨＭＤ１０（ＨＭＤ通信部１１）との間で各種情報の授受を行う通信インタフェースである。なお、本体通信部２２の通信方式は特に問わないものとするが、上述したＨＭＤ通信部１１の通信方式と同一又は互換性を有するものであるとする。
【００２７】
記憶部２３は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）等の記憶装置を有し、制御部２１により読み出される各種のプログラムや各種の設定情報を予め記憶している。また、記憶部２３は、仮想オブジェクトを管理するための仮想オブジェクト管理テーブル２３１と、仮想オブジェクトの配置位置を管理するための配置管理テーブル２３２とを保持している。
【００２８】
ここで、仮想オブジェクトとは、所定の対象を表した２次元又は３次元のＣＧデータであって、例えば、特定の物品の形状を表したモデリングデータや、所定の機能を有したウィジェット（ガジェット）、ＧＵＩ（Graphical  User  Interface）、情報表示ウィンドウ等が挙げられる。各仮想オブジェクトには、配置位置を規定するための基準点（例えば、仮想オブジェクトの重心）と、配置角度を規定するための基準面（例えば、仮想オブジェクトを形成する一の面）が設けられている。なお、各仮想オブジェクトの実データは、記憶部２３や外部の記憶装置に予め格納されているものとする。
【００２９】
図３は、仮想オブジェクト管理テーブル２３１のデータ構成の一例を示す図である。同図に示すように、仮想オブジェクト管理テーブル２３１には、各仮想オブジェクトを識別するために予め割り当てられた仮想オブジェクトＩＤと、この仮想オブジェクトＩＤに対応する仮想オブジェクトの実データの格納先とが関連付けて登録されている。
【００３０】
図４は、配置管理テーブル２３２のデータ構成の一例を示す図である。同図に示すように、配置管理テーブル２３２には、仮想オブジェクトＩＤと、現実空間に相当する仮想的な座標系（以下、ワールド座標系という）での配置位置と、その配置位置での配置角度とが関連付けて登録されている。ここで、配置位置には、ワールド座標系における基準点の位置座標（三次元座標）が登録されている。また、配置角度には、ワールド座標系における基準面の傾き（各軸方向への回転角度）が登録されている。なお、ワールド座標系はＣＧの分野で用いられる、空間全体（現実空間）を表す仮想的な座標系である。
【００３１】
図５は、本体部２０の機能構成を示す図である。同図に示すように、本体部２０は、制御部２１と記憶部２３に記憶された所定のプログラムとの協働により、視点位置特定部２０１と、視線方向特定部２０２と、画像解析部２０３と、操作位置特定部２０４と、仮想オブジェクト処理部２０５とを機能部として備える。
【００３２】
視点位置特定部２０１は、位置検出部１５で取得された位置情報に基づいて、現実空間でのユーザの存在位置を特定する。また、視点位置特定部２０１は、高度検出部１７で取得された高度情報に基づいて、現実空間でのユーザの視点の高さを特定する。そして、視点位置特定部２０１は、ユーザの現在位置と視点の高さとを合わせた３次元の情報をユーザの視点位置として特定する。
【００３３】
視線方向特定部２０２は、視線方向検出部１６で取得された視線方向情報に基づいて、現実空間におけるユーザの視線方向を特定する。
【００３４】
画像解析部２０３は、撮像部１８で撮影された撮影画像を解析し、この撮影画像中にユーザの手を表す手画像が存在するか否かを判定する。また、画像解析部２０３は、撮影画像中に手画像の存在を認識した場合、この手画像の時系列的な変化量を解析することで、手のひねり（回転量）や指先動作を検出する。なお、撮影画像中の手画像の認識や時系列的な変化量の解析はパターン認識等の公知の技術を用いるものとする。
【００３５】
操作位置特定部２０４は、画像解析部２０３にて撮影画像中に手画像が認識された場合に、測距部１９で測定された測距情報に基づいて、ユーザの視界範囲に存在する物体、つまりＨＭＤ１０からユーザの手までの距離を特定する。また、操作位置特定部２０４は、ユーザの手までの距離及び撮影画像中の手画像の位置等から、現実空間におけるユーザの手の存在位置を操作位置として特定する。なお、操作位置の特定方法はこの形態に限らず、例えば、ユーザの手に現実空間での存在位置を測位するデジタイザ等の位置検出装置を装着し、この位置検出装置の検出結果を用いる形態としてもよい。
【００３６】
仮想オブジェクト処理部２０５は、ユーザの視点位置及び視線方向に基づいて、ＨＭＤ１０を装着したユーザの視界範囲を特定する。視界範囲の特定方法については特に問わず、例えば以下の方法を用いて導出することができる。まず、ユーザの視点位置を中心した所定の大きさの球状空間（例えば、半径３ｍ）を仮想的に設定する。続いて、この視点位置を頂点とし且つ、当該視点位置から視線方向へのベクトル線を垂線とする略円錐状の円錐空間を球状空間から切り出す。このとき、円錐空間の頂角をユーザの実際の視界範囲に応じた値とすることで、円錐空間をユーザの視界範囲として取り扱うことが可能である。なお、円錐空間の頂角の値は、設定情報として予め保持されているものとする。
【００３７】
また、仮想オブジェクト処理部２０５は、配置管理テーブル２３２を参照し、視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定し、存在する場合にその仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す。また、仮想オブジェクト処理部２０５は、仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を仮想オブジェクト管理テーブル２３１の格納先から読み出すと、当該仮想オブジェクトを配置位置及び配置角度に従ってワールド座標系に配置することで、現実空間に仮想的に配置する。さらに、仮想オブジェクト処理部２０５は、現実空間に仮想的に配置した仮想オブジェクトに基づき、ユーザの左眼及び右眼から見た各仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、ＨＭＤ１０へ送出する。
【００３８】
また、仮想オブジェクト処理部２０５は、画像解析部２０３で検出された指先動作の操作内容に応じて、この操作の対象となった仮想オブジェクトに所定の処理を施す。具体的には、操作内容が仮想オブジェクトの配置位置又は配置角度の変更（以下、総称して配置変更という）を指示するものであった場合、操作位置特定部２０４で検出される操作位置の移動量や画像解析部２０３で検出される回転量から新たな配置位置、配置角度を設定し、この操作の対象となった仮想オブジェクトの仮想オブジェクトＩＤと関連付けて配置管理テーブル２３２へ登録することで、配置管理テーブル２３２を更新する。なお、各仮想オブジェクト（実データ）には、自己の仮想オブジェクトの機能を有効化するための指先動作の操作内容が予め定義されているものとする。
【００３９】
以下、図６〜図１０を参照して、情報提示装置１の動作について説明する。ここで、図６は、情報提示処理の手順を示すフローチャートである。なお、本処理の前提として、ユーザがＨＭＤ１０を装着し、ＨＭＤ１０で取得される各種の情報が、ＨＭＤ通信部１１を介して本体部２０へ送出されているものとする。
【００４０】
まず、視点位置特定部２０１は、ＨＭＤ１０から入力される位置情報及び高度情報に基づき、現実空間におけるユーザの視点位置を特定する（ステップＳ１１）。また、視線方向特定部２０２は、ＨＭＤ１０から入力される視線方向情報に基づき、現実空間におけるユーザの視線方向を特定する(ステップＳ１２)。
【００４１】
続いて、仮想オブジェクト処理部２０５は、ステップＳ１１及びＳ１２で特定された視点位置及び視線方向を用いて、現実空間におけるユーザの視界範囲を特定すると(ステップＳ１３)、配置管理テーブル２３２を参照し、この視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定する（ステップＳ１４）。ここで、該当する仮想オブジェクトＩＤが存在しないと判定した場合（ステップＳ１４；Ｎｏ）、本処理を直ちに終了する。
【００４２】
一方、該当する仮想オブジェクトＩＤが存在すると判定した場合（ステップＳ１４；Ｙｅｓ）、仮想オブジェクト処理部２０５は、該当する仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す(ステップＳ１５)。
【００４３】
続いて、仮想オブジェクト処理部２０５は、仮想オブジェクト管理テーブル２３１を参照し、ステップＳ１５で読み出した仮想オブジェクトＩＤの格納先から、当該仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を読み出すと（ステップＳ１６）左眼用画像及び右眼用画像の生成を行う画像生成処理を実行する（ステップＳ１７）。以下、図７を参照して、ステップＳ１７の画像生成処理について説明する。
【００４４】
図７は、ステップＳ１７で実行される画像生成処理の手順を示すフローチャートである。まず、仮想オブジェクト処理部２０５は、ステップＳ１５で読み出した仮想オブジェクトＩＤの配置位置及び配置角度を用いて、当該仮想オブジェクトＩＤに対応する仮想オブジェクトをワールド座標系内の対応する位置に配置する（ステップＳ１７１）。
【００４５】
次に、仮想オブジェクト処理部２０５は、ワールド座標系に配置した仮想オブジェクトの配置状態がユーザの視点位置からの見え方となるよう、この視点位置を基準とした視点座標系にワールド座標系を変換する（ステップＳ１７２）。
【００４６】
続いて、仮想オブジェクト処理部２０５は、ユーザの両眼間距離から定まる視差量に基づいて視点座標系の原点位置（視点位置）を視差量に応じた値だけ左右にシフトさせることで、ユーザの左眼から見た各仮想オブジェクトの配置状態を表す左眼用視点座標系と、ユーザの右眼から見た各仮想オブジェクトの配置状態を表す右眼用視点座標系とを夫々生成する（ステップＳ１７３）。
【００４７】
次いで、仮想オブジェクト処理部２０５は、左眼用視点座標系及び右眼用視点座標系の夫々を、左眼用表示ユニット１３及び右眼用表示ユニット１４のディスプレイに応じたスクリーン座標系に変換する（ステップＳ１７４）。そして、仮想オブジェクト処理部２０５は、スクリーン座標系に変換した左眼用視点座標系及び右眼用視点座標系を夫々描画（レンダリング）することで、左眼用画像と右眼用画像とを生成し（ステップＳ１７５）、図６のステップＳ１８に移行する。
【００４８】
なお、本画像生成処理では、ワールド座標系を一の視点位置に基づいた視点座標系に変換した後、左眼用視点座標系及び右眼用視点座標系に変換する形態としたが、これに限らず、ワールド座標系から左眼用視点座標系及び右眼用視点座標系に直接変換する形態としてもよい。
【００４９】
図６に戻り、仮想オブジェクト処理部２０５は、ステップＳ１７の画像生成処理で生成した左眼用画像及び右眼用画像をＨＭＤ１０に送出することで、左眼用画像を左眼用表示ユニット１３に表示させるとともに、右眼用画像を右眼用表示ユニット１４に表示させ（ステップＳ１８）、本処理を終了する。
【００５０】
ここで、図８（図８−１、図８−２、図８−３）及び図９（図９−１、図９−２）を参照して、本実施形態の情報提示処理による仮想オブジェクトの提示例について説明する。
【００５１】
図８−１は、ＨＭＤ１０を装着したユーザＵと、現実空間に存在するテーブルＴとの関係を示す図である。同図において、符号ＤはユーザＵの視線方向を表し、テーブルＴの机上に向けられているとする。ここで、テーブルＴの机上の所定位置に、花瓶を表す仮想オブジェクトを配置することが配置管理テーブル２３２の配置位置に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図８−２に示すような花瓶を表す仮想オブジェクトＯＢ１１が提示されることになる。また、テーブルＴの机上の所定位置に、キーボードを表す仮想オブジェクトを配置することが配置管理テーブル２３２に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図８−３に示すようなキーボードを表す仮想オブジェクトＯＢ１２が提示されることになる。
【００５２】
また、図９−１は、ＨＭＤ１０を装着したユーザＵと、現実空間に存在する窓部Ｗとの関係を示す図である。同図において、ユーザＵの視線方向Ｄは窓部Ｗの左上の領域Ｗ１に向けられているとする。ここで、領域Ｗ１の所定位置に、アナログ時計を表す仮想オブジェクトと、風景画像を表す仮想オブジェクトを配置することが配置管理テーブル２３２に定義されていたとすると、上述した情報提示処理により、ユーザＵの眼前に図９−２示すようなアナログ時計を表す仮想オブジェクトＯＢ１３と、風景画像を表す仮想オブジェクトＯＢ１４とが提示されることになる。
【００５３】
このように、本実施形態の情報提示処理によれば、ＨＭＤ１０を装着したユーザの視界範囲の所定位置に仮想オブジェクトを仮想的に配置し、このユーザの左眼及び右眼から見た仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成して、ＨＭＤ１０の左眼用表示ユニット１３及び右眼用表示ユニット１４に表示させる。これにより、ユーザは仮想オブジェクトを立体的に知覚することができるため、現実の物体と仮想オブジェクトとの見え方の違和感を軽減させることが可能であり、仮想オブジェクトの現実感を向上させることができる。
【００５４】
次に、図１０を参照して、仮想オブジェクトが操作された際に実行される仮想オブジェクト操作処理について説明する。ここで、図１０は、制御部２１が実行する仮想オブジェクト操作処理の手順を示すフローチャートである。なお、本処理は、上述した情報提示処理のバックグラウンドで実行されるものであって、情報提示処理により仮想オブジェクトの提示が行われていることが前提となる。
【００５５】
まず、仮想オブジェクト処理部２０５は、画像解析部２０３により撮影画像中に手画像が検出するまで待機し（ステップＳ２１；Ｎｏ）、手画像が検出されたと判定すると（ステップＳ２１；Ｙｅｓ）、操作位置特定部２０４により特定される操作位置に仮想オブジェクトが存在するか否かを判定する（ステップＳ２２）。ここで、操作位置に仮想オブジェクトが存在しないと判定した場合（ステップＳ２２；Ｎｏ）、ステップＳ２１に再び戻る。
【００５６】
また、操作位置に仮想オブジェクトが存在すると判定した場合（ステップＳ２２；Ｙｅｓ）、仮想オブジェクト処理部２０５は、画像解析部２０３による指先動作の検出結果に基づき、仮想オブジェクトに対し所定の操作がなされたか否かを判定する（ステップＳ２３）。ここで、画像解析部２０３が指先動作を検出しない場合には（ステップＳ２３；Ｎｏ）、ステップＳ２１に再び戻る。
【００５７】
ステップＳ２３において、仮想オブジェクトに対し所定の操作がなされたと判定した場合（ステップＳ２３；Ｙｅｓ）、仮想オブジェクト処理部２０５は、その指先動作の操作内容が、仮想オブジェクトの配置変更を指示するものか否かを判定する（ステップＳ２４）。例えば、仮想オブジェクトを摘む等の指先動作が行われた場合に、仮想オブジェクト処理部２０５は、その仮想オブジェクトの配置変更が指示されたと判定する。
【００５８】
ステップＳ２４において、操作内容が仮想オブジェクトの配置変更を指示するものと判定した場合（ステップＳ２４；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作位置特定部２０４で検出される操作位置の移動量、画像解析部２０３で検出される手画像の回転量に応じて、操作の対象となった仮想オブジェクトの配置位置及び配置角度を新たに設定する（ステップＳ２５）。
【００５９】
続いて、仮想オブジェクト処理部２０５は、ステップＳ２５で設定した配置位置及び配置角度を用いて上述した画像生成処理を行うことで、配置変更後の左眼用画像及び右眼用画像を生成し（ステップＳ２６）、ＨＭＤ１０へ送出する（ステップＳ２７）。これにより、ユーザからの配置変更に追従して、配置変更後の仮想オブジェクトをユーザに提示させることができる。
【００６０】
次いで、仮想オブジェクト処理部２０５は、仮想オブジェクトの配置変更が完了したか否かを判定する（ステップＳ２８）。例えば、仮想オブジェクトを摘む指先動作が解除された場合に配置変更が完了したと判定する。
【００６１】
ステップＳ２８において、配置変更が完了していないと判定した場合（ステップＳ２８；Ｎｏ）、ステップＳ２４へ再び戻る。また、ステップＳ２８において、配置変更が完了したと判定した場合（ステップＳ２８；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作対象となった仮想オブジェクトの現在の配置位置及び配置角度を、この仮想オブジェクトの仮想オブジェクトＩＤと関連付けて配置管理テーブル２３２に登録し（ステップＳ２９）、本処理を終了する。
【００６２】
一方、ステップＳ２４において、指先動作による操作内容が、仮想オブジェクトが有する所定の機能の利用を指示するものと判定した場合（ステップＳ２４；Ｎｏ）、仮想オブジェクト処理部２０５は、指示された機能を操作の対象となった仮想オブジェクトに実現させた後（ステップＳ３０）、本処理を終了する。
【００６３】
なお、仮想オブジェクトが有する機能は、当該仮想オブジェクトの実データにプログラムとして予め組み込まれているものとする。また、機能の実現により仮想オブジェクトの形状等が変化する場合には、その操作内容に応じて仮想オブジェクトの形状を変更させるものとする。
【００６４】
例えば、図８−３に示したようなキーボード型の仮想オブジェクトＯＢ１２の場合、特定のキー位置で指先を押下する動作を検出すると、当該キーに割り当てられた文字や記号を入力する。また、図９−２に示したようなアナログ時計型の仮想オブジェクトＯＢ１３の場合、指先を短針又は長針に重畳させた状態で、時計回り又は反時計回りにスライドさせる動作を検出すると、そのスライド量に応じて短針又は長針の表示位置を変更する。
【００６５】
このように、本実施形態の仮想オブジェクト操作処理によれば、直感的な操作で仮想オブジェクトの配置変更を行うことができるため、ユーザの利便性を向上させることができる。
【００６６】
なお、上記実施形態では、ユーザ自身の手によって仮想オブジェクトが操作される形態を説明したが、これに限らず、スタイラスペン等の操作指示具を用いて仮想オブジェクトが操作される形態としてもよい。また、この場合、操作指示具に現実空間での存在位置を検出することが可能なデジタイザ等の位置検出装置を設け、この位置検出装置からの位置情報に基づいて操作位置や操作内容を特定する形態としてもよい。
【００６７】
ところで、上述した情報提示処理（画像生成処理）では、ユーザ自身の手が当該ユーザの視点位置と仮想オブジェクトの配置位置との間にあると、ユーザは仮想オブジェクトを自らの手に重畳された状態で観察することになる。この場合、視覚的な奥行き感に不整合が生じるため、提示される仮想オブジェクトの現実感が低下する可能性がある。そのため、上記の条件に該当する場合には、ユーザの手に仮想オブジェクトが重畳されていないよう見せかけることで、仮想オブジェクトの現実感を向上させることができる。以下、この形態の実現に係る画像生成処理を本実施形態の変形例として説明する。
【００６８】
［変形例］
図１１は、本実施形態の変形例に係る画像生処理の手順を示すフローチャートである。なお、ステップＳ４１〜Ｓ４５は、上述した画像生成処理のステップＳ１７１〜Ｓ１７５と同様であるため説明を省略する。
【００６９】
仮想オブジェクト処理部２０５は、ステップＳ４５で左眼用画像及び右眼用画像を生成した後、画像解析部２０３による撮影画像の解析結果に基づき、この撮影画像中に手画像が存在するか否かを判定する（ステップＳ４６）。ここで、撮影画像中に手画像が存在しないと判定した場合（ステップＳ４６；Ｎｏ）、本処理を終了する。
【００７０】
一方、ステップＳ４６において、撮影画像中に手画像が存在すると判定した場合（ステップＳ４６；Ｙｅｓ）、仮想オブジェクト処理部２０５は、操作位置特定部２０４により特定される操作位置に仮想オブジェクトが存在するか否かを判定する（ステップＳ４７）。ここで、操作位置に仮想オブジェクトが存在しないと判定した場合（ステップＳ４７；Ｎｏ）、本処理を終了する。
【００７１】
ステップＳ４７において、操作位置に仮想オブジェクトが存在すると判定した場合（ステップＳ４７；Ｙｅｓ）、仮想オブジェクト処理部２０５は、手画像の操作位置が視点位置と仮想オブジェクトの配置位置との間に存在するか否かを判定する（ステップＳ４８）。ここで、視点位置から見て仮想オブジェクトの配置位置が手画像の操作位置よりも手前に存在すると判定した場合（ステップＳ４８；Ｎｏ）、本処理を終了する。
【００７２】
また、視点位置から見て手画像の操作位置が仮想オブジェクトの配置位置よりも手前に存在すると判定した場合（ステップＳ４８；Ｙｅｓ）、仮想オブジェクト処理部２０５は、画像解析部２０３により撮影画像から手画像を抽出させる（ステップＳ４９）。そして、仮想オブジェクト処理部２０５は、ステップＳ４９で抽出された手画像を左眼用画像及び右眼用画像中の操作位置にスーパーインポーズ（重畳）することで、現実空間中の手の位置に手画像が重畳して提示されるよう画像処理を施した後(ステップＳ５０)、本処理を終了する。
【００７３】
ここで、図１２は、本変形例の画像生成処理により生成された左眼用画像と右眼用画像の提示例を示す図である。同図では、キーボート型の仮想オブジェクトＯＢ１２が提示された例を示している。ここで、ユーザ自身の手（操作位置）がユーザの視点位置と、仮想オブジェクトＯＢ１２の配置位置との間に存在した場合、本変形例の画像生成処理を実行することで、ユーザ自身の手に手画像を重畳して提示することができる。これにより、ユーザの視点位置と仮想オブジェクトの配置位置との間にユーザ自身の手が存在するような場合に、このユーザの手に仮想オブジェクトが重畳されないよう制御することが可能であるため、仮想オブジェクトＯＢ１２の現実感を向上させることができる。
【００７４】
なお、本変形例では、撮影画像中の手画像を左眼用画像及び右眼用画像に直接スーパーインポーズする形態としたが、これに限らず、撮像部１８の位置と両眼間距離とに基づいて、左眼及び右眼から見た手の形状に近付くよう手画像を夫々補正した後、左眼用画像及び右眼用画像にスーパーインポーズする形態としてもよい。
【００７５】
また、本変形例では、左眼用画像及び右眼用画像に手画像をスーパーインポーズすることで、ユーザの手が仮想オブジェクトに重畳されないよう制御する形態としたが、これに限らず、左眼用画像及び右眼用画像中の操作位置に対応する位置から手画像の形状に相当する領域をクリッピング（除去）することで、ユーザの手に相当する領域を空白として提示する形態としてもよい。
【００７６】
［第２の実施形態］
次に、第２の実施形態について説明する。上述した第１の実施形態では、現実空間での固定位置と関連付けて仮想オブジェクトを提示する形態を説明した。第２の実施形態では、現実空間中を移動する対象物（以下、移動体という）と関連付けて仮想オブジェクトを提示する形態について説明する。なお、第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。
【００７７】
図１３は、本実施形態に係る情報提示装置２のハードウェア構成の一例を示す図である。同図に示すように、本実施形態の情報提示装置２は、透過型のＨＭＤ３０と、本体部４０とを有している。なお、ＨＭＤ３０と本体部４０との接続関係は、図１に示した情報提示装置１と同様である。
【００７８】
図１３に示すように、ＨＭＤ３０は、ＨＭＤ通信部１１と、入出力制御部１２と、左眼用表示ユニット１３と、右眼用表示ユニット１４と、位置検出部１５と、視線方向検出部１６と、高度検出部１７と、撮像部１８と、測距部１９と、移動体識別情報取得部３１と、移動体位置情報取得部３２とを有している。
【００７９】
移動体識別情報取得部３１は、ユーザが乗車する自動車等の移動体を識別することが可能な移動体識別情報を取得するための機能部であって、取得した移動体識別情報を入出力制御部１２へ出力する。ここで、移動体識別情報は、例えば自動車登録番号や製造番号等であって、移動体識別情報取得部３１は移動体識別情報の保持方法に応じた構成で実現されているものとする。
【００８０】
例えば、識別情報が移動体自体に文字列として保持されている場合には、移動体識別情報取得部３１を、撮像部１８で撮影された文字列の文字認識を行う装置とすることで、識別情報を取得することができる。また、識別情報が移動体自体にバーコードや二次元コード等のコード化された状態で保持されている場合には、移動体識別情報取得部３１を、撮像部１８で撮影されたバーコードや二次元コードをデコードする装置とすることで、識別情報を取得することができる。また、識別情報がＲＦＩＤタグに格納された状態で保持されている場合には、移動体識別情報取得部３１を、ＲＦＩＤリーダ装置とすることで、識別情報を取得することができる。
【００８１】
移動体位置情報取得部３２は、現実空間における移動体の存在位置を取得し、移動体位置情報とし入出力制御部１２へ出力する。本実施形態では、乗車の対象となる移動体にＧＰＳ受信機等の位置検出装置が設けられているものとし、移動体位置情報取得部３２はこの位置検出装置で検出される移動体の位置情報（例えば、緯度経度）を取得するものとする。なお、位置検出装置からの取得方法は特に問わず、例えば、移動体位置情報取得部３２が移動体の位置検出装置にアクセス可能な構成とすることで、位置検出装置から直接取得する形態としてもよい。
【００８２】
本実施形態では、移動体識別情報取得部３１及び移動体位置情報取得部３２を、ＨＭＤ３０が備える形態とするが、これに限らず、本体部４０をユーザが携帯するような構成の場合、この本体部４０が移動体識別情報取得部３１及び移動体位置情報取得部３２を備える構成としてもよい。また、移動体識別情報取得部３１及び移動体位置情報取得部３２を、ＨＭＤ３０及び本体部４０と別体として設ける形態としてもよい。
【００８３】
一方、本体部４０は、制御部４１と、本体通信部２２と、記憶部４２とを有している。制御部４１は、図示しないＣＰＵ、ＧＰＵ、ＲＯＭ及びＲＡＭ等により構成され、記憶部４２に記憶された所定のプログラムとの協働により、本体部４０の各部の動作を統括的に制御する。また、制御部４１は、記憶部４２に記憶された所定のプログラムとの協働により後述する各機能部（図１５参照）を実現し、後述する情報提示処理(図１６参照)や仮想オブジェクト操作処理等の各処理を実行する。
【００８４】
記憶部４２は、ＨＤＤやＳＤＤ等の記憶装置を有し、制御部４１により実行される各種のプログラムや各種の設定情報を記憶している。また、記憶部４２は、仮想オブジェクト管理テーブル２３１と、配置管理テーブル４２１とを保持している。
【００８５】
図１４は、配置管理テーブル４２１のデータ構成の一例を示す図である。同図に示すように、配置管理テーブル４２１には、移動体識別情報と、仮想オブジェクトＩＤと、後述する相対空間座標における仮想オブジェクトの配置位置と、その配置角度とが関連付けて登録されている。
図１５は、本体部４０の機能構成を示すブロック図である。同図に示すように、本体部４０は、制御部４１と記憶部４２に記憶された所定のプログラムとの協働により、視点位置特定部２０１と、視線方向特定部２０２と、画像解析部２０３と、操作位置特定部２０４と、移動体位置特定部４０１と、仮想オブジェクト処理部４０２とを機能部として備える。
【００８６】
移動体位置特定部４０１は、移動体位置情報取得部３２で取得された移動体位置情報に基づいて、移動体の水平方向での存在位置を特定する。
【００８７】
仮想オブジェクト処理部４０２は、ユーザの存在位置と移動体の存在位置とに基づいて、ユーザの存在位置と移動体の存在位置との間の相対的な位置関係を表した後述する相対座標系を設定する。また、仮想オブジェクト処理部４０２は、相対座標系における、ユーザの視点位置と視線方向とに基づいて、ＨＭＤ１０を装着したユーザの視界範囲を仮想オブジェクト処理部２０５と同様に特定し、この視界範囲に包含される配置位置の仮想オブジェクトを相対座標系に配置することで、現実空間に仮想的に配置する。さらに、仮想オブジェクト処理部４０２は、現実空間に仮想的に配置した仮想オブジェクトに基づき、ユーザの左眼及び右眼から見た各仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成し、ＨＭＤ３０へ送出する。
【００８８】
また、仮想オブジェクト処理部４０２は、画像解析部２０３で検出された指先動作の操作内容に応じて、仮想オブジェクト処理部２０５と同様、この操作の対象となった仮想オブジェクトに所定の処理を施す。
【００８９】
以下、図１６を参照して、本実施形態の情報提示装置２の動作について説明する。ここで、図１６は、情報提示処理の手順を示すフローチャートである。なお、本処理の前提として、ＨＭＤ３０を装着したユーザは移動体に乗車しているものとし、この移動体の移動体識別情報が移動体識別情報取得部３１により取得されているものとする（ステップＳ６１）。
【００９０】
まず、視点位置特定部２０１は、ＨＭＤ３０から入力される位置情報及び高度情報に基づき、現実空間におけるユーザの視点位置を特定する（ステップＳ６２）。また、視線方向特定部２０２は、ＨＭＤ３０から入力される視線方向情報に基づき、現実空間におけるユーザの視線方向を特定する（ステップＳ６３）。また、移動体位置特定部４０１は、ＨＭＤ３０から入力される移動体位置情報に基づき、現実空間における移動体の存在位置を特定する(ステップＳ６４)。
【００９１】
続いて、仮想オブジェクト処理部４０２は、ユーザの存在位置（視点位置）と移動体の存在位置との間の相対的な位置関係を表した相対座標系を設定する（ステップＳ６５）。
【００９２】
例えば、図１７に示すように、現実空間における移動体の存在位置が（Ｘ１、Ｙ１）、ユーザの存在位置が（Ｘ２、Ｙ２）であったとすると、ステップＳ６５では、この移動体の存在位置（Ｘ１、Ｙ１）を両位置から減算する。そして、図１８に示したように、移動体の現在位置を基点（０、０）、ユーザの現在位置を（Ｘ２−Ｘ１、Ｙ２−Ｙ１）とした相対座標系を設定する。なお、本実施形態では、移動体の現在位置を基点とする形態としたが、これに限らず、ユーザの存在位置を基点とした相対座標系を用いる形態としてもよい。
【００９３】
図１６に戻り、仮想オブジェクト処理部４０２は、ステップＳ６２及びＳ６３で特定されたユーザの視点位置及び視線方向に基づき、相対座標系におけるユーザの視界範囲を特定する（ステップＳ６６）。次いで、仮想オブジェクト処理部４０２は、移動体識別情報取得部３１で取得された移動体識別情報に基づき、当該移動体識別情報に対応する仮想オブジェクトＩＤが、配置管理テーブル４２１に登録されているか否かを判定する（ステップＳ６７）。ここで、登録されていないと判定した場合（ステップＳ６７；Ｎｏ）、本処理を終了する。
【００９４】
一方、ステップＳ６７において、移動体識別情報が登録されていると判定した場合(ステップＳ６７；Ｙｅｓ)、仮想オブジェクト処理部４０２は、この移動体識別情報に関連付けられた仮想オブジェクトＩＤのうち、ステップＳ６６で特定した視界範囲に包含される配置位置の仮想オブジェクトＩＤが存在するか否かを判定する（ステップＳ６８）。ここで、該当する仮想オブジェクトＩＤが存在しないと判定した場合（ステップＳ６８；Ｎｏ）、本処理を終了する。
【００９５】
ステップＳ６８において、該当する仮想オブジェクトＩＤが存在すると判定した場合（ステップＳ６８；Ｙｅｓ）、仮想オブジェクト処理部４０２は、該当する仮想オブジェクトＩＤ、配置位置及び配置角度を配置管理テーブル２３２から読み出す(ステップＳ６９)。
【００９６】
続いて、仮想オブジェクト処理部４０２は、仮想オブジェクト管理テーブル２３１を参照し、ステップＳ６９で読み出した仮想オブジェクトＩＤの格納先から、当該仮想オブジェクトＩＤに対応する仮想オブジェクト（実データ）を読み出すと（ステップＳ７０）、左眼用画像及び右眼用画像の生成を行う画像生成処理を実行する（ステップＳ７１）。以下、図１９を参照して、ステップＳ７１の画像生成処理について説明する。
【００９７】
図１９は、ステップＳ７１の画像生成処理の手順を示すフローチャートである。まず、仮想オブジェクト処理部４０２は、ステップＳ７０で読み出した仮想オブジェクトＩＤの配置位置及び配置角度を用いて、当該仮想オブジェクトＩＤに対応する仮想オブジェクトを相対座標系内の対応する位置に配置する（ステップＳ７１１）。
【００９８】
次に、仮想オブジェクト処理部４０２は、相対座標系に配置した仮想オブジェクトの配置状態がユーザの視点位置からの見え方となるよう、この視点位置を基準とした視点座標系に相対座標系を変換する（ステップＳ７１２）。
【００９９】
続いて、仮想オブジェクト処理部４０２は、ユーザの両眼間距離から定まる視差量に基づいて視点座標系の原点位置（視点位置）を視差量に応じた値だけ左右にシフトさせることで、ユーザの左眼から見た各仮想オブジェクトの配置状態を表す左眼用視点座標系と、ユーザの右眼から見た各仮想オブジェクトの配置状態を表す右眼用視点座標系とを夫々生成する（ステップＳ７１３）。
【０１００】
次いで、仮想オブジェクト処理部４０２は、左眼用視点座標系及び右眼用視点座標系の夫々を、左眼用表示ユニット１３及び右眼用表示ユニット１４のディスプレイに応じたスクリーン座標系に変換する（ステップＳ７１４）。そして、仮想オブジェクト処理部４０２は、スクリーン座標系に変換した左眼用視点座標系及び右眼用視点座標系を夫々描画（レンダリング）することで、左眼用画像と右眼用画像とを生成し（ステップＳ７１５）、図１６のステップＳ７２に移行する。
【０１０１】
図１６に戻り、仮想オブジェクト処理部４０２は、ステップＳ７１の画像生成処理で生成した左眼用画像及び右眼用画像をＨＭＤ１０に送出することで、当該左眼用画像及び右眼用画像をＨＭＤ３０の左眼用表示ユニット１３及び右眼用表示ユニット１４に表示させ（ステップＳ７２）、本処理を終了する。
【０１０２】
ここで、図２０（図２０−１、図２０−２）を参照して、本実施形態の情報提示処理により提示された仮想オブジェクトの一例について説明する。
【０１０３】
図２０−１は、ＨＭＤ３０を装着したユーザＵと、このユーザＵが乗車した移動体（自動車）Ｍとの関係を示す図である。同図において、ユーザＵの視線方向は移動体Ｍの前面方向（進行方向）に向けられているとする。ここで、この移動体Ｍの移動体識別情報と関連付けて仮想オブジェクトＩＤが配置管理テーブル４２１に登録され且つ、ユーザＵの視界領域に３つの仮想オブジェクトＩＤの配置位置が含まれていたとすると、上述した情報提示処理により、ユーザＵの眼前に図２０−２に示すような仮想オブジェクトＯＢ２１〜ＯＢ２３が提示されることになる。なお、同図において、仮想オブジェクトＯＢ２１は、テレビ放送の表示を行うためのものであり、仮想オブジェクトＯＢ２２は、所定の店舗の商品を注文するためのものであり、仮想オブジェクトＯＢ２３は、アナログ時計を表したものである。
【０１０４】
このように、本実施形態の情報提示処理によれば、ＨＭＤ３０を装着したユーザと現実空間内を移動する移動体との相対的な位置関係に基づいて、当該移動体に仮想オブジェクトを配置することが可能であるため、移動体に関連付けた状態で仮想オブジェクトを提示することができる。
【０１０５】
なお、本実施形態における仮想オブジェクト操作処理は、上述した第１の実施形態の仮想オブジェクト操作処理で用いる操作位置等の位置情報を、相対座標系での位置情報に変換するのみであるため説明を省略する。
【０１０６】
以上、本発明に係る実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加、組み合わせ等が可能である。
【０１０７】
例えば、上記実施形態では、上述した各処理に係るプログラムを記憶部２３、記憶部４２に予め格納する形態としたが、これに限らず、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。
【０１０８】
また、上述した各処理に係るプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述した各処理に係るプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【産業上の利用可能性】
【０１０９】
以上のように、本発明にかかる情報提示装置、情報提示方法及びプログラムは、現実空間の所定位置に仮想的に配置した仮想オブジェクトを、透過型のＨＭＤを用いてユーザに提示する場合に有用である。
【符号の説明】
【０１１０】
１  情報提示装置
２  情報提示装置
１０  ＨＭＤ
１１  ＨＭＤ通信部
１２  入出力制御部
１３  左眼用表示ユニット
１４  右眼用表示ユニット
１５  位置検出部
１６  視線方向検出部
１７  高度検出部
１８  撮像部
１９  測距部
２０  本体部
２１  制御部
２２  本体通信部
２３  記憶部
２０１  視点位置特定部
２０２  視線方向特定部
２０３  画像解析部
２０４  操作位置特定部
２０５  仮想オブジェクト処理部
２３１  仮想オブジェクト管理テーブル
２３２  配置管理テーブル
３０  ＨＭＤ
３１  移動体識別情報取得部
３２  移動体位置情報取得部
４０  本体部
４１  制御部
４２  記憶部
４０１  移動体位置特定部
４０２  仮想オブジェクト処理部
４２１  配置管理テーブル
【図１】
2011128220.tif 000003
【図２】
2011128220.tif 000004
【図３】
2011128220.tif 000005
【図４】
2011128220.tif 000006
【図５】
2011128220.tif 000007
【図６】
2011128220.tif 000008
【図７】
2011128220.tif 000009
【図８−１】
2011128220.tif 000010
【図８−２】
2011128220.tif 000011
【図８−３】
2011128220.tif 000012
【図９−１】
2011128220.tif 000013
【図９−２】
2011128220.tif 000014
【図１０】
2011128220.tif 000015
【図１１】
2011128220.tif 000016
【図１２】
2011128220.tif 000017
【図１３】
2011128220.tif 000018
【図１４】
2011128220.tif 000019
【図１５】
2011128220.tif 000020
【図１６】
2011128220.tif 000021
【図１７】
2011128220.tif 000022
【図１８】
2011128220.tif 000023
【図１９】
2011128220.tif 000024
【図２０−１】
2011128220.tif 000025
【図２０−２】
2011128220.tif 000026
【手続補正書】
【提出日】平成22年11月26日(2010.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、
現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、
前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、
前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、
所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶する記憶手段と、
前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、
前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
を備えたことを特徴とする情報提示装置。
【請求項２】
前記視界範囲内において前記装着者により所定の操作が行われた操作位置を特定する操作位置特定手段と、
前記操作位置に前記配置手段により仮想的に配置された前記仮想オブジェクトが存在するか否かを判定する配置関係判定手段と、
前記判定手段により前記仮想オブジェクトが存在すると判定された場合、当該仮想オブジェクトに前記操作の内容に応じた処理を施す処理手段と、
を更に備えたことを特徴とする請求項１に記載の情報提示装置。
【請求項３】
前記処理手段は、前記仮想オブジェクトに対する操作により当該仮想オブジェクトの配置変更が行われた場合、前記操作位置特定手段により特定される配置変更後の操作位置をこの操作の対象となった仮想オブジェクトの新たな配置位置として前記記憶部に記憶することを特徴とする請求項２に記載の情報提示装置。
【請求項４】
前記視界範囲を撮像する撮像手段と、
前記撮像手段により撮影された撮影画像中に前記装着者の手を表す手画像が存在するか否かを判定する手画像判定手段と、
前記ヘッドマウントディスプレイから前記視界範囲内に存在する物体までの距離を測定する測距手段と、
を更に備え、
前記操作位置特定手段は、前記手画像判定手段により前記手画像の存在が確認された場合に、前記撮影画像中の手画像の位置及び前記測距手段により測定された距離に基づいて特定した前記現実空間での前記装着者の手の存在位置を、前記操作位置とすることを特徴とする請求項２又は３に記載の情報提示装置。
【請求項５】
前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置に、前記手画像を重畳する重畳手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
【請求項６】
前記配置関係判定手段により、前記操作位置が前記視点と前記仮想オブジェクトの配置位置との間に存在すると判定された場合に、前記左眼用画像及び前記右眼要画像中の前記操作位置に対応する位置から、前記手画像の形状の形状に相当する領域を除去する除去手段を更に備えたことを特徴とする請求項４に記載の情報提示装置。
【請求項７】
前記移動体から当該移動体を識別するための移動体識別情報を取得する移動体識別情報取得手段を更に備え、
前記記憶手段は、前記移動体識別情報と関連付けて前記仮想オブジェクトを記憶し、
前記配置手段は、前記移動体識別情報取得手段で取得された移動体識別情報に該当し且つ、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出すことを特徴とする請求項１〜６の何れか一項に記載の情報提示装置。
【請求項８】
前記記憶手段は、前記仮想オブジェクトの各々に配置角度を関連付けて記憶し、
前記配置手段は、配置対象となった前記仮想オブジェクトを当該仮想オブジェクトに関連付けられた配置角度で配置することを特徴とする請求項１〜７の何れか一項に記載の情報提示装置。
【請求項９】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、
視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、
視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、
移動体位置特定手段が、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定工程と、
相対座標系設定手段が、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定工程と、
視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定工程と、
配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置工程と、
画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、
表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、
を含むことを特徴とする情報提示方法。
【請求項１０】
装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、
現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、
前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、
前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、
前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、
前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、
所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、
前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、
前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、
して機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置であって、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶する記憶手段と、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、を備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示方法であって、視点位置特定手段が、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定工程と、視線方向特定手段が、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定工程と、移動体位置特定手段が、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定工程と、相対座標系設定手段が、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定工程と、視界範囲特定手段が、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定工程と、配置手段が、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置工程と、画像生成手段が、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成工程と、表示制御手段が、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御工程と、を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明は、装着者の両眼部分各々に表示ユニットが設けられた透過型のヘッドマウントディスプレイを用いて情報の提示を行う情報提示装置のコンピュータを、現実空間における前記ヘッドマウントディスプレイの存在位置と高さとから、前記装着者の視点位置を特定する視点位置特定手段と、前記ヘッドマウントディスプレイの傾きから前記装着者の視線方向を特定する視線方向特定手段と、前記装着者が乗車する移動体の前記現実空間における存在位置を特定する移動体位置特定手段と、前記ヘッドマウントディスプレイの存在位置と前記移動体の存在位置との相対的な位置関係を表した相対座標系を設定する相対座標系設定手段と、前記視点位置及び前記視線方向に基づいて、前記相対座標系における前記装着者の視界範囲を特定する視界範囲特定手段と、所定の対象を表した仮想オブジェクトと当該仮想オブジェクトの前記相対座標系での配置位置と関連付けて記憶した記憶手段から、前記相対座標系で表された前記視界範囲に包含される配置位置の仮想オブジェクトを前記記憶手段から読み出し、当該仮想オブジェクトに関連付けられた配置位置に基づいて、前記相対座標系内の該当する位置に仮想的に配置する配置手段と、前記装着者の左眼及び右眼に相当する各視点位置から見た、前記仮想オブジェクトの配置状態を表す左眼用画像及び右眼用画像を夫々生成する画像生成手段と、前記左眼用画像を前記装着者の左眼部分に設けられた表示ユニットに表示させるとともに、前記右眼用画像を前記装着者の右眼部分に設けられた表示ユニットに表示させる表示制御手段と、して機能させる。