(57)【要約】【課題】  観察者が携帯する装置に係る説明をより見やすくこの観察者に対して提示すること。【解決手段】  ＨＭＤ１１０を自身の頭部に装着している観察者１００の視点から見える仮想空間の映像を現実空間に重畳させてＨＭＤ１１０が有する表示部に提示するために、コントローラ１２０の世界座標系における位置姿勢を求め、コントローラ１２０の位置近傍、且つこの位置よりも視点の位置に近い位置にコントローラ１２０に係る説明が記載された仮想物体を配置した場合に、この仮想物体の画像を表示部上に表示させる。【選択図】  図１
2005165776.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理方法であって、
前記観察者が保持している指示具の位置姿勢を計測する装置から得られるデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算工程と、
前記指示具の位置近傍、且つ前記指示具の位置よりも前記視点の位置に近い位置に前記指示具に係る説明が記載された仮想物体を配置した場合に、当該仮想物体の画像を前記表示部上に表示させる表示制御工程と
を備えることを特徴とする画像処理方法。
【請求項２】
前記表示制御工程では、前記仮想物体の画像を前記表示部に所定のサイズでもって表示されるように前記仮想物体のサイズを適宜変更後、前記表示部に表示する前記仮想物体の画像を生成して、前記表示部に表示させることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記表示制御工程では、前記指示具の操作方法が記載された仮想物体の画像を表示することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理方法であって、
前記観察者が保持している指示具の位置姿勢を計測する装置から得られるデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算工程と、
前記重畳処理後に、前記表示部の表示画面上における前記指示具の表示位置近傍に前記指示具に係る説明が記載された画像を前記表示部上に表示させる表示制御工程と
を備えることを特徴とする画像処理方法。
【請求項５】
前記表示制御工程では、前記指示具の操作方法が記載された画像を表示することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記画像は、半透明の形態で表示されることを特徴とする請求項１乃至５の何れか１項に記載の画像処理方法。
【請求項７】
体験者が操作する操作装置からの指示に応じて更新される仮想空間映像と、現実空間映像とを重畳する情報処理方法であって、
現実空間を撮影することにより得られた現実空間映像を取得する現実空間映像取得工程と、
前記撮影された現実空間映像の視点位置および、または視線方向を検出結果を入力する第１の検出結果入力工程と、
前記視点位置および、または視線方向に応じて、仮想空間映像を生成する仮想空間映像生成工程と、
体験者が操作する操作装置の位置および、または方向の検出結果を入力する第二の検出結果入力工程と、
前記操作装置の位置および、または方向に応じて、操作を補助するための仮想画面を生成する仮想画面生成工程と、
前記操作装置を用いた体験者の指示を入力する指示入力工程と、
前記体験者の指示に応じて前記仮想空間映像を更新する手段と、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成工程と
を有することを特徴とする画像処理方法。
【請求項８】
操作を補助するための仮想画面の大部分が半透明もしくは透明になっている事を特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記仮想画面中のメニューの配置が、前記操作装置の操作部の配置と対応づいていることを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
コンピュータに請求項１乃至９の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項１２】
頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理装置であって、
前記観察者が保持している指示具の位置姿勢を計測する計測手段と、
前記計測手段により計測された位置姿勢を示すデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算手段と、
前記指示具の位置近傍、且つ前記指示具の位置よりも前記視点の位置に近い位置に前記指示具に係る説明が記載された仮想物体を配置した場合に、当該仮想物体の画像を前記表示部上に表示させる表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項１３】
頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理装置であって、
前記観察者が保持している指示具の位置姿勢を計測する計測手段と、
前記計測手段により計測された位置姿勢を示すデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算手段と、
前記重畳処理後に、前記表示部の表示画面上における前記指示具の表示位置近傍に前記指示具に係る説明が記載された画像を前記表示部上に表示させる表示制御手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間の映像を現実空間に重畳させて提示するための技術に関するものである。
【背景技術】
【０００２】
複合現実感装置とは、現実空間映像と、ユーザの視点位置、視線方向に応じて生成される仮想空間映像とを合成することにより得られる複合現実空間映像をユーザに提供するものである。複合現実感装置は、現実空間中に仮想物体が実在しているかのように観察者に提示することが可能であり、テーマパーク、アミューズメント施設、各種展示会、博覧会、博物館、水族館、植物園、動物園等への利用が期待されている。
【０００３】
例えば特許文献１では観察者の腕に装着した位置方向センサによって腕の位置方向を検出し、その位置方向の変化をインターフェース手段としている。
【０００４】
一方、テレビゲーム装置やバーチャルリアリティ装置などの仮想空間映像装置において、仮想空間とのインターフェースとして、従来ジョイスティックなどの専用コントローラーやマウス、キーボードなどが用いられてきた。複合現実感装置においてもこれらのデバイスを利用するこは可能である。
【特許文献１】特開２０００−３５３２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、一般にヘッドマウンドディスプレイを使用する複合現実感装置においては、ジェイスティックなどのデバイスを直接見ることができないため、操作が難しい。またメニューなどを表示するための表示領域も、通常の仮想空間映像装置に比べると限られている。また立体視を行っている場合には、仮想物体および現実物体と三次元的に重なる場所にメニューを配置してしまうと立体感に矛盾が生じて見えにくくなってしまう。
【０００６】
以上述べてきたように、立体視を難しくさせる事なく、三次元的な矛盾を生じさせず、また視界の妨げを最低限に抑え、分かりやすいメニュー表示を行うことや、それらの容易な操作を実現することが必要とされている。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、観察者が携帯する装置に係る説明をより見やすくこの観察者に対して提示する技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【０００９】
即ち、頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理方法であって、
前記観察者が保持している指示具の位置姿勢を計測する装置から得られるデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算工程と、
前記指示具の位置近傍、且つ前記指示具の位置よりも前記視点の位置に近い位置に前記指示具に係る説明が記載された仮想物体を配置した場合に、当該仮想物体の画像を前記表示部上に表示させる表示制御工程と
を備えることを特徴とする画像処理方法。
【００１０】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１１】
即ち、頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理方法であって、
前記観察者が保持している指示具の位置姿勢を計測する装置から得られるデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算工程と、
前記重畳処理後に、前記表示部の表示画面上における前記指示具の表示位置近傍に前記指示具に係る説明が記載された画像を前記表示部上に表示させる表示制御工程と
を備えることを特徴とする画像処理方法。
【００１２】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１３】
即ち、体験者が操作する操作装置からの指示に応じて更新される仮想空間映像と、現実空間映像とを重畳する情報処理方法であって、
現実空間を撮影することにより得られた現実空間映像を取得する現実空間映像取得工程と、
前記撮影された現実空間映像の視点位置および、または視線方向を検出結果を入力する第１の検出結果入力工程と、
前記視点位置および、または視線方向に応じて、仮想空間映像を生成する仮想空間映像生成工程と、
体験者が操作する操作装置の位置および、または方向の検出結果を入力する第二の検出結果入力工程と、
前記操作装置の位置および、または方向に応じて、操作を補助するための仮想画面を生成する仮想画面生成工程と、
前記操作装置を用いた体験者の指示を入力する指示入力工程と、
前記体験者の指示に応じて前記仮想空間映像を更新する手段と、
前記現実空間映像と前記仮想空間映像とを重畳して複合現実空間映像を生成する複合現実空間映像生成工程と
を有することを特徴とする。
【００１４】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１５】
即ち、頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理装置であって、
前記観察者が保持している指示具の位置姿勢を計測する計測手段と、
前記計測手段により計測された位置姿勢を示すデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算手段と、
前記指示具の位置近傍、且つ前記指示具の位置よりも前記視点の位置に近い位置に前記指示具に係る説明が記載された仮想物体を配置した場合に、当該仮想物体の画像を前記表示部上に表示させる表示制御手段と
を備えることを特徴とする。
【００１６】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１７】
即ち、頭部装着型表示装置を自身の頭部に装着している観察者の視点から見える仮想空間の映像を現実空間に重畳させて前記頭部装着型表示装置が有する表示部に提示するための画像処理装置であって、
前記観察者が保持している指示具の位置姿勢を計測する計測手段と、
前記計測手段により計測された位置姿勢を示すデータに基づいて、前記指示具の世界座標系における位置姿勢を求める位置姿勢計算手段と、
前記重畳処理後に、前記表示部の表示画面上における前記指示具の表示位置近傍に前記指示具に係る説明が記載された画像を前記表示部上に表示させる表示制御手段と
を備えることを特徴とする。
【発明の効果】
【００１８】
本発明の構成により、観察者が携帯する装置に係る説明をより見やすくこの観察者に対して提示することができる。
【発明を実施するための最良の形態】
【００１９】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２０】
［第１の実施形態］
本実施形態に係る画像処理装置は、仮想物体としての魚とコミュニケーションをとる疑似体験を行なうことのできる複合現実感装置である。この複合現実感装置は、複数の観察者に水族館における海底散歩や魚とコミュニケーションを行う疑似体験をさせるためのものである。
【００２１】
図１は本実施形態に係る複合現実感装置（展示装置）の外観図である。
【００２２】
各観察者（１００ａ、１００ｂ、１００ｃ、１００ｄ）は上記疑似体験を行なうために、複合現実空間映像を表示するＨＭＤ（ヘッドマウンテッドディスプレイ）（１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）を自身の頭部に装着して舞台装置内に立っている。なお、本装置では同時に体験可能な観察者を４人に制限しているが、これに限定されるものではない。
【００２３】
各観察者（１００ａ、１００ｂ、１００ｃ、１００ｄ）が自身の頭部に装着するＨＭＤ１１０（各観察者に共通であるので、特に説明しない限りは以下、ａ、ｂ、ｃ、ｄは付けない）は図２（ａ）、（ｂ）の外観図に示されるように、左右両眼用の２つのビデオカメラ１１１ａ、１１１ｂと、左右両眼用の２つの小型表示装置１１２ａ、１１２ｂと、位置姿勢センサ受信機１１３（各ＨＭＤに共通であるので、特に説明しない限りは以下、ａ、ｂ、ｃ、ｄは付けない）とで構成されている。
【００２４】
小型表示装置１１２ａ、１１２ｂは液晶ディスプレイと光学プリズムによって構成されている。ビデオカメラ１１１ａ、１１１ｂは夫々観察者の左目、右目の位置から、ＨＭＤ１００を装着した観察者の頭部の向きに応じた現実空間を撮像する。位置姿勢センサ受信機１１３は、後述する位置姿勢センサ発信機と本体との組み合わせにより、自身の位置姿勢を計測する。
【００２５】
小型表示装置１１２ａ、１１２ｂには夫々、ビデオカメラ１１１ａ、１１１ｂによって取得された現実空間映像と、位置姿勢センサ受信器１１３による計測値に基づいて生成される「観察者の左目、右目から見える仮想空間の映像」とを合成した複合現実空間映像が表示される。なお、複合現実空間映像は観察者が高い品質の疑似体験を行なうことができるようにするため、立体映像として提供されるのが望ましい。
【００２６】
再び図１の説明に戻る。１３０ａ、１３０ｂは夫々位置姿勢センサ発信機、１３１ａ、１３１ｂは位置姿勢センサ本体である。位置姿勢センサ受信機１１３ａ、１１３ｂ、位置姿勢センサ発信機１３０ａは位置姿勢センサ本体１３１ａに接続されており、位置姿勢センサ受信機１１３ｃ、１１３ｄ、位置姿勢センサ発信機１３０ｂは位置姿勢センサ本体１３１ｂに接続されている。
【００２７】
位置姿勢センサ発信機１３０ａ、１３０ｂからは磁気が発信されており、位置姿勢センサ受信機１１３ａ、１１３ｂは位置姿勢センサ発信機１３０ａから発信されている磁気を検知し、位置姿勢センサ受信機１１３ｃ、１１３ｄは位置姿勢センサ発信機１３０ｂから発信されている磁気を検知する。
【００２８】
そして位置姿勢センサ本体１３１ａは位置姿勢センサ受信機１１３ａ、１１３ｂから入力される磁気受信強度を示す信号を受け、夫々の受信機の位置姿勢を算出する。ここで算出される位置姿勢は、位置姿勢センサ本体１３１ａの位置を原点とし、互いに直交する３軸を夫々ｘ、ｙ、ｚ軸とする座標系（センサ座標系）における位置姿勢である。
【００２９】
また位置姿勢センサ本体１３１ｂは位置姿勢センサ受信機１１３ｃ、１１３ｄから入力される磁気受信強度を示す信号を受け、夫々の受信機の位置、姿勢を算出する。ここで算出される位置姿勢は、位置姿勢センサ本体１３１ｂの位置を原点とし、互いに直交する３軸を夫々ｘ、ｙ、ｚ軸とする座標系（センサ座標系）における位置姿勢である。
【００３０】
位置姿勢センサ本体１３１ａ、１３１ｂにより求められた夫々の受信機の位置姿勢を示すデータは、後述するコンピュータ１５１に送信される。
【００３１】
尚、本実施形態では、１つの位置姿勢センサ発信機、位置姿勢センサ本体でもって最大二人の観察者の位置姿勢を計測しているが、これに限定されるものではなく、１つの位置姿勢センサ発信機、位置姿勢センサ本体でもって４人全ての位置姿勢を計測するようにしても良い。即ち、夫々の位置姿勢センサ受信機は１つの位置姿勢センサ発信機から発せられる磁気を受け、夫々の位置姿勢センサ受信機は１つの位置姿勢センサ本体に磁気受信強度信号を出力し、位置姿勢センサ本体は夫々の位置姿勢センサ受信機の位置姿勢を算出する。
【００３２】
このように、位置姿勢センサ本体、位置姿勢センサ発信機の数や、どの位置姿勢センサ発信機、位置姿勢センサ本体でもってどの位置姿勢センサ受信機の位置姿勢を計測するかの割り当ては特に限定するものではないが、いずれにせよ、位置姿勢センサ本体により求められた夫々の受信機の位置姿勢を示すデータは、夫々がどの受信機の位置姿勢を示すものであるかが識別可能なように、コンピュータ１５１に送信される。
【００３３】
また、各観察者（１００ａ、１００ｂ、１００ｃ、１００ｄ）は手にコントローラ１２０（以下の説明は各コントローラに共通であるので、特に説明しない限りは以下、ａ、ｂ、ｃ、ｄは付けない）を持っており、このコントローラ１２０を用いて観察者は複合現実空間とのインタラクションをはかることができる。図９はこのコントローラ１２０の外観例を示す図である。
【００３４】
同図に示すように、コントローラ１２０は、引き金型のトリガ１２１、十字ボタン１２２、位置姿勢センサ受信機１２３によって構成されている。位置姿勢センサ受信機１２３は位置姿勢センサ本体１３１に接続されている。図１に示す構成では、コントローラ１２０ａ、１２０ｂに備わっている位置姿勢センサ発信機は位置姿勢センサ本体１３１ａに接続されており、コントローラ１２０ｃ、１２０ｄに備わっている位置姿勢センサ発信機は位置姿勢センサ本体１３１ｂに接続されている。そして位置姿勢センサ受信機１２３は、ＨＭＤ１１０に搭載の位置姿勢センサ発信機と同様、磁気受信強度を示す信号を位置姿勢センサ本体１３１に出力する。
【００３５】
位置姿勢センサ本体１３１は位置姿勢センサ受信機１２３から入力される磁気受信強度を示す信号を受け、位置姿勢センサ受信機１２３の位置、姿勢を算出する。ここで算出される位置姿勢は、位置姿勢センサ本体１３１の位置を原点とし、互いに直交する３軸を夫々ｘ、ｙ、ｚ軸とする座標系（センサ座標系）における位置姿勢である。
【００３６】
位置姿勢センサ本体１３１により求められた位置姿勢センサ受信機１２３の位置姿勢を示すデータは、後述するコンピュータ１５１に送信される。
【００３７】
本実施形態では位置姿勢センサは米国Polhemus社製FASTRAKや米国Ascension Technology社製Flock of Birdsなどを利用することが可能であるが、これに限定されるものではなく他の市販されている超音波式、光学式位置姿勢センサも利用可能である。
【００３８】
１４１ａ、１４１ｂ、１４１ｃ、１４１ｄは夫々、観察者１００ａ、１００ｂ、１００ｃ、１００ｄに提供する複合現実空間の映像を生成する処理を行うコンピュータである。図５は、このコンピュータを含む本実施形態に係る映像装置の基本構成を示すブロック図である。
【００３９】
本実施形態に係る映像装置は、コンピュータ１４１（各コンピュータは同じ構成であるとするので、特に説明しない限りは、ａ、ｂ、ｃ、ｄは省略する）、ＨＭＤ１１０、コントローラ１２０により構成されている。
【００４０】
映像装置は観察者に対して提示すべき複合現実空間映像を生成し、観察者に提示する為のものであるので、一人の観察者に一台必要となる。従って、観察者の数に応じて、この映像装置を設けるようにすればよい。
【００４１】
引き金型のトリガ１２１、十字ボタン１２２は、コンピュータ１４１のコントローラ入力ポート１２８に接続されており、引き金型のトリガ１２１、十字ボタン１２２を用いて入力した各種の指示信号は、このコントローラ入力ポート１２８を介してＣＰＵ１４６に通知される。
【００４２】
コンピュータ１４１は、右目用ビデオキャプチャボード１４２ｂ、右目用ビデオキャプチャボード１４２ａ、ＣＧ描画支援機能を有する右目用グラフィックボード１４４ｂ、左目用グラフィックボード１４４ａ、ネットワークインターフェース１４９、ＨＤＤ（ハードディスクドライブ）１４５、ＣＰＵ１４６、メモリ１４７により構成されている。
【００４３】
右目用キャプチャーボード１４２ｂは、右目用ビデオカメラ１１１ｂにより撮像された、観察者の右目に対応する現実空間の映像を信号として受け、これをデータとして後段のメモリ１４７に出力する。左目用キャプチャーボード１４２ａは、左目用ビデオカメラ１１１ａにより撮像された、観察者の左目に対応する現実空間の映像を信号として受け、これをデータとして後段のメモリ１４７に出力する。
【００４４】
また、右目用グラフィックボード１４４ｂは、観察者の右目から見える仮想空間の映像を生成し、これを右目用キャプチャーボード１４２ｂを介してメモリ１４７に入力された右目用の現実空間映像上に重畳することで複合現実空間映像を生成し、右目用表示装置１１２ｂに出力する。一方、左目用グラフィックボード１４４ａは、観察者の左目から見える仮想空間の映像を生成し、これを左目用キャプチャーボード１４２ａを介してメモリ１４７に入力された左目用の現実空間映像上に重畳することで複合現実空間映像を生成し、左目用表示装置１１２ａに出力する。
【００４５】
これにより、右目用表示装置１１２ｂ、左目用表示装置１１２ａが夫々、観察者の右目、左目の眼前に位置するようにＨＭＤ１１０を自身の頭部に装着した観察者に、自身の左右の目の位置姿勢に応じた複合現実空間映像を提示することができる。
【００４６】
ＨＤＤ１４５は、ＯＳ（オペレーティングシステム）や、コンピュータ１４１が行うものとして後述する処理をＣＰＵ１４６に実行させるためのプログラムやデータ等を保存するものであり、これらは必要に応じてメモリ１４７に読み出されるものである。
【００４７】
ＣＰＵ１４６は、コンピュータ１４１全体の制御を行うと共に、コンピュータ１４１が行うものとして後述する処理を実行する。
【００４８】
メモリ１４７は、ＨＤＤ１４５からロードされたプログラムやデータを一時的に記憶するためのエリアや、右目用キャプチャーボード１４２ｂ、左目用キャプチャーボード１４２ａから入力された現実空間映像を一時的に記憶するためのエリア、ＣＰＵ１４６が各種の処理を行うために用いるエリアを備える。即ち、処理中のデータの一時記憶や、外部とのデータ送受信のためのデータの一時記憶のためのエリアを備える。
【００４９】
ネットワークインターフェース１４９はネットワーク１６０に接続されており、このネットワークインターフェース１４９、ネットワーク１６０を介して、後述するコンピュータ１５１や他のコンピュータ（自身が１４１ａである場合にはコンピュータ１４１ｂ、１４１ｃ、１４１ｄ）とのデータ送受信を行うことができる。このネットワークインターフェース１４９には例えばイーサネット（Ｒ）が適用可能である。
【００５０】
ここで、コンピュータ１４１が複合現実空間映像を生成し、これをＨＭＤ１１０を介して観察者に提供するために、メモリ１４７にはＨＤＤ１４５からＣＰＵ１４６の実行対象となる複合現実映像生成プログラムがロードされている。
【００５１】
複合現実映像生成プログラムは、後述するコンピュータ１５１から通知される複合現実空間情報に基づいて観察者の右目、左目から見える仮想空間の映像を生成し、夫々をビデオカメラ１１１ｂ、１１１ａから右目用キャプチャーボード１４２ｂ、左目用キャプチャーボード１４２ａを介して入力した現実空間の映像上に合成することで、右目用、左目用の複合現実空間映像を生成し、そして生成した右目用、左目用の複合現実空間映像を夫々、右目用グラフィックボード１４４ｂ、左目用グラフィックボード１４４ａを介して右目用表示装置１１２ｂ、左目用表示装置１１２ａに出力する処理をＣＰＵ１４６に実行させるためのものである。
【００５２】
以上の処理をＣＰＵ１４６に実行させることで、ＨＭＤ１１０を頭部に装着した観察者には、現実物体である海底を模した舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【００５３】
図６は、コンピュータ１５１を含む本実施形態に係る映像装置の基本構成、及び周辺機器との関係を示すブロック図である。コンピュータ１５１は、位置姿勢センサ本体から出力される各位置姿勢センサ受信機の位置姿勢を示すデータの取得、複合現実空間管理、複合現実空間情報の通知、固定された視点における複合現実空間映像の生成、環境音楽再生、効果音再生等の処理を行うためのものである。
【００５４】
コンピュータ１５１は、キャプチャボード１５２、グラフィックボード１５３、シリアルインターフェース１５４、サウンドボード１５５、ＨＤＤ１５６、ＣＰＵ１５７、メモリ１５８ネットワークインターフェース１５９により構成されている。
【００５５】
キャプチャボード１５２には客観視点ビデオカメラ１８４が接続されている。客観視点ビデオカメラ１８４は、現実空間中の１点に固定（もしくはその位置姿勢は適宜変更可能）されたものであり、この１点における位置姿勢に応じて見える現実空間の映像を撮像するものである。撮像された現実空間の映像はキャプチャボード１５２を介してメモリ１５８に出力される。なお、客観視点ビデオカメラ１８４の位置姿勢は固定されていようと、適宜変更されようと、常にメモリ１５８にその位置姿勢を示すデータが記憶されているものとする。
【００５６】
グラフィックボード１５３には表示装置１８０が接続されている。表示装置１８０は、頭部にＨＭＤを装着していない観察者（図１を例に取ると、観察者１００ａ、１００ｂ、１００ｃ、１００ｄ以外の観察者）に対して、客観視点ビデオカメラ１８４の位置姿勢に応じて見える複合現実空間の映像を提供するものである。よってグラフィックボード１５３は、コンピュータ１４１におけるグラフィックボード１４４ｂ、１４４ａと同様の処理を行い、客観視点ビデオカメラ１８４の位置姿勢に応じて見える現実空間の映像と仮想空間の映像との合成画像を生成して表示装置１８０に出力するものである。
【００５７】
シリアルインターフェース１５４には位置姿勢センサ本体１３１ａ、１３１ｂ（同図ではａ、ｂは省略している）が接続されており、位置姿勢センサ本体１３１から出力される、各位置姿勢センサ受信機のセンサ座標系における位置姿勢を示すデータを受け、これをメモリ１５８に出力する。
【００５８】
サウンドボード１５５にはスピーカ１８２が接続されており、後述するサウンドデータに基づいたサウンド信号を生成し、これをＤ／Ａ変換してスピーカ１８２に出力するものである。
【００５９】
ＨＤＤ１５６にはＯＳや、コンピュータ１５１が行うものとして後述する処理をＣＰＵ１５７に実行させるためのプログラムやデータ等を保存するものであり、これらは必要に応じてメモリ１５８に読み出されるものである。
【００６０】
ＣＰＵ１５７は、コンピュータ１５１全体の制御を行うと共に、コンピュータ１５１が行うものとして後述する処理を実行する。
【００６１】
メモリ１５８は、ＨＤＤ１５６からロードされたプログラムやデータを一時的に記憶するためのエリアや、キャプチャボード１５２から入力された現実空間映像を一時的に記憶するためのエリア、ＣＰＵ１５７が各種の処理を行うために用いるエリアを備える。即ち、処理中のデータの一時記憶や、外部とのデータ送受信のためのデータの一時記憶のためのエリアを備える。
【００６２】
ネットワークインターフェース１５９はネットワーク１６０に接続されており、このネットワークインターフェース１５９、ネットワーク１６０を介して、上述のコンピュータ１４１（１４１ａ、１４１ｂ、１４１ｃ、１４１ｄ）とのデータ送受信を行うことができる。このネットワークインターフェース１４９には例えばイーサネット（Ｒ）が適用可能である。
【００６３】
ここで、メモリ１５８にはＨＤＤ１５６からＣＰＵ１５７の実行対象となるプログラムがロードされている。即ち、固定された視点における複合現実空間映像を生成するための複合現実映像生成プログラム、各位置姿勢センサ受信機の位置姿勢取得、複合現実空間管理、複合現実空間情報の通知を行なうための複合現実空間管理プログラム、環境音楽再生、効果音再生のためのサウンドプログラムである。
【００６４】
複合現実映像生成プログラムは、コンピュータ１５１が保持する客観視点ビデオカメラ１８４の位置姿勢に応じて見える、後述の複合現実空間情報に応じた仮想空間の映像を生成し、客観視点ビデオカメラ１８４からキャプチャボード１５２を介して入力した現実空間の映像上に合成することで複合現実空間映像を生成し、生成した複合現実空間映像をグラフィックボード１５３を介して表示装置１８０に出力する処理をＣＰＵ１５６に実行させるためのものである。
【００６５】
以上の処理をＣＰＵ１５７に実行させることで、ＨＭＤを頭部に装着していない観察者に対して、客観視点ビデオカメラ１８４の位置姿勢から見える舞台装置内に、仮想物体である水生生物があたかも現実物体として舞台装置内を浮遊しているように見えるようになる。
【００６６】
複合現実空間管理プログラムは、以下の（１）〜（４）に示す各処理をＣＰＵ１５７に実行させるためのものである。
【００６７】
（１）  予め設定されたシナリオに沿って仮想空間内で設定されている時間を進め、仮想空間中の任意の物体の位置姿勢および状態を更新する。
【００６８】
（２）  位置方位センサ本体１３１から、位置姿勢センサ受信機１１３、１２３の位置姿勢を取得し、これに基づいて周知の技術により観察者の右目、左目の世界座標系における位置姿勢（第１の位置姿勢）、世界座標系におけるコントローラ１２０の位置姿勢（第２の位置姿勢）を求める。これは、世界座標系における位置姿勢センサ本体１３１の位置が既知であれば、センサ座標系における位置姿勢を世界座標系における位置姿勢に変換することは可能である。なお、位置姿勢センサ本体１３１の世界座標系における位置は、データとしてメモリ１５８にロードされているものとする。
【００６９】
（３）  （２）で求めた第１の位置姿勢と第２の位置姿勢との関係に基づいて、観察者同士の視線関係の処理や複合現実空間状態の更新処理等を実行する。
【００７０】
（４）  そして、上記処理によって得られた、複合現実空間に関する情報（複合現実空間情報）のうち一部を、ネットワーク１６０を介して各コンピュータ１４１に出力する。厳密には、コンピュータ１４１上で実行されている複合現実映像生成プログラムに通知する。
【００７１】
なお本実施形態では、位置姿勢センサ本体１３１から得られる位置姿勢データが、ＨＭＤ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄのどのＨＭＤの位置姿勢を示すデータであるかは周知の技術により識別しているものとする。例えば、位置姿勢センサ本体１３１はコンピュータ１５１に送信する各位置姿勢データに、各ＨＭＤに固有のＩＤを付加して送信するものとする。
【００７２】
このように、複数のコンピュータから送信されてくる情報を処理し、処理後の情報を送信元のコンピュータに夫々送信する技術については周知のものであるので、この技術に関する説明は省略する。
【００７３】
また、複合現実空間情報のうち一部は、自身が実行している複合現実映像生成プログラム、及びサウンドプログラムに通知する。サウンドプログラムは、複合現実空間管理プログラムから通知される複合現実空間情報に応じたサウンドデータ（ＨＤＤ１５６からメモリ１５８に予め読み出されているものとする）に基づいて音（音楽や効果音）を再生する。再生された音楽や効果音は舞台装置内の観察者全員が認識できる適当な大きさの音量でスピーカー１８２より出力される。
【００７４】
なお、この処理は実際には、ＣＰＵ１５７がサウンドプログラムを実行することにより成されるものである。
【００７５】
効果音は複合現実空間中でのイベント（例えば仮想物体同士、あるいは現実物体と仮想物体の衝突）、やユーザーインターフェースのために複合現実空間状態変化を観察者に知らせるために用いられる。
【００７６】
図３は観察者がいない場合の舞台装置の外観例を示す図である。図４は観察者が居る場合の舞台装置の外観例を示す図である。
【００７７】
舞台装置では大道具と照明、床によって海底の状況が表現されている。大道具１０２、１０３ａ、１０３ｂは岩礁を模した造形物である。大道具１０４ａ、１０４ｂは海底に沈んだ遺跡を想像させる石柱の造形物である。大道具１０６は海底における遠景を描いた壁もしくは衝立状の大道具で、舞台装置の大きさを超えて海底がどこまでも続いているかのごとく感じさせるために海中の環境色で塗装されている。大道具１０８は海底を模した床である。１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは観察者がＨＭＤ１１０を着脱するときに立つ観察者初期位置の取りうる領域、１０５ａ、１０５ｂ、１０５ｃ、１０５ｄは観察者初期方向を示す矢印である。図３では説明のため図示してあるが、実際の舞台装置にはこの領域を示す線や色分けがあるわけではない。
【００７８】
観察者は疑似体験を行なうとき、まず舞台装置内に進入し、観察者初期位置領域１０１（各領域１０１ａ、１０１ｂ、１０１ｃ、１０１ｄについて以下の説明は共通であるので、特に断らない限りは、以下、ａ、ｂ、ｃ、ｄは省略する。）内の所望の位置に立ち、ＨＭＤ１１０を自身の頭部に装着し、コントローラ１２０を手に保持する。
【００７９】
ここでＨＭＤ１１０およびコントローラ１２０はそれぞれの観察者初期位置領域１０１の側にある大道具（１０３ａもしくは１０３ｂ）の上部の窪みに置かれている。大道具１０３はＨＭＤ置き台を兼用した造型物となっている。観察者１００はＨＭＤ置き台１０３からＨＭＤ１１０を取り出して自身の頭部に装着完了後、観察者初期位置領域１０１を含む近傍を動き回り、任意の方向を向いたり任意の姿勢をとったりすることが可能である。この領域の範囲はＨＭＤ１１０の配線の長さと位置姿勢センサ１３１の測定可能範囲に依存する。
【００８０】
疑似体験を終了したくなったら観察者は観察者初期位置領域１０１内に戻り、ＨＭＤ１１０を外してＨＭＤ置き台１０３の上部において舞台装置から退出する。舞台装置からの入退出は図３の手前側から行なう。手前側は本展示装置の設置場所に依存するが、大抵の場合は通路もしくはある程度人の溜まることの可能な空間とつながっている。後者の場合は疑似体験の順番待ちをする列を作ったり、ディスプレイ１８０で表示されるビデオカメラ１８４の視点での複合現実空間映像を楽しむ人のとどまる場所を作ったりすることが可能である。これは多くの来客に展示施設を楽しんでもらう観点から望ましい形態である。
【００８１】
観察者初期位置領域１０１は観察者１００がＨＭＤ１１０を着脱する領域であり、観察者初期方向１０５は観察者１００が疑似体験開始の推奨視線方向である。舞台装置内には様々な造型物が設置されているため、馴染みの無いＨＭＤという有線装置を付けて、大胆に動き回る人は少ない。従って大抵は疑似体験中に観察者初期位置領域１０１内で観察者初期方向１０５を向いて複合現実空間映像を観察することが最も頻度が高くなると期待できる。
【００８２】
従って、この観察者初期位置領域１０１内での任意の位置姿勢に応じた複合現実空間映像の質が高くなるように配慮して舞台装置を組むようにしている。例えば、現実空間映像には待ち行列や展示施設を傍観している来客者が見えないように観察者初期位置領域１０１、背景用壁１０６の位置を調整したり、複数の岩礁１０３が観察者１００から異なる距離をもって視界に入るようにして奥行きや立体感を強く感じるようにしたり、他の観察者１００が視界に入るようにして、自分の疑似体験を他者と共有していることを意識させたり、他の観察者と自分との間を広く空間を作ってその空間に仮想空間物体である水生生物を表示させることで奥行きを感じさせたり、背景用壁はＨＭＤ１１０で表示されたときに空間が広がっているかのように感じさせる色を選択したり、などである。
【００８３】
観察者は以上説明してきた舞台装置内で複合現実空間映像を鑑賞することで質の高い疑似体験を行なうことができる。
【００８４】
次に、コンピュータ１４１、１５１の夫々が行う処理について説明する。
【００８５】
図７は、コンピュータ１４１、１５１にインストールされている複合現実映像生成プログラムを夫々のコンピュータのＣＰＵが実行することで行う処理のフローチャートである。
【００８６】
なお、複合現実映像生成プログラムは並列プログラミングでもって一般的なスレッド技術を用いて作成されており、本プログラムの実行と並行して複合現実空間状態受信スレッド（ステップＳ７１０）と映像キャプチャスレッド（ステップＳ７２０）が動作している。
【００８７】
ステップＳ７１０における複合現実空間状態受信スレッドは、コンピュータ１４１にインストールされているものと、コンピュータ１５１にインストールされているものとでは若干動作が異なる。
【００８８】
コンピュータ１４１にインストールされている複合現実空間状態受信スレッドは、コンピュータ１５１上で動作している複合現実空間管理プログラムからネットワーク１６０を介して通知される複合現実空間状態（観察者の右目、左目の位置姿勢、コントローラの位置姿勢、仮想空間中の各仮想物体の位置姿勢、及び状態）を示す情報（複合現実空間情報）を受信して、コンピュータ１４１上で動作している複合現実映像生成プログラムに通知する。
【００８９】
コンピュータ１５１にインストールされている複合現実空間状態受信スレッドは、コンピュータ１５１上で動作している複合現実空間管理プログラムから通知される複合現実空間状態（ビデオカメラ１８４の位置姿勢、仮想空間中の各仮想物体の位置姿勢、及び状態）を受け、コンピュータ１５１上で動作している複合現実映像生成プログラムに通知する。
【００９０】
一方、ステップＳ７２０における映像キャプチャスレッドについても、コンピュータ１４１にインストールされているものと、コンピュータ１５１にインストールされているものとでは若干動作が異なる。
【００９１】
コンピュータ１４１にインストールされている映像キャプチャスレッドは、ＨＭＤ１１０からキャプチャーボード１４２を介して受信した現実空間映像を、コンピュータ１４１上で動作している複合現実映像生成プログラムに通知する。
【００９２】
コンピュータ１５１にインストールされている映像キャプチャスレッドは、ビデオカメラ１８４からキャプチャーボード１５２を介して受信した現実空間映像を、コンピュータ１５１上で動作している複合現実映像生成プログラムに通知する。
【００９３】
ステップＳ７０１では、複合現実空間状態受信スレッドより得られた複合現実空間状態に基づいて、仮想空間の状態を更新し、ステップＳ７０２では、更新した状態に応じた仮想空間映像を生成する。ここで仮想空間の映像とは、例えばＣＧ等で描画される水生生物の映像や、後述するコマンド表示パネルの映像を含むものであって、視点（観察者の右目、左目、もしくはビデオカメラ１８４）の位置姿勢に応じて見える仮想空間の映像である。生成した仮想空間映像はコンピュータ内のメモリ１４７，１５８に一時的に記憶させる。
【００９４】
ステップＳ７０３では、映像キャプチャスレッドから得られる現実空間映像のデータに基づいてメモリ１４７，１５８上に映像を描画し、ステップＳ７０４では、ステップＳ７０３で描画した映像上に、ステップＳ７０２で生成した仮想空間映像を重畳させることで複合現実空間映像を生成し、これを出力する。出力先は、表示装置１８０（コンピュータ１５１で実行されている場合）、もしくはＨＭＤ１１０の表示装置１１２（コンピュータ１４１で実行されている場合）である。
【００９５】
以上の処理を、何らかの終了指示がコンピュータ１４１もしくはコンピュータ１５１から入力されるまで行う。尚、以上説明した、所望の視点の位置姿勢に応じて見える複合現実空間の映像生成に係る一連の処理は周知の技術でもって行われるものである。しかし、詳しくは後述するが、本実施形態では、単に所望の視点の位置姿勢に応じて見える複合現実空間の映像を生成するのではなく、コントローラ１２０に係るコマンドを表示するパネルの映像を仮想空間映像に含めるところが従来とは異なる。このパネルの映像の生成については後述する。
【００９６】
図８は、コンピュータ１５１にインストールされている複合現実空間管理プログラムをＣＰＵ１５７が実行することで行う処理のフローチャートである。
【００９７】
なお、複合現実空間管理プログラムは並列プログラミングでもって一般的なスレッド技術を用いて作成されており、本プログラムの実行と並行して位置姿勢取得スレッド（ステップＳ８４０）が動作している。
【００９８】
ステップＳ８４０における位置姿勢取得スレッドは、位置姿勢センサ本体１３１と常時通信しており、観察者の右目、左目のセンサ座標系における位置姿勢を示すデータ、コントローラ１２０のセンサ座標系における位置姿勢を示すデータを取得している。
【００９９】
ステップＳ８００では、位置姿勢取得スレッドから得られるデータを受け、周知の技術により、各観察者の世界座標系における右目、左目の位置姿勢、世界座標系におけるコントローラ１２０の位置姿勢を求め、前回求めた位置姿勢のデータを今回求めた位置姿勢のデータに更新する。これによりメモリ１５８には常に最新の各観察者の右目、左目の世界座標系における位置姿勢を示すデータ、各観察者が保持するコントローラの世界座標系における位置姿勢を示すデータが保持されていることになる。
【０１００】
なお、位置姿勢取得スレッドにより得られる位置姿勢のデータが、世界座標系における位置姿勢を示すものである場合には、本ステップでは単に、前回位置姿勢取得スレッドから得て保持している位置姿勢データを、今回位置姿勢取得スレッドより得られたデータに更新する処理を行う。
【０１０１】
次にステップＳ８０２で、仮想空間内に設定した時間を更新し、ステップＳ８０３では、更新した時間に応じた仮想空間の状態に更新する。例えば更新後の時間に、予め設定したイベントを行うと設定した場合には、このイベントを発生させる。また、イベントの発生が無くても、例えば仮想空間内の各仮想物体の位置や姿勢の更新、後述するコマンド表示パネルの表示位置や表示サイズ等の更新処理を行う。
【０１０２】
そしてステップＳ８０８では、上記処理により求めた「観察者の右目、左目の世界座標系における位置姿勢を示すデータ」、「コントローラの世界座標系における位置姿勢を示すデータ」、「更新後の仮想空間の状態」を複合現実空間情報として、全ての複合現実映像生成プログラム、及びサウンドプログラムに通知する。
【０１０３】
以上の処理を、何らかの終了指示がコンピュータ１５１から入力されるまで行う。
【０１０４】
図１０は、以上の複合現実空間管理プログラム、複合現実映像生成プログラムを実行することで得られる、複合現実空間映像の一例を示す図である。同図は、ビデオカメラ１８４，もしくは観察者の右目（もしくは左目）の位置姿勢に応じて見える複合現実空間映像であって、魚の仮想物体の映像２００ａ〜２００ｆ、現実物体の大道具１０２が、表示装置１８０やＨＭＤ１１０の表示装置１１２を介してみることができる。
【０１０５】
次にサウンド再生のためのプログラムについて説明する。図１２はコンピュータ１５１にインストールされているサウンドプログラムをＣＰＵ１５７が実行することで行う処理のフローチャートである。
【０１０６】
なお、サウンドプログラムは並列プログラミングでもって一般的なスレッド技術を用いて作成されており、本プログラムの実行と並行して複合現実空間状態受信スレッド（ステップＳ１６１０）が動作している。
【０１０７】
ステップＳ１６１０における複合現実空間状態受信スレッドは、上記ステップＳ７１０におけるものと同じものである。即ち、コンピュータ１５１上で動作している複合現実空間管理プログラムから通知される複合現実空間状態（ビデオカメラ１８４の位置姿勢、仮想空間中の各仮想物体の位置姿勢、及び状態）を受け、コンピュータ１５１上で動作しているサウンドプログラムに通知するものである。
【０１０８】
ステップＳ１６０１では、複合現実空間状態受信スレッドから得られる情報を参照し、複合現実空間の状態に応じたサウンドデータに基づいた信号をサウンドボード１５５でもって生成し、スピーカ１８４にその信号を出力させることで、効果音などの音を再生する処理を行う。この効果音としては、例えば、仮想空間中の仮想物体が動き回る音や、イベントが生じた場合に、そのイベントに応じたサウンドデータに従った音である。これらの音を再生する場合には、これら各イベント、動作に応じたサウンドデータがメモリ１５８に読み出されている。このほかにも、ＢＧＭ（バックグラウンドミュージック）等を再生しても良いし、再生すべき音はこれに限定するものではない、
以上の処理を、何らかの終了指示がコンピュータ１５１から入力されるまで行う。
【０１０９】
なお、サウンドの再生は、あくまで観察者に複合現実空間への没入間を高めるためのものであるので、必須の処理ではない。
【０１１０】
次に、コマンド表示パネルの表示について説明する。図１１はＨＭＤ１１０の表示装置１１２におけるコマンド表示パネルの表示例を示す図である。１１００はＨＭＤの表示装置１１２の表示画面を示す。即ち、表示画面１１００内に複合現実空間の映像が表示される。
【０１１１】
９００はコマンド表示パネルのフレーム部分の映像であって、このフレームの内部に、十時ボタン１２２の各方向のボタン毎の機能がボタン画像９０１〜９０４として表示されている。即ち、十時ボタン１２２の１２時位置のボタンを押下すると「ＨＩＴ」の機能、３時位置のボタンを押下すると「ＲＩＧＨＴ」の機能、６時位置のボタンを押下すると「ＳＨＯＣＫ」の機能、９時位置のボタンを押下すると「ＬＥＦＴ」の機能が実行されることを示している。同図では、１２時位置のボタンが押下されて（「ＨＩＴ」が選択されて）、ボタン画像９０１の色が反転した状態である。この状態で、例えば十字キー１１２の９時位置のボタンを押下するとボタン画像９０３の色が反転し、「ＬＥＦＴ」が選択されている状態の表示に移行する。
【０１１２】
即ちコマンド表示パネル９００は、十時ボタン１２２の操作に係る説明ウィンドの映像である。
【０１１３】
この映像の表示位置は、表示画面１１００内のコントローラ１２０の位置の移動に応じて移動する。この表示位置の決定処理について説明する。
【０１１４】
先ず、コントローラ１２０の世界座標系における位置に対して、常に相対的に同じ位置となる位置を予め決めておく。例えばコントローラ１２０の先端部分から後方５ｃｍ、上方５ｃｍ（バイアス）の位置とする。この位置は、コントローラ１２０の世界座標系における位置姿勢は複合現実空間管理プログラムにより得られるので、得られた位置にバイアスを加算する事で得られる。
【０１１５】
これにより求めた位置とは、コマンド表示パネル９００を３次元仮想物体として仮想空間中に配置した場合に、観察者の視点からコマンド表示パネル９００の面が見えるように、コントローラ１２０の位置近傍に配置する場合の配置位置である。また、このバイアスは、コントローラ１２０の世界座標系における位置の近傍で、且つこの位置よりも観察者の視点に近い位置とするのか好ましい。これにより、常にコントローラ１２０よりも手前（より観察者の視点位置に近い位置）にコマンド表示パネル９００を配置することになる。
【０１１６】
そして求めた位置を表示画面１１００（実際には、３次元仮想空間における物体を表示装置の表示面に表示するために予め設けられた投影面）に投影した位置を求め、この投影した位置に、コマンド表示パネル９００の画像を表示する。
【０１１７】
これにより、表示画面１１００にコントローラ１２０が見えていれば、このコントローラ１２０と共に、その操作に係る説明の画面（コマンド表示パネル９００）を表示させることができる。またこれにより、表示画面１１００内でのコントローラ１２０の映像の移動に応じてこのコマンド表示パネル９００の表示位置も移動することになるので、観察者はコントローラ１２０と共にコマンド表示パネル９００をも見ることができ、コントローラ１２０を見ながら、説明をも見ることができる。
【０１１８】
また、当然、ＨＭＤ１１０の表示装置１１２にコントローラ１２０が見えていない場合には、コマンド表示パネル９００は表示装置１１２には表示されない。
【０１１９】
尚、このコマンド表示パネル９００の映像を半透明の形態で表示すれば、このコマンド表示パネル９００の表示によりコントローラ１２０やその他の仮想物体の映像が完全に見えないということはない。半透明に画像を表示する技術については、周知の技術であるので簡単に説明するが、画像を構成する各画素にα値を設定し、このα値を制御すればよい。また、透明度の制御以外にも再度の制御を行うことにより、同様の効果が得られる。
【０１２０】
又上述の通り、常にコントローラ１２０よりも手前（より観察者の視点位置に近い位置）にコマンド表示パネル９００を配置するので、コントローラ１２０によってコマンド表示パネル９００の表示が隠れたり、奥にあるコマンド表示パネル９００を銃の表示に重畳したりして、コマンド表示パネル９００とコントローラ１２０との前後関係が３次元空間的に破綻したりする事は起きない。
【０１２１】
また常にコントローラ１２０の近傍にコマンド表示パネル９００が表示されるため、ステレオ立体視を行う際の視差に関して、コントローラ１２０とコマンド表示パネル９００が大きな差を生じる事がなく、無理なく容易に立体視を行うことができる。
【０１２２】
なお、コマンド表示パネル９００の表示形態は図１１に示したものに限定するものではない。
【０１２３】
又、本実施形態に係る技術の適用対象は、単にコントローラの操作方法をコマンド表示パネルとして提示するだけのものではなく、ＨＭＤを装着している観察者が複合現実空間で何らかのインタラクションを行うために用いる（手に保持することに限定されず、携帯するものであればよい）インターフェース（指示具）に係る説明をＨＭＤを介して見たい場合に、ＨＭＤを介して見える指示具と共に、この説明を見る場合にも適用可能である。
【０１２４】
また、この説明を見せるためのパネルの画像は予め２次元画像としてメモリ１４７に保持しておき、複合現実空間映像が生成され、この映像における指示具（本実施形態ではコントローラ１２０）の位置が求まった場合に（コントローラ１２０の世界座標系における位置は上記処理により求まるので、これを投影面に投影した位置を求めればよい）、その位置近傍に表示するようにしても良いし、本実施形態のように３次元仮想物体として作成しておき、これを仮想空間中に配置してＨＭＤの表示装置の表示画面に画像として表示した場合に、常に同じ大きさとなるように適宜スケーリング（３次元仮想物体が視点位置から遠い場合にはこの３次元仮想物体のサイズを大きくし、逆に３次元仮想物体が視点位置から近い場合にはこの３次元仮想物体のサイズを小さくする）を行うようにしても良い。後者の場合、仮想物体としてのパネルの面（説明が記載された面）が観察者の右目、左目の視線方向（姿勢）を法線ベクトルとする面となるように、この３次元仮想物体は配置される。
【０１２５】
また、このパネルの画像に表示されるべき説明の文章は適宜リアルタイムに変化させるようにしても良い。
【０１２６】
又本実施形態では、複合現実空間として水族館を例に取り説明したが、これに限定されるものではない。
【０１２７】
又本実施形態ではコントローラ１２０の位置姿勢を計測しているが、コマンド表示パネルの表示位置を決めるためには最低限コントローラ１２０の世界座標系における位置が分かればよいので、位置のみを計測するようにしても良い。
【０１２８】
また本実施形態において用いたＨＭＤはビデオシースルータイプのものであったが、光学シースルータイプのものを用いても良い。その場合、現実空間の映像撮影は行わないので、現実空間映像と仮想空間映像との合成処理も同然行わない。
【０１２９】
また、本実施形態では現実空間を撮像するカメラは右目用と左目用とを設けたが、これに限定されるものではなく１つであっても良い。この場合、この１つのカメラにより撮像した現実空間の映像は仮想空間の映像を重畳させて右目、左目の両方に提示されることになる。また重畳させる仮想空間の映像は、この１つのカメラの視点から見えるものである。
【０１３０】
また本実施形態では、頭部装着型表示装置として用いることが可能な装置はＨＭＤに限定するものではなく、例えば現実空間の映像を撮像するカメラ、表示装置、位置姿勢センサ受信機の夫々を組み合わせて観察者の頭部に装着可能なようにした装置であっても良い。
【０１３１】
［第２の実施形態］
第１の実施形態ではコンピュータ１５１が複合現実空間に係る様々な状態を管理しており、その管理結果を逐次、各コンピュータ１４１に通知していたが、このようなシステム構成に限定されるものではない。即ち、夫々の観察者に対して設けたコンピュータ１４１が、夫々の観察者に提示する複合現実空間映像を生成するために必要な情報を管理するようにしても良い。
【０１３２】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１３３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３６】
【図１】本発明の第１の実施形態に係る複合現実感装置（展示装置）の外観図である。
【図２】ＨＭＤ１１０の外観図である。
【図３】観察者がいない場合の舞台装置の外観例を示す図である。
【図４】観察者が居る場合の舞台装置の外観例を示す図である。
【図５】コンピュータ１４１を含む本発明の第１の実施形態に係る映像装置の基本構成を示すブロック図である。
【図６】コンピュータ１５１を含む本実施形態に係る映像装置の基本構成、及び周辺機器との関係を示すブロック図である。
【図７】コンピュータ１４１、１５１にインストールされている複合現実映像生成プログラムを夫々のコンピュータのＣＰＵが実行することで行う処理のフローチャートである。
【図８】コンピュータ１５１にインストールされている複合現実空間管理プログラムをＣＰＵ１５７が実行することで行う処理のフローチャートである。
【図９】コントローラ１２０の外観例を示す図である。
【図１０】複合現実空間管理プログラム、複合現実映像生成プログラムを実行することで得られる、複合現実空間映像の一例を示す図である。
【図１１】ＨＭＤ１１０の表示装置１１２におけるコマンド表示パネルの表示例を示す図である。
【図１２】コンピュータ１５１にインストールされているサウンドプログラムをＣＰＵ１５７が実行することで行う処理のフローチャートである。
【図１】
2005165776.tif 000003
【図２】
2005165776.tif 000004
【図３】
2005165776.tif 000005
【図４】
2005165776.tif 000006
【図５】
2005165776.tif 000007
【図６】
2005165776.tif 000008
【図７】
2005165776.tif 000009
【図８】
2005165776.tif 000010
【図９】
2005165776.tif 000011
【図１０】
2005165776.tif 000012
【図１１】
2005165776.tif 000013
【図１２】
2005165776.tif 000014