(57)【要約】【課題】  ユーザが仮想空間中の物体を操作することで行う作業を、この仮想空間を観察する他のユーザが、この作業を観察可能にさせるための技術を提供すること。【解決手段】  観察者の視点の位置を頂点とし、この視点の姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成し（Ｓ４０４）、他コンピュータに送信する（Ｓ４０５）。他コンピュータは、仮想空間中の仮想物体において、錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する（Ｓ４５５）。そして、全体像若しくは一部分の透明度を制御するとともに、全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成する（Ｓ４５６〜Ｓ４５８）。【選択図】  図４
2008217119.tif 000002
【特許請求の範囲】
【請求項１】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第１の画像処理装置は、
前記第１の画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成する第１手段と、
前記錐体領域情報を前記ネットワークを介して、前記第１の画像処理装置とは異なる第２の画像処理装置に送信する第２手段とを備え、
前記第２の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第３手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第２の画像処理装置が有する前記生成手段を制御する第４手段と
を備えることを特徴とするシステム。
【請求項２】
前記錐体領域情報には、前記視点の位置を示す情報、前記視点の姿勢を示す情報、前記視点からの画角を示す情報が含まれていることを特徴とする請求項１に記載のシステム。
【請求項３】
前記第４手段は、前記錐体領域情報に含まれている姿勢を示す情報を参照し、前記全体像若しくは一部分において、当該参照した情報に基づく視軸に近い領域ほど透明度を下げ、遠いほど透明度を上げることを特徴とする請求項２に記載のシステム。
【請求項４】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第１の画像処理装置は、
前記第１の画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記第１の画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を生成する第１手段と、
前記錐体領域情報を前記ネットワークを介して、前記第１の画像処理装置とは異なる第２の画像処理装置に送信する第２手段とを備え、
前記第２の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第３手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第２の画像処理装置が有する前記生成手段を制御する第４手段と
を備えることを特徴とするシステム。
【請求項５】
前記錐体領域情報には、前記視点の位置を示す情報、前記視点の位置と前記手の位置とを通る直線の姿勢を示す情報、前記視点からの画角を示す情報が含まれていることを特徴とする請求項４に記載のシステム。
【請求項６】
前記第４手段は、前記錐体領域情報に含まれている前記直線の姿勢を示す情報を参照し、前記全体像若しくは一部分において、当該参照した情報に基づく軸に近い領域ほど透明度を下げ、遠いほど透明度を上げることを特徴とする請求項５に記載のシステム。
【請求項７】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項８】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする画像処理装置。
【請求項９】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１０】
頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置姿勢を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータに請求項９又は１０に記載の画像処理方法を実行させるためのコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間画像を、現実空間に重畳させてユーザに提示するための技術に関するものである。
【背景技術】
【０００２】
従来から、設計・製造分野において、設計の精度向上・高速化のために計算機システム上での設計・試作業務が行われてきている。
【０００３】
その手順として先ず、３次元ＣＡＤシステム上で基本設計を行い、その3次元CAD設計データをもとにラピッド・プロトタイピングの手法やアルミ部材・発泡樹脂素材を用いて簡易試作品（モックアップ）や実際の試作品を作成する。そして、この実物モデル（試作品）を元にデザインレビューを行い、３次元ＣＡＤシステムで設計された製品の操作性・メンテナンス性・組み立て性を検証し、設計の精度を向上させる試みを行っている。しかし、モックアップ等、実物モデルを実際に作成するデザインレビューは、以下のような問題を含む、多くの問題が指摘されている。
【０００４】
・  作成期間がかかり、最新の情報に対応できない
・  試作に費用がかかるため頻繁な更新は不可能
それに対処する為に近年では、設計業務の流れで試作の回数をゼロ、若しくは極力減少させる試作レスの試みがなされている。係る試みの１つとして、実物モデルで行う検証作業を全て仮想空間上で行う仮想モックアップ・レビュー（Digital Mockup Revue：DMR）が積極的に行われている。
【０００５】
試作の回数を減らすことにより、試作物の作成数が製品の開発費に占める割合を減らし、単品の開発品や少量多種生産の製品などで試作物を何度も製作することができない状況下でも製品の質を落とさない製品開発を行うことができる。更に、試作期間を短くすることで早い製品開発サイクルに対応できる設計業務を行うことが可能となる。そのためには現実のモックアップで行うことのできる組み立て手順、メンテナンス、配線作業などのエルゴノミクス検証作業をすべて仮想空間上のDMRで行うことが要求される。
【０００６】
仮想空間上でDMRを行うことにより、以下のような利点が挙げられる。
【０００７】
・  常に最新のデータでデザインレビューを行うことが可能
・  仮想空間上に試作品があるため、試作品製作にかかる費用は無料
・  実物の試作品では実行不可能なデザインレビューが可能
→  表示／非表示の切り替え
→  一部分のみについて複数案を切替
→  解析手法を用いて計算した仮想的なデータを重畳
→  重さが存在しないので部品の移動・削除が容易
このように、ヴァーチャルリアリティ（Virtual Reality：ＶＲ）技術を利用し、体験者が仮想空間に没入し原寸大でＤＭＲを体験するシステムが存在する。また、複数の体験者が仮想空間を共有することは、特許文献１に開示されている。
【特許文献１】特開２００５−０４９９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
実物の試作品を用いたエルゴノミクス検証システムにおいて、特に複数人数で体験を行う場合、体験者Ａが行うエルゴノミクス検証作業を体験者Ｂが観察し、それが適正な姿勢・状態で作業が行われているかを確認する、という手順で作業を行うことが望ましい。しかし、実際には複数の物体の隙間などに手を伸ばすような作業において、物体によって体験者Ｂの視線が遮蔽される問題が発生する。
【０００９】
この問題を解決するために仮想空間上のＤＭＲシステムでは、任意の物体の表示／非表示や透明度を切り替えることによって物体に遮蔽された裏側での体験者Ａの動作を観察することを可能としている。しかし、検証作業に関わる重要な部品や、作業者の興味領域までもが非表示もしくは透明になってしまう危険性がある。そのため、体験者Ａの作業性検証に必要なデータの可視化状態の確保と、体験者Ｂの視界の確保を同時に保つことが困難となり、エルゴノミクス検証作業を快適に行うことが大きく阻害されてきた。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、ユーザが仮想空間中の物体を操作することで行う作業を、この仮想空間を観察する他のユーザが、この作業を観察可能にさせるための技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
【００１２】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第１の画像処理装置は、
前記第１の画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を生成する第１手段と、
前記錐体領域情報を前記ネットワークを介して、前記第１の画像処理装置とは異なる第２の画像処理装置に送信する第２手段とを備え、
前記第２の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第３手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第２の画像処理装置が有する前記生成手段を制御する第４手段と
を備えることを特徴とする。
【００１３】
本発明の目的を達成するために、例えば、本発明のシステムは以下の構成を備える。
【００１４】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムであって、
前記システムにおける第１の画像処理装置は、
前記第１の画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記第１の画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を生成する第１手段と、
前記錐体領域情報を前記ネットワークを介して、前記第１の画像処理装置とは異なる第２の画像処理装置に送信する第２手段とを備え、
前記第２の画像処理装置は、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する第３手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記第２の画像処理装置が有する前記生成手段を制御する第４手段と
を備えることを特徴とする。
【００１５】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１６】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
【００１７】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１８】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置であって、
他画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信手段と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定手段と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御手段と
を備えることを特徴とする。
【００１９】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００２０】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記取得手段が取得した位置を頂点とし、当該取得手段が取得した姿勢が示す方向に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
【００２１】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００２２】
即ち、頭部装着型表示装置を装着した観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者の手の位置を取得する第２の取得手段と、
１以上の仮想物体が配置されている仮想空間を、前記第１の取得手段が取得した位置姿勢に基づいた視点から見た画像を仮想空間画像として生成する生成手段と、
前記仮想空間画像を前記頭部装着型表示装置に対して出力する出力手段と
を備える画像処理装置が、前記観察者毎にネットワークに接続されているシステムにおける画像処理装置が行う画像処理方法であって、
他画像処理装置が有する前記第１の取得手段が取得した位置を頂点とし、当該位置から前記他画像処理装置が有する前記第２の取得手段が取得した位置に延長する錐体領域を示す錐体領域情報を、前記他画像処理装置から前記ネットワークを介して受信する受信工程と、
前記仮想空間中の仮想物体において、前記錐体領域情報が示す領域内に含まれる仮想物体の全体像若しくは一部分を特定する特定工程と、
前記全体像若しくは一部分の透明度を制御するとともに、前記全体像若しくは一部分以外については最高透明度を設定した仮想空間画像を生成するよう、前記生成手段を制御する制御工程と
を備えることを特徴とする。
【発明の効果】
【００２３】
本発明の構成により、ユーザが観察する仮想空間中の物体を、この仮想空間を観察する他のユーザが、他の仮想物体により遮蔽されることなく観察可能にさせることができる。
【発明を実施するための最良の形態】
【００２４】
以下、添付図面を参照し、本発明を好適な実施形態に従って詳細に説明する。
【００２５】
［第１の実施形態］
図１は、現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する為の複合現実感提示システムの外観を示す図である。
【００２６】
同図において２００はトランスミッタで、磁場を発生させる。１００は観察者の頭部に装着し、現実空間と仮想空間とを合成した結果を観察者の眼前に提供する為の頭部装着型表示装置（以下、ＨＭＤ：Head Mounted Displayと呼称する）である。ＨＭＤ１００は、カメラ１０２Ｒ、１０２Ｌ、表示装置１０１Ｒ、１０１Ｌ、磁気レシーバ２０１により構成されている。
【００２７】
カメラ１０２Ｒ、１０２ＬはそれぞれＨＭＤ１００を頭部に装着した観察者の右目、左目の位置から見える現実空間の動画像を撮像するものであり、撮像した各フレームの画像は後段のコンピュータ４００に出力される。以下、カメラ１０２Ｒ、１０２Ｌに共通の説明ではこれらをまとめて「カメラ１０２」と呼称する場合がある。
【００２８】
表示装置１０１Ｒ、１０１Ｌはそれぞれ、観察者がＨＭＤ１００を頭部に装着したときに右目、左目の眼前に位置するようにＨＭＤ１００に装着されたものであり、後段のコンピュータ４００から出力された画像信号に基づいた画像を表示する。従って観察者の右目、左目の眼前にはコンピュータ４００が生成した画像が提供されることになる。以下、表示装置１０１Ｒ、１０１Ｌに共通の説明ではこれらをまとめて「表示装置１０１」と呼称する場合がある。
【００２９】
磁気レシーバ２０１は、上記トランスミッタ２００が発する磁場の変化を検知し、検知した結果の信号を後段の位置姿勢計測装置２０５に出力するものである。検知した結果の信号は、トランスミッタ２００の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ、ｙ、ｚ軸とする座標系（センサ座標系）において、磁気レシーバ２０１の位置姿勢に応じて検知される磁場の変化を示す信号である。
【００３０】
位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０１の位置姿勢を求め、求めた位置姿勢を示すデータを後段のコンピュータ４００に出力する。
【００３１】
磁気レシーバ２０２は、観察者が手に保持してその位置や姿勢を変更することが可能なものである。磁気レシーバ２０２は上記磁気レシーバ２０１と同様のものであり、自身の位置姿勢に応じて検知される磁場の変化を示す信号を位置姿勢計測装置２０５に出力する。
【００３２】
位置姿勢計測装置２０５は、この信号に基づいて、センサ座標系における磁気レシーバ２０２の位置姿勢を求め、求めた位置姿勢を示すデータを後段のコンピュータ４００に出力する。
【００３３】
４００は画像処理装置としてのコンピュータで、ＨＭＤ１００の表示装置１０１Ｒ、１０１Ｌに出力すべき画像信号を生成したり、位置姿勢計測装置２０５からのデータを受け、これを管理したり等の処理を行う。このコンピュータは一般的には例えばＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等により構成される。図６は、コンピュータ４００のハードウェア構成を示す図である。
【００３４】
１００１はＣＰＵである。ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されているコンピュータプログラムやデータを用いてコンピュータ４００全体の制御を行うと共に、Ｉ／Ｆ（インターフェース）１００７、１００８に接続される外部装置とのデータ通信の制御を行う。また、コンピュータ４００が行う後述の各処理を実行する。
【００３５】
１００２はＲＡＭで、外部記憶装置１００５からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ１００７、１００８を介して外部から受信したデータを一時的に記憶するためのエリアを有する。更にＲＡＭ１００２は、ＣＰＵ１００１が各種の処理を実行する際に必要なワークエリアを有する。即ち、ＲＡＭ１００２は、各種のエリアを適宜提供することができる。
【００３６】
１００３はＲＯＭで、ブートプログラムやコンピュータ４００の設定データなどを格納する。
【００３７】
１００４は操作部で、キーボードやマウス、ジョイスティックなどにより構成されており、コンピュータ４００の操作者が操作することで、各種の指示をＣＰＵ１００１に対して入力することができる。
【００３８】
１００５は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置として機能するものである。ここには、ＯＳ（オペレーティングシステム）や、コンピュータ４００が行う後述の各処理をＣＰＵ１００１に実行させるためのコンピュータプログラムやデータ等が保存されている。外部記憶装置１００５に保存されているコンピュータプログラムやデータは、ＣＰＵ１００１の制御により適宜、ＲＡＭ１００２にロードされる。また、後述の説明で、既知のデータ（情報）として説明するもの（もしくは以下説明する処理で必要となるべきデータ）もまたこの外部記憶装置１００５に保存されており、必要に応じてＣＰＵ１００１による制御により、適宜ＲＡＭ１００２にロードされる。
【００３９】
１００６は表示部で、ＣＲＴや液晶画面等により構成されており、ＣＰＵ１００１による処理結果を画像や文字等でもって表示する。
【００４０】
１００７はＩ／Ｆで、ここには上記位置姿勢計測装置２０５、カメラ１０２、表示装置１０１等が接続されている。従って、コンピュータ４００はこのＩ／Ｆ１００７を介して、位置姿勢計測装置２０５、カメラ１０２、表示装置１０１等とのデータ通信を行うことができる。
【００４１】
１００８は、コンピュータ４００を後述するネットワークに接続するためのＩ／Ｆである。従ってコンピュータ４００はこのＩ／Ｆ１００８を介して、ネットワークに接続されている各機器とのデータ通信を行うことができる。
【００４２】
１００９は上述の各部を繋ぐバスである。
【００４３】
以上の構成を備えるコンピュータ４００は、カメラ１０２Ｒ、１０２Ｌのそれぞれから得られる現実空間の画像を取り込むと共に、後述の各処理によって仮想空間中に１以上の仮想物体を配置する。そして、磁気レシーバ２０１から得られる位置姿勢に基づいて、観察者の視点（本実施形態ではカメラ１０２の位置）を求め、配置した仮想物体を含む仮想空間をカメラ１０２Ｒ、１０２Ｌから見た場合に見える画像（仮想空間の画像）を生成する。そして、生成した画像を、先に取り込んだ現実空間の画像上に重畳させ、重畳させた画像を表示装置１０１Ｒ、１０１Ｌに出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目の位置姿勢に対応した複合現実空間の画像が表示されることになる。
【００４４】
図２は、このコンピュータ４００の機能構成を示す図である。本実施形態では、同図に示した各部はソフトウェアでもって構成されたものとして説明する。なお、ソフトウェアの実行処理はＣＰＵ１００１によりなされるものである。しかし、図２に示した各部の一部、もしくは全部をハードウェアでもって構成するようにしても良い。
【００４５】
４０１Ｒ、４０１Ｌは映像キャプチャ部であり、それぞれカメラ１０２Ｒ、１０２Ｌより入力した画像をディジタル信号として取り込む。
【００４６】
４０４は位置姿勢情報入力部であり、位置姿勢計測装置２０５から出力されたデータを取り込む。このデータは即ち、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータ、磁気レシーバ２０２のセンサ座標系における位置姿勢を示すデータである。
【００４７】
４０６は、３ＤＣＧ描画データで、仮想物体の画像を生成するためのデータである。３ＤＣＧ描画データには、仮想物体の配置位置、仮想物体の幾何学形状や色を示すデータ、テクスチャデータなどが含まれる。
【００４８】
４０５は位置姿勢算出部である。位置姿勢算出部４０５は、位置姿勢情報入力部４０４から入力される磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータを用いて、センサ座標系におけるカメラ１０２Ｒ，１０２Ｌの位置姿勢を求める。係る処理は一般的な処理である。
【００４９】
例えば、予め磁気レシーバ２０１とカメラ１０２Ｒとの位置姿勢関係、磁気レシーバ２０１とカメラ１０２Ｌとの位置姿勢関係をそれぞれバイアス１，２として計測しておく。そして、バイアス１，２のデータを位置姿勢算出部４０５が扱えるように、例えば、外部記憶装置１００５に登録しておく。位置姿勢算出部４０５は、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータを受けると、これにバイアス１のデータを加算することで、センサ座標系におけるカメラ１０２Ｒの位置姿勢を求めることができる。同様に、位置姿勢算出部４０５は、磁気レシーバ２０１のセンサ座標系における位置姿勢を示すデータを受けると、これにバイアス２のデータを加算することで、センサ座標系におけるカメラ１０２Ｌの位置姿勢を求めることができる。
【００５０】
このようにして、位置姿勢算出部４０５は、視点の位置姿勢として、カメラ１０２Ｒ、１０２Ｌのセンサ座標系における位置姿勢を求めることができる。
【００５１】
４０７はＣＧレンダリング部で、先ず、後述の処理に従って１以上の仮想物体を仮想空間中に配置する。そして、カメラ１０２Ｒ、１０２Ｌの位置姿勢に応じて見える仮想空間の画像（配置した１以上の仮想物体を含む仮想空間の画像）を生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する処理については周知の技術であるので、これに関する詳細な説明は省略する。また、以下では、カメラ１０２Ｒ、１０２Ｌを総称して「視点」と呼称する場合がある。
【００５２】
４０２Ｒ、４０２Ｌは映像合成部である。映像合成部４０２Ｒは、映像キャプチャ部４０１Ｒから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２Ｒの位置姿勢に応じて見える仮想空間の画像を重畳させ、映像生成部４０３Ｒに出力する。映像合成部４０２Ｌも同様に、映像キャプチャ部４０１Ｌから入力した現実空間の画像上に、ＣＧレンダリング部４０７が生成したカメラ１０２Ｌの位置姿勢に応じて見える仮想空間の画像を重畳させ、映像生成部４０３Ｌに出力する。これにより、カメラ１０２Ｒの位置姿勢に応じて見える複合現実空間の画像、カメラ１０２Ｌの位置姿勢に応じて見える複合現実空間の画像を生成することができる。
【００５３】
映像生成部４０３Ｒ、４０３Ｌはそれぞれ、映像合成部４０２Ｒ、４０２Ｌから出力された複合現実空間の画像をアナログ信号に変換し、それぞれ表示装置１０１Ｒ、１０１Ｌに映像信号として出力する。これにより、ＨＭＤ１００を頭部に装着した観察者の右目、左目の眼前には、それぞれの目に対応した複合現実空間の画像が表示される。
【００５４】
本実施形態では、図１に示した複合現実感提示システムを観察者の人数分用意し、それぞれのシステムにおけるコンピュータ４００が、ＬＡＮやインターネットなどのネットワークに接続されているネットワークシステムを用いる。これにより、複数人の観察者がそれぞれ、同じ複合現実空間を体感することができると共に、一方の観察者の作業内容を、他方の観察者が観察することができる。
【００５５】
なお、同じ複合現実空間を複数の観察者で共有して体験するためのシステムの構成については従来から様々な形態が提案されており、本実施形態は、特定のシステム構成に限定するものではない。以下では、そのシステムの構成の一例として、図１に示したシステムが観察者の人数分だけ用意されており、それぞれのシステムにおけるコンピュータ４００が、ＬＡＮやインターネットなどのネットワークに接続されているネットワークシステムを用いる。
【００５６】
図３は、仮想物体５１１、仮想物体５１２が配されている複合現実空間を観察者５０１と観察者５０２とが共有して観察している様子を示す図である。なお上述の通り、観察者５０１、５０２のそれぞれが同じ複合現実空間を体感するために、上記複合現実感提示システムがそれぞれの観察者（５０１，５０２）に対して設けられている。そして、それぞれの複合現実感提示システムにおけるコンピュータ４００は、ネットワークに接続されているものとして説明する。
【００５７】
観察者５０１は手５０１ｂに磁気レシーバ２０２を保持しており、自身の腕５０１ａや手５０１ｂの位置を移動させると、手５０１ｂの位置姿勢は磁気レシーバ２０２によって計測される。従って、コンピュータ４００は、複合現実空間中における手５０１ｂの位置姿勢を得ることができるので、例えば、手５０１ｂでもってねじ締めなどの動作を行うと、仮想物体５１１や仮想物体５１２に対してねじ締め結果を反映させることもできる。
【００５８】
ここで、仮想物体５１１と仮想物体５１２との間の空間の広さが、観察者５０１が手５０１ｂを入れて作業を行うのに十分であるのかを検証すべく、観察者５０１が手５０１ｂをこの空間に入れる場合について説明する。そして係る検証は、観察者５０２に対しても提示するものとする。
【００５９】
観察者５０１は係る検証を行うべく、図３に示す如く、手５０１ｂを仮想物体５１１と仮想物体５１２との間に入れるのであるが、その際、観察者５０１の視線５７０は自身の手５０１ｂの周辺に向いている。係る視線５７０の向きは、位置姿勢算出部４０５が算出した視点の姿勢に相当する。５７１ａ、５７２ｂはそれぞれ、観察者５０１の視界の範囲を示している。従って、観察者５０１には、仮想物体５１１と仮想物体５１２との間の空間は見えていることになる。しかし、観察者５０２は係る空間を観察しようとしても、係る空間は仮想物体５１２が遮蔽していることになり、観察することはできない。
【００６０】
これでは、観察者５０１が操作している様子、より詳しくは、手５０１ｂの周辺の空間を観察者５０２に提示することができない。そこで本実施形態では、観察者５０１が注視しているであろう空間（注視空間）以外については透過させる表示形態でもって観察者５０２に提示し、注視空間内がよく見えるように、観察者５０２に提示する。以下、係る提示を行うために、観察者５０１の為に設けられた複合現実感提示システム（以下、複合現実感提示システム１）と、観察者５０２の為に設けられた複合現実感提示システム（以下、複合現実感提示システム２）とが行う処理について説明する。
【００６１】
尚、複合現実感提示システム１中のコンピュータ４００と複合現実感提示システム２中のコンピュータ４００とは同じ構成ではあるものの、説明上区別するために、前者をコンピュータ４００−１、後者をコンピュータ４００−２（他画像処理装置）と呼称する。
【００６２】
図４は、コンピュータ４００−１とコンピュータ４００−２とが行う処理のフローチャートである。
【００６３】
なお、コンピュータ４００−１が行う処理（ステップＳ４０１〜Ｓ４０９）をコンピュータ４００−１のＣＰＵ１００１に実行させるためのコンピュータプログラムやデータは、コンピュータ４００−１の外部記憶装置１００５に保存されている。そして、係るコンピュータプログラムやデータは、コンピュータ４００−１のＣＰＵ１００１による制御に従って、適宜、コンピュータ４００−１のＲＡＭ１００２にロードされる。そしてコンピュータ４００−１のＣＰＵ１００１がこのロードされたコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ４００−１はステップＳ４０１〜Ｓ４０９の処理を実行することになる。
【００６４】
また、コンピュータ４００−２が行う処理（ステップＳ４５１〜Ｓ４６１）をコンピュータ４００−２のＣＰＵ１００１に実行させるためのコンピュータプログラムやデータは、コンピュータ４００−２の外部記憶装置１００５に保存されている。そして、係るコンピュータプログラムやデータは、コンピュータ４００−２のＣＰＵ１００１による制御に従って、適宜、コンピュータ４００−２のＲＡＭ１００２にロードされる。そしてコンピュータ４００−２のＣＰＵ１００１がこのロードされたコンピュータプログラムやデータを用いて処理を実行することで、コンピュータ４００−２はステップＳ４５１〜Ｓ４６１の処理を実行することになる。
【００６５】
先ずステップＳ４０１では、複合現実感提示システム１内のカメラ１０２から送出された１フレーム分の画像を、現実空間画像としてＩ／Ｆ１００７を介してＲＡＭ１００２に取得する。
【００６６】
次にステップＳ４０２では、複合現実感提示システム１内の位置姿勢計測装置２０５から送出されたデータをＩ／Ｆ１００７を介してＲＡＭ１００２に取得する。
【００６７】
次にステップＳ４０３では、ステップＳ４０２で取得したデータに基づいて、位置姿勢算出部４０５が行うものとして上述した処理を行い、カメラ１０２の位置姿勢（複合現実感提示システム１を使用している観察者の視点の位置姿勢）を求める。
【００６８】
次にステップＳ４０４では、ステップＳ４０３で求めた視点の位置を頂点とし、係る頂点から、ステップＳ４０３で求めた視点の姿勢に基づく視線方向に延長する錐体領域を示す錐体領域情報を生成する。ここで、錐体領域情報について説明する。
【００６９】
図７は、錐体領域を示す図である。同図において７０１はステップＳ４０３で求めた視点の位置を示す。係る視点の位置としては、観察者の右目、左目の両方が考えられるが、ここでは説明を簡単にするために、一方の目だけについて説明する。
【００７０】
７０２は、ステップＳ４０３で求めた視点の姿勢成分によって規定される視線ベクトル（視軸）であり、図３に示した上記視線５７０に相当するものである。７５０は、錐体領域である。同図では錐体領域として円錐状の錐体の領域を示しているが、円錐に限定するものではない。錐体領域７５０は上述の通り、頂点を視点の位置７０１にとり、視線ベクトル７０２に沿って延長したものである。また、視線ベクトル７０２の方向に対する錐体領域の長さは十分に長いものであるとする。
【００７１】
また、７６０は、カメラ１０２の画角に応じて決めれば良い。本実施形態では７６０が示す角度は、カメラ１０２の画角に一致させる。
【００７２】
従って、このような錐体領域を示す錐体領域情報を生成する際、この錐体領域情報には、視点の位置を示す情報、カメラ１０２の画角を示す情報、視線ベクトルを示す情報、が含まれているものとする。なお、錐体領域情報には、錐体領域を規定することができるのであれば、如何なる情報を含めても良い。
【００７３】
図４に戻って、次にステップＳ４０５は、このようにして生成した錐体領域情報をＩ／Ｆ１００８を介して、コンピュータ４００−２に対して送信する。コンピュータ４００−２側で行う処理については後述する。
【００７４】
次にステップＳ４０６では先ず、予め定められた位置姿勢、若しくは仮想空間に対する様々な操作によって決まる位置姿勢でもって、各仮想物体を仮想空間中に配置する。そして係る仮想空間を、ステップＳ４０３で求めた位置姿勢を有する視点から見た場合に見える画像を仮想空間画像として生成する。
【００７５】
次にステップＳ４０７では、上記ステップＳ４０１でＲＡＭ１００２に取得した現実空間画像上に、ステップＳ４０６で生成した仮想空間画像を合成することで、複合現実空間の画像（合成画像）を生成する。なお、複合現実空間の画像を生成するための処理については様々な処理が従来から提案されており、本実施形態では、如何なる処理でもって複合現実空間の画像を生成しても良い。
【００７６】
そしてステップＳ４０８では、このようにして生成した合成画像のデータをＩ／Ｆ１００７を介して複合現実感提示システム１中の表示装置１０１に対して送信する。これにより、複合現実感提示システム１を利用している観察者（観察者Ａ）の眼前には、ステップＳ４０７で生成した合成画像が提示されることになる。
【００７７】
次に、ステップＳ４０９では、操作部１００４を介して本処理を終了させる指示が入力されたか否か、本処理を終了する条件が満たされたか否かを判断する。係る判断の結果、操作部１００４を介して本処理を終了させる指示が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了させる。一方、操作部１００４を介して本処理を終了させる指示は入力されていないし、本処理を終了する条件も満たされていない場合には、処理をステップＳ４０１に戻し、次のフレームについて以降の処理を繰り返す。
【００７８】
次に、複合現実感提示システム２中のコンピュータ４００−２が行う処理について説明する。
【００７９】
先ずステップＳ４５１では、複合現実感提示システム２内のカメラ１０２から送出された１フレーム分の画像を、現実空間画像としてＩ／Ｆ１００７を介してＲＡＭ１００２に取得する。
【００８０】
次にステップＳ４５２では、複合現実感提示システム２内の位置姿勢計測装置２０５から送出されたデータをＩ／Ｆ１００７を介してＲＡＭ１００２に取得する。
【００８１】
次にステップＳ４５３では、ステップＳ４５２で取得したデータに基づいて、位置姿勢算出部４０５が行うものとして上述した処理を行い、カメラ１０２の位置姿勢（複合現実感提示システム２を使用している観察者（観察者Ｂ）の視点の位置姿勢）を求める。
【００８２】
次にステップＳ４５４では、上記ステップＳ４０５で送信された錐体領域情報をＩ／Ｆ１００８を介してＲＡＭ１００２に取得する。
【００８３】
次にステップＳ４５５では先ず、予め定められた位置姿勢、若しくは仮想空間に対する様々な操作によって決まる位置姿勢でもって、各仮想物体を仮想空間中に配置する。係る仮想空間の構成は、何れの観察者に対しても共通である。次に、係る仮想空間中に、ステップＳ４５４で受信した錐体領域情報が示す錐体領域を設定した場合に、錐体領域内に含まれる仮想物体（全体像若しくは一部分）を特定する。
【００８４】
錐体領域内に含まれている仮想物体を特定する際、どの単位で特定するのかについては様々なものが考えられる。例えば、車や机など、複数のパーツから成る仮想物体であったとしても、それ１つをオブジェクトとして見なせる場合にはオブジェクト単位で特定しても良いし、パーツ単位であっても良い。また、仮想物体がポリゴンで構成されている場合には、ポリゴン単位でもって特定するようにしてもよい。
【００８５】
また、錐体領域内に含まれているオブジェクト、パーツ、ポリゴンなどを特定するための処理については周知であるので、これについての説明は省略する。
【００８６】
次に、ステップＳ４５６では、錐体領域の外部に存在する仮想物体（ステップＳ４５５で特定されなかった仮想物体）、即ち、上記全体像若しくは一部分以外については、透明で描画すべく、この仮想物体に対するアルファ値を制御し、最高透明度を設定する。なお、透視可能な透明度であれば、完全な透明でなくても良い。仮想物体の一部若しくは全体像について任意の透明度を設定する技術については周知であるので、係る技術についての説明は省略する。
【００８７】
次にステップＳ４５７では、ステップＳ４５５で特定した領域内において、ステップＳ４５３で求めた視点の姿勢に基づく視軸に近いほど透明度を低くし、視軸から遠いほど透明度を高くするよう、アルファ値を設定する。例えば、仮想物体がポリゴンでもって構成されている場合、ステップＳ４５５で特定した領域内のポリゴン群のうち、視軸に近いポリゴンについてはその透明度を下げ、視軸から遠いポリゴンについてはその透明度を上げる。視軸との距離に応じてどの程度透明度を上げ下げするのかについては特に限定するものではなく、例えば、観察者毎に、自身が使用しているコンピュータでもって各自が設定すればよい。
【００８８】
次にステップＳ４５８では、ステップＳ４５６，Ｓ４５７でアルファ値が設定された各仮想物体が配置された仮想空間を、ステップＳ４５３で求めた位置姿勢を有する視点から見た場合に見える画像を仮想空間画像として生成する。
【００８９】
次にステップＳ４５９では、上記ステップＳ４５１でＲＡＭ１００２に取得した現実空間画像上に、ステップＳ４５８で生成した仮想空間画像を合成することで、複合現実空間の画像（合成画像）を生成する。なお、複合現実空間の画像を生成するための処理については様々な処理が従来から提案されており、本実施形態では、如何なる処理でもって複合現実空間の画像を生成しても良い。
【００９０】
そしてステップＳ４６０では、このようにして生成した合成画像のデータをＩ／Ｆ１００７を介して複合現実感提示システム２中の表示装置１０１に対して送信する。これにより、観察者Ｂの眼前には、ステップＳ４５９で生成した合成画像が提示されることになる。
【００９１】
係る合成画像では、観察者Ａの視点の位置を頂点とし、この視点の視線方向に延長する錐体領域の外部の仮想物体については透明となっている。従って観察者Ｂは、観察者Ａが注視しているであろう視界内（錐体領域内の仮想物体や、観察者Ａの手などが存在するであろう領域）を観察することができる。更には、錐体領域内では、観察者Ａの視軸に近いほど透明度が低いので、観察者Ａがより注視しているであろう領域を明示的に、観察者Ｂに提示することができる。
【００９２】
次に、ステップＳ４６１では、操作部１００４を介して本処理を終了させる指示が入力されたか否か、本処理を終了する条件が満たされたか否かを判断する。係る判断の結果、操作部１００４を介して本処理を終了させる指示が入力された、若しくは本処理を終了する条件が満たされた場合には本処理を終了させる。一方、操作部１００４を介して本処理を終了させる指示は入力されていないし、本処理を終了する条件も満たされていない場合には、処理をステップＳ４５１に戻し、次のフレームについて以降の処理を繰り返す。
【００９３】
［第２の実施形態］
第１の実施形態では、錐体領域は、ステップＳ４０３で求めた視点の位置を頂点とし、係る頂点から、ステップＳ４０３で求めた視点の姿勢に基づく視線方向に延長したものであった。しかし、錐体領域の設定はこれ以外にも考えられる。
【００９４】
本実施形態では、ステップＳ４０３で求めた視点の位置を頂点とし、係る頂点から手５０１ｂの位置に延長する方向に錐体領域を設定する。手５０１ｂには磁気レシーバ２０２が握られているので、手５０１ｂの位置は計測することができる。
【００９５】
図５は、図３に示した状況において、第１の実施形態とは異なる方法でもって錐体領域を設定する状況を説明する図である。同図において５９９は、視点の位置と手５０１ｂの位置とを通る直線を示している。
【００９６】
なお、本実施形態と第１の実施形態とは、錐体領域情報が示す錐体領域が異なるのみで、それ以外については第１の実施形態と同様に処理を行えばよい。なお、第１の実施形態では視軸として用いていたものを、本実施形態では視点の位置と手５０１ｂの位置とを通る直線ベクトル（直線５９９）を用いる。
【００９７】
なお、第１，２の実施形態では、ＨＭＤ１００としてビデオシースルー型のものを用いているが、光学シースルー型のものを用いても良い。この場合、上記実施形態において画角として用いるものには、適当な値を設定すればよい。
【００９８】
また、第１，２の実施形態では、錐体領域情報を受信する側の装置を１台として説明したが、受信する側が複数台であったとしても、個々の受信側で行う処理は同じである。しかし、上述したように、錐体領域内の仮想空間に対して、透明度をどのように変化させるのかについては、個々の受信側で設定するようにしても良い。
【００９９】
また、第１，２の実施形態では、センサとして磁気センサを用いているが、位置姿勢計測を可能にする技術であれば、如何なるセンサを用いても良いし、撮像画像を用いて位置姿勢を計測する周知の技術を用いても良い。
【０１００】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０１０１】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０３】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１０４】
【図１】現実空間に仮想空間を重畳させた複合現実空間を観察者（ユーザ）に提供する為の複合現実感提示システムの外観を示す図である。
【図２】コンピュータ４００の機能構成を示す図である。
【図３】仮想物体５１１、仮想物体５１２が配されている複合現実空間を観察者５０１と観察者５０２とが共有して観察している様子を示す図である。
【図４】コンピュータ４００−１とコンピュータ４００−２とが行う処理のフローチャートである。
【図５】図３に示した状況において、第１の実施形態とは異なる方法でもって錐体領域を設定する状況を説明する図である。
【図６】コンピュータ４００のハードウェア構成を示す図である。
【図７】錐体領域を示す図である。
【図１】
2008217119.tif 000003
【図２】
2008217119.tif 000004
【図３】
2008217119.tif 000005
【図４】
2008217119.tif 000006
【図５】
2008217119.tif 000007
【図６】
2008217119.tif 000008
【図７】
2008217119.tif 000009