(57)【要約】【課題】  現実空間上のオブジェクトの前に仮想空間上のＣＧオブジェクトが存在して当該現実空間上のオブジェクトを隠している場合に、その現実空間上のオブジェクトが見えるようにする。【解決手段】  現実世界の映像を撮影するビデオカメラ１３を備えたヘッドマウントディスプレイ１と、コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像を上記ビデオカメラ１３により撮影された現実世界の映像と合成して、ヘッドマウントディスプレイ１に提供するＰＣ２とを備え、ＰＣ２は、コンピュータグラフィックス画像を透明化するＣＧ透明化部１９を備えている。【選択図】  図１
2005128877.tif 000002
【特許請求の範囲】
【請求項１】
現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する複合現実感提示システムであって、
複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する手段を備えることを特徴とする複合現実感提示システム。
【請求項２】
現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する複合現実感提示方法であって、
複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する手順を有することを特徴とする複合現実感提示方法。
【請求項３】
現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する処理をコンピュータに実行させるコンピュータプログラムであって、
複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する処理をコンピュータ実行させることを特徴とするコンピュータプログラム。
【請求項４】
現実世界の映像を撮影する撮影手段を備えたヘッドマウントディスプレイと、
コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像を上記撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理装置とを備え、
上記情報処理装置は、上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化手段を備えることを特徴とする複合現実感提示システム。
【請求項５】
上記ヘッドマウントディスプレイは、当該ヘッドマウントディスプレイを被った観察者の視線位置及び方向を検出するための位置姿勢センサを備え、上記透明化手段は、上記位置姿勢センサからの検出結果に基づいて上記コンピュータグラフィックス画像を透明化することを特徴とする請求項４に記載の複合現実感提示システム。
【請求項６】
コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理装置であって、
上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化手段を備えることを特徴とする情報処理装置。
【請求項７】
コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理手段による情報処理方法であって、
上記情報処理手段が上記コンピュータグラフィックス画像の少なくとも一部を透明化する手順を有することを特徴とする情報処理方法。
【請求項８】
コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する処理をコンピュータに実行させるコンピュータプログラムであって、
上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実世界の映像とコンピュータグラフィックス画像とを合成して表示する複合現実感提示システム及び方法、情報処理装置及び方法、並びにコンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、現実世界の映像と、三次元モデリングされたＣＧ（コンピュータグラフィックス）画像とを重畳して表示し、あたかも現実の世界にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができる複合現実感技術が知れている。これは、現実世界の映像を撮影するための現実映像撮影手段（例えばビデオカメラ）と、現実世界の映像を撮影している位置から見たようにＣＧ画像を作り出すＣＧ画像生成手段と、両者を合成して表示することのできる映像表示手段（例えばＨＭＤ（ヘッドマウントディスプレイ）やモニタ）からなる装置である。
【０００３】
ここで、現実映像撮影手段の視線の位置が変わった場合であっても、現実世界の映像とＣＧ画像との位置関係が正しくなるようになっており、現実映像撮影手段（ビデオカメラ）の視線位置、視線方向を検出するための視線位置姿勢検出手段（例えば位置姿勢センサ）を備えている。
【０００４】
ＣＧ画像生成手段は、三次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ画像と現実世界の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置、視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成されたオブジェクトが置かれているような映像を表示することができる。
【０００５】
現実世界の映像を撮影する現実映像撮影手段は、例えばビデオカメラが用いられ、ビデオカメラの視線方向にある映像を撮影し、メモリ中にキャプチャする手段である。
【０００６】
現実世界の映像とＣＧ画像とを合成して表示する映像表示装置としては、例えばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用い、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００７】
位置姿勢検出手段としては磁気方式による位置姿勢センサ等が用いられ、これを上記ビデオカメラ（又はビデオカメラが取り付けられているＨＭＤ）に取り付けることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、例えば米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫ等が挙げられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。
【０００８】
上記の構成により、観察者はＨＭＤを通じて、現実世界の映像とＣＧ画像とが重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実世界の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出手段（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ画像を生成し、これを現実世界の映像に重畳して表示する。
【０００９】
【特許文献１】特開平１１−８８９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、観察者が操作しようとしている現実空間上のオブジェクトの前に仮想空間上のＣＧオブジェクトが存在する状況である場合に、単純に現実世界の映像の上に仮想空間上のＣＧオブジェクトを重畳してしまうと、観察者が操作しようとする現実空間上のオブジェクトは仮想空間上のＣＧオブジェクトに隠れて見えなくなってしまう。
【００１１】
本発明は上記の点に鑑みてなされたものであり、現実空間上のオブジェクトの前に仮想空間上のＣＧオブジェクトが存在して当該現実空間上のオブジェクトを隠している場合に、その現実空間上のオブジェクトが見えるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
本発明の複合現実感提示システムは、現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する複合現実感提示システムであって、複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する手段を備える点に特徴を有する。
本発明の複合現実感提示方法は、現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する複合現実感提示方法であって、複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する手順を有する点に特徴を有する。
本発明のコンピュータプログラムは、現実世界の映像とコンピュータグラフィックス画像とを合成して映像表示手段に表示する処理をコンピュータに実行させるコンピュータプログラムであって、複合現実空間において、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して前記現実空間上のオブジェクトを隠している場合に、上記仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化する処理をコンピュータ実行させる点に特徴を有する。
本発明の複合現実感提示システムは、現実世界の映像を撮影する撮影手段を備えたヘッドマウントディスプレイと、コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像を上記撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理装置とを備え、上記情報処理装置は、上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化手段を備える点に特徴を有する。この場合に、上記ヘッドマウントディスプレイは、当該ヘッドマウントディスプレイを被った観察者の視線位置及び方向を検出するための位置姿勢センサを備え、上記透明化手段は、上記位置姿勢センサからの検出結果に基づいて上記コンピュータグラフィックス画像を透明化するようにしてもよい。
本発明の情報処理装置は、コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理装置であって、上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化手段を備える点に特徴を有する。
本発明の情報処理方法は、コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する情報処理手段による情報処理方法であって、上記情報処理装置が上記コンピュータグラフィックス画像の少なくとも一部を透明化する手順を有する点に特徴を有する。
本発明のコンピュータプログラムは、コンピュータグラフィックス画像を生成するとともに、そのコンピュータグラフィックス画像をヘッドマウントディスプレイが有する撮影手段により撮影された現実世界の映像と合成して、上記ヘッドマウントディスプレイに提供する処理をコンピュータに実行させるコンピュータプログラムであって、上記コンピュータグラフィックス画像の少なくとも一部を透明化する透明化処理をコンピュータに実行させる点に特徴を有する。
【発明の効果】
【００１３】
本発明によれば、現実空間上のオブジェクトの前に仮想空間上のコンピュータグラフィックスによるオブジェクトが存在して当該現実空間上のオブジェクトを隠している場合に、仮想空間上のコンピュータグラフィックスによるオブジェクトを透明化することができるので、観察者は仮想空間上のコンピュータグラフィックスによるオブジェクトの輪郭を確認しつつ、その先に存在する現実空間上のオブジェクトを見ることができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、本発明の実施形態について説明する。
図１に本実施形態の複合現実感システムの概略構成を示す。同図に示すように、ＨＭＤ（ヘッドマウントディスプレイ）１とＰＣ（パーソナルコンピュータ）２とがケーブル等を介してデータ通信可能に接続されている。
【００１５】
ＨＭＤ１は、ＨＭＤ１を被った観察者２１の視線位置及び方向を検出するための位置姿勢センサ１２、現実世界の映像を撮影するビデオカメラ１３、映像表示部１４により構成されている。
【００１６】
また、ＰＣ２は、位置姿勢算出部１５、キャプチャ部１６、画像合成部１７、ＣＧ作成部１８、ＣＧ透明化部１９により構成されている。なお、本実施形態におけるＰＣ２が本発明でいう情報処理装置に相当するものである。
【００１７】
ＨＭＤ１は観察者２１が複合現実感を感じるためのデバイスであり、ＰＣ２は複合現実空間を作り出す装置である。
【００１８】
ＨＭＤ１の位置姿勢センサ１２は、観察者２１の位置姿勢データをＰＣ２の位置姿勢算出部１５に送出する。位置姿勢算出部１５は、ＨＭＤ１から受信した位置姿勢データから複合現実空間上の位置姿勢を算出し、その算出値をＣＧ作成部１８に送出する。
【００１９】
また、ＣＧ透明化部１９は、透明化するＣＧオブジェクトの指示をＣＧ作成部１８に送出する。
【００２０】
ＣＧ作成部１８は、位置姿勢算出部１５により算出された位置姿勢に基づいて、観察者２１の視点からの仮想空間上のＣＧオブジェクトを作成する。そのＣＧオブジェクトの作成の際に、ＣＧ透明化部１９により指示されたＣＧオブジェクトは透明化する。このようにしてＣＧ作成部１８で作成された仮想空間のＣＧは画像合成部１７に送出される。
【００２１】
ＨＭＤ１のビデオカメラ１３は、観察者２１の視点から見た現実世界の映像を撮影する。ビデオカメラ１３により撮影された映像は、ＰＣ２のキャプチャ部１６に送出される。キャプチャ部１６は、現実空間の映像をキャプチャして画像合成部１７に送出する。
【００２２】
画像合成部１７では、現実世界の映像に仮想空間のＣＧを重畳して、ＨＭＤ１の映像表示部１４に送出する。映像表示部１４では、複合現実空間の映像、即ち現実世界の映像とＣＧ画像とが合成された映像を表示し、観察者２１はその映像を見ることができる。
【００２３】
以下、図２〜６を参照して、具体的な利用方法について説明する。図２、３に示すように、ＨＭＤ１を被った観察者２１が、現実空間上にある机６の上に載っているボタン３を操作しようとしている。しかし、複合現実空間上では、観察者２１とボタン３の間に仮想空間上のＣＧオブジェクト４が存在しているとする。仮想空間上のＣＧオブジェクト４は不透明なオブジェクトであり、観察者２１は仮想空間上のＣＧオブジェクト４に邪魔されて、現実空間上のボタン３を見ることができない。
【００２４】
図４には、図３の状態で観察者２１が見る映像を示す。仮想空間上のＣＧオブジェクト４を不透明のまま現実世界の映像に重畳すると、図４に示すように現実空間上のボタン３が仮想空間上のＣＧオブジェクト４に隠れて見えない。
【００２５】
そこで、図５に示すように、ＣＧ透明化部１９にて仮想空間上のＣＧオブジェクト４を透明化する。図５は、図３の状態から仮想空間上のＣＧオブジェクト４を透明化しただけで他のものは同じ状況である。これにより、観察者２１が見る映像は、図６に示すように、透明化された仮想空間上のＣＧオブジェクト５の先に現実空間上のボタン３が見えるようになる。
【００２６】
（その他の実施形態）
上述した実施形態の機能は、コンピュータがコンピュータプログラムを実行することによっても実現される。また、コンピュータプログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体又はかかるプログラムを伝送するインターネット等の伝送媒体も本発明の実施形態として適用することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。上記のコンピュータプログラム、記録媒体、伝送媒体及びコンピュータプログラムプロダクトは、本発明の範疇に含まれる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００２７】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【００２８】
【図１】実施形態の複合現実感システムの概略構成を示す図である。
【図２】ＨＭＤを被った観察者が現実空間上にある机の上に載っているボタンを操作しようとしている状態を示す図である。
【図３】ＨＭＤを被った観察者が現実空間上にある机の上に載っているボタンを操作しようとしている状態を示す図である。
【図４】観察者が見る映像を説明するための図である。
【図５】ＨＭＤを被った観察者が現実空間上にある机の上に載っているボタンを操作しようとしている状態を示す図である。
【図６】観察者が見る映像を説明するための図である。
【符号の説明】
【００２９】
１    ＨＭＤ
２    ＰＣ
３    現実空間上のボタン
４    仮想空間上のＣＧオブジェクト
５    透明化された仮想空間上のＣＧオブジェクト
６    机
１２  位置姿勢センサ
１３  ビデオカメラ
１４  映像表示部
１５  位置姿勢算出部
１６  キャプチャ部
１７  画像合成部
１８  ＣＧ作成部
１９  ＣＧ透明化部
２１  観察者
【図１】
2005128877.tif 000003
【図２】
2005128877.tif 000004
【図３】
2005128877.tif 000005
【図４】
2005128877.tif 000006
【図５】
2005128877.tif 000007
【図６】
2005128877.tif 000008