(57)【特許請求の範囲】
【請求項１】
所定の視線位置で現実の映像を取得する現実映像撮影手段と、
前記所定の視線位置を検出する視線位置検出手段と、
前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成手段と、
前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示手段とを備える画像処理装置において、
複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定手段と、
前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別手段とを備え、
前記映像表示手段は、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする画像処理装置。
【請求項２】
前記ＣＧ映像位置の有効領域を設定する有効ＣＧ映像位置領域設定手段と、
前記重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出手段と、
前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にあるか否かを判別する他の判別手段とを備え、
前記映像表示手段は、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にないときは、当該検出されたＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする請求項１記載の画像処理装置。
【請求項３】
所定の視線位置で現実の映像を取得する現実映像撮影工程と、
前記所定の視線位置を検出する視線位置検出工程と、
前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成工程と、
前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示工程とを備える画像処理方法において、
複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定工程と、
前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別工程とを備え、
前記映像表示工程は、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする画像処理方法。
【請求項４】
前記ＣＧ映像位置の有効領域を設定する有効ＣＧ映像位置領域設定工程と、
前記重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出工程と、
前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にあるか否かを判別する他の判別工程とを備え、
前記映像表示工程は、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にないときは、当該検出されたＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする請求項３記載の画像処理方法。
【請求項５】
コンピュータに画像処理方法を実行させるためのプログラムにおいて、
所定の視線位置で現実の映像を取得する現実映像撮影モジュールと、
前記所定の視線位置を検出する視線位置検出モジュールと、
前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成モジュールと、
前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示モジュールと、
複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定モジュールと、
前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別モジュールとを備え、
前記映像表示モジュールは、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、現実空間の映像と、３次元的にモデリングされたコンピュータグラフィックス（以下「ＣＧ」という。）によって生成された映像とを重畳し、且つ両者の映像を位置合わせしつつ表示することができる画像処理装置及び方法、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、現実空間の映像と、三次元モデリングされたＣＧ映像によって生成された映像とを重畳し、且つ両者の映像を位置合わせしつつ表示して、あたかも現実の世界の中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができる複合現実感提示装置がある。この装置は、現実の映像を撮影するための現実映像撮影手段（例えば、ビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成手段と、両者を合成して表示することのできる映像表示手段（例えば、ヘッドマウントディスプレイ（ＨＭＤ）又はモニタ）から成る。ここで、映像表示手段は、現実映像撮影手段の視線位置が変わってもＣＧ映像と現実の映像を正しい位置関係で表示するようになっており、現実映像撮影手段は、視線位置や視線方向を検出するための視線位置姿勢検出手段（例えば、位置姿勢センサ）を備えている。
【０００３】
ＣＧ映像生成手段は、三次元モデリングされたＣＧ映像を現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置や視線方向から観察されたものとしてＣＧ映像をレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置や視線方向から観察した場合でも、現実空間の中に正しくＣＧ映像の対象が置かれているような映像を表示することができる。
【０００４】
また、ＣＧ映像を出現させたい場所にもさらなる位置姿勢検出装置を取り付け、そこから得られた位置にＣＧ映像を出現させることも行われている。例えば、手に位置姿勢検出装置（位置姿勢センサ）を取り付け、そのセンサの位置にＣＧ映像を生成することによって、あたかも手の上に常にＣＧ映像の対象が乗っているように、即ち手をどのように動かしても手の上にＣＧ映像が乗っているような映像を表示することができる。
【０００５】
現実空間の撮影対象を撮影する現実映像撮影手段としてのビデオカメラは、その視線方向にある映像を撮影し、撮影された映像データはメモリ中にキャプチャするようになっている。
【０００６】
現実の映像とＣＧ映像とを合成して表示する映像表示装置としては、例えばＨＭＤが用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、観察者がその方向を向いたときのＣＧ映像の表示も行えるため、観察者の没入感を高めることができる。
【０００７】
位置姿勢検出手段としては、磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ、又はビデオカメラが取り付けられているＨＭＤに取り付ることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置及び姿勢を検出するものであり、米国ポヒマス（PolhemuＳ）社の製品FAＳTRAKなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（ローリング、ピッチング、ヨーイング）をリアルタイムに検出する装置である。
【０００８】
上記の構成により、観察者は、ＨＭＤを通じて現実の映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出手段（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ映像を生成し、これを現実の映像に重畳して表示する。
【０００９】
また、観察者を複数設けることも可能である。現実空間を撮影するビデオカメラと表示装置（ＨＭＤ等）、位置姿勢センサを観察者数だけ用意し、夫々の観察者の視点から現実空間の撮影して現実の映像とＣＧ映像の生成を行い、これらを合成して、夫々の観察者に表示すればよい。
【００１０】
【発明が解決しようとしている課題】
しかしながら、上記従来の複合現実感提示装置では、視線位置や視線方向（姿勢）を検出するための視線位置姿勢センサから得られる値に基づいてＣＧ映像をレンダリングしており、これらの値に誤差があると、生成されるすべてのＣＧ映像の位置がずれて、誤差の分だけずれた位置や方向から見たＣＧ映像が生成される。
【００１１】
また、視線位置姿勢センサに誤差が少ない状態であっても、ＣＧ映像を出現させたい場所を検出するために設置したＣＧ映像位置姿勢センサに誤差があると、その位置に出現させようとしたＣＧ映像の位置や方向がずれる。
【００１２】
このような位置姿勢センサから得られる値には、一般的に多かれ少なかれ誤差が含まれ、例えば、磁気方式による位置姿勢センサは、位置姿勢が検出できる領域が磁気発信機を中心とした空間領域に限られており、さらにその領域の中であっても、磁気発信機から受信機（センサ）が離れるほど検出誤差が大きい。そのため、観察位置、即ち現実映像を撮影するためのカメラの位置が発信機の位置から遠くなればなるほど、その位置姿勢センサは発信機から遠くなり、結果として視線位置姿勢の値に誤差が多くなる。ＣＧ映像を出現させる位置に位置姿勢センサを置いている場合は、観察者位置が発信機の位置に近くて誤差が少ない範囲から観察しているとしても、ＣＧ映像を出現させる位置が発信機位置から遠くなると位置姿勢センサの誤差が大きくなり、結果としてＣＧ映像が現れる位置にずれが生じる。
【００１３】
従来の複合現実感提示装置では、観察者の移動やＣＧ映像位置の移動によって位置姿勢センサの誤差が大きくなったときでもＣＧ映像描画を行ってしまうため、センサの誤差によってＣＧ映像と現実空間の位置あわせがずれてしまったような、例えば、手の上にあるように計画されたＣＧ映像表示が、手の上でないところに表示されるような不自然な映像であってもそのまま表示してしまうという問題がある。現実空間との位置あわせが不要なバーチャルリアリティ（Virtual Riality）システム（現実の映像がなく、ＣＧ映像のみを表示するシステム）の場合は、少々の誤差があってもさほど不自然でないため大きな問題とならないが、複合現実感システムの場合は現実物体との高精度の位置あわせを必要とするため、位置姿勢センサの有効測定領域内で生じるような少々の誤差であっても映像が不自然になってしまい、実用に耐えなくなる場合がある。
【００１４】
また、例えば、視線位置に誤差がある場合はＣＧ映像すべての位置あわせに誤差が出るが、ＣＧ映像位置姿勢に誤差がある場合はそのＣＧ映像の描画に誤差が出るだけであるように、ＣＧ映像の位置姿勢センサに誤差が大きくなった場合と、視線位置姿勢センサの誤差が大きくなった場合とでは、発生する現象が異なり、夫々の場合に好適な対処をするシステムは存在しない。
【００１５】
本発明の目的は、不自然な映像の表示を防止することができる画像処理装置及び方法、並びにプログラムを提供することにある。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の画像処理装置は、所定の視線位置で現実の映像を取得する現実映像撮影手段と、前記所定の視線位置を検出する視線位置検出手段と、前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成手段と、前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示手段とを備える画像処理装置において、複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定手段と、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別手段とを備え、前記映像表示手段は、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする。
【００１７】
請求項２記載の画像処理装置は、請求項１記載の画像処理装置において、前記ＣＧ映像位置の有効領域を設定する有効ＣＧ映像位置領域設定手段と、前記重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出手段と、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にあるか否かを判別する他の判別手段とを備え、前記映像表示手段は、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にないときは、当該検出されたＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする。
【００１８】
上記目的を達成するために、請求項３記載の画像処理方法は、所定の視線位置で現実の映像を取得する現実映像撮影工程と、前記所定の視線位置を検出する視線位置検出工程と、前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成工程と、前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示工程とを備える画像処理方法において、複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定工程と、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別工程とを備え、前記映像表示工程は、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする。
【００１９】
請求項４記載の画像処理方法は、請求項３記載の画像処理方法において、前記ＣＧ映像位置の有効領域を設定する有効ＣＧ映像位置領域設定工程と、前記重畳すべきＣＧ映像の位置を検出するＣＧ映像位置検出工程と、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にあるか否かを判別する他の判別工程とを備え、前記映像表示工程は、前記検出されたＣＧ映像の位置が前記設定されたＣＧ映像位置の有効領域内にないときは、当該検出されたＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする。
【００２０】
上記目的を達成するために、請求項５記載のプログラムは、コンピュータに画像処理方法を実行させるためのプログラムにおいて、所定の視線位置で現実の映像を取得する現実映像撮影モジュールと、前記所定の視線位置を検出する視線位置検出モジュールと、前記検出された視線位置に応じたＣＧ映像を生成するＣＧ映像生成モジュールと、前記生成されたＣＧ映像を前記取得された現実映像に重畳して表示装置に表示する映像表示モジュールと、複数の位置で囲まれる前記視線位置の有効領域を設定する有効視線位置領域設定モジュールと、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にあるか否かを判別する判別モジュールとを備え、前記映像表示モジュールは、前記検出された視線位置が前記複数の位置で囲まれる前記視線位置の有効領域内にないときは、前記ＣＧ映像を前記現実映像に重畳せず、前記現実映像のみを表示することを特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態に係る画像処理（複合現実感提示）装置を図を用いて詳述する。
【００２２】
図１は、本発明の実施の形態に係る画像処理（複合現実感提示）装置の概略構成を示すブロック図である。
【００２３】
図１において、本発明の実施の形態に係る複合現実感提示装置は、ＣＰＵ１０１、メモリ１０３、メモリ１０４、位置姿勢センサ本体１０５ａ、ヘッドマウントディスプレイ（ＨＭＤ）１０６、及びビデオカメラ１０７を有し、これらは計算機バス１０２を介して互いに接続されている。また、位置姿勢センサ本体１０５ａには、位置姿勢センサ１０５ｂ，１０５ｃ，１０５ｄが接続され、これらのうち、位置姿勢センサ１０５bはビデオカメラ１０７の視線位置姿勢を検出するためにＨＭＤ１０６に取付けられている。位置姿勢センサ１０５c，１０５dはどちらもＣＧ映像位置姿勢検出用のものである。
【００２４】
メモリ１０３とメモリ１０４とはハード構成を同じくするが、メモリ１０３は、後述する図２の処理を実行するプログラムとして、視線位置姿勢検出モジュール１１０、現実映像モジュール１１１、視線位置有効判定モジュール１１２、ＣＧ映像位置姿勢検出モジュール１１３、ＣＧ映像位置有効判定モジュール１１４、ＣＧ映像生成モジュール１１５、映像表示モジュール１１６、有効視線位置領域設定モジュール１１７、及び有効ＣＧ映像位置領域設定モジュール１１８を格納しており、メモリ１０４は、上記プログラム中で使用されるデータ領域として、センサ有効領域中心データ領域１２０、映像メモリ領域１２１、視線位置姿勢データ領域１２２、ＣＧ映像位置姿勢データ領域１２３、有効視線位置データ領域１２４、有効ＣＧ映像位置データ領域１２５、視線位置距離データ領域１２６、ＣＧ映像位置距離データ領域１２７を有する。
【００２５】
図２は、図１の複合現実感提示装置によって実行される映像表示処理のフローチャートである。
【００２６】
図２において、まず、視線位置姿勢検出モジュール１１０によって、従来から用いられている技術、例えば磁気センサ等を用いてビデオカメラ１０７の視線の３次元位置（Ｘ，Ｙ，Ｚ）及び姿勢（ローリング、ピッチング、ヨーイング）を検出して、ビデオカメラ１０７の位置及び姿勢データをメモリ１０４の視線位置姿勢データ領域１２２に書き込み（ステップＳ２０１）、次いで、現実映像撮影モジュール１１１によって、ビデオカメラ１０７で撮影された映像をキャプチャし、現実空間の映像（現実の映像）をメモリ１０４の映像メモリ領域１２１に書き込む（ステップＳ２０２）。
【００２７】
続くステップＳ２０３では、後述する図３の視線位置有効判定モジュール１１２によって、検出されたビデオカメラ１０７の視線位置が有効領域内にあるか否かを判別し、視線位置が有効領域内にあるときは、ステップＳ２０４に進み、ＣＧ用の位置姿勢センサの数を数えるための正の整数からなる変数Ｎを１に初期化する（ステップＳ２０４）。本実施の形態では、位置姿勢センサの数は、位置姿勢センサ１０５ｃ，１０５ｄの２つである。
【００２８】
次いで、ＣＧ映像位置姿勢検出モジュール１１３によって、位置姿勢センサ１０５ｃ，１０５ｄを用いて第Ｎ番目のＣＧ映像を表示すべき位置姿勢を検出し、メモリ１０４中のＣＧ映像位置姿勢データ領域１２３に格納する（ステップＳ２０５）。ＣＧ映像位置姿勢検出モジュール１１３は前述した視線位置姿勢検出モジュール１１０と構成が同じである。
【００２９】
ステップＳ２０６では、後述する図４のＣＧ映像位置有効判定モジュール１１４によって、検出されたＣＧ映像位置が有効領域内にあるか否かを判別し、ＣＧ映像位置が有効領域内にあるときは、ＣＧ映像生成モジュール１１５によって、視線位置姿勢データ領域１２２のデータとＣＧ映像位置姿勢データ領域１２３のデータに基づいて、３次元モデリングされた第Ｎ番目のＣＧ映像を映像メモリ領域１２１に重ね描きして（ステップＳ２０７）、ステップＳ２０８に進む。一方、ステップＳ２０６の判別の結果、ＣＧ映像位置が有効領域内になければ、ステップＳ２０７をスキップして、ステップＳ２０８に進む。
【００３０】
ＣＧ映像生成モジュール１１５は、ＣＧ映像を、ＣＧ映像位置姿勢データ領域１２３のデータが示す位置姿勢に置かれたものを視線位置姿勢データ領域１２２のデータが示す視線から観察したようにレンダリングする。映像メモリ領域１２１には、すでにステップＳ２０３において現実映像撮影モジュール１１１によって現実空間の映像が書き込まれており、ＣＧ映像はこの上に重ねて描画されることになる。
【００３１】
続くステップＳ２０８では、変数Ｎが１だけインクリメントされ、次のステップＳ２０９で、変数Ｎが２（ＣＧ映像の数）以下であるか否かを判別し、２以下であるときは、ステップＳ２０５以降の処理を繰り返す一方、２を超えるときは、ステップＳ２１０に進む。
【００３２】
ステップＳ２０３の判別の結果、視線位置が有効領域内にないときは、ステップＳ２０４以降の処理（第Ｎ番目のＣＧ映像の映像メモリ領域への格納）を実行することなく、直ちにステップＳ２１０に進む。
【００３３】
続くステップＳ２１０では、映像表示モジュール１１６によって、映像メモリ領域１２１に書き込まれた映像をＨＭＤ１０６のフレームメモリに書き込み、実際の表示を行う。
【００３４】
次いで、ステップＳ２１１では全体の処理を終了するか否かを判別し、終了しない場合は再びステップＳ２０１以降の処理を繰り返す。処理を繰り返すことによってビデオカメラ１０７から次々と現実映像をキャプチャし、これにＣＧ映像を重ね書きし、表示するというサイクルを連続して行うことになる。
【００３５】
図２の処理によれば、位置姿勢センサ１０５ｃ，１０５ｄの視線位置が有効領域内にないときは（ステップＳ２０３でＮＯ）、全てのＣＧ映像を描画することなく現実映像のみをＨＭＤに表示し（ステップＳ２１０）、ＣＧ映像位置が有効領域内にないときは（ステップＳ２０６でＮＯ）、そのＣＧ映像のみの描画を停止し且つ他のＣＧ映像を描画する（ステップＳ２０６〜Ｓ２０７）ので、不自然な映像の表示を防止することができる。
【００３６】
図３は、図２のステップＳ２０３における視線位置有効判定モジュール１１２のフローチャートである。
【００３７】
メモリ１０４の有効視線位置データ領域１２４には、事前に、有効視線位置領域設定モジュール１１７によってビデオカメラ１０７の視線位置の有効領域の値が記録されているものとする。また、メモリ１０４のセンサ有効領域中心データ領域１２０には、位置姿勢センサの有効領域の中心となる座標（Ｘ，Ｙ，Ｚ）が格納されているものとする。
【００３８】
有効視線位置データ領域１２４のデータは、例えば、センサ有効領域中心からのビデオカメラ１０７の視線位置の有効距離の値であり、この場合１つの数値となる。
【００３９】
図３において、まず、メモリ１０４の視線位置姿勢データ領域１２２のデータとセンサ有効領域中心データ領域１２０のデータから、ビデオカメラ１０７の視線位置とセンサ有効領域中心の間の距離を計算し、メモリ１０４の視線位置距離データ領域１２６に格納する（ステップＳ３０１）。
【００４０】
次いで、視線位置距離データ領域１２６のデータが有効視線位置データ領域１２４のデータ未満であるか否かを判別し（ステップＳ３０２）、ビデオカメラ１０７の視線位置距離が有効視線位置距離未満であるときは、視線位置が有効領域内にあると判定し（ステップＳ３０３）、視線位置距離が有効視線位置距離以上であるときは、有効領域内にないと判定して（ステップＳ３０４）、本処理を終了する。
【００４１】
有効視線位置データ領域１２４が保持するデータは、本実施の形態に挙げたようなセンサ有効領域中心からの距離に限らず、特定の領域を示す複数の位置の組などであってもよい。その場合は、視線位置有効判定モジュール１１２は、視線位置姿勢がその複数の位置で囲まれる領域内にあるか否かを判定することとなる。
【００４２】
図４は、図２のステップＳ２０６におけるＣＧ映像位置有効判定モジュール１１４のフローチャートである。
【００４３】
メモリ１０４の有効ＣＧ映像位置データ領域１２５には、事前に、有効ＣＧ映像位置領域設定モジュール１１８によって、ＣＧ映像位置の有効領域の値が格納されているものとする。また、メモリ１０４のセンサ有効領域中心１２０には、位置姿勢センサの有効領域の中心となる座標（Ｘ，Ｙ，Ｚ）が格納されているものとする。
【００４４】
有効ＣＧ映像位置データ領域１２５は、例えば、センサ有効領域中心からのＣＧ映像位置の有効距離の値であり、この場合は１つの数値となる。
【００４５】
図４において、ステップＳ４０１では、メモリ１０４のＣＧ映像位置姿勢データ領域１２３のデータとセンサ有効領域中心データ領域１２０のデータから、ＣＧ映像位置とセンサ有効領域中心の間の距離を計算し、メモリ１０４のＣＧ映像位置距離データ領域１２７に格納する（ステップＳ４０１）。
【００４６】
次いで、ＣＧ映像位置姿勢データ領域１２３のデータが有効ＣＧ映像位置データ領域１２５のデータ未満であるか否かを判別し（ステップＳ４０２）、ＣＧ映像位置距離が有効ＣＧ映像位置距離未満であるときは、ＣＧ映像位置が有効領域内にあると判定し（ステップＳ４０３）、ＣＧ映像位置距離が有効ＣＧ映像位置距離以上であるときは、有効領域内にないと判定して（ステップＳ４０４）、本処理を終了する。
【００４７】
上記実施の形態において、視線位置姿勢やＣＧ映像位置姿勢を検出するための位置姿勢センサ１０５b，１０５c，１０５dがセンサの有効領域外に出てしまうと、センサが正しい値を検出できなくなって検出値が不定になるため、有効視線位置データ領域１２４と有効ＣＧ映像位置データ領域１２５はセンサの有効領域内にするのが普通である。また、位置姿勢センサ１０５ｂ〜１０５ｃは有効領域の境界近傍で検出値に誤差が多く含まれる場合あるため、有効視線位置領域と有効ＣＧ映像位置領域は、位置姿勢センサ１０５ｂ〜１０５ｃの検出値に基づいて描画するＣＧ映像が不自然にならないように位置姿勢センサの設置状況等に応じて領域を設定するのがよい。
【００４８】
また、位置姿勢センサ１０５ｂ〜１０５ｃの１つ１つに個別に有効領域を設定してもよく、この場合は、メモリ１０４の有効ＣＧ映像位置データ領域１２５を位置姿勢センサ毎に複数用意すればよい。
【００４９】
また、本発明は、前述した実施の形態を実現するソフトウェアのプログラムモジュールを記憶した記憶媒体を、システム又は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、記憶媒体から読み出されたプログラムモジュール自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。
【００５０】
上記実施の形態では、プログラムモジュールはメモリ１０３に格納されるが、プログラムモジュールを供給する記憶媒体としては、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ、磁気テープ、不揮発性のメモリカード等の様々なものが考えられるが、特定のものに限定する必要はなく、上記プログラムを記憶できるものであればよい。
【００５１】
【発明の効果】
本発明によれば、検出した現実の映像の視線位置が、設定された現実の映像の視線位置の有効領域内にないときは、視線位置に応じて生成されたＣＧ映像を現実映像に重畳せず、現実映像のみを表示するので、不自然な映像が表示されることを防止することができる。
さらに、本発明によれば、複数の位置で囲まれる視線位置の有効領域を設定し、検出された視線位置が複数の位置で囲まれる有効領域内にあるか否かを判別するので、有効領域を空間的に任意に設定することができる。
【００５２】
請求項２記載の画像処理装置及び請求項４記載の画像処理方法によれば、検出されたＣＧ映像の位置が、設定されたＣＧ映像位置の有効領域内にないときは、当該検出されたＣＧ映像を現実映像に重畳せず、現実映像のみを表示するので、そのＣＧ映像の描画を停止し且つ他のＣＧ映像を描画することにより不自然な映像の表示を防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像処理（複合現実感提示）装置の概略構成を示すブロック図である。
【図２】図１の複合現実感提示装置によって実行される映像表示処理のフローチャートである。
【図３】図２のステップＳ２０３における視線位置有効判定モジュール１１２のフローチャートである。
【図４】図２のステップＳ２０６におけるＣＧ映像位置有効判定モジュール１１４のフローチャートである。
【符号の説明】
１０１  ＣＰＵ
１０２  計算機バス
１０３，１０４  メモリ
１０５ａ  位置姿勢センサ本体
１０５ｂ、１０５ｃ、１０５ｄ  位置姿勢センサ
１０６  ＨＭＤ
１０７  ビデオカメラ
【図１】
0003848092.tif 000002
【図２】
0003848092.tif 000003
【図３】
0003848092.tif 000004
【図４】
0003848092.tif 000005