(57)【要約】本発明は、ある場面を仮想シナリオと融合させるためのシステム（１００）と方法に関するものである。本システムは、第一の視点からの場面を対象とする少なくとも一つの画像を取得するよう構成された画像取得手段と、該取得画像に基づいて、少なくとも一つの画像表現を生成するよう構成された画像表現生成部と、を備える。本システムはさらに、仮想シナリオを生成するよう構成されたゲームエンジン部（１４０）と、仮想映像シーケンスを提供するために、生成された仮想シナリオに基づいて、少なくとも一つの画像表現を適合させるよう構成された画像処理部（１５０）を備える。
2012513059.tif 000002
【特許請求の範囲】
【請求項１】
ある場面を仮想シナリオと融合するためのシステム（１００）であって、
−  第一の視点からの場面を対象とする少なくとも一つの画像を取得するよう構成された画像取得手段（２１１、２２１）と、
−  前記取得画像に基づき、少なくとも一つの画像表現を生成するよう構成された画像表現生成部（２１７）と、を備え、
該システムは、
−  仮想シナリオを生成するよう構成されたゲームエンジン部（１４０；４４０）と、
−  その場面の表現と融合された仮想シナリオを含む仮想映像シーケンスを提供するために、前記生成された仮想シナリオに基づいて少なくとも一つの画像表現を適合させるよう構成された画像処理部（１５０；６５０）と、
−  前記仮想映像シーケンスを表示するよう構成された表示部（１６０）と、
を備えることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、
該システムは、
−  第二の視点から見た場面の表現を形成するために、前記画像表現生成部により生成された各画像表現を、第二の視点と関連づけられた画像表現にワープさせるワーピング部（３３３）を備え、
画像処理部（１５０；６５０）は、第二の視点から見た場面についてのワープされた表現と融合した仮想シナリオを含む仮想映像シーケンスを提供するために、前記生成された仮想シナリオに基づいて、ワープされた画像表現を適合させるよう構成されることを特徴とするシステム。
【請求項３】
請求項１または請求項２に記載のシステムであって、
該ゲームエンジン部（１４０；４４０）は、画像表現の座標系に位置を合わせた座標系において、該仮想シナリオを生成するよう構成されることを特徴とするシステム。
【請求項４】
前記各項のいずれか一つに記載のシステムであって、    
該ゲームエンジン部（１４０；４４０）は、少なくとも一つの仮想オブジェクトを生成するよう構成されることを特徴とするシステム。
【請求項５】
前記各項のいずれか一つに記載のシステムであって、    
該ゲームエンジン部（１４０；４４０）は、戦術的シナリオに従って仮想オブジェクトのシーケンスを生成するよう構成されることを特徴とするシステム。
【請求項６】
前記各項のいずれか一つに記載のシステムであって、
該システムは、前記第一の視点と相関する前記第二の視点における位置およびまたは姿勢情報を推定するための位置／姿勢推定部（３３２）を備えることを特徴とするシステム。
【請求項７】
前記各項のいずれか一つに記載のシステムであって、
該表示部（１６０）は、照準として機能することを特徴とするシステム。
【請求項８】
請求項７に記載のシステムであって、
該表示部（１６０）は、武器の照準器として機能することを特徴とするシステム。
【請求項９】
請求項７または請求項８に記載のシステムであって、
該表示部（１６０）は、照準器に形成されることを特徴とするシステム。
【請求項１０】
請求項１から８のいずれかに記載のシステムであって、
該表示部（１６０）は、コンピュータ画面であることを特徴とするシステム。
【請求項１１】
仮想シナリオ生成装置であって、
−  第一の視点に関する場面の表現を提供し、深さマップデータと、対応するテクスチャデータを備える手段（６５３、３３４）と、
−  仮想シナリオを生成するよう構成されたゲームエンジン部（１４０）と、
−  該仮想シナリオを、場面の表現と融合させるために、前記生成された仮想シナリオに基づいて深さマップを適合させるよう構成された画像処理部（１５０）と、
−  場面の表現と融合された仮想シナリオを含めた仮想映像シーケンスを表示するよう構成された表示部（１６０）と、
を備えることを特徴とする仮想シナリオ生成装置。
【請求項１２】
請求項１１に記載の仮想シナリオ生成装置は、第二の視点から見た場面の表現を形成するために、第二の視点に対応するよう前記深さマップデータをワープさせるためのワーピング部（３３３）をさらに備え、
画像処理部（１５０；６５０）は、仮想シナリオを、第二の視点から見た場面についての表現と融合させるよう構成されることを特徴とする仮想シナリオ生成装置。
【請求項１３】
ある場面を仮想シナリオと融合する方法であって、
該方法は、
−  深さマップデータとテクスチャデータを含む表現であって、第一の視点に関する前記場面の表現を提供するステップ（８８３）と、
−  ゲームエンジン部によって仮想シナリオを生成するステップ（８８５）と、
−  前記生成された仮想シナリオに基づいて、深さマップデータを適合させるステップ（８８６）と、
−  前記適合された深さマップデータに基づいて、かつ、前記テクスチャデータに基づいて、仮想映像シーケンスを形成するステップ（８８７）と、を備えることを特徴とする方法。
【請求項１４】
請求項１３に記載の方法であって、
仮想シナリオの生成（８８５）は、少なくとも一つの仮想オブジェクトに対して、深さマップデータおよびまたはテクスチャデータを形成することを含むことを特徴とする方法。
【請求項１５】
請求項１３または１４に記載の方法はさらに、第二の視点から見た場面の表現を提供するステップ（８８４）を備え、該ステップは、第二の視点に対応するために、場面の表現について、少なくともその深さマップデータをワープさせることを含み、
適合ステップ（８８６）は、ワープされた深さマップデータを適合させることを含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実世界の場面と仮想シナリオを、全体として融合するためのシステムおよび方法に関する。特に、画像表現生成に基づいて融合を行うことに関する。
【背景技術】
【０００２】
例えば、複合現実感表示システムにおいては、現実世界と仮想世界は三次元的に適合した形式で合成されるが、仮想オブジェクトが深さ方向の配列と矛盾しない形にするためには、現実オブジェクトと仮想オブジェクトを並べる深さ（前後）方向の配列が正しく認識されなければならない。このために、現実世界の深さ情報（三次元情報）を取得しなければならない。
【０００３】
ＥＰ０９５５６０６には、ある場面の深さ情報を取得するための深さ画像測定装置について記載している。深さ画像測定装置は、第一の視点における場面の画像を入力する手段と、当該画像入力手段により第一の視点で入力された場面画像から第一の深さ画像を生成するための深さ画像生成手段を備える。この装置はさらに、第一の視点の位置および姿勢から見た第二の視点での位置および姿勢を推定するための位置／姿勢推定手段を備える。この装置はさらに、深さ画像生成手段により生成された第一の深さ画像を、位置／姿勢推定手段により推定された第二の視点における第二の深さ画像へとワープ（warp）させるワーピング手段（warping means）を備える。
【発明の概要】
【０００４】
本発明は、当業において周知の技術をさらに発展させることを目的の一つとする。
【０００５】
これは、一例として、ある場面を仮想シナリオと融合するためのシステムにより達成される。本システムは、第一の視点からの場面を対象とする少なくとも一つの画像を取得するよう構成された画像取得手段と、該取得画像に基づき、少なくとも一つの画像表現を生成するよう構成された画像表現生成部を備える。本システムはさらに、仮想シナリオを生成するよう構成されたゲームエンジン部と、その場面の表現と融合された仮想シナリオを含む仮想映像シーケンスを提供するために、生成された仮想シナリオに基づいて少なくとも一つの画像表現を適合させるよう構成された画像処理部と、該仮想映像シーケンスを表示するよう構成された表示部とを備える。
【０００６】
本システムは、実環境または仮想的に作り出された環境に関する仮想映像シーケンスを作ることを目的として、例えば軍事訓練において使用することが可能である。製作された仮想映像シーケンスは、仮想視点に配置された、またはリモート位置にある表示部に表示される。本システムは、仮想シナリオを作るよう構成されたゲームエンジンを備え、仮想シナリオは、現実的な方法で背景と融合されるので、兵士等に対して、目的がはっきりしたトレーングを提供することができる。
【０００７】
一例において、本システムは、画像表現生成部により生成された各画像表現を、第二の視点から見た場面の表現を形成するために、第二の視点と関連づけられた画像表現にワープさせるワーピング部を備える。画像処理部は、生成された仮想シナリオに基づいてワープされた画像表現を適合させ、第二の視点から見た場面のワープ表現と融合した仮想シナリオを含む仮想映像シーケンスを提供するよう構成される。周囲あるいは背景の実画像が撮られた場所での実際の視点周りのエリアで任意に仮想視点を選択することが可能なので、柔軟性が与えられる。
【０００８】
その他の実施例については、従属クレームによりその例示が説明される。
【０００９】
本発明はまた、ある場面を仮想シナリオと融合する方法に関連し、この方法は、
−  深さマップデータとテクスチャデータを含む表現であって、第一の視点に関する場面の表現を提供するステップと、
−  ゲームエンジン部によって仮想シナリオを生成するステップと、
−  生成された仮想シナリオに基づいて深さマップデータを適合させるステップと、
−  上記の適合させた深さマップデータに基づいて、かつ、上記テクスチャデータに基づいて、仮想映像シーケンスを形成するステップと、を備える。
【図面の簡単な説明】
【００１０】
【図１】図１は、融合された仮想オブジェクトを有する仮想映像シーケンスを提供するためシステムを示すブロック図である。
【図２】図２は、図１のシステムにおける第一の視点に関する画像データを提供するためのシステムを示すブロック図である。
【図３】図３は、図１のシステムにおける第二の視点に関する画像データを提供するためのシステムを示すブロック図である。
【図４】図４は、図１に示すシステムにおけるゲームエンジンを示すブロック図である。
【図５】図５は、仮想オブジェクトを示す概略図である。
【図６】図６は、図１に示すシステムにおける画像処理部を示すブロック図である。
【図７】図７は、一つの場面の表現を生成するための方法全体を示すフローチャートである。
【図８】図８は、融合されたオブジェクトを含む場面を表す仮想映像シーケンスを生成するための方法全体を示すフローチャートである。
【発明を実施するための形態】
【００１１】
図１において、現実世界の場面を仮想シナリオと融合させるためのシステム１００は、現実の視点に関する三次元画像データ用のメモリ１１０と、仮想視点に関する画像データを提供するためのシステム１３０と、ゲームエンジン１４０と、仮想オブジェクトを融合させるための画像処理部１５０と、融合された仮想オブジェクトを有する提供された仮想映像シーケンスを表示するための表示装置１６０を備える。現実視点に関する三次元画像データ用のメモリ１１０は、現実視点から見える場面の表現を格納するよう構成される。この表現は例えば、深さマップデータおよびテクスチャデータを含む。仮想視点に関する画像データを提供するためのシステム１３０は、仮想視点から見た仮想場面を形成するために、現実視点からの画像データをワープさせる。一例において、仮想場面は、例えば深さマップデータとテクスチャデータを含む表現として形成される。前提として、仮想視点のロケーションは、現実視点と周知の関係にあるものとする。ゲームエンジン１４０は、現実または仮想視点に関する深さマップデータと融合される仮想オブジェクトに関連するデータを生成するよう構成される。ゲームエンジンによって生成された仮想オブジェクトは、一例として、移動オブジェクトである。別の例において、生成された仮想オブジェクトは、静的なポップアップオブジェクトである。画像処理部１５０は、現実または仮想視点からの画像データを、ゲームエンジン１４０により生成された仮想オブジェクトと融合するよう構成される。融合されたデータは、表示装置１５０に送られる。表示装置は、一例として、武器の照準器に対応するものである。または、表示装置をコンピュータ画面として形成する。さらに別の例として表示装置は、ワイドスクリーン画像を表示するよう構成されたプロジェクタである。
【００１２】
一例として、画像処理部１５０は、所定の、または調節可能な視野に結びつけるために、提供されたデータを切り取るよう構成される。一例として、この視野は、規定種類の照準器の視野に一致するよう構成される。一例として、表示装置により表される視野は１０度である。他の例においては、視野は５度である。従って、システム１００は、例えば、比較的狭い視野を有する照準器を用いて地域を探索する訓練のためなど、訓練目的で使用することができる。一例として、この照準器の移動は、画像にマーキングをすることによって行うことができる。例えば、表示装置がコンピュータ画面である場合、マーキングはマウスやキーボード入力またはタッチスクリーン入力により行うことができる。
【００１３】
図２は、現実視点に関する三次元画像を提供するためのシステム２２０を示す。このシステム２２０は、図１で示した、現実世界の場面を仮想シナリオと融合するためのシステム１００内で使用されるものである。現実視点に関する三次元画像データを提供するためのシステム２２０は、現実視点に位置する第一画像取得部２１１を備える。第一画像取得部２１１は、例えば、第一画像取得部２１１の前面にある場面の画像を取得するよう構成される。また例えば、この場面が９０度以上や１８０度以上、あるいは一周３６０度を対象とするような広角である場合、第一画像取得部２１１は、各画像が全体の場面のサブパートを対象としている複数の画像を取得するために、その場面を走査するよう構成される。この例によれば、第一画像取得部２１１は、回転式プレート２１２の上に取り付けられる。制御部２１９は、回転式プレート２１２が複数の回転角度で回転するように制御するために、プレート２１２に連係したサーボ２１３を制御するよう構成される。一例として、この回転角度は予め定義されたものである。制御部２１９はさらに、複数の回転角度のそれぞれの角度において画像を取得するために、第一画像取得部２１１を制御するよう構成される。制御部２１９はさらにまた、現実視点にある第一画像取得部２１１のロケーションに関係するロケーションデータと各画像を対応づけるように構成される。例えば、ロケーションデータは、位置およびまたは姿勢情報を含む。一例において位置情報は、例えば、選択された座標系において与えられた現実視点に対する座標を含む。図示された例において、位置センサ２１４は、現実視点に対する座標を提供するために、現実視点と対応づけるように構成される。一例において、位置センサ２１４は、グローバル測地系における視点に対する座標を提供するよう構成されたＧＰＳ受信機である。姿勢情報は、一例において、上記の回転角度を備える。制御部２１９は、位置およびまたは姿勢情報に従った各取得画像をメモリ２１６に格納するよう構成される。場面を形成する画像または複数の画像は、背景画像とも呼ばれる。図示された例において、自身の方向を示す磁針方角等を提供するよう構成された第一画像取得部２１１に連係して、コンパス等の方向センサ２１５が構成される。
【００１４】
現実視点に関係する三次元画像データを提供するためのシステム２２０は、さらに第二画像取得部２２１を備える。第二画像取得部２２１もまた現実視点に位置するが、第一画像取得部２１１から周知の距離分はなれている。この距離は、例えば２メートルまたは１メートルである。従って、第二画像取得部２２１の座標は周知である。一例において、第一画像取得部２１１および第二画像取得部２２１は、垂直方向においてのみ距離をおいている。また一例において、第二画像取得部２２１は、第一画像取得部２１１と同期して動作するように制御部２１９により制御される。また別の例においては、第二画像取得部２２１は、第一画像取得部２１１と同期して動作するように構成されていない。
【００１５】
第二画像取得部２２１により取得された画像は、メモリ２１６に格納される。一例において、第二画像取得部２２１が第一画像取得部２１１に同期して回転していると仮定される場合、第二画像の各々は、第一画像取得部２１１により取得された対応する第一の画像ともにメモリ２１６に格納される。
【００１６】
また別の例において（図２に示されるように）、第二画像取得部２２１からの画像は、対応する位置情報およびまたは姿勢情報とともにメモリ２１６内に格納される。従って、制御部２１９は、上記のように、現実視点における第二画像取得部２２１のロケーションに関連するロケーションデータに、各々の画像を対応づけるように構成される。
また別の例において、例えば、これらの画像がロケーションデータと対応しない場合には、例えば画像内のオブジェクト認識に基づいて従来の画像処理技術を用いて、画像ペアを見つけ出す。
【００１７】
図示した例においては、ＧＰＳ受信機等の位置センサ２２４は、現実視点における第二画像取得部２２１に対する座標を提供するために、現実視点と対応づけて構成される。図示された例において、コンパス等の方向センサ２２５は、第二画像取得部２２１と連係して構成される。方向センサ２２５は、大域座標系と結びつけるために磁針方角等を提供するよう構成される。
【００１８】
また別の例において、本システムは単体の画像取得部を備え、この画像取得部は、まず、第一ロケーションからの場面の画像を取得し、その後に第二ロケーションからの場面の画像を取得する。一例において、第一および第二画像取得部は、デジタルスチルカメラまたは映像カメラ等のカメラである。また一例において、第一および第二画像取得部はステレオカメラに内蔵される。広角スクリーンを提供するために、ステレオカメラはプレート２１２または２２２上に搭載することができる。
【００１９】
上記のように、第一および第二画像取得部２１１、２２１は、一例において、ｚ方向すなわち高さ方向に離れて構成される。後続の画像処理における正確性を改善するために、少なくとも第三画像取得部を、第一および第二画像取得部との周知の関係において搭載することも可能である。第三画像取得部は、第一および第二画像取得部と同様の方法で画像を取得するよう構成される。この例によれば、少なくとも第一、第二および第三画像取得部は、水平面に構成される。別の例において、少なくとも第一、第二、第三画像取得部は、水平方向および垂直方向の両方に離れて設置される。第三の例において、少なくとも第一、第二、および第三画像取得部は、垂直方向に離れて設置される。複数の画像取得部を使用する代わりに、一つの画像取得部を使って、異なるロケーション間で移動させることも可能であることはいうまでもない。
【００２０】
二台よりも多くの画像取得部が提供される場合、その場面の各方向に対して（画像ペアではなく）画像セットが形成される。二つよりも多くの画像を含む画像セットを使用することが可能であっても、以下の説明は、各画像セット（またはペア）における二つの画像の例に関するものである。
【００２１】
第一および第二画像のペアが取得されると、各画像ペアは、画像表現生成部２１７において処理される。画像表現生成部２１７は、各画像ペアに対して深さマップを算出するよう構成される。深さマップを提供するために処理部により実行される計算についてはここでは詳細に説明しない。しかしながら、一般的に、お互いに周知の距離はなれて取得された、同じ場面についての二つの画像が与えられるので、画像内の異なるオブジェクトの距離は画像処理によって決定することができる。非常に離れているオブジェクトは、二つの画像において同じ位置に配置される一方で、画像取得部にとても近いオブジェクトは二つの画像内で同じ位置に配置されない。従って、二つの画像におけるオブジェクトのロケーションのずれによって、そのオブジェクトの画像取得装置からの距離を決定することができる。従って、画像表現生成部２１７は、画像内におけるオブジェクトまでの距離に関する情報を提供するために、二つの画像におけるオブジェクトのロケーションのずれに基づいて第一およびまたは第二画像の各々に対する深さマップを提供するよう構成される。一例において、画像における各ポイント（またはピクセル）に対して、深さ値を対応づける。別の例において、画像全体に分布しているポイント（ピクセル）のサブセットを、ある深さ値に対応づける。さらに拡張された例において（ここで図示されているように）、画像表現生成部２１７は、画像内で認識可能な一つまたは複数のオブジェクトまでの周知の距離に関する情報を使って、深さマップのデータを改善させるよう構成される。一例において、画像内の認識されたオブジェクトまでの距離は、認識可能なオブジェクトのロケーションについて局所的に格納された、または受信された情報に基づいて、かつ現実視点のロケーションについての知識に基づいて知ることができる。図示された例では、レーザー照準機（laser range finder）２１８は現実視点に配置される。レーザー照準器２１８は、狙いを定めたオブジェクトまでの距離を測定するよう構成される。画像表現生成部２１７は、距離情報を深さマップのデータと相関するように構成される。制御部２１９は、現実視点に関する画像データ用のメモリ１１０に対して、対応する深さマップに従って場面を構築するための第一およびまたは第二画像を表す画像データを入力するよう構成される（図１に示す）。上記から分かるように、一例において、画像データおよびまたは深さマップは、それぞれ位置およびまたは姿勢と対応づけられる。場面を構築する第一およびまたは第二画像データを表す画像データは、例えばテクスチャデータを含む。
【００２２】
図３において、仮想視点に関する画像データを提供するためのシステム３３０は、仮想視点に関するロケーション情報を入力するための入力部３３１と、現実視点に関する画像データ用のメモリ１１０からのデータを受信するよう構成されたインターフェース３３４と、当該現実視点と関連する仮想視点についての位置およびまたは姿勢情報を推定する位置／姿勢推定部３３２と、仮想視点から見た仮想場面を形成するために、前述の深さマップを適合させるよう構成されるワーピング部３３３と、を備える。インターフェース３３４越しに受信した、メモリ１１０からのデータは、上記のように、対応する深さマップとともに現実視点における場面を構築するための第一およびまたは第二画像を表す画像データを含み、さらにその場面を構築する画像に関係する位置及びまたは姿勢情報を含む場合もある。
【００２３】
入力部３３１は、図示された例において、仮想視点に対する位置情報を受け取るよう構成されたＧＰＳ受信機等の位置センサ３３６と接続されている。あるいは、位置データは、入力部３３１により手入力される。例えば、入力部は、表示装置１５０により表示される場面において位置をマークするよう構成されたコンピュータマウスまたはジョイスティックである。図示された例において、入力部３３１はさらに、仮想視点からの視野を判定する目安となる磁針方角を与えるように構成されたコンパス等の方向センサ３３７に接続される。位置／姿勢推定部３３２は、仮想視点の位置と現実視点の位置間の関係を決定するよう構成される。これに従って、位置／姿勢推定部３３２は、メモリ１１０から現実視点に関する位置データをフェッチし、かつ、入力部３３１からの、仮想視点の位置に関する位置データをインターフェース３３４越しに受信するよう構成される。一例において、現実および仮想視点に関する位置データは、ｘ、ｙおよびｚ座標で与えられる。位置／姿勢推定部３３２は、現実視点と仮想視点に関する位置データに基づいて、現実視点と仮想視点の間の相対距離を決定するよう構成される。位置／姿勢推定部３３２は、入力部３３１から姿勢情報を受信し、姿勢情報と仮想視点の位置に基づいて、仮想視点からの視野を決定するよう構成される。この決定された視野に基づいて、位置／姿勢推定部３３２は、決定した視野に該当する深さマップに対応づけられた画像を、メモリ１１０から一つまたは複数、選び出すよう構成される。
【００２４】
ワーピング部３３３は、位置／姿勢推定部３３２により選び出された画像の深さマップを処理するよう構成される。この処理は、現実視点に関する深さマップの、異なるオブジェクトまでの距離を、仮想視点から見たこれらのオブジェクトまでの距離に適合させることを含む。ワーピング部３３３は、仮想視点に関する深さマップを形成するよう構成され、ここで適合された距離が与えられる。
【００２５】
一例において、仮想視点のロケーションは継続的に移動している。本例示に従って、位置／姿勢推定部は、更新された位置およびまたは姿勢に関する入力部３３１からの情報に基づいて、メモリ１１０から新しい画像／深さマップを選び出すよう構成される。ワーピング部３３３は、更新された選定に基づいて、移動する仮想視点に対し深さマップを適合させるよう構成される。従って、仮想視点に対する深さマップは、仮想視点の移動に追従するように頻繁に更新することが可能である。一例において、この更新はリアルタイムに実行される。この仮想視点は例えば、兵士などの人物、またはタンク等の車両に対応づけることができる。
【００２６】
図４において、ゲームエンジン４４０は、仮想オブジェクトによってシナリオを生成するよう構成される。このシナリオは、自動的に生成されるか、またはオペレータとの対話で生成される。詳細には、ゲームエンジンは、現実視点に関する画像データを提供するよう構成されるシステム２２０、または、仮想視点に関する画像データを提供するよう構成されるシステム１３０のいずれかにより提供される画像上に重畳される仮想オブジェクトを形成するよう構成される。一例において、仮想オブジェクトはリアルタイムで形成される。別の例において、ゲームエンジン４４０は、ゲームエンジンの操作の訓練モードにおいて、仮想標的の形式で仮想オブジェクトを形成するよう構成される。ゲームエンジン４４０は、一例において、仮想オブジェクトが仮想戦闘部隊を含んでいる操作である場合、その戦闘モード等、操作の追加的または代替的なモードで動作するよう構成される。
【００２７】
ゲームエンジン４４０は、図４において、オペレータ・インターフェース４４１を備える。オペレータ・インターフェース４４１は、一例において、ゲームエンジン４４０の操作モードを選ぶための入力手段を備える。オペレータ・インターフェース４４１は、一例において、例えば仮想オブジェクトの種類、選択された仮想オブジェクトまでの距離、および選択された仮想オブジェクトの向きを選択するための手段を備える。一例において、この仮想オブジェクトは静止している。別の例において、この仮想オブジェクトは動いているように構成される。これに従って、このインターフェースは、一例において、動きのパターンを選択するための手段、または、例えばマップ上で指示することにより動きを自由に選択する手段を備える。このマップは例えば、オペレータ・インターフェースのタッチスクリーン上に形成される。このインターフェースにより入力された仮想オブジェクトについての情報は、仮想オブジェクト形成部４４２に与えられる。このインターフェースはまた、一例において、座標データを受け取るように構成される。このデータを使用することにより、ゲームエンジンによって提供された画像を、現実および仮想視点に関する画像データを提供するためのシステムによって使用される座標系に移すことができる。
【００２８】
仮想オブジェクト形成部４４２は、仮想オブジェクトの表現を座標データの形式で形成するよう構成される。仮想オブジェクトが動いている例においては、仮想オブジェクト形成部は、この座標データをリアルタイムで提供するよう構成することができる。仮想オブジェクトまたは複数オブジェクトの仮想を表している座標データは、画像処理部１５０に与えられる。
【００２９】
図５において、仮想オブジェクトは、Ａ，Ｂ，Ｃ，Ｄの数個のコーナーによって構築される。輪郭を構築するために、コーナーＡ，Ｂ，Ｃ，Ｄの間で線を引くことができる。輪郭の各コーナーは、座標に対応している。一例において、この座標は三次元座標系で与えられる。この座標は例えば、カーテシアン座標系である。またこの座標系は、一例において、横方向、縦方向、高さ方向のデータを提供するよう構成される。別の例において、この座標系は局所的なものである。例えば、座標系の原点を、仮想視点に配置することも可能である。
【００３０】
図６において、仮想映像シーケンスを提供するために、画像処理部６５０は、ゲームエンジン４４０により提供された仮想オブジェクトを、現実視点画像データシステム２２０または仮想視点画像データシステム１３０のいずれかにより提供された画像表現データに融合するよう構成される。画像処理部６５０は、上述の情報を受信するためのインターフェース６５３を備える。図示された例では、画像処理部６５０は、ゲームエンジンにより使用される座標系を、現実視点画像データシステム２２０および仮想視点画像データシステム１３０により使用される座標系と位置合わせするよう構成された位置合わせ部６５１を備える。ゲームエンジン４４０により提供された仮想オブジェクトに関する、位置合わせされた座標データは、現実視点画像データシステム２２０または仮想視点画像データシステム１３０からの画像データと、融合部６５２において融合される。融合部６５２は、仮想オブジェクトを、場面の画像上に重畳するよう構成される。ここで仮想オブジェクトは、その場面内のオブジェクトによって見えなくならないようにする。従って、融合部は、深さマップデータによって、仮想オブジェクトが背景と融合されている映像シーケンスを生成するよう構成される。この映像シーケンスにおいて、仮想オブジェクトは、背景にある現実オブジェクトの後ろ側に移動することができる。融合部６５２により提供される映像シーケンスは、表示装置１６０に与えられる。
【００３１】
図７において、画像表現を生成するための方法７７０は、場面の画像を取得する第一ステップ７７１と、深さマップデータとテクスチャデータ等を含む画像表現を生成する第二ステップ７７２を備える。
【００３２】
図８において、ある場面を仮想シナリオと融合するための方法８８０は、深さマップデータとテクスチャデータ等を含む、この場面の表現を提供する第一ステップ８８３を備える。場面の表現は現実世界の場面に基づくものである。この表現は、取得した画像を直接反映するものである。第二ステップ８８４において、第二の仮想視点と対応づけられた画像を反映するために、この表現はワープされる。詳細には、仮想視点は、歪みのない画像内のどこかにあり、この歪みのない画像が、仮想視点のロケーションに従ってゆがめられる。取得した場面に関する表現が要求される場合は、第二ステップは省略してもよい。
【００３３】
第三ステップ８８５において、ゲームエンジンによって、仮想シナリオが生成される。第四ステップ８８６において、生成された仮想シナリオに基づいて、表現が適合化される。第五ステップ８８７において、適合した表現に基づいて、かつ、テクスチャデータに基づいて、仮想映像シーケンスが形成される。
【００３４】
仮想シナリオの生成８８５は、一例として、少なくとも一つの仮想オブジェクトに対して、深さマップデータおよびまたはテクスチャデータを形成するステップを備える。
【図１】
2012513059.tif 000003
【図２】
2012513059.tif 000004
【図３】
2012513059.tif 000005
【図４】
2012513059.tif 000006
【図５】
2012513059.tif 000007
【図６】
2012513059.tif 000008
【図７】
2012513059.tif 000009
【図８】
2012513059.tif 000010
【手続補正書】
【提出日】平成23年9月8日(2011.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想映像シーケンスを提供するためのシステムであって、
第一の視点からのある場面を対象とする画像を取得するよう構成された画像取得手段と、
前記取得画像に基づき、少なくとも一つの画像表現を生成するよう構成された画像表現生成部と、
仮想シナリオを生成するよう構成されたゲームエンジン部と、
第二の視点から見た場面の表現を形成するために、前記画像表現生成部により生成された各画像表現を、該第二の視点と関連づけられた画像表現にワープさせるワーピング部と、
該第二の視点から見た場面の表現と、前記生成された仮想シナリオと、に基づいて、その場面を仮想シナリオと融合するよう構成された画像処理部と、を備え、
該第二の視点は、第一の視点周りのエリアで任意に選択され、
該画像処理部は、仮想シナリオと融合した、第二の視点から見た場面についてのワープされた表現を含む仮想映像シーケンスを提供するために、前記生成された仮想シナリオに基づいて、ワープされた画像表現を適合させるよう構成されることを特徴とするシステム。
【請求項２】
請求項１に記載のシステムであって、
該ゲームエンジン部は、画像表現の座標系に位置を合わせた座標系において、該仮想シナリオを生成するよう構成されることを特徴とするシステム。
【請求項３】
前記各項のいずれか一つに記載のシステムであって、
該ゲームエンジン部は、少なくとも一つの仮想オブジェクトを生成するよう構成されることを特徴とするシステム。
【請求項４】
前記各項のいずれか一つに記載のシステムであって、
該ゲームエンジン部は、戦術的シナリオに従って仮想オブジェクトのシーケンスを生成するよう構成されることを特徴とするシステム。
【請求項５】
前記各項のいずれか一つに記載のシステムであって、
該システムは、前記第一の視点と相関する前記第二の視点における位置およびまたは姿勢情報を推定するための位置／姿勢推定部を備えることを特徴とするシステム。
【請求項６】
請求項５に記載のシステムであって、
該位置／姿勢推定部は、該第二の視点からの視野を決定するよう構成されることを特徴とするシステム。
【請求項７】
請求項６に記載のシステムであって、
該位置／姿勢推定部は、決定した視野に該当する深さマップに対応づけられた画像を、一つまたは複数、選び出すことを特徴とするシステム。
【請求項８】
請求項７に記載のシステムであって、
該ワーピング部は、位置／姿勢推定部により選び出された画像の深さマップを処理するよう構成されることを特徴とするシステム。
【請求項９】
請求項８に記載のシステムであって、
該ワーピング部は、更新された該位置／姿勢推定部による選定に基づいて、移動する該第二の視点に関する深さマップを適合させるよう構成されることを特徴とするシステム。
【請求項１０】
前記各項のいずれか一つに記載のシステムであって、
該仮想映像シーケンスを表示するよう構成された表示部を含むことを特徴とするシステム。
【請求項１１】
請求項１０に記載のシステムであって、
該表示部は、照準として機能することを特徴とするシステム。
【請求項１２】
請求項１１に記載のシステムであって、
該表示部は、武器の照準器として機能することを特徴とするシステム。
【請求項１３】
請求項１１または請求項１２に記載のシステムであって、
該表示部は、照準器に形成されることを特徴とするシステム。
【請求項１４】
請求項１から１２のいずれかに記載のシステムであって、
該表示部は、コンピュータ画面であることを特徴とするシステム。
【請求項１５】
仮想映像シーケンスを生成する方法であって、
深さマップデータとテクスチャデータを含む表現であって、第一の視点に関する前記場面の表現を提供するステップと、
第二の視点に対応するために、その場面の表現について、少なくともその深さマップデータをワープさせることを含む、該第二の視点から見た場面の表現を提供するステップと、
ゲームエンジン部によって仮想シナリオを生成するステップと、
該第二の視点から見た場面の表現と、前記生成された仮想シナリオと、に基づいて、その場面を仮想シナリオと融合するステップと、を備え、
該方法は、
該第一の視点周りのエリアで任意に該第二の視点を選択するステップを備え、
その場面を仮想シナリオと融合する該ステップは、仮想シナリオと融合した、該第二の視点から見た場面についてのワープされた表現を含む仮想映像シーケンスを提供するために、前記生成された仮想シナリオに基づいて、ワープされた画像表現を適合させるステップを含むことを特徴とする方法。
【請求項１６】
請求項１５に記載の方法であって、
仮想シナリオの生成は、少なくとも一つの仮想オブジェクトに対して、深さマップデータおよびまたはテクスチャデータを形成することを含むことを特徴とする方法。
【国際調査報告】
2012513059.tif 000011
2012513059.tif 000012
2012513059.tif 000013
2012513059.tif 000014