(57)【要約】【課題】３次元画像シーンの視点を表す２次元画像をコーディングするための装置を提供することである。【解決手段】３次元仮想シーンの視点を提示する２次元画像をコーディングする装置（１０４）であって、動きが前記シーン内で、画像を連続的に表示することによりシミュレートされ、該画像は所定の軌跡に従って制限されている形式の装置において、連続ノード（Ｎi）のグラフ（３００）を用いて軌跡をコーディングする手段を有しており、各ノード（Ｎi）は少なくとも１つの２次元ソース画像（Ｉs）と、当該画像の変換（Ｔi,s）に関連する。【選択図】図３
2005025762.tif 000002
【特許請求の範囲】
【請求項１】
３次元仮想シーンの視点を提示する２次元画像をコーディングする装置（１０４）であって、
動きが前記シーン内で、画像を連続的に表示することによりシミュレートされ、
該画像は所定の軌跡に従って制限されている形式の装置において、
連続ノード（Ｎi）のグラフ（３００）を用いて軌跡をコーディングする手段を有しており、
各ノード（Ｎi）は少なくとも１つの２次元ソース画像（Ｉs）と、当該画像の変換（Ｔi,s）に関連する、
ことを特徴とする装置。
【請求項２】
表示すべき画像を、ソース画像に関連するマスクおよび／または多角形を用いてコーディングする手段を有しており、
前記マスクは２進マスクであり、
該マスクは表示すべき画像の各ピクセルに対して構築すべきものに基づいてソース画像（Ｉs）を同定する、請求項１記載の装置。
【請求項３】
ソース画像（Ｉs）とこれらソース画像（Ｉs）の変換（Ｔi.s）に関連するリストを、２進トレーン（４００）の形態で連続的ノードに対してコーディングする手段を有する、請求項２記載の装置。
【請求項４】
もっとも遠いソース画像からもっとも近いソース画像までの画像を発生するソース画像（Ｉs）をリスト中に配列する手段を有し、
もっとも遠いソース画像は、ユーザからもっとも離れたものとして現れる画像の一部を発生し、もっとも近いソース画像は、ユーザに最も近いものとして現れる画像の一部を発生する、請求項３記載の装置。
【請求項５】
ノードにより定義される複数の軌跡が可能な場合、考慮すべきノード（Ｎi）を複数のノード（Ｎi）から決定するコマンドを受信する手段を有する、請求項１から４までのいずれか１項記載の装置。
【請求項６】
MPEG4形式のビデオ画像ストリームにしたがってソース画像（Ｉs）を発生する手段を有する、請求項１から５までのいずれか１項記載の装置。
【請求項７】
ソース画像（Ｉs）を、投影による３次元コーディングに基づいて発生する手段を有し、
前記投影は、アフィンホモグラフィック式および／または線形ホモグラフィック式を用いた、表示すべき画像面への３次元コーディングである、請求項１から６までのいずれか１項記載の装置。
【請求項８】
ショットをシミュレートするカメラのパラメータを考慮する手段を有する、請求項７記載の装置。
【請求項９】
３次元コーディングの投影のエラー（ΔＥ）を評価する手段を有し、
当該評価は、当該投影とアフィン（それぞれホモグラフィック）投影との間の偏差が前記エラー（ΔＥ）よりも小さいときに線形（それぞれアフィン）投影を実行するように行われる、請求請７または８記載の装置。
【請求項１０】
決定により発生されたソース画像を共にグループ化する手段を有し、
当該統合は、示すべき画像に関連する各ソース画像（Ｉs）に対して、これに統合される隣接ソース画像（Ｉs,i-1；Ｉs,i+1）を検証することにより行われ、
当該検証では、ソース画像（Ｉs）のパラメータを隣接画像に適用することにより形成されるエラー（ΔＥ）が関与するすべてのピクセルについて閾値より小さいか、または最小パーセントより上であるかを検証する、請求項７から９までのいずれか１項記載の装置。
【請求項１１】
３次元仮想シーン内で動きをシミュレートするシステムであって、
該システムは表示スクリーン（１０２）とコントロール手段（１０８）とを有し、
該コントロール手段により、ユーザは動きを数の制限された複数の所定の軌跡からの軌跡に従ってコントロールすることができる形式のシステムにおいて、
請求項１から１０までのいずれか１項記載の装置を有するシステム。
【請求項１２】
ユーザを基準にして他のより近いソース画像よりも遠くにあるソース画像の一部を自動的にブランキングする手段を有する、請求項１１記載のシステム。
【請求項１３】
表示すべき画像のピクセルを連続的に、複数のソース画像に基づいて発生する手段を有し、ピクセルの各新たな値は以前に計算された値を置換する、請求項１１または１２記載のシステム。
【請求項１４】
３次元仮想シーン内で動きをシミュレートする方法であって、画像表示装置（１０４）表示スクリーン（１０２）およびコントロール手段（１０８）を使用し、
該コントロール手段によりユーザは動きを、数の制限された所定の軌跡からの軌跡に従ってコントロールすることができる形式の方法において、
請求項１から１０までのいずれか１項記載の装置を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像のコーディング装置、コーディングシステム、およびコーディング方法に関するものであり、これらはとりわけ３次元仮想シーンでの動きシミュレーションのためのものである。
【背景技術】
【０００２】
ビデオゲーム、オンラインショッピングまたは特性シミュレーションなどの種々のアプリケーションは、スクリーンに連続して表示される２次元デジタル画像の発生を必要とし、この２次元連続デジタル画像は３次元仮想シーンに動きをシミュレーションする。このシーンはいくつかの従来技術によればショップまたはアパートメントに相当する。
【０００３】
他の規定によれば、スクリーンに表示される２次元画像はユーザにより３次元仮想シーンに所望される動きの関数として変化する。シーンの新たな視点に相応して表示される新たな画像は動きに相応して形成される。
【０００４】
これら２次元画像を発生するために、３次元シーンの可能な視点をすべてコーディングすることが公知である。これは例えば多角形により行われ、多角形の各ファセットが所与の視点に従ってシーンの一部をコーディングする。
【０００５】
ユーザがシーン内で動きをシミュレーションしたいと望む場合、表示される画像は多角形の適切なファセットを選択することにより発生される。この多角形は要求された視点に関連するシーンの一部を表すものであり、このファセットによりコーディングされた画像をスクリーンに投影する。
【０００６】
このような方法は画像発生のために使用されるデバイスレベルでグラフィカルマップを必要とするという欠点を有する。なぜならこの画像を発生するために実行される演算が多数あり、また複雑だからである。そのためこの方法のコストと複雑性が上昇する。
【０００７】
さらに画像を発生するために記憶し処理すべきデータの量がとりわけ重要である。なぜならこのデータ量が、これら可能な視点すべてに相応するシーンをコーディングするために必要な情報に相当するからである。
【０００８】
さらに２次元シーンでの動きを、ソース画像と呼ばれる２次元画像によってシミュレートすることが公知である。このようなソース画像は表示される種々の画像を発生するのに使用することができる。
【０００９】
従ってソース画像の次元は表示される画像の次元よりも大きく、表示される画像の発生に使用されるソース画像のゾーンを変形し、ソース画像の関連ゾーンに変換を適用することによって、種々の２次元画像を発生することができる。
【００１０】
ソース画像を使用する例が図１に示されている。ここでは３つの画像Ｉn1、Ｉn2、およびＩn3がシングルソース画像Ｉsに基づいて発生される。
【００１１】
このような使用はMPEG4 規格（Motion Picture Expert Group）に実現され、例えば刊行物ISO/IEC JTC 1/SC 29/WG 11 N 2502, pp189-195に記載されている。
【００１２】
本発明は、３次元シーンまたは３次元環境で動きをシミュレーションする種々のアプリケーションにおいて、シミュレートされる動きは所定の軌跡に従って形成されるという事実に基づくものである。
【００１３】
例えばオンラインスケール（特性投影を表す）の枠内でユーザがアクセス可能な動きはこの販売を行うショップの棚に制限されている（それぞれ特性投影に関連するアパートメントの部屋または家の部屋に制限されている）。
【非特許文献１】ISO/IEC JTC 1/SC 29/WG 11 N 2502, pp189-195
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明の課題は、３次元画像シーンの視点を表す２次元画像をコーディングするための装置を提供することである。
【課題を解決するための手段】
【００１５】
上記課題は本発明により、連続ノードのグラフを用いて軌跡をコーディングするための手段を有し、各ノードは少なくとも１つの２次元ソース画像と該ソース画像の変換に関連することにより解決される。
【発明を実施するための最良の形態】
【００１６】
請求項１に記載の本発明は、表示すべき画像の発生を可能にする。
【００１７】
本発明により、３次元シーンにおける動きのシミュレーションが２次元ソース画像を用いて実行され、その際に、３次元へのコーディングプロセスのためのグラフィカルマップを使用する必要がない。
【００１８】
その結果、本発明による画像のコーディングおよび処理はより安価であり、実現が簡単である。
【００１９】
さらに画像の発生に必要なデータベースも、３次元データがコーディングされる場合よりも重要でなくなる。なぜならユーザがアクセス可能でない視点による画像のコーディングは考慮されないからである。
【００２０】
１つの実施例では、この装置は表示すべき画像を、ソース画像に関連するマスクおよび／または多角形を用いてコーディングする手段を有する。このマスクは例えば２進マスクであり、マスクは表示すべきソース画像Ｉs,iの各ピクセルを構築すべきものに基づいて識別する。
【００２１】
１つの実施例によれば装置は、ソース画像とこれらソース画像の変換に関連するリストを、２進トレーンの形態で連続ノードにコーディングする手段を有する。
【００２２】
実施例によれば装置は、もっとも離れたソース画像から最も近いソース画像までで画像を発生するソース画像をリスト内で配列する手段を有する。すなわち、ユーザから最も遠いものとして現れる画像の一部を発生し、ユーザに最も近いものとして現れる画像の一部を発生する。
【００２３】
実施例によれば装置は、複数のノードによって複数の軌跡が可能である場合に、複数のノードから考慮すべき１つのノードを決定するコマンドを受信する手段を有する。
【００２４】
実施例によれば装置は、MPEG4形式のビデオ画像のストリームにしたがってソース画像を発生する手段を有する。
【００２５】
実施例によれば装置は、ソース画像を投影による３次元コーディングに基づいて発生する手段を有し、ここではアフィンおよび／または線形ホモグラフ関係を用いる。３次元コーディングは表示すべき画像面上に行われる。
【００２６】
実施例によれば装置は、ショットをシミュレートするカメラのパラメータを考慮する手段を有する。
【００２７】
実施例によれば装置は、３次元コーディングの投影のエラーを評価する手段を有する。この評価は、この投影とアフィン（それぞれホモグラフィック）投影との間の偏差が前記エラーよりも小さい場合、線形投影（それぞれアフィン）が実行されるように行われる。
【００２８】
実施例によれば装置は、表示すべき画像に関連する各ソース画像に対して、決定により発生されたソース画像を共にグループ化する手段を有する。隣接ソース画像の統合は、ソース画像のパラメータをこの隣接画像に適用することにより生じるエラーが関与するすべてのピクセルの閾値よりも小さいか否か、または最小パーセントより大きいかを検出することにより行われる。
【００２９】
本発明はまた３次元仮想シーンで動きをシミュレーションするシステムに関するものであり、このシステムは画像表示装置と、表示スクリーンおよびコントロール手段を有する。このコントロール手段によりユーザは動きを、数の制限された所定の軌跡からの軌跡にしたがってコントロールする。このシステムは、前記実施例の１つによる装置を有することを特徴とする。
【００３０】
実施例によればシステムは、ソース画像の一部を自動的に空白にする手段を有する。このソース画像はユーザを基準にして別の近いソース画像より離れている。
【００３１】
実施例によればシステムは、表示すべき画像のピクセルを連続して複数のソース画像に基づいて発生する手段を有する。ピクセルの各新たな値は前もって計算された値を置換する。
【００３２】
さらに本発明は、画像表示装置、表示スクリーンおよびコントロール手段を用い、３次元仮想シーンに動きをシミュレーションする方法に関する。このコントロール手段によりユーザは動きを、数の制限された所定の軌跡からの軌跡にしたがってコントロールする。この方法は、前記実施例の１つによる装置を有することを特徴とする。
【００３３】
本発明のさらなる特徴および利点は図面に基づく下記の実施例の説明から明らかとなる。
【実施例】
【００３４】
本発明によるシステム１００（図２）は２次元画像をコーディングするための装置１０４を有する。
【００３５】
コーディングされた画像は３次元仮想シーンの視点を表す。実際にこの実施例では、このシーンは複数の部屋を含むアパートメントに相当すると見なされる。
【００３６】
このアパートメントを通る動きは画像の連続的な表示によりシミュレートされる。この動きは所定の軌跡に従って制限されており、この軌跡は第１の部屋から隣接する第２の部屋への移動に相当する。
【００３７】
本発明によれば装置１０４は、軌跡を連続ノードのグラフを用いてコーディングする手段を有する。これについては後で図３を用いて詳細に説明する。グラフの各ノードは少なくとも１つの２次元ソース画像と、この画像を変換し、表示すべき画像を発生する１つの変換に関連する。
【００３８】
この実施例で複数のユーザ１０６，１０６’および１０６”が同じ装置１０４を使用して、種々の動きを同じようにまたは異なってこのアパートメントでシミュレートする。
【００３９】
従ってシステム１００はコントロール手段１０８，１０８’、１０８”を有し、各ユーザ１０６，１０６’、１０６”は装置１０４に、各ユーザがアパートメント内でシミュレートしたいと願う動きに関連するコマンドを送信する。
【００４０】
コマンドに応答して、装置により伝送されるデータは後で図４を用いて説明するように変化する。これらのデータはデコーダ１１０，１１０’、１１０”に伝送され、デコーダはデータを処理し、表示すべき各画像を発生する。
【００４１】
図３を参照すると、連続ノードＮ1、Ｎ2、Ｎ3,...Ｎnを用いて３つの可能な軌跡をコーディングする本発明によるグラフ３００が示されている。各ノードNiは表示すべき画像に相当する。すなわちコーディングされたシーンの視点に相当する。
【００４２】
相応にしてグラフ３００は装置１０４に記憶され、１つまたは複数のソース画像Ｉsが２次元で、変換Ｔs,iが各ノードNiに関連する各ソース画像を特定する。
【００４３】
その後、３次元シーンでの動きのシミュレーション中にグラフ３００は表示すべき画像を下に説明する２つのモードにしたがって発生するのに使用される。
・第１のパッシブモードによれば、動きのシミュレーションは１つの可能な軌跡により３次元シーンで実行される。このようなモードは例えばノードＮ1からＮ6を含むグラフ３００の部分３０２に相当する。
【００４４】
この場合、コマンド１０８を装置のユーザが使用することにより、シミュレートされた動きを継続、停止、または反転することができる。
【００４５】
動きが継続される場合、ノードNiに関連するソース画像Ｉsは連続的に装置１０４から発生手段１１０に伝送され、発生手段はスクリーン１０２に伝送すべき画像を形成する。
【００４６】
本発明のこの実施例で、ソース画像Ｉsはこれが表示すべき画像の発生に必要な場合だけ伝送される。
【００４７】
さらに伝送されたソース画像Ｉsはデコーダ１１０，１１０’，１１０”により、これらを再び使用できるように格納される。すなわち表示すべき新たな画像を、新たな伝送を要求しないで形成する。
【００４８】
従って３次元シーンで動きをシミュレーションするために伝送されるデータの量が低減される。
【００４９】
しかしソース画像Ｉsが画像発生に使用されなくなれば、このソース画像Ｉsはデコーダから削除され、使用されたまたはより最近伝送された別のソース画像Ｉtにより置換される。
・第２のインタラクティブモードによれば、コントロール手段１０８，１０８’，１０８”と装置１０４が通信し、動きのシミュレーションを複数の可能な動きから選択する。従ってユーザは新たな視点の表示を複数の可能な新たな視点から選択する。
【００５０】
このような状況はグラフ３００が複数のノードＮ8とＮ12を提示し（とりわけＮ10とＮ11）、これらが１つの同じ先行のノードＮ7（それぞれＮ9）に連続する場合に発生する。
【００５１】
とりわけこのことは、動きが１つの同じ位置から発する２つの平行な軌跡に従って形成される場合に生じる。
【００５２】
この場合、デコーダ１１０，１１０’，１１０”はコーダ１０４に軌跡の選択を指示するコマンドを伝送する手段を有する。
【００５３】
最後に、ナビゲーショングラフは前もってレシーバに伝送されており、従ってレシーバはユーザの動きをモニタし、必要な要求をサーバに送信することを述べておく。
【００５４】
パッシブナビゲーションモードまたはインタラクティブナビゲーションモードで、ソース画像Ｉsは矩形画像、コーディングテクスチャー、および１つまたは複数の２進マスクの形態で提示される。２進マスクは、表示すべき画像を形成するために考慮しなければならないこのソース画像Ｉsのピクセルを表す。
【００５５】
テクスチャーの画像中に２次元座標により定義された、その頂点の配列されたリストにより記述される多角形を２進マスクの代わりに使用することができる。
【００５６】
さらにソース画像の有用部分を記述する多角形を表示すべき画像のゾーンを決定するために使用することができる。ソース画像は再現を可能にする。このソース画像に基づいて表示すべき画像の再現は従って定義されたゾーンに制限される。
【００５７】
デコーダ１１０，１１０’，１１０”により使用すべきソース画像Ｉsがデコーダに格納されていなければ、そのテクスチャーと形状はコーダにより伝送され、ここではこのソース画像を使用する後続の視点に対してその形状と変換だけが伝送される。
【００５８】
従ってコーダ１０４とデコーダ１１０，１１０’，１１０”の間で伝送されるデータの量は制限される。
【００５９】
実際、ｉにより示される表示すべき各画像に対してコーダ１０４はこの画像の構築に必要なソース画像Ｉsのリストを伝送する。このリストは例えば各ソース画像Ｉsを特定する参照番号ｓの形態にある。
【００６０】
さらにこのリストは、表示すべき画像ｉごとに各ソース画像Ｉsに関連する幾何学的変換Ｔs,iを含む。
【００６１】
このリストは、もっとも遠いソース画像（すなわちユーザからもっとも離れて現れる画像の部分を発生する）からもっとも近いソース画像（すなわちユーザに最も近く現れる画像の部分を発生する）までを配列することができ、これにより自動的に遠隔のソース画像の一部を他の比較的に近いソース画像によりブランキングする。
【００６２】
本発明の実施例によれば、２進マスクが表示すべき各画像ごとに伝送される。このマスクは表示すべき画像の各ピクセルごとに、構築すべきものに基づいてソース画像Ｉsを同定する。
【００６３】
要約すると表示すべき画像を発生するために以下の演算が実行される：
・第１に、表示すべき画像に関連するソース画像Ｉsが、ユーザが所与の視点に移動したい場合に伝送されるリストによって同定される。
・第２に、各ソース画像Ｉsごとに多角形の頂点が表示すべき画像に投影される。この投影は走査すべき画像のゾーンが、再現中に最も遠いソース画像から始まって最も近いソース画像に近付くことによって縮小されるように行う。
・第３に、同じゾーンに所属する表示すべき画像の各ピクセルに対して、幾何学的変換Ｔs,iを適用し、これによりソース画像Ｉsにおける相応のピクセルのアドレスを決定する。
【００６４】
この実施例では、ソース画像Ｉsにおけるピクセルのメンバシップは、このピクセルがこのソース画像に所属する４つの他のピクセルにより取り囲まされている場合に決定される。この特性はマスクにより供給される情報に基づいて決定される。
【００６５】
この場合、ピクセルの輝度値および色値はこれら周囲のポイントを用いた双一次補間により計算される。
【００６６】
表示すべき画像のピクセルは連続的に複数のソース画像に基づいて復元することができる。ピクセルの各新しい値は以前に計算された値を置換する。
【００６７】
本発明の変形実施例によれば、ソース画像が最も近い画像からもっとも遠い画像まで配置されている個所において、各ピクセルを順次構築することができる。この構築は、ユーザの位置するノードに関連する視点を再現するために伝送されるリストにおいて同定されるすべてのソース画像を考慮することにより行われる。
【００６８】
この場合、ピクセルの構築は、ソース画像に基づいてこれを補間することが可能になる時に停止する。
【００６９】
別の変形実施例では、画像を各ソース画像に基づいて復元することができる。この復元は、１つのソース画像を順次考慮し、ピクセルをこれがすでに構築されているのでなければ、より近いソース画像に基づいて構築することにより行われる。
【００７０】
最後に本発明の第３の実施例によれば、２進マスクが視点に関連する変換と共にすでに伝送されていれば、前に述べたステップ１とステップ２は削除される。
【００７１】
次にMPEG4規格に特に適する方法の適用を説明する。この方法に従い視点がソース画像によって得られるビデオによってシミュレートされる。
【００７２】
相応にしてこれらのビデオは、考慮されるノードにより供給される指示に関連して表示スクリーンに使用順に結合される。
【００７３】
このような方法はソース画像のテクスチャーを連続的にMPEG4ビデオ規格で正確に記述されたように伝送することを可能にする。（刊行物ISO/IEC JTC 1/SC 29/WG 11 N 2502, pp189-195参照）
各表示される画像に関連するデータの伝送は、連続的２進トレーン４００（図４）によって実行される。このトレーンでは画像のコーディングが、ソース画像（そのテクスチャー）に関連する指示子４０４または４０４’と、変換Ｔi,sに関連する指示子４０６または４０６’を有する情報グループの伝送によって伝送される。この変換は関連のソース画像に適用され、表示すべき画像を発生する。
【００７４】
このような伝送はデコーダにより使用され、表示すべき画像の一部を発生する。これについては図５を用いて説明する。
【００７５】
図５には、種々の２進トレーン５０２，５０４，５０８が示されており、これらは表示すべき画像の種々の部分の発生を可能にする。この発生は、種々の画像５００2、５００4、５００6および５００8を表示手段５１０のレベルで結合することにより行われる。
【００７６】
最後に図６には、図５を用いて説明した画像発生方法の適用がビデオシーケンスの骨組み内に示されている。ここでは動きをシミュレーションする画像シーケンスが発生される。
【００７７】
相応にして２進トレーン６００，６０２，６０４および６０６により伝送される種々の部分は表示すべき画像６０８の発生を可能にし、この画像は連続する種々異なる時点ｔ0、ｔ1、ｔ2、ｔ3で提示される。
【００７８】
従って種々のトレーン６００，６０２，６０４および６０６によりコーディングされる画像の性質を変更することによって表示すべき画像６０８も動きをシミュレートするように変更される。
【００７９】
前に述べたように本発明によって、２次元データだけを考慮することによりシーンまたは３次元環境での動きのシミュレートが可能になる。すなわち３次元環境でナビゲーションを２次元提示することはより簡単である。
【００８０】
しかしこの環境が３次元ツールによってコーディングされるならば、この３次元コーディングを２次元コーディングに変換し、上記のシステムで使用できるようにしなければならない。
【００８１】
従って以下にソース画像Ｉsの最小可能セットを統合するための方法を説明する。この方法により、画像の最小可能リストを採用された軌跡の各視点と関連付け、視点を発生するためにソース画像と関連付けられるべき最も簡単で可能な変換Ｔs,iを定義することができる。
【００８２】
ナビゲーション軌跡をあらかじめ定めることにより、この２次元提示を構築することができる。この簡略化は復元された画像の品質を損なうが、この画像のモニタは可能でなければならない。
【００８３】
３次元提示から２次元提示へのこの変換を実行するために、３次元シーンであらかじめ定められた軌跡の知識と次のようなパラメータの知識を使用する。このパラメータは例えばカメラの特性、とりわけその配向および光学系の特性であり、これによりシーンの知覚がシミュレートされ、ユーザにより要求される視点が決定される。
【００８４】
３次元コーディングから２次元コーディングへのこの変換例では、この３次元コーディングはＮテクスチャーに相当するＮ平面ファセットの使用と見なされる。
【００８５】
各ファセットｆは３次元（Ｘ、Ｙ、Ｚ）のパラメータセットにより定義される。このパラメータセットは各ファセットの頂点の座標、およびテクスチャー画像におけるこの頂点の２次元座標からなる。
【００８６】
さらに位置を記述するパラメータ、すなわち３次元シーンにおけるユーザの配向および光学的パラメータも使用される。
【００８７】
所定の軌跡の各視点に対して、関連画像の復元に必要なファセットが決定される。これはファセットの頂点座標と上記のパラメータを使用した既知の遠近的投影によって決定される。
【００８８】
最後に、この視点に相当する画像の復元に必要な情報が決定される：これは（選択されたファセットに関連した）テクスチャー画像およびこの各テクスチャー画像に対する変換である。これにより、復元すべき画像の座標からテクスチャー画像の座標に移動することができる。
【００８９】
この変換は、既知の２次元平面投影式により記述される。この式はホモグラフ式とも呼ばれ、次の式により定義される：
【００９０】
【数１】
2005025762.tif 000003
ここで係数ｐiiは、ファセットの平面を記述するパラメータと視点のパラメータとの既知の結合から得られる。
【００９１】
従ってこのような変換Ｔs,iは簡単な計算により実行され、３Ｄ（３次元）グラフマップを省略することができる。
【００９２】
Ｔs,iは８つのパラメータｐij（ｐ33＝１）により記述され、これらのパラメータはソース画像Ｉs中のピクセルの座標と表示すべき画像中のピクセルの座標とを接続する。
【００９３】
さらに視点を復元するのに必要なファセットのリストはあらかじめ定められる。画像を発生するのに必要なソース画像のリストを確立することができる。ホモグラフィック変換は画像に関連する各ソース画像に対して固有のものである。
【００９４】
さらに２次元提示の複雑性、すなわちナビゲーション中の画像合成の複雑性を低減するために、生じる画像の品質が許容できるならば、ホモグラフィック変換をアフィン変換または線形変換に簡素化することができる。
【００９５】
これは例えばファセットが画像の平面に対して平行である場合、またはファセット頂点の間隔の変動がカメラの間隔と比較して小さい場合である。
【００９６】
アフィン投影の場合、次の関係が使用される：
【００９７】
【数２】
2005025762.tif 000004
【００９８】
一方、線形投影の場合、次の関係が使用される：
【００９９】
【数３】
2005025762.tif 000005
【０１００】
要約すると、３次元モデルを基礎とするソース画像の構築は次のように行うことができる。
・軌跡の各視点に対して３次元モデルのファセットを、考慮される視点に従って投影し、その復元に必要はファセットのリストをコンパイルする。
・同定された各ファセットに対して、ホモグラフィック変換を計算する。このホモグラフィック計算はファセットのテクスチャーをベースにして、関与する画像領域の復元を可能にする。この変換は８つのパラメータからなり、復元を実行するのに十分である。なぜなら、復元すべき画像の各ピクセルに対して相応のテクスチャー画像中のアドレスを計算することができるからである。
【０１０１】
ファセットの記述はテクスチャー画像中の２Ｄ座標に還元され、ファセットはソース画像となる。
・その後、ホモグラフィックモデルをアフィンモデルに還元できるか否かを検証することができる。これは、ｐ３１とｐ３２を０に設定することにより形成されたテクスチャー画像ΔＥへの２Ｄ投影のエラーが、関与するすべてのピクセルについての閾値Ψより小さいか、または最小パーセントよりも上であることを検証することにより行われる。
・アフィンモデルを線形モデルに還元できるか否かを検証することもできる。このことは、ｐ１２とＰ２２を０に付加的に設定することにより形成されたテクスチャー画像ΔＥへの２Ｄ投影のエラーが、関与するすべてのピクセルについての閾値Ψより小さいか、または最小パーセントよりも上であることを検出することにより行われる。
【０１０２】
識別番号ｓは発生されたソース画像に、幾何学的変換Ｔs,iと同様に関連する。この幾何学的変換はこの変換により表示される画像の発生に特有のものである。
【０１０３】
さらに提示の複雑性を低減し、シーン表示を促進するために、考慮すべきソース画像の数を制限すると有利である。相応にして複数のファセットをソース画像の発生で相互にグループ化することができる。
【０１０４】
とりわけ隣接し、かつ非共面のファセットを１つのファセットにまとめることができる。このとき、提供される品質が有意に損なわれることはない。なぜならこれらのファセットは視点から大きく離れているか、または１つの位置から観察されるからである（例えばパンタイプの仮想カメラ運動）。
【０１０５】
このような適用は次のオペレーションを考慮することにより実現される。
・表示すべき画像に関連するリストの各ソース画像Ｉsに対して、それ自体が統合されるＩsに隣接する、リストの各ソース画像Ｉs'を決定する。これは、ソース画像ＩsのパラメータをＩs'に適用することにより形成された２次元投影ΔＥs（ｓ’）のエラーが、関与するすべてのピクセルについての閾値より小さいか、または最小パーセントよりも上であることを検出することによって行われる。
【０１０６】
隣接するソース画像間の可能なグループ化の全体セットと、相応する統合コストが得られる。
・次にソース画像は共にグループ化され、閾値以下の最小エラーΔＥsを維持しながらその数が最小とされる。
【０１０７】
ソース画像のグループ化は、それ以上のグループ化ができなくなるまで反復される。このことは、表示すべき画像の発生に対して考慮すべきソース画像セットに対して可能である。
【０１０８】
次の画像が考慮されるとき、以前の表示すべき画像にあるソース画像Is（ｉ）をまず第一に考慮し、同様に以前の画像で実行されたのと類似のグループ化を考慮する。
【０１０９】
ここに説明した処理は、ソース画像の新たなグループ化にわたって反復される。
【０１１０】
ΔＥについてのエラー閾値を用いることにより、これらのグループ化を実行すべきか否かを決定することができる。
【図面の簡単な説明】
【０１１１】
【図１】２次元画像を発生するためのソース画像の使用を説明する図である。
【図２】通信ネットワークを使用した本発明によるシステムを示す図である。
【図３】本発明による３次元加増シーンのコーディングを説明する図である。
【図４】本発明によるシステムへの変換を説明する図である。
【図５】本発明によるシステムへの変換を説明する図である。
【図６】MPEG4を使用して、本発明によるシステムで表示すべき画像の発生を説明する図である。
【図１】
2005025762.tif 000006
【図２】
2005025762.tif 000007
【図３】
2005025762.tif 000008
【図４】
2005025762.tif 000009
【図５】
2005025762.tif 000010
【図６】
2005025762.tif 000011