(57)【特許請求の範囲】
【請求項１】
位置及び向きによって決められるビューポイントに夫々対応する画像のシーケンスを解析することで３Ｄシーンモデルを構成するプロセスであって、
画像に対して、３Ｄ空間において当該画像のピクセルの奥行きに対応する奥行きマップを計算する段階と、
上記画像に対して、上記奥行きマップから当該画像の上記ピクセルの３Ｄ解像度に対応する解像度マップを計算する段階と、
現在の画像のピクセルと上記シーケンスの他の画像のピクセルとの間で、これらのピクセルが上記３Ｄシーンの一つの同じ点に関連するとして、上記現在の画像のピクセルを上記他の画像に投影することで、マッチングを行う段階と、
上記現在の画像のピクセルを、該ピクセルの解像度と、該解像度とマッチする上記シーケンスの上記他の画像のピクセルの解像度とに依存して選択する段階と、
上記選択されたピクセルから上記３Ｄモデルを構成する段階と
を有し、
画像の上記選択されたピクセルは、一つ以上の領域を構成し、当該画像の上記ピクセルが上記領域に属するか否か、及び、当該画像において上記ピクセルが属する上記領域の幾何学的特徴に依存して当該画像の上記ピクセルに対して重みが計算されて割り当てられ、
上記ピクセルに割り当てられる解像度及び重み値に依存して上記ピクセルの新しい選択が実施されることを特徴とする、プロセス。
【請求項２】
画像の各ピクセルには、当該ピクセルに対して割り当てられている重み及び解像度に依存して、関連性の値が割り当てられ、
現在の画像のピクセルの選択は、選択されたピクセルのマスクを提供するために上記マッチするピクセルの中で最も高い関連性の値に基づいて実施されることを特徴とする請求項１記載のプロセス。
【請求項３】
上記シーケンスの画像の区分化は、関連する画像のリストを形成するために、現在の画像に対して該現在の画像に関連する観測場と共通部分を有する観測場を有する対応するビューポイントを含む画像を識別することで、実施され、
上記現在の画像のピクセルについて上記マッチングが実施される上記シーケンスの上記他の画像は、上記リストの画像であることを特徴とする請求項１記載のプロセス。
【請求項４】
上記シーケンスの画像の区分化は、画像と関連する上記リストから上記現在の画像のピクセルに対応するピクセルが少ない画像を除去することで実施されることを特徴とする請求項３記載のプロセス。
【請求項５】
上記重みを計算する動作、上記関連性を計算する動作、及び、上記ピクセルを選択する動作は、上記選択から得られた上記マスクがもはや著しく変化しなくなるまで繰り返されることを特徴とする請求項２記載のプロセス。
【請求項６】
上記他の画像に投影することで上記現在の画像のピクセルをマッチする動作は、より高い関連性の値を有する対応するピクセルが見つかると直ぐに当該ピクセルに対して停止されることを特徴とする請求項２記載のプロセス。
【請求項７】
上記関連性の値に基づく上記選択は、上記マッチするピクセルの関連性の値の比が所定の極限値内にあるとき実施されることを特徴とする請求項２記載のプロセス。
【請求項８】
上記他の画像のピクセルは当該他の画像上の投影点に最も近いピクセルであることを特徴とする請求項１記載のプロセス。
【請求項９】
上記シーン中で動くオブジェクトは、静止型のシーンを得るよう上記シーンから抽出するために検出されることを特徴とする請求項１記載のプロセス。
【請求項１０】
ビューポイントの動きの関数として画像を形成することを含む３Ｄシーン中のナビゲーションプロセスであって、
上記画像は請求項１による３Ｄモデルを構成するプロセスに基づいて形成されることを特徴とするナビゲーションプロセス。
【発明の詳細な説明】
【０００１】
本発明は、画像シーケンスを解析することによって３Ｄのシーンモデルを構成するプロセスに関する。
【０００２】
本発明の範囲は、画像シーケンスの処理、及び、ナビゲーションの情況における実際の静止シーンのモデリングである。シーケンスは、静止シーンに関連する画像から成り、この静止シーン内でビューポイント、つまりカメラが変化する。
【０００３】
目的は、ユーザに実シーン中を仮想的にナビゲートすることを可能にさせることである。しかしながら、シーンに関するデータは、大量の情報を表示してもよい画像シーケンスから成る。これらシーケンスは、制御された画像の質でナビゲーションに対して最適な方法で使用され得るシーンのコンパクトな表示を提供するよう、つまり、対話式描写を可能にさせるよう処理されなくてはならない。問題は、高い圧縮率を得る一方でナビゲーションに適さない画像間の予測型技法を回避することである。
【０００４】
シーンの様々な表示が現在存在する。主なるうちの一つは、テクスチャ画像が関連する平面ファセットの形態でシーンの幾何学が一般に表示される３Ｄモデルに基づく表示がある。このモデリングは、一方でＣＡＤ（コンピュータ支援設計）タイプのソフトウェアを介して得られる合成シーンを表示するために多くの場合使用される。他方で、複合であるため実シーンを表示するためにも使用される。現在の方法は、一般に写真のような幾つかの画像を使用し、結果となる表示はあまり詳細化されてなく現実性に欠ける。更に、例えば、QuickTime  VRソフトウェア（Apple社の商標）に基づいて得られる３Ｄでない表示である。シーンのデータは、移行する画像シーケンスが一つのパノラマ式ショットから別のパノラマ式ショットへ切換えられる、パノラマ式ショットの形態で捕捉される。このような表示は、仮想シーンにおけるナビゲーションの可能性を相当制限する。
【０００５】
本発明は、前述の欠点を解決することを目的とする。本発明の技術的内容は、各画像がその位置及び向きによって決められるビューポイントに対応する画像シーケンスを解析することによって３Ｄシーンモデルを構成するプロセスであり、画像に対して、３Ｄ空間における画像のピクセルの奥行きに対応する奥行きマップを計算する段階と、画像に対して、奥行きマップから画像のピクセルの３Ｄ解像度に対応する解像度マップ（resolution  map）を計算する段階と、ピクセルが３Ｄシーンの一つの同じ点に関連するとし、現在の画像のピクセルを他の画像上に投影させることで現在の画像のピクセルをシーケンスの別の画像のピクセルにマッチングする段階と、現在の画像のピクセルの解像度及びこのピクセルとマッチするシーケンスの他の画像のピクセルの解像度に依存して現在の画像のピクセルを選択する段階と、選択されたピクセルから３Ｄモデルを構成する段階とを有することを特徴とする。
【０００６】
特定の実施例によると、プロセスは、画像の選択されたピクセルが一つ以上の領域を構成し、画像のピクセルが領域に属するか否か及び画像中でそれらピクセルが属する領域の幾何学的特徴に依存し、画像のピクセルに対して重みが計算され割り当てられることと、ピクセルに割り当てられる解像度及び重み値に依存してピクセルの新しい選択が実施されることとを特徴とする。
【０００７】
前の実施例と組合わされ得る特定の実施例によると、プロセスは、画像に対して、関連する画像のリストを形成するために現在の対応するビューポイントが現在の画像に関連する観測場と共通部分を有する観測場を有する画像を識別することで一連の画像の区分化が実施されることと、現在の画像のピクセルのマッチングが実施されるシーケンスの他の画像がそのリストの画像であることとを特徴とする。
【０００８】
シーケンスの画像の区分化は、現在の画像のピクセルに対応するピクセルが非常に少ない画像を画像と関連するリストから除去することで実施され得る。
【０００９】
本発明は、ビューポイントの動きの関数として画像を形成することを含む３Ｄシーンにおけるナビゲーションのプロセスにも関わり、画像が前述の３Ｄモデルを構成するプロセスに基づいて形成されることを特徴とする。
【００１０】
画像シーケンスは、画像間の高い冗長度を有するデータを相当量表示する。実際の静止シーンを表示するのに最適なモデルである３Ｄモデルの使用、及び、簡単な幾何学変換を介しての画像のマッチングは、画像間の冗長度を広範囲に識別することを可能にさせる。このモデルは、大量の画像を考慮することを可能にさせる。更に、２Ｄ画像レベルにおいて動き補償の動作を要求しない。
【００１１】
コンパクト化、つまり、記憶され処理されるべきデータの圧縮、対話性、及び、描写の質のより良い折り合いが実現され、高い圧縮率にも関わらず、プロセスはよい質の画像を提供し、ナビゲーションにおいてかなりの適応性及び速さを提供する。
【００１２】
本発明は、現在の３Ｄモデリング技法を用いて得られるよりもよりよい現実性、並びに、画像コーディングに対する従来の技法を用いて得られるよりもより良い適応性を得ることを可能にさせる。
【００１３】
本発明の特徴及び利点は、例によって添付の図面を参照して以下の説明から明らかとなる。
【００１４】
実シーンのデータの捕捉は、思い描かれる表示と密接に関係する。本例において、画像がビデオレートにおいて標準的なカメラによって捕捉され、カメラの動きが利用中に予定する路に対応するような方法で発生される情況を考慮する。この文脈において、画像シーケンスからのシーンの表示の構成は、画像コーディングの技法に関連付けられてもよい。
【００１５】
シーンの表示を構成する原理は、制御された質を有する一連の画像を再構成する必要且つ充分なデータを選択することである。手順は、最適の関連性を有する領域を選択するために画像を一つづつ比較することであり、このときパラメータは解像度及び記述のコストに依存する。実際に、比較はピクセルレベルで実施され、比較及びピクセルの選択に対する基本的基準は各ピクセルと関連する３Ｄの局部的な表面の解像度である。
【００１６】
従来技術から公知の適切な処理により、各ビューポイントに対して、シーン（ビューポイントの位置及び向き）と関連する基準系（reference  frame）中の３Ｄの位置、並びに、ビューポイントに関連する画像に関連する奥行きマップを得ると仮定する。次のフェーズの目的は、ナビゲーションに好適なこれらのデータ全てのコンパクトな表示を構成することである。
【００１７】
図１は、本発明によるプロセスの様々な段階を説明するフローチャートを示す図である。
【００１８】
システム入力１において、前述のとおり実際の静止シーン内で移動するカメラによって捕捉される画像シーケンスに関連するデータを有する。しかしながら、ある移動するオブジェクトが画像中に存在することも完全に考えられる。この場合、特定の処理がこれらオブジェクトを識別し、その後のプロセスにおいて無視されるようこれらオブジェクトにマークがつけられる。特別の処理は、各画像に対して奥行きマップ並びに対応するビューポイントの位置及び向きを提供する。削除された移動オブジェクトに対応する域において奥行きの情報は全くない。
【００１９】
段階２において、各画像の各ピクセルに対して解像度値が計算される。第１及び第２の区分化が段階３の間に行なわれる。段階４において、段階５を提供するために重みの計算が実施され、段階５において、ピクセルに割り当てられる関連性の値が計算される。次の段階６において、夫々の関連性に依存してピクセルの選択が行われる。段階７において、選択されたピクセルの一連のマスクが画像シーケンスに対して得られる。この段階７の後、段階４乃至７がマスクを洗練するために繰り返される。これらの段階は、マスクがもはや著しく変化されなくなるまで繰り返される。次に段階８において、選択されたピクセルだけからファセットされた３Ｄモデルの構成を行う。
【００２０】
異なる段階をここで詳細に説明する。
【００２１】
各画像シーケンスに対して、システム入力において奥行きマップ並びに対応するビューポイントの位置及び向きが利用できる。
【００２２】
段階２は、画像の各ピクセルに対して、解像度値の計算を含み、画像に対する解像度マップを提供する。
【００２３】
各ピクセルにおける解像度は、現在のビューポイントから観察されるような表面の詳細なレベルのインジケーションを提供する。この解像度は、例えば、ピクセルに中心がおかれる点のブロックにわたって計算され、このブロックに関係するシーン中、つまり３Ｄ空間における点の密度に対応してもよい。
【００２４】
一例において、解像度が計算される画像ピクセルに中心がおかれる７×７ピクセルのウィンドウが利用される。このウィンドウに属する各ピクセルに対して、奥行きの情報が処理され、処理されたピクセルの周りの点の３Ｄ空間における分布から３Ｄ解像度を決定し、より広い奥行きにわたる点の分布は狭い奥行きにわたる点の分布よりも解像度がよくない。画像の全てのピクセルを処理した後、画像の解像度マップがシーケンスの各画像に対して得られる。
【００２５】
プロセスは、段階３、即ち、シーケンスの区分化を行う。
【００２６】
ナビゲーションフェーズは、３Ｄモデルから現在のビューポイントの画像を補間することを含む。モデルは、非常に大きくてもよく、従って、ビューポイントの再構成のために各瞬間における処理されるべき情報量を制限するために区分化することが便利である。実際に、ナビゲーションのよい流動性を保証するために制限時間中に画像が補間されることが重要である。更に、後述するデータ選択フェース６におけるピクセル毎の画像の比較は、特にシーケンスが長い場合に非実際的な動作である。これは、計算量を減少するために可能な限り早くに実施される区分化に対してもいえる。
【００２７】
表示の構成フェーズ中、及び、利用フェーズ（ナビゲーション）中夫々において２つの区分化動作がデータの操作を制限するために実際に実施される。
【００２８】
シーケンスの第１の区分化は、観測場の共通部分を有しないビューポイントを識別することによって実施される。これは、その後の段階中に、ビューポイントを比較する、つまり、これらビューポイントに関連する画像を比較することを回避させる。各ビューポイントのピラミッド形状の観測場間の全ての共通部分は、従って、これら場のエッジ間の共通部分を検出することで決定される。この動作は、シーンのコンテンツに依存しないが、ビューポイントの相対的な位置にだけ依存する。各現在の画像では、観測場がこの現在の画像の観測場と共通部分を有する画像の組が関連し、この組がリストを構成する。
【００２９】
この区分化段階３中に投影が実施され、第２の区分化を可能にさせる。各画像の群に対して、段階６に関して後述する投影と同様の投影がマッチするピクセルを識別するために行なわれる。画像がそのリストの画像のピクセルとあまりマッチしないピクセルを有する場合、この画像はリストから除去される。
【００３０】
各ビューポイントに対するこれら区分化は、これらビューポイントと共有する３Ｄ点を有し、従って、冗長量を減少するためにピクセルの選択中に比較されるビューポイントのリスト又は群を結果として得る。シーケンスの各画像に対して、その再構成のために要求される選択された画像を識別するためにアレイが構成される。
【００３１】
投影中、マッチしないピクセルは、解像度値を例えば、１に設定されることでマークがつけられる。この特定のマーク付けにより、段階６において、てきごうするピクセルを検索するためにこれらピクセルを再投影する必要がないことが明らかである。投影の動作は、段階３中に得たこれらマッチングに関連する非常に大量のデータを表示する情報を記憶することを回避するために段階６において繰り返される。
【００３２】
段階４は、画像の各ピクセルに対して重み計算を行うことを含む。このパラメータは、保存したピクセルのコストを考慮するために取り入れられる。ピクセルを選択する際に全ての追加の制約が無い場合、後者は、種々異なった寸法及び種々異なった形状の領域を構成してもよく、これら領域を記述するコストは高くてもよい。この問題を回避するために、近傍にある環境（選択された又は選択されていないピクセル）におけるピクセルの分類を考慮する重みが各ピクセルと関連付けされる。重みは、領域の小さい寸法、又は、より粗雑には、幾つかの選択された点を有する画像をペナルティーを課すように選択され得る。この場合、重みは１画像当たり１つの値、例えば、選択された点の割合でもよい。その形状の複雑性を減少させ、従って、記述のコストを減少させるよう選択された点の領域を記述するマスクに対して形態構造的フィルタを適用することも可能である。
【００３３】
重み計算のために考慮され得る基準は、例えば、画像中で選択される点の量、領域の寸法、領域のコンパクト化（重みに反比例する）、及び、例えば、除去されるべきスパイクを考慮するために領域の周辺域である。形態構造的フィルタは、小さい域のこれら周辺域を削除するために重み計算の前にマスク上にわたらされてもよい。
【００３４】
第１の反復において、マスクはゼロの値に初期設定され、つまり全てのピクセルがデフォルトによって選択される。段階４のこの第１のパス中に計算された重みは、従ってユニット値にある。変形例は、この第１の反復中に画像の全てのピクセルに対する重みとして画像の点の数に関して他の画像においてマッチングしない画像の点の割合を選択することを含む。従って、マッチングしないピクセルを最大含む画像を保存することが好ましい（ピクセルの選択に関して段階５及び６を参照）。
【００３５】
段階５中、解像度及び重みを組合わす関連性の値が引き出される。従って、関連性の値は、例えば、
関連性＝解像度×（１＋重み）
と計算されてもよい。
【００３６】
値は、１画像当たり関連性のマップを提供するために各ピクセルに対して割り当てられる。
【００３７】
ここでは、最小限の画像にわたってシーンを記述する点を最大限得ることを目的とし、ピクセルは夫々の関連値の関数として選択される（段階６を参照）。
【００３８】
ピクセルの選択は段階６の課題である。
【００３９】
ここでは、各ピクセルに対して、他のビューポイントにおけるマッチングを検索することを含み、最適の関連性を有するピクセルを識別するために関連性の値を比較することを含む。
【００４０】
このためには、様々な画像のピクセル間のマッチングが幾何学的変換によって実施される。図２は、画像ｉ、つまり、ビューポイントｉと関連する画像に対応する画像基準系（Ｏ，ｕ，ｖ）と、ビューポイントｉに関連付けられた基準系（Ｏｃｉ,ｘｃｉ,ｙｃｉ,ｚｃｉ）（例えば、Ｏｃｉはビューポイントｉの位置と一致する）と、絶対基準系（Ｏａ，ｘａ，ｙａ，ｚａ）とを示す。
【００４１】
各ビューポイントｉに関して、その位置及び向きは絶対基準系にある。画像の各ピクセル（ｕ，ｖ）は、ビューポイントｉに関連する基準系（Ｏｃｉ，ｘｃｉ，ｙｃｉ，ｚｃｉ）において画成される奥行き値ｚｃｉ（ｕ，ｖ）を有する。
【００４２】
画像基準系（Ｏ，ｕ，ｖ）からビューポイントに関連付けられる基準系（Ｏｃｉ，ｘｃｉ，ｙｃｉ，ｚｃｉ）へ移ることを可能にさせる幾何学的変換と、この基準系からシーンに関連付けられる絶対基準系（Ｏａ，ｘａ，ｙａ，ｚａ）へ移ることを可能にさせる幾何学的変換とが既知である。
【００４３】
以下に説明するように、一つの画像から別の画像に移るために、つまり、一つの画像のピクセルと別の画像のピクセルをマッチングさせるためにこれらの変換が使用される。
【００４４】
各ピクセルは、現在のビューポイントｉの２Ｄ画像面上に対する３Ｄ空間における点の投影の結果である。シーン中の全ての点に対応する画像ｉ（そのｚ成分が既知）のピクセルから始まり、既知の幾何学的変換を介して画像ｊにおけるその投影点を決定することが可能である。この投影点が画像のピクセルと一致する場合、ピクセルのマッチングがある。さもなければ、この２Ｄ投影点は最も近傍にあるピクセルと関連付けられる。このとき、シーン中の同じ表面上の非常に近傍にある点に関連するこれら２つのピクセル（初期ピクセル及び目標ピクセル）がマッチングされ、夫々の特徴が比較されてもよいことを考慮する。
【００４５】
一つの画像のピクセルのマッチングは、そのリスト中の対して実施され、これは、段階３において記載する区分化の課題である。各ピクセルは、群の他の各画像上に投影され、上述の通りピクセルとマッチングされる。関連性の値が比較され、最悪の関連性を有するピクセルにマークがつけられる。対応するピクセルとピクセルを比較する手順は、より良い関連性が見つかると直ぐに停止される。
【００４６】
従って、これら動作は、最適の関連性を有するピクセルだけを保持することで画像間の冗長度を識別し除去することを可能にさせる。しかしながら、冗長度をまだ減少させる一方で、異なるビューポイントを形成するために最大の解像度で表示を操作することを回避するために所与の表面の表示をより多く保持することが有利である。従って、解像度値の比較に閾値を取り入れることが有利であり、２つの解像度値の比がこの閾値を超える場合、どのピクセルにもマークがつけられない。従って、各ピクセルは微細又は粗い所望の解像度に依存して使用され得る。
【００４７】
ピクセルのマーク付けは、全てのマスクの全てのピクセルを例えば、２進値１に初期設定することで行なわれる。マッチングが存在する場合、各ピクセルは、区分化フェーズ中に他の関連するビューポイントにおけるそのマッチングと比較される。最も低い関連性を有する方が０とマーク付けされ、つまり、拒絶される。結果として、どのマッチングも現在のピクセルよりも高い関連性を有しない場合、最初のマーク付けを保持するためこの現在のピクセルが選択される。これは従って、シーケンスの各画像に対して、２進マスク又は画像を結果とし、１の値が割り当てられるピクセルが選択されたピクセルに対応する。
【００４８】
段階７では、一連のマスクを伝えるためにシーケンスを形成する各画像に関連するマスクが集められる。
【００４９】
計算された関連性の値を洗練させるために段階７乃至段階４までのフィードバックループがある。各反復において、重み、従って、関連性の値が先の反復時に得たマスクから再計算される。
【００５０】
投影動作は、各反復において繰り返され、画像の全てのピクセルに関連し、先の反復中に選択されていないピクセルは、例えば、マッチするピクセルのパーチネンス値における減少により、可能であれば選択される。しかしながら、他の画像中にマッチを有しないピクセルは投影されない。
【００５１】
計算を減少するためには、各反復において、現在の画像と関連する画像のリストから、現在の画像中の対応するピクセルよりも良い関連性を有するピクセルをもはや有しない画像を除去することが可能である。従って、所与の画像の最終的なリストは、その再構成に必要且つ充分な画像を含む。
【００５２】
反復手順は、所定の数の反復後、又は、マスクにおいてもはや著しい変化が全くないとき停止される。一旦これら最終的なマスクが得られると、段階７の後に段階８が続き、これらのマスクはファセットされた３Ｄモデルを構成するフェーズにおいて使用され、この構成はこれらマスクによって画成される選択されたピクセルだけに基づいて行なわれる。
【００５３】
このファセットされた３Ｄモデルに関連するデータは、幾何学的情報及びテクスチャ情報から構成される。マスクによって画成される各選択された領域に関して、その外形は多角形にされ、対応する奥行きマップは３Ｄ三角形によって近似化される。選択されたテクスチャデータは、不要な領域を保持しないよう一緒にグループ化される。３Ｄモデルは、この情報全てから容易に形成され得る。画像のリスト及び従って、各画像と関連する領域は、区分化するために３Ｄモデルの構成において有利的に考慮され得る。この区分化は、画像の再構成中に処理されるべき情報量を制限するために描写フェーズ中に使用されてもよい。
【００５４】
ビューポイントの動きに従って画像を形成することを含み、３Ｄシーンにおいてナビゲートするプロセスは、画像を再形成するためにこの情報全てを使用する。
【図面の簡単な説明】
【図１】  本発明によるプロセスの段階を説明する処理アルゴリズムを示す図である。
【図２】  ビューポイントと関連する基準系を示す図である。
【図１】
0004729216.tif 000002
【図２】
0004729216.tif 000003