(57)【特許請求の範囲】
【請求項１】
記憶手段に記憶された、視点に関連付けられる基準画像及びオリジナルの奥行き画像に基づいて画成される３Ｄシーンをモデリングする、プロセッサによって実行される方法であって、粗い初期モデルに基づいて粗いから細かいへ、あるいは細かい初期モデルに基づいて細かいから粗いへのインクリメンタルなモデル構築に対応する逐次反復を含み、上記構築されるモデルを記述する近似奥行き画像を計算し、結果として得られる近似奥行き画像を記憶手段に出力し、ここで、近似奥行き画像とは構築されるモデルの３Ｄ点に関係する近似奥行き値からなり、３Ｄ点は上記関連付けられる基準画像のピクセルに対応し、
上記モデルに固有の奥行き画像の近似に起因する近似誤差によって生じる歪みについて、ある視点からの上記３Ｄシーンの２Ｄ合成画像上の最大許容歪みと所定の諸視点とが記憶手段に記憶されており、
当該方法は：
・記憶手段からの基準画像、対応するオリジナル奥行き画像及び所定の諸視点ならびに上記最大許容歪みの情報を取得する段階と、
・上記基準画像の点ｉに対し、且つ、上記点ｉに対応する、上記３Ｄシーンの３Ｄ点を表す、上記所定の諸視点に関係する諸合成画像に対し、上記最大許容歪みに対応する、上記点ｉの奥行きｚｉの最小奥行き値（ｚｉ−Δｚｉ１）及び最大奥行き値（ｚｉ＋Δｚｉ２）を計算する段階と、
・上記合成画像のセットに対し計算された値から、誤差Δｚｉ２の最小値、及び、誤差Δｚｉ１の最小値に依存する、上記点ｉの奥行きｚｉの範囲を計算する段階とを有し、
当該方法は更に、細かいから粗いへのモデル構築の場合には、上記基準画像の点ｉに関連する、対応するモデルの３Ｄ点の近似奥行き値ｚａｐｐがそれらの点ｉについて計算された前記範囲に属さなくなる反復の前に得られたモデルに対応する近似奥行き画像を有効にし、粗いから細かいへのモデル構築の場合には、そのような近似奥行き値がそれらの点ｉについて計算された前記範囲に属するような反復の後に得られるモデルに対応する近似奥行き画像を有効にして、前記結果として得られる奥行き画像を与える段階を含む、
方法。
【請求項２】
上記合成画像に対する、上記点Ｉの奥行きの上記最小値及び上記最大値の計算は、上記合成画像における上記点Ｉに対応するエピポーララインを用いることによって行われ、上記最小値及び上記最大値は、上記最大許容歪みに対応する距離に関連することを特徴とする請求項１記載の方法。
【請求項３】
上記モデルはエレメンタリ領域のセットによって画成され、逐次反復は、上記モデルのエレメンタリ領域の点に関連することを特徴とする請求項１記載の方法。
【請求項４】
上記エレメンタリ領域はファセットであり、上記反復による近似奥行き画像の計算は、上記奥行き画像のファセット化であり、上記反復は、上記モデル構築が、「粗いから細かい」タイプであるか「細かいから粗い」タイプであるかに依存して、上記モデルの新しい３Ｄファセット頂点の作成、又は、上記モデルの３Ｄファセット頂点の削除を含むことを特徴とする請求項３記載の方法。
【請求項５】
上記モデル構築が「粗いから細かい」タイプの方法で、上記反復は、１つのファセットに関連し、上記範囲から外れる複数の近似値のうち、最も劣悪な近似奥行き値の計算を含み、上記新しい３Ｄファセット頂点は、上記最も劣悪な近似奥行き値に対応する点に関することを特徴とする請求項４記載の方法。
【請求項６】
上記誤差の計算が行われる上記合成画像のセットは、上記基準画像を使用する視点のセットの代表サンプルに対応することを特徴とする請求項１記載の方法。
【請求項７】
上記誤差の計算が行われる上記合成画像のセットは、上記基準画像と共通の３Ｄ点の閾値より大きい数を有する画像から構成されることを特徴とする請求項６記載の方法。
【請求項８】
上記最大許容歪みは、画像の特徴の関数として前もって決定されることを特徴とする請求項１記載の方法。
【請求項９】
上記画像の上記特徴は、輝度勾配であることを特徴とする請求項８記載の方法。
【請求項１０】
画像を生成し、該画像を出力する、画像生成装置によって実行される方法であって、請求項１の方法によるシーンのモデリングに基づいて、画像が生成されることを特徴とする、画像生成方法。
【請求項１１】
レンディションのための基準画像、及び、関連付けられる奥行き画像に関連し、３Ｄシーンを画成する記憶手段に記憶されたデータを圧縮する、プロセッサによって実行される方法であって、上記基準画像に関連付けられた３Ｄシーンの上記奥行き画像は、請求項４の方法によるファセット化によってモデリングされ、上記基準画像、及び、上記奥行き画像に関連する上記データは、上記記憶手段において、ファセットを画成するデータによって置換されることを特徴とする方法。
【請求項１２】
レンディションのための基準画像、及び、関連付けられる奥行き画像に関連し、３Ｄシーンを画成するデータを圧縮する、プロセッサによって実行される方法であって、請求項３のモデリング方法の諸段階を含み、上記モデルの上記エレメンタリ領域は、上記奥行き画像を画像ブロックに分割することによって画成され、上記３Ｄシーンのエレメンタリ領域は画像ブロックに対応し、反復は、上記画像ブロックの量子化ステップサイズを変更して、近似奥行きである量子化された奥行きを与えることを含むことを特徴とする方法。
【請求項１３】
上記量子化ステップサイズの変更は、最大幅の量子化ステップサイズ、又は、あるブロックに対して同一の量子化された奥行き値を得るための上記量子化ステップサイズにおける増加であることを特徴とする請求項１２記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、３Ｄシーンモデリング処理方法に係り、特に、合成画像における歪みの制御を可能にする、平面を有する（plane faceted）３Ｄモデルによって３Ｄ物体をモデリングする又は近似する方法に係る。
【０００２】
【従来の技術】
本発明は、奥行き画像を有する基準画像に基いた、シーンの３Ｄモデルの構成を必要とする。
【０００３】
図１は、３Ｄ空間１における物体のサーフェイスを表す。ファセット化（facetization）及び三角測量によってこの物体を近似することによって、サーフェイス２を有するモデルがもたらされる。合成画像は、モデルを、視点６から平面４上に投影することにより得られる。物体のサーフェイスからモデルのサーフェイスへの近似に起因する誤差３は、２Ｄの歪み５として合成画像に現れる。図１は、平面による３Ｄ物体のサーフェイスの近似に起因する誤差は、合成画像においてその輪郭の位置の誤差として現れることを示す。より一般的には、合成画像における物体の形状及びテクスチャの歪みとして現れ得る。
【０００４】
従来のタイプの３Ｄモデルは、３Ｄのファセット（facet）による再現である。奥行き画像のファセット化に対し、既知の方法がある。１つのスキームは、奥行き画像の最初の三角測量に基いた反復方法を必要とする。この方法は、例えば、非特許文献１に記載される。
【０００５】
図２は、このような種類の「粗いから細かい」タイプのインクリメンタルなファセット化を示す。より正確には、図２（ａ）乃至２（ｄ）は、連続する反復に対応する。図２（ａ）は第１の反復であり、矩形画像から２つの三角形を作成する。尚、ファセット化は、最初のモデルを構成するために前もって多角形及び三角形に分割された画像の１つの領域に限定することが可能である。
【０００６】
各反復において、近似誤差画像が計算される。画像の全ての点で計算されるこの誤差は、画素の奥行き値と、ファセット化による画素の近似値との差に対応する。この誤差画像に基いて、最も劣悪に近似される点が検出される。最も劣悪に近似される点とは、絶対値で最大誤差を有する点である。この誤差は閾値と比較される。誤差が閾値以下の場合、ファセット化スキームは終了する。誤差が閾値以上の場合、その対応する点は、新しいファセットの頂点として導入され、その点が属するファセットは、次の反復のために、図２（ｂ）に示すように３つの新しいファセットに分解されるか、又は、その点が稜線に位置する場合は、図２（ｃ）に示すように、４つの新しいファセットに分解される。
【０００７】
最も劣悪に近似される点を用いるファセット化の既知の方法では、画像の全ての点に対し１つの閾値が使用される。その結果、得られる品質は均一ではない。更に、モデリング費用、モデルを画成するのに必要とする情報、又は、再現費用は、最低限必要な品質に対し、少なくない。
【０００８】
【非特許文献１】
シン・チェン、フランシス・シュミット、「制限されたサーフェイス三角測量による適応間隔データ近似」、ＩＦＩＰ、“コンピュータグラフィックスにおけるモデリング」の運営会議、イタリア、ジェノバ、１９９３年７月、ｐ．９５−１１３（Xin CHEN, Francis SCHMITT, “Adaptive interval data approximation by constrained surface triangulation”, IFIP, Working conference on “Modelling in Computer Graphics”, Genova, Italy, July 1993, p. 95-113）
【発明が解決しようとする課題】
本発明は上述した欠点を解決することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の主題は、モデルを記述する近似奥行き画像を計算することにより、視点に関連付けられる基準画像とオリジナルの奥行き画像に基いて画成される３Ｄシーンをモデリングする方法である。この方法は、以下の段階を含むことを特徴とする。
−モデルに固有の近似によって生成される、２Ｄ合成画像上の最大許容歪みを前もって決定する段階と、
−基準画像の点Ｉに対し、且つ、点Ｉに対応する、３Ｄシーンの３Ｄ点を表す合成画像のセットに基いて、最大許容歪みに対応する、点Ｉの奥行きｚｉの最小奥行き値（ｚｉ−Δｚｉ１）及び最大奥行き値（ｚｉ＋Δｚｉ２）を計算する段階と、
−合成画像のセットに対し計算された値から、誤差Δｚｉ２の最小値、及び、誤差Δｚｉ１の最小値に依存する、点Ｉの奥行きｚｉの範囲を計算する段階と、
−基準画像の点Ｉに関連する、対応するモデルの３Ｄ点の近似奥行きｚａｐｐの関数として、反復によって計算される近似奥行き画像が、点Ｉに対し計算された範囲に属するか否かに依存して、近似奥行き画像を有効にする段階。
【００１０】
特定の実施例では、本発明の方法は、合成画像に対する、点Ｉの奥行きの最小値及び最大値の計算は、合成画像における点Ｉに対応するエピポーララインを用いることによって行われ、最小値及び最大値は、最大許容歪みに対応する距離に関連することを特徴とする。
【００１１】
特定の実施例では、モデルはエレメンタリ領域のセットによって画成され、有効化段階において、その奥行きが使用される３Ｄ点は、モデルのエレメンタリ領域の点であることを特徴とする。
【００１２】
特定の実施例では、エレメンタリ領域はファセットであり、反復による計算は、上記奥行き画像のファセット化であり、反復は、方法が、「粗いから細かい」タイプ、又は、「細かいから粗い」タイプであるかに依存して、モデルの新しい３Ｄファセット頂点の作成、又は、モデルの３Ｄファセット頂点の削除を含むことを特徴とする。
【００１３】
特定の特徴では、「粗いから細かい」タイプの方法では、反復は、１つのファセットに関連し、範囲から外れる複数の近似値のうち、最も劣悪に近似される値の計算を含み、新しい３Ｄファセット頂点は、最も劣悪に近似される値に対応する点に関することを特徴とする。
【００１４】
特定の特徴では、誤差の計算が行われる合成画像のセットは、基準画像を使用する視点のセットの代表サンプルに対応する。
【００１５】
別の特定の特徴は、誤差の計算が行われる合成画像のセットは、基準画像と共通の３Ｄ点の閾値より大きい数を有する画像から構成されることである。
【００１６】
特定の実施例では、最大許容歪みは、画像の特徴、例えば、輝度勾配の関数として前もって決定される。
【００１７】
本発明は更に、画像を生成する方法に係り、この応報は、上述した方法によるシーンのモデリングに基いて、画像が生成されることを特徴とする。
【００１８】
本発明は更に、３Ｄシーンを画成するデータを圧縮する方法に係り、これらのデータは、レンディションのための基準画像、及び、関連付けられる奥行き画像に関連し、この方法は、奥行き画像は、請求項４の方法によるファセット化によってモデリングされ、基準画像、及び、奥行き画像に関連するデータは、ファセットを画成するデータに置換されることを特徴とする。
【００１９】
本発明は更に、３Ｄシーンを画成するデータを圧縮する方法に係り、これらのデータは、レンディションのための基準画像、及び、関連付けられる奥行き画像に関連し、この方法は、請求項３のモデリング方法によるモデリング段階を含み、モデルのエレメンタリ領域は、奥行き画像を画像ブロックに分割することによって画成され、近似奥行き画像の、反復による計算は、画像ブロックの量子化ステップサイズを変更して、近似奥行きである量子化された奥行きを与えることを含むことを特徴とする。
【００２０】
この方法の特定の実施例では、量子化ステップサイズの変更は、１つのブロックに対し同一の量子化奥行き値が得られるよう行われる。
【００２１】
各画素に適応され、補助的な手順によって計算される可変閾値を使用することにより、得られる画像画像の画質を制御することが可能となる。
【００２２】
本発明の原理は、モデルから合成される視点を表すサンプルを用い、サンプルの様々な視点において生じた歪みを制御しながらモデルの構成を行うことにある。より正確には、画像における歪みの最大固定値が、全ての点において、３Ｄ物体の、そのモデルによる近似の誤差について上限を決めることができる。従って、本発明の方法は、レンディションの過程において生じた歪み誤差を制御することを可能にする。
【００２３】
本発明は、ファセット化の結果得られる３Ｄモデルの使用空間が既知であるとき、つまり、モデルから生成される視点のセットが既知であるときに、或いは、これらの視点の代表サンプルが既知であるときに、可変閾値を正確に画成することを提案する。１つの視点に対し、ファセット化手順によって作成される奥行き画像の近似の誤差は、３Ｄモデルに持ち越され、一般的に、モデルから合成される、他の視点に対する画像に、２Ｄの幾何歪みとして現れる。
【００２４】
本発明は、再構成される画像の画質の損失、ここでは、２Ｄの幾何歪み、を制御しながら、あまり高価でない再現を得られるよう、奥行き画像の単純化を可能にする。モデルの費用は減少される。
【００２５】
【発明の実施の形態】
本発明の他の特徴及び利点は、非制限的な例により与えられ、添付図面と共に提供される以下の説明から明らかとなろう。
【００２６】
図３は、３Ｄ物体のサーフェイスの近似の誤差の結果生じる、合成画像における誤差を示す。この近似は、基準画像７の奥行き画像のファセット化に対応する。奥行き近似誤差３は、視点Ｊからの横方向の眺めに対し、２Ｄの歪み誤差５として現れる。
【００２７】
考え方としては、既知の視点Ｊ又は任意に決められる視点に対し、２Ｄ画像におけるこの歪み誤差を考慮に入れることである。これらの視点の数量は、代表サンプルに対応するよう十分でなくてはならない。最大誤差は、２Ｄ画像のレベルにおいて決められ、これは、２Ｄ画像の歪みの最大許容値に対応する。
【００２８】
目的としては、歪みを制限しながら基準画像７の奥行き画像をモデリングすることであり、この歪みは、このモデリングが、視点Ｊに対する画像に生じさせるものである。このためには、基準画像７の全ての点において、近似誤差を制限する最小値及び最大値を計算し、それにより、画像Ｊに必要とされる画質を保証する。基準画像７の各点において、Ｎ個の対の最小値及び最大値が計算される。これは、各点を見るＮ個の画像Ｊに対応する。次に、点の最終値の対が、Ｎ個の画像Ｊ全体のレンディションの質を保証するよう計算される。
【００２９】
従って、基準画像７について、画像の各画素に対し、最小奥行きに対応する最小値を有する画像と、最大奥行きに対応する最大値を有する画像とが作成される。これらの奥行きを超えると、視点Ｊのセットからの少なくとも１つの画像上に、許容値より大きい２Ｄの歪みが現れる。これらの閾値、即ち、実際の３Ｄの奥行きと、最小値及び最大値との逸脱が、新しいファセットの作成の決定に使用される。
【００３０】
基準画像７は、物体を特徴付けることを可能にするのに十分であるよう数多くなければならない。例えば、基準画像は、物体の様々な特徴、又は、より一般的には、どのようなシーンであるのかを決めるために、物体の周りに割当てられるべきである。物体又はシーンは、これらの基準視点によってのみ既知となる。
【００３１】
図４は、物体１の点Ｏの、視点Ｊに関連する選択画像４への投影ＰＪと、視点Ｉに関連する基準画像７への投影Ｐｉを示す。図４は、基準画像７又は再現画像の点の、選択画像又はレンダリング画像４上への透視投影８を示す。これは、再現における点Ｐｉの奥行きにおける誤差と、点ＰＩの再構成されるべき画像への投影の結果として得られる点ＰＪの２Ｄ位置における誤差とを結びつける関係の計算が関連する。
【００３２】
（ｕ，ｖ）は、画像における点の座標であり、ｚはこの点に対する奥行き値、従って光学中心（Ｉ又はＪ）から物体Ｏまでの距離である。指数は、視点Ｉ又はＪとして見なされる画像に対応する。従って、画像は画像Ｉ又は画像Ｊと称する。
【００３３】
点ＰＪの座標（ｕｊ，ｖｊ，ｚｊ）は、画素Ｐｉ（ｕｉ，ｖｉ，ｚｉ）の画像Ｊへの透視投影により得られる。
【００３４】
式は以下の形式で書き表すことができる。
【数１】
0004376532.tif 000002
係数ａ及びｔは、２つの視点についての基準フレーム、回転、平行移動、及び、カメラ固有のパラメータの変更に関する数学演算に対応する。
【００３５】
図５は、画像Ｉの点Ｐｉの投影により生じる、画像Ｊにおける点ＰＪを示す。この点は一般的に、ターゲット画像Ｊの画素に対応しない。
【００３６】
実際の物体のモデルへの近似により、つまり、基準画像における、（ｚｉ＋Δｚｉ）による奥行きｚｉの近似により、投影点の位置に誤差が現れる。座標（ｕｊ，ｖｊ）を有するＰＪは、実際の物体に基いた透視投影であり、座標（ｕｊ＋εｕ，ｖｊ＋εｖ）を有するＰ´Ｊはモデルに基いた透視投影である。ｚｊは、点ＰＪの奥行きに対応し、ｚＪ＋εｚは、点Ｐ´Ｊの奥行きに対応する。
【００３７】
（ｚｉ＋Δｚｉ）によるｚｉの近似と、レンダリング画像におけるサーフェイスの歪みに対応する投影された点（ｕｊ＋εｕ，ｖｊ＋εｖ）の位置における誤差との関係は、以下の式により与えられる。
【数２】
0004376532.tif 000003
歪みが、観察者にとって支障でない限り、許容可能であると考えると、値εｕ及びεｖにおいて、歪みが許容可能である間隔を決めることができる。これは、言い換えると、奥行きｚｉにおける許容可能な下限（ｚｉ−Δ１ｚｉ）及び上限（ｚｉ＋Δ２ｚｉ）を見つけることが可能となる。これらの値は、上述の式から容易に推論することができる。
【００３８】
空間における点、第１の画像への３Ｄ投影は、エピポーララインと称する第１の画像の直線上にあり、第１の画像は、第２の画像への投影点と全く同一の投影点を有することは既知である。このライン上の投影点の位置は、視点から第２の画像までの奥行き、つまり、値ｚｉに依存する。このラインは、図６に破線で示す。
【００３９】
投影点の許容される位置誤差は、例えば、図６において記号［  ］により表すことができ、ここで、投影点についての最大距離が画成される。例えば、半画素以下の歪みがある場合、これらの位置は、画素間の距離の半分に等しいεｕ及びεｖの最大値、及び、対応する負の値に対応する。これらの２つの制限値は、エピポーラライン上の２点を画成し、その２点から、ｚｍｉｎ（ｉ，ｊ）＝（ｚｉ−Δ１ｚｉ）と、ｚｍａｘ（ｉ，ｊ）＝（ｚｉ+Δ２ｚｉ）の値を計算できる。
【００４０】
従って、再現における各点Ｐｉは、画像Ｊに投影される。画像Ｊの再構成に各点Ｐｉは参加する。基準画像の点Ｐｉは、各画像Ｊにおいて、対（ｚｍｉｎ（ｉ，ｊ），ｚｍａｘ（ｉ，ｊ））に関連付けられる点Ｐｊに対応する。値ｚｍｉｎ（ｉ，ｊ）と値ｚｍａｘ（ｉ，ｊ）が、各画像Ｊに対し計算される。
【００４１】
これらの値のうち、複数の値ｚｍｉｎ（ｉ，ｊ）から最大値ｚＭ（ｉ）が、複数の値ｚｍａｘ（ｉ，ｊ）から最小値ｚｍ（ｉ）が選択される。点Ｐｉに対するｚｉ＋ΔＺｉの値が、この範囲［ｚｍ（ｉ），ｚＭ（ｉ）］内にある場合、画像Ｊが何であろうと、そこから、画像Ｊセット全体の、点Ｉを表す画素に関連する歪みは、所定の制限より少ないことを推論することができ、それにより、全ての再構成画像の画質制御が保証される。
【００４２】
ファセット化手順において、適応閾値が以下のように用いられる：各画素の近似奥行き値ｚａｐｐ（ｉ）は、間隔［ｚｍ（ｉ），ｚＭ（ｉ）］への従属性に関して試験される。全ての画素において、近似奥行き値ｚａｐｐ（ｉ）がこの間隔に属する場合、この奥行き画像は、「よい近似」として見なされ、ファセット化スキームは停止される。一方で、近似奥行き値ｚａｐｐ（ｉ）が、この間隔から外れる画素が存在する場合、最も劣悪に近似される点Ｐｉが選択され、ファセット頂点として導入され、そして、反復スキームが続行される。
【００４３】
図７ａ及び図７ｂは、曲線を、直線セグメントで近似する原理を説明するが、第１の場合では固定閾値を用い、第２の場合では適応閾値を用いる。近似されるべき曲線には参照符号９が付けられ、間隔、即ち、閾値には参照符号１０が付けられ、近似により得られる曲線には、参照符号１１が付けられる。
【００４４】
ファセットによりサーフェイスを近似する場合は、この実例から容易に推定することができる。シーンに対応するオリジナルの奥行き画像と、モデルに対応する近似奥行き画像は、それぞれ、近似されるべき曲線９と直線セグメント１１と比較される。奥行き画像の画素に割当てられる範囲は可変閾値１０に対応する。
【００４５】
シーンを画成する３Ｄモデルは、例えば、ファセットであるエレメンタリ領域に基いて記述される。最初の奥行き画像は、図２で説明したように反復によりファセット化され、近似奥行き画像、即ち、合成奥行き画像が得られる。
【００４６】
反復は、例えば、以下の通りに行われる。
【００４７】
近似奥行き画像に基いて、３Ｄシーンのエレメンタリ領域、即ち、ファセットに関するこの奥行き画像の各領域に対し、各画素の近似値が、各画素に割当てられる範囲と比較される。例えば、複数のファセットの頂点の奥行きからの補間により、周知の方法で計算される、近似奥行き画像の画素に割当てられる奥行きは、シーンを記述するするオリジナルの奥行き画像の対応する画素の奥行きと比較される。画素の近似値が、割当てられている範囲から外れる場合、その画素に対応する近似誤差が計算される。次に、その近似値が範囲から外れる画素のうち、その誤差が最大であるものが選択される。そして、このエレメンタリ領域に対し、新しいファセット化が決められる。この処理は、このように、奥行き画像の領域セットに対し続けられる。奥行き画像に行われる反復は、近似奥行き画像において、全ての点が、それらの点に割当てられる範囲内にある近似奥行きを有すると、停止する。
【００４８】
適応閾値の利点は、特に、特定のカメラ動作構成において現れる。例えば、カメラ動作がフロンタルタイプの場合、カメラが向けられるゾーンのレリーフは、粗く近似することができる。同様に、カメラ動作が回転の場合、奥行き情報は有用でなくなるので、間隔は無限であり、そして、ファセットによる表示は最小で済む。
【００４９】
適応閾値は、全ての投影点に対し固定の許容最大歪み誤差に基いて、各点において決められる。この歪み自体は、以下の点に応じて多少許容可能となる。
‐レンダリングされた画像における投影点が、２Ｄ物体の輪郭上であるか、又は、中であるかに応じる。正確な輪郭を保持することも重要であるが、内部の歪みは、例えば、可視ではない。
‐再現の画像上の点が、物体の幾何学タイプに関しての特徴、例えば、正確に維持されることが望まれる線形に突出したエッジ、テクスチャライズされたエッジ、又は、欠陥がほとんど見えない均等なテクスチャの領域に位置しているかに応じる。
【００５０】
従って、許容された歪み自体は、そのようなファクタの関数として変化し得る。従って、ファセット化閾値は、例えば、各点について、対応する投影点に最も近い画素に割当てられる最大歪み値を考慮に入れることによって計算される。
【００５１】
この最大歪み値は、例えば、輝度勾配である画像を決めるパラメータの関数として自動的に計算することができる。
【００５２】
上述した、閾値を計算する方法は、１つ以上の奥行き画像のモデリングのコンテキストにあり、結果として得られるモデルは、一方で、情報を圧縮するのに必要とされ、他方で、視点を合成し、そのレンディションの質は制御することが望ましい。このコンテキストにおいて、奥行き値の近似を含む、他のモードのモデリングも、レンディションの質を制御するために適応閾値に基いてもよい。ファセット化は、奥行き画像に関するデータを圧縮する手段である。従って、３Ｄシーンは、各画素に割当てられる奥行き値に基づくのではなく、ファセットを決めるデータに基いて決められる。空間的な相関関係を利用する別の手段は、従来の方法で、画像の画像ブロックへの分割、及び、画像ブロックの量子化後に離散コサイン変換を行う。例えば、画像ブロックの全ての点において、この近似が計算された下限及び上限に適合する場合、その画像ブロックの全ての点を同一の奥行き値に設定することにより、変換前に画像ブロックのコンテンツを単純化することができる。
【００５３】
オリジナルの奥行き画像は、画像ブロックに分割される。物体に投影される各ブロックは、エレメンタリ領域を表す。モデルを画成するための奥行き画像の近似は、ここでは、画像ブロックを構成する奥行き値を量子化することにより行われる。量子化ステップサイズは、例えば、反復の間に増加するよう選択され、量子化された画像ブロックとオリジナル画像ブロックとの誤差は、モデルへの近似を表す。奥行きが、画像ブロック内における最大誤差に対応する、画素に関連する範囲は、近似誤差と比較されて、次の反復が決められる。
【００５４】
図３を共に参照するに、図８は、それぞれ単一の物体及び１つのファセット化されたモデルに必ずしも制限されない、シーン及び関連付けられるモデルを概括したものである。
【００５５】
本出願人が所有する「Process for constructing a 3D scene model by analysis of image sequences」なる名称の仏国特許第２７９８７６１号は、モデル構成のために選択された画素であり、一連の画像の画像のマスクと奥行き画像に基いた３Ｄシーンの記述を説明する。上述したファセット化をモデルの構成に適用することが可能である。一連の画像に基いて構成され、２Ｄ領域、奥行き画像、及び視点の位置を記述する２値マスクである３Ｄの再現は、基準画像に相当する。レンディションにおいて全く同一の領域を必要とする視点のリスト、つまり、全く同一の３Ｄ点と共通の画素を有する画像に対応する視点のリスト、又は、リストが大きい場合には、そのリストの当該のサブセットが、適応閾値の計算に用いられる。
【００５６】
本発明は、「粗いから細かい」又は「細かいから粗い」タイプのモデルの構成に、同等に関連する。
【００５７】
「粗いから細かい」タイプのモデルのインクリメンタルな構成は、最初の粗いモデルに基いて、モデリングされるべき物体の新しい３Ｄ点を各反復において導入することによりそのモデルの構成を高めることにある。この手順の間、各反復にて、画像における最大歪みを計算することにより、基準セットの各視点についてモデルの有効性を試験することができ、また、最大歪みが閾値より大きい場合に、新しい３Ｄ点を導入することができる。従って、この手順は、全ての基準視点が、全ての点において、固定の閾値より少ない歪みを有すると、停止される。視点の画像における歪みが、全ての点において、閾値より小さくなると、その視点がもはや考慮に入れられなくてよいようにすることが可能である。
【００５８】
「細かいから粗い」タイプのモデルのインクリメンタルな構成は、最大分解能を有するモデルに基いて、モデルの質が許容可能である限り、点を取り除くことにある。このコンテキストにおいても、各反復において、所与の視点のそれぞれについて、モデルの有効性を試験し、そして、各画像において視点からもたらされる歪みが閾値より小さい場合、その点を削除することが可能である。従って、この手順は、点を削除することによって、少なくともＮ個の視点において固定の閾値より大きい歪みがもたらされるようになる場合に停止される。
【００５９】
本発明は特に、画像の品質又はデータの圧縮のためのモデルの構成に適用される。
【図面の簡単な説明】
【図１】３Ｄ空間におけるシーンとそのモデリングを示す図である。
【図２】「粗いから細かい」タイプのファセット化を示す図である。
【図３】物体のモデリングに起因する、合成画像における誤差を示す図である。
【図４】合成画像における、基準画像の点の透視投影を示す図である。
【図５】実際のシーンから合成画像上に投影される点と、モデルから合成画像上に投影される点を示す図である。
【図６】投影点に関連するエピポーララインを示す図である。
【図７ａ】固定閾値に基づく、セグメントによる曲線の近似を示す図である。
【図７ｂ】可変閾値に基づく、セグメントによる曲線の近似を示す図である。
【図８】シーンのモデリングに起因する誤差を示す図である。
【符号の説明】
１  ３Ｄ空間
２  モデル
３  近似誤差
４  平面
５  ２Ｄの歪み
６  視点
７  基準画像
８  透視投影
９  近似されるべき曲線
１０  閾値
１１  近似により得られる曲線
【図１】
0004376532.tif 000004
【図２】
0004376532.tif 000005
【図３】
0004376532.tif 000006
【図４】
0004376532.tif 000007
【図５】
0004376532.tif 000008
【図６】
0004376532.tif 000009
【図７ａ】
0004376532.tif 000010
【図７ｂ】
0004376532.tif 000011
【図８】
0004376532.tif 000012