(57)【要約】  いくつかの代表的な実施例が、一連の２次元イメージを処理して、当該一連のイメージにおいて示される物理的空間の表現を生成することによって「仮想空間」を生成することに向けられる。当該仮想空間の表現は、当該仮想空間内のオブジェクトのロケーション、当該オブジェクトのジオメトリ、当該オブジェクトの次元、当該オブジェクトのサーフェイス表現、そして他の同様な情報を特定するオブジェクトのモデルを含んでいる。仮想空間の表現を行うことによって、立体的イメージの生成、オブジェクトの挿入、オブジェクトの取り除き、オブジェクトの変形、そして／または他のオブジェクトの操作といった、多くのイメージ処理エフェクトが適用される。【特許請求の範囲】
【請求項１】
ビデオシーケンスを処理する方法であって、
前記ビデオシーケンスの多数のフレームにおけるオブジェクトに関連するグラフィカルデータを決定し、
３次元モデルを前記オブジェクトと関連付け、
前記多数のフレームの間における前記オブジェクトによって経験される変換を決定し、
前記多数のフレームのうちの第１のフレームについてのテクスチャーマップデータを生成し、
前記生成は、（ｉ）前記第１のフレームに関連するカメラポジションによって見ることができる前記３次元モデルの第１の部分を特定し、（ｉｉ）前記第１のフレームに関連する決定されたグラフィカルデータを、前記第１の部分についてのテクスチャーマップデータ内に含ませ、（ｉｉｉ）前記第１のフレームに関連するカメラポジションによって見ることができない前記３次元モデルの第２の部分を特定し、（ｉｖ）前記第１のフレームと前記少なくとも第２のフレームとの間において前記オブジェクトによって経験される、決定された変換によって、前記多数のフレームのうちの少なくとも第２のフレームに関連する、決定されたグラフィカルデータを処理し、（ｖ）前記処理されたグラフィカルデータを前記第２の部分についてのテクスチャーマップデータ内に含ませる
ことを特徴とするビデオシーケンス処理方法。
【請求項２】
請求項１に記載のビデオシーケンス処理方法において、
前記変換の決定は、前記オブジェクトによって経験される、ポジションの変更を決定する
ことを特徴とするビデオシーケンス処理方法。
【請求項３】
請求項１に記載のビデオシーケンス処理方法において、
前記決定された変換は、スケーリング変換、回転変換、そしてモーフィング変換からなるリストから選択された少なくとも一つの変換を含む
ことを特徴とするビデオシーケンス処理方法。
【請求項４】
請求項１に記載のビデオシーケンス処理方法において、
前記グラフィカルデータの決定は、前記多数のフレームにおける前記オブジェクトのアウトラインを決定する
ことを特徴とするビデオシーケンス処理方法。
【請求項５】
請求項４に記載のビデオシーケンス処理方法において、
前記アウトラインの決定は、前記オブジェクトの外部における複数のポイントを決定するために、ユーザインタフェースを介してユーザから入力を受信し、
前記複数のポイントの間におけるエッジを決定するために、イメージ処理アルゴリズムを実行する
ことを特徴とするビデオシーケンス処理方法。
【請求項６】
請求項１に記載のビデオシーケンス処理方法において、更に、
前記第１のフレームについての立体的イメージを生成し、
前記立体的イメージの生成は、前記生成されたテクスチャーマップを用いて、２つの視点から前記３次元モデルを描写する
ことを特徴とするビデオシーケンス処理方法。
【請求項７】
請求項１に記載のビデオシーケンス処理方法において、更に、
前記複数のフレームの各々について、前記テクスチャーマップデータの生成を繰り返す
ことを特徴とするビデオシーケンス処理方法。
【請求項８】
請求項７に記載のビデオシーケンス処理方法において、更に、
前記オブジェクトモデルと前記テクスチャーマップデータとを用いて、立体的イメージのシーケンスを生成する
ことを特徴とするビデオシーケンス処理方法。
【請求項９】
請求項１に記載のビデオシーケンス処理方法において、更に、
前記多数のフレームにおける多数のオブジェクトについての、前記グラフィカルデータの決定、関連付け、変換の決定、そして生成を繰り返す
ことを特徴とするビデオシーケンス処理方法。
【請求項１０】
請求項１に記載のビデオシーケンス処理方法において、更に、
前記第１のフレームにおける前記３次元モデルに関連する前記オブジェクトを少なくとも部分的にじゃまする他のオブジェクトを取り除くことによって、前記第１のフレームの修正バージョンを描写する
ことを特徴とするビデオシーケンス処理方法。
【請求項１１】
請求項１に記載のビデオシーケンス処理方法において、更に、
カメラリコンストラクションアルゴリズムを実行し、
前記生成処理は、前記カメラリコンストラクションアルゴリズムによって生成されたデータを用いて、前記第２のフレームに関連するグラフィカルデータを決定する
ことを特徴とするビデオシーケンス処理方法。
【請求項１２】
請求項１に記載のビデオシーケンス処理方法において、
前記生成は、前記第１のフレームからの時間的な距離の関数としての前記第２の部分についてのデータを優先させる
ことを特徴とするビデオシーケンス処理方法。
【請求項１３】
請求項１に記載のビデオシーケンス処理方法において、
前記生成は、前記第１及び第２のフレームの間におけるイメージの相違を補償するための加重平均を用いて、前記特定されたグラフィカルデータを処理する
ことを特徴とするビデオシーケンス処理方法。
【請求項１４】
ビデオシーケンスを処理するシステムであって、
３次元要素を用いて前記ビデオシーケンスにおけるオブジェクトを表現する複数のオブジェクトモデルと、
前記複数のフレームの間における前記オブジェクトによって経験される変換を決定する複数の変換データストラクチャーと、
テクスチャーマップデータを生成するテクスチャーマップ生成アルゴリズムとを備え、
前記アルゴリズムは、前記オブジェクトモデルの各々について、そして前記複数のフレームの各々について、（ｉ）前記多数のフレームのうちの現在のフレームのカメラポジションによって見ることができるそれぞれのオブジェクトモデルの第１の部分を特定し、（ｉｉ）前記カメラポジションによって見ることができない前記それぞれのオブジェクトモデルの第２の部分を特定し、（ｉｉｉ）前記現在のフレームからのグラフィカルデータを前記現在のフレームの前記第１の部分についてのテクスチャーマップデータに含ませ、（ｉｖ）変換データストラクチャーに従って、前記現在のフレーム以外の少なくとも一つのフレームからのグラフィカルデータを処理し、（ｖ）前記処理されたグラフィカルデータを前記第２の部分についてのテクスチャーマップデータに含ませる
ことを特徴とするビデオシーケンス処理システム。
【請求項１５】
請求項１４に記載のビデオシーケンス処理システムにおいて、
前記複数のオブジェクトモデルは、前記多数のフレームについて、前記複数のオブジェクトモデルの３次元中におけるポジションを決定するデータを符号化する
ことを特徴とするビデオシーケンス処理システム。
【請求項１６】
請求項１４に記載のビデオシーケンス処理システムにおいて、
前記複数のオブジェクトモデルは、前記複数のオブジェクトモデルの次元を決定するデータを符号化する
ことを特徴とするビデオシーケンス処理システム。
【請求項１７】
請求項１４に記載のビデオシーケンス処理システムが、更に、
前記ビデオシーケンスを捉えるために用いられるカメラの特性を決定する少なくとも一つのカメラデータストラクチャーを備える
ことを特徴とするビデオシーケンス処理システム。
【請求項１８】
請求項１４に記載のビデオシーケンス処理システムが、更に、
前記複数のオブジェクトモデルと前記テクスチャーマップデータとを用いて、イメージを描写するレンダリングモジュールを備える
ことを特徴とするビデオシーケンス処理システム。
【請求項１９】
請求項１７に記載のビデオシーケンス処理システムが、更に、
オブジェクト特性を修正するシーンエディティングモジュールを備える
ことを特徴とするビデオシーケンス処理システム。
【請求項２０】
請求項１９に記載のビデオシーケンス処理システムにおいて、
前記シーンエディティングモジュールが、描写されるフレームからオブジェクトを取り除くためのユーザ入力を受信する
ことを特徴とするビデオシーケンス処理システム。
【請求項２１】
請求項１９に記載のビデオシーケンス処理システムにおいて、
前記シーンエディティングモジュールが、描写されるフレームにオブジェクトを挿入するためのユーザ入力を受信する
ことを特徴とするビデオシーケンス処理システム。
【請求項２２】
請求項１４に記載のビデオシーケンス処理システムが、更に、
前記複数のオブジェクトモデル、前記カメラデータ、そして前記テクスチャーマップデータを用いてイメージを描写するレンダリングモジュールを備える
ことを特徴とするビデオシーケンス処理システム。
【請求項２３】
請求項１４に記載のビデオシーケンス処理システムが、更に、
前記ビデオシーケンスを捉えるために用いられるカメラの特性を再構築するためのモジュールを備える
ことを特徴とするビデオシーケンス処理システム。
【請求項２４】
請求項１４に記載のビデオシーケンス処理システムが、更に、
前記ビデオシーケンスにおけるオブジェクトを表現するジオメトリを構築するためのモジュールを備える
ことを特徴とするビデオシーケンス処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グラフィカルイメージ（ｉｍａｇｅ）処理に関する。
【背景技術】
【０００２】
１又は数個の２次元イメージを１又は数個の立体的な３次元イメージに変換するための多くの技術が提案され、場合によっては実行されている。２次元イメージの３次元イメージへの変換は、各々の３次元のフレームについて一対の立体的なイメージを生成することを含む。当該立体的なイメージは、適合する表示装置を用いて、ビューアー（ｖｉｅｗｅｒ）の左右の目に提示される。それぞれの立体的なイメージの間のイメージ情報は、算出される、シーン中のオブジェクトと当該シーンのビューアーとの間の空間的関係によって異なる。当該イメージ情報における相違によって、ビューアーが当該３次元のエフェクトを知覚することができる。
【０００３】
変換技術の例が、特許番号６，４７７，２６７の米国特許（「２６７特許」）に記述されている。２６７特許において、与えられた２次元イメージ中から選択されたオブジェクトのみが、最終的な３次元イメージ中の３次元エフェクトを受けるために処理される。２６７特許においては、一つのオブジェクトが、まず、当該オブジェクトを囲むことによって、そのような処理のために選択される。選択されたオブジェクトは、ビューアーからのオブジェクトの相対的距離を示す「深さ」値が付与される。付与された深さ値に依存する立体的なイメージの対の各々のイメージについて、当該選択されたオブジェクトの水平方向の移動処理が行われる。つまり、当該３次元エフェクトを生成するために、「カットアンドペースト」操作が行われる。当該オブジェクトの一回の移動が、当該オブジェクトの背景中にギャップ又はブランク領域を生成する。２６７特許に開示されたシステムは、当該オブジェクトのバックグラウンドを「ストレッチする」ことによって当該ギャップを埋めて当該ブランク領域を満たす。
【０００４】
当該２６７特許は、多くの制限と関連付けられている。具体的には、当該ストレッチ操作は、ストレッチされるオブジェクトを歪める。当該歪みは、ビジュアル的な異常を減らすために、最小化されることが必要である。ストレッチの量は、また、オブジェクトとその背景との間の偏差又はパララックスに関連しており、当該オブザーバからのそれらの相対的距離の関数である。その結果、相互に関連するオブジェクトの相対的距離は、小さいままに維持されるべきである。
【０００５】
変換技術の他の例が、特許番号６，４４６，２０５の米国特許（２０５特許）中に記述されている。２０５特許においては、ビデオフレームのシーケンスが、オブジェクトを選択し、実質的にそれぞれのオブジェクトに関連する情報のみを含んでいる、選択されたオブジェクトの「セル」又は「マット」を生成するために処理される。与えられたフレームにおける他のオブジェクトによる、選択されたオブジェクトの部分的オクルージョン（ｏｃｃｌｕｓｉｏｎ）が、当該ビデオフレームのシーケンスを一時的にサーチして当該最初のオブジェクトと同一の部分がじゃまされる（ｏｃｃｌｕｄｅｄ）ことがない他のフレームを特定することによって解決される（ａｄｄｒｅｓｓｅｄ）。従って、フルオブジェクト（ｆｕｌｌ  ｏｂｊｅｃｔ）がどの単一のフレーム中にも現れないとしても、１つのセルが当該フルオブジェクトについて生成される。そのような処理の利点は、オブジェクトが３次元エフェクトを提供するために取り除かれた時にギャップ又はブランクの領域が現れないことである。具体的には、ブランクであるバックグラウンドの部分又は他のオブジェクトが、時間的な（ｔｅｍｐｏｒａｌ）シーケンスにおける他のフレームから取得されたグラフィカル情報によって満たされる。従って、３次元イメージの描写（ｒｅｎｄｅｒｉｎｇ）が、都合のよい方法で行われる。
【発明の開示】
【０００６】
（発明の要旨）
いくつかの代表的な実施例は、一連の２次元イメージを処理して一連のイメージ中に示される物理的空間（ｗｏｒｌｄ）の表現を生成することによって、「仮想空間」を生成することに向けられる。当該仮想空間表現は、当該仮想空間内におけるオブジェクトのロケーション、当該オブジェクトのジオメトリ、当該オブジェクトの次元、当該オブジェクトのサーフェイスの表現そして／または他の同様の情報を特定するオブジェクトのモデルを含んでいる。仮想空間表現を構築することによって、多くのイメージ処理エフェクトが適用される。
【０００７】
一実施例においては、立体的イメージが生成される。一対の立体的イメージを生成するために、２つの異なるカメラポジションを用いてビューアーの左右の目に対応する当該仮想空間の２つの別個のビュー（ｖｉｅｗ）が描写される（ｒｅｎｄｅｒｅｄ）。この方法による立体的イメージの描写が、周知の変換技術を用いた場合より高い知覚品質（ｐｅｒｃｅｉｖｅｄ  ｑｕａｌｉｔｙ）の３次元エフェクトを生成する。具体的には、サーフェイスコンストラクションを実行するための３次元ジオメトリを使用することによって、２次元の関係が適用された時に、より正確にオブジェクトを表現することが可能となる。
【０００８】
一実施例においては、アルゴリズム解析とマニュアル入力が、エディティング（ｅｄｉｔｉｎｇ）アプリケーションを用いて一連の２次元イメージに適用される。当該エディティングアプリケーションのグラフィカルユーザインタフェースは、「エディター」が、当該オブジェクトモデルの生成を開始するために、当該イメージ処理アルゴリズムとカメラリコンストラクションアルゴリズムのオペレーションをコントロールすることを可能とする。当該アルゴリズムのアプリケーションと同時に、当該エディターは、当該グラフィカルユーザインタフェースを介して、当該オブジェクトモデルを精密にする（ｒｅｆｉｎｅ）ためのユーザ入力を提供する。マニュアル及び自律的なイメージオペレーションを調整することによって、２次元のシーケンスが効率良く当該仮想空間表現に変換される。従って、２次元から３次元への変換といった更なるイメージ処理が、周知の処理技術を用いた場合よりも効率的かつ正確な方法で行われる。
【０００９】
上記のことは、以下の本発明の詳細な説明がよりよく理解できるように、本発明の特徴と技術的利点を概略的に説明する。本発明のクレームの主題を形成する本発明の追加的な特徴と利点がここで記述される。開示される思想と特定の実施例は、修正、そして、本発明と同一の目的を達成するための他の構成を設計するための基礎としてすぐに役立つ。そのような同等の構成は添付されたクレームを逸脱するものではないことは理解されるであろう。本発明の特徴とされる、その構成および操作方法双方の明白な特徴は、さらなる目的と利点とともに、添付された図面が考慮された時に以下の記述から容易に理解されるであろう。しかし、その各図は、表示と説明のためのみのものであり、本発明の限界を定めるものではないことが明確に理解されるべきである。
【発明を実施するための最良の形態】
【００１０】
図面を参照すると、図１は、いくつかの代表的な実施例に従って処理されるビデオイメージのシーケンス１００を示す。ビデオイメージのシーケンス１００は、キーフレーム１０１〜１０４を含んでいる。多数の他のフレームは、これらのキーフレームの間に存在する。
【００１１】
図１に示されるように、球（ｓｐｈｅｒｅ）１５０は、多数のトーンそして／または色彩のコンテンツを有している。球１５０の半分の一つは、第１のトーン１５１を用いて描写され、球１５０の他の半分は、第２のトーン１５２を用いて描写される。球１５０は、ビデオシーケンス１００を通じて回転変換される。従って、キーフレーム１０２において、キーフレーム１０１に比べてより多くの量のトーン１５１がみられる。キーフレーム１０３においては、十分な回転が生じて、球１５０のトーン１５１だけが見ることができる。キーフレーム１０４においては、トーン１５２が、キーフレーム１０１におけるトーン１５２のポジションと比べて球１５０の反対側に再び見ることができる。
【００１２】
ボックス１６０は、ビデオシーケンス１００においてスケーリング変換される。具体的には、ボックス１６０は、ビデオシーケンス１００を通じて、より小さくなる。更に、ボックス１６０は、ビデオシーケンス１００の間、変換される。その結果、ボックス１６０のモーションのせいで、ボックス１６０が球１５０によってじゃまされる（ｏｃｃｌｕｄｅｄ）。キーフレーム１０４において、ボックス１６０は、もはや見ることができない。
【００１３】
周知のイメージ処理技術によって、キーフレーム１０３についての立体的イメージの生成が、球１５０をキーフレーム１０３からセグメント（ｓｅｇｍｅｎｔｉｎｇ）またはマッティング（ｍａｔｔｉｎｇ）することによって行われる。球１５０について、セグメントされ、またはマッティングされたイメージデータは、一つのトーン（すなわち、トーン１５１）からなる。当該セグメントされ、またはマッティングされたイメージデータは、当該立体的ビューにおいて取り除かれる（ｄｉｓｐｌａｃｅｄ）。更に、イメージフィリングまたはオブジェクトストレッチングが、当該取り除きによって引き起こされる空の領域に対処するために行われる。いくつかの周知のイメージ処理技術に関する制限が、球１５０のマルチトーンのサーフェイス特性を正確に描写できないことによって見られる。具体的には、周知のイメージ処理技術による立体的ビューの生成は、当該マッティングされ、またはセグメントされたイメージデータのみを用いるため、周知の技術は、球１５０を立体的なイメージの対の左右のイメージ双方において、単一のトーンのオブジェクトとして描写する。しかし、そのような描写は、３次元シーンにおいて実際に生成されるビューから逸脱することとなる。実際の３次元シーンにおいては、ライトビューがトーン１５２の部分を球１５０の右側において見えるようにする。同様に、レフトビューがトーン１５２の部分を球１５０の左側において見えるようにする。
【００１４】
代表的な実施例は、処理されているイメージ内のオブジェクトの３次元モデルを生成することによって、立体的イメージを描写する時に、より高い正確性の実現を可能とする。１個の３次元モデルが、ボックス１６０に対して生成される。さらに、ボックス１６０によって経験されるスケーリング変換が、ボックス１６０に対して生成されたモデルを用いて符号化される。図２中に示されるボックス１６０の表現２０１〜２０４は、キーフレーム１０１〜１０４に対応する。更に、ボックス１６０は、キーフレーム１０４中にはっきりとは存在しない。しかし、当該スケーリング変換及び変形が特定されて符号化され得るので、ボックス１６０の表現２０４がキーフレーム１０４に対して生成される。キーフレーム中には見られないオブジェクトに対する描写の生成は、多くのエフェクトを可能とするために役立つ。例えば、オブジェクトを取り除くオペレーションが、球１５０を取り除くために選択され、これによって、ボックス１６０を最終的に処理されたイメージ中で見ることができるようにする。
【００１５】
同様にして、球１５０に対する３次元モデルが選択され、又は生成される。球１５０に関連する回転変換情報が、当該３次元モデルに関連付けられて符号化される。
【００１６】
３次元モデルとカメラリコンストラクション情報を用いて、シーン内のオブジェクトのロケーションを含む３次元シーンが決定される。図３は、キーフレーム１０３に対応する球１５０の３次元モデル３０１とボックス１６０の３次元モデル３０２を含むシーン３００の「オーバーヘッド」ビューを示している。図３に示すように、トーン１５２は、視点からそれており、トーン１５１は、視点に向いている。しかし、ライトビューが少しずれているため、トーン１５２の一部が見える。また、ボックス１６０の３次元モデル３０２のより少ない量が球１５０の３次元モデル３０１によってじゃまされる。
【００１７】
３次元シーン３００を用いて、レフトイメージ４００とライトイメージ５００とが、図４及び図５に示すように生成される。具体的には、３次元シーン３００は、どのオブジェクトが見えるのかということと、当該オブジェクトの部分、当該レフト及びライトビューに対するオブジェクトのサイズを決定する。当該ビューにおける当該オブジェクトの描写が、テクスチャーマッピング技術を用いて、当該３次元オブジェクト上にイメージデータをマッピングすることによって行われる。符号化された変換情報が、正確にテクスチャーマッピングを実行するために用いられる。例えば、球１５０についての符号化された回転変換情報は、球１５０の左部分がレフトイメージ４００中のトーン１５２を含むことができるようにする。当該変換情報は、球１５０の右部分が右のイメージ５００中のトーン１５２を含むことができるようにする。具体的には、キーフレーム１０２と１０４中のトーン１５２に関連するイメージデータが、当該変換情報を用いて、イメージ４００と５００中における球１５０の適当な部分にマッピングされる。同様に、イメージ５００において見えるようになったボックス１６０の部分のサーフェイス特性が、キーフレーム１０２からの情報と当該変換情報とを用いて適当に描写される。
【００１８】
いくつかの実施例のオペレーションを更に示すために、図９が参照される。図９は、ボックスが２つの軸において回転するビデオフレームの対を示している。従来のマット（ｍａｔｔｅ）モデリング技術を用いて、オブジェクトのマットがフレーム９０１〜９０４の各々に対して生成される。なぜなら、当該ボックスの当該２次元表現は、各々のフレームについて異なるからである。各々のフレーム９０１〜９０４についての、それぞれのオブジェクトのマットの生成は、時間がかかり、煩わしい処理である。しかし、一つの実施例によれば、オブジェクトモデルがフレーム９０１について生成される。なぜなら、当該ボックスの当該３次元特性は変更しないため、当該回転情報のみがフレーム９０２〜９０４について決定される。当該ボックスのサーフェイス特性が、当該オブジェクトモデルと変換情報とを用いて、フレーム９０２〜９０４から自律的に抽出される。その結果、いくつかの実施例は、ビデオフレームの処理について、従来技術よりも効率的な処理を提供する。
【００１９】
図６は、一実施例による、相互に関連するビデオイメージからの３次元オブジェクトの決定処理を示す。処理６０１において、選択されたフレームにおいて、注目するオブジェクトのアウトラインが決定される。当該オブジェクトのアウトラインは、半自律的に発生する。ユーザはマニュアルでそれぞれのオブジェクトのエッジの比較的少ない数の点を選択する。そして、エッジトラッキングアルゴリズムが、ユーザによって選択された点の間のオブジェクトのアウトラインを特定するために用いられる。一般に、エッジトラッキングアルゴリズムは、パスコスト（ｐａｔｈ  ｃｏｓｔ）がイメージグラディエント特性の関数である２つの点の間における最も少ないパスコストを決定することによって動作する。当該選択されたオブジェクトに関連する、ドメインドメスティックな（ｄｏｍｅｉｎ−ｓｐｅｃｉｆｉｃ）情報も、エッジトラッキングの間に適用される。一連のベジエカーブ又は他のパラメトリックカーブが、当該オブジェクトのアウトラインを符号化するために用いられる。更に、好ましくは、ユーザ入力が当該カーブを精密にする（ｒｅｆｉｎｅ）ために用いられる。
【００２０】
処理６０２において、カメラリコンストラクションが、実行される。カメラリコンストラクションは、当該カメラとビデオシーケンスにおける３次元シーンとの間の関係が解析される処理を意味する。この処理の間において、当該カメラの焦点距離、当該カメラの相対的アングル（ａｎｇｕｌａｒ  ｐｅｒｓｐｅｃｔｉｖｅ）、当該シーン中のオブジェクトに対するカメラのポジション及び方向、そして／または、他の適合する情報が推定される。
【００２１】
処理６０３において、３次元モデルが生成されるか、又は当該オブジェクトについての予め決められた３次元モデルのライブラリから３次元モデルが選択される。任意の適合する数のモデルフォーマットが用いられ得る。例えば、各々のオブジェクトがオブジェクトプリミティブ（ｐｒｉｍｉｔｉｖｅ）（例えば、ブロック、シリンダー、円錐、球等）と当該プリミティブへの論理的オペレーション（例えば、結合、分離、交差等）の組合せとして表現されるコンストラクティブソリッドジオメトリモデルが適用され得る。更に、又はその代わりに、オブジェクトがウェイトを持つ制御点、カーブオーダー、そしてノットベクトルによって決定されるノンユニフォームラショナルＢ−スプライン（ＮＵＲＢＳ）モデルが適用され得る。更に、キネマティックアニメーション技術に従う、ビデオシーケンスを通じたオブジェクトの複雑なモーションに関連するイメージ処理を容易にするために、「スケルトン」モデル要素が決定され得る。
【００２２】
処理６０４において、キーフレームの間における注目されるオブジェクトに対して行われる変換及び変形が決定される。具体的には、オブジェクトの変換又は取り除き、オブジェクトのスケーリング、オブジェクトの回転、オブジェクトのモーフィング、そして／または同様のことが決定される。例えば、オブジェクトは、キーフレームの間においてサイズが拡大する。サイズの拡大は、当該カメラに接近するオブジェクトから、又は実際に大きくなった（「ふくらんだ」）オブジェクトから引き起こされる。当該オブジェクトが３次元シーン内に単に移動したのではなく、サイズが拡大したかを正確に符号化することによって、その後の処理がより正確に行われる。このステップは、自律的アルゴリズムとユーザ入力の組合せを用いて行われる。例えば、モーション補償アルゴリズムが、オブジェクトの変形を推定するために用いられる。オブジェクトがスケーリングを経験している場合には、ユーザは、当該スケーリングが発生したことを特定し、自律的アルゴリズムが、キーフレームの間のイメージのアウトラインを比較することによってスケーリング率（ｆａｃｔｏｒ）を計算する。
【００２３】
処理６０５において、過去のステップにおいて構築された情報を用いて、ビデオシーケンスの３次元シーンにおけるオブジェクトのポジションが決定される。当該ポジションは、自律的に決定される。描画のため、又は他の目的のために、ユーザ入力が受信されて、オブジェクトのポジションを変更する。更に、好ましくは、１又は数個のオブジェクトが取り除かれる。
【００２４】
処理６０６において、テクスチャーマップといったサーフェイス特性データが生成される。
【００２５】
図７は、一実施例による特定の時間的（ｔｅｍｐｏｒａｌ）ポジションについての３次元オブジェクトのテクスチャーマップを生成するフローチャートを示す。ステップ７０１において、テクスチャーマップデータを生成するフローチャートが開始され、ビデオフレームが選択される。選択されたビデオフレームが、当該テクスチャーマップの生成が起こる時間的ポジションを特定する。ステップ７０２において、選択されたビデオフレームからオブジェクトが選択される。
【００２６】
ステップ７０３において、当該選択されたフレームにおいて選択されたオブジェクトの見ることができるポジションに対応する当該３次元モデルのサーフェイスポジションが特定される。当該見ることができるポジションの特定は、例えば、カメラリコンストラクションデータを用いて、元々のカメラポジションから当該３次元モデルへのレイトレーシングを適用することによって実行される。ステップ７０４において、テクスチャーマップデータが、当該３次元モデルの特定された部分について、選択されたフレームにおけるイメージデータから生成される。
【００２７】
ステップ７０５において、選択されたフレームにおいて元々見ることができなかったオブジェクトの部分に対応する当該３次元モデルのサーフェイスポジションが特定される。一実施例において、ステップ７０６において、残りのサーフェイスポジションの全てが特定され、それによって、当該選択されたフレームについて、できる限り多くのテクスチャーマップデータが生成される。ある場合には、当該テクスチャーデータの構築を制限することが望ましい。例えば、テクスチャーデータがオンディマンドに生成される場合、このステップにおいて、（ｉ）当該選択されたフレームにおいて元々は見ることができないオブジェクトの部分に対応し、（ii）当該ビューポイントにおける修正に従う、当該オブジェクトの描写によって見ることができるようになったサーフェイスポジションを特定することのみが必要となる。この場合、視点の変更によって現れる当該オブジェクトのサーフェイスの量が、当該オブジェクトのカメラ距離と最大眼間（ｉｎｔｅｒ−ｏｃｕｌａｒ）定数から算出される。
【００２８】
ステップ７０６において、ステップ７０５において特定されたサーフェイスポジションが、当該決定されたオブジェクトのモデル、オブジェクトの変換及び変形、そしてカメラリコンストラクションデータを用いて、当該選択されたフレームより前の、そして／または当該選択されたフレームに続くフレームにおけるイメージデータに関連付けられる。ステップ７０７において、他のフレームからのイメージデータが、当該変換、変形、そしてカメラリコンストラクションデータに従って処理される。例えば、フレームの間においてスケーリング変換が発生すると、前後のフレームにおけるイメージデータが当該スケーリング率に従って拡大され、又は縮小される。他の適合する処理が行われる。一実施例においては、時間的ドメイン（ｄｏｍａｉｎ）において当該関連付けられたイメージデータが当該選択されたフレームにどれくらい近いかによって、加重平均処理が用いられる。例えば、フレームの間において、明るさ（ｌｉｇｈｔｉｎｇ）の特性が変更される。当該加重平均は、暗いピクセルを当該選択されたフレームにおける明るさのレベルにマッチするように明るくする。一実施例においては、光源がまたオブジェクトとしてモデル化される。光源についてモデルが作成されると、当該モデル化されたオブジェクトに関連付けられるライティングエフェクトが当該生成されたテクスチャーから取り除かれる。そして、当該ライティングエフェクトが、描画処理の間に再び導入される。
【００２９】
ステップ７０８において、ステップ７０７において処理されたデータから、ステップ７０５において特定されたサーフェイスポジションについて、テクスチャーマップデータが生成される。変換、変形、そして他の適合する情報が、当該イメージデータの処理において用いられるので、他のフレームからの当該３次元モデルへのイメージデータのテクスチャーマッピングが、比較的正確に行われる。具体的には、重大な断絶（ｄｉｓｃｏｎｔｉｎｕｉｔｙ）と他のイメージングアーティファクト（ａｒｔｉｆａｃｔ）は、一般に見られない。
【００３０】
一実施例においては、ステップ７０４〜７０７が、注目するオブジェクトのサーフェイス特性を表現するテクスチャーデータストラクチャーを生成することに関連して実行される。あるテクスチャーデータストラクチャーの組は、ビデオシーケンスから回復される（ｒｅｃｏｖｅｒｅｄ）オブジェクトの全てのサーフェイス特性を決定する。また、サーフェイス特性は、時間を通じて異なるので、テクスチャーデータストラクチャーが、各々の関連するフレームに対して割り当てられる。従って、当該テクスチャーデータストラクチャーは、特定のオブジェクトに関するビデオ情報を捉えるものと考えられる。
【００３１】
当該組み合わされたデータの組（オブジェクトモデル、変換情報、カメラリコンストラクション情報、そしてテクスチャーデータストラクチャー）は、ビデオシーケンスからの３次元空間の構築を可能とする。当該３次元空間が、任意の数のイメージ処理エフェクトをサポートするために用いられる。前述したように、立体的イメージが生成される。当該立体的イメージは、元々の２次元ビューポイントに大凡対応している。その代わりに、イメージデータが十分な数のビューポイントから利用可能である場合、立体的イメージが元々のビデオのビューポイントから外される。更に、オブジェクトの取り除きが、ビデオシーケンスのフレームからオブジェクトを取り除くために行われる。同様に、オブジェクトの挿入が実行される。
【００３２】
図８は、一実施例によるビデオイメージのシーケンスを処理するシステム８００を示す。システム８００は、適合するコンピュータプラットフォーム上で実行される。システム８００は、中央処理ユニット８０１、ランダムアクセスメモリ（ＲＡＭ）８０２、リードオンリーメモリ（ＲＯＭ）８０３、ユーザの周辺装置（例えば、キーボード、マウス等）８０４、そしてディスプレイ８０５といった、従来の演算リソースを備える。システム８００は、更に、不揮発性ストレージ８０６を備える。
【００３３】
不揮発性ストレージ８０６は、従来の処理リソースがいくつかの代表的な実施例を実行できるようにするデータストラクチャーとソフトウェアコード又は指示を含む。データストラクチャーとコードは、例えば、図６及び図７のフローチャートを実行する。
【００３４】
図８において示されるように、不揮発性ストレージ８０６は、ビデオシーケンス８０７を含んでいる。ビデオシーケンス８０７は、他の適合する媒体（図示せず）からデジタル形式で取得される。その代わりとして、ビデオシーケンス８０７は、イメージング装置（例えば、ビデオカセットプレイヤー又はビデオカメラ）からのアナログビデオ信号のアナログからデジタルへの変換の後に取得される。オブジェクトマッティングモジュール８１４は、適合するイメージ処理アルゴリズムとユーザ入力を用いて、選択されたオブジェクトのアウトラインを決定する。カメラ再構築（リコンストラクション）アルゴリズム８１７は、ビデオシーケンス８０７中のオブジェクトと、当該イメージを捉えるために用いられるカメラとの間の関係を決定するために、ビデオシーケンス８０７を処理する。カメラリコンストラクションアルゴリズム８１７は、当該データをカメラリコンストラクションデータ８１１中に蓄積する。
【００３５】
モデル選択モジュール８１５は、モデルライブラリ８１０からのモデルテンプレートをビデオシーケンス８０７におけるオブジェクトと関連付ける。オブジェクトのモデルの選択は、オブジェクトモデル８０８において蓄積される。オブジェクトリファインメントモジュール８１６は、ユーザ入力と自律的アルゴリズムを用いて、ビデオシーケンス８０７におけるオブジェクトモデル８０８における変換データを生成して符号化する。オブジェクトモデル８０８は、シェイプ、変換、そして時間を通じたポジションデータを符号化する、動画化されたジオメトリを表現する。オブジェクトモデル８０８は、階層的であり、関連するテンプレートタイプ（例えば、椅子）を持つ。
【００３６】
テクスチャーマップ生成モジュール８２１は、ビデオシーケンス８０７におけるオブジェクトのサーフェイス特性を表現するテクスチャーを生成する。テクチャーマップ生成モジュール８２１は、オブジェクトモデル８０８とカメラデータ８１１とを用いて、テクスチャーマップデータストラクチャー８０９を生成する。好ましくは、各々のオブジェクトは、当該オブジェクトのビデオシーケンス８０７における視点の数と当該オブジェクトのオクルージョンとが与えられた場合に、できるだけ多くのサーフェイス特性を描写する各々のキーフレームについてのテクスチャーマップを備える。特に、テクスチャーマップ生成モジュール８２１は、前のフレームそして／または後のフレームにおいて検索を実行して、現在のフレームにおいて存在しないサーフェイス特性データを取得する。変形及び変換データが、他のフレームからのサーフェイス特性をテクスチャーマップデータストラクチャー８０９の適当な部分に配置するために用いられる。更に、当該変換データは、当該他のフレームからのデータをスケーリングし、モーフィングし、さもなければ、処理されたデータが現在のフレームから取得されたテクスチャーデータの特性と照合するように、当該データを処理する。テクスチャーリファインメントモジュール８２２は、必要である場合に当該生成されたテクスチャーのユーザによる描写を実行するために用いられる。
【００３７】
エディティングモジュール８１８が、ユーザをして、処理されたイメージデータ８２０がどのようにして生成されるかを決定できるようにする。例えば、ユーザは、３次元エフェクトが必要となった場合に、立体的イメージについて左右の視点がどのようにして決定されるかを決定する。その代わりとして、当該ユーザは、必要である場合に、適合する入力を提供して、他のイメージ処理エフェクトを持つ２次元のビデオシーケンスを生成する。オブジェクトの挿入と取り除きが、挿入され、そして／または取り除かれるオブジェクトと、これらのエフェクトに対するフレームを特定するためのユーザ入力の受信を通じて行われる。更に、ユーザは、オブジェクトのポジションを変更する。
【００３８】
ユーザがシーンエディティングモジュール８１８を介したデータ入力を終了すると、ユーザは、レンダリングアルゴリズム８１９を用いて、処理されたイメージデータ８２０を生成する。処理されたイメージデータ８２０は、オブジェクトモジュール８０８、テクスチャーマップデータストラクチャー８０９、そして、必要なイメージ処理エフェクトを提供するための他の適合する情報を用いて構築される。
【００３９】
本発明とその利点が詳細に記述されたが、様々な変更、代用そして代替が、添付されるクレームによって定義される発明を逸脱することなく行われる。更に、本出願の範囲は、特定の処理、機械、製品、合成物、明細書において記述される手段、方法及びステップに限定することを意図しない。当該開示によって恩恵を受けるように、ここに記述される実施例と実質的に同一の機能を果たし、又は実質的に同一の結果をもたらす、現在存在し、後に改良されるプロセス、機械、製品、合成物、手段、方法又はステップが利用される。従って、添付されるクレームは、その範囲内において、そのような処理、機械、製品、合成物、手段、方法、又はステップを含む。
【図面の簡単な説明】
【００４０】
本発明をより完全に理解するために、添付する図面に関連する以下の説明が参照される。
【図１】ビデオシーケンスのキーフレームを示す。
【図２】１つの具体的な実施例に従って生成された、図１に示すビデオシーケンスからの一つのオブジェクトの表示を示す。
【図３】一つの具体的な実施例に従って生成される３次元シーンの「オーバーヘッド」ビューを示す。
【図４】一つの具体的な実施例に従って生成される立体的イメージを示す。
【図５】一つの具体的な実施例に従って生成される立体的イメージを示す。
【図６】一つの具体的な実施例に従った、ビデオシーケンスからの３次元シーンのモデルを構築（ｄｅｖｅｌｏｐｉｎｇ）するための、相互に関連する一組の処理を示す。
【図７】一つの具体的な実施例に従った、テクスチャーデータを生成するためのフローチャートを示す。
【図８】一つの具体的な実施例に従って実行されるシステムを示す。
【図９】一つの具体的な実施例に従った、オブジェクトが３次元モデルを用いて表現される一組のフレームを示す。
【図１】
2008513882.tif 000002
【図２】
2008513882.tif 000003
【図３】
2008513882.tif 000004
【図４】
2008513882.tif 000005
【図５】
2008513882.tif 000006
【図６】
2008513882.tif 000007
【図７】
2008513882.tif 000008
【図８】
2008513882.tif 000009
【図９】
2008513882.tif 000010
【手続補正書】
【提出日】平成19年5月21日(2007.5.21)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008513882.tif 000011
【図２】
2008513882.tif 000012
【図３】
2008513882.tif 000013
【図４】
2008513882.tif 000014
【図５】
2008513882.tif 000015
【図６】
2008513882.tif 000016
【図７】
2008513882.tif 000017
【図８】
2008513882.tif 000018
【図９】
2008513882.tif 000019
【国際調査報告】
2008513882.tif 000020
2008513882.tif 000021
2008513882.tif 000022