【手続補正書】
【提出日】平成22年4月8日(2010.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動的に変化する３次元のシーンに関する３次元表現を生成する方法であって、
（ａ）異なる場所に配置され、同じ３次元シーン（７０１）を観察している少なくとも２台のカメラ（７０２）から得られる、少なくとも２つのビデオストリーム（１２０）を取得するステップ（１０２）と、
（ｂ）前記少なくとも２台のカメラ（７０２）に関し、位置、方向、および内部パラメータを含むカメラパラメータ（１２２）を決定するステップ（１０３）と、
（ｃ）前記少なくとも２つのビデオストリーム内のオブジェクト（３１０ａ，ｂ、３１２ａ，ｂ、３３０ａ，ｂ、３３１ａ，ｂ、３３２ａ，ｂ、４１０ａ，ｂ、４１１ａ，ｂ、４３０ａ，ｂ、４３１ａ，ｂ、４２０ａ，ｂ、４２１ａ，ｂ）の動きをトラッキングするステップ（１０４）と、
（ｄ）前記少なくとも２つのビデオストリーム内における前記オブジェクトの固有性を決定するステップ（１０５）と、
（ｅ）前記少なくとも２つのビデオストリームから得られる情報を結合することによって、オブジェクトの３次元位置を決定するステップ（１０７）とを備え、
上記列挙したステップ（１０３、１０４、１０５）の少なくとも１つが、後続のステップ（１０７）の１つによって前記少なくとも２つのビデオストリームから得られる情報に依拠していることを特徴とする方法。
【請求項２】
（ｆ）ビデオストリーム内のオブジェクトに対応する３次元レンダリングされたオブジェクト（９０３）の位置および方向を決定するステップをさらに備え、３次元レンダリングされたオブジェクト（９０３）は、シーンの３次元表現を生成するときに、１つ以上のビデオストリームから得られる画像情報のレンダリングに用いられる、請求項１に記載の方法。
【請求項３】
少なくとも１つのオブジェクトの３次元位置は、当該オブジェクト（３３２ａ，ｂ）の先行する少なくとも２つの３次元位置から推定される、請求項１または２に記載の方法。
【請求項４】
前記少なくとも２つのビデオストリーム（１２）内のオブジェクト（３１０ａ，ｂ、３１２ａ，ｂ、３３０ａ，ｂ、３３１ａ，ｂ、３３２ａ，ｂ、４１０ａ，ｂ、４１１ａ，ｂ、４３０ａ，ｂ、４３１ａ，ｂ、４２０ａ，ｂ、４２１ａ，ｂ）の動きをトラッキングするステップ（１０４）は、前記後続のステップ（１０７）の１つにおいて、前記少なくとも２つのビデオストリームから得られる、先行する１つ以上の瞬間に生じる情報を使用する、上記した請求項のいずれか１つに記載の方法。
【請求項５】
前記先行する１つ以上の瞬間に得られる情報は、オブジェクト（１３０）の３次元位置である、請求項４に記載の方法。
【請求項６】
前記少なくとも２つのビデオストリーム（１２０）内におけるオブジェクトの固有性を決定するステップ（１０５）は、前記後続のステップ（１０７）の１つにおいて、前記少なくとも２つのビデオストリーム（１２０）から得られる、先行する１つ以上の瞬間に生じる情報を使用する、上記した請求項のいずれか１つに記載の方法。
【請求項７】
前記先行する１つ以上の瞬間に得られる情報は、オブジェクト（１３０）の３次元位置である、請求項６に記載の方法。
【請求項８】
前記カメラパラメータ（１２２）の決定（１０３）に使用される参照フィーチャは、競技場の上のフィーチャであり、ビデオ静止画像内でユーザが以下のことを行なうことによって特定する、
・図形入力装置を用いて、競技場（２０４ａ〜ｄ）の概略的な表現における同一の参照フィーチャの表現を提示するとともに、参照フィーチャの前記表現を選択し、
・図形入力装置を用いて、ビデオ静止画像（２０３ａ〜ｄ）に見られるような特定の参照フィーチャを指定するとともに、前記参照フィーチャを選択し、
・参照フィーチャの表現における固有性を、静止画像に見られる参照フィーチャに関連付ける、
上記した請求項のいずれか１つに記載の方法。
【請求項９】
ビデオ静止画像（２０３ａ〜ｄ）内で前記参照フィーチャを選択する際、以下のステップによって、ビデオ静止画像内での参照フィーチャの正確な位置を決定する、
・ユーザによって選択された位置の近傍において、フィーチャの抽出、および、特に、ライン（２０３ｃ）、交叉点、およびコーナー（２０３ａ、２０３ｂ）の抽出を自動的に実行するステップ、
・抽出されたフィーチャ、特に、競技場の概略表現内で選択されたものと同じ種類のフィーチャの１つの位置となるような参照フィーチャの位置を決定するステップ、
請求項８に記載の方法。
【請求項１０】
前記オブジェクトの動きをトラッキングするステップ（１０４）は、トラッキング機能（１０４）によってカメラパラメータ（１３１）の変化を補償できるように、カメラパラメータ（１３１）を動的に変更する機能をトラッキング機能（１０４）に取り込むステップを含む、上記した請求項のいずれか１つに記載の方法。
【請求項１１】
トラッキング機能において考慮されるカメラパラメータは、トラッキングが実行されるものと同一のビデオフレームについて実施されるカメラ・キャリブレーション・ステップ（１０３）によって決定されるカメラパラメータ（１３１）である、請求項１０に記載の方法。
【請求項１２】
トラッキング機能において考慮されるカメラパラメータは、先行する１つ以上のビデオフレームについて実施されるカメラ・キャリブレーション・ステップ（１０３）によって決定され、かつ任意的に推定されるカメラパラメータ（１３１）である、請求項１０に記載の方法。
【請求項１３】
オブジェクトの特定情報を初期化するために、以下のステップを実行する、
・ユーザによって、１つのビデオストリームの静止画像において１つのオブジェクトを選択し、固有の識別子を割り当てるステップ、
・少なくとも１つの他のビデオストリームにおける他の静止画像において、同一の固有性を有するオブジェクトを自動的に決定するステップ、
上記した請求項のいずれか１つに記載の方法。
【請求項１４】
特定されていないオブジェクト、あるいは特定できないオブジェクトが、ビデオストリームの１つに出現した場合に、以下のステップを実行する、
・未確認のオブジェクトが存在していることをユーザに警告するステップ、
・ユーザが識別子をオブジェクトに関連付けることに同意するステップ、
請求項１３に記載の方法。
【請求項１５】
前記オブジェクトは、少なくとも２つのカテゴリの１つに属するように分類され、これらのカテゴリは、好ましくは統計上のモデルに基づいており、第１のチーム、第２のチーム、ボール、および審判の少なくとも２つを含む、上記した請求項のいずれか１つに記載の方法。
【請求項１６】
前記方法は、オブジェクトを背景から分離するセグメンテーションステップ（１０６）を備え、このステップは、
・各画像要素に対して、画素がオブジェクトあるいは背景の一部である可能性を表現する値を割り当てるためにアルファチャンネル整合を使用するステップ、
を含む、上記した請求項のいずれか１つに記載の方法。
【請求項１７】
前記方法は、オブジェクトを背景から分離するセグメンテーションステップ（１０６）を備え、このステップは、
・オブジェクトを除去した後に、対応する欠損あるいは背景に残存する未知の部分を画像修復によって充填し、このように修復された画像要素に対して、合成画像データであることを示すマークをつけるステップ、
を含む、上記した請求項のいずれか１つに記載の方法。
【請求項１８】
セグメンテーションステップ（１０６）は、オブジェクトの周囲にある境界ボックス（５０１、６０１、６０２、６０３）の位置およびサイズをより正確にするステップを含む、請求項１６あるいは１７に記載の方法。
【請求項１９】
背景の欠損を充填するステップは、
・欠損（８０２）を充填するために、現実の画像データを含んでいるソースパッチ（８０４ａ、８０４ｂ、８０４ｃ、８０４ｄ）に対応する画像データを、画像の未知の部分を含んでいる宛先パッチ（８０３ａ、８０３ｂ、８０３ｃ、８０３ｄ）にマッピングするステップを含み、前記マッピングするステップは、複数のパッチを、これらの空間的な関係に応じて変形するステップを含む、請求項１７あるいは１８に記載の方法。
【請求項２０】
前記方法は、
・現実の画像データを含んでいるソースパッチ（８０４ｃ、８０４ｄ）に対応する画像データを、画像の未知の部分を含んでいる宛先パッチ（８０３ｃ、８０３ｄ）にマッピングするステップを備え、これにより欠損（８０２）が充填され、画像の未知の部分がランドマークフィーチャ（８０７）を含むことが知られており、
・宛先パッチ（８０３ｃ、８０３ｄ）を選択することによって、ランドマークフィーチャ（８０７）の少なくとも一部をカバーするとともに、既知の画像を検索することによって、ランドマーク（８０６ａ）に沿ったソースパッチ（８０４ｃ、８０４ｄ）を整合するステップを備える、請求項１７〜１９のいずれか１つに記載の方法。
【請求項２１】
前記方法は、
・サークル状のランドマーク（８０６ｂ）の部分を含んでいる欠損を充填するために、前記サークル状のランドマーク（８０６ｂ）に沿った位置に応じて宛先パッチ（８０３ｅ）をパッチを変形、好ましくは回転、拡大・縮小することによって、当該宛先パッチ（８０３ｅ）をソースパッチ（８０４ｅ）に（およびその逆に）マップするステップを備える、請求項２０に記載の方法。
【請求項２２】
前記方法は、
・直線状のランドマークの部分を含む欠損を充填するために、直線状のランドマークに沿った位置に応じて宛先パッチを変形、好ましくは拡大・縮小することによって、当該宛先パッチをソースパッチに（およびその逆に）マップするステップを備える、請求項２０に記載の方法。
【請求項２３】
前記方法は、
・線状のランドマークを線幅に関連付けるステップと、
・前記線幅に従って、ソースパッチおよび／または宛先パッチ内の画像要素を、ランドマーク（８１２）の一部となるように、あるいは、ランドマーク（８１３）の一部とならないように分類するステップと、
・ソースパッチ（８０４ｃ、８０４ｄ）を整合するために既知の画像を検索するとき、および、ソースパッチ（８０４ｃ、８０４ｄ）を宛先パッチ（８０３ｃ、８０３ｄ）にコピーするときに、ランドマークの一部となっている画像要素だけを考慮するステップと、を備える、請求項２０〜２２のいずれか１つに記載の方法。
【請求項２４】
前記方法は、以下のステップを行なうことで、カメラ位置とは異なる仮想視点から得られる合成表示を提供するステップ（１０８）を備える、
・仮想カメラ（７０３）のカメラパラメータを準備するステップ、
・背景モデル（９０１、９０２）上の仮想カメラ（７０３）によって視認されるような背景画像を決定するステップ、
・仮想カメラ（７０３）に対する各オブジェクトの投影を決定し、これを背景画像に重ねるステップ、
・保存あるいは他の処理のために結合画像を出力するステップ、
上記した請求項のいずれか１つに記載の方法。
【請求項２５】
仮想カメラ（７０３）によって視認されるような背景画像を決定するステップは、
・各背景画像要素について、同一の背景位置に対応する異なるビデオストリームから得られる画像情報を合成するステップと、
・合成画像データとなるようにマークされていない画像情報に優先権を与えるステップと、
・背景を表現する１つ以上の表面（９０１、９０２）を含んでいる背景モデル上に画像情報をレンダリングするステップとを含む、請求項２４に記載の方法。
【請求項２６】
背景モデル内において背景を表現する表面は、競技場あるいは競技場（７０１）を表現する表面（９０１）となっており、任意的に、３次元の周囲環境モデルを表現する表面（９０２）を含む、請求項２５に記載の方法。
【請求項２７】
前記仮想カメラ（７０３）によって視認されるような背景画像を決定するステップは、
・背景モデル（９０１、９０２）上に所定の画像データをレンダリングし、それをビデオストリームによって得られる画像情報に重ねるか、あるいは、この画像情報と入れ替えるステップ、をさらに含んでいる、請求項２４〜２６のいずれか１つに記載の方法。
【請求項２８】
仮想カメラ（７０３）に対する各オブジェクトの投影を決定するステップは、
・３次元背景モデル（９０１、９０２）に配された３次元レンダリングされたオブジェクト（９０３）上に、１つ以上のビデオストリームから得られる画像情報をレンダリングするステップを含む、請求項２４〜２７のいずれか１つに記載の方法。
【請求項２９】
動的に変化する３次元のシーンに関する３次元表現を生成するためのデータ処理システムであって、
（ａ）異なる場所に配置され、同じ３次元シーンを観察している少なくとも２台のカメラから得られる、少なくとも２つのビデオストリームを取得するデータ収集モジュール（１０２）と、
（ｂ）前記少なくとも２台のカメラに関し、位置、方向、および内部パラメータを含むカメラパラメータを決定するカメラ・キャリブレーション・モジュール（１０３）と、
（ｃ）前記少なくとも２つのビデオストリーム内のオブジェクトの動きをトラッキングする２次元トラッキングモジュール（１０４）と、
（ｄ）前記少なくとも２つのビデオストリーム内における前記オブジェクトの固有性を決定するオブジェクト特定モジュール（１０５）と、
（ｅ）前記少なくとも２つのビデオストリームから得られる情報を結合することによって、オブジェクトの３次元位置（１２８）を決定する３次元結合および３次元オブジェクト位置演算モジュール（１０７）とを備え、
上記列挙したモジュール（１０３、１０４、１０５）の少なくとも１つのが、後続のモジュール（１０７）の１つによって前記少なくとも２つのビデオストリームから得られる情報に依拠するように構成されていることを特徴とするデータ処理システム。
【請求項３０】
前記３次元結合および３次元オブジェクト位置演算モジュール（１０７）は、
（ｆ）ビデオストリーム内のオブジェクトに対応する３次元レンダリングされたオブジェクト（９０３）の位置および方向を決定する機能を提供するように構成されており、３次元レンダリングされたオブジェクト（９０３）は、シーンの３次元表現を生成するときに、１つ以上のビデオストリームから得られる画像情報のレンダリングに用いられる、請求項２９に記載のデータ処理システム。
【請求項３１】
前記データ処理システムは、以下のことを決定するためのオブジェクト切り取りモジュール（１０６）を備える、
・現実の画像データから特定の画像パッチあるいは特定の画素を得られるか、あるいは、これらを合成によって生成したことを示すフラグを含んでいる、充填されるべき背景テクスチャデータ（１２５）、
・各ビデオストリームおよびトラッキングされている各オブジェクトに関するオブジェクトテクスチャおよびアルファマスク（１２６）、
・トラッキングされている各オブジェクトに関し、オブジェクトの２次元の位置および形状、および、現実世界のオブジェクトの特定情報（１２７）、
請求項３０に記載のデータ処理システム。
【請求項３２】
オブジェクトの３次元位置（１２８）から、充填されるべき背景テクスチャデータ（１２５）およびオブジェクトテクスチャとアルファマスク（１２６）、ビデオデータとを、消費者（１０９）に供給するための、画像合成モジュール（１０８）を備える、請求項３１に記載のデータ処理システム。