【手続補正書】
【提出日】平成24年9月4日(2012.9.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータによるビデオデータの処理方法であって、
前記コンピュータに実装される各工程であって、
一連のビデオフレームからなるビデオデータを受信する、受信工程と、
前記ビデオフレームの一部分を符号化する、符号化工程とを備え、
前記符号化工程は、
１つ以上の前記ビデオフレームにおける候補特徴の１つ以上のインスタンスを検出する、検出工程、
以前に復号化された１つ以上のビデオフレームにおけるインスタンスの位置情報を、前記検出工程が判別する工程であって、前記位置情報は、フレーム番号、当該フレーム内の位置、および当該インスタンスの空間外周を含み、
前記候補特徴は１つ以上の検出されたインスタンスのセットである、検出判別工程、
動き補償予測プロセスが、以前に復号化された１つ以上のビデオフレームを用いて、前記一連のビデオフレームにおける現在のビデオフレームの一部を予測する工程であって、
前記動き補償予測プロセスは位置予測で初期化され、当該位置予測は、以前に復号化されたビデオフレームにおける、検出された特徴のインスタンスから、前記位置情報を提供する、予測工程、
前記動き補償予測プロセスを拡張することによって変換される１つ以上のインスタンスを用い、第１の特徴基礎モデルを作成するように、この変換されたインスタンスと共に特徴を画定する工程であって、前記第１の特徴基礎モデルは、実質的に一致する特徴インスタンスの外観およびソースの位置の前記現在のフレームにおける予測を可能にし、前記実質的に一致する特徴インスタンスはキー特徴インスタンスである、画定工程、
前記第１の特徴基礎モデルを、前記１つ以上の画定された特徴の従来のビデオ符号化モデルと比較する、比較工程、
前記比較から、いずれのモデルがより大きい符号化圧縮を可能とするかを判別する、モデル判別工程、ならびに、
前記比較工程および前記モデル判別工程の結果を用いて、特徴基礎の符号化を１つ以上の前記ビデオフレームの一部分に適用し、従来のビデオ符号化を前記１つ以上のビデオフレームの他部分に適用する、適用工程によって、符号化を実行する、ビデオデータ処理方法。
【請求項２】
請求項１において、１つ以上の前記ビデオフレームにおける候補特徴の１つ以上のインスタンスを検出する前記検出工程が、
実質的に密接した空間近接を有する、空間的に連続する画素グループを識別することによって、候補特徴の少なくとも１つのインスタンスを検出する工程、および
前記識別された画素は前記１つ以上のビデオフレームの一部分を画定する工程を有する、ビデオデータ処理方法。
【請求項３】
請求項２において、１つ以上の前記ビデオフレームにおける候補特徴の１つ以上のインスタンスを検出する前記検出工程が、
前記動き補償予測プロセスを用いて、複数の候補特徴インスタンスから、符号化効率を提供するように、予測される１つ以上のインスタンスを選択する工程、および、
固有の以前に復号化されたビデオフレームからの予測のうち、前記動き補償予測プロセスの選択に基づいて、前記現在のビデオフレームにおける、他の特徴および非特徴からの前記候補特徴の前記現在のインスタンスのセグメント化を判別する工程を有する、ビデオデータ処理方法。
【請求項４】
請求項２または３において、前記動き補償予測プロセスは、１つ以上の特徴に属する特徴インスタンスを用いて、さらに初期化され、前記１つ以上の特徴に属する特徴インスタンスの特徴は、前記ビデオの一部分と一致する現在のフレームにおけるインスタンスを有し、前記ビデオの一部分は前記現在のフレームに存在する、ビデオデータ処理方法。
【請求項５】
請求項２または３において、前記画素グループは、さらに、１つ以上のマクロブロックまたは１つ以上のマクロブロック部分を含む、ビデオデータ処理方法。
【請求項６】
請求項１または３において、さらに、
１つ以上の特徴インスタンスからの１つ以上の動き補償予測に対する予測目標として、前記第１の特徴基礎モデルを用いて、前記第１の特徴基礎モデルの予測セットを得る工程であって、
前記予測セットは、結合されると第２の特徴基礎モデルになる、工程によって、第２の特徴基礎モデルを作成する工程を備えた、ビデオデータ処理方法。
【請求項７】
請求項６において、前記第２の特徴基礎モデルは、前記第１の特徴基礎モデルのモデル残差に用いられ、
前記残差に対する前記第２の特徴基礎モデルの構造変化および外観変化をモデル化する工程と、
外観パラメータおよび変形パラメータを生じさせるモデルによって前記残差を符号化する工程と、
前記残差の前記符号化のサイズを低減するように、前記パラメータを用いる工程とを備えた、ビデオデータ処理方法。
【請求項８】
請求項１または３において、前記１つ以上の特徴を画定する前記画定工程は、
異なる候補特徴のインスタンスを集合候補特徴に集合させる工程、および
集合されていない候補特徴のオリジナルのインスタンスよりも実質的に大きい領域を形成するように、前記集合候補特徴のインスタンスのセットを用いる工程であって、前記セットにおける前記候補特徴の前記インスタンスの間のコヒーレンスの識別によって、前記大きい領域が形成される、工程によって、前記候補特徴の１つ以上の前記インスタンスに基づいて、１つ以上の集合特徴を画定する工程を有する、ビデオデータ処理方法。
【請求項９】
請求項８において、前記コヒーレンスは、低いパラメータの動きモデルによって実質的に近似された前記インスタンスにおける外観の相関性として定義されている、ビデオデータ処理方法。
【請求項１０】
請求項７において、前記第２の特徴モデルは、前記空間位置に対する前記復号化されたフレームにおける該当インスタンスの画素の随意の矩形領域範囲を提供する、ビデオデータ処理方法。
【請求項１１】
請求項１０において、前記第２の特徴モデルは、先に正規化された特徴のインスタンスをモデル化することによって導出されるものであり、
前記先に正規化されたインスタンスは、前記現在のフレームにおける前記インスタンス、以前に復号化されたフレームであって、実質的に最近に復号化されたフレームからのインスタンス、および前記以前に復号化されたビデオフレームからのインスタンスの平均のうちのいずれか１つである、ビデオデータ処理方法。
【請求項１２】
請求項１１において、前記外観モデルは、前記第２の特徴基礎モデルの前記正規化されたインスタンスのＰＣＡ分解によって表現される、ビデオデータ処理方法。
【請求項１３】
請求項１０において、さらに、
各セットの特徴インスタンスにおける相関性の空間変化の変形モデルを、それらの第２の特徴基礎モデルのインスタンスと比較して判別する工程と、
前記セットの各特徴インスタンスについて、前記変形モデルに対する前記変形インスタンスにおける変化を近似するために、動き補償予測プロセス、メッシュ変形、および実質的に低減されたパラメータ表現を有する動きモデルのうちの１つ以上を用いる工程と、
前記変形インスタンスを前記変形モデルに統合する工程であって、
前記変形モデルの変化はＰＣＡ分解によって表現される、工程とを備えた、ビデオデータ処理方法。
【請求項１４】
請求項１または３において、前記動き補償予測プロセスは、従来のビデオデータ符号化におけるよりも実質的に大きい数の以前に復号化されたビデオフレームを選択して動作し、
以前に復号化されたビデオフレームの前記選択は、ユーザ管理に依拠するものではない、ビデオデータ処理方法。
【請求項１５】
請求項１または３において、前記比較工程および前記モデル判別工程に応答して、従来のビデオ符号化を適用する前記適用工程が、さらに、
前記現在のフレームの一部分の予測を作成すると、メモリに、１つ以上の前記ビデオフレームの一部分のより大きい圧縮を可能とする、インスタンス予測プロセスによって、前記圧縮ビデオ符号化を強化する工程であって、
前記インスタンス予測プロセスは、さらに、
前記現在のフレームの前記予測された一部分を作成するように符号化された目標マクロブロックに生じている前記画定された特徴の１つ以上のインスタンスを判別するために、前記特徴基礎モデルを用いる工程、および
前記特徴基礎モデルを用いて、前記現在のフレームの一部分を予測するように、画素を合成する工程を有する、工程を備えた、ビデオデータ処理方法。
【請求項１６】
請求項１５において、前記比較工程および前記モデル判別工程に応答して、１つ以上の前記ビデオフレームの一部分に従来のビデオ符号化を適用する前記適用工程が、さらに、
前記以前に復号化されたビデオフレームに対して確率を割り当てる工程であって、前記動き補償予測プロセスからの位置予測を用いて判別された前記フレームに対する、結合されて予測された符号化性能向上に、前記確率が基づく、工程と、
前記現在のフレームについての前記第１の特徴基礎モデルおよび第２の特徴基礎モデルを解析する間に利用される動き補償予測プロセスの前記結合された符号化性能として、前記確率を定義する工程と、
前記以前に復号化されたビデオフレームの最大から最小までの確率を根拠とした当該ビデオフレームの並べ替えに基づいた索引付けを判定する工程と、
演算およびメモリの必要条件に基づいて、前記索引付けられたリストを切り捨てる工程とを備えた、ビデオデータ処理方法。
【請求項１７】
請求項１５において、さらに、
前記特徴インスタンスの予測された画素を、前記現在のフレームにおける他の特徴インスタンスを予測するために、再利用する工程であって、
前記現在のフレームにおける２つ以上のマクロブロックに、前記画定された特徴の１つ以上のインスタンスが部分的に重なること、または、
前記画定された特徴の１つ以上のインスタンスが、前記現在のフレームにおけるマクロブロックについての位置情報に実質的に一致する場合、前記画定された特徴の１つ以上のインスタンスが１つのマクロブロックを表現することを判別することに応答して、前記特徴インスタンスの予測された画素を再利用する、工程を備えた、ビデオデータ処理方法。
【請求項１８】
請求項１０において、さらに、
特徴基礎モデルの現在のインスタンスの合成についての外観パラメータおよび変形パラメータを予測し、前記現在のフレームにおける画素を予測するように、前記特徴基礎モデルからパラメータを内挿および外挿するために、時間的に最近のパラメータと共に前記外観モデルおよび変形モデルを用いる工程であって、
時間的に最近の特徴インスタンスについての合成値が線形内挿されたものか線形外挿されたものかを、いずれの方法が前記インスタンスに対して最も正確な近似をもたらすかに基づいて、判別する工程、
高次の二次法を利用して、前記線形内挿法および前記線形外挿法の前記実質的に減少された有効性を検出する工程、ならびに、
前記二次法の前記実質的に減少された有効性を検出し、前記外観パラメータおよび変形パラメータを予測するように、拡張カルマンフィルタを含む、より進歩した状態基礎の方法を使用する工程であって、
前記モデルについての前記実際のパラメータは、前記予測されたパラメータに対して随意に区別して符号化される、工程を有する工程を備えた、ビデオデータ処理方法。
【請求項１９】
請求項１８において、前記特徴基礎モデルからの前記パラメータが、前記現在のフレームにおける画素を予測するのに必要とされる演算資源の低減を可能にするため、前記以前に復号化されたビデオフレームの１つ以上の一部分を用いて、現在のフレームにおける画素を予測するように、従来のビデオ圧縮を用いる際には、より多くの演算資源が必要とされる、ビデオデータ処理方法。
【請求項２０】
請求項１または３において、前記特徴基礎符号化は、従来のビデオ符号化内に埋め込まれている、ビデオデータ処理方法。
【請求項２１】
請求項１または３において、前記１つ以上の画定された特徴は、前記１つ以上のビデオフレームにおける明確に顕著なエンティティ（オブジェクト、サブオブジェクト）との相関性を有しない、ビデオデータ処理方法。
【請求項２２】
請求項１または３において、検出された特徴がオブジェクトに属しているか属していないかについてのラベル付けであって、ユーザ管理によるラベル付けを通じて、前記顕著なエンティティは判別される、ビデオデータ処理方法。
【請求項２３】
請求項１または３において、前記画定された特徴は、２つ以上の顕著なエンティティの要素、背景、または前記ビデオフレームの他の部分を含む、ビデオデータ処理方法。
【請求項２４】
請求項１または３において、画定された特徴はオブジェクトに対応していない、ビデオデータ処理方法。
【請求項２５】
請求項１１において、特徴基礎の符号化を１つ以上の前記ビデオフレームの一部分に適用し、従来のビデオ符号化を前記１つ以上のビデオフレームの他部分に適用する、前記適用工程が、
前記第２の特徴基礎モデル予測の前記残差に圧縮センシングを適用する工程であって、
圧縮センシングの前記適用は、測定に前記平均外観を利用し、前記測定からの信号を予測し、
前記圧縮センシング予測に関連する変化は、前記第２の特徴基礎モデルから取り除かれ、
特徴基礎モデル化は、前記残りの残差のよりコンパクトな符号化に焦点を当てる、工程、および
従来のビデオ符号化を前記１つ以上のビデオフレームの残りの画素および残りのビデオフレームに適用する工程を有する、ビデオデータ処理方法。
【請求項２６】
請求項２５において、さらに、
圧縮センシングを適用する前記工程の有効性を向上させるように、前記ビデオデータのスパースを作成する工程を備えた、ビデオデータ処理方法。
【請求項２７】
請求項１または３において、前記１つ以上の前記インスタンスが、線形変換を用いて変換される、ビデオデータ処理方法。
【請求項２８】
請求項１または３において、前記実質的に一致する特徴は、レート歪基準を用いて、最高の一致が判別される、ビデオデータ処理方法。
【請求項２９】
請求項１または３において、さらに、
符号化されたビデオデータを復号化する工程を備え、
この復号化は、
符号化された特徴が前記符号化されたビデオデータに存在するか否かを、マクロブロックを基準として判別する工程、
前記符号化されたビデオデータにおいて符号化された特徴が存在しないと判別されると、従来のビデオ復号化を用いて復号化を実行する工程、
前記符号化されたビデオデータにおいて符号化された特徴が存在するすると判別されると、前記従来の方法で符号化された前記ビデオデータの一部分とは別に、前記符号化された特徴を合成するために、前記符号化された特徴を前記符号化されたビデオデータから分離する工程、
特徴基礎モデル、および前記符号化された特徴に関連する特徴パラメータを判別する工程、
前記符号化された特徴インスタンスを合成するように、前記判別された特徴基礎モデルおよび特徴パラメータを用いる工程、ならびに、
オリジナルのビデオデータを再構成するように、前記ビデオデータの従来の方法で符号化された部分を、前記合成された特徴インスタンスと結合する工程によって、実行される、ビデオデータ処理方法。
【請求項３０】
請求項１または３において、前記特徴基礎の符号化は、前記１つ以上のビデオフレームの部分にオブジェクト基礎の符号化を適用する、ビデオデータ処理方法。
【請求項３１】
１つ以上のビデオフレームを有するビデオデータを処理するディジタル処理システムであって、
エンコーダを実現する１つ以上のコンピュータ・プロセッサを備え、
前記エンコーダは、前記ビデオフレームの一部分を符号化するように、特徴基礎の符号化を用い、この符号化は、
１つ以上の前記ビデオフレームにおける候補特徴の１つ以上のインスタンスを検出する工程、
動き補償予測プロセスを用いて、前記１つ以上のビデオフレームにおける非特徴から、前記候補特徴の前記１つ以上のインスタンスをセグメント化する工程であって、前記動き補償予測プロセスは、前記候補特徴の前記１つ以上のインスタンスに対応する特徴を有する、以前に復号化されたビデオフレームを選択する、工程、
前記候補特徴の１つ以上の前記インスタンスを用いて、１つ以上の特徴インスタンスを画定する工程であって、従来のビデオ符号化に比べて、前記特徴基礎の符号化におけるコンパクトさが比較的向上するように、前記１つ以上の画定された特徴インスタンスが予測される、工程、
前記１つ以上の以前に復号化されたビデオフレームからの位置情報を判別する工程であって、前記位置情報は、前記１つ以上の以前に復号化されたビデオフレームにおける前記１つ以上の定義された特徴インスタンスの位置および空間外周を含む、工程、
前記１つ以上の画定された特徴インスタンスを用いて特徴基礎モデルを形成する工程であって、前記特徴基礎モデルは、前記以前に復号化されたビデオフレームからの前記位置情報を含む、工程と、
前記特徴基礎モデルを用いて前記１つ以上の画定された特徴インスタンスを正規化する工程であって、前記正規化は、位置予測として、前記１つ以上の以前に復号化されたビデオフレームからの前記位置情報を用い、この結果、正規化は、前記現在のビデオフレームにおける前記１つ以上の定義された特徴インスタンスの予測である、工程、
前記特徴基礎モデルを、１つ以上の前記定義された特徴についての従来のビデオ符号化モデルと比較し、この比較結果から、いずれのモデルがより大きい符号化圧縮を可能にするかを判定する、工程、ならびに、
前記比較および判定の工程の結果を用いて、１つ以上の前記ビデオフレームの一部分に特徴基礎の符号化を適用し、前記１つ以上のビデオフレームの他部分に従来のビデオ符号化を適用する、工程によって、実行される、ディジタル処理システム。
【請求項３２】
一連のビデオフレームを有するビデオデータを受信する工程と、
１つ以上の前記ビデオフレームにおける候補特徴を検出する工程と、
動き補償予測プロセスに用いられる参照フレーム処理を使用することにより、前記ビデオフレームにおける非特徴から前記候補特徴をセグメント化する工程と、
前記候補特徴の潜在的な一致を識別するように、以前に復号化されたビデオフレームの前記１つ以上の一部分を処理する工程と、
以前に復号化されたビデオフレームの前記一部分の相当な部分が前記候補特徴のインスタンスを含むことを判別する工程と、
前記候補特徴のインスタンスを前記候補特徴のインスタンスのセットに集合させる工程と、
特徴基礎モデルを作成するように、前記候補特徴セットを処理する工程であって、前記特徴基礎モデルは、前記候補特徴の前記インスタンスの変形変化のモデルおよび外観変化のモデルを含み、前記外観変化のモデルは前記候補特徴の前記インスタンスの画素変化をモデル化することによって作成され、前記構造変化モデルは前記候補特徴の前記インスタンスの画素相関性変化をモデル化することによって作成される、工程と、
前記候補特徴セットをモデル化するように、前記特徴基礎モデルを用いて、関連する圧縮効率を判定する工程と、
前記候補特徴セットをモデル化するように、従来のビデオ圧縮を用いて、関連する圧縮効率を判定する工程と、
前記特徴基礎モデル圧縮効率を前記従来のビデオモデル化圧縮効率と比較し、いずれの圧縮効率が大きいかを判定する工程と、
いずれの圧縮効率が大きいかに基づいて、前記特徴基礎モデルおよび従来のビデオ符号化を用いて、前記ビデオデータを符号化する工程とを備えた、ビデオデータ処理方法。
【請求項３３】
１つ以上のビデオフレームを有するビデオデータを処理するディジタル処理システムであって、
エンコーダを実現する１つ以上のコンピュータ・プロセッサを備え、
前記エンコーダは、前記ビデオフレームの一部分を符号化するように、特徴基礎の符号化を用い、この符号化は、
１つ以上の前記ビデオフレームにおける候補特徴を検出する工程、
動き補償予測プロセスに用いられる参照フレーム処理を使用することにより、前記ビデオフレームにおける非特徴から前記候補特徴をセグメント化する工程、
前記候補特徴の潜在的な一致を識別するように、以前に復号化されたビデオフレームの前記１つ以上の一部分を処理する工程、
以前に復号化されたビデオフレームの前記一部分の相当な部分が前記候補特徴のインスタンスを含むことを判別する工程、
前記候補特徴の前記インスタンスを前記候補特徴のインスタンスのセットに集合させる工程、
特徴基礎モデルを作成するように、前記候補特徴のセットを処理する工程であって、前記特徴基礎モデルは、前記候補特徴の前記インスタンスの変形変化のモデルおよび外観変化のモデルを含み、前記外観変化のモデルは前記候補特徴の前記インスタンスの画素変化をモデル化することによって作成され、前記構造変化のモデルは前記候補特徴の前記インスタンスの画素相関性変化をモデル化することによって作成される、工程
前記候補特徴のセットをモデル化するように、前記特徴基礎モデルを用いて、関連する圧縮効率を判定する工程、
前記候補特徴のセットをモデル化するように、従来のビデオ圧縮を用いて、関連する圧縮効率を判定する工程、
前記特徴基礎モデル圧縮効率を前記従来のビデオモデル化圧縮効率と比較し、いずれの圧縮効率が大きいかを判定する工程、ならびに
いずれの圧縮効率が大きいかに基づいて、前記特徴基礎モデルおよび従来のビデオ符号化を用いて、前記ビデオデータを符号化する工程によって、実行される、ディジタル処理システム。
【請求項３４】
符号化された特徴が符号化されたビデオデータに存在するか否かを、マクロブロックを基準として判別することにより、前記符号化されたビデオデータを復号化する工程と、
前記符号化されたビデオデータにおいて符号化された特徴が存在しないと判別されると、従来のビデオ復号化を用いて復号化を実行する工程と、
前記符号化されたビデオデータにおいて符号化された特徴が存在するすると判別されると、前記従来の方法で符号化された前記ビデオデータの一部分とは別に、前記符号化された特徴インスタンスを合成するために、前記符号化された特徴を前記符号化されたビデオデータから分離する工程と、
特徴基礎モデル、および前記符号化された特徴に関連する特徴パラメータを判別する工程と、
前記符号化された特徴インスタンスを合成するように、前記判別された特徴基礎モデルおよび特徴パラメータを用いる工程と、
オリジナルのビデオデータを再構成するように、前記ビデオデータの従来の方法で符号化された部分を、前記合成された特徴インスタンスと結合する工程とを備えた、ビデオデータ処理方法。
【請求項３５】
ビデオデータを処理するデータ処理システムであって、
ハイブリッド・コーデック・デコーダを実現する１つ以上のコンピュータ・プロセッサを備え、
前記ハイブリッド・コーデック・デコーダは、
符号化された特徴が符号化されたビデオデータに存在するか否かを、マクロブロックを基準として判別することにより、前記符号化されたビデオデータを復号化する工程、
前記符号化されたビデオデータにおいて符号化された特徴が存在しないと判別されると、従来のビデオ復号化を用いて復号化を実行する工程、
前記符号化されたビデオデータにおいて符号化された特徴が存在すると判別されると、前記従来の方法で符号化された前記ビデオデータの部分とは別に、前記符号化された特徴インスタンスを合成するために、前記符号化された特徴を前記符号化されたビデオデータから分離する工程、
特徴基礎モデル、および前記符号化された特徴に関連する特徴パラメータを判別する工程、
前記符号化された特徴インスタンスを合成するように、前記判別された特徴基礎モデルおよび特徴パラメータを用いる工程、ならびに、
オリジナルのビデオデータを再構成するように、前記ビデオデータの従来の方法で符号化された一部分を、前記ビデオデータの前記合成された特徴と結合する工程によって、ビデオデータ復号化を用いることができる、データ処理システム。