(57)【特許請求の範囲】
【請求項１】
ビデオ信号をエンコードするためのエンコーダであって、
前記ビデオ信号の時空間グリッド上の複数のビデオ位置に対して、複数のビデオモデリングパラメータを決定するように構成されたビデオモデリングモジュールであって、前記時空間グリッドは、少なくとも２つの空間次元と１つの時間次元とを備えており、各ビデオモデリングパラメータは、所定のビデオモデルが、そのビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている、ビデオモデリングモジュールと、
前記決定された複数のビデオモデリングパラメータに基づき、前記ビデオ信号を複数の時空間ビデオ領域にセグメント化するように構成されたビデオセグメント化モジュールと、
前記複数の時空間ビデオ領域の時空間面をベクトル化するように構成されたベクトル化モジュールと、を備えており、
前記決定された複数のビデオモデリングパラメータの少なくとも部分集合と、前記ベクトル化された時空間面とに基づき、前記ビデオ信号をエンコードするように構成されており、前記部分集合は、前記複数の時空間ビデオ領域を考慮して決定される、エンコーダ。
【請求項２】
前記ベクトル化モジュールが、複数のレイヤを決定するため、可変の精度まで前記時空間面をフィッティングするためのベクトル化パラメータを反復的に決定することによって、前記時空間面をカスケード態様でベクトル化するように構成されており、複数のレイヤのうちの、
第１のレイヤが、前記時空間面を第１の精度までフィッティングするための第１の数の前記反復的に決定されたベクトル化パラメータを備え、
第２のレイヤが、前記時空間面を第２の精度までフィッティングするための第２の数の前記反復的に決定されたベクトル化パラメータを備え、
前記第２の精度が、所定のフィッティング類似性メトリックに従い、前記時空間面を、前記第１の精度よりも接近してフィッティングし、
前記決定された複数のレイヤに基づき、前記ビデオ信号をエンコードするように構成されている、請求項１に記載のエンコーダ。
【請求項３】
前記ビデオセグメント化モジュールが、複数のレイヤを決定するために、前記ビデオ信号を複数の時空間ビデオ領域に内部コヒーレンスの可変の程度まで区分するためのセグメント化パラメータを反復的に決定することによって、前記ビデオ信号をカスケード態様でセグメント化するように構成されており、複数のレイヤのうちの、
第１のレイヤが、前記ビデオ信号を内部コヒーレンスの第１の程度まで区分するための第１の数の前記反復的に決定されたセグメント化パラメータを備え、
第２のレイヤが、前記ビデオ信号を内部コヒーレンスの第２の程度まで区分するための第２の数の前記反復的に決定されたセグメント化パラメータを備え、
内部コヒーレンスの前記第２の程度が、所定の区分類似性メトリックに従い、前記ビデオ信号を、内部コヒーレンスの前記第１の程度よりも大きな内部コヒーレンスを備えた複数の時空間ビデオ領域に区分し、
前記決定された複数のレイヤに基づき、前記ビデオ信号をエンコードするように構成されている、請求項１または２に記載のエンコーダ。
【請求項４】
前記ビデオモデリングモジュールが、前記ビデオ位置を確率的に少なくとも近似的に再構築するように構成された確率過程をエンコードする所定のビデオモデルのために、前記複数のビデオモデリングパラメータを決定するように構成されている、請求項１から３のいずれか一項に記載のエンコーダ。
【請求項５】
前記ビデオモデリングモジュールが、動的テクスチャモデルに対する前記複数のビデオモデリングパラメータを決定するように構成され、
前記ビデオセグメント化モジュールが、所定の距離メトリックに従い、それらの動的テクスチャモデルパラメータそれぞれの間の対応に基づき、前記複数の動的テクスチャモデルパラメータのうちの少なくとも２つをグルーピングすることによって、前記ビデオ信号を前記複数の時空間ビデオ領域にセグメント化するように構成されており、
前記エンコーダが、前記グルーピングに従い、前記決定された複数の動的テクスチャモデルパラメータの少なくとも部分集合に基づいて、前記ビデオ信号をエンコードするように構成されている、請求項４に記載のエンコーダ。
【請求項６】
前記エンコーダが、前記決定された複数のビデオモデリングパラメータの前記部分集合を辞書に加えるように構成され、
前記エンコーダが、前記辞書における前記部分集合への参照に基づき、前記ビデオ信号をエンコードするように構成され、
前記エンコーダが、前記辞書へのアクセスを、前記エンコードされたビデオ信号をデコードするデコーダに提供するように構成されている、請求項１から５のいずれか一項に記載のエンコーダ。
【請求項７】
エンコードされたビデオ信号をデコードするためのデコーダであって、前記エンコードされたビデオ信号に基づき、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを取得するように構成されており、各ベクトル化された時空間面は、少なくとも２つの空間次元と１つの時間次元とを備えた連続的な時空間ドメインにおいて表され、各ビデオモデリングパラメータは、所定のビデオモデルが、前記エンコードされたビデオ信号の離散的なビデオ位置を少なくとも近似的に再構築することを可能にするように構成されており、
前記デコーダが、
前記複数のビデオモデリングパラメータと前記複数のベクトル化された時空間面とを、少なくとも２つの空間次元と１つの時間次元とを備えた離散的な時空間グリッド上にラスタ化するように構成されているラスタ化モジュールと、
前記ラスタ化された複数のベクトル化された時空間面を考慮して、前記複数のビデオモデリングパラメータを前記離散的時空間グリッド上へ伝達するように構成されている伝達モジュールと、
前記離散的な時空間グリッド上の前記伝達された複数のビデオモデリングパラメータを用いて、前記所定のビデオモデルをインスタンス化するように構成されているインスタンス化モジュールと、
を備える、デコーダ。
【請求項８】
前記エンコードされたビデオ信号が複数のレイヤを備えており、
前記デコーダが、前記複数のビデオモデリングパラメータと前記複数のベクトル化された時空間面とを選択された少なくとも１つのレイヤから取得するために、前記ビデオ信号の前記複数のレイヤから少なくとも１つのレイヤを選択するように構成されている、請求項７に記載のデコーダ。
【請求項９】
前記インスタンス化モジュールが、前記伝達された複数のビデオモデリングパラメータの少なくとも１つに基づき、前記伝達された複数のビデオモデリングパラメータを用いて、前記離散的なビデオ位置を少なくとも近似的に確率的に再構築するように構成された確率過程をエンコードする所定のビデオモデルをインスタンス化するように構成されている、請求項７または８に記載のデコーダ。
【請求項１０】
前記複数のビデオモデリングパラメータが動的テクスチャモデルパラメータであり、前記所定のビデオモデルが動的テクスチャモデルであり、
前記インスタンス化モジュールが、前記複数の動的テクスチャモデルパラメータを用いて、前記動的テクスチャモデルをインスタンス化するように構成されている、請求項９に記載のデコーダ。
【請求項１１】
前記デコーダが、複数のビデオモデリングパラメータを備えた辞書へアクセスするように構成されており、
前記インスタンス化モジュールが、前記辞書における前記複数のビデオモデリングパラメータに基づき前記インスタンス化を行うように構成されている、請求項７から１０のいずれか一項に記載のデコーダ。
【請求項１２】
ビデオ信号をエンコードし、エンコードされたビデオ信号をデコードするためのシステムであって、請求項１から６のいずれか一項に記載のエンコーダと、請求項７から１１のいずれか一項に記載のデコーダとを備える、システム。
【請求項１３】
ビデオ信号をエンコードするための方法であって、計算デバイスにおいて、
前記ビデオ信号の時空間グリッド上の複数のビデオ位置に対し、複数のビデオモデリングパラメータを決定するステップであって、前記時空間グリッドは、少なくとも２つの空間次元と１つの時間次元とを備えており、各ビデオモデリングパラメータは、所定のビデオモデルが、そのビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている、決定するステップと、
前記決定された複数のビデオモデリングパラメータに基づき、前記ビデオ信号を複数の時空間ビデオ領域にセグメント化するステップと、
前記複数の時空間ビデオ領域の時空間面をベクトル化するステップと、
前記決定された複数のビデオモデリングパラメータの少なくとも部分集合と、前記ベクトル化された時空間面とに基づき、前記ビデオ信号をエンコードするステップであって、前記部分集合は前記複数の時空間ビデオ領域を考慮して決定される、エンコードするステップと、
を備える、方法。
【請求項１４】
ビデオ信号をデコードするための方法であって、計算デバイスにおいて、
前記エンコードされたビデオ信号に基づき、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを取得するステップであって、各ベクトル化された時空間面は、少なくとも２つの空間次元と１つの時間次元とを備えた連続的な時空間ドメインにおいて表され、各ビデオモデリングパラメータは、所定のビデオモデルが、前記エンコードされたビデオ信号の離散的なビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている、取得するステップと、
前記複数のビデオモデリングパラメータと前記複数のベクトル化された時空間面とを、少なくとも２つの空間次元と１つの時間次元とを備えた離散的な時空間グリッド上にラスタ化するステップと、
前記ラスタ化された複数のベクトル化された時空間面を考慮して、前記複数のビデオモデリングパラメータを前記離散的時空間グリッド上へ伝達するステップと、
前記離散的な時空間グリッド上の前記伝達された複数のビデオモデリングパラメータを用いて、前記所定のビデオモデルをインスタンス化するステップと、
を備える、方法。
【請求項１５】
プログラムがコンピュータ上で動作されるときに、請求項１３または１４に記載の方法のステップを備えた方法を実行するためのコンピュータ実行可能命令を備えたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、ビデオ符号化に関する。特定の実施形態は、ビデオ信号をエンコードするためのエンコーダと、エンコードされたビデオ信号をデコードするためのデコーダと、ビデオ信号をエンコードしエンコードされたビデオ信号をデコードするためのシステムと、ビデオ信号をエンコードするおよび／またはエンコードされたビデオ信号をデコードするための方法と、ビデオ信号をエンコードするおよび／またはエンコードされたビデオ信号をデコードするためのコンピュータプログラム製品とに関する。
【背景技術】
【０００２】
過去１０年の間に、異なる解像度を有する多数のスクリーン面が出現した。また、いくつかの視聴デバイスはブロードバンドアクセスを有するが、他方で、限定されたアクセスを有するそれ以外のデバイスも存在する。これら２つの性質は、常に相関関係を有するとは限らない。このような異質なデバイスのグループに対し、制約を有するネットワークを介して同一のコンテンツを供給するためには、スケーラブルなビデオコーデックは、一般的に解像度に基づき、高品質なレイヤを提供することに焦点を合わせてきた。ベースレイヤは小型のスクリーンに適した低周波を備えており、各高品質レイヤはより多くのより高周波のコンポーネントを追加する。小型のスクリーンを備えたデバイスはベースレイヤを要求するだけであるが、他方で、より大型のスクリーンはより高品質のレイヤを、したがって、より大きな帯域幅を必要とする。
【０００３】
このアプローチは、大型のスクリーンと限られた帯域幅とを有するデバイスの利益にならない。スケーラブルなビデオコーデックのベースレイヤは、大型のスクリーンには適さない。それらによると、低周波の態様のために、ビデオが不鮮明になってしまう。品質に関する人間の知覚は、解像度だけを見るのではないのである。われわれは、たとえば漫画においてそうであるように、不鮮明な「複雑な」バージョンよりも、あるイメージの「単純化」されているが高周波数のバージョンの方をよりよいものとして知覚する。ほとんどすべてのテクスチャ情報が失われていても、鮮明なエッジは維持される。漫画は、依然として、現実についての訴えかける翻案のように見えるものであり、（情報理論的な意味で）ビット量が同じ不鮮明なビデオよりも、はるかにそうである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｓｏａｔｔｏ，Ｓ．、Ｄｏｒｅｔｔｏ，Ｇ．、およびＷｕ，Ｙ．Ｎ．（２００１年）、「Ｄｙｎａｍｉｃ  ｔｅｘｔｕｒｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｎ  ｔｈｅ  Ｅｉｇｈｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、２００１年（Ｖｏｌ．２、４３９頁−４４６頁）、ＩＥＥＥ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
エンコードされたビデオ信号を格納し伝送するための格納および伝送に関する要件を軽減することが、本発明の実施形態の目的である。
【０００６】
本発明のいくつかの実施形態のための関係する目的は、ＰＳＮＲ（ピーク信号対雑音比）よりもむしろＭＯＳ（平均オピニオン値）により多く従うことによって、イメージを圧縮することである。エンコーダのＭＰＥＧファミリ（Ｍｏｔｉｏｎ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）は、どのようなより実質的な圧縮も、結果的には、大いに目立つアーチファクトを生じさせてしまう地点に到達している。これとは対照的に、制限された帯域幅のために、エンコーダが、劣化したビデオを伝送することを強制される場合でも、または、伝送エラーが生じるときでも、視覚的混乱を生じさせるアーチファクトを結果的により少なく生じる、ということが、本発明のいくつかの実施形態の目的である。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によると、ビデオモデリングモジュールと、ビデオセグメント化モジュールと、ベクトル化モジュールとを備えており、ビデオ信号をエンコードするためのエンコーダが提供される。ビデオモデリングモジュールは、ビデオ信号の時空間グリッド（よって、離散的）上の複数のビデオ位置に対して、複数のビデオモデリングパラメータを決定するように構成されており、時空間グリッドは、少なくとも２つの空間次元と１つの時間次元とを備えており、各ビデオモデリングパラメータは、所定のビデオモデルが、そのビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている。ビデオセグメント化モジュールは、決定された複数のビデオモデリングパラメータに基づき、ビデオ信号を複数の時空間ビデオ領域（すなわち、クラスタ化されたボクセルを備えた時空間空間）にセグメント化するように構成されている。ベクトル化モジュールは、複数の時空間ビデオ領域の時空間面をベクトル化するように構成されている。エンコーダは、決定された複数のビデオモデリングパラメータの少なくとも部分集合と、ベクトル化された時空間面とに基づき、ビデオ信号をエンコードするように構成されている。部分集合は、複数の時空間ビデオ領域を考慮して決定される。
【０００８】
このように、ベクトル化された時空間面と決定された複数のビデオモデリングパラメータの少なくとも部分集合とに基づいてビデオ信号をエンコードすることによって、ビデオ信号は効率的にエンコードされ（すなわち、圧縮されて表現され）、したがって、格納および伝送のための要件が軽減され得る。特に、ビデオ領域のベクトル化された時空間面と決定された複数のビデオモデリングパラメータの部分集合（すなわち、少なくともいくつか）とに基づいてビデオ信号をエンコードすることによって、エンコーダが、ＰＳＮＲ（ピーク信号対雑音比）を用いてではなくて、ＭＯＳ（平均オピニオン値）に従ってビデオ信号をエンコードすることを可能にする。結果的に、制限された帯域幅のために、エンコーダが、劣化したビデオを伝送することを強制される場合でも、または、伝送エラーが生じる場合でも、視覚的な混乱を生じさせるアーチファクトが生じる蓋然性は低い。
【０００９】
本明細書のコンテキストにおいて、「ビデオモデリング」とは、「計算論的な態様でビデオ信号をモデル化すること」を意味するものとして取られるべきである。
【００１０】
ある特定の実施形態では、ビデオモデリングモジュールは、ビデオ信号の時空間グリッド上のすべてのビデオ位置の低密度の部分集合を選択して、その選択された低密度の部分集合に対し複数のビデオモデリングパラメータを決定するように構成される。さらなる特定の実施形態では、複数のビデオ位置が、ランダムに選択される。別の特定の実施形態では、複数のビデオ位置が、ヒューリスティックに選択される。
【００１１】
このようにして、複数のビデオ位置が、より効率的にカバーされ得る。
【００１２】
高品質のレイヤを用いて、異なるデバイスに、単一のビデオ表現から供給することが本発明のいくつかの実施形態のさらなる目的であるが、ここで、品質の幅は、コンテンツの「単純化された」バージョンから、より「詳細な」バージョンに関する人間の知覚に対応する。
【００１３】
ある実施形態では、ベクトル化モジュールが、複数のレイヤを決定するため、可変の精度まで時空間面をフィッティングするためのベクトル化パラメータを反復的に決定することによって、時空間面をカスケード態様でベクトル化するように構成される。複数のレイヤは、少なくとも、第１のレイヤと第２のレイヤとを有する。第１のレイヤは、時空間面を第１の精度までフィッティングするための第１の数の反復的に決定されたベクトル化パラメータを備える。第２のレイヤは、時空間面を第２の精度までフィッティングするための第２の数の反復的に決定されたベクトル化パラメータを備える。第２の精度は、所定のフィッティング類似性メトリックに従い、時空間面を第１の精度よりも接近してフィッティングする。エンコーダは、決定された複数のレイヤに基づき、ビデオ信号をエンコードするように構成される。
【００１４】
面（または曲線）をより接近させずにまたはより接近してフィッティングするため、面（または曲線）をフィッティングするときに、どのように精度を変化させるべきかが十分に理解されているということは、当業者によって認識されるであろう。特に、さらに展開された実施形態では、与えられた反復実行のすべてのベクトル化された時空間面によって満たされるべきエラーバウンドパラメータを継続的に制限することによって、反復が実行される。
【００１５】
このようにして、エンコーダの実施形態は、そのデバイスが高い解像度を有し狭い帯域幅を有するときであっても、レイヤを用いる（よって、高品質レイヤとして機能する）単一のビデオ表現から供給を受ける異なるデバイスの要求に応じることが可能であるが、その理由は、この実施形態が、それらの高品質なレイヤの１つまたは複数のベースレイヤに基づいてさえも、ビデオ信号を満足できる結果までデコードすることを可能にするからである。
【００１６】
別の実施形態では、ビデオセグメント化モジュールが、複数のレイヤを決定するため、ビデオ信号を複数の時空間ビデオ領域に内部コヒーレンスの変化する程度まで区分するためのセグメント化パラメータを反復的に決定することによって、ビデオ信号をカスケード態様でセグメント化するように構成されている。複数のレイヤは、少なくとも、第１のレイヤと第２のレイヤとを有する。第１のレイヤは、ビデオ信号を内部コヒーレンスの第１の程度まで区分するための第１の数の反復的に決定されたセグメント化パラメータを備えている。第２のレイヤは、ビデオ信号を内部コヒーレンスの第２の程度まで区分するための第２の数の反復的に決定されたセグメント化パラメータを備えている。内部コヒーレンスの第２の程度は、所定の区分類似性メトリックに従い、ビデオ信号を、内部コヒーレンスの第１の程度よりも大きな内部コヒーレンスを備えた複数の時空間ビデオ領域に区分する。エンコーダは、決定された複数のレイヤに基づき、ビデオ信号をエンコードするように構成されている。
【００１７】
セグメントをより小さなまたはより大きな内部コヒーレンスまで区分するため、セグメントを区分するときに、どのように内部コヒーレンスの程度を変化させるべきかが十分に理解されているということは、当業者によって認識されるであろう。
【００１８】
特に、ビデオセグメント化モジュールがカスケード態様でビデオ信号をセグメント化するように構成される上述の実施形態は、ベクトル化モジュールがカスケード態様で時空間面をベクトル化するように構成される実施形態と、効果的に組み合わせられ得る。
【００１９】
ある特定の実施形態では、時空間面が、３次元ベジエ面フィッティングアルゴズム、線形パッチ、スプライン、およびＮＵＲＢＳ（非一様有理Ｂスプライン）のうちの少なくとも１つなど、ベクトル化アルゴリズムを用い、いくつかの制御ポイントを決定することにより複数の時空間ビデオ領域の時空間面をフィッティングすることによって、ベクトル化される。別の実施形態では、ベクトル化アルゴリズムは、陰関数を用いる。
【００２０】
好適な実施形態では、ビデオモデリングモジュールは、ビデオ位置を確率的に少なくとも近似的に再構築するように構成された確率過程をエンコードする所定のビデオモデルのための複数のビデオモデリングパラメータを決定するように構成されている。
【００２１】
このように、所定のビデオモデルと確率過程のそれ自体のインスタンス化とを用い、確率過程に近似的ではあるがＭＯＳに従った態様でビデオ位置の外観を再構築させることによって、限定された量の情報をエンコードして、エンコードされたビデオ信号をデコーダが少なくとも近似的に再構築することができると信頼することが可能である。
【００２２】
さらに展開された実施形態では、ビデオモデリングモジュールが、動的テクスチャモデルのために、複数のビデオモデリングパラメータを決定するように構成される。ビデオセグメント化モジュールは、所定の距離メトリックに従い、それらの動的テクスチャモデルパラメータそれぞれの間の対応に基づき、複数の動的テクスチャモデルパラメータのうちの少なくとも２つをグルーピングすることによって、ビデオ信号を複数の時空間ビデオ領域にセグメント化するように構成されている。また、エンコーダは、グルーピングに従い、決定された複数の動的テクスチャモデルパラメータの少なくとも部分集合に基づき、ビデオ信号をエンコードするように構成されている。
【００２３】
動的テクスチャモデルは、ビデオのいくつかの部分を予測するための推計学的または確率的モデルであり、イメージの連続的部分（たとえば、ビデオフレームのいくつかの部分）またはそれ以外の一連のイメージ（たとえば、ビデオフレーム全体）のために用いられ得るのであるが、これらのイメージは、（ビデオフレームなど、イメージの空間的次元上では、視覚的および統計的に類似して見えるなど）一定の空間的に不変な特性を有し、時間的コヒーレンスを有する（すなわち、時間ｔにおけるイメージの一部からそれ以後の時間ｔ’への、またはそれに先行する時間ｔ”への移行が、それがｔ”からｔへのまたはｔからｔ’へのフローと潜在的に一致するという意味において、「滑らか」である）。換言すると、イメージの連続部分がその先行部分に依存することが典型的である。動的テクスチャモデルは、典型的には、自己回帰移動平均（ＡＲＭＡ）過程によって表現され得る。そのようなモデルは、たとえば、いくつかのベースパッチを埋め込んでいる低次元空間において、静的な線形マルコフ過程をモデル化することによって、決定され得る。動的テクスチャモデルについては、Ｓｏａｔｔｏ，Ｓ．、Ｄｏｒｅｔｔｏ，Ｇ．、およびＷｕ，Ｙ．Ｎ．による（２００１年）「Ｄｙｎａｍｉｃ  ｔｅｘｔｕｒｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｎ  ｔｈｅ  Ｅｉｇｈｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、２００１年（Ｖｏｌ．２、４３９頁−４４６頁）、ＩＥＥＥにおいて、さらに詳しく定義されている。
【００２４】
第１の例示的な実施形態では、グルーピングは、下記の技術、すなわち、Ｋ平均クラスタ化、平均シフトクラスタ化、スプリットアンドマージクラスタ化、または領域成長技術、のうちの１つまたは複数を用いた、クラスタ化を含む。第２の例示的な実施形態では、グルーピングは、下記の技術、すなわち、最小カットセグメント化、正規化カットセグメント化、またはそれ以外の（好ましくは、効率的な）グラフベースのイメージおよび／もしくはビデオセグメント化技術、のうちの１つまたは複数を用いた、グラフベースのセグメント化を含む。当業者であれば、スーパーボクセル関係の技術が適用され得ることを理解するであろう。好適な実施形態では、グルーピングは、類似のビデオモデルをグルーピングするために、類似性メトリックに従い、または（同様に）距離メトリック（たとえば、カルバック−ライブラ（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）ダイバージェンスメトリックなどの、所定の距離メトリック）に従い、ビデオモデルを採点することを含む。特定のさらに展開された実施形態では、グルーピングは、動的テクスチャモデルのすべてのそれぞれのペアの間の類似性（または、同様であるが、距離）メトリックを評価することを含む。類似性（または距離）は、色、（動的）テクスチャ、勾配などについて、測定され得る。
【００２５】
好適な実施形態では、エンコーダは、決定された複数のビデオモデリングパラメータの部分集合を辞書（すなわち、コンピュータメモリに記憶され得る連想的なデータ構造）に加えるように構成され、そして、エンコーダは、辞書における部分集合への参照に基づいてビデオ信号をエンコードするように構成されている。さらに、エンコーダは、辞書へのアクセスを、エンコードされたビデオ信号をデコードするためのデコーダに提供するように構成されている。
【００２６】
このようにして、伝送および格納に関する要件は、エンコードされたビデオ信号のデータの一部を辞書に委託することによって、さらに改善され得る。
【００２７】
本発明の別の態様によると、ビデオ信号をデコードするためのデコーダが提供されるのであるが、このエンコーダは、ラスタ化モジュールと、伝達モジュールと、インスタンス化モジュールとを備えている。このデコーダは、エンコードされたビデオ信号に基づき、複数のビデオモデリングパラメータと複数のベクトル化された（したがって、連続的な）時空間面とを取得するように構成されており、各ベクトル化された時空間面は、少なくとも２つの空間次元と１つの時間次元とを備えた連続的な時空間ドメインにおいて表され、各ビデオモデリングパラメータは、所定のビデオモデルが、エンコードされたビデオ信号の離散的なビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている。ラスタ化モジュールは、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを、少なくとも２つの空間次元と１つの時間次元とを備えた離散的な時空間グリッド上にラスタ化するように構成されている。伝達モジュールは、ラスタ化された複数のベクトル化された時空間面を考慮して、複数のビデオモデリングパラメータを離散的時空間グリッド上へ伝達するように構成されている。インスタンス化モジュールは、離散的な時空間グリッド上の伝達された複数のビデオモデリングパラメータを用いて、所定のビデオモデルをインスタンス化するように構成されている。
【００２８】
本明細書のコンテキストでは、「ラスタ化する」とは、「連続的なドメインからのオブジェクトを離散的なグリッドに転換またはマッピングすること」を意味するように取られるべきである。換言すると、離散的なグリッドは、連続的なドメインの範囲の上に、配置されている。完全性を期すために述べると、ラスタ化とは、ベクトルグラフィクスフォーマットで記述されているイメージまたはビデオを獲得し、それを、ビデオディスプレイもしくはプリンタでの出力、または、ビットマップファイルフォーマットでの格納の目的で、さらなるビデオ処理のためにラスタイメージフォーマット（または、一連のラスタイメージ）に変換するというタスクを意味し得る、ということに注意しておきたい。
【００２９】
当業者であれば、以上で説明された考察および利点が、このデコーダの実施形態にも準用されることを理解するであろう。
【００３０】
ある好適な実施形態においては、エンコードされたビデオ信号が、複数のレイヤを備えており、デコーダが、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを選択された少なくとも１つのレイヤから取得するために、ビデオ信号の複数のレイヤから少なくとも１つのレイヤを選択するように構成されている。明確にするため、「選択する」とは、本明細書では、複数のレイヤから選択される少なくとも１つのレイヤだけが、対応する好適な実施形態においてさらに用いられる、ということを意味するものと解釈されることに、注意しておく。
【００３１】
さらに展開された実施形態では、この選択は、所定のプロファイルを帯域幅の制限および／もしくはスクリーンの解像度と比較することによって、これらとレイヤの数との間の関係を学習することによって、ならびに／または、ユーザに品質を上昇もしくは低下させ、したがって帯域幅を制御させることによって、実行される。好適なさらに展開された実施形態では、この選択は動的であり、条件の変化に応じた再ネゴシエーションに対して開かれている。
【００３２】
ある好適な実施形態では、インスタンス化モジュールが、伝達された複数のビデオモデリングパラメータの少なくとも１つに基づき、伝達された複数のビデオモデリングパラメータを用いて、離散的なビデオ位置を少なくとも近似的に確率的に再構築するように構成された確率過程をエンコードする所定のビデオモデルをインスタンス化するように構成されている。
【００３３】
さらに展開された実施形態では、複数のビデオモデリングパラメータが、動的テクスチャモデルパラメータである。所定のビデオモデルは、動的テクスチャモデルであり、インスタンス化モジュールは、複数の動的テクスチャモデルパラメータを用いて、動的テクスチャモデルをインスタンス化するように構成されている。
【００３４】
別の好適な実施形態では、デコーダが、複数のビデオモデリングパラメータを備えた辞書へアクセスするように構成されており、インスタンス化モジュールが、辞書における複数のビデオモデリングパラメータに基づいてインスタンス化を行うように構成されている。
【００３５】
ある実施形態では、伝達モジュールが、伝達を実行するために、複数のビデオモデリングパラメータのラベル付けされた確率伝搬法、複数のビデオモデリングパラメータのグラフカッティング、および複数のビデオモデリングパラメータに対して変分法を実行すること、のうちの少なくとも１つを行うように構成されている。当業者は、エネルギを最小化するための他の技術もまた、適用可能であることを理解する。
【００３６】
本発明の別の態様によると、ビデオ信号をエンコードし、エンコードされたビデオ信号をデコードするためのシステムであって、以上で開示された実施形態のいずれか１つによるエンコーダと、以上で開示された実施形態のいずれか１つによるデコーダとを備えたシステムが提供される。当業者であれば、以上で説明された考察および利点が、このシステムの実施形態にも準用されることを理解するであろう。
【００３７】
本発明の別の態様によると、ビデオ信号をエンコードするための方法であって、計算デバイスにおいて、ビデオ信号の時空間グリッド上の複数のビデオ位置に対し、複数のビデオモデリングパラメータを決定するステップであって、時空間グリッドは、少なくとも２つの空間次元と１つの時間次元とを備えており、各ビデオモデリングパラメータは、所定のビデオモデルが、そのビデオ位置（すなわち、そのビデオモデリングパラメータと関連するビデオ位置であって、好ましくはピクセル、または与えられたタイプのコーナー、または与えられた向きのラインなど、あるビデオ位置は、１つまたは複数のビデオモデリングパラメータと関連し得る、ということに注意すべきである）を少なくとも近似的に再構築することを可能にするように構成されている、決定するステップと、前記決定された複数のビデオモデリングパラメータに基づいて、ビデオ信号を複数の時空間ビデオ領域にセグメント化するステップと、複数の時空間ビデオ領域の時空間面をベクトル化するステップと、決定された複数のビデオモデリングパラメータの少なくとも部分集合と、ベクトル化された時空間面とに基づき、ビデオ信号をエンコードするステップであって、部分集合は複数の時空間ビデオ領域を考慮して決定される、エンコードするステップと、を備える方法が提供される。当業者であれば、以上で説明された考察および利点が、この方法の実施形態にも準用されることを理解するであろう。
【００３８】
本発明の別の態様によると、エンコードされたビデオ信号をデコードするための方法であって、計算デバイスにおいて、エンコードされたビデオ信号に基づき、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを取得するステップであって、各ベクトル化された時空間面は、少なくとも２つの空間次元と１つの時間次元とを備えた連続的な時空間ドメインにおいて表され、各ビデオモデリングパラメータは、所定のビデオモデルが、エンコードされたビデオ信号の離散的なビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている、取得するステップと、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを、少なくとも２つの空間次元と１つの時間次元とを備えた離散的な時空間グリッド上にラスタ化するステップと、ラスタ化された複数のベクトル化された時空間面を考慮して（すなわち、制約されて）、前記複数のビデオモデリングパラメータを前記離散的な時空間グリッド上へ伝達するステップと、を備える方法が提供される。当業者であれば、以上で説明された考察および利点が、この方法の実施形態にも準用されることを理解するであろう。
【００３９】
本発明の別の態様によると、ビデオ信号をエンコードし、エンコードされたビデオ信号をデコードするための方法であって、以上で開示された実施形態のいずれか１つによるビデオ信号をエンコードするための方法のステップのすべてと、以上で開示された実施形態のいずれか１つによるエンコードされたビデオ信号をデコードするための方法のステップのすべてとを備えた方法が、提供される。当業者であれば、以上で説明された考察および利点が、この方法の実施形態にも準用されることを理解するであろう。
【００４０】
本発明の別の態様によると、プログラムがコンピュータ上で動作されると、方法を実行するためのコンピュータ実行可能な命令を備えたコンピュータプログラム製品が提供されるが、この方法は、以上で説明された方法のいずれか１つのステップを備えている。当業者であれば、以上で説明された考察および利点が、このコンピュータプログラム製品の実施形態にも準用されることを理解するであろう。
【００４１】
本発明のさらなる態様によると、プログラムがコンピュータ上で動作されると、以上で開示された方法のいずれか１つの実施形態のステップを実行するためのコンピュータ実行可能命令を備えたコンピュータプログラム製品が提供される。コンピュータ実行可能な命令への参照は、直接的に実行可能なマシンコードと、実行されるためにはコンパイルされなければならないコードと、それ自体が実行される代わりに解釈されるコードとのすべてを含むように、解釈されなければならない。
【００４２】
本発明のさらなる態様によると、以上で開示された方法の実施形態のいずれか１つのステップを実行するための命令のマシン実行可能なプログラムをエンコードするデジタルデータ記憶媒体が提供される。
【００４３】
本発明のさらなる態様によると、プログラムがコンピュータ上で実行されるときに、以上で開示された方法の実施形態の１つまたは複数のステップを実行するコンピュータ実行可能命令を備えたコンピュータプログラムが提供される。本発明のさらなる態様によると、以上で開示された方法の実施形態のいずれか１つの１つまたは複数のステップを実行するようにプログラムされたコンピュータデバイスまたはそれ以外のハードウェアデバイスが提供される。別の態様によると、以上で開示された方法の実施形態のいずれか１つの１つまたは複数のステップを実行するために、マシン可読およびマシン実行可能形態のプログラムをエンコードするデータ記憶デバイスが提供される。
【００４４】
添付の図面は、本発明による現に好適で非限定的な例示的実施形態を例証するのに用いられる。下記の添付の図面と共に以下の詳細な説明が読まれることで、本発明による実施形態の特徴の上述したおよびそれ以外の利点と本発明の目的とが、より明らかになるだろうし、本発明が、よりよく理解されるであろう。
【図面の簡単な説明】
【００４５】
【図１】本発明によるエンコーダのある実施形態の概略的な図解である。
【図２】本発明によるデコーダのある実施形態の概略的な図解である。
【図３】本発明によるシステムのある実施形態の概略的な図解である。
【図４】本発明によるシステムの別の実施形態の概略的な図解である。
【発明を実施するための形態】
【００４６】
図１は、本発明によるエンコーダ１００のある実施形態を、概略的に図解している。エンコーダ１００は、オプションの入力モジュール１１０と、ビデオモデリングモジュール１２０と、ビデオセグメント化モジュール１３０と、ベクトル化モジュール１４０とを備えている。入力モジュール１１０は、入力ビデオ信号１０１を取得するように構成されており、入力ビデオ信号１０１は、エンコードされたビデオ信号２０１として、エンコードされる。入力モジュール１１０は、入力ビデオ信号１０１がビデオモデリングモジュール１２０に直接的に提供され得るという意味で、オプションである。
【００４７】
ビデオモデリングモジュール１２０は、前記ビデオ信号１０１の時空間グリッド上の複数のビデオ位置（たとえば、特定のイメージコーナーまたは有向ラインなど、ピクセルまたは他の顕著なイメージ要素）に対する複数のビデオモデリングパラメータを決定するのであるが、前記時空間グリッドは、少なくとも２つの空間次元と１つの時間次元とを備えており、各ビデオモデリングパラメータは、所定のビデオモデルが、そのビデオ位置を少なくとも近似的に再構築することを可能にするように構成されている。ビデオセグメント化モジュール１３０は、決定された複数のビデオモデリングパラメータに基づき（たとえば、そのビデオモデリングパラメータが十分な類似性を示すビデオ位置が一緒になるようにセグメント化することによって）、前記ビデオ信号１０１を、複数の時空間ビデオ領域にセグメント化する。ベクトル化モジュール１４０は、前記複数の時空間ビデオ領域の時空間面をベクトル化する。エンコーダは、前記決定された複数のビデオモデリングパラメータの少なくとも部分集合と前記ベクトル化された時空間面とに基づき、前記ビデオ信号を、エンコードされたビデオ信号２０１として、エンコードする。この部分集合は、複数の時空間ビデオ領域を考慮して、たとえば、各時空間ビデオ領域に対して１つだけまたは複数のビデオモデリングパラメータを選択することにより、決定される。
【００４８】
例示的なビデオモデルは、白色ゼロ平均ＩＩＤ（独立で、同一に分布された）ガウス入力を備えた第１次ＡＲＭＡ（自己回帰移動平均）モデルなど、線形動的モデルを含み得るが、これに限定されることはない。すると、与えられたビデオ位置に対する対応のビデオモデリングパラメータは、たとえば、遷移行列と最適な基底とを含む。当業者であれば、所定のビデオモデルを用いて、与えられたビデオ位置をモデル化するためには、他のビデオモデリングパラメータも考慮され得る、ということを理解するであろう。
【００４９】
図２は、本発明によるデコーダ２００のある実施形態を、概略的に図解している。デコーダ３００は、ラスタ化モジュール２１０と、伝達モジュール２２０と、インスタンス化モジュール２３０とを備えている。
【００５０】
エンコーダ２００は、エンコードされたビデオ信号２０１に基づいて（エンコードされたビデオ信号２０１から直接的に、または、エンコードされたビデオ信号２０１が別の場所に格納されているパラメータへの参照を含む場合には、エンコードされたビデオ信号２０１における参照を参照解除することによって、のいずれか）、複数のビデオモデリングパラメータと複数のベクトル化された時空間面とを取得するように構成されているが、各ベクトル化された時空間面は、少なくとも２つの空間次元と１つの時間次元とを備えた連続的な時空間ドメインで表現されており、各ビデオモデリングパラメータは、所定の（好ましくは、エンコードされたビデオ信号２０１をエンコードするのに用いられたエンコーダとデコーダ２００との両方によって合意された）ビデオモデルが、前記エンコードされたビデオ信号２０１の離散的なビデオ位置（すなわち、元のビデオ信号のグリッド上のビデオ位置）を少なくとも近似的に再構築することを可能にするように構成されている。ラスタ化モジュール２１０は、前記複数のビデオモデリングパラメータと前記複数のベクトル化された時空間面とを、少なくとも２つの空間次元と１つの時間次元とを備えた離散的な時空間グリッド上にラスタ化する。伝達モジュール２２０は、前記複数のビデオモデリングパラメータを、前記複数のベクトル化時空間面によって制約された離散的な時空間グリッドを上へ、伝達させる。インスタンス化モジュール２３０は、離散的な時空間グリッド上に伝達された複数のビデオモデリングパラメータを用いて、所定のビデオモデルをインスタンス化することにより、再構築されたビデオ信号１０１’を生成させる。このインスタンス化は、与えられたビデオ位置に対する所定のビデオモデルの中に１つまたは複数のビデオモデリングパラメータを入れることと、出力をそのビデオ位置の再構築された外観として用いることとを含み得る。
【００５１】
図３は、本発明によるシステムのある実施形態を概略的に図解している。このシステムは、たとえば図１のエンコーダ１００のようなエンコーダ１００と、たとえば図２のデコーダ２００のようなデコーダ２００とを備えている。ここに図解されている特定のシステムの実施形態は、また、エンコーダ１００とデコーダ２００との両方にアクセス可能であり、エンコーダ１００とデコーダとの両方からもアクセス可能な何らかのコンピュータメモリストレージに記憶された辞書３００を備えており、換言すると、エンコーダ１００は、前記辞書３００へのアクセスを、デコーダ２００に提供するように構成されている。ここに図解された実施形態において、エンコーダ１００は、前記決定された複数のビデオモデリングパラメータの前記少なくとも前記部分集合を、辞書３００に追加するように構成されている。エンコーダ１００は、また、前記辞書３００における部分集合への参照に基づいて、前記ビデオ信号１０１をエンコードするように、構成されている。エンコーダ１００は、次に、これらの参照をエンコードされたビデオ信号２０１に含ませることによって、ビデオ信号をエンコードし得る。
【００５２】
図４は、本発明によるシステムの別の実施形態を概略的に図解している。このシステムは、たとえば図１のエンコーダ１００のようなエンコーダ１００と、たとえば図２のデコーダ２００のようなデコーダ２００とを備えている。さらに、図４は、また、エンコードされたビデオ信号２０１が、マルチレイヤ型の（したがって、スケーラブルな）エンコードされたビデオ信号２０１の１つまたは複数のレイヤのデコーダ２００による選択を表す概略的に表されているレイヤ選択段４００を経由して、どのようにしてエンコーダ１００からデコーダ２００に提供され得るのかを図解している。
【００５３】
ここに図解されている特定のエンコーダ１００は、図１に示されているエンコーダ１００に対応するのであるが、それに加えて、ビデオセグメント化モジュール１３０が、複数のレイヤ１３５を決定するために、ビデオ信号１０１を、前記ビデオ信号を複数の時空間ビデオ領域に内部コヒーレンスの可変の程度まで区分するためのセグメント化パラメータを反復的に決定することによって、カスケード態様でセグメント化するように構成されている。複数のレイヤ１３５は、少なくとも、第１のレイヤと第２のレイヤとを有する。第１のレイヤは、前記ビデオ信号を第１の程度の内部コヒーレンスまで区分するための、第１の数の前記反復的に決定されたセグメント化パラメータを備える。第２のレイヤは、前記ビデオ信号を第２の程度の内部コヒーレンスまで区分するための、第２の数の前記反復的に決定されたセグメント化パラメータを備える。第２の程度の内部コヒーレンスは、前記ビデオ信号を、所定の区分類似性メトリックに従って、前記第１の程度の内部コヒーレンスよりも大きな内部コヒーレンスを用いて、複数の時空間ビデオ領域に区分する。さらに、エンコーダ１００は、前記決定された複数のレイヤ１３５に基づき、前記ビデオ信号１０１を、エンコードされたビデオ信号２０１としてエンコードするように構成されている。
【００５４】
ここに図解されている特定のエンコーダ１００は、さらに、ベクトル化モジュール１４０が、複数のレイヤ１４５を決定するために、時空間面を可変の精度までフィッティングするためのベクトル化パラメータを反復的に決定することによって、カスケード態様で時空間面をベクトル化するように構成されている、という追加分を有する（ここでは上述した追加分と組み合わされて示されているが、それらいずれも、他方の追加分とは別個に独立して提供され得る）。複数のレイヤ１４５は、少なくとも、第１のレイヤと第２のレイヤとを有する。第１のレイヤは、前記時空間面を第１の精度までフィッティングするための、第１の数の前記反復的に決定されたベクトル化パラメータを備える。第２のレイヤは、前記時空間面を第２の精度までフィッティングするための、第２の数の前記反復的に決定されたベクトル化パラメータを備える。第２の精度は、所定のフィッティング類似性メトリックに従って、前記第１の精度よりも近接するように、前記時空間面をフィッティングする。エンコーダ１００は、また、前記決定された複数のレイヤ１４５に基づき、前記ビデオ信号１０１を、エンコードされたビデオ信号２０１としてエンコードするように構成されている。
【００５５】
カスケード態様で動作することにより、ビデオセグメント化モジュール１３０は、（この場合には）３つ（しかし、一般的には、少なくとも１つ）のレイヤ１３５の連続的に粒度がより細かいビデオ領域を生じる。（また）カスケード態様で動作することにより、ベクトル化モジュール１４０は、（この場合にも）３つ（しかし、一般的には、少なくとも１つ）のレイヤ１４５の連続的により近接してフィッティングされた時空間面を生じる。この実施形態では、カスケード接続されたセグメント化の上にカスケード接続されたベクトル化がなされる結果として、潜在的に９つのレイヤの多層表現が生じる。セグメント化アルゴリズムとベクトル化アルゴリズムとの両方のすべての段において閾値を設定するパラメータは、表現のどの部分が最終的にはどのレイヤに存在することになるかをチューニングする。
【００５６】
別の例示的な実施形態では、ビデオ信号の動的なテクスチャコンテンツが、セグメントの輪郭（すなわち、時空間ビデオ領域の面）を後でトレースするために、解析され、時空間ビデオ領域としてクラスタ化される。動的テクスチャは、いくつかのベースパッチが埋め込まれている低次元の空間における静的な線形マルコフ過程によって、モデル化され得る。一定の仮定の下で、最適な基底とモデル行列とを見つけるための、閉じた形式のソリューションが存在する。また、同様の動的テクスチャのインスタンスも（たとえば、カルバック−ライブラ（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ）ダイバージェンスメトリックの意味で）、近接している。これは、ビデオ信号における多くのビデオ領域がそのようにモデル化される場合には、それらは、この距離メトリックを評価することによってクラスタ化され得る、ということを意味する。
【００５７】
この例示的な実施形態に対しては、エンコーダは、時空間グリッド上での、ビデオ信号の（低密度に、および／または、ランダムもしくはヒューリスティックに）選択されたビデオ位置において、動的テクスチャモデルを学習することを学習する。次に、カルバック−ライブラ距離などのダイバージェンスメトリックがモデルのすべてのペアの間で評価され、それらが、その評価に従ってクラスタ化される。次に、すべてのピクセルにおけるパッチを、クラスタ化されたモデルによってうまく説明することが試みられ、各ピクセルが各モデルに対して採点される。最後に、同じモデルによってうまく説明され得るすべてのピクセルが、時空間的にクラスタ化される。これは、たとえば、最小のカット（最小カット）を見つけることによってなされ得るが、ここで、カットとは、実際には、別個のテクスチャの３次元領域を分離する面である。この手順が、再び、カスケード態様で反復され得る。第１の反復は最も重要なカットを見つけることになり、他方で、後の反復はより詳細なものを見つける。
【００５８】
これらの最小カット面は、依然として、ラスタ化されたバイナリマップである。これらの面は、たとえば、３Ｄベジエ（Ｂｅｚｉｅｒ）面フィッティングアルゴリズムによって、ベクトル化される。これは、たとえば、時間軸を追加することによる、２Ｄラマー−ダグラス−ポーカアルゴリズムの非自明な拡張であり得る。このアルゴリズムは、エラーバウンドとして機能するパラメータｖを有し得る。このパラメータを低下させると、ベクトル化された表現において、より多くのキーポイントが生じ、より正確な近似が得られる。このアルゴリズムは、検出された輪郭の各組に対して動作させるのであるが、やはり、より高レベルの詳細を取得するために、パラメータを低下させるチューニングを用いて、カスケード態様で動作させることもあり得る。各エッジ集合ｉ（図４の場合における（列）カラム）と各出力レイヤｊ（図４の場合の（行）ロー）とに対し、異なるチューニングがなされたパラメータｖｉｊが存在する。これらのパラメータは、ベースレイヤ（低いｊ）に対しては非常に制限的で、詳細なエッジ（高いｉ）のいくつかがそのレイヤによって全く表現されずに次のレイヤｊ＋１へ完全に送られることもありえる。各段においてベクトル化アルゴリズムを再始動することは原則的に必要なく、すなわち、このアルゴリズムの反復はそのまま継続され得る、ということに注意をしておきたい。そして、最も基本的な段からのキーポイントは、以後の段では反復されない。
【００５９】
面をベクトル化することには、多くの代替的な方法が存在する。ベジエ面と関係して、線形パッチ、スプライン、ＮＵＲＢＳ（非一様有理Ｂスプライン）なども、選択することができる。これらのすべては、輪郭を記述するのに、キーポイントと局所的な幾何学的導関数とを用いる。異なるアプローチとしては、それらを、陰関数で定義するものがある。これらの表現は、制御ポイント駆動型ではなく、各陰関数も面を局所的に制約する。よって、これは、連続関数を離散化する別の方法である。
【００６０】
説明されたように、最小カットは、同じ動的テクスチャモデルによって説明され得る時空間ビデオ領域を定義する。（図３の辞書３００のような）辞書が、それらの検出されたテクスチャモデル（または、同様に、ビデオモデル化パラメータ）から作成されて、デコーダに送られ得る。次に、テクスチャペイントシードの低密度の集まり（動的テクスチャモデルに対するビデオモデリングパラメータを表す）が、その表現の中に含まれ得る。各シードは、ビデオ信号のグリッド上の時空間ビデオ位置と関連し、辞書３００のどのエントリが用いられるべきかを示す識別子を有しているのであるが、換言すると、各シードは、辞書３００に格納されている多数のビデオモデリングパラメータへの参照である。シードをどこに配置し、重要性によってそれらをソートすることは、上述したセグメント化／クラスタ化アルゴリズムの副産物である。この例では、最も重要なシードの選択された集合は、最終的にベースレイヤに存在することになり、他方で、それよりも重要度の劣るシードは追加的なレイヤを充填する。
【００６１】
シードは、テクスチャの厳密なインスタンスを必ずしもエンコードするとは限らないのであるが、好ましくは、モデルへの参照をエンコードするだけである。デコーダ２００は、このモデルから自由にインスタンス化することになる。言及されたように、このモデルは、ランダム過程をエンコードするのであって、すなわち、デコーダによるイニシャライザとランダム変数との選択が、テクスチャの厳密な外観に影響することになる。厳密なインスタンスは最高の重要性を有するものではなく、むしろ、外観の大局的な推計であるのだから、これは、圧縮に関する利点であるとわかる。再構築は、ＰＳＮＲの意味では評価が低いが、知覚された品質（平均観測得点）の点に関しては高評価であることに注意すべきであるが、その理由は、人間は、その差異を知覚できないからである。動的テクスチャの外観に関するこれらの特徴付けとなる推計は、デコーダによって、任意の解像度またはフレームレートでレンダリングされ得る。
【００６２】
要求されるレイヤを選択した後で、（図２のデコーダ２００の伝達モジュール２２０などの）伝達モジュールは、最初に、ベクトル化された時空間面によって設定された輪郭の内部で、シードを伝達し得る。モジュールは、連続的な色ではなく、離散的な辞書エントリを伝達しているため、エネルギ最小化を実行するためには、たとえば、ラベル付けされた確率伝搬法、グラフカット（ＧｒａｐｈＣｕｔｓ）または変分法を選択するのか有益である。これらは、輪郭（および、存在する場合には、それらに帰せられる重要性）を考慮に入れて、時空間グリッド上で、低密度のテクスチャシードを稠密にラスタ化することになる。次に、インスタンス化モジュール２３０が、動的テクスチャ辞書３００における対応するエントリに従って、１つまたは複数のビデオモデルのランダム過程をインスタンス化し得る。この結果として、表示または後処理のための出力ビデオ信号１０１が生じる。
【００６３】
当業者であれば、様々な上述した方法のステップは、プログラムされたコンピュータによって実行され得るということを、容易に認識し得るであろう。本明細書では、いくつかの実施形態は、また、たとえばデジタルデータ記憶媒体など、プログラム記憶デバイスにも及ぶことが意図されているのであるが、このプログラム記憶デバイスとは、マシンまたはコンピュータ可読であり、命令から構成されるマシン実行可能またはコンピュータ実行可能なプログラムをエンコードするものであって、前記命令が、上述の方法のステップの一部または全部を実行する。プログラム記憶デバイスは、たとえば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または光学的に可読なデジタルデータ記憶媒体であり得る。実施形態は、また、上述した方法の前記ステップを実行するようにプログラムされたコンピュータにも及ぶことが意図されている。
【００６４】
本説明および図面は、本発明の原理を例証するに過ぎない。したがって、たとえ本明細書で明示的に説明されていなくても、または示されていなくても、当業者であれば本発明の原理を具体化し本発明の精神および範囲に含まれる様々な仕組みを考案できる、ということが認識されるだろう。さらに、本明細書で列挙されたすべての例は、主として、本発明の原理と技術を進展させるために発明者（ら）により貢献された概念とを読者が理解する際の支援となる教育目的だけを有する、ということが明確に意図されており、これらの例は、そのような特定の列挙された例および条件に限定されることなく、解釈されるべきである。さらに、本明細書において本発明の原理、態様、および実施形態、ならびにそれらの特定の例を列挙しているすべての記述は、それらの均等物を包含することが意図されている。
【００６５】
「プロセッサ」とラベル付けされた任意の機能ブロックを含め、図に示された様々な要素の機能は、適切なソフトウェアとともにソフトウェアを実行することができるハードウェアだけでなく専用のハードウェアの使用を通じて、提供され得る。プロセッサにより提供されるときには、これらの機能は、単一の専用プロセッサにより、単一の共有プロセッサにより、または、そのうちのいくつかが共有され得る複数の個別的なプロセッサにより、提供され得る。さらに、「プロセッサ」または「コントローラ」という用語を明示的に用いても、ソフトウェアを実行することができるハードウェアを排他的に指すものとして解釈されるべきでなく、限定的にではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、および不揮発性ストレージを暗黙的に含むことがあり得る。従来型のおよび／またはカスタムである他のハードウェアが含まれることもあり得る。同様に、図に示されたいずれのスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラムロジックの動作によって、専用ロジックによって、プログラム制御と専用ロジックとの相互作用によって、または手動によってさえも実行されることがあり得るのであって、特定の技術は、実装する者によってコンテキストからより具体的に理解されるように選択可能である。
【００６６】
本明細書におけるいずれのブロック図も、本発明の原理を具体化する例証のための回路の概念図を表している、ということが当業者によれば認識されるはずである。同様に、いずれのフローチャート、フローダイアグラム、状態遷移図、擬似コード、およびその他のものも、コンピュータ可読媒体において実質的に表現されコンピュータによってそのように実行され得る様々なプロセスを表す、ということが認識されるであろう。
【００６７】
以上では、本発明の原理が、特定の実施形態との関係で述べられてきたが、以上の説明は、例によってなされたものに過ぎず、添付の特許請求の範囲によって決定される保護範囲を限定するものとしてなされたものではないことが理解されるべきである。
【符号の説明】
【００６８】
１００  エンコーダ
１２０  ビデオモデリングモジュール
１３０  ビデオセグメント化モジュール
１４０  ベクトル化モジュール
１１０  入力モジュール
１０１  入力ビデオ信号
２００  デコーダ
２０１  エンコードされたビデオ信号
２１０  ラスタ化モジュール
２２０  伝達モジュール
２３０  インスタンス化モジュール
３００  辞書
【図１】
0006310965.tif 000002
【図２】
0006310965.tif 000003
【図３】
0006310965.tif 000004
【図４】
0006310965.tif 000005