(57)【要約】  高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャに関連する技術。
2016514378.tif 000002
【特許請求の範囲】
【請求項１】
ビデオコーディングのためのコンピュータ実装方法であって、
入力ビデオの順序で複数のフレームを受信する段階と、
第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する、段階と、
少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階と、
同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階と
を備える方法。
【請求項２】
前記第１の及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する請求項１に記載の方法。
【請求項３】
少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行される請求項１に記載の方法。
【請求項４】
前記他のフレームは、Ｐピクチャである請求項３に記載の方法。
【請求項５】
前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられる請求項３に記載の方法。
【請求項６】
前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられる請求項３に記載の方法。
【請求項７】
前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられる請求項３に記載の方法。
【請求項８】
前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされる請求項１に記載の方法。
【請求項９】
前記第１及び第２のセグメントのうちの一方は、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられる請求項１に記載の方法。
【請求項１０】
前記第１のセグメントは、前記現在のフレームの背景及び前景の両方をコーディングし、前記第２のセグメントは、前記背景又は前記前景の強化された品質のコーディングを提供する請求項１に記載の方法。
【請求項１１】
前記第１のセグメントは、前記現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、前記第２のセグメントは、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供する請求項１に記載の方法。
【請求項１２】
前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術を用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
前記現在のフレームは、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術を用いた少なくとも１つの修正済み参照を用いて再構成される機能性Ｆフレームである請求項１から１１のいずれか一項に記載の方法。
【請求項１４】
前記入力ビデオの順序における前記複数のフレームは、
複数の参照フレームと、
少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームと
の間の依存構造が提供される請求項１から１３のいずれか一項に記載の方法。
【請求項１５】
前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、
前記複数の矩形をエンコードする段階と、
前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出する段階を備え、前記複数の矩形をデコードする段階と
を備える請求項１から１４のいずれか一項に記載の方法。
【請求項１６】
前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有し、
少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行され、
前記他のフレームは、Ｐピクチャであり、
前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられ、
前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられ、
前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられ、
前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされ、
前記第１及び第２のセグメントの一方が、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられること、
前記第１のセグメントが、前記現在のフレームの前記背景及び前景の両方をコーディングし、前記第２のセグメントが、前記背景又は前記前景の強化された品質のコーディングを提供すること、及び
前記第１のセグメントが、前記現在のフレームの前記背景及び前記前景に対して異なる品質のコーディングを提供し、前記第２のセグメントが、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供すること
のうちの少なくとも１つであり、
前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術と、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術とのうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであり、
前記入力ビデオの順序における前記複数のフレームは、
複数の参照フレームと、
少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
のうちの少なくとも１つを有するコーディングされる対応するフレームと
の間の依存構造が提供され、
前記方法は、
前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、
前記複数の矩形をエンコードする段階と、
前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出する段階を備え、前記複数の矩形をデコードする段階と
を備える請求項１に記載の方法。
【請求項１７】
コーダであって、
画像バッファと、
前記画像バッファに通信可能に連結されたグラフィックス処理ユニットと
を備え、
前記グラフィックス処理ユニットは、
モーフィングアナライザ又は合成アナライザ、又は両方と、
現在のフレームにおけるコンテンツに関連付けられた少なくとも第１及び第２のセグメントにピクセルフレームを分割するセグメンタと、
どのフレームがセグメントに対して複数の参照フレームになるべきかを示すユニットと
を備え、
前記グラフィックス処理ユニットは、
入力ビデオの順序で複数のフレームを受信し、
第１のパスで現在のフレームの第１のセグメントをコーディングし、前記第１のセグメントは、前記フレーム上に示されるコンテンツに関連付けられ、前記現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、前記双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、前記入力ビデオの順序に対して相対的であり、前記機能性マルチパスピクチャは、前記モーフィングアナライザによって実行されるモーフィング技術又は前記合成アナライザによって実行される合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有し、
前記グラフィックス処理ユニットは、
少なくとも第２のパスで前記現在のフレームの少なくとも第２のセグメントをコーディングし、前記第２のセグメントは、前記第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、前記第１のパス及び第２のパスは、異なる時間に実行され、少なくとも前記第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、
前記グラフィックス処理ユニットは、
同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、前記第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む
コーダ。
【請求項１８】
前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する請求項１７に記載のコーダ。
【請求項１９】
少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行される請求項１７に記載のコーダ。
【請求項２０】
前記他のフレームは、Ｐピクチャである請求項１９に記載のコーダ。
【請求項２１】
前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられる請求項１９に記載のコーダ。
【請求項２２】
前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられる請求項１９に記載のコーダ。
【請求項２３】
前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられる請求項１９に記載のコーダ。
【請求項２４】
前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされる請求項１７に記載のコーダ。
【請求項２５】
前記第１及び第２のセグメントのうちの一方は、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられる請求項１７に記載のコーダ。
【請求項２６】
前記第１のセグメントは、前記現在のフレームの背景及び前景の両方をコーディングし、前記第２のセグメントは、前記背景又は前記前景の強化された品質のコーディングを提供する請求項１７に記載のコーダ。
【請求項２７】
前記第１のセグメントは、前記現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、前記第２のセグメントは、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供する請求項１７に記載のコーダ。
【請求項２８】
前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術を用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである請求項１７から２７のいずれか一項に記載のコーダ。
【請求項２９】
前記現在のフレームは、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術を用いた少なくとも１つの修正済み参照を用いて再構成される機能性Ｆフレームである請求項１７から２７のいずれか一項に記載のコーダ。
【請求項３０】
前記入力ビデオの順序における前記複数のフレームは、
複数の参照フレームと、
少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
のうちの少なくとも１つを有するコーディングされる対応するフレームと
の間の依存構造が提供される請求項１７から２９のいずれか一項に記載のコーダ。
【請求項３１】
前記グラフィックス処理ユニットは、
前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、
前記複数の矩形をエンコードし、
前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出して、前記複数の矩形をデコードする請求項１７から３０のいずれか一項に記載のコーダ。
【請求項３２】
前記第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有し、
少なくとも１つの他のフレームに対するコーディングは、前記現在のフレームの前記第１及び第２のセグメントに対する前記コーディングの間に少なくとも部分的に実行され、
前記他のフレームは、Ｐピクチャであり、
前記他のフレームの少なくとも一部は、前記第２のセグメントをコーディングするために参照として用いられ、
前記他のフレームは、将来のフレームであり、前記他のフレームの全てより少ない部分は、デコードされ、前記現在のフレームの前記第２のセグメントをコーディングするために参照として用いられ、
前記他のフレームの全てより少ない部分は、デコードされ、前記第２のセグメントをコーディングするために参照として用いられ、
前記第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされ、前記第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされ、
前記第１及び第２のセグメントの一方が、前記現在のフレームの背景に関連付けられ、前記第１及び第２のセグメントのうちの他方は、前記現在のフレームの前景に関連付けられること、
前記第１のセグメントが、前記現在のフレームの前記背景及び前景の両方をコーディングし、前記第２のセグメントが、前記背景又は前記前景の強化された品質のコーディングを提供すること、及び
前記第１のセグメントが、前記現在のフレームの前記背景及び前記前景に対して異なる品質のコーディングを提供し、前記第２のセグメントが、前記背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供すること
のうちの少なくとも１つであり、
前記現在のフレームは、ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術と、スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術とのうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであり、
前記入力ビデオの順序における前記複数のフレームは、
複数の参照フレームと、
少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、
少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、
過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び
複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディング
のうちの少なくとも１つを有するコーディングされる対応するフレームと
の間の依存構造が提供され、
前記グラフィックス処理ユニットは、
前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、前記第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、
前記複数の矩形をエンコードし、
前記前景オブジェクト領域と背景の領域との間の境界を回復するために、前記クロマキーカラーを抽出して、前記複数の矩形をデコードする請求項１７に記載のコーダ。
【請求項３３】
コンピュータに、請求項１から１６のいずれか一項に記載の方法を実行させるためのプログラム。
【請求項３４】
請求項１から１６のいずれか一項に記載の方法を実行する手段を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１３年１月３０日に出願され、発明の名称が「次世代ビデオコーディング」である米国仮出願６１／７５８，３１４の恩恵を請求し、全ての目的のためにここに組み込まれる。
【背景技術】
【０００２】
ビデオエンコーダは、与えられた帯域幅でより多くの情報が送信できるように、ビデオ情報を圧縮する。そして、圧縮された信号は、表示の前に信号をデコード又は解凍するデコーダを有するレシーバに送信され得る。
【０００３】
高効率ビデオコーディング（ＨＥＶＣ）は、最新のビデオ圧縮規格であり、ＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Experts Group）及びＩＴＵ−ＴのＶＣＥＧ（Video Coding Experts Group）によって形成されたＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding）によって開発されている。ＨＥＶＣは、より高い解像度のビデオアプリケーションを進化させるために、十分な圧縮を提供しない前のＨ．２６４／ＡＶＣ（Advanced Video Coding）規格に応えて開発されている。前のビデオコーディング規格と同様に、ＨＥＶＣは、イントラ／インター予測、変換、量子化、インループフィルタリング、及びエントロピーコーディングのような複数の基本機能モジュールを含む。
【０００４】
進行中のＨＥＶＣ規格は、許容される予測パーティション及びコーディングパーティションに対する限定的な選択、限定的な許容される複数の参照及び予測生成、限定的な変換ブロックサイズ及び現実の変換、コーディングアーチファクトを減少するための限定的なメカニズム、及び非効率なエントロピーエンコード技術のようなＨ．２６４／ＡＶＣ規格の制限を改善することを試み得る。しかし、進行中のＨＥＶＣ規格は、そのような問題を解決するための反復アプローチを用い得る。
【０００５】
例えば、圧縮されるビデオの解像度のこれまでの増加及び高いビデオ品質への期待に伴い、Ｈ．２６４のような既存のビデオコーディング規格又はＨ．２６５／ＨＥＶＣのような進化している規格さえも用いるコーディングに対して要求される対応するビットレート／帯域幅は、相対的に高い。前述の規格は、不十分な圧縮／品質の問題に暗黙的に対処するために、従来のアプローチの拡充形を用いるが、その結果は限定される。
【０００６】
本説明は、次世代ビデオ（ＮＧＶ）コーデックプロジェクトの枠組みの中で開発され、デバイス上での実施例のために十分に実用的にしながら、達成可能な圧縮効率を最大化する進化型のビデオコーデックを設計することの一般的な問題に対処する。例えば、ビデオの解像度のこれまでの増加及び良いディスプレイの利用可能性に起因する高いビデオ品質の期待に伴い、前のＭＰＥＧ規格及びさらにより最近のＨ．２６４／ＡＶＣ規格のような既存のビデオコーディング規格を用いて要求される対応するビットレート／帯域幅は、相対的に高い。Ｈ．２６４／ＡＶＣは、より高い解像度のビデオアプリケーションを進化させるために、十分に高い圧縮を提供すると考えられなかった。
【図面の簡単な説明】
【０００７】
ここで説明される題材は、添付の図面において限定のためでなく、例として示される。説明の簡潔さ及び明確さのために、図面において示される要素は、必ずしも縮尺通りに描かれていない。例えば、いくつかの要素の寸法は、明確さのために、他の要素に対して誇張され得る。さらに、適切であると考えられる場合、参照符号は、対応する又は類似する要素を示すために、図の中で繰り返されている。
【図１】例示的な次世代ビデオエンコーダを示す図である。
【図２】例示的な次世代ビデオデコーダを示す図である。
【図３（ａ）】例示的な次世代ビデオエンコーダ及びサブシステムを示す図である。
【図３（ｂ）】例示的な次世代ビデオデコーダ及びサブシステムを示す図である。
【図４Ａ】本明細書における実施例に係る予測フレームに対するマルチパスコーディングを提供する処理を示すフローチャートである。
【図４Ｂ】本明細書における実施例に係る予測フレームに対するマルチパスコーディングを提供する他の処理を示すフローチャートである。
【図５】修正済み参照フレームを有するフレームシーケンスを示す図である。
【図６】修正済み参照フレームのスーパーレゾリューション処理を示す図である。
【図７】例示的なエンコーダサブシステムを示す図である。
【図８】例示的なデコーダサブシステムを示す図である。
【図９】チェーン予測及び他の予測技術を実証するフレームシーケンスを示す図である。
【図１０】例示的なエンコーダサブシステムを示す図である。
【図１１】例示的なデコーダサブシステムを示す図である。
【図１２】予測補間及び他の予測技術を実証するフレームシーケンスを示す図である。
【図１３】マルチパスを伴う参照フレーム依存を実証するフレームシーケンスを示す図である。
【図１４】マルチパスを伴う参照フレーム依存を実証する他のフレームシーケンスを示す図である。
【図１５】マルチパスを伴う参照フレーム依存を実証するさらに他のフレームシーケンスを示す図である。
【図１６】例示的なエンコーダサブシステムを示す図である。
【図１７】例示的なデコーダサブシステムを示す図である。
【図１８】マルチパスを伴う参照フレーム依存を実証するＢピクチャを有するフレームシーケンスを示す図である。
【図１９】例示的なエンコーダサブシステムを示す図である。
【図２０】例示的なデコーダサブシステムを示す図である。
【図２１】例示的なビデオコーディングシステムを示す図である。
【図２２】例示的なシステムを示す図である。
【図２３】本開示の少なくともいくつかの実施例に従って全て配置される例示的なデバイスを示す。
【発明を実施するための形態】
【０００８】
１又は複数の実施例は、添付の図を参照してここで説明される。特定の構成及び配置が説明されるものの、これは例示の目的だけで行われていることが理解されるであろう。説明の趣旨及び範囲を逸脱することなく他の構成及び配置が採用され得ることを当業者は認識するであろう。ここで説明される技術及び／又は配置が、ここで説明されるもの以外の様々な他のシステム及びアプリケーションでも採用され得ることは当業者にとって明らかであろう。
【０００９】
例えば、システムオンチップ（ＳｏＣ）アーキテクチャのようなアーキテクチャにおいて明示され得る様々な実施例を以下の記述が説明するが、ここで説明される技術及び／又は配置の実施例は、特定のアーキテクチャ及び／又はコンピューティングシステムに制限されず、同様の目的の任意のアーキテクチャ及び／又はコンピューティングシステムによって実装され得る。例えば、複数の集積回路（ＩＣ）チップ及び／又はパッケージを採用する様々なアーキテクチャ、及び／又は様々なコンピューティングデバイス及び／又はセットトップボックス、スマートフォン等の家電（ＣＥ）デバイスは、例えば、ここで説明される技術及び／又は配置を実装し得る。さらに、以下の記述は、ロジックの実施例、システムコンポーネントのタイプ及び相互関係、ロジックパーティショニング／インテグレーション選択等のような多数の特定の詳細を説明し得るが、請求される主題はそのような特定の詳細なしで実施されてよい。他の例において、例えば、制御構造及び全ソフトウェア命令シーケンスのようないくつかの題材は、ここで説明される題材を不明瞭にしないようにするため、詳細に適切に示されない場合がある。
【００１０】
ここで説明される題材は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせで実装され得る。ここで説明される題材は、１又は複数のプロセッサで読み取られて実行され得る、機械可読媒体に格納される命令として実装されてもよい。機械可読媒体は、機械（例えばコンピューティングデバイス）によって可読な形で情報を格納又は送信する任意の媒体及び／又はメカニズムを含んでもよい。例えば、機械可読媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージ媒体、光学ストレージ媒体、フラッシュメモリデバイス、伝搬される信号（例えば、搬送波、赤外線信号、デジタル信号等）の電気の、光学の、音の、又は他の形態、及び他のものを含んでよい。他の形態において、非一時的コンピュータ又は機械可読媒体のような非一時的な物品は、それが一時的な信号それ自体を含まないことを除いては、上述の例又は他の例のいずれかとともに用いられてよい。それは、ＲＡＭ及びその他のような「一時的」な方法で一時的にデータを保持し得る、信号それ自体以外のこれらの要素を含む。
【００１１】
「１つの実施例」、「実施例」、「例示的な実施例」等への明細書における参照は、説明される実施例が特定の特徴、構造、又は特性を含むが、全ての実施例が必ずしも特定の特徴、構造、又は特性を含まなくてよい。さらに、そのような文言は、必ずしも同じ実施例を参照していない。さらに、特定の特徴、構造、又は特性が実施例に関連して説明される場合、ここで明示的に説明されるか否かに関わらず、他の実施例に関連して、そのような特徴、構造、又は特性をもたらすことが当業者の知識の範囲内であることが提示される。
【００１２】
以下で説明されるシステム、装置、物品、及び方法は、高効率次世代ビデオコーディングのためのコンテンツ適応双方向性又は機能性予測マルチパスピクチャに関連する。これは、進化型のＢピクチャ又はＦピクチャのコーディングと称されもよい。
【００１３】
上で説明されたように、Ｈ．２６４／ＡＶＣ規格は、様々な制限及びその規格を改善するための進行中の試みを有し得、例えば、ＨＥＶＣ規格は、そのような制限に対処するために反復アプローチを用い得る。例えば、圧縮されるビデオの解像度のこれまでの増加及び高いビデオ品質への期待に伴い、Ｈ．２６４のような既存のビデオコーディング規格又はＨ．２６５／ＨＥＶＣのような進化している規格さえも用いるコーディングに対して要求される対応するビットレート／帯域幅は、相対的に高い。前述の規格は、不十分な圧縮／品質の問題に暗黙的に対処するために、従来のアプローチの拡充形を用いるが、その結果は限定される。例えば、従来のインターフレームコーディングは、一般的に、規格によって用いられる動き補償予測を含む。したがって、そのような不十分な圧縮／品質の問題は、一般的に、ビデオのインターフレームコーディングにおける局所的動き補償予測を用いることのみによって暗黙的に対処されている。
【００１４】
さらに、いくつかのアドホックアプローチがこれまでに試みられている。そのような試みは、一般的に、複数の過去の、又は過去及び将来のフレームを採用し得る。そのような複数の過去、又は過去及び将来のフレームの使用は、一般的に、過去のフレーム（Ｐピクチャ／スライス用）におけるもの、又は過去及び将来のフレーム（Ｂピクチャ／スライス用）におけるものより、予測される現在のフレームのエリアに類似するいくつかのエリアがあるかもしれないという、過去又は将来のフレームにおける見込みで採用される。
【００１５】
しかし、多くのそのような不十分な圧縮／品質の問題は、動きだけでなく他の特性にも起因しているので、当然に、動き補償予測が単独で、（Ｐピクチャ／スライスの場合における）前の参照フレーム、並びにＢピクチャ／スライスの場合における前の及び次の参照フレームからの予測を用いて、そのような不十分な圧縮／品質の問題を完全に解決できない。したがって、次世代ビデオ（ＮＧＶ）システム、装置、物品、及び方法が、以下で説明される。ＮＧＶビデオコーディングは、より高い圧縮を達成するために、ビデオコーディング処理における重大なコンテンツベースの適応性を組み込んでよい。ＮＧＶコーデックとの関連で開発されるそのような実施例は、ビデオコーディングにおける高い圧縮効率を回りまわって達成させる予測信号をどのように改善するかの問題に対処する。
【００１６】
より正確には、本開示において、我々は、本開示においてコンテンツ適応予測Ｐピクチャ、コンテンツ適応機能性予測Ｆピクチャ、及びこれらのピクチャタイプを用いる改善された進化型ピクチャ構造と称される同じものの改善版を開発することによって、従来の予測Ｐピクチャ及び双方向性予測Ｂピクチャにおける意味のある前進、及びそれらに採用されるピクチャ構造を提案する。特に、Ｂピクチャも同様であるが、Ｆピクチャは、少なくとも１つの過去の予測、少なくとも１つの将来の予測フレーム、又は両方を用いることによって、再構成されてよい。しかし、上述のように、Ｆピクチャ、又はこのシステムのためのＰピクチャは、ここで説明されるようなモーフィング技術、合成技術、又は両方によって修正される複数の修正済み参照フレームを用いることによって、再構成されてよい。ここで説明される他の態様は、Ｆピクチャ全体を協調的にコーディングするために各パスがＦピクチャを少なくとも部分的にエンコードするツーパス又はマルチパスコーディングを許容することによって、コンテンツ適応Ｆピクチャの概念を拡張する進化型コンテンツ適応Ｆピクチャである。この概念は、Ｂピクチャに拡張して用いられることもできる。
【００１７】
ここで用いられるように、用語「コーダ」は、エンコーダ及び／又はデコーダを指してよい。同様に、ここで用いられるように、用語「コーディング」は、エンコーダを用いてビデオエンコードを実行すること、及び／又はデコーダを用いてビデオデコードを実行することを指してよい。例えば、ビデオエンコーダ及びビデオデコーダは、両方とも、ビデオデータをコーディングすることが可能なコーダの例であってよい。加えて、ここで用いられるように、用語「コーデック」は、例えば、エンコーダ及び／又はデコーダを実装し得るソフトウェア、ファームウェア、及び／又はハードウェアの任意の組み合わせのような任意の処理、プログラム、又は動作のセットを指してよい。さらに、ここで用いられるように、用語「ビデオデータ」は、例えば、ビデオフレーム、画像データ、エンコードされたビットストリームデータ、又はその類のもののようなビデオコーディングに関連付けられる任意のタイプのデータを指してよい。
【００１８】
図１は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオエンコーダ１００を示す図である。図示されるように、エンコーダ１００は、入力ビデオ１０１を受信してよい。入力ビデオ１０１は、例えば、ビデオシーケンスの複数の入力フレームのようなエンコードするための任意の適切な入力ビデオを含んでよい（ここで、フレーム、ピクチャ、及び画像の用語は、特に断りがない限り、互換的に用いられる）。図示されるように、入力ビデオ１０１は、コンテンツプレアナライザモジュール１０２を介して受信されてよい。コンテンツプレアナライザモジュール１０２は、ビデオコーディング効率及び速度性能を改善するための様々なタイプのパラメータを決定するために、入力ビデオ１０１の複数のビデオフレームのコンテンツの分析を実行するように構成されてよい。例えば、コンテンツプレアナライザモジュール１０２は、水平及び鉛直勾配情報（例えば、Ｒｓ、Ｃｓ）、分散、ピクチャ毎の空間複雑性、ピクチャ毎の時間複雑性（ｔｐｃｐｘ）、シーンチェンジ検出、動き範囲推定、ゲイン検出、予測距離推定（ｐｄｉｓｔ）、オブジェクト数推定、領域境界検出、空間複雑性マップ計算、焦点推定、フィルム粒子推定、又はその類のものを決定してよい。コンテンツプレアナライザモジュール１０２によって生成される複数のパラメータは、エンコーダ１００によって（例えば、エンコードコントローラ１０３を介して）用いられ、及び／又は量子化されてデコーダに通信されてよい。
【００１９】
図示されるように、複数のビデオフレーム及び／又は他のデータは、コンテンツプレアナライザモジュール１０２から適応ピクチャオーガナイザモジュール１０４（階層及び／又はチェーンピクチャグループ構造オーガナイザとも称される）に送信されてよい。適応オーガナイザモジュール１０４は、ピクチャグループ構造、及びグループの中の各ピクチャのピクチャタイプを決定し、必要に応じてエンコード順序に複数のピクチャを順序付ける。それは、階層（ピラミッド）ピクチャ構成、チェーンピクチャ構成、及び複数のハイブリッド構成をサポートする。適応オーガナイザモジュール１０４は、ピクチャグループ構造及び複数のピクチャタイプを示す複数の制御信号を出力する（システム１００について示される複数の出力／入力制御のための略語が下に列挙される）。ここで説明されるＮＧＶコーディングは、Ｉピクチャ（イントラコーディング）、（複数の過去／前の参照フレームからのインター予測から形成される）複数のＰピクチャ、及び（後述のような機能性の）Ｆピクチャを用い、これらの全てが下でより詳細に説明される。ピラミッド階層において最も深い（又は、言い換えれば、最も低いポジション又は最も高いランクの数を有する）Ｆピクチャは、非参照であり、他のＦピクチャは参照として用いられる。
【００２０】
いくつかの例において、適応ピクチャオーガナイザモジュール１０４は、複数のフレーム部分を生成するように構成されるフレーム部分ジェネレータを含んでよい。いくつかの例において、コンテンツプレアナライザモジュール１０２及び適応ピクチャオーガナイザモジュール１０４は、併せて、エンコーダ１００のプレアナライザサブシステムと見なされてよい。
【００２１】
図示されるように、複数のビデオフレーム及び／又は他のデータは、適応ピクチャオーガナイザモジュール１０４から予測パーティション生成モジュール１０５に送信されてよい。いくつかの例において、予測パーティション生成モジュール１０５は、第１に、フレーム又はピクチャを複数のタイル又は複数のスーパーフラグメント又はその類のものに分割してよい（ここで、フレーム、ピクチャ、及び画像の用語は、特に断りがない限り、及びフレームが特定のピクチャタイプ（例えば、Ｉ、Ｐ、Ｆ、又はＢピクチャ）が必ずしも割り当てられないフレームを概して指すために用いられることを除いて、互換的に用いられてよい）。いくつかの例において、（例えば、モジュール１０４と１０５との間の）追加のモジュールは、フレーム又はピクチャを複数のタイル又はスーパーフラグメント又はその類のものに分割するために提供されてよい。ＮＧＶコーディングの一例によれば、フレームは、３２×３２又は６４×６４ピクセルの複数のタイルに分割されてよく、６４×６４は、全てのピクチャタイプ（Ｉ、Ｐ、又はＦ）のコーディングに対して全ての標準画質及びより高い解像度のビデオのために用いられる。低い解像度の複数のシーケンスに対して、６４×６４は、Ｉ及びＦピクチャのコーディングに対しても用いられ、３２×３２は、Ｐピクチャに対して用いられる。
【００２２】
一例によれば、予測パーティション生成モジュール（予測Ｋｄ木／二分木パーティションジェネレータと称されてもよい）１０５は、その後、各タイル又はスーパーフラグメントを複数の潜在的予測パーティショニング又はパーティションに分割してよい。いくつかの例において、複数の潜在的予測パーティショニングは、例えば、ｋ−ｄ木パーティショニング技術、二分木パーティショニング技術、又はその類のもののようなパーティショニング技術を用いて決定されてよく、個々のビデオフレームのピクチャタイプ（例えば、Ｉ、Ｐ、又はＦピクチャ）、パーティショニングされるフレーム部分の特性、又はその類のものに基づいて決定されてよい。一例によれば、ピクチャ、Ｉピクチャがコーディングされる場合、全てのタイル又はほぼ全てのタイルは、規定の最小値のサイズが達せられるまでスペースを分割できるＫｄ木ベースの複数のパーティションに、かつ一度に一次元でさらに分割される。スペースを分割するための選択肢は、さらに分割しないこと、２つの等しい半分に分割すること、スペースの１／４及び３／４である２つの部分に分割すること、又はスペースの３／４及び１／４である２つの部分に分割することを含んでよい。そのため、最大サイズとして６４×６４を用いる（及び４×４の最小サイズを許容する）Ｉピクチャで、他の制約が課されなければ、非常に多数のタイルのパーティションが生成され得る。例えば、１つの制約は、複数の切断の第１のペアが、４つの３２×３２のサブタイルが形成されるように、水平及び鉛直方向寸法の両方においてスペースを半分にするために６４×６４のタイルに対して予め決定され、そして、Ｋｄ木パーティショニングによって３２×３２のサブタイルを各サブパーティショニングすることを設定することである。他の複数の制約は、可能なパーティションの組み合わせの数を減少する可能性もある。
【００２３】
Ｉピクチャのタイルのこれらのパーティションは、各タイルパーティションが空間予測（方向性角度予測又は他のタイプの予測）及び複数の予測差分のコーディングのために用いられてよいので、予測パーティションと称される。同様に、Ｐピクチャの複数のタイルも、より低解像度に対して、Ｐピクチャの複数のパーティションが３２×３２のタイルで開始し、Ｋｄ木ベースの複数のパーティションが用いられないが、むしろより単純な二分木パーティショニングが用いられることを除いて、予測のためにこの手法でパーティショニングされることができる。二分木パーティショニングは、２つの次元の間で繰り返しながら、一度に一次元で、スペースを２つの等しい部分に分割する。さらに、いくつかのサブパーティションは、例えば、覆われていない背景に対処するために、イントラ空間予測を用いることができるが、Ｐピクチャの複数のパーティションは、空間予測よりむしろ、（１又は複数の参照で）動きを主に用いて予測される。より高い解像度の複数のピクチャサイズのための標準画質に対して、複数のＰピクチャは、分割される前に、６４×６４のタイルで開始する。最終的に、いくつかのサブパーティションは、（イントラコーディングに対して）空間予測を用いることもできるが、Ｆピクチャも、二分木パーティショニングを用い、（１又は複数のパーティションで）動きを主に用いる複数の予測パーティションを生成するために６４×６４のタイルで開始する。
【００２４】
ＮＧＶコーディングにおいて、予測を生成するために複数の動きベクトルを単純に用いることより、インター予測データの生成のためのさらに多くのことがあり、他の場所で説明される。Ｐ及びＦピクチャのコーディングにおいて、各サブパーティションの予測は、予測モードを含むことによって特定される。複数の予測モードは、ｓｋｉｐ、ａｕｔｏ、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、及びｓｐｌｉｔを含む。ｓｋｉｐモードは、ピクセルデータが、エンコードされる必要がなく、デコードされる場合に１つのフレームから他に単にコピーされるように、例えば、参照フレームから再構成されている現在のフレームに対して変化がない又は相対的にほぼ変化がない場合、予測コーディングをスキップするために用いられる。Ａｕｔｏモードは、例えば、複数の動きベクトルが必要でないかもしれないが、複数の変換係数がデータをコーディングするために用いられることもできるように、部分的なデータだけが必要とされる場合に用いられる。Ｉｎｔｒａモードは、フレーム又はパーティションが空間的にコーディングされることを意味する。Ｓｐｌｉｔは、フレーム又はパーティションが、コーディングされる前に、より小さい複数の部分又はパーティションに分けられることを必要とすることを意味する。Ｉｎｔｅｒモードは、複数の参照フレームが現在のフレームに対して決定され、複数の動き推定が各参照を別々に用いることによって得られ、そして、最良の結果が動き予測データのために用いられることを意味する。Ｍｕｌｔｉモードも、複数の参照フレームを用いるが、この場合において、複数の参照フレームからの動き推定データは、予測のために用いられるための単一の結果を得るために、平均される又は加重平均されるように、組み合わせられる。
【００２５】
予測パーティション生成モジュール１０５の複数の出力のうちの１つは、タイルの数百の潜在的なパーティショニング（及びパーティショニングに課される制限に依存してより多い又はより少ない）であってよい。これらのパーティショニングは、１...ｍとしてインデックス付けされ、使用するための最良の予測パーティショニングを選択するためにエンコードコントローラ１０３に提供される。述べられたように、決定された複数の潜在的予測パーティショニングは、予測（例えば、インター又はイントラ予測）のための複数のパーティションであってよく、複数の予測パーティション又は複数の予測ブロック又はその類のものとして説明されてよい。
【００２６】
いくつかの例において、選択された予測パーティショニング（例えば、複数の予測パーティション）は、複数の潜在的予測パーティショニングから決定されてよい。例えば、選択された予測パーティショニングは、各潜在的予測パーティショニングに対して、複数の特性及び動きベースの複数のマルチ参照予測又はイントラ予測を用いて複数の予測を決定すること、及び複数の予測パラメータを決定することに基づいてよい。各潜在的予測パーティショニングに対して、潜在的予測エラーは、元の複数のピクセルと複数の予測ピクセルとの差分をとることによって決定されてよく、選択された予測パーティショニングは、最小の予測エラーを有する潜在的予測パーティショニングであってよい。他の例において、選択された予測パーティショニングは、パーティショニング及び予測パーティショニングに関連付けられる予測エラーをコーディングするためのビットの数に基づく重み付け採点を含むレート歪み最適化に基づいて決定されてよい。
【００２７】
図示されるように、選択された予測パーティショニング（例えば、現在のフレームの複数の予測パーティション）の元の複数のピクセルは、ディフェレンサ１０６において、複数の予測パーティション（例えば、参照フレーム又は複数のフレーム、及びインター又はイントラ予測データのような他の予測データに基づく現在のフレームの予測パーティションの予測）との差分をとられてよい。複数の予測パーティションの決定は、さらに下で説明され、図１に示されるようなデコードループ１３５を含んでよい。複数の差分に関して、元のパーティショニングされた複数のブロックも、エンコードを保証する任意の残りの信号が存在するか否かを決定するために、複数の予測ブロックとの差分をとられる。したがって、予測は、ある程度のサブパーティションで十分になり得るので、タイルの全てのサブパーティションが、（例えば、変換コーディングを用いて）現実にコーディングされる必要はない。
【００２８】
別のやり方では、（動き補償だけのような）予測だけによってパーティションが補償されることができないことを示す差分からの任意の複数の残り又は残りのデータ（例えば、パーティション予測エラーデータ）は、変換コーディングのために、及び特に、一例によれば、複数のＰピクチャ及びＦピクチャのために、より小さい複数のパーティション（複数のコーディングパーティション）にさらにサブパーティショニングされるために、コーディングパーティション生成モジュール（又は、一例によれば、コーディング二分木パーティションジェネレータ）１０７に送信されてよい。複数のＰ又はＦピクチャ又はフレームにおいて、非常に単純なコンテンツ及び／又は大きい量子化のステップサイズが存在するいくつかの場合に、複数のコーディングパーティションは、タイル全体のサイズに等しくてよく、又は複数のコーディングパーティション及び複数の予測パーティションは、これらの場合において同じサイズを有してよい。したがって、いくつかのＰ及びＦピクチャのタイルは、コーディングパーティショニングを含まなくてもよく、１つのコーディングパーティショニング又は複数のコーディングパーティショニングを含んでもよい。これらのコーディングパーティションは、１...ｎとしてインデックス付けされ、所与の選択肢から予測及びコーディングパーティショニングの最良の組み合わせを選択するためにエンコードコントローラ１０３に提供される。
【００２９】
また、任意のピクチャタイプ（複数のＩ、Ｆ、又はＰピクチャ）における複数の予測パーティションのイントラ予測のようなこれらの例のいくつかにおいて、又は別のやり方では、複数の予測パーティションが複数のコーディングパーティションにさらに分割されない場合（複数のコーディングパーティションがスキップされる場合）、コーディングパーティション生成モジュール１０７は、スイッチ１０７ａ及び１０７ｂを用いてバイパスされてよい。そのような例において、単一レベルのパーティショニングだけが実行されてよい。単一レベルのパーティショニングだけが存在するそのようなパーティショニングにおいて、それは、予測パーティショニング（説明されたように）又はコーディングパーティショニング又は両方として説明されてよい。様々な例において、そのようなパーティショニングは、予測パーティション生成モジュール１０５を用いて実行されてよく（説明されたように）、又はここでさらに説明されるように、そのようなパーティショニングは、コーディングパーティション生成モジュール１０７を用いて実装されるｋ−ｄ木イントラ予測／コーディングパーティショナモジュール又は二分木イントラ予測／コーディングパーティショナモジュールによって実行されてよい。
【００３０】
いくつかの例において、パーティション予測エラーデータは、もしあれば、エンコードを保証するほど十分に意味がなくてよい。他の例において、パーティション予測エラーデータをエンコードすることが望ましい可能性があり、パーティション予測エラーデータがインター予測又はその類のものに関連付けられる場合、コーディングパーティション生成モジュール１０７は、複数の予測パーティションの複数のコーディングパーティションを決定してよい。いくつかの例において、パーティションがコーディングパーティショニングなしで（例えば、図示されるように、スイッチ１０７ａ及び１０７ｂを用いて利用可能なバイパス経路を介して）エンコードされてよいので、コーディングパーティション生成モジュール１０７が必要とされなくてよい。コーディングパーティショニングがあってもなくても、（いずれの場合においても、複数のコーディングパーティションとして後で説明され得る）パーティション予測エラーデータは、複数の残り又は残りのデータがエンコードを必要とする場合、適応変換モジュール１０８に送信されてよい。いくつかの例において、予測パーティション生成モジュール１０５及びコーディングパーティション生成モジュール１０７は、併せて、エンコーダ１００のパーティショナサブシステムと見なされてよい。様々な例において、コーディングパーティション生成モジュール１０７は、パーティション予測エラーデータ、元のピクセルデータ、残りのデータ、又はウェーブレットデータに対して動作してよい。コーディングパーティション生成モジュール１０７は、二分木及び／又はｋ−ｄ木パーティショニング技術又はその類のものを用いて、例えば、パーティション予測エラーデータの複数の潜在的コーディングパーティショニング（例えば、複数のコーディングパーティション）を生成してよい。
【００３１】
パーティショニングの後（複数の予測パーティションがＩピクチャに対して形成され、複数のコーディングパーティションがＰ及びＦピクチャに対して形成され、及びいくつかの例において、潜在的コーディングパーティションが形成された後）、複数のパーティションは、適応変換モジュール１０８（１つの形態において、適応マルチサイズ矩形ハイブリッドパラメータハール変換（ＨＰＨＴ）／離散コサイン変換（ＤＣＴ）ユニットとも称される）を用いて、様々なブロックサイズで適応又は固定の複数の変換を用いて変換されてよい。１つのアプローチによれば、適応変換モジュール１０８は、複数の矩形のブロックについて前方ＨＰＨＴ又は前方ＤＣＴを実行してよい。一例によれば、パーティション／ブロックサイズ及び選択された複数の変換（例えば、適応又は固定、及びＨＰＨＴ又はＤＣＴ）は、レート歪み最適化（ＲＤＯ）又は他の基準に基づいて決定されてよい。いくつかの例において、選択されたコーディングパーティショニング及び／又は選択された（複数の）変換の両方は、コーディングパーティションのサイズ又はその類のものに基づく予め定められた選択方法に基づいて決定されてよい。例えば、適応変換モジュール１０８は、小型から中型のサイズの複数のブロックの局所的最適変換コーディングを許容するために、パラメータ変換を実行する第１の部分又はコンポーネント、及び複数のパラメータ変換を含む様々な変換からのＤＣＴ又はピクチャベースの変換のような固定の変換を用いて、全体的に安定低オーバヘッド変換コーディングを実行する第２の部分又はコンポーネント、又は任意の他の構成を含んでよい。いくつかの例において、局所的最適変換コーディングに対して、ＨＰＨＴが実行されてよい。いくつかの例において、複数の変換は、約４×４ピクセル及び６４×６４ピクセルの間の複数の矩形のサイズの複数の２Ｄブロックについて、変換されたデータがルマ若しくはクロマであるか、又はインター若しくはイントラであるか、又は用いられる決定された変換がＰＨＴ又はＤＣＴ又はその類のものであるかのような多数の要因に依存する現実の複数のサイズで、実行されてよい。
【００３２】
ＨＰＨＴ変換に対して、小型から中型のブロックサイズがサポートされ、ＤＣＴ変換に対して、多数のブロックサイズがサポートされる。ＨＰＨＴ変換に対して、いくらかのオーバヘッドが、水平又は鉛直のいずれかのＤＣＴが適用される方向を特定するために必要とされ、ＰＨＴは、直交方向に適用され、モードも（少なくとも、モードがデコードされた複数のピクセル又は複数の予測差分ピクセルに基づくことができるイントラコーディングに対して）同様である。特定のブロックを変換するために用いられる現実のＰＨＴ変換の基準は、それがデコードされた隣接する複数のピクセルに依存するので、コンテンツ適応であってよい。エンコーダ及びデコーダの両方が同じ基底行列の計算を必要とするので、計算の複雑性は、誰もがそれらから選択できる（エンコーダ及びデコーダの両方に）既知の限定された数の良い変換を許容することによって、低く維持される。
【００３３】
図示されるように、結果として得られる複数の変換係数は、適応量子化モジュール１０９に送信されてよく、エンコードコントローラ１０３における量子化アダプタ制御装置１３３は、効率的にコーディングされてビットストリームに含まれることができるマルチレベルマップによって表される複数の局所的適応量子化パラメータを用意するために、コンテンツの分析を実行する。計算された量子化セット（ｑｓ及び係数ブロックに適用される行列）は、結果として得られる複数の変換係数のスケーリングを実行するために、適応量子化モジュール１０９によって用いられてよい。さらに、パラメータ変換に関連付けられる任意のデータは、必要に応じて、適応量子化モジュール１０９（量子化が所望される場合）又は適応エントロピーエンコーダモジュール１１０のいずれかに送信されてよい。また、図１に示されるように、複数の量子化係数は、スキャンされ、適応エントロピーエンコーダモジュール１１０に送信されてよい。適応エントロピーエンコーダモジュール１１０は、複数の量子化係数をエントロピーエンコードし、出力ビットストリーム１１１にそれらを含めてよい。いくつかの例において、適応変換モジュール１０８及び適応量子化モジュール１０９は、併せて、エンコーダ１００の変換エンコーダサブシステムと見なされてよい。
【００３４】
また、図１に示されるように、エンコーダ１００は、上述のように、複数の予測パーティションとの比較のための複数の予測パーティション（又は複数のフレーム）を形成するローカルデコードループ１３５を含む。予め、ＲＤＯ動作に依存して、上述した数百又はより多いタイルパーティションの全てが、ビット数の探索が十分な場合のように、完全にコーディングされる必要はない。しかし、完全なコーディングが提供され得る場合において、一旦、タイルの最良のパーティショニングが決定される。
【００３５】
ローカルデコードループ１３５は、適応逆量子化モジュール１１２で開始してよい。適応逆量子化モジュール１１２は、複数の変換係数を決定するために、逆スキャンが実行され得、複数の量子化係数がデスケーリングされ得るように、適応量子化モジュール１０９と反対の（複数の）動作を実行するように構成されてよい。そのような適応量子化動作は、例えば、不可逆であってよい。図示されるように、複数の変換係数は、適応逆変換モジュール１１３に送信されてよい。適応逆変換モジュール１１３は、例えば、複数のコーディングパーティションに関連付けられる複数の残り又は複数の残りの値又はパーティション予測エラーデータ（又は説明されたような元のデータ又はウェーブレットデータ）を生成するために、適応変換モジュール１０８によって実行されることの逆変換を実行してよい。いくつかの例において、適応逆量子化モジュール１１２及び適応逆変換モジュール１１３は、併せて、エンコーダ１００の変換デコーダサブシステムと見なされてよい。
【００３６】
図示されるように、Ｐ及びＦピクチャに対するパーティション予測エラーデータ（又はその類のもの）は、任意的なコーディングパーティションアセンブラ１１４に送信されてよい。コーディングパーティションアセンブラ１１４は、予測エラーデータの複数の予測パーティション又は複数のデコードされた残りの予測パーティション又はその類のものを生成するために、必要に応じて、複数のコーディングパーティションを複数のデコードされた予測パーティションにアセンブルしてよい（図示されるように、いくつかの例において、複数のデコードされた予測パーティションが適応逆変換モジュール１１３において生成され得る場合などに、コーディングパーティションアセンブラ１１４は、Ｉピクチャのタイルのパーティショニングに関してのように、かつスイッチ１１４ａ及び１１４ｂを用いてスキップされてよい）。図示されるように、複数のデコードされた残りの予測パーティション（インター又はイントラ）は、加算部１１５において、複数の再構成予測パーティションを生成するために、複数の予測パーティション（例えば、予測ピクセルデータ）に加算されてよい。複数の再構成予測パーティションは、予測パーティションアセンブラ１１６に送信されてよい。予測パーティションアセンブラ１１６は、複数の再構成タイル又は複数のスーパーフラグメントを生成するために、再構成予測パーティションをアセンブルしてよい。いくつかの例において、コーディングパーティションアセンブラモジュール１１４及び予測パーティションアセンブラモジュール１１６は、併せて、エンコーダ１００のアンパーティショナサブシステムと見なされてよい。
【００３７】
複数の段階のうちの次のセットは、フィルタリング、並びにフィルタリング及び予測生成の混合を含む。一般的な４つのタイプのフィルタリングが示される。特に、図１において、再構成された複数のパーティションは、ブロッキネスアナライザ及びデブロックフィルタリングモジュール（また、再構成ブロッキネスアナライザ及びＤＤフィルタジェネレータ）１１７によって、デブロックされ、ディザリングされる。分析に対して結果として生じる複数のパラメータｄｄｉは、フィルタリング動作のために用いられ、さらにコーディングされ、ビットストリーム１１１によってデコーダに送信される。デブロックされて再構成された出力は、その後、複数のＱＲフィルタリングパラメータを計算してそれらをフィルタリングのために用いる品質アナライザ及び品質復元フィルタリングモジュール（又はここで再構成品質アナライザ及びＱＲフィルタジェネレータとも称される品質改善フィルタ）１１８に引き渡される。これらのパラメータは、また、コーディングされ、ビットストリーム１１１によってデコーダに送信される。ＱＲフィルタ出力は、複数の将来のフレームをコーディングするための予測としても用いられる最終再構成フレームである。
【００３８】
より具体的には、複数の再構成タイル又は複数のスーパーフラグメントがブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７に送信され得る場合、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７は、複数の再構成タイル又は複数のスーパーフラグメント（又は複数のタイル又は複数のスーパーフラグメントの複数の予測パーティション）をデブロックしてディザリングしてよい。生成されたデブロック及びディザフィルタパラメータは、現在のフィルタ動作に用いられ、及び／又は例えば、デコーダによる使用のためにビットストリーム１１１においてコーディングされてよい。ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７の出力は、品質アナライザ及び品質復元フィルタリングモジュール１１８に送信されてよい。品質アナライザ及び品質復元フィルタリングモジュール１１８は、複数のＱＲフィルタリングパラメータ（例えば、ＱＲ分解のための）を決定し、決定された複数のパラメータをフィルタリングに対して用いてよい。複数のＱＲフィルタリングパラメータは、デコーダによる使用のためにビットストリーム１１１においてコーディングされてもよい。いくつかの例において、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７、並びに品質アナライザ及び品質復元フィルタリングモジュール１１８は、併せて、エンコーダ１００のフィルタリングサブシステムと見なされてよい。いくつかの例において、品質アナライザ及び品質復元フィルタリングモジュール１１８の出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。したがって、図示されるように、品質アナライザ及び品質復元フィルタリングモジュール１１８の出力は、（デコードピクチャストレージ又はバッファと称されてもよく、又はそれに含まれてよい）マルチ参照フレームストレージ及びフレームセレクタ（又はマルチ参照制御装置）１１９に送信されてよい。依存ロジックモジュール１２８（一例において、階層ピクチャグループ構造における修正マルチ参照予測のための依存ロジックとも称される）は、マルチ参照制御装置１１９による適切な順序付け及び複数のフレームに対する使用のために、及び特定の複数のフレームが他のフレームの予測に対して選択されるべき場合に、複数の参照フレーム、及び複数のフレーム依存、又はより具体的には、複数のパーティション依存のような複数のフレームの間の関係をリストアップするための複数のインデックスを提供してよい。これは、マルチ参照予測、チェーン予測、複数の階層構造、及び／又は後述のような他の複数の予測技術のような複数のピクチャグループ構造に対して依存ロジックを提供することを含んでよい。
【００３９】
後述されるツーパス又はマルチパスコーディングに関して、コーディングされるべき新しいフレーム及び前の参照フレーム（距離ｐｄｉｓｔ離れた）は、背景（又は他の定義されたセグメンテーション）から前景を分け、（予測コーディングを用いる高効率コーディング、及びエントロピーコーディングによるように）明示的に、又は（複数の量子化マップ又はブルースクリーンフレームのコーディングによるように）暗黙的にビットストリームによってデコーダに伝えられるセグメンテーションマスクｓｅｇｍｓｋをもたらす（前／背景セグメンタ又はｃｏｕｒｓｅ／ｆｉｎｅセグメンタとも称される）セグメンタ１３４に入力される有効性のさらなる複数の理由に関して、ピクセル精度マスクは、要求されるビットレートに起因してコストがかかり得るので、このマスクの精度は、さらに減少されてよい。いずれの場合においても、エンコーダ及びデコーダの両方は、同じマスクを用いるべきであり、マスクの精度が減少されるべき場合、エンコーダは、デコーダに利用可能なマスクを用いるべきである。したがって、このエンコーダは、ここで説明された複数のＮＧＶエンコーダの他の複数の能力に加えて、また、前景／背景（又は他の）セグメンテーション情報を含む複数のセグメンテーションマスクｓｅｇｍｓｋを用い得るツーパス（又はマルチパス）のＦピクチャをサポートする。例えば、セグメンテーションマスクからの前景／背景の特定情報は、何がＦピクチャの第１のコーディングパスにおいてコーディングされるか、及び何が第２のパスにおいてコーディングされるかを決定するために用いられてよい。この情報は、モーフィング済みフレームの生成（モーフィング生成及びローカルバッファ１２０において）又は合成済みフレームの生成（合成生成及びローカルバッファ１２１において）をいつ、Ｆピクチャのどの領域に対して実行するかを決定するために、及びこれらの領域上で動き推定及び動き補償を実行するために有益である。さらに、複数のツーパス又はマルチパスＦピクチャは、２つの構成のうちの少なくとも１つを用いてよく、第１の構成において、Ｆピクチャの前景又は背景のいずれかが第１のパスにおいてコーディングされ、補完領域が第２のパスにおいてコーディングされる。上述のように、代替的に又はさらに、第２の構成において、ピクチャの全体又はほとんどは、第１のパスにおいてコーディングされ、領域（前景又は背景）は、第２のパスにおいて強化される。また、参照フレーム選択ロジックは、複数の参照画像としての使用のために、マルチ参照フレームストア及びフレームセレクタ１１９からの適切な複数のフレームを要求する（階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスＦピクチャ、Ｆピクチャ、Ｐピクチャに対する依存ロジックと称されてもよい）ユニット依存ロジックモジュール１２８によって提供される。
【００４０】
エンコーダ１００において、複数の予測動作は、インター及び／又はイントラ予測を含んでよい。図１に示されるように、インター予測は、モーフィング生成及びローカルバッファモジュール１２０（及び一例において、モーフィング生成及びローカルバッファと称される、又はインループモーフィング生成モジュールとここで称される）、合成生成及びローカルバッファモジュール１２１（及び一例において、合成生成及びピクチャバッファと称される、又はインループ合成生成モジュールとここで称される）、動き推定部１２２、特性及び動きフィルタリング及び予測モジュール１２３（またいくつかの例において、特性及び動きＡＰフィルタアナライザ及び１／４及び１／８ピクセル補償予測部と称される）、モーフィングアナライザ及び生成モジュール（又はアウトオブループモーフィングアナライザモジュール）１３０、及び合成アナライザ及び生成モジュール（又はアウトオブループ合成アナライザモジュール）１３２を含む１又は複数のモジュールによって実行されてよく、モーフィング及び合成ジェネレータ１２０及び１２１は、インループ（エンコーダのデコーダループの中）と見なされ、モーフィング及び合成アナライザ１３０及び１３２は、アウトオブループ（エンコーダにおけるデコーダループの外）と見なされる。一方がアナライザ、他方がジェネレータと呼ばれるが、インループ及びアウトオブループモジュールの両方が、同じ又は類似の複数のタスク（モーフィング及び／又は合成のための複数の修正済みフレーム及び複数の修正パラメータを形成すること）を実行してよい。これらのコンポーネントを用いて、モーフィング生成モジュール１２０又はモーフィングアナライザ１３０は、様々な形態のモーフィングを可能にしてよく、参照フレーム又はそれがともにコーディングされるべき複数のフレームに関して、及び動き補償予測の前に、（１）ゲインの変化、（２）支配的な（又は全体的な）動きの変化、（３）レジストレーションの変化、及び／又は（４）ブラーの変化に対して、複数のモーフィングパラメータを決定するために現在のピクチャを分析してよい。
【００４１】
アウトオブループモーフィングアナライザ１３０及び合成アナライザ１３２は、適応ピクチャオーガナイザ１０４からピクチャグループ構造データを受信し、複数のモーフィング及び合成パラメータ（ｍｏｐ、ｓｙｐ）、及び量子化されていない、デコードされていない、元のフレームのデータに基づく複数の修正済み参照フレームを形成するためにエンコーダコントローラ１０３と通信する。アウトオブループモーフィング及び合成アナライザ１３０及び１３２からの複数の修正済み参照フレーム及び複数の修正パラメータの形成は、デコーダループ１３５を通じて提供されるものより非常に速くてよく、これは、リアルタイムエンコードに対して特に有利である。しかし、デコーダによるもののように他の位置で補償を実行するための複数の修正済みフレーム及び複数のパラメータの使用は、デコーダで複数のフレームを再構成する場合に正確な補償が繰り返されることができるように、エンコーダのデコードループ側でインループモーフィング及び合成ジェネレータ１２０及び１２１によって実行されるべきである。したがって、アウトオブループアナライザ１３０及び１３２からの結果として生じる複数の修正パラメータは、複数の修正済み参照フレームを形成するために、及び複数の動きベクトルを計算する動き推定部１２２による動き推定のために、インループモーフィング及び合成ジェネレータ１２０及び１２１によって用いられる。したがって、計算された複数のモーフィング及び合成パラメータ（ｍｏｐ及びｓｙｐ）は、量子化／逆量子化され、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられ得る複数のモーフィング済み参照フレームを生成するために（例えば、モーフィング生成モジュール１２０によって）用いられてよい。合成生成モジュール１２１は、複数の合成済みフレーム（動き補償予測が、これらのフレームにおいて高効率動き補償予測のために複数の動きベクトルを決定することによって、より高いゲインをもたらすことができる他のものの中の、複数のＳＲ（スーパーレゾリューション）ピクチャ、複数のＰＩ（予測補間）ピクチャ）のいくつかのタイプを用いる。モーフィング又は合成を実行するいくつかの例に対する詳細は、下で提供される。
【００４２】
動き推定モジュール１２２は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに少なくとも部分的に基づいて、動きベクトルデータを生成してよい。いくつかの例において、動き推定モジュール１２２は、インター予測モジュールと見なされてよい。例えば、動きベクトルデータは、インター予測のために用いられてよい。インター予測が適用される場合、特性及び動きフィルタリング予測モジュール１２３は、説明されたようにローカルデコードループの部分として動き補償を適用してよい。また、特性及び動きフィルタリング予測モジュール１２３は、適応精度（ＡＰ）フィルタリングを含んでよく、フィルタリング及び予測が結び付けられる。複数のフィルタリングパラメータ（ａｐｉ）は、コーディングされ、ビットストリーム１１１によってデコーダに送信されてよい。
【００４３】
イントラ予測は、イントラ方向予測アナライザ及び予測生成モジュール１２４によって実行されてよい。イントラ方向予測アナライザ及び予測生成モジュール１２４は、空間方向性予測を実行するように構成されてよく、複数のデコードされた隣接するパーティションを用いてよい。いくつかの例において、方向の決定及び予測の生成の両方が、イントラ方向予測アナライザ及び予測生成モジュール１２４によって実行されてよい。いくつかの例において、イントラ方向予測アナライザ及び予測生成モジュール１２４は、イントラ予測モジュールと見なされてよい。
【００４４】
図１に示されるように、予測モード及び参照タイプアナライザモジュール１２５は、タイル（又はスーパーフラグメント）の各予測パーティションに対して、上で紹介されたような、「ｓｋｉｐ」、「ａｕｔｏ」、「ｉｎｔｅｒ」、「ｓｐｌｉｔ」、「ｍｕｌｔｉ」、及び「ｉｎｔｒａ」の中から複数の予測モードの選択を可能にさせてよく、それらの全てがＰ及びＦピクチャに（Ｂピクチャが存在する場合にはそれらにも）適用してよい。システムは、Ｉ、Ｐ、及びＦピクチャが利用可能である構成を考慮するが、Ｂピクチャを提供することも可能であり、モーフィング又は合成がＢピクチャに利用可能でないことに留意すべきである。複数の予測モードに加えて、Ｐ及びＦピクチャに対しても同様に、「ｉｎｔｅｒ」又は「ｍｕｌｔｉ」モードに依存して異なり得る複数の参照タイプの選択も可能にさせてよい。予測モード及び参照タイプアナライザモジュール１２５の出力での予測信号は、予測アナライザ及び予測融合フィルタリングモジュール１２６によってフィルタされてよい。予測アナライザ及び予測融合フィルタリングモジュール１２６は、フィルタリングに用いるための複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）を決定してよく、フィルタリングを実行してよい。いくつかの例において、予測信号をフィルタリングすることは、異なる複数のモード（例えば、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、ｓｐｌｉｔ、ｓｋｉｐ、及びａｕｔｏ）を表す異なる複数のタイプの信号を融合してよい。いくつかの例において、適切なフィルタリングがコーディング効率を非常に強化し得るので、複数のイントラ予測信号は、全ての他のタイプの（複数の）インター予測信号と異なってよい。いくつかの例において、複数のフィルタリングパラメータは、デコーダによる使用のためにビットストリーム１１１においてエンコードされてよい。フィルタされた予測信号は、上で説明されたように、前に説明されたコーディングのための予測差分信号（例えば、パーティション予測エラー）を決定し得るディフェレンサ１０６に、第２の入力（例えば、（複数の）予測パーティション）を提供してよい。さらに、同じフィルタされた予測信号は、同様に上で説明されたような加算部１１５に、第２の入力を提供してよい。説明されたように、出力ビットストリーム１１１は、ビデオの表示のために、デコーダによる使用のために効率的にエンコードされたビットストリームを提供してよい。
【００４５】
実施において、エンコーダ１００のいくつかのコンポーネントは、エンコーダ予測サブシステムとして動作してよい。例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムは、マルチ参照フレームストレージ及びフレームセレクタ１１９、インループモーフィングアナライザ及び生成モジュール１２０、インループ合成アナライザ及び生成モジュール１２１、動き推定モジュール１２２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール１２３、さらにアウトオブループモーフィングアナライザ１３０及び合成アナライザ１３２を含んでよい。
【００４６】
下でより詳細に説明されるように、いくつかの実施例において、エンコーダ１００のエンコーダ予測サブシステムは、多数のコンポーネント、及び高効率ビデオコーディングアルゴリズムにおいてこれらのコンポーネントによって生成された組み合わせられた複数の予測を組み込んでよい。例えば、ＮＧＶコーダの実施例案は、下記の複数の特徴のうちの１又は複数を含んでよい。１．ゲイン補償（例えば、あるシーンにおけるゲイン／輝度の変化に対する明確な補償）、２．ブラー補償（例えば、あるシーンにおけるブラー／シャープネスの変化に対する明確な補償）、３．支配的／全体的な動き補償（例えば、あるシーンにおける支配的な動きに対する明確な補償）、４．レジストレーション補償（例えば、あるシーンにおける複数のレジストレーションミスマッチに対する明確な補償）、５．スーパーレゾリューション（例えば、あるシーンにおける解像度精度における変化に対する明確なモデル）、６．プロジェクション（例えば、あるシーンにおける動作軌道の変化に対する明確なモデル）、その類のもの、及び／又はそれらの組み合わせ。
【００４７】
例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、品質アナライザ及び品質復元フィルタリングの出力は、マルチ参照フレームストレージ及びフレームセレクタ１１９に送信されてよい。いくつかの例において、品質アナライザ及び品質復元フィルタリングの出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。エンコーダ１００において、複数の予測動作は、インター及び／又はイントラ予測を含んでよい。図示されるように、インター予測は、モーフィング生成モジュール１２０、合成生成モジュール１２１、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール１２３を含む１又は複数のモジュールによって実行されてよい。
【００４８】
下でより詳細に説明されるように、モーフィング生成モジュール１２０は、参照フレーム又はそれとともにコーディングされるべき複数のフレームに関して、ゲインの変化、支配的な動きの変化、レジストレーションの変化、ブラーの変化に対する複数のパラメータを決定するために、現在のピクチャを分析してよい。決定された複数のモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み参照フレームを生成するために（例えば、モーフィング生成モジュール１２０によって）用いられてよい。そのような生成された複数のモーフィング済み参照フレームは、バッファに格納されてよく、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられてよい。
【００４９】
同様に、合成アナライザ及び生成モジュール１２１は、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ、又はこれらのフレームにおける高効率動き補償予測のための複数の動きベクトルを決定するためのその類のものを生成してよい。そのような生成された複数の合成済み参照フレームは、バッファに格納されてよく、現在のフレームの高効率動き（及び特性）補償予測のための複数の動きベクトルを計算する動き推定モジュール１２２によって用いられてよい。
【００５０】
したがって、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、動き推定モジュール１２２は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに基づいて、動きベクトルデータを生成してよい。いくつかの例において、動き推定モジュール１２２は、インター予測モジュールと見なされてよい。例えば、動きベクトルデータは、インター予測に用いられてよい。インター予測が適用される場合、特性及び動きフィルタリング予測モジュール１２３は、説明されるように、ローカルデコードループの部分として、動き補償を適用してよい。
【００５１】
実施において、ＮＧＶコーダ（例えば、エンコーダ１００及び／又はデコーダ２００）の実施例案は、デコードされた過去及び／又は将来のピクチャ／スライスに関する通常の局所的動き補償に加えて、上記複数のコンポーネントのうちの１又は複数を用いてよい。実施例それ自体は、例えば、ゲイン補償に対して又は任意の他の特性補償参照フレーム生成に対して、特定の解決策を義務付けない。
【００５２】
図１は、ビデオエンコーダ１００の動作に関連付けられる例示的な複数の制御信号を示し、以下の複数の略語は、関連する情報を表してよい。
【表１】
2016514378.tif 000003
【００５３】
デコーダに送信されることが必要になり得る様々な信号及びデータの項目、つまり、ｐｇｓｔ、ｐｔｙｐ、ｐｒｐ、ｐｐｔｎ、ｃｐｔｎ、ｍｏｄｅｓ、ｒｅｆｔｙｐｅ、ｅｔｈｐ、ｘｍｔｙｐ、ｘｍｄｉｒ、ｘｍｍｏｄ、ｉｄｉｒ、ｓｅｇｍｓｋ、ｍｖ、ｑｓ、ｍｏｐ、ｓｙｐ、ｄｄｉ、ｑｒｉ、ａｐｉ、ｆｉｉ、複数の量子化係数、及び他のものは、集合的にエントロピーエンコーダサブシステムと集合的に称される異なる複数のエントロピーコーダを含み得る適応エントロピーエンコーダ１１０によってエントロピーエンコードされてよい。適応エントロピーエンコーダ１１０は、様々なタイプの制御データ／信号、パラメータ、モード及び参照タイプ、動きベクトル、セグメンテーションマスク、並びに変換係数をエンコードするために用いられてよい。それは、適応可変長コーダ（ｖｌｃ）と呼ばれる低複雑性エントロピーコーダの一般分類に基づく。エントロピーコーディングされるべきデータは、都合がいいときに、いくつかのカテゴリ（我々のケースでは７）に分割されてよく、一般的なｖｌｃコーダから開始して、特殊なコーダが各カテゴリに対して開発される。これらの制御信号が、図１におけるエンコーダ１００の特定の例示的な複数の機能モジュールに関連付けられるものとして説明されるが、他の複数の実施例は、エンコーダ３００の複数の機能モジュールの中の複数の制御信号の異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの複数の制御信号の実施例は、示される特定の例示的な複数の制御信号のサブセットのみを扱うこと、追加の複数の制御信号を含んでよく、及び／又は説明されたものとは異なる配置であってよい。
【００５４】
図２は、本開示の少なくともいくつかの実施例に従って配置される、ツーパス又はマルチパスＦピクチャ及びここで結果として生じる複数のピクチャグループを含む複数のコンテンツ適応Ｐ及びＦピクチャを利用する、例示的な次世代ビデオデコーダ２００を示す図である。このＮＧＶデコーダ２００の一般的な動作は、前に説明されたＮＧＶエンコーダ１００におけるローカルデコードループと同様であってよい。ただし、複数のパラメータが現実にビットストリーム１１１又は２０１によってデコーダ２００に送信されるので、デコーダにおける動き補償デコードループは、複数のパラメータを決定するために分析を要求するいずれのコンポーネントも要求しない。デコードされるべきビットストリーム２０１は、複数のヘッダ、複数の制御信号、及びエンコードされたデータをデコードする適応エントロピーエンコーダ（コンテンツ及びコンテキスト適応エントロピーデコーダ）２０２に入力される。例えば、それは、上で列挙されたｐｔｙｐ、ｐｇｓｔ、ｐｒｐ、ｐｐｔｎ、ｃｐｔｎ、ｅｔｈｐ、ｍｏｐ、ｓｙｐ、ｍｏｄ、ｒｅｆｔｙｐ、ｉｄｉｒ、ｓｅｇｍｓｋ、ｑｓ、ｘｍｔｙｐ、ｘｍｄｉｒ、ｘｍｍｏｄ、ｄｄｉ、ｑｒｉ、ａｐｉ、ｆｉｉ、ｍｖ、並びにオーバヘッド、複数の制御信号、及びデコーダの全体に渡る使用のために分配されるデータで構成される複数の量子化変換係数をデコードする。そして、複数の量子化変換係数は、コーディングパーティショニングで用いられたように、アセンブルされたデコードされた複数のピクセル差分の複数の矩形パーティションを生成するために、適応逆量子化モジュール２０３及び適応逆変換（また、適応マルチサイズ矩形ＨＰＨＴ／ＤＣＴ）２０４によって逆量子化され、逆変換される。複数の予測は、デコードされた複数のｑｒｉパラメータを用いる品質復元フィルタリング（又は再構成ＱＲフィルタジェネレータ）２０９による複数の最終再構成フレームを生成する処理が後に続く、デコードされた複数のｄｄｉパラメータを用いるデブロックフィルタ（再構成ＤＤフィルタジェネレータ）２０８においてデブロック及びディザを受ける複数の再構成タイル及びフレームを生成するために、動きパーティショニングのようにさらなるリアセンブリを受ける複数の再構成（再構成された）コーディングパーティションの複数の生成をもたらす複数の差分に加算される。
【００５５】
最終再構成フレームは、マルチ参照フレームストレージ及びフレームセレクタ（デコードピクチャバッファと呼ばれてもよい）２１０に保存される。デコードに関して、特定のピクチャに対する複数の参照は、複数の参照画像としての使用のための、マルチ参照フレームストア及びフレームセレクタ２１０からの適切な複数のフレームを必要とする依存ロジック２２０（進化型ツーパス又はマルチパスＦピクチャ、Ｆピクチャ、階層／チェーンピクチャ構造及び修正マルチ参照予測におけるＰピクチャに対する依存ロジックとも称される）を用いて特定される。そして、（モーフィング済みピクチャジェネレータ及びバッファ２１１における）複数のモーフィング済みピクチャ／ローカルバッファは、複数の参照を用いて、適用されたデコードされた複数のｍｏｐパラメータに依存して生成されてよい。同様に、（合成済みピクチャ生成及びバッファ２１２における）複数の合成済みピクチャ及びローカルバッファは、デコードされた複数のｓｙｐパラメータを、マルチ参照フレームストレージ及びフレームセレクタ２１０（又は、言い換えれば、参照として用いられるべきものであるストレージ又はバッファ２１０における再構成された複数のフレーム）からの複数の参照に適用することによって生成される。依存ロジック２２０は、マルチ参照フレームストレージ２１０に格納された複数のフレームのために、インデックスを保持し、インデックス付けを実行してよい。インデックス付けは、後述のような、複数のマルチ参照フレーム、チェーン予測及び／又は階層（又はピラミッド）フレーム構造、及び／又は他のもののような複数の予測技術のために用いられてよい。複数のモーフィング済みローカルバッファ及び複数の合成済みフレームは、複数のａｐｉパラメータに基づく適応精度（ＡＰ）フィルタリングを用いる動き補償予測のために用いられ、デコードされたｅｔｈｐ信号に依存する１／４又は１／８ピクセル予測のいずれかを保持する。実際には、特性及び動き補償フィルタリング予測部２１３は、ｍｏｄに依存して、「ｉｎｔｅｒ」、「ｍｕｌｔｉ」、「ｓｋｉｐ」、又は「ａｕｔｏ」の複数のパーティションを生成し、イントラ方向予測生成モジュール２１４は、「ｉｎｔｒａ」の複数のパーティションを生成し、予測モードセレクタ２１５は、エンコーダに選択された選択肢に基づいて、正確なモードのパーティションを通過させる。次に、予測をフィルタ及び出力する予測融合フィルタ生成モジュール（又は予測ＦＩフィルタジェネレータ）２１６の選択的な使用が、加算部への第２の入力として、必要に応じて、実行される。
【００５６】
品質フィルタ生成モジュール２０９（又は再構成ＱＲフィルタジェネレータ）の出力における複数の再構成フレームは、ｐｔｙｐ及びｐｇｓｔの複数の制御パラメータに応えて、適応ピクチャリオーガナイザ（又は階層及び／又はチェーンピクチャグループ構造リオーガナイザ）２１７によって、（Ｆピクチャが順序の外にあるように）順序付けられ、さらに、このリオーガナイザの出力は、エンコーダによって送信される複数のｐｒｐパラメータによって制御されるコンテンツポストリストアラ２１８において任意的な処理を受ける。他のものの中のこの処理は、デブロック及びフィルム粒子加算を含んでよい。
【００５７】
より具体的には、図示されるように、デコーダ２００は、入力ビットストリーム２０１を受信してよい。いくつかの例において、入力ビットストリーム２０１は、エンコーダ１００を用いて及び／又はここで説明される複数のエンコード技術を用いてエンコードされてよい。図示されるように、入力ビットストリーム２０１は、適応エントロピーデコーダモジュール２０２によって受信されてよい。適応エントロピーデコーダモジュール２０２は、様々なタイプのエンコードされたデータ（例えば、オーバヘッド、複数の動きベクトル、複数の変換係数等）をデコードしてよい。いくつかの例において、適応エントロピーデコーダ２０２は、可変長デコード技術を用いてよい。いくつかの例において、適応エントロピーデコーダ２０２は、上で説明された適応エントロピーエンコーダモジュール１１０の（複数の）逆演算を実行してよい。
【００５８】
デコードされたデータは、適応逆量子化モジュール２０３に送信されてよい。適応逆量子化モジュール２０３は、複数の変換係数を決定するために、量子化係数を逆スキャンしてデスケーリングするように構成されてよい。そのような適応量子化動作は、例えば、不可逆であってよい。いくつかの例において、適応逆量子化モジュール２０３は、適応量子化モジュール１０９の反対の動作（例えば、実質的に、適応逆量子化モジュール１１２と同じ複数の動作）を実行するように構成されてよい。図示されるように、複数の変換係数（及び、いくつかの例において、パラメータ変換における使用のための変換データ）は、適応逆変換モジュール２０４に送信されてよい。適応逆変換モジュール２０４は、複数のコーディングパーティションに関連付けられる複数の残り又は複数の残りの値又はパーティション予測エラーデータ（又は元のデータ又はウェーブレットデータ）を生成するために、複数の変換係数について逆変換を実行してよい。いくつかの例において、適応逆変換モジュール２０４は、適応変換モジュール１０８の反対の動作（例えば、実質的に、適応逆変換モジュール１１３と同じ複数の動作）を実行するように構成されてよい。いくつかの例において、適応逆変換モジュール２０４は、例えば、デコードされた隣接する複数のパーティションのような、他の前にデコードされたデータに基づいて、逆変換を実行してよい。いくつかの例において、適応逆量子化モジュール２０３及び適応逆変換モジュール２０４は、併せて、デコーダ２００の変換デコーダサブシステムと見なされてよい。
【００５９】
図示されるように、複数の残り又は複数の残りの値又はパーティション予測エラーデータは、コーディングパーティションアセンブラ２０５に送信されてよい。コーディングパーティションアセンブラ２０５は、必要に応じて、複数のコーディングパーティションをデコードされた複数の予測パーティションにアセンブルしてよい（図示されるように、いくつかの例において、デコードされた複数の予測パーティションが適応逆変換モジュール２０４において生成され得るように、コーディングパーティションアセンブラ２０５は、スイッチ２０５ａ及び２０５ｂを用いてスキップされてよい）。予測エラーデータのデコードされた複数の予測パーティション（例えば、予測パーティションの複数の残り）は、複数の再構成予測パーティションを生成するために、加算部２０６において、複数の予測パーティション（例えば、予測ピクセルデータ）に加算されてよい。複数の再構成予測パーティションは、予測パーティションアセンブラ２０７に送信されてよい。予測パーティションアセンブラ２０７は、複数の再構成タイル又は複数のスーパーフラグメントを生成するために、複数の再構成予測パーティションをアセンブルしてよい。いくつかの例において、コーディングパーティションアセンブラモジュール２０５及び予測パーティションアセンブラモジュール２０７は、併せて、デコーダ２００のアンパーティショナサブシステムと見なされてよい。
【００６０】
複数の再構成タイル又は複数のスーパーフラグメントは、デブロックフィルタリングモジュール２０８に送信されてよい。デブロックフィルタリングモジュール２０８は、複数の再構成タイル又は複数のスーパーフラグメント（又は複数のタイル又は複数のスーパーフラグメントの複数の予測パーティション）をデブロック又はディザリングしてよい。生成された複数のデブロック及びディザフィルタパラメータは、例えば、入力ビットストリーム２０１から決定されてよい。デブロックフィルタリングモジュール２０８の出力は、品質復元フィルタリングモジュール２０９に送信されてよい。品質復元フィルタリングモジュール２０９は、例えば、入力ビットストリーム２０１から決定され得る複数のＱＲパラメータに基づいて、品質フィルタリングを適用してよい。図２に示されるように、品質復元フィルタリングモジュール２０９の出力は、（マルチ参照制御装置と称されてよく、又はデコードピクチャバッファを含んでよい）マルチ参照フレームストレージ及びフレームセレクタ２１０に送信されてよい。いくつかの例において、品質復元フィルタリングモジュール２０９の出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。いくつかの例において、デブロックフィルタリングモジュール２０８及び品質復元フィルタリングモジュール２０９は、併せて、デコーダ２００のフィルタリングサブシステムと見なされてよい。
【００６１】
説明されたように、複数の予測動作に起因する補償は、インター及び／又はイントラ予測補償を含んでよい。図示されるように、インター予測補償は、モーフィング生成モジュール２１１、合成生成モジュール２１２、並びに特性及び動き補償フィルタリング予測モジュール２１３を含む１又は複数のモジュールによって実行されてよい。モーフィング生成モジュール２１１は、複数のモーフィング済み参照フレームを生成するために、複数の逆量子化モーフィングパラメータ（例えば、入力ビットストリーム２０１から決定される）を用いてよい。合成生成モジュール２１２は、入力ビットストリーム２０１から決定された複数のパラメータに基づいて、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ又はその類のものを生成してよい。インター予測が適用される場合、特性及び動き補償フィルタリング予測モジュール２１３は、入力ビットストリーム２０１における、受信された複数のフレーム及び動きベクトルデータ又はその類のものに基づく動き補償を適用してよい。
【００６２】
イントラ予測補償は、イントラ方向予測生成モジュール２１４によって実行されてよい。イントラ方向予測生成モジュール２１４は、空間方向性予測を実行するように構成されてよく、入力ビットストリーム２０１におけるイントラ予測データに従ってデコードされた隣接する複数のパーティションを用いてよい。
【００６３】
図２に示されるように、予測モードセレクタモジュール２１５は、タイルの各予測パーティションに対して、「ｓｋｉｐ」、「ａｕｔｏ」、「ｉｎｔｅｒ」、「ｍｕｌｔｉ」、及び「ｉｎｔｒａ」の中から予測モード選択を決定してよく、これらの全ては、入力ビットストリーム２０１におけるモード選択データに基づいて、Ｐ及びＦピクチャに適用してよい。複数の予測モードに加えて、それは、Ｐ及びＦピクチャに対して、「ｉｎｔｅｒ」又は「ｍｕｌｔｉ」モードに依存して異なり得る複数の参照タイプの選択も可能にさせる。予測モードセレクタモジュール２１５の出力における予測信号は、予測融合フィルタリングモジュール２１６によってフィルタされてよい。予測融合フィルタリングモジュール２１６は、入力ビットストリーム２０１によって決定された複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）に基づいて、フィルタリングを実行してよい。いくつかの例において、予測信号をフィルタリングすることは、異なるモード（例えば、ｉｎｔｒａ、ｉｎｔｅｒ、ｍｕｌｔｉ、ｓｋｉｐ、及びａｕｔｏ）を表す異なるタイプの信号を融合してよい。いくつかの例において、適切なフィルタリングがコーディング効率を非常に強化するように、複数のイントラ予測信号は、全ての他のタイプの（複数の）インター予測信号と異なってよい。フィルタされた予測信号は、上で説明されたように、第２の入力（例えば、（複数の）予測パーティション）をディフェレンサ２０６に提供してよい。
【００６４】
説明されるように、品質復元フィルタリングモジュール２０９の出力は、最終再構成フレームであってよい。複数の最終再構成フレームは、適応ピクチャリオーガナイザ２１７に送信されてよく、これは、必要に応じて、入力ビットストリーム２０１における複数の順序付けパラメータに基づいて、複数のフレームを順序付け又は再編成してよい。順序付けされた複数のフレームは、コンテンツポストリストアラモジュール２１８に送信されてよい。コンテンツポストリストアラモジュール２１８は、デコードされたビデオの知覚品質の改善をさらに実行するように構成される任意的なモジュールであってよい。改善処理は、入力ビットストリーム２０１における複数の品質改善パラメータに応えて実行されてよく、又はそれは、スタンドアロン動作として実行されてよい。いくつかの例において、コンテンツポストリストアラモジュール２１８は、（例えば、デブロックフィルタリングモジュール２０８に関して説明される複数のデブロック動作の後にでも、）例えば、フィルム粒子ノイズ推定又は残りのブロッキネス低減のような品質を改善するために、複数のパラメータを適用する。図示されるように、デコーダ２００は、ディスプレイビデオ２１９を提供してよく、これは、ディスプレイデバイス（不図示）を用いたディスプレイのために構成されてよい。
【００６５】
実施において、デコーダ２００のいくつかのコンポーネントは、デコーダ予測サブシステムとして動作してよい。例えば、デコーダ２００のそのようなデコーダ予測サブシステムは、マルチ参照フレームストレージ及びフレームセレクタ２１０、マルチ参照フレームストレージ及びフレームセレクタ２１０における複数のフレームをインデックス付けする依存ロジック２２０、モーフィングアナライザ及び生成モジュール２１１、合成アナライザ及び生成モジュール２１２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール２１３を含んでよい。
【００６６】
下でより詳細に説明されるように、いくつかの実施例において、デコーダ２００のそのようなデコーダ予測サブシステムは、多数のコンポーネント、及び高効率ビデオコーディングアルゴリズムにおけるこれらのコンポーネントによって生成される組み合わせられた複数の予測を組み込んでよい。例えば、ＮＧＶコーダの実施例案は、下記の複数の特徴のうちの１又は複数を含んでよい。１．ゲイン補償（例えば、あるシーンにおけるゲイン／輝度の変化に対する明確な補償）、２．ブラー補償（例えば、あるシーンにおけるブラー／シャープネスの変化に対する明確な補償）、３．支配的／全体的な動き補償（例えば、あるシーンにおける支配的な動きに対する明確な補償）、４．レジストレーション補償（例えば、あるシーンにおける複数のレジストレーションミスマッチに対する明確な補償）、５．スーパーレゾリューション（例えば、あるシーンにおける解像度精度における変化に対する明確なモデル）、６．プロジェクション（例えば、あるシーンにおける動作軌道の変化に対する明確なモデル）、その類のもの、及び／又はそれらの組み合わせ。
【００６７】
例えば、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、品質復元フィルタリングモジュールの出力は、マルチ参照フレームストレージ及びフレームセレクタ２１０に送信されてよい。いくつかの例において、品質復元フィルタリングモジュールの出力は、他の複数のフレームをコーディングするための予測に用いられ得る最終再構成フレームであってよい（例えば、最終再構成フレームは、参照フレーム又はその類のものであってよい）。説明されるように、複数の予測動作に起因する補償は、インター及び／又はイントラ予測補償を含んでよい。図示されるように、インター予測補償は、モーフィングアナライザ及び生成モジュール２１１、合成アナライザ及び生成モジュール２１２、及び／又は特性及び動き補償精度適応フィルタリング予測モジュール２１３を含む１又は複数のモジュールによって実行されてよい。
【００６８】
下でより詳細に説明されるように、モーフィングアナライザ及び生成モジュール２１１は、複数のモーフィング済み参照フレームを生成するために、（例えば、入力ビットストリームから決定される）複数の逆量子化モーフィングパラメータを用いてよい。そのような生成された複数のモーフィング済み参照フレームは、バッファに格納されてよく、特性及び動き補償精度適応フィルタリング予測モジュール２１３によって用いられてよい。
【００６９】
同様に、合成アナライザ及び生成モジュール２１２は、入力ビットストリーム２０１から決定された複数のパラメータに基づいて、複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャ又はその類のもののような、１又は複数のタイプの合成済み予測参照画像を生成するように構成されてよい。そのような生成された複数の合成済み参照フレームは、バッファに格納されてよく、動き補償フィルタリング予測モジュール２１３によって用いられてよい。
【００７０】
したがって、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、インター予測が適用される場合には、特性及び動き補償フィルタリング予測モジュール２１３は、現在のフレームとともに、（複数の）モーフィング済み参照フレーム及び／又は複数のスーパーレゾリューション（ＳＲ）ピクチャ及び複数の予測補間（ＰＩ）ピクチャに基づいて、動き補償を適用してよい。
【００７１】
実施において、ＮＧＶコーダ（例えば、エンコーダ１００及び／又はデコーダ２００）の実施例案は、デコードされた過去及び／又は将来のピクチャ／スライスに関する通常の局所的動き補償に加えて、上記の複数のコンポーネントのうちの１又は複数を用いてよい。実施例それ自体は、例えば、ゲイン補償に対して、又は任意の他の特性補償参照フレーム生成に対して、特定の解決策を義務付けない。
【００７２】
図２は、ビデオデコーダ２００の動作に関連付けられる例示的な複数の制御信号を示し、示される略語は、図１に関して上で説明されたものと同様の情報を表してよい。これらの制御信号は、デコーダ２００の特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、他の複数の実施例は、エンコーダ１００の複数の機能モジュールの中の複数の制御信号の異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの複数の制御信号の実施例は、示される特定の例示的な複数の制御信号のサブセットのみを扱うこと、追加の複数の制御信号を含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
【００７３】
図１及び２は、特定のエンコード及びデコードモジュールを示すが、図示されていない様々な他のコーディングモジュール又はコンポーネントが、本開示に従って利用されてもよい。さらに、本開示は、図１及び２に示される特定の複数のコンポーネントに、及び／又は様々なコンポーネントが配置される方法に限定されない。ここで説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア及び／又はそれらの任意の組み合わせで実装されてよい。例えば、エンコーダ１００及び／又はデコーダ２００の様々なコンポーネントは、少なくとも部分的に、例えば、携帯電話のようなコンピューティングシステムにおいて見られ得るように、コンピューティングシステムオンチップ（ＳｏＣ）のハードウェアによって提供されてよい。
【００７４】
さらに、エンコーダ１００は、例えば、ビデオコンテンツサーバシステムを含むコンテンツプロバイダシステムに関連付けられ、及び／又はによって提供されてよく、出力ビットストリーム１１１は、図１及び２に示されていない複数のトランシーバ、アンテナ、複数のネットワークシステム、及びその類のもののような様々な通信コンポーネント及び／又はシステムによって、例えば、デコーダ２００のような複数のデコーダに送信又は伝達されてよいことが認識されてよい。デコーダ２００は、エンコーダ１００から遠隔であり、図１及び２に示されていない複数のトランシーバ、アンテナ、複数のネットワークシステム、及びその類のもののような様々な通信コンポーネント及び／又はシステムを介して入力ビットストリーム２０１を受信するコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンバーチブルラップトップ、携帯電話、又はその類のもの）のようなクライアントシステムに関連付けられてよいことも認識されてよい。したがって、様々な実施例において、エンコーダ１００及びデコーダサブシステム２００は、併せて又は互いに独立して実装されてよい。
【００７５】
図３は、本開示の少なくともいくつかの実施例に従って配置される、次世代ビデオエンコーダ１００に関連付けられる例示的なサブシステムを示す図である。図示されるように、エンコーダ１００は、構造サブシステム３１０、パーティショニングサブシステム３２０、予測サブシステム３３０、変換サブシステム３４０、フィルタリングサブシステム３５０、及び／又はエントロピーコーディングサブシステム３６０を含んでよい。
【００７６】
図３（ａ）は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオエンコーダ３００ａを示す図である。図３（ａ）は、図１に示されるものと同様のエンコーダを示し、同様の複数の要素は、簡潔さの目的のために繰り返されない。図３（ａ）に示されるように、エンコーダ３００ａは、プレアナライザサブシステム３１０ａ、パーティショナサブシステム３２０ａ、予測エンコードサブシステム３３０ａ、変換エンコーダサブシステム３４０ａ、フィルタリングエンコードサブシステム３５０ａ、エントロピーエンコーダサブシステム３６０ａ、変換デコーダサブシステム３７０ａ、及び／又はアンパーティショナサブシステム３８０ａを含んでよい。プレアナライザサブシステム３１０ａは、コンテンツプレアナライザモジュール１０２及び／又は適応ピクチャオーガナイザモジュール１０４を含んでよい。パーティショナサブシステム３２０ａは、予測パーティション生成モジュール１０５及び／又はコーディングパーティションジェネレータ１０７を含んでよい。予測エンコードサブシステム３３０ａは、動き推定モジュール１２２、特性及び動き補償フィルタリング予測モジュール１２３、及び／又はイントラ方向予測アナライザ及び予測生成モジュール１２４を含んでよい。変換エンコーダサブシステム３４０ａは、適応変換モジュール１０８及び／又は適応量子化モジュール１０９を含んでよい。フィルタリングエンコードサブシステム３５０ａは、ブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７、品質アナライザ及び品質復元フィルタリングモジュール１１８、動き推定モジュール１２２、特性及び動き補償フィルタリング予測モジュール１２３、及び／又は予測アナライザ及び予測融合フィルタリングモジュール１２６を含んでよい。エントロピーコーディングサブシステム３６０ａは、適応エントロピーエンコーダモジュール１１０を含んでよい。変換デコーダサブシステム３７０ａは、適応逆量子化モジュール１１２及び／又は適応逆変換モジュール１１３を含んでよい。アンパーティショナサブシステム３８０ａは、コーディングパーティションアセンブラ１１４及び／又は予測パーティションアセンブラ１１６を含んでよい。
【００７７】
エンコーダ３００ａのパーティショナサブシステム３２０ａは、予測のための分析及びパーティショニングを実行し得る予測パーティション生成モジュール１０５、及びコーディングのための分析及びパーティショニングを実行し得るコーディングパーティション生成モジュール１０７の２つのパーティショニングサブシステムを含んでよい。他のパーティショニング方法は、複数のピクチャを複数の領域又は複数のスライスにセグメント化し得、このパーティショナの部分であると任意に見なされてもよい適応ピクチャオーガナイザ１０４を含んでよい。
【００７８】
エンコーダ３００ａの予測エンコーダサブシステム３３０ａは、「ｉｎｔｅｒ」信号の分析及び予測を実行し得る動き推定部１２２、並びに特性及び動き補償フィルタリング予測部１２３、並びに「ｉｎｔｒａ」信号の分析及び予測を実行し得るイントラ方向予測アナライザ及び予測生成モジュール１２４を含んでよい。動き推定部１２２並びに特性及び動き補償フィルタリング予測部１２３は、（ゲイン、全体的な動き、レジストレーションのような）複数の差分の他の複数のソースに対する第１の補償によって予測可能性を増加させてよく、現実の動き補償が後に続く。それらは、より良い複数の予測を許容し得る複数の合成済みフレーム（スーパーレゾリューション及びプロジェクション）を生成するためのデータモデリングの使用をさせてもよく、そのような複数のフレームにおける現実の動き補償の使用が後に続く。
【００７９】
エンコーダ３００ａの変換エンコーダサブシステム３４０ａは、変換のタイプ及びサイズを選択するために分析を実行してよく、２つの主要なタイプのコンポーネントを含んでよい。第１のタイプのコンポーネントは、小型から中型のサイズの複数のブロックの局所的最適変換コーディングを許容するために、パラメータ変換を用いることを許容してよく、しかし、そのようなコーディングは、いくつかのオーバヘッドを必要とし得る。第２のタイプのコンポーネントは、ＤＣＴのような一般的／固定の変換、又は複数のパラメータ変換を含む小さい数の変換の選択からのピクチャベースの変換を用いる全体的に安定した低いオーバヘッドのコーディングを許容してよい。局所的適応変換コーディングに関して、ＰＨＴ（Parametric Haar Transform：パラメータハール変換）が用いられてよい。複数の変換は、変換されたデータがルマ又はクロマ、インター又はイントラである場合、及び用いられた変換がＰＨＴ又はＤＣＴである場合のように、多数の要因に依存し得る現実の複数のサイズを有する、４×４と６４×６４との間の複数の矩形のサイズの複数の２Ｄブロックに対して実行されてよい。結果として生じる複数の変換係数は、量子化され、スキャンされ、エントロピーコーディングされてよい。
【００８０】
エンコーダ３００ａのエントロピーエンコーダサブシステム３６０ａは、特殊なタイプのデータ（様々なタイプのオーバヘッド、複数の動きベクトル、又は複数の変換係数）を効率的にコーディングする目標をそれぞれが有する多数の高効率であるが低い複雑性のコンポーネントを含んでよい。このサブシステムの複数のコンポーネントは、低い複雑性の複数の可変長コーディング技術の一般分類に属してよいが、高効率コーディングに対して、各コンポーネントは、最高の効率にカスタム最適化されてよい。例えば、カスタムソリューションは、「コード化／非コード化」データのコーディングに対して、もう一つは、「モード及び参照タイプ」データに対して、さらにもう一つは、「動きベクトル」データに対して、さらに他の一つは、「予測及びコーディングパーティション」データに対して設計されてよい。最終的に、エントロピーコーディングされるべきデータの非常に大きい部分は、「変換係数」データであるので、特定の複数のブロックサイズの高効率な処理に対する複数のアプローチが、複数のテーブルの間で適応し得るアルゴリズムと同様に用いられてよい。
【００８１】
エンコーダ３００ａのフィルタリングエンコーダサブシステム３５０ａは、複数のパラメータの分析、これらのパラメータに基づく複数の再構成ピクチャのマルチフィルタリングを実行してよく、いくつかのサブシステムを含んでよい。例えば、第１のサブシステムであるブロッキネスアナライザ及びデブロックフィルタリングモジュール１１７は、任意の複数の潜在的ブロックコーディングアーチファクトを減少又はマスクするために、デブロック及びディザリングしてよい。第２の例示的なサブシステムである品質アナライザ及び品質復元フィルタリングモジュール１１８は、任意のビデオコーディングにおける量子化動作に起因する複数のアーチファクトを減少するために、一般的な品質復元を実行してよい。動き推定部１２２並びに特性及び動き補償フィルタリング予測モジュール１２３を含み得る第３の例示的なサブシステムは、コンテンツの動き特性（ぼけの動き速度／程度）に適応するフィルタを用いることによって、動き補償からの複数の結果を改善してよい。第４の例示的なサブシステムである予測融合アナライザ及びフィルタ生成モジュール１２６は、（予測、多くの場合イントラ予測における複数の偽のアーチファクトを減少し得る）予測信号の適応可能フィルタリングを許容してよく、それによって、コーディングされる必要がある予測エラーを減少する。
【００８２】
エンコーダ３００ａのエンコードコントローラモジュール１０３は、所与の複数のリソース及び所望のエンコード速度の制約の下で、全体のビデオ品質に対して責任があってよい。例えば、いかなる簡素化も用いないフルＲＤＯ（Rate Distortion Optimization：レート歪み最適化）ベースのコーディングにおいて、ソフトウェアエンコードのためのエンコード速度は、単純に、複数のコンピューティングリソース（プロセッサの速度、プロセッサの数、ハイパースレッディング、ＤＤＲ３メモリ等）の利用可能性の結果であってよい。そのような場合において、エンコードコントローラモジュール１０３は、複数の予測パーティション及び複数のコーディングパーティションのありとあらゆる組み合わせが入力されてよく、現実のエンコードによって、ビットレートは、各場合に対して再構成されたエラーとともに計算されてよく、ラグランジュ最適化方程式に基づいて、予測及び複数のコーディングパーティションの最良のセットが、コーディングされている各フレームの各タイルに対して送信されてよい。フルＲＤＯベースのモードは、最良の圧縮効率をもたらし得、最も遅いエンコードモードにもなり得る。コンテンツプレアナライザモジュール１０２からの複数のコンテンツ分析パラメータを用いること、及びＲＤＯの単純化する（全ての可能がある場合をテストせず）、又は特定のパーセンテージのブロックにフルＲＤＯをパスさせるためだけにそれらを用いることによって、品質対速度のトレードオフが、より早いエンコードを許容させられ得る。これまで我々は可変ビットレート（ＶＢＲ）ベースのエンコーダの動作を説明してきた。エンコードコントローラモジュール１０３は、一定ビットレート（ＣＢＲ）制御コーディングの場合において呼び出されることができるレートコントローラを含んでもよい。
【００８３】
最後に、エンコーダ３００ａのプレアナライザサブシステム３１０ａは、ビデオコーディング効率及び速度性能を改善するために役に立つ様々なタイプのパラメータを計算するために、コンテンツの分析を実行してよい。例えば、それは、水平及び鉛直勾配情報（Ｒｓ、Ｃｓ）、分散、ピクチャ毎の空間複雑性、ピクチャ毎の時間複雑性、シーンチェンジ検出、動き範囲推定、ゲイン検出、予測距離推定、オブジェクト数推定、領域境界検出、空間複雑性マップ計算、焦点推定、フィルム粒子推定等を計算してよい。プレアナライザサブシステム３１０ａによって生成された複数のパラメータは、エンコーダによって使用され又は量子化され、デコーダ２００に通信されてよい。
【００８４】
図３（ａ）において、サブシステム３１０ａから３８０ａが、エンコーダ３００ａの特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、エンコーダ３００ａの他の複数の実施例は、ここで、サブシステム３１０ａから３８０ａの中のエンコーダ３００ａの複数の機能モジュールの異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの例示的なサブシステム３１０ａから３８０ａの複数の実施例は、示されるエンコーダ３００ａの特定の例示的な複数の機能モジュールのサブセットのみを扱うこと、追加の複数の機能モジュールを含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
【００８５】
図３（ｂ）は、本開示の少なくともいくつかの実施例に従って配置される、例示的な次世代ビデオデコーダ３００ｂを示す図である。図３（ｂ）は、図２に示されるものと類似のデコーダを示し、同様の複数の要素は、簡潔さの目的のために繰り返されない。図３（ｂ）に示されるように、デコーダ３００ｂは、予測デコーダサブシステム３３０ｂ、フィルタリングデコーダサブシステム３５０ｂ、エントロピーデコーダサブシステム３６０ｂ、変換デコーダサブシステム３７０ｂ、アンパーティショナ２サブシステム３８０ｂ、アンパーティショナ１サブシステム３５１ｂ、フィルタリングデコーダサブシステム３５０ｂ、及び／又はポストリストアラサブシステム３９０ｂを含んでよい。予測デコーダサブシステム３３０ｂは、特性及び動き補償フィルタリング予測モジュール２１３及び／又はイントラ方向予測生成モジュール２１４を含んでよい。フィルタリングデコーダサブシステム３５０ｂは、デブロックフィルタリングモジュール２０８、品質復元フィルタリングモジュール２０９、特性及び動き補償フィルタリング予測モジュール２１３、及び／又は予測融合フィルタリングモジュール２１６を含んでよい。エントロピーデコーダサブシステム３６０ｂは、適応エントロピーデコーダモジュール２０２を含んでよい。変換デコーダサブシステム３７０ｂは、適応逆量子化モジュール２０３及び／又は適応逆変換モジュール２０４を含んでよい。アンパーティショナ２サブシステム３８０ｂは、コーディングパーティションアセンブラ２０５を含んでよい。アンパーティショナ１サブシステム３５１ｂは、予測パーティションアセンブラ２０７を含んでよい。ポストリストアラサブシステム７９０は、コンテンツポストリストアラモジュール２１８及び／又は適応ピクチャリオーガナイザ２１７を含んでよい。
【００８６】
デコーダ３００ｂのエントロピーデコードサブシステム３６０ｂは、エンコーダ３００ａのエントロピーエンコーダサブシステム３６０ａの逆演算を実行してよく、すなわち、それは、エントロピーエンコーダサブシステム３６０ａによってエンコードされた様々なデータ（オーバヘッド、複数の動きベクトル、複数の変換係数のタイプ）を、可変長デコードと漠然と称される類の複数の技術を用いてデコードしてよい。特に、デコードされるべき様々なタイプのデータは、「コード化／非コード化」データ、「モード及び参照タイプ」データ、「動きベクトル」データ、予測及びコーディングパーティション」データ、及び「変換係数」データを含んでよい。
【００８７】
デコーダ３００ｂの変換デコーダサブシステム３７０ｂは、エンコーダ３００ａの変換エンコーダサブシステム３４０ａのものの逆演算を実行してよい。変換デコーダサブシステム３７０ｂは、２つのタイプのコンポーネントを含んでよい。例示的なコンポーネントの第１のタイプは、小型から中型のブロックサイズへのパラメータ逆ＰＨＴ変換の使用をサポートしてよく、例示的なコンポーネントの他のタイプは、全てのブロックサイズに対する逆ＤＣＴ変換をサポートしてよい。ブロックに対して用いられるＰＨＴ変換は、隣接する複数のブロックのデコードされたデータの分析に依存してよい。出力ビットストリーム１１１及び／又は入力ビットストリーム２０１は、ＰＨＴ変換に対するパーティション／ブロックサイズ、及びＰＨＴが用いられる逆変換されるべき２Ｄブロックの方向（他の方向がＤＣＴを用いる）についての情報を伝搬する。ＤＣＴによって単純にコーディングされる複数のブロックに対して、パーティション／ブロックサイズの情報は、出力ビットストリーム１１１及び／又は入力ビットストリーム２０１から取り出されて、適切なサイズの逆ＤＣＴを適用するために用いられてもよい。
【００８８】
デコーダ３００ｂアンパーティショナサブシステム３８０ｂは、エンコーダ３００ａのパーティショナサブシステム３２０ａのものの逆演算を実行してよく、２つのアンパーティショニングサブシステム、コーディングされたデータのアンパーティショニングを実行し得るコーディングパーティションアセンブラモジュール２０５、及び予測に対してアンパーティショニングを実行し得る予測パーティションアセンブラモジュール２０７を含んでよい。さらに、任意的な適応ピクチャオーガナイザモジュール１０４が、領域のセグメンテーション又は複数のスライスに対してエンコーダ３００ａで用いられる場合、適応ピクチャリオーガナイザモジュール２１７が、デコーダで必要となり得る。
【００８９】
デコーダ３００ｂの予測デコーダサブシステム３３０ｂは、「ｉｎｔｅｒ」信号の予測を実行し得る特性及び動き補償フィルタリング予測モジュール２１３、及び「ｉｎｔｒａ」信号の予測を実行し得るイントラ方向予測生成モジュール２１４を含んでよい。特性及び動き補償フィルタリング予測モジュール２１３は、（ゲイン、全体的な動き、レジストレーションのような）複数の差分の他の複数のソース、及び複数の合成済みフレーム（スーパーレゾリューション、及びプロジェクション）の作成に対する第１の補償によって予測可能性を増加させてよく、現実の動き補償が後に続く。
【００９０】
デコーダ３００ｂのフィルタリングデコーダサブシステム３５０ｂは、エンコーダ３００ａによって送信された複数のパラメータに基づいて、複数の再構成ピクチャのマルチフィルタリングを実行してよく、いくつかのサブシステムを含んでよい。第１の例示的なサブシステムであるデブロックフィルタリングモジュール２０８は、任意の複数の潜在的ブロックコーディングアーチファクトを減少又はマスクするために、デブロック及びディザリングしてよい。第２の例示的なサブシステムである品質復元フィルタリングモジュール２０９は、任意のビデオコーディングにおける量子化動作に起因する複数のアーチファクトを減少するために、一般的な品質復元を実行してよい。第３の例示的なサブシステムである特性及び動き補償フィルタリング予測モジュール２１３は、コンテンツの動き特性（ぼけの動き速度／程度）に適応し得るフィルタを用いることによって、動き補償からの複数の結果を改善してよい。第４の例示的なサブシステムである予測融合フィルタリングモジュール２１６は、（予測、多くの場合イントラ予測における複数の偽のアーチファクトを減少し得る）予測信号の適応可能フィルタリングを許容してよく、それによって、コーディングされる必要がある予測エラーを減少する。
【００９１】
デコーダ３００ｂのポストリストアラサブシステム３９０ｂは、デコードされたビデオの知覚品質の改善をさらに実行し得る任意的なブロックである。この処理は、エンコーダ１００によって送信された複数の品質改善パラメータに応えてなされることができ、又はそれは、ポストリストアラサブシステム３９０ｂでなされた独立した決定であり得る。エンコーダ１００で計算される特定の複数のパラメータの複数の用語に関して、ポストリストアラサブシステム３９０ｂにおいて品質を改善するために用いられることができるものは、（デブロックの後でさえ）エンコーダ１００でのフィルム粒子ノイズ及び残りのブロッキネスの推定であり得る。フィルム粒子ノイズに関して、複数のパラメータが計算され、出力ビットストリーム１１１及び／又は入力ビットストリーム２０１を介してデコーダ２００に送信されることができる場合、その後、これらのパラメータは、フィルム粒子ノイズを合成するために用いられ得る。同様に、エンコーダ１００での任意の残りのブロッキングアーチファクトに関して、それらが測定され、複数のパラメータが出力ビットストリーム１１１及び／又はビットストリーム２０１を介して送信される場合、ポストリストアラサブシステム３９０ｂは、これらのパラメータをデコードしてよく、表示の前に追加のデブロックを選択的に実行するためにそれらを用いてよい。加えて、エンコーダ１００は、ポストリストアラサブシステム３９０ｂにおいて品質復元に役立ち得るシーンチェンジ空間複雑性、時間複雑性、動き範囲、及び予測距離情報にアクセスしてもよい。
【００９２】
図３（ｂ）において、サブシステム３３０ｂから３９０ｂが、デコーダ３００ｂの特定の例示的な複数の機能モジュールに関連付けられるものとして示されるが、デコーダ３００ｂの他の複数の実施例は、ここで、サブシステム３３０ｂから３９０ｂの中のデコーダ３００ｂの複数の機能モジュールの異なる分配を含んでよい。本開示は、この点で限定されず、様々な例において、ここでの例示的なサブシステム３３０ｂから３９０ｂの複数の実施例は、示されるデコーダ３００ｂの特定の例示的な複数の機能モジュールのサブセットのみを扱うこと、追加の複数の機能モジュールを含んでよく、及び／又は説明されたものとは異なる配置であってもよい。
【００９３】
導入として図４Ａを参照すると、Ｆピクチャのツーパス又はマルチパスの進化型の複数の特徴は、背景及び前景のようなコンテンツ関連の複数のセグメント、又は後述のような他の複数の分割を定義すること、及び現在のＦピクチャを再構成するために複数のセグメントを用いることを含む。この特徴は、Ｂピクチャに適用されることもできる。
【００９４】
ツーパス又はマルチパスコーディングを用いてＦピクチャ又はＢピクチャをコーディングするためのコンピュータ実装方法のための一例の処理４００が、本開示の少なくともいくつかの実施例に従って配置される。処理４００は、動作４０２、４０４、及び／又は４０６のうちの１又は複数によって示されるような１又は複数の動作、機能、又は作用を含んでよい。処理４００は、次世代ビデオコーディング処理の少なくとも一部を形成してよい。非限定的な例として、処理４００は、図１のエンコーダシステム１００、図２のデコーダシステム２００、及び／又は図１−３、７−８、１０−１１、１６−１７、及び／又は１９―２３のものを含む他の複数のコーダシステムのいずれかによってここで扱われるような次世代ビデオエンコード処理の少なくとも一部を形成してよい。
【００９５】
処理４００は、「複数のフレームのシーケンスのうちの少なくとも１つのピクチャを前景又は背景の領域にセグメント化すること」４０２を備えてよい。これは、各Ｆピクチャ（及び／又はＢピクチャ）、又は例えば、強化されたコーディングが所望される、選択されたＦ又はＢピクチャのみに対して実行されてよい。これは、例をいくつか挙げれば、閾値化法、クラスタ化法、圧縮ベース法、ヒストグラムベース法、エッジ検出法、領域成長法、スプリットアンドマージ法、偏微分方程式ベース法、グラフパーティショニング法、流域変形法、モデルベースセグメンテーション法、及びマルチスケールセグメンテーション法のような多くの異なる方法によって実行されてよい。少数の他の例が下で説明される。
【００９６】
処理４００は、「前景形状セグメンテーションマスク又は前景／後景境界マップをコーディングすること」４０４を備えてもよい。第２のコンポーネント、「セグメンテーションマスク」又は「境界マップ」の高効率なコーディングされた表現について、これは、デコーダが、デコーダに利用可能な同じ「マスク」又は「マップ」データへのアクセスを有することができるように（通常、複雑性に起因して実行可能でないデコーダでセグメンテーションを実行することなく）、エンコーダによって実行される。さらに、ラン／レングスｖｌｃコーディング、ファックス適合予測バイナリ画像コーディング（すなわちＪＢＩＧ規格）、（ＭＰＥＧ−４の）コンテキスト適応算術コーディング、バイナリマスクのブロック指向不可逆コーディング、及びセグメント化された境界のクロマキーベースの陰的表現、又は２つの異なる前景及び背景の領域を異なるように処理する量子化による単純な陰的表現のような他のもののような利用可能な多数の解決策がある。特定の解決策の選択は、コーディングオーバーヘッド、複雑性、及び他の複数の要因に依存してよい。
【００９７】
処理４００は、「圧縮効率を改善するために形状セグメンテーションマスク又は境界マップを使用すること」４０６を備えてもよい。これは、ビデオの全体のコーディング効率を改善するために、（ＨＥＶＣの）Ｂピクチャ又は（ＮＧＶ）のＦピクチャと共に、セグメンテーションマスク又は境界マップを用いることを含んでよく、下でより詳細に説明される。スクリーン上の異なる複数のセグメントを定義することで、コーディングは、ユーザの注意を引く可能性がより高いセグメントについてのより高い精度のために、より大きいコーディングパワーを集中することによってのように、複数のセグメントを異なるようにコーディングすることによって、より高効率になされ得る。したがって、一例によれば、背景は、前景より低い品質のコーディングを受け入れてよく、それによって、画像の品質を維持又は増加さえするように見える。
【００９８】
図４Ｂを参照すると、ビデオコーディングするコンピュータ実装方法のための一例の処理４５０が、本開示の少なくともいくつかの実施例に従って配置される。処理４５０は、Ｆピクチャ又はＢピクチャのコーディングのためのセグメンテーションマスク又は境界マップを用いる１つの例示的な方法を提供してよい。方法４５０は、動作４５２、４５４、４５６、及び／又は４５８のうちの１又は複数によって示されるような１又は複数の動作、機能、又は作用を含んでよい。処理４５０は、次世代ビデオコーディング処理の少なくとも一部を形成してよい。非限定的な例として、処理４５０は、図１のエンコーダシステム１００、図２のデコーダシステム２００、及び／又は図１−３、７−８、１０−１１、１６−１７、及び／又は１９―２３のものを含む他の複数のコーダシステムのいずれかによって扱われるような次世代ビデオエンコード処理の少なくとも一部を形成してよい。
【００９９】
処理４５０は、動作「入力ビデオの順序で複数のフレームを受信すること」４５２を含んでよい。この順序は、概して、現在の、過去の（又は前の）、将来の（又は次の）複数のフレーム、複数のピクチャ、又は複数の画像を検討する場合に参照される。そして、処理４５０は、動作「第１のパスにおいて現在のフレームの第１のセグメントをコーディングすること、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢が提供され、現在、過去、及び将来は、入力ビデオの順序に関連し、機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する」４５４を含んでよい。ここで説明されるように、一例によれば、コンテンツは、フレーム又はピクチャの背景又は前景であってよい。代替的に又はさらに、第１のセグメントは、より低い又は通常の品質でということを除き、フレーム全体を含むフレームの特定の量のコーディングであってよく、そして、第２のセグメントは、通常の品質（第１のセグメントが低い品質である場合）又は強化された品質（第１のセグメントが通常の品質である場合）を提供する。現在のフレームが、ここで説明されるようなＢフレーム又はＦフレームであることも理解されるであろう。さらなる詳細が下で提供される。
【０１００】
そして、処理４５０は、動作「少なくとも第２のパスにおいて現在のフレームの少なくとも第２のセグメントをコーディングすること、それは、第１のセグメントと異なり、各パスの間の複数の参照フレームの使用が異なる複数の時間に生じるように、第１のパス及び第２のパスは、異なる複数の時間に実行され、第１及び第２のセグメントの少なくとも両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる」４５６を含んでよい。したがって、この処理とともに、第１及び第２のセグメントは、必ずしも同時に又は連続的にコーディングされない。一例によれば、第１のセグメントのコーディングは、十分に詳細には、（Ｐピクチャ又はさらに他のＦピクチャのような）他のフレームの少なくとも部分又はセグメントのコーディングに対する参照フレームとして現在のフレームを用いるために、第１のパスにおいて提供されてよい。現在のフレームを用いることによって一回部分的にコーディングされたその他のフレームは、ここで、第２のパスにおける現在のフレームのコーディングを完了するために、参照フレームとして用いられてよい。したがって、ある１つの観点によれば、複数のパス、又は他のフレームのコーディングは、例えば、一度に、１つのフレーム毎にフレーム全体をコーディングすることに対する通常の順序に関して、順序がばらばらである。そして、（Ｐピクチャのような）他のフレームのコーディングは、他の複数のフレームに対する参照フレームとしてのそれの使用に合わせて完了されてよい。したがって、第１のパスにおいて現在のフレームをコーディングするための複数の参照フレームは、第２のパスにおいて現在のフレームをコーディングするために用いられる複数の参照フレームと異なって（又はオーバーラップして又は同じであって）よい。この処理の詳細及び変形が下で提供される。
【０１０１】
そして、処理４５０は、動作「同じ時間インスタンスで又は異なる複数の時間インスタンスで、複数のセグメントを再構成することに関連付けられたデータを、エンコーダビットストリームに書き込むこと」４５８を続けてよい。したがって、異なる複数のマルチパスにおける異なる複数のセグメントをコーディングする順序にかかわらず又は関係なく、デコーダに送信するエンコーダビットストリームにおけるコーディングを配置するためのタイミングは、異なってよい。一例によれば、コーディングは、例えば、２つのセグメントのものの間のビットストリームに配置される他の複数の要素（同じフレームの複数の部分又は異なる複数のフレーム）に対するコーディングと同時に（又は連続的に）ビットストリームに配置されてよく、又は異なる時間に配置されてよい。
【０１０２】
図５から１２を参照して、ツーパス又はマルチパスコーディングの説明を提供する前に、複数の修正済み参照フレームが最初に説明される。したがって、特定の複数のピクチャグループ、複数の参照フレーム、及び予測されるべきフレームに対するそれらの依存性は、図１３−２０で説明されるマルチパスコーディングとともに図５−１２に関して下で説明される。
【０１０３】
ＮＧＶビデオコーディングは、より高い圧縮を達成するためにビデオコーディング処理における重要なコンテンツベースの適応性を本質的に組み込むので、それは、複数の規格ベースのアプローチと異なる。比較すると、複数の規格ベースのビデオコーディングのアプローチは、典型的に、レガシーな複数のアプローチの適応及び微調整によって、より高いゲインを捻出する傾向がある。例えば、全ての規格ベースのアプローチは、ゲインを達成するために、複数の予測差分を減少する主要な手段として、動き補償されたインターフレームコーディングの適応及びさらには微調整に大きく頼る。一方で、ＮＧＶは、動き補償に起因する複数のフレーム間差分を利用することに加えて、複数の合成済み（スーパーレゾリューション（ＳＲ）、予測補間（ＰＩ））フレームにおいて補足された、隠された空間及び時間解像度を抽出して採用するだけでなく、典型的な複数のビデオシーンにおいて本質的に存在する様々なタイプのモーフィング（ゲイン、ブラー／レジストレーション、支配的／全体的な動き）を補償することによるもののような複数のフレーム間差分の他のタイプも利用する。
【０１０４】
図５を参照すると、ビデオシーンの画像処理において、多くの場合、動きに起因しない輝度における急な複数の変化があり得、したがって、それ自身による動き補償は、時間的な複数の冗長を除去することに対して十分でないかもしれない。例えば、輝度の変化は、複数のカメラフラッシュ、ブリンキング、フリッカ、又は複数のストロボライト、急にオン／オフされる複数の電球、嵐からの稲光、複数のフェード又は複数のブレンドのような複数の編集効果等のような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間のゲインの補償は、圧縮に対して有利であり得る。ＮＧＶコーディングによって用いられるモーフィング済み予測の１つのタイプは、ゲイン補償予測であり、ゲイン及び／又はオフセットの輝度値を検出及び推定すること、それらをパラメータ化すること、エンコーダでのゲイン／オフセット補償にそれらを用いること、デコーダにそれらを送信すること、及びエンコーダでのゲイン補償処理を複製することによってゲイン補償のためにデコーダでそれらを用いることを含む。
【０１０５】
１つの詳細な例によれば、複数のビデオシーンにおいて、多くの場合、フレーム間の複数の差分は、複数のオブジェクトの移動に起因してだけでなく、ゲイン／輝度の変化に起因して、引き起こされる。時には、輝度におけるそのような複数の変化は、フェードイン、フェードアウトのような複数の編集効果に起因する、又はクロスフェードに起因する全体的なものであり得る。しかし、さらに多くの場合において、輝度におけるそのような複数の変化は、例えば、複数のフリッカ光、複数のカメラフラッシュ、複数の爆発、劇又はミュージカルのパフォーマンスにおける複数の色付きのストロボライト等に起因する局所的なものである。
【０１０６】
輝度におけるフレーム間の複数の変化の補償は、全体的でも局所的でも、ビデオコーディングにおける圧縮効率を潜在的に改善することができる。しかし、複数の輝度変化パラメータ（ゲイン及びオフセット）は、ビデオエンコーダ及びデコーダの両方で適用され、両方が、ビットストリームによってエンコーダからデコーダまで低いビットコストで効率的に通信しているべきであり、デコーダに対する処理の複雑性は、最小化されるべきである。これまでに、全体的な輝度変化に対する複数の技術だけが開示されてきたが、複数の輝度変化の局所的補償は、成功裏に対処されてきていない。
【０１０７】
次の方程式は、フレーム「ｔ」における位置（ｉ，ｊ）のピクセルｓｔ（ｉ，ｊ）の輝度を、ゲイン及びオフセット係数である「ａ」及び「ｂ」を用いて、前のフレーム「ｔ−１」における同じ位置（ｉ，ｊ）のピクセルの輝度に関連付ける。動きは小さいと仮定され、複数の輝度変化だけがモデル化される。
【数１】
2016514378.tif 000004
【０１０８】
期待値ｓｔ（ｉ，ｊ）及び（ｓｔ２（ｉ，ｊ））を用いること、及び現在のフレーム及び前のフレームの第１の時点及び第２の時点を同等と見なす方法に従うことで、ゲイン「ａ」及び、オフセット「ｂ」の値が計算される。
【数２】
2016514378.tif 000005
【数３】
2016514378.tif 000006
【０１０９】
「ａ」及び「ｂ」が方程式（２）によって計算されると、それらは、（効率的な送信のために）量子化され、エンコードされ、デコーダに送信される。デコーダにおいて、「ａ」及び「ｂ」のデコードされて逆量子化された値は、方程式（１）に挿入され、前のフレームにおける複数のピクセルのデコードされた複数の値を用いて、前の参照フレームのゲイン補償された修正済みバージョンが計算され、エラーにおいて元の前のフレームより低く、そして、（ゲイン補償された）動き補償予測を生成するために用いられる。最終のデコードされたフレーム（又はフレームの複数のブロック）を生成するために、（逆変換されて逆量子化されて）デコードされた複数の予測エラーブロックに、複数の修正済み前の参照フレームからの対応する複数の予測が加算される。
【０１１０】
局所的動き補償について、(ａ，ｂ）のパラメータの単一のセットに代えて、複数のパラメータの複数のセットが計算され、それの複数のパラメータに対応するフレームのそれの部分のマップとともにデコーダに送信され、説明されたようなゲイン補償に用いられる。
【０１１１】
図５は、Ｐピクチャ５０２、５０６、５１２、及びＦピクチャ５０４、５０８、５１０（下で定義される）を用いるピクチャ構造５００を示す。各Ｐピクチャは、予測され、又は少なくとも部分、パーティション、又はその他を有し、矢印Ａによって示されるように、少なくとも１つの前のＰピクチャ又はＩピクチャから予測される。ここで、ＦピクチャがＢピクチャに類似していると仮定すると、Ｆピクチャは、矢印Ｂによって示されるように、前の参照フレーム、次の参照フレーム、又は両方から予測され得る。ピクチャ構造５００は、適応数のＦピクチャ、マルチ参照予測、及びピクチャ又はパーティション基準で適用され得るゲイン／オフセット補償を含む。例えば、述べられたように、時間「ｎ」（５０２）、「ｎ＋２」（５０６）、及び「ｎ＋５」（５１２）におけるフレームは、Ｐピクチャとしてコーディングされ、時間「ｎ＋１」（５０４）、「ｎ＋３」（５０８）、及び「ｎ＋４」（５１０）におけるフレームは、Ｆピクチャとしてコーディングされる。「ｎ＋５」におけるＰピクチャ（５１２）は、通常の予測であり得るような「ｎ＋２」（５０６）の両方からの予測を採用するだけでなく、（矢印Ｃによって示されるような）前の予測参照フレームのようなフレーム「ｎ」（５０２）を加えるようなマルチ参照予測を用いるように示される。マルチ参照予測は、Ｐピクチャ又はＦピクチャが複数の前の参照フレームを有する場合はいつでも生じる。
【０１１２】
そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの主要な差分は、複数のフレーム「ｎ」及び「ｎ＋２」についてのゲイン／オフセット補償の使用である。例えば、複数のゲイン／オフセット値は、修正済み（ゲイン／オフセット補償された）予測フレームの生成における使用のために、フレーム「ｎ＋２」と比較して、フレーム「ｎ」で推定されてパラメータ化され得、現実のフレーム「ｎ」についての動き推定／補償を実行することに代えて、それは、一例によれば、フレームｎ＋１（５０４）を予測するために、修正済みのゲイン／オフセット補償されたフレームＧＣ（５１４）について実行され、Ｐピクチャ５１２を予測するためにＰピクチャ５０２を用いることの代わりに、Ｐピクチャ５１２を予測するために用いられてもよい。同様に、ゲイン補償フレームＧＣ（５１６）は、フレームｎ＋２（５０６）の修正であり、フレームｎ＋５（５１２）予測するために用いられてよい。明確にするために、一例によれば、（ゲイン／オフセット、ＧＣと称される）複数のパラメータの推定は、例えば、モーフィングアナライザ１３０によって元の（コーディングされていない）複数のフレームについて、又はモーフィングジェネレータ１２０によってデコードされた複数のフレームについて実行され得る。しかし、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、ゲイン補償され、動き補償されたフレームＧＣ（５１４）によって提供されてよい。そして、差分は、計算され、変換コーディングされ、ゲイン補償の使用なしのものより少ないビット（ゲインパラメータコストを含む）でコーディングされてよい。参照フレームの修正が複数のゲイン補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照フレームの使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の主要な差分を示唆してもよい。
【０１１３】
代替的に又はさらに、ビデオシーンの画像処理において、ブラー／レジストレーションの変化があり得、したがって、それ自身による動き補償は、時間的な複数の冗長を除去することに対して十分でないかもしれない。例えば、ブラー／レジストレーションの変化は、シーンにおける複数のオブジェクトの速い移動若しくはカメラの速い移動、又は両方、スキャン中のフィルムのスプロケットにおける機械的な不整合、固定されたカメラの振動等、ブラー／レジストレーションミスマッチとして現れるその他のもののような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間のブラー／レジストレーションの補償は、圧縮に対して有利であり得る。ブラー／レジストレーション補償予測の原理は、ＮＧＶコーディングによって用いられるモーフィング済み予測のタイプを含んでよく、複数のブラー／レジストレーション値を検出して推定すること、複数のブラー／レジストレーション値をパラメータ化すること、エンコーダでのブラーの補償のために複数のブラー／レジストレーション値を用いること、デコーダに複数のブラー／レジストレーション値を送信すること、エンコーダでブラー／レジストレーション補償処理を複製することによってブラー／レジストレーション補償のためにデコーダで複数のブラー／レジストレーション値を用いることを含む。
【０１１４】
一例によれば、レジストレーション及びブラーの補償のための方法は、複数の用語が互換的に用いられ得るが、下で説明される。
【０１１５】
レジストレーション補償：
【０１１６】
シーンを画像処理する固定されたビデオカメラでさえも、シーンの全体的な移動、又はシーンにおける大きい複数のオブジェクトの動きよりむしろ、（風のような）環境的な要因、近くの複数のオブジェクトからの振動、震える手、又はジッタ補足処理に起因してフレーム間で異なる、揺れる又は不安定なビデオをもたらすかもしれない。これは、フレーム間のレジストレーションの差分をもたらし、（ゲイン、全体的／支配的な動き、及び局所的動き補償のような補償の他の複数の形態に加えて）それの補償は、ビデオコーディングの圧縮効率の改善をもたらし得る。
【０１１７】
現在のフレームと前の参照フレームとの間の複数のレジストレーションパラメータを計算するために、ウィナーフィルタリングが採用され得る。ｘ（ｎ）を入力信号とし、ｙ（ｎ）を出力とし、そして、ｈ（ｎ）が複数のフィルタ係数を表すとする。
フィルタ出力：
【数４】
2016514378.tif 000007
エラー信号：
【数５】
2016514378.tif 000008
【０１１８】
行列表記において、ｈは、複数のフィルタ係数のベクトルである。（ソースフレームと参照フレームとの間の）相互相関の行ベクトル：
【数６】
2016514378.tif 000009
【０１１９】
（ブロックデータに基づく）自己相関行列：
【数７】
2016514378.tif 000010
【０１２０】
そして、ｈを求めるウィナーホップ方程式は、以下のとおりである。ウィナーホップ方程式は、平均二乗誤差で最適な複数のフィルタ係数を決定し、結果として生じるフィルタは、「ウィナー」フィルタと呼ばれる。
【数８】
2016514378.tif 000011
【０１２１】
ブラー補償：
【０１２２】
シーンの速いカメラパンは、電荷蓄積に起因して、ぼけた画像をもたらし得る。さらに、カメラが静止している又は動いているとしても、シーンが速く動いている複数のオブジェクト、例えば、サッカーの試合における複数のサッカー選手を含む場合、画像処理の時間解像度が十分でないので、複数のオブジェクトは、ぼけて現れ得る。前述の場合の両方において、補償の他の複数の形態の前に又はと共に、ブラーの補償は、ビデオコーディングの圧縮効率を改善し得る。
【０１２３】
動きブラー推定に関して、ルーシーリチャードソン法が用いられ得る。それは、Ｂ、ブラー演算子（推定された複数のブラーベクトルを用いるブラーフレーム）、及びＢ＊随伴行列演算子を用いて、Ｙソースフレームから反復ｉでの減少されたブラーフレーム（Ｘ）を成功裏に計算するための反復アルゴリズムである。演算子Ｂ＊は、ほぼ同じ視覚品質をもたらすＢによって置換され得るので、Ｂ＊は、ほぼＢと同じであると考えられ得る。
【数９】
2016514378.tif 000012
【０１２４】
したがって、そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの他の主要な差分は、複数のフレーム５０４及び５１２をそれぞれ予測するための複数の修正済みＢＣ（又はＲＣ）フレーム５１８及び５２０によって示されるように、複数のフレーム「ｎ」及び「ｎ＋２」についてのブラー／レジストレーション補償の使用であり得る。例えば、複数のブラー／レジストレーション値は、修正済み（ブラー補償された）予測フレームの生成における使用のために、フレーム「ｎ＋２」と比較して、フレーム「ｎ」で推定されてパラメータ化され得、現実のフレーム「ｎ」についての動き推定／補償を実行することに代えて、それは、ブラー／レジストレーション補償されたフレームについて実行される。明確にするために、上述のように、（ブラー、ＢＣと称される）複数のパラメータの推定は、元の（コーディングされていない）複数のフレームについて、又はデコードされた複数のフレームについてなされ得るが、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、ブラー／レジストレーション補償され、動き補償されたフレームが、ブラー／レジストレーション補償の使用なしのものより少ないビット（ブラーパラメータコストを含む）で計算されて変換コーディングされる。参照フレームの修正が複数のブラー／レジストレーション補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照の使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の主要な差分も示唆する。ゲイン補償修正済みフレームＧＣ５１４及び５１６に代えて又は加えて、複数の修正済みフレームＢＣ５１８及び５２０が用いられてよいことが理解される。
【０１２５】
代替的に又はさらに複数のフレームをモーフィングするさらなる方法では、ビデオシーンの画像処理において、それ自身によるブロック動き補償であり得、全体的な時間的な複数の冗長を除去することに対して十分でないかもしれない全体的／支配的な動きの変化があり得る。例えば、全体的／支配的な動きの変化は、パン、ズームイン／アウト、又はカメラの回転又はチルト、及び／又は全体的／支配的な動きとして現れる大きなオブジェクトの動きのような現実の複数の物理事象に起因し得る。そのような場合において、そのような複数の変化が存在する複数のフレームペアの間の全体的／支配的な動きの補償は、圧縮に対して有利であり得る。全体的／支配的な動き補償予測の原理は、ＮＧＶコーディングによって用いられるモーフィング済み予測のタイプを用いること含んでよく、フレームの全体的／支配的な動きを検出して推定すること、パラメータ化すること、及びエンコーダでの全体的／支配的な動きの補償のために動きデータを用いること、デコーダにそれを送信すること、及びエンコーダで全体的／支配的な動き補償処理を複製することによって補償のためにデコーダでそれを用いることを含んでよい。
【０１２６】
詳細な一例によれば、ビデオにおける全体的な動きは、（並進運動モデル、及びかなりの量の動きベクトルのオーバヘッドからもたらされるより大きい予測に起因する）予測に基づいて、ブロックに課題を提示できるので、非並進／複雑な動きにより適応できるそれの可能性に起因する全体的な動きを直接推定／補償する代替的なアプローチが開発され、複数の動きパラメータのよりコンパクトな表現が、ピクチャ毎に一度のように必要に応じて現在利用可能である。全体的な動きに対する複数の動きモデルの選択肢の中で、かなりの利益を提供する２つのモデルがアフィンモデル、及びパースペクティブモデルである。アフィンモデルは、６つのパラメータを用い、大きい範囲の複雑な動きに対処でき、パースペクティブモデルは、より複雑で柔軟であるが、最大８つのパラメータを用いることができる。アフィンモデルは、多くの場合に対して十分であり得、並進、ズーム、せん断、及び回転のような複数のタイプの動きに対する全体的な補償を可能にできる。
【０１２７】
数学的に、アフィン変換処理は、前のフレームにおける複数のポイント（ｘ，ｙ）のセットを複数の修正済みポイント（ｘ'，ｙ'）のセットにマッピングするために、複数のアフィンパラメータａ、ｂ、ｃ、ｄ、ｅ、ｆを用いる次の方程式によって説明される。
【数１０】
2016514378.tif 000013
【数１１】
2016514378.tif 000014
【０１２８】
全体的な動きの複数のパラメータのデコーダへの効率的な送信に関して、モデルは、３つの動作軌道として送信される。１つはピクチャの左上隅、１つはピクチャの右上隅、そして、１つはピクチャの左下隅である。複数のアフィンパラメータは、２のべき乗に最も近い数の幅及び高さであり、コーディングされたピクチャより大きいと仮定される仮想のピクチャに対して計算（固定小数点演算）される。これは、デコーダで要求される複数の分割を取り除く。
【０１２９】
３つの頂点（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）を仮定すると、対応する複数の動作軌道ｍｔ０、ｍｔ１、及びｍｔ２が与えられ、複数の１／８ピクセルユニットにおいて言う（ｄｘ０，ｄｙ０）、（ｄｘ１，ｄｙ１）、及び（ｄｘ２，ｄｙ２）として表されることができる。そして、複数のアフィンパラメータＡ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦは、次のように計算されることができる。
【数１２】
2016514378.tif 000015
【数１３】
2016514378.tif 000016
【数１４】
2016514378.tif 000017
【数１５】
2016514378.tif 000018
【数１６】
2016514378.tif 000019
【数１７】
2016514378.tif 000020
【０１３０】
アフィンモデルベースの全体的な動き推定／補償（ＧＭＥ／Ｃ）の使用は、ブロックベースの並進運動の使用を超えて、全体的な動きを伴う複数のシーンに対して顕著な改善であったが、実際には、ブロックベースの局所的及び全体的な動きの両方が、最良のコーディング効率の結果のために組み合わせられる。さらに、アフィンモデルは、シーンにおけるオーバーラップしていない複数のタイル、又は複数の領域／オブジェクトの動き補償に適用されることもできる。これは、全体的な動きパラメータの複数のセットをもたらし、処理は、支配的な動き補償（ＤＣ）を実行することと称される。
【０１３１】
ここで、そのようなスキームとＨ．２６４／ＭＰＥＧ−４パート１０ベースのコーディングのものとの主要な差分は、複数のフレーム「ｎ」（５０２）及び「ｎ＋２」（５０６）についての全体的／支配的な動き補償の使用である。例えば、複数の全体的／支配的な動き値は、複数のフレーム５０４及び５１２をそれぞれ予測するために、修正済み（全体的／支配的な動き補償された）予測フレーム５２２又は５２４の生成における使用のために、フレーム「ｎ＋２」（５０６）と比較して、フレーム「ｎ」（５０２）で推定されてパラメータ化され得、現実のフレーム「ｎ」（５０２）についての動き推定／補償を実行することに代えて、それは、例えば、全体的／支配的な動き補償されたフレーム５２２について実行される。明確にするために、上述のように、（全体的／支配的な動き、ＤＣと称される）複数のパラメータの推定は、元の（コーディングされていない）複数のフレームについて、又はデコードされた複数のフレームについて実行され得るが、デコーダが補償処理を複製できるように、補償は、「デコードされた複数のフレーム」について実行される必要がある。したがって、ある時間インスタンスの元のフレームとそれの近似との間の差分は、全体的／支配的な動き補償されてブロック動き補償されたフレームが、全体的／支配的な動き補償の使用なしのものより少ないビット（ブラーパラメータコストを含む）で計算されて変換コーディングされる。参照の修正が複数の全体的／支配的な動き補償パラメータを用いることによって実行された場合において、Ｆピクチャが、複数の修正済み参照の使用をサポートするという点において、これは、ＢピクチャとＦピクチャとの間の他の主要な差分も示唆する。モーフィングストラテジは、ＧＣ、ＢＣ、又はＤＣのそれぞれがそれ単独で、３つの修正済みフレームをともに形成するために組み合わされた３つのすべてで、又は２つの修正済みフレームをともに形成するためにそれらの任意の２つの組み合わせでのように、単独で又は任意の組み合わせで実行されてよい。
【０１３２】
そして、シーケンス５００で、複数の修正済みフレームが主要なシーケンスにおける対応するフレームを置き換え、又はに加えて用いられてよく、Ｆピクチャ及びＰピクチャの両方は、それらの参照フレームとして複数の修正済みフレームを用い得ることが理解される。したがって、１つの代替的な例によれば、複数のモーフィング済みフレーム５１４、５１８、及び５２２は、Ｆピクチャ５０４に対する参照としてに代えて又は加えて、Ｐピクチャ５０６に対する複数の過去の参照フレームとして用いられ得る。また、複数のモーフィング済みフレーム５１６、５２０、及び５２４は、Ｆピクチャ５０４に対する複数の将来の参照フレーム、及び／又はＦピクチャ５０８及び５１０に対する複数の過去の参照フレームとして用いられ得る。したがって、コーディングに対して有益であることが見出されるような多くの異なる代替手段が存在し、複数の図面に示されるものに限定されないことが理解される。
【０１３３】
シーケンス５００は、また、（２つのＰピクチャ、又はＩピクチャ及びＰピクチャ、又は他のＦピクチャのような）２つのアンカーフレームの間のＦピクチャの数が変わり得る適応モード又は予測技術とともに、Ｆピクチャが用いられ得ることを実証する。したがって、１つのＦピクチャだけが、Ｐピクチャ５０２及び５０６の間に存在し、２つのＦピクチャが、Ｐピクチャ５０６及び５１２の間に存在する。複数のアンカーフレームの間のＦピクチャの数は、一例によれば、０から４に限定されてよく、フレームシーケンスにおける複数のオブジェクトの動きの速度に依存してよい。特に、Ｆピクチャは、多くの場合、任意の他のタイプのピクチャと比較して、最小量のビットを要求し得るので、それらは、コーディングに対して最も高効率なフレームであり得る。しかし、複数のフレームにおける複数のオブジェクトの動きが速いほど、少なくとも複数のアンカーフレームで動いているこれらの複数のオブジェクトを適切に示すために、より詳細が必要とされる。したがって、非常に遅い動きで、多くのＦピクチャが複数のアンカーフレームの間で用いられ得るが、速い動きは、動いている複数のオブジェクトの許容可能な良い品質の複数の画像を生成するために、複数のアンカーフレームの間のＦピクチャの許容される数を、非常に少なく又はなしに減少し得る。
【０１３４】
図６を参照すると、モーフィング済み予測（ゲイン、ブラー／レジストレーション、全体的／支配的な動き）の複数のピクチャに加えて、合成済み予測（スーパーレゾリューション（ＳＲ）、及び予測補間（ＰＩ））の複数のピクチャもサポートされる。一般的に、スーパーレゾリューション（ＳＲ）は、欠けている情報を補うために役立つビデオの多くの過去のフレームを用いる単一のビデオフレームの高い解像度の再構成画像を生成するために用いられる技術である。良いスーパーレゾリューション技術の目標は、既知のより高い解像度のビデオでテストされた場合の単独でのアップサンプリングより良い再構成画像を生成できることである。スーパーレゾリューション生成技術は、ここで、インループスーパーレゾリューションフレームを生成するために、コーディングされたビデオコーデックデータを用いてよい。インループスーパーレゾリューションフレームは、その名前が示唆するように、コーディングループ内で再度用いられる。コーディングループにおけるＳＲの使用は、低解像度ビデオコーディングにおいてひいては再構成スーパーレゾリューションビデオにおいて、かなりのゲインを提供する。この処理は、デコードされている現在のフレームの高い解像度の再構成を生成するために、現在のデコードされた複数のフレーム及び複数の過去のフレーム（又は、利用可能であれば、複数の将来のフレーム）と共に、（複数のモード、イントラ、動き、係数等のような）コーデック情報を組み合わせて用いるアルゴリズムを用いる。したがって、提案される技術は、速く、良い視覚品質を生成する。
【０１３５】
移動が遅く、コンテンツがかなり詳しい（多くのエッジ、テクスチャ、及びその他）複数のシーケンスに対して、予測における使用のための複数のスーパーレゾリューションフレームを生成する能力は、より大きい動き補償の正確性を提供でき、それによって、より高い程度の圧縮を許容する。図６に示されるように、処理６００が図示され、ＳＲ予測の生成の原理が、Ｐピクチャに適用され、それは、ＮＧＶコーディングによって用いられる合成済み予測のタイプである。この場合において、エンコーダ及びデコーダの両方は、前もって利用可能なデコードされた複数のフレーム及びデータから合成済みフレームを生成する。水平及び鉛直方向寸法の両方においてフレーム「ｎ」６０４の倍のサイズであるＳＲフレーム６１８は、「ｎ」におけるアップサンプリングされてデコードされたＰフレーム６１６、及び「ｎ−１」における前のＳＲフレーム６０８を用いて構成された動き補償ピクチャ６１４を融合することによって生成される。前のＳＲフレーム６０８は、デインターリーブされ、現在のＰピクチャ６０４を用いることによってデインターリーブされたブロック６１０で複数の動き推定値と組み合わせられる。複数のブロック６１０は、動き補償されてデインターリーブされたブロック６１２を形成するために、動き補償に用いられ、そして、動き補償ピクチャ６１４を形成するためにブロック上に再インターリーブされる。マルチ参照予測は、矢印Ｄによって、フレームｎ＋１におけるＰピクチャに対しても示される。
【０１３６】
予測補間（ＰＩ）予測フレーム生成と称される他のタイプの合成済み予測は、図１２に関して下で説明され、ＮＧＶコーディングにおいてコンテンツベースのＰ及びＦピクチャによってサポートされる様々な修正済み参照予測の１つである。予測補間は、１又は複数の他の参照フレームからのデータから単に又は実質的に修正済み参照フレームを形成し、表示のための画像又はピクチャそれ自体でない。一例によれば、それは、参照フレームとしてのみ用いられる。
【０１３７】
図７を参照すると、より完全な例のＮＧＶエンコーダが図１に示されるが、関連するエンコーダサブシステム７００は、複数のコンテンツ適応Ｐピクチャ及びここでのＦピクチャに対する複数の予測を生成するために用いられる動き推定部、補償予測部、及びピクチャストア（ＭＥＣＰＰＳ）と称されてよい。複数の中心概念に集中し続けるために、（「予測」に用いられる、及び「ｓｋｉｐ」モードに対するデフォルトとして）ダイレクトモードの計算に対する複数の動作が図示されないような、いくつかの単純化がなされている。ＭＥＣＰＰＳサブシステム７００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ７０２）、及び生成されるべき修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（修正済みマルチ参照フレーム予測のための依存ロジック７０４）のようないくつかのコンポーネントを有してよい。エンコーダサブシステム７００は、複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット７０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータと称される）も有する。動き推定部７０８及び動き補償（ＭＣ）予測部及びＭＣ補間予測部７１０は、サブシステム７００の一部であってもよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、デコーダに送信される。エンコーダでの最後の結果は、それらから選択し、ブロックに適用するために選択するための多数の修正済み予測候補の生成である。これらの候補のいくつかは、現実の修正済み予測ブロック（ｐｂｌｋ１，...ｐｂｌｋｎ）であり、その他は、現実の修正済みブロック、又は複数のダイレクト予測モードから生成された複数のブロックを組み合わせることによって補間された修正済み予測ブロック（ｐｂｌｋｉ１，...ｐｂｌｋｉｋ）である。
【０１３８】
図８を参照すると、デコーダサブシステム８００（動き補償部及び予測ピクチャストア（ＭＣＰＰＳ））は、サブシステム７００（図７）を形成するエンコーダの一部に対応するデコーダの一部を含んでよく、修正済み予測信号がＰ及びＢピクチャにおいてどのようにデコーダで生成されるかを表す。サブシステム７００の場合のように、明確さの目的のために、スケーリング及びダイレクトモードにおける予測の計算のための複数の動きベクトルの符号反転のようないくつかの詳細は、省略される。デコーダサブシステム８００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ８０２）、及び生成されるべき修正済みマルチ参照予測に基づいて複数のフレームストア８０２からの複数のフレームのインデックス付けを許容するそれの関連付けられたロジック（修正済みマルチ参照フレーム予測のための依存ロジック８０４）を有してよい。サブシステム８００は、複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット８０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、及び動き補償（ＭＣ）予測部及びＭＣ補間予測部８０８も有してよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、ビットストリームによってデコーダで受信される。マルチ参照予測において正しい複数のフレームへのアクセスを可能にする複数のフレームリスト及び複数のフレームストアの動作は、サブシステム７００によるエンコードの一部に対するものと同じ又は類似である。
【０１３９】
図９を参照すると、チェーンストラテジが、Ｆピクチャで用いられてよく（又は、それは、Ｂピクチャに拡張するために用いられ得）、それは、チェーン予測と称される。チェーン予測の概念は、それが任意のピクチャタイプに適用できるが、それはＦピクチャに特に関連する（そして、Ｂピクチャにも適用され得る）。それは、実際には、マルチ参照予測の概念の拡張であり、ただし、追加的に、それが、直前のコーディングされたＦピクチャを含む他のＦピクチャからのＦピクチャの完全な予測を可能にする。したがって、チェーン予測は、Ｆピクチャの他のＦピクチャへのより高い依存を犠牲にするが、予測効率を増加させ得る。
【０１４０】
例えば、ＩＰＦＦピクチャコーディング構造９００は、複数のアンカーフレームの各ペアの間の２つのＦピクチャを用いる。特に、時間「ｎ」（９０２）、「ｎ＋３」（９０８）、及び「ｎ＋６」（９１４）における複数のフレームは、Ｐピクチャとしてコーディングされ、時間「ｎ＋１」（９０４）、「ｎ＋２」（９０６）、「ｎ＋４」（９１０）、及び「ｎ＋５」（９１２）における複数のフレームは、Ｆピクチャとしてコーディングされる。Ｆピクチャで用いられる複数の予測を強調すると、時間「ｎ＋１」におけるＦピクチャ（９０４）は、（不図示の時間「ｎ−１」における）直前のＦピクチャからの、予測チェーン９２０上の矢印９２２によって示される追加の予測を用いる。時間「ｎ＋２」におけるＦピクチャ（９０６）は、時間「ｎ＋１」における直前のＦピクチャ（９０４）からの、矢印９２４によって示される追加の予測を用い、時間「ｎ＋４」におけるＦピクチャ（９１０）は、矢印９２６によって示されるように、時間「ｎ＋２」における直前のＦピクチャ（９０６）からの追加の予測を用いる。時間「ｎ＋５」におけるＦピクチャ（９１２）は、時間「ｎ＋４」における直前のＦピクチャ（９１０）からの、矢印９２８によって示される追加の予測を用いる。Ｆピクチャの予測のこのタイプは、チェーン予測と称される。
【０１４１】
明らかに、いくつかのＦピクチャは、直前のＦピクチャからさらに予測され得るので、チェーン予測９２０は、圧縮効率を増加させる可能性を有する。予測のこのタイプは、マルチ参照予測の形態として考えられ得るが、マルチ参照予測においてさえ、Ｆピクチャ（規格におけるＢピクチャ）は、通常、前のデコードＰピクチャからのみ予測する。
【０１４２】
しかし、チェーンのＦピクチャは、ソフトウェアエンコード／デコードに対するマルチスレッドにおける高い性能効率を得ることにおいて、いくつかの問題を引き起こし得る増加されたコーディング依存という意味での制約を表す。これに対処するために、全てではなくいくつかのＦピクチャがチェーンコーディングを用いることができるように、複数のピクチャのチェーンを制限することが可能である。これの例は、実線の矢印９２４及び９２８によって示され、時間「ｎ＋２」におけるＦピクチャ（９０６）は、実線の矢印９２４によって示されるように、「ｎ＋１」におけるＦピクチャ（９０４）に関してチェーンコーディングされ、時間「ｎ＋５」におけるＦピクチャ（９１２）は、実線の矢印９２８によって示されるように、時間「ｎ＋４」におけるＦピクチャ（９１０）に関してチェーンコーディングされる。しかし、時間「ｎ＋１」（９０４）及び「ｎ＋４」（９１０）におけるＦピクチャは、破線の矢印９２２、９２６、及び９３０によって示されるように、チェーンコーディングされなくてよく、この場合において省略され得る。代替的に、チェーンコーディングにおいて、その逆も可能であり、破線の矢印９２２、９２６、９３０が存在し、実線の矢印９２４及び９２８が省略され、時間「ｎ＋１」（９０４）及び「ｎ＋４」（９１０）におけるＦピクチャがチェーンコーディングされてよいが、「ｎ＋２」（９０６）及び「ｎ＋５」（９１２）におけるＦピクチャがチェーンコーディングされなくてよい。実際には、これは、「ｎ＋１」（９０４）及び「ｎ＋２」（９０６）、並びに同様に「ｎ＋４」（９１０）及び「ｎ＋５」（９１２）におけるＦピクチャに対する別個の複数のスレッドについてのエンコード／デコードを許容し得る。
【０１４３】
次に、ピクチャ構造９００は、本開示のＦピクチャに対するチェーンコーディング９２０に、本開示の修正済みマルチ参照コーディング９３２を組み合わせてもよい。「ｎ＋４」（９１０）、「ｎ＋５」（９１２）、及び「ｎ＋６」（９１４）におけるＦピクチャは、チェーンコーディング及びマルチ参照コーディングの組み合わせを用いて示される。Ｆピクチャ９１０、９１２、及び９１４は、追加の参照フレームとしてＰピクチャ９０２をそれぞれ用いるので、マルチ参照コーディングが存在する。破線の矢印９３４、９３６、及び９３８によって示されるように。これらの原理は、Ｂピクチャに対するチェーンコーディングに組み合わせられるＨ．２６４の通常のマルチ参照コーディングにも適用され得ることが理解される。
【０１４４】
チェーン及びマルチ参照の選択肢は、任意の組み合わせで存在してよく、全体のチェーンが存在しても、又はチェーンに沿った複数の部分だけが存在してもよいことも理解される。したがって、組み合わせられたマルチ参照及びチェーンコーディングの場合に対して、コーディング効率の利益と増加される依存との間の妥協案が、Ｆピクチャのチェーンを選択的に用いることによって達成されてよい（例えば、Ｆピクチャの半分だけがチェーンにされるように）。したがって、マルチ参照依存は、上で説明されたように、実線の矢印の依存９２４及び９２８で提供され得、「ｎ＋５」におけるＦピクチャは、「ｎ＋４」にチェーンされ、「ｎ＋２」は、「ｎ＋１」にチェーンされるが、「ｎ＋１」及び「ｎ＋４」におけるＦピクチャは、チェーンされない。前に述べたように、他の代替手段は、示されるチェーンの反対であり得、言い換えれば、破線の矢印が存在し、実線の矢印が存在せず、「ｎ＋１」におけるＦピクチャが「ｎ−１」にチェーンされ得、同様に、「ｎ＋４」におけるＦピクチャが「ｎ＋２」にチェーンされ得るが、「ｎ＋２」及び「ｎ＋５」におけるＦピクチャがチェーンされなくてよい。
【０１４５】
図１０を参照すると、複数のコンテンツ適応Ｐピクチャ及びここでのＦピクチャに対する複数の予測を生成するために用いられる「動き推定部、補償予測部、及びピクチャストア（ＭＥＣＰＰＳ）」と称されるエンコーダサブシステム１０００が示される。複数の中心概念に集中し続けるために、（「予測」に用いられる、及び「ｓｋｉｐ」モードに対するデフォルトとして）ダイレクトモードの計算に対する複数の動作が図示されないような、いくつかの単純化がなされている。エンコーダサブシステム１０００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ）１００２、必要に応じてチェーンされた予測を含む修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（チェーンされた予測を含む修正済みマルチ参照フレームに対する依存ロジック）１００４、及び複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット１００６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、動き推定部（動き推定部）１００８、及び動き補償予測部（動き補償（ＭＣ）予測部及びＭＣ補間予測部）１０１０を備えてよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、デコーダに送信される。エンコーダでの最後の結果は、それらから選択し、ブロックでの適用のために選択するための多数の修正済み予測候補の生成である。これらの候補のいくつかは、現実の修正済み予測ブロック（ｐｂｌｋ１，...ｐｂｌｋｎ）であり、その他は、現実の修正済みブロック、又は複数のダイレクト予測モードから生成された複数のブロックを組み合わせることによって補間された修正済み予測ブロック（ｐｂｌｋｉ１，...ｐｂｌｋｉｋ）であってよい。
【０１４６】
図１１を参照すると、デコーダサブシステム１１００は、デコードされた複数のフレームを格納する複数のフレームストア（複数のマルチ参照フレームストア及びフレームセレクタ）１１０２、必要に応じてチェーンされた予測を含む修正済みマルチ参照予測に基づいて複数のフレームストアからのフレームのインデックス付けを許容するそれの関連付けられたロジック（チェーンされたフレーム予測を含む修正済みマルチ参照のための依存ロジック）１１０４、及び複数のモーフィング済み又は合成済み予測フレーム又はブロックを現実に計算するユニット１１０６（モーフィング及び合成パラメータ推定部及びフレームジェネレータ）、及び動き補償予測部（動き補償（ＭＣ）予測部及びＭＣ補間予測部）１１０８を備えてよい。複数のモーフィング済み又は合成済みフレームを計算するために用いられる複数のパラメータｍｐａｒ及びｓｐａｒは、ビットストリームによってデコーダで受信される。マルチ参照予測において正しい複数のフレームへのアクセスを可能にする複数のフレームストアのインデックス付けは、エンコーダサブシステム１０００に対するものと同じ又は類似であってよい。
【０１４７】
図１２を参照すると、均等に番号付けされた複数のフレーム１２０２から１２１２を伴うピクチャシーケンス１２００が、複数の予測補間フレーム（複数のＰＩピクチャ）の生成及び使用の原理を示すために提供される。単純化のために、Ｆピクチャが、Ｂピクチャのように振る舞い、一方は過去のもので他方は将来のものである２つのアンカーを参照できると仮定する（これは一例の場合にすぎない）。そして、Ｆピクチャ毎に、将来及び過去の複数の参照アンカーフレームを用いる予測補間と称される特殊なタイプの補間によって共存補完フレームが生成され得る。予測補間は、複数のフレームのシーケンスにわたって一定でない（又は直線でない）速度、又は比較的大きい複数の動きを有するオブジェクトの動きを考慮に入れる。ＰＩは、置換されるべき共存又は現在のフレームから補間に用いられる２つの参照フレームのそれぞれまでの距離に依存する複数の重み付け係数を用いる。したがって、これらの２つの距離に比例する最も適合する動きベクトルが決定され、通常、より近い参照により大きい重みが与えられる。これを達成するために、２つのスケール係数（ｘ係数及びｙ係数）が、一例によれば、最小二乗推定によって決定される。そして、さらに、動き補償は、小さい複数の不一致を調整することを許容されてよい。
【０１４８】
例えば、時間「ｎ＋１」におけるＦピクチャ（１２０４）に対して、この時間に共存するＰＩピクチャ１２１４が、時間「ｎ」（１２０２）及び「ｎ＋２」（１２０６）における複数のアンカー又は参照フレームを用いて生成される。同様に、時間「ｎ＋３」（１２０８）及び「ｎ＋４」（１２１０）におけるＦピクチャに対して、対応する複数のＰＩピクチャ１２１６及び１２１８が、時間「ｎ＋２」（１２０６）及び「ｎ＋５」（１２１２）における複数のアンカーフレームを用いて生成され得る。この処理は、ＰＩピクチャが各Ｆピクチャに時間を合わせて対応して合成されるように、各将来のＦピクチャに対して繰り返してよい。そして、対応する複数の合成済みＰＩピクチャ１２１４、１２１６、及び１２１８は、２つの参照アンカーが予測に用いられるのと同じ又は類似の方法で、第３の参照として用いられ得る。いくつかの予測パーティションは、複数の予測参照を直接用いてよく、他は、双方向予測を生成するためのように暗黙的にそれらを用いてよい。図１２は、マルチ参照予測１２３２（オプションとして破線によって依存１２３４、１２３６、及び１２３８で示される）が通常の予測１２２０及びＰＩピクチャ予測と組み合わせられ得ることも示す。したがって、複数の合成済みＰＩピクチャは、複数の元のＦピクチャに代えて、マルチ参照予測と共に及び２つの参照アンカーと共に、予測に用いられ得る。
【０１４９】
図示されるように、ＰＩピクチャが規定されると、例えば、ＰＩピクチャ１２１４上のブロック１２２４と参照フレーム１２０２及び１２０６上のブロック１２２２及び１２２８との間の動き推定は、ＰＩピクチャ１２１４上のパーティション又はブロックＡ−ｃ１の移動に対して、前述の例示的な方法によって複数の参照フレーム上の位置１２２０及び１２２６から、ＰＩピクチャ１２１４上の動きベクトルｍｖ−ｃ１を決定するために用いられ得る。
【０１５０】
図１３を参照すると、上述のように、Ｆピクチャ（又はＢピクチャ）の進化型の特徴は、前景（「ｆｏｒｅｇｒ」又は「ＦＧ」）又は背景（「ｂａｃｋｇｒ」又は「ＢＧ」）領域のようなセグメント化された複数の領域を用いてよい。これを達成するために、図４Ｂを用いて上述のような３つの動作が実行されてよい。（１）各ピクチャの前景及び背景の領域へのセグメンテーション、（２）前景形状セグメンテーションマスク又は前景／後景境界マップのコーディング、（３）２つ又はより多いパスで少なくとも１つのＦピクチャをコーディングすることによって圧縮効率を改善するための形状セグメンテーションマスク又は境界マップ情報の使用。
【０１５１】
前景及び背景のセグメンテーションに関して、上述のように、いくつかの既存の解決策、及び１つのピクセル、２つのピクセル、又は固定のブロックサイズ、又は可変のブロックサイズのセグメンテーションのように、複雑性及び精度の様々なレベルを提供する他の解決策が存在する。１つのアプローチによれば、ピクチャが前景／背景の分類を有する場合、１つの境界マップ又はセグメンテーションマスクだけがエンコードされるために必要であってよい。このマップ又はマスクは、予測コーディングとともに又はなしで、インターフレーム予測／イントラフレームで効率的に明示的にコーディングされてよい。別の方法として、マスクは、クロマキーカラーを前景オブジェクト／領域の外の矩形に挿入すること及び完全な矩形をエンコードすること、そして、デコーダで、この矩形のピクチャをデコードすること及び背景の領域も特定する前景の境界の輪郭を回復するためにクロマキーを抽出することによってのように、暗黙的にコーディングされてもよい。
【０１５２】
セグメンテーションマスク又は境界マップのコーディングに関して、これは、デコーダがデコーダに利用可能な同じ「マスク」又は「マップ」データへのアクセスを有することができるように、処理の複雑性、コーディング負荷、及びその他に起因して通常実行可能でないデコーダでセグメンテーションを実行することなく、エンコーダによって実行される。多数の解決策が、ラン／レングスｖｌｃコーディング、（ＪＢＩＧ規格を用いるような）ファックスのような予測バイナリ画像コーディング、（ＭＰＥＧ−４の）コンテキスト適応算術コーディング、バイナリマスクのブロック指向不可逆コーディング、及びセグメント化された境界のクロマキーベースの陰的表現、又は前景及び背景の領域を異なるように量子化器に処理させることによる単純な陰的表現のような他のもののように、セグメンテーションマスク及び／又は境界マップをエンコードするために利用可能である。特定の解決策の選択は、コーディングオーバーヘッド、複雑性、及びその他に依存する。
【０１５３】
第３の動作は、ビデオの全体のコーディング効率を改善するために、例えば、ＨＥＶＣのＢピクチャ又はＮＧＶのＦピクチャと共に、セグメンテーションマスク及び／又は境界マップの使用を含む。この点において、例示的なピクチャ構造１３００は、Ｆピクチャを再構成するための最大３つの潜在的な参照フレームを有するＦピクチャを有してよい。ピクチャ構造１３００は、階層／ピラミッド構造１３３６におけるＦピクチャを有してよく、合成済み共存予測（修正済みＰＩピクチャ１３３０、１３３２、１３３４）、及びツーパス又はマルチパスコーディングを伴ういくつかのＦピクチャを用い、Ｆピクチャｎ＋３（１３０８）の背景の領域が、第１のパスでコーディングされ得、Ｆピクチャｎ＋３（１３０８）の前景の領域が第２のパスでコーディングされ得る。より具体的には、ピクチャ構造１３００のセクションは、Ｐピクチャ、及び（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能な）複数の進化型のＦピクチャを示すビデオコーディングが提供される。ピクチャ構造１３００は、時間ｎ（１３０２）、ｎ＋１（１３０４）、及びｎ＋５（１３１２）におけるＰピクチャ、時間ｎ＋２（１３０６）、ｎ＋３（１３０８）、及びｎ＋４（１３１０）におけるＦピクチャを有し、Ｆピクチャ１３０６及び１３１０は、複数の非参照（non-reference）又は非因果（non-causal）Ｆピクチャであるように示され、それらは、任意の他のピクチャの予測のための参照として用いられない。時間ｎ＋３におけるＦピクチャ（１３０８）は、参照Ｆピクチャである。
【０１５４】
ピクチャコーディング構造１３００は、ｐピクチャ及びｆピクチャの両方を伴うが、時間ｎ＋３（１３０８）及びｎ＋５（１３１２）における複数のピクチャのチェーンコーディングを伴うチェーンコーディングを部分的に含むハイブリッドである。言い換えれば、Ｐピクチャ１３０４は、矢印１３１４によって示されるように、Ｆピクチャ１３０８に対する参照であり、Ｆピクチャ１３０８は、矢印１３２０によって示されるように、Ｐピクチャ１３２４に対する参照である。時間ｎ＋２（１３０６）及びｎ＋４（１３１０）における複数のピクチャの両方が、それ自体が少なくとも２つの可能性のある複数の参照フレームを有するＦピクチャ参照（１３０８）を有するＦピクチャであるので、ピクチャ構造１３００は、時間ｎ＋２（１３０６）及びｎ＋４（１３１０）における複数のピクチャの階層／ピラミッドコーディングも部分的に含む。回りまわって依存順序に関係するピクチャ構造１３００に対するコーディング順序は、時間ｎ＋１におけるＰピクチャ（１３０４）が後に続く時間ｎにおけるＰピクチャ（１３０２）の第１のコーディングを含む。時間「ｎ」及び時間「ｎ＋１」の表記は、例として示されるだけであり、それらが、これらの２つのＰピクチャ１３０２及び１３０４の間の少なくとも１つのＦピクチャのような中間の複数のフレームなしに、コーディング順序又は表示において直接的に隣接するフレームであることを必ずしも示唆しないことが理解されるだろう。そして、コーディングは、時間ｎ＋５におけるＰピクチャ（１３１２）のコーディングが後に続く時間ｎ＋３におけるＦピクチャ（１３０８）に対する第１のパスにおいて実行される。そして、第２のパスは、時間ｎ＋３におけるＦピクチャ（１３０８）コーディングするために再び実行される。そして、時間ｎ＋２（１３０６）及び時間ｎ＋４（１３１０）におけるＦピクチャは、コーディングされる。ツーパスコーディングを提供することは、下で説明されるように、この構造によって全体の圧縮ゲインを改善し得る。
【０１５５】
ここでの一例のアプローチによれば、任意のピクチャのコーディングは、最大３つのデコードされた参照フレームを用いてよい。例えば、第１のパスにおいて、時間ｎ＋３におけるＦピクチャ（１３０８）は、矢印１３１４によって示されるように、参照として時間ｎ＋１におけるＰピクチャ（１３０４）を少なくとも用いてよい。Ｆピクチャ１３０８は、前景の領域１３１６を背景の領域１３１８から区別するセグメンテーションマスク（又は境界マップ）を有してよい。第１のパスにおいて、背景の領域１３１８がコーディングされ、この一部分のピクチャが、Ｐピクチャ１３１２の背景１３２２及び前景１３２４の両方の少なくとも一部をコーディングするために、時間ｎ＋１におけるＰピクチャ１３０４を用いる（矢印１３２１）と共に、時間ｎ＋５におけるＰピクチャ１３１２の背景１３２２の予測に利用可能になる。例えば、第２の参照として、時間的に離れた時間ｎにおけるピクチャ１３０２を用いることと比較すると、時間ｎ＋３におけるＦピクチャ（１３０８）の時間ｎ＋５におけるＰピクチャ（１３１２）へのより近い時間的な接近に起因して、Ｐピクチャ１３１２の改善されたコーディングがもたらされる。
【０１５６】
第２のパスに関して、ｎ＋５におけるＰピクチャ１３１２のコーディングの後に、残りの領域（例えば、時間ｎ＋３におけるＦピクチャ１３０８の新しい前景１３２８は、（１）破線の矢印１３２６によって示されるようなｎ＋５におけるＰピクチャ１３１２、（２）３つのＰＩフレーム１３３０、１３３２、及び１３３４のうちの時間ｎ＋３における合成済みＰＩフレーム１３３２、及び（３）再度、矢印１３１６によって示されるような時間ｎ＋１におけるＰピクチャ１３０４を用いてコーディングされる。しかし、この構成によって、第１に、ｎ＋３におけるＦピクチャ１３０８が、（例えば、Ｐピクチャ１３０２及び１３０４によって）完全にコーディングされて参照として利用可能な時間ｎ＋５におけるＰピクチャ１３１２を用いてコーディングされる場合と比較して、ｎ＋３におけるＦピクチャ１３０８が少し非効率的にコーディングされ得るように思われる。しかし、ここで説明される構成によって、（Ｐピクチャ１３０２よりむしろ時間的により近いＦピクチャ１３０８を参照として用いることによって）「ｎ＋５」におけるＰピクチャで達成されるコーディング利得は、（明示的に送信される場合）セグメンテーションマスクのコスト（例えば、ビットにおいて消費される負荷及び時間）を加えたｎ＋３におけるＦピクチャ１３０８へのコーディング効率の損失を上回るだろう。
【０１５７】
さらに、この例において、時間ｎ＋３におけるＦピクチャ１３０８の背景１３１８は、第１のパスにおいてコーディングされ、時間ｎ＋５におけるＰピクチャ１３１２の背景１３２２を予測するために参照として用いられ、前景１３２８は、第２のパスにおいてコーディングされ、その逆もまた可能である。したがって、例えば、ｎ＋３におけるＦピクチャ１３０８の前景１３１６／１３２８は、第２のパスにおいてコーディングされた背景１３１８とともに、第１のパスにおいてコーディングされ、時間ｎ＋５におけるＰピクチャ１３１２の前景１３２４を予測するための参照として用いられ得る。実際には、用いるべき構成の最良の選択は、背景１３１８における詳細のレベル、並びに前景１３１６の領域の動きのサイズ及び速度のようなコンテンツの複数の特性に依存し得る。例えば、動かない背景を有するシーンに対してさえ、２つの場合があり得、１つの場合において、前景はゆっくり動き、他の場合において、前景は速い動きを被り、異なる複数の構成を要求し得る。
【０１５８】
そして、異なる複数の参照フレームが複数のパスに対して用いられてよいが、いつもその場合でなくてよく、一例において、第１のパスは前の複数の参照を用いてよく、第２又は次のパスは、将来の複数の参照を用いてよいが、これは、同様に、逆にされて又は混ぜられてよいことがわかる。パスが多いほど、例えば、ピクチャの品質と釣り合わなければならないコーディングコストが大きくなるが、要望通りの３又はより多いパスのような２つより多いパスが提供されてよいことが理解されるだろう。
【０１５９】
第２のパスが、Ｆピクチャ１３０６及び１３１０に対して修正済みＰＩピクチャ１３３０及び１３３４をそれぞれ用いる可能性を含むことを除いて、Ｆピクチャ１３０８と同様に、Ｆピクチャ１３０６及び１３１０が２又はより多いパスでコーディングされてもよいこともシーケンス１３００から理解される。
【０１６０】
ここで図１４を参照すると、ピクチャ構造１４００は、ピクチャ構造１３００に類似し、最大３つの参照を伴うＦピクチャを有し、Ｆピクチャの階層／ピラミッド構造１４３６を含み、合成済み共存予測（修正済みＰＩピクチャ１４３０、１４３２、１４３４）を用い、ツーパスコーディングを伴ういくつかのＦピクチャを用いる。第１のパスにおいて、前景１４１６及び背景１４１８が異なる品質でコーディングされてもよいが、ｎ＋３におけるＦピクチャ１４０８は、一例によれば、ほとんど又は実質的にフレーム全体をコーディングし、第２のパスは、前景の領域１４２８を完全な品質又は強化された品質に洗練する。より具体的には、ビデオコーディングを伴うピクチャ構造１４００は、ピクチャ構造１３００のものと類似であり、時間「ｎ」（１４０２）、「ｎ＋１」（１４０４）、及び「ｎ＋５」（１４１２）におけるＰピクチャを有し、時間「ｎ＋２」（１４０６）、「ｎ＋３」（１４０８）、及び「ｎ＋４」（１４１０）における複数の進化型のＦピクチャ（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能）を有してよい。ピクチャ構造１３００と同様に、ピクチャ構造１４００は、時間ｎ＋３（１４０８）及びｎ＋５（１４１２）における複数のピクチャの部分チェーンコーディング、並びに時間ｎ＋２（１４０６）及びｎ＋４（１４１０）におけるピクチャの部分階層／ピラミッドコーディングを有するハイブリッドであってよい。ピクチャ構造１４００をコーディングするための順序／依存は、時間「ｎ＋１」におけるＰピクチャ（１４０４）が後に続く時間「ｎ」におけるＰピクチャ（１４０２）、時間「ｎ＋３」におけるＦピクチャ（１４０８）（第１のパス）、時間「ｎ＋５」におけるＰピクチャ（１４１２）、時間「ｎ＋３」におけるＦピクチャ（１４０８）（第２のパス）、そして時間「ｎ＋２」（１４０６）における及び時間「ｎ＋４」（１４１０）におけるＦピクチャをコーディングすることを含む。したがって、説明されたように、時間「ｎ＋３」におけるＦピクチャ（１４０８）は、次に説明されるようなこの構造によって全体の圧縮ゲインを改善する目的で、２つのパスでコーディングされる。代替的に又はさらに、複数のＰＩピクチャ１４３０及び１４３２は、Ｆピクチャ１４０６及び１４１０の第２のパスをそれぞれコーディングするために同様に用いられてよい。
【０１６１】
前に説明されたように、任意のピクチャのコーディングに対して、最大３つの参照が許容されると仮定する。例えば、時間「ｎ＋３」におけるＦピクチャ（１４０８）のコーディング（第１のパス）は、矢印１４１４によって示されるように、参照として時間「ｎ＋１」におけるＰピクチャ（１４０４）を少なくとも用いてよい。フレーム「ｎ＋３」（１４０８）に対するセグメンテーションマスク（又は境界マップ）が利用可能である場合、それは、前景の領域１４１６から背景の領域１４１８を区別してよい。第１のパスにおいて、「ｎ＋３」におけるＦピクチャ（１４０８）の全体（又は実質的に全体、又はほとんど）は、例えば、背景１４１８がより高い品質でコーディングされるが、前景１４１６がより低い品質でコーディングされるような手法で、コーディングされる。そして、完全にデコードされた「ｎ＋３」におけるＦピクチャ（１４０８）は、矢印１４２１によって示されるような時間「ｎ＋１」におけるＰピクチャ（１４０４）に加えて、矢印１４２０によって示されるように、時間「ｎ＋５」におけるＰピクチャ（１４１２）の予測ための参照として用いられ得る。いくつかはより低い品質コーディングではあるが、フレームの完全にデコードされたここで意味のあるすべての又は実質的にすべてのエリアは、デコードされる。「ｎ＋３」（１４０８）から「ｎ＋５」（１４１２）のより近い時間的な接近に起因して、（両方の場合において、「ｎ＋１」における複数のピクチャ（１４０４）を参照として用いることに加えて）時間的に離れた時間「ｎ」におけるピクチャ（１４０２）を参照として用いることと比較して、時間「ｎ＋５」におけるＰピクチャ（１４１２）の改善されたコーディングがなされ得る。
【０１６２】
第２のパスにおいて、「ｎ＋５」におけるＰピクチャ（１４１２）のコーディングの後、時間「ｎ＋３」におけるＦピクチャ（１４０８）に関して、前景の領域１４２８は、破線の矢印１４２６によって示されるような「ｎ＋５」におけるＰピクチャ（１４１２）、「ｎ＋３」におけるＰＩピクチャ（１４３２）、及び破線の矢印１４１６によって示されるような「ｎ＋１」におけるＰピクチャ（１４０４）を参照として用いて差分信号をコーディングすることによって、品質において強化され得る。しかし、これは、「ｎ＋３」におけるＦピクチャ（１４０８）が、前景のツーパスコーディングにおける固有の冗長性に関連する損失に起因して、少し非効率的にコーディングされる可能性があることを意味する。しかし、Ｐピクチャ（１４１２）において達成されるコーディング利得が、（明示的に送信される場合）セグメンテーションマスクのコストを加えた「ｎ＋３」におけるＦピクチャ（１４０８）のコーディング効率の損失を上回ることが予測される。
【０１６３】
他の例によれば、時間「ｎ＋３」におけるＦピクチャ（１４０８）は、第１のパスにおける背景１４１８と比較して、より低い品質でコーディングされた（「ｎ＋５」におけるＰピクチャ（１４１２）の予測のために参照として用いられた「ｎ＋３」における第１のパスのＦピクチャ（１４０８）でデコードされた）前景１４１６を有してよい。これは、「ｎ＋５」におけるＰピクチャ（１４１２）をエンコードした後の時間「ｎ＋３」におけるＦピクチャ（１４０８）の第２のパスのコーディングにおける前景（１４２８）のコーディング品質の強化が後に続いてよい。別のやり方では、その逆も可能であり、第１のパスにおいて、背景１４１８がより低い品質でコーディングされ得るが、前景１４１６／１４２８が高い品質でコーディングされ得る。そのような構成において、時間ｎ＋３におけるＦピクチャ（１４０８）についての第２のパスは、時間ｎ＋５におけるＰピクチャ（１４１２）がすでにコーディング／デコードされた後に、背景のコーディングを洗練するために用いられ得る。実際には、用いるべき構成の最良の選択は、上で説明されたようなコンテンツの複数の特性に依存し得る。
【０１６４】
図１５を参照すると、ピクチャ構造１３００及び１４００に類似のピクチャ構造１５００は、Ｐピクチャ及び複数の進化型のＦピクチャ（複数の進化型のＢピクチャをもたらすＢピクチャにも適用可能）を有する。ピクチャ構造１５００は、時間「ｎ」（１５０２）、「ｎ＋１」（１５０４）、及び「ｎ＋５」（１５１２）におけるＰピクチャ、並びに時間「ｎ＋２」（１５０６）、「ｎ＋３」（１５０８）、及び「ｎ＋４」（１５１０）におけるＦピクチャを有し、「ｎ＋２」（１５０６）及び「ｎ＋４」（１５１０）におけるＦピクチャは、非参照Ｆピクチャであるように示される（それらは任意のピクチャの予測のための参照として用いられない）のに対して、時間「ｎ＋３」におけるＦピクチャ（１５０８）は、参照Ｆピクチャである。ピクチャ構造１５００は、例えば、矢印１５１４によって示されるように時間「ｎ＋３」におけるＦピクチャ（１５０８）、及び矢印１５２０によって示されるように時間「ｎ＋５」におけるＰピクチャ（１５１２）の部分チェーンコーディングを伴うハイブリッドである。ピクチャ構造１５００は、時間「ｎ＋２」（１５０６）及び「ｎ＋４」（１５１０）における複数のピクチャの部分階層／ピラミッドコーディング１５４０も用いる。システムが、ＮＧＶ及びＨＥＶＣの両方が３つより多い参照をサポートし、特に、ＮＧＶが最大４つの現実の参照をサポートし、ＨＥＶＣが最大５つの参照をサポートする場合のような、再構成されるべきフレームに関連付けられる３つ又はより多い参照の使用をサポートする場合、ピクチャ構造１５００は、マルチ参照スキーム１５３８を採用してもよい。したがって、図示された例におけるマルチ参照コーディングに関して、Ｆピクチャ（１５０６）、１５０８、及び１５１０は、矢印１５２１、１５２３、及び１５２５によって示されるように、それぞれがＰピクチャ１５０２を追加の参照として用いてよい。ピクチャ構造１５００に対するコーディングの順序、及び回りまわって関連する依存は、矢印１５２９によって示されるように参照としてＰピクチャ１５０２を用いた、時間「ｎ＋１」におけるＰピクチャ（１５０４）が後に続く時間「ｎ」におけるＰピクチャ（１５０２）のコーディングを含む（時間「ｎ」及び時間「ｎ＋１」の表記は、例として示されるだけであり、これらの２つのＰピクチャの間に「Ｆ」ピクチャがあり得ないことを示唆しない）。次に、第１のパスを形成するために、コーディング順序は、矢印１５１４によって示されるような参照１５０６による、及び利用可能な場合には、矢印１５２３によって示されるような参照１５０２による時間「ｎ＋３」におけるＦピクチャ（１５０８）のコーディングを含んでよい。これは、矢印１５２０、１５２７、及び／又は１５３１によって示されるような時間「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングが後に続いてよい。Ｐピクチャ１５１２がデコードされると、時間「ｎ＋３」におけるＦピクチャ（１５０８）が少なくとも参照１５１２（矢印１５２６）、参照１５０４（矢印１５１６）、及び修正済みＰＩピクチャ１５３２を用いてコーディングされ得るように、第２のパスが形成され得る。これは、時間「ｎ＋２」（１５０６）における及び時間「ｎ＋４」（１５１０）におけるＦピクチャのコーディングが後に続いてよい。したがって、時間「ｎ＋３」におけるＦピクチャ（１５０８）は、次に説明されるようなこの構造によって全体の圧縮ゲインを改善する目的で２つのパスでコーディングされる。
【０１６５】
ハイブリッドピクチャ構造１５００は、修正済み（モーフィング済み及び合成済み）マルチ参照予測、及びツーパスコーディングを伴う複数の進化型のＦピクチャを有してよい。一例によれば、任意のピクチャのコーディングに関して、３つ又は４つのデコードされたフレームを有するマルチ参照構造が参照として用いられると仮定する。例えば、ピクチャ構造１５００に関して、及び時間「ｎ＋３」におけるＦピクチャ（１５０８）の（第１のパスにおける）コーディングに関して、複数の参照は、時間「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャ、並びに時間「ｎ−１」におけるピクチャ（不図示）であってよい。また、フレーム「ｎ＋３」に対するセグメンテーションマスク（又は境界マップ）が、背景の領域１５１８を前景の領域１５１６から区別するために利用可能であると仮定する。第１のパスにおいて、「ｎ＋３」におけるＦピクチャ（１５０８）の背景の領域１５１８は、時間「ｎ＋５」におけるＰピクチャ（１５１２）の予測に利用可能になるようにコーディングされる。述べられたように、Ｐピクチャ１５１２は、（第１のパスにおいて）部分的にコーディングされた時間「ｎ＋３」におけるＦピクチャ（１５０８）だけでなく、「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャを参照として用いることによって形成され得る。「ｎ＋３」（１５０８）から「ｎ＋５」（１５１２）のより近い時間的な接近に起因して、時間「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングは、（両方の場合において、「ｎ」（１５０２）及び「ｎ＋２」（１５０６）におけるピクチャを参照として用いることに加えて、）時間的に離れた時間「ｎ−１」におけるピクチャを参照として用いることと比較して改善され得る。「ｎ＋５」におけるＰピクチャ（１５１２）のコーディングの後、時間「ｎ＋３」におけるＦピクチャ（１５０８）の残りの領域（例えば、前景１５２８）は、「ｎ」（１５０２）及び「ｎ＋１」（１５０４）におけるＰピクチャ並びに時間（ｎ＋３）におけるＰＩピクチャ（１５３２）を用いることに加えて、「ｎ＋５」におけるＰピクチャ（１５１２）を用いてコーディングされる。しかし、これは、「ｎ＋３」におけるＦピクチャ（１５０８）が、時間「ｎ＋５」におけるＰピクチャ（１５１２）の全体が参照として利用可能にされる階層／ピラミッドとしてコーディングされるときと比較して、「ｎ＋３」におけるＦピクチャ（１５０８）が少し非効率的にコーディングされる可能性があることを意味する。しかし、Ｐピクチャにおいて達成されるコーディング利得が、（明示的に送信される場合）セグメンテーションマスクのコストを加えた「ｎ＋３」におけるＦピクチャ（１５０８）のコーディング効率の損失を上回ることが予測される。
【０１６６】
他の例によれば、時間「ｎ＋２」における非参照Ｆピクチャ（１５０６）は、時間「ｎ＋１」における前のデコードされたＰピクチャ（１５０４）、時間「ｎ＋３」における次のデコードされたＦピクチャ（１５０８）、時間「ｎ＋２」における共存ＰＩピクチャ（１５３０）、及び時間「ｎ＋５」におけるＰピクチャ（１５１２）（矢印不図示）を用いて、第１及び第２のパスの組み合わせでコーディングされてよい。同様に、時間「ｎ＋４」における非参照Ｆピクチャ（１５１０）は、時間「ｎ＋１」におけるＰピクチャ（１５０４）（矢印なし）、時間「ｎ＋３」における前のデコードされたＦピクチャ（１５０８）、時間「ｎ＋４」における共存ＰＩピクチャ（１５３４）、及び時間「ｎ＋５」における次のＰピクチャ（１５１２）を用いて、第１及び第２のパスの組み合わせでコーディングされてよい。
【０１６７】
ピクチャ構造１５００は、ピクチャ構造１３００のように、背景対前景によって分割されたセグメントを用いて開示されたが、ピクチャ構造１５００は、コーディングの品質によって決定されるセグメント分割に代えて、ピクチャ構造１４００によって提供されたセグメント分割を有し得る。また、ツーパスコーディングは、各場合において開示されたが、２つより多いパスが提供されてよく、それら自体が１つより多い又は多くないパスにおいてコーディングされる参照を用いること含むことが理解される。また、ピクチャ構造１３００、１４００、及び１５００は、セグメント化された前景及び背景の領域のツーパスコーディング又はマルチパスコーディングがＦピクチャに適用可能であることを示す。Ｂピクチャへの応用は、下で説明される。
【０１６８】
図１６を参照すると、エンコーダ１００のようなエンコーダに対する動き推定及び補償予測サブシステム（ＭＥＣＰＳ）１６００は、ＮＧＶコーデック、階層及び／又はチェーンの複数のピクチャ、及び修正済み（モーフィング済み又は合成済み）マルチ参照予測を拡張する複数の進化型の（ツーパス又はマルチパス）Ｆピクチャをサポートする。ＮＧＶコーデックは、Ｉ、Ｐ、及びＦピクチャ、現実の参照を用いて生成された複数のモーフィング済み参照ピクチャ又は複数の合成済み参照画像を有する複数の修正済みマルチ参照もサポートする。このサブシステム１６００は、複数のマルチ参照フレームストア及びフレームセレクタ１６０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及び依存ロジックユニット１６０４（ピクチャシーケンシングロジックユニット、又は階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスｆピクチャ、ｆピクチャ、ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１６０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１６０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１６０２によって実行されてよい。サブシステム１６００は、モーフィング及び合成パラメータ推定部及びフレームジェネレータ１６０６（モーフィング（ＧＣ、ＢＣ、ＲＣ、ＤＣ）及び合成（ＳＲ及び／又はＰＩ）パラメータ推定部及びフレームジェネレータとも称される）を有してもよい。このユニット１６０４は、複数の修正済み参照フレームを提供するために複数のパラメータを用いる。サブシステム１６００は、動き推定部１６０８（二分木パーティションのブロック動き推定ユニット又は動き推定部とも称される）、及び動き補償ユニット１６１０（補償予測ユニット又は動き補償予測部及び補間予測部とも称される）を有してもよい。
【０１６９】
サブシステム１６００の動作は、次のように説明される。デコードされた複数のフレームは、マルチ参照制御装置１６０２に入り、（依存ロジックユニット１６０４によって特定されるような）複数の参照フレームとして用いられる複数のフレームは、制御装置１６０２に格納される。さらに、予測されてコーディングされるフレームの位置及びランクに依存して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１６０４によって特定される。モーフィング及び合成パラメータ推定部及びフレームジェネレータ１６０６は、複数のモーフィング及び合成パラメータを計算し、複数のモーフィング済み参照ピクチャ及び複数の合成済みピクチャを生成する。動き推定ユニット１６０８は、複数の動きベクトルを生成し、必要に応じて動き補償予測又は補間された予測を生成する動き補償ユニット１６１０に、元のフレーム及び複数の動きベクトルを渡す。ツーパス又はマルチパスの複数の進化型のＦピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
【０１７０】
図１７を参照すると、デコーダに対する動き補償予測サブシステム１７００は、ツーパス又はマルチパスコーディングを伴う複数の進化型のＦピクチャをサポートし、ＮＧＶコーデックを拡張する。ＮＧＶコーデックは、階層及び／又はチェーンの複数のピクチャ、現実の参照を用いて生成される修正済み（モーフィング済み又は合成済み）マルチ参照予測、並びにＩ、Ｐ、及びＦピクチャをサポートする。このサブシステム１７００は、複数のマルチ参照フレームストア及びフレームセレクタ１７０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及び依存ロジックユニット１７０４（ピクチャシーケンシングロジックユニット、又は階層／チェーンピクチャ構造及び修正マルチ参照予測における進化型ツーパスｆピクチャ、ｆピクチャ、ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１７０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１７０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１７０２によって実行されてよい。サブシステム１７００は、モーフィング及び合成パラメータ推定部及びフレームジェネレータ１７０６（モーフィング（ＧＣ、ＢＣ、ＲＣ、ＤＣ）及び合成（ＳＲ及び／又はＰＩ）パラメータ推定部及びフレームジェネレータとも称される）を有してもよい。このユニット１７０４は、複数の修正済み参照フレームを提供するために複数のパラメータを用いる。サブシステム１７００は、動き補償ユニット１７０８（補償予測ユニット又は動き補償予測部及び補間予測部とも称される）を有してもよい。
【０１７１】
サブシステム１７００の動作は、次のように説明される。デコードされた複数のフレームは、マルチ参照制御装置１７０２に入り、（依存ロジックユニット１７０４によって特定されるような）複数の参照フレームとして用いられる複数のフレームは、制御装置１７０２に格納される。さらに、予測されてコーディングされるフレームの位置及びランクに依存して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１７０４によって特定される。モーフィング及び合成パラメータ推定部及びフレームジェネレータ１７０６は、複数のモーフィング及び合成パラメータを計算し、複数のモーフィング済み参照ピクチャ及び複数の合成済みピクチャを生成する。複数の元のフレーム及び複数の動きベクトルｍｖは、必要に応じて動き補償予測又は補間された予測を生成する動き補償ユニット１７０８に提供される。ツーパス又はマルチパスの複数の進化型のＦピクチャに関して、動き補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
【０１７２】
図１８を参照すると、（階層１８４０及び柔軟な）ピクチャコーディング構造１８００のハイブリッドのセクションは、Ｐ及びＢピクチャのコーディング、マルチ参照予測１８３８の使用、及びツーパスコーディングされたＢピクチャを用いる。例えば、時間間隔「ｎ」（１８０２）、「ｎ＋１」（１８０４）、「ｎ＋５」（１８１２）におけるピクチャは、Ｐピクチャであり、時間間隔「ｎ＋２」（１８０６）、「ｎ＋３」（１８０８）、及び「ｎ＋４」（１８１０）における他のピクチャは、Ｂピクチャである。時間間隔「ｎ＋２」（１８０６）及び「ｎ＋４」（１８１０）におけるＢピクチャは、他のピクチャの予測に用いられない非参照Ｂピクチャであり、時間間隔「ｎ＋３」におけるＢピクチャは、進化型の（ツーパス又はマルチパス）Ｂピクチャ１８０８である。さらに、予測されてコーディングされる単一のフレームは、複数のフレームの高効率な予測及びコーディングのために、３つ又は４つの参照のような複数の参照を有してよい。ツーパス（又はマルチパス）Ｂピクチャ以外の、Ｐ及びＢピクチャを用いるコーディング環境の残りは、ＨＥＶＣを含む既存のＭＰＥＧ規格と同様でよい。このコーディング構造を示す主な目的は、ＨＥＶＣ規格が、Ｂピクチャのコーディングのように、進化型の（ツーパス又はマルチパス）Ｂピクチャをもたらすツーパス又はマルチパスのピクチャコーディングのアプローチで拡張され得ることを示すことである。ピクチャシーケンス１８００を用いる複数のツーパスＢピクチャの詳細な動作は、前景及び背景のコーディングがツーパスにおいて分けられるピクチャシーケンス１３００のような、又はフレーム全体が部分を除いてより低い品質でコーディングされて第２のパスで通常にされるか強化されるピクチャシーケンス１４００のようなコーディング及びセグメンテーションを用いて実行されてよい。後者の例は、ピクチャシーケンス１８００に対して下で用いられる。
【０１７３】
ピクチャシーケンス１８００に関して、時間「ｎ＋１」におけるＰピクチャ（１８０４）は、時間「ｎ」における過去のデコードされたＰピクチャ（１８０２）、及び利用可能であれば他の過去のデコードされたピクチャを用いることによって、通常のＰピクチャコーディング１８３６でコーディングされる。次に、第１のパスに関して、時間「ｎ＋３」におけるＢピクチャ（１８０８）は、ピクチャ全体又は実質的にピクチャ全体をコーディングする参照として、少なくとも、矢印１８１８によって示されるような時間「ｎ＋１」におけるデコードされたＰピクチャ（１８０４）、及び矢印１８２１によって示されるような時間「ｎ」（１８０２）を用いてコーディングされる。ただし、前景の領域１８１６及び背景の領域１８１４がセグメンテーションマスク（ｓｅｇｍｓｋ）情報を用いて異なる品質で全てコーディングされる。他の過去のフレームは、同様に用いられてよい。次に、時間「ｎ＋５」におけるＰピクチャ（１８１２）がコーディングされる。Ｐピクチャに代えて、ＨＥＶＣは、汎用のＢピクチャの使用を許可する。いずれの場合においても、そのピクチャは、矢印１８２３によって示されるような時間「ｎ」（１８０２）、時間「ｎ＋１」（１８０４）（矢印不図示）におけるデコードされた複数のフレーム、及び矢印１８２０によって示されるような時間「ｎ＋３」（１８０８）における第１のパスのピクチャを少なくとも用いてコーディングされる。時間「ｎ＋５」におけるＰピクチャ（１８１２）をエンコードした後、第２のパスは、矢印１８２５によって示されるような時間「ｎ」（１８０２）、矢印１８１６によって示されるような「ｎ＋１」（１８０４）、矢印１８２６によって示されるような「ｎ＋５」（１８１２）におけるピクチャ、及び第１のパスのｎ＋３自体（前景１８１６を有する１８０８）を参照として用いて、時間「ｎ＋３」におけるＢピクチャ（１８０８）を引き受ける。これらの参照で、改善された品質の前景１８２８が、コーディングによって確立される。非参照Ｂピクチャは、次にコーディングされる。時間「ｎ＋２」におけるＢピクチャ（１８０６）のコーディングに関して、少なくとも時間「ｎ＋１」（１８０４）及び「ｎ＋３」（１８０８）におけるデコードされた隣接するピクチャ、並びに時間「ｎ＋５」におけるピクチャ（１８１２）が用いられてよい。同様に、時間「ｎ＋４」におけるＢピクチャ（１８１０）のコーディングに関して、少なくとも時間「ｎ＋３」（１８０８）及び「ｎ＋５」（１８１２）におけるデコードされた隣接するピクチャ、並びに時間「ｎ＋１」におけるピクチャ（１８０４）が用いられてよい。上記のとおり、それが時間的により近いので、このアプローチで、時間「ｎ＋３」におけるＢピクチャ（１８０８）に対する非常に小さい品質の損失は、Ｂピクチャ１８０８によって時間「ｎ＋５」におけるピクチャ（１８１２）のコーディングにおいて得られるより大きいゲインによって容易に相殺される。
【０１７４】
図１９を参照すると、ＨＥＶＣ規格エンコーダのようなエンコーダに対する動き推定及び補償予測サブシステム（ＭＥＣＰＳ）１９００は、ＨＥＶＣ又はＭＰＥＧ−４コーデック、階層及び／又は柔軟なピクチャ構造、及びマルチ参照予測を拡張する複数の進化型の（ツーパス又はマルチパス）Ｂピクチャをサポートする。コーデックは、Ｉ、Ｐ、及びＢピクチャもサポートし、ピクチャをコーディングするために４つから５つの（修正されていないような）現実の参照を用いてよい。このサブシステム１９００は、複数のマルチ参照フレームストア及び複数のフレーム選択リスト１９０２（フレームストアユニット又はマルチ参照制御装置とも称される）、及びＢピクチャに対する依存ロジックユニット１９０４（ピクチャシーケンシングロジックユニット、又は階層／柔軟ピクチャ構造及びマルチ参照予測における進化型ツーパスＢピクチャ、Ｂピクチャ、Ｐピクチャに対する依存ロジック又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置１９０２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット１９０４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置１９０２によって実行されてよい。サブシステム１９００は、動き推定部１９０６（ブロック動き推定ユニット又は動き推定部予測ユニットパーティションとも称される）、及び動き補償ユニット１９０８（動き補償予測ユニット又は動き補償（ＭＣ）予測部及び予測ユニットパーティションのＭＣ双方向予測部とも称される）を有してもよい。
【０１７５】
サブシステム１９００の動作は、次のように説明される。デコードされた複数のピクチャは、マルチ参照制御装置１９０２に入り、（依存ロジックユニット１９０４によって特定される）参照として用いられる複数のピクチャは、このユニットに格納される。さらに、（例えば、フレーム階層における）フレームの位置に依存して、実行される必要がある予測に対して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット１９０４によって特定される。特定された複数の参照画像は、動き推定ユニット１９０６及び動き補償ユニット１９０８によって直接用いられる。動き推定ユニット１９０６は、動きベクトルを生成し、必要に応じて動き補償予測又は双方向予測を生成する動き補償ユニット１９０８に、複数の元のフレーム及び複数の動きベクトルを渡す。進化型のツーパスＢピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
【０１７６】
図２０を参照すると、動き補償予測サブシステム（ＭＣＰＳ）２０００は、階層及び／又は柔軟なピクチャ構造、及びマルチ参照コーディングをサポートするＨＥＶＣ規格を拡張する進化型のツーパス又はマルチパスのＢピクチャをサポートする。ＨＥＶＣ規格は、Ｉ、Ｐ、及びＢピクチャ、並びに４つから５つの現実の（又は修正されていない）参照を用いるマルチ参照もサポートする。このサブシステム２０００は、複数のマルチ参照フレームストア及び複数のフレーム選択リスト２００２（フレームストアユニット又はマルチ参照制御装置とも称される）、及びＢピクチャに対する依存ロジックユニット２００４（ピクチャシーケンシングロジックユニット、又は階層／柔軟ピクチャ構造及びマルチ参照予測における進化型ツーパスＢピクチャ、Ｂピクチャ、Ｐピクチャに対する依存ロジック、又は単純に依存ロジックユニットとも称される）を有する。マルチ参照制御装置２００２は、参照として用いられるためのデコードされた複数のフレームを保持し、依存ロジックユニット２００４は、再構成されるフレームに複数の参照フレームを割り当てる複数のインデックスを有し、このタスクは、同様に、マルチ参照制御装置２００２によって実行されてよい。サブシステム２０００は、動き補償ユニット２００６（動き補償予測ユニット又は動き補償（ＭＣ）予測部及び予測ユニットパーティションのＭＣ双方向予測部とも称される）を有してもよい。
【０１７７】
デコーダサブシステム２０００の動作は、次のように説明される。デコードされた複数のピクチャは、マルチ参照制御装置２００２に入り、（依存ロジックユニット２００４によって特定される）参照として用いられる複数のピクチャは、このユニットに格納される。さらに、（例えば、フレーム階層における）フレームの位置に依存して、実行される必要がある予測に対して、複数の参照フレームは、エンコードパラメータ及び適応選択により依存ロジックユニット２００４によって特定される。特定された複数の参照画像及びデコードされた動きベクトルは、動き補償ユニット２００６によって直接用いられる。動き補償ユニット２００６は、必要に応じて動き補償予測又は双方向予測を生成する。進化型のツーパスＢピクチャに関して、動き推定及び補償が、複数の進化型のＦピクチャに用いられる構成及び処理されている「パス」に依存する前景、背景、又は両方の領域について実行され得るように、セグメンテーションマスク（ｓｅｇｍｓｋ）信号は、前景及び／又は背景の情報をモニタするために用いられる。
【０１７８】
ここでの例示的な処理の実施例は、説明された順序で示された全ての動作を扱うことを含んでよいが、本開示は、この点で限定されず、様々な例において、ここでの例示的な処理の実施例は、示された動作のサブセットのみを扱うことを含んでよく、及び／又は説明されたものとは異なる順序であってよい。
【０１７９】
ここで説明されたシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア及び／又はそれらの任意の組み合わせで実装されてよい。例えば、ここで説明されたシステムの様々なコンポーネントは、少なくとも部分的に、例えば、スマートフォンのようなコンピューティングシステムにおいて見られ得るように、コンピューティングシステムオンチップ（ＳｏＣ）のハードウェアによって提供されてよい。当業者は、ここで説明されたシステムが対応する図面に示されていない追加のコンポーネントを含み得ることを認識し得る。例えば、ここで説明されたシステムは、明確さのために示されていない、ビットストリームマルチプレクサ又はデマルチプレクサモジュール及びその類のもののような追加のコンポーネントを含んでよい。
【０１８０】
加えて、ここで説明された複数の動作の任意の１又は複数は、１又は複数のコンピュータプログラムプロダクトによって提供される複数の命令に応えて扱われてよい。そのような複数のプログラムプロダクトは、例えば、プロセッサ等により実行される場合、ここで説明される機能性をもたらし得る命令を提供する信号記録媒体を含んでもよい。コンピュータプログラムプロダクトは、１又は複数の機械可読媒体の任意の形式で提供されてよい。したがって、例えば、１又は複数のプロセッサコアを含むプロセッサは、１又は複数の機械可読媒体によってプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応えて、ここでの例示的な処理の動作の１又は複数を扱ってよい。一般的に、機械可読媒体は、ここで説明されたデバイス及び／又はシステムのいずれかに、ここで説明されたようなビデオシステムの少なくとも部分を実装させ得るプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
【０１８１】
図２１は、本開示の少なくともいくつかの実施例に従って配置される、例示的なビデオコーディングシステム２１００を示す図である。図示された実施例において、ビデオコーディングシステム２１００は、（複数の）画像処理デバイス２１０１、ビデオエンコーダ１００、ビデオデコーダ２００（及び／又は（複数の）処理ユニット２１２０のロジック回路２１５０を用いて実装されるビデオコーダ）、アンテナ２１０２、１又は複数のプロセッサ２１０３、１又は複数のメモリ記憶装置２１０４、及び／又はディスプレイデバイス２１０５を含んでよい。
【０１８２】
図示されるように、（複数の）画像処理デバイス２１０１、アンテナ２１０２、（複数の）処理ユニット２１２０、ロジック回路２１５０、ビデオエンコーダ１００、ビデオデコーダ２００、（複数の）プロセッサ２１０３、（複数の）メモリ記憶装置２１０４、及び／又はディスプレイデバイス２１０５は、互いに通信可能であってよい。説明されるように、ビデオエンコーダ１００及びビデオデコーダ２００の両方とともに図示されたが、ビデオコーディングシステム２１００は、様々な例において、ビデオエンコーダ１００のみ又はビデオデコーダ２００のみを含んでよい。さらに、ビデオエンコーダ及び／又はビデオデコーダに関して説明されたが、システム２１００は、いくつかの例において、図７のビデオエンコーダ７００及び／又は図８のデコーダ８００を実装してよい。
【０１８３】
図示されるように、いくつかの例において、ビデオコーディングシステム２１００は、アンテナ２１０２を含んでよい。アンテナ２１０２は、例えば、ビデオデータのエンコードされたビットストリームを送信又は受信するように構成されてよい。さらに、いくつかの例において、ビデオコーディングシステム２１００は、ディスプレイデバイス２１０５を含んでよい。ディスプレイデバイス２１０５は、ビデオデータを提示するように構成されてよい。図示されるように、いくつかの例において、ロジック回路２１５０は、（複数の）処理ユニット２１２０を用いて実装されてよい。（複数の）処理ユニット２１２０は、特定用途向け集積回路（ＡＳＩＣ）ロジック、（複数の）グラフィックスプロセッサ、（複数の）汎用プロセッサ、又はその類のものを含んでよい。ビデオコーディングシステム２１００は、任意的な（複数の）プロセッサ２１０３を含んでもよく、特定用途向け集積回路（ＡＳＩＣ）ロジック、（複数の）グラフィックスプロセッサ、（複数の）汎用プロセッサ、又はその類のものを同様に含んでもよい。いくつかの例において、ロジック回路２１５０は、ハードウェア、ビデオコーディング専用ハードウェア、又はその類のもので実装されてよく、（複数の）プロセッサ２１０３は、汎用ソフトウェア、オペレーティングシステム、又はその類のもので実装されてよい。加えて、（複数の）メモリ記憶装置２１０４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）又は不揮発性メモリ（例えば、フラッシュメモリなど）及びその他のようなメモリの任意のタイプであってよい。非限定的な例において、（複数の）メモリ記憶装置２１０４は、キャッシュメモリによって実装されてよい。いくつかの例において、ロジック回路２１５０は、（複数の）メモリ記憶装置２１０４にアクセスしてよい（例えば、画像バッファの実施例に関して）。他の例において、ロジック回路２１５０及び／又は（複数の）処理ユニット２１２０は、画像バッファ及びその類のものの実施例に関して、複数のメモリ記憶装置（例えば、キャッシュ又はその類のもの）を含んでよい。
【０１８４】
いくつかの例において、ロジック回路で実装されるビデオエンコーダ１００は、（例えば、（複数の）処理ユニット２１２０又は（複数の）メモリ記憶装置２１０４を用いる）画像バッファ、及び（例えば、（複数の）処理ユニット２１２０を用いる）グラフィックス処理ユニットを含んでよい。グラフィックス処理ユニットは、画像バッファに通信可能に連結されてよい。グラフィックス処理ユニットは、図１、３、５、及び８に関して説明されたような様々なモジュールを具現化するために、ロジック回路２１５０で実装されるようなビデオエンコーダ１００（又はエンコーダ７００）を含んでよい。例えば、グラフィックス処理ユニットは、コーディングパーティションジェネレータロジック回路、適応変換ロジック回路、コンテンツプレアナライザ、エンコードコントローラロジック回路、適応エントロピーエンコーダロジック回路などを含んでよい。
【０１８５】
ロジック回路は、ここで説明される様々な動作を実行するように構成されてよい。ロジック回路は、ここで説明されたエンコーダ１００又は他の複数のエンコーダサブシステムを含んでよく、依存ロジック１２８によって提供されるインデックス付けに従って、再構成された複数のフレームを現在のフレームに対する参照フレームとして選択し得るマルチ参照フレームストレージ及びフレームセレクタ１１９を含んでよい。そして、モーフィング及び合成アナライザ１２０又は１２１は、複数の修正済み参照フレームを形成し、そして、動き推定部１２２は、現在のフレームのための複数の動き予測を形成するために複数の修正済み参照フレームを用いる。同様に、エンコーダにおけるアウトオブループ参照フレームの修正のためのモーフィング及び合成ジェネレータ１３０及び１３２に関する。グラフィックス処理ユニット２１２０、又はより具体的には、ロジック回路２１５０は、現在のフレームにおけるコンテンツに関連付けられる少なくとも第１及び第２のセグメントにピクセルフレームを分割するためにセグメンタを有してもよい。そして、複数のセグメントの定義は、例えば、図１−２に示されるようなそれらを必要とする各ユニット又はモジュールに提供されてよい。依存ロジック又は複数のマルチ参照制御装置のようなユニットは、どのフレームがセグメントに対して複数の参照フレームになるべきかを示すために提供されてよい。別のやり方ではグラフィックス処理ユニットは、ピクセルデータの複数のフレームのシーケンスに対するデータを受信し、現在のフレームの第１のセグメントに対する動きデータを提供し、第１のセグメントと異なる現在のフレームの少なくとも第２のセグメントをコーディングするために動きデータを提供するように構成されてよく、シーケンスは、表示の順序を有し、各フレームは、表示の順序の時間的な位置に関連付けられ、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、少なくとも第１及び第２のセグメントの両方からの動きデータは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、複数のセグメントの少なくとも１つをコーディングするための複数の参照フレームの使用は、複数のセグメントの他のものに対する複数の参照フレームと異なる時間に実行され、モーフィングアナライザは、モーフィング技術を用いるように構成されるか、合成アナライザは、合成技術を用いるように構成されるか、及び両方かの少なくともの１つである。ビデオデコーダ２００は、ここで説明されたものと同様の方法で実装されてよい。
【０１８６】
いくつかの例において、ビデオコーディングシステム２１００のアンテナ２１０２は、ビデオデータのエンコードされたビットストリームを受信するように構成されてよい。ビデオコーディングシステム２１００は、アンテナ２１０２に連結されてエンコードされたビットストリームをデコードするように構成されたビデオデコーダ２００（又はデコーダ１８００）を含んでもよい。
【０１８７】
複数の実施例において、ここで説明された特徴は、１又は複数のコンピュータプログラムプロダクトによって提供される命令に応えて扱われてよい。そのような複数のプログラムプロダクトは、例えば、プロセッサ等により実行される場合、ここで説明される機能性をもたらし得る命令を提供する信号記録媒体を含んでもよい。コンピュータプログラムプロダクトは、１又は複数の機械可読媒体の任意の形式で提供されてよい。したがって、例えば、１又は複数のプロセッサコアを含むプロセッサは、１又は複数の機械可読媒体によってプロセッサに伝達されるプログラムコード及び／又は命令又は命令セットに応えて、ここで説明された１又は複数の特徴を扱ってよい。一般的に、機械可読媒体は、ここで説明されたデバイス及び／又はシステムのいずれかに、ここで説明された特徴の少なくとも部分を実装させ得るプログラムコード及び／又は命令又は命令セットの形式でソフトウェアを伝達し得る。
【０１８８】
図２２は、本開示の少なくともいくつかの実施例に従って配置される、例示的なシステム２２００を示す図である。様々な実施例において、システム２２００は、このコンテキストに限定されないが、システム２２００は、メディアシステムであってよい。例えば、システム２２００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯用情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、自動露出カメラ）、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ、及びその他に組み込まれてよい。
【０１８９】
様々な実施例において、システム２２００は、ディスプレイ２２２０に連結されたプラットフォーム２２０２を含む。プラットフォーム２２０２は、（複数の）コンテンツサービスデバイス２２３０又は（複数の）コンテンツ配信デバイス２２４０又は他の同様な複数のコンテンツソースのようなコンテンツデバイスからコンテンツを受信してよい。１又は複数のナビゲーション機能を含むナビゲーションコントローラ２２５０は、例えば、プラットフォーム２２０２及び／又はディスプレイ２２２０と情報をやりとりするために用いられてよい。これらのコンポーネントのそれぞれは、下でより詳細に説明される。
【０１９０】
様々な実施例において、プラットフォーム２２０２は、チップセット２２０５、プロセッサ２２１０、メモリ２２１２、アンテナ２２１３、ストレージ２２１４、グラフィックスサブシステム２２１５、アプリケーション２２１６、及び／又は無線２２１８の任意の組み合わせを含んでよい。チップセット２２０５は、プロセッサ２２１０、メモリ２２１２、ストレージ２２１４、グラフィックスサブシステム２２１５、複数のアプリケーション２２１６、及び／又は無線機２２１８の間の相互通信を提供してよい。例えば、チップセット２２０５は、相互通信にストレージ２２１４を提供可能なストレージアダプタ（不図示）を含んでよい。
【０１９１】
プロセッサ２２１０は、複合命令セットコンピュータ（ＣＩＳＣ）又は縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットに準拠したプロセッサ、マルチコア、又は任意の他のマイクロプロセッサ又は中央演算処理ユニット（ＣＰＵ）として実装されてよい。様々な実施例において、プロセッサ２２１０は、（複数の）デュアルコアプロセッサ、（複数の）デュアルコアモバイルプロセッサ、及びその他であってよい。
【０１９２】
メモリ２２１２は、これらに限定されるものではないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）のような揮発性メモリデバイスとして実装されてよい。
【０１９３】
ストレージ２２１４は、これらに限定されるものではないが、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、取り付けストレージデバイス、フラッシュメモリ、バッテリバックアップされたＳＤＲＡＭ（同期型ＤＲＡＭ）、及び／又はネットワークアクセス可能ストレージデバイスのような不揮発性ストレージデバイスとして実装されてよい。様々な実施例において、ストレージ２２１４は、例えば、複数のハードドライブが含まれる場合、高価なデジタルメディアに対するストレージ性能の強化された保護を向上させる技術を含んでよい。
【０１９４】
グラフィックスサブシステム２２１５は、ディスプレイのために静止画又はビデオのような複数の画像の処理を実行してよい。グラフィックスサブシステム２２１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）であってよい。アナログ又はデジタルインターフェースは、グラフィックスサブシステム２２１５とディスプレイ２２２０とを通信可能に連結するために用いられてよい。例えば、インターフェースは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、ディスプレイポート（ＤｉｓｐｌａｙＰｏｒｔ）、無線ＨＤＭＩ（登録商標）、及び／又は複数の無線ＨＤ準拠技術のいずれかであってよい。グラフィックスサブシステム２２１５は、プロセッサ２２１０又はチップセット２２０５に統合されてよい。いくつかの実施例において、グラフィックスサブシステム２２１５は、チップセット２２０５に通信可能に連結されたスタンドアロンデバイスであってよい。
【０１９５】
ここで説明される複数のグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャで実装されてよい。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合されてよい。代替的には、別個のグラフィックス及び／又はビデオプロセッサが用いられてよい。さらに他の実施例として、複数のグラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって提供されてよい。さらなる実施形態において、複数の機能は、家庭用電子デバイスで実装されてよい。
【０１９６】
無線機２２１８は、様々な適切な無線通信技術を用いて信号の送信及び受信することが可能である１又は複数の無線機を含んでよい。そのような技術は、１又は複数の無線ネットワークをまたがる通信を包含してよい。例示的な無線ネットワークは、（これらに限定されないが）無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ネットワーク、及び衛星ネットワークを含んでよい。そのような複数のネットワークをまたがる通信では、無線２２１８は、任意のバージョンの１又は複数の適用可能な規格に従って動作してよい。
【０１９７】
様々な実施例において、ディスプレイ２２２０は、任意のテレビのタイプのモニタ又はディスプレイを含んでよい。ディスプレイ２２２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビのようなデバイス、及び／又はテレビを含んでよい。ディスプレイ２２２０は、デジタル及び／又はアナログであってよい。様々な実施例において、ディスプレイ２２２０は、ホログラフィックディスプレイであってよい。また、ディスプレイ２２２０は、視覚投影を受信し得る透明な面であってよい。そのような投影は、様々な形式の情報、画像、及び／又はオブジェクトを伝達してよい。例えば、そのような投影は、移動拡張現実（ＭＡＲ）アプリケーションの視覚的オーバレイであってよい。１又は複数のソフトウェアアプリケーション２２１６の制御下で、プラットフォーム２２０２は、ディスプレイ２２２０上にユーザインターフェース２２２２を表示してよい。
【０１９８】
様々な実施例において、（複数の）コンテンツサービスデバイス２２３０は、任意の国立の、国際の、及び／又は独立のサービスによって提供され、ひいては、例えば、インターネットを介してプラットフォーム２２０２にアクセス可能であってよい。（複数の）コンテンツサービスデバイス２２３０は、プラットフォーム２２０２に及び／又はディスプレイ２２２０に連結されてよい。プラットフォーム２２０２及び／又は（複数の）コンテンツサービスデバイス２２３０は、ネットワーク２２６０へ及びからのメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク２２６０に連結されてよい。（複数の）コンテンツ配信デバイス２２４０も、プラットフォーム２２０２に及び／又はディスプレイ２２２０に連結されてもよい。
【０１９９】
様々な実施例において、（複数の）コンテンツサービスデバイス２２３０は、デジタル情報及び／又はコンテンツを配信することができるケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、複数のインターネット対応デバイス又は家電製品、及び複数のコンテンツプロバイダとプラットフォーム２２０２及びディスプレイ２２２０との間で、ネットワーク２２６０を介して又は直接に、一方向又は双方向にコンテンツを通信することができる任意の他の類似のデバイスを含んでよい。コンテンツは、コンテンツプロバイダ及びシステム２２００における複数のコンポーネントのいずれか１つへ又はから一方向及び／又は双方向に、ネットワーク２２６０を介して通信されてよいことが理解されるだろう。コンテンツの例は、例えば、ビデオ、音楽、医療、ゲーム情報、及びその他を含む任意のメディア情報を含んでよい。
【０２００】
（複数の）コンテンツサービスデバイス２２３０は、メディア情報、デジタル情報を含むケーブルテレビプログラムのようなコンテンツ、及び／又は他のコンテンツを受信してよい。コンテンツプロバイダの例は、任意のケーブル若しくは衛星テレビ、又は無線若しくはインターネットコンテンツプロバイダを含んでよい。提供される例は、本開示に係る複数の実施例を決して限定するものではない。
【０２０１】
様々な実施例において、プラットフォーム２２０２は、１又は複数のナビゲーション機能を有するナビゲーションコントローラ２２５０から制御信号を受信してよい。コントローラ２２５０の複数のナビゲーション機能は、例えば、ユーザインターフェース２２２２と情報をやりとりするために用いられてよい。様々な実施形態において、ナビゲーションコントローラ２２５０は、ユーザがコンピュータに空間（例えば、連続及び多次元）データを入力することを許容するコンピュータハードウェアコンポーネント（特に、ヒューマンインターフェースデバイス）であり得るポインティングデバイスであってよい。複数のグラフィカルユーザインターフェース（ＧＵＩ）、並びに複数のテレビ及び複数のモニタのような多くのシステムは、ユーザが複数の物理的ジェスチャを用いてコンピュータ又はテレビジョンの制御及びそれへのデータの提供を許容する。
【０２０２】
コントローラ２２５０の複数のナビゲーション機能の移動は、ポインタ、カーソル、フォーカスリング、又はディスプレイ上に表示される他の視覚的インジケータの移動によって、ディスプレイ（例えば、ディスプレイ２２２０）上で複製されてよい。例えば、ソフトウェアアプリケーション２２１６の制御下で、ナビゲーションコントローラ２２５０上に位置づけられる複数のナビゲーション機能は、ユーザインターフェース２２２２上に表示される仮想的な複数のナビゲーション機能にマッピングされてよい。様々な実施形態において、コントローラ２２５０は、別個のコンポーネントでなくてよいが、プラットフォーム２２０２及び／又はディスプレイ２２２０に統合されてよい。しかし、本開示は、ここで示される又は説明される複数の構成要素又は内容に限定されない。
【０２０３】
様々な実施例において、複数のドライバ（不図示）は、例えば、初期起動後に機能が有効にされてボタンが操作されたテレビのように、複数のユーザがプラットフォーム２２０２を即座にオン及びオフにすることを可能にする技術を含んでよい。プログラムロジックは、プラットフォームが「オフ」にされている場合でさえ、プラットフォーム２２０２が複数のメディアアダプタ又は他の（複数の）コンテンツサービスデバイス２２３０又は（複数の）コンテンツ配信デバイス２２４０にコンテンツをストリーミングすることを許容してよい。加えて、チップセット２２０５は、例えば、５．１サラウンドサウンドオーディオ及び／又は高品位７．１サラウンドサウンドオーディオをサポートするハードウェア及び／又はソフトウェアを含んでよい。複数のドライバは、複数の統合グラフィックスプラットフォーム用のグラフィックスドライバを含んでよい。様々な実施形態において、グラフィックスドライバは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィックスカードを備えてよい。
【０２０４】
様々な実施例において、システム２２００に示される複数のコンポーネントのうちの任意の１又は複数は、統合されてよい。例えば、プラットフォーム２２０２及び（複数の）コンテンツサービスデバイス２２３０は統合されてよく、又は、プラットフォーム２２０２及び（複数の）コンテンツ配信デバイス２２４０は統合されてよく、又は、例えば、プラットフォーム２２０２、（複数の）コンテンツサービスデバイス２２３０、及びコンテンツ配信デバイス２２４０は統合されてよい。様々な実施形態において、プラットフォーム２２０２及びディスプレイ２２２０は、統合されたユニットであってよい。例えば、ディスプレイ２２２０及び（複数の）コンテンツサービスデバイス２２３０は統合されてよく、又はディスプレイ２２２０及び（複数の）コンテンツ配信デバイス２２４０は統合されてよい。これらの例は、本開示を限定することを意味するものではない。
【０２０５】
様々な実施形態において、システム２２００は、無線システム、有線システム、又は両方の組み合わせとして実装されてよい。無線システムとして実装される場合、システム２２００は、１又は複数のアンテナ、複数の送信機、複数のレシーバ、複数のトランシーバ、複数の増幅器、複数のフィルタ、複数の制御ロジック、及びその他のような無線共有媒体上で通信することに適した複数のコンポーネント及び複数のインターフェースを含んでよい。無線共有媒体の例は、ＲＦスペクトル及びその他のような無線スペクトルの複数の部分を含んでよい。有線システムとして実装される場合、システム２２００は、複数の入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する複数の物理コネクタ、ネットワークインターフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ及びその類のもののような有線通信媒体を介して通信することに適した複数のコンポーネント及び複数のインターフェースを含んでよい。有線通信媒体の例は、ワイヤ、ケーブル、複数の金属リード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、光ファイバ、及びその他を含んでよい。
【０２０６】
プラットフォーム２２０２は、情報を通信するために１又は複数の論理又は物理チャンネルを確立してよい。情報は、メディア情報及び制御情報を含んでよい。メディア情報は、ユーザ向けのコンテンツを表す任意のデータを指してよい。コンテンツの例は、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、ボイスメールメッセージ、複数の英数字記号、グラフィックス、画像、ビデオ、テキスト、及びその他からのデータを含んでよい。音声会話からのデータは、例えば、発話情報、複数の沈黙期間、バックグラウンドノイズ、快適ノイズ、複数のトーン、及びその他であってよい。制御情報は、自動化システム向けの複数のコマンド、複数の命令、又は複数の制御語を表す任意のデータを指してよい。例えば、制御情報は、システムを介してメディア情報をルーティングするために、又は予め定められた方法でメディア情報を処理することをノードに指示するために用いられてよい。しかし、複数の実施形態は、図２３に示される又は説明される複数の構成要素又は内容に限定されない。
【０２０７】
上述のように、システム２２００は、様々な物理スタイル又はフォームファクタで具現化されてよい。図２３は、システム２３００が具体化され得るスモールフォームファクタデバイス２３００の実施例を示す。様々な実施形態において、例えば、デバイス２３００は、無線機能を有するモバイルコンピューティングデバイスとして実装されてよい。例えば、モバイルコンピューティングデバイスは、処理システム、及び１又は複数のバッテリのような移動式の電源又は電力供給装置を有する任意のデバイスを指してよい。
【０２０８】
上述のように、モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯用情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、自動露出カメラ、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ）、及びその他を含んでよい。
【０２０９】
モバイルコンピューティングデバイスの例は、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、複数の靴コンピュータ、複数の衣服コンピュータ、及び他の複数のウェアラブルコンピュータのような、人に装着されるよう配置される複数のコンピュータを含んでもよい。様々な実施形態において、例えば、モバイルコンピューティングデバイスは、音声通信及び／又はデータ通信だけでなく、複数のコンピュータアプリケーションを実行可能なスマートフォンとして実装されてよい。いくつかの実施形態が、例として、スマートフォンとして実装されるモバイルコンピューティングデバイスを用いて説明され得るが、他の実施形態は、同様に、他の複数の無線モバイルコンピューティングデバイスを用いて実装されてよいことが理解されるだろう。複数の実施形態は、この内容に限定されない。
【０２１０】
図２３に示されるように、デバイス２３００は、筐体２３０２、ユーザインターフェース２３１０を含み得るディスプレイ２３０４、入力／出力（Ｉ／Ｏ）デバイス２３０６、及びアンテナ２３０８を含んでよい。デバイス２３００は、複数のナビゲーション機能２３１２を含んでもよい。ディスプレイ２３０４は、モバイルコンピューティングデバイスに適した情報を表示するための任意の適切なディスプレイユニットを含んでよい。Ｉ／Ｏデバイス２３０６は、モバイルコンピューティングデバイスに情報を入力するための任意の適切なＩ／Ｏデバイスを含んでよい。Ｉ／Ｏデバイス２３０６の例は、英数字キーボード、数字キーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス及びソフトウェア、並びにその他を含んでよい。情報は、マイク（不図示）を用いてデバイス２４００に入力されてもよい。そのような情報は、音声認識デバイス（不図示）によってデジタル化されてよい。複数の実施形態は、この内容に限定されない。
【０２１１】
様々な実施形態は、複数のハードウェア要素、複数のソフトウェア要素、又は両方の組み合わせを用いて実装されてよい。ハードウェア要素の例は、複数のプロセッサ、複数のマイクロプロセッサ、複数の回路、複数の回路要素（例えば、複数のトランジスタ、複数の抵抗器、複数のコンデンサ、複数のインダクタ、及びその他）、複数の集積回路、複数の特定用途向け集積回路（ＡＳＩＣ）、複数のプログラマブルロジックデバイス（ＰＬＤ）、複数のデジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複数のロジックゲート、複数のレジスタ、半導体デバイス、複数のチップ、複数のマイクロチップ、複数のチップセット、及びその他を含んでよい。ソフトウェアの例は、複数のソフトウェアコンポーネント、複数のプログラム、複数のアプリケーション、複数のコンピュータプログラム、複数のアプリケーションプログラム、複数のシステムプログラム、複数の機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、複数のソフトウェアモジュール、複数のルーチン、複数のサブルーチン、複数の関数、複数の方法、複数のプロシージャ、複数のソフトウェアインターフェース、複数のアプリケーションプログラムインターフェース（ＡＰＩ）、複数の命令セット、コンピューティングコード、コンピュータコード、複数のコードセグメント、複数のコンピュータコードセグメント、複数のワード、複数の値、複数の記号、又はそれらの任意の組み合わせを含んでよい。実施形態が複数のハードウェア要素及び／又はソフトウェア要素を用いて実装されるかどうかについて決定することは、所望の計算率、複数の電力レベル、複数の耐熱性、処理サイクルバジェット、複数の入力データレート、複数の出力データレート、複数のメモリリソース、複数のデータバス速度、及び他の設計又は性能制約のような任意の数の要因に従って変化してよい。
【０２１２】
少なくとも１つの実施形態の１又は複数の態様は、機械によって読み取られると当該機械にここで説明される複数の技術を実行するロジックを作成させる、プロセッサ内の様々なロジックを表す機械可読媒体上に格納された複数の代表的な命令によって実装されてよい。「ＩＰコア」として知られるそのような表現は、現実にロジック又はプロセッサを作る複数の製造機械にロードされるべく、有形の機械可読媒体に格納され、様々なカスタマ又は製造設備に提供されてよい。他の形態において、非一時的機械可読媒体のような非一時的な物品は、それが一時的な信号それ自体を含まないことを除いては、上述された例のいずれか又は他の例とともに用いられてよい。それば、ＲＡＭ及びその他のような「一時的」な方法でデータを一時的に保持し得る、信号それ自体以外のこれらの要素を含む。
【０２１３】
ここで説明された特定の複数の特徴が様々な実施例を参照して説明されたが、この説明は限定的な趣旨で解釈されることは意図されていない。よって、ここで説明された複数の実施例の様々な変更であって、本開示に関連する当業者にとって明らかな変更は、他の複数の実施例と同様に、本開示の趣旨及び範囲内であるとみなされる。
【０２１４】
以下の例は、さらなる複数の実施例に関連する。
【０２１５】
ビデオコーディングのためのコンピュータ実装方法であって、入力ビデオの順序で複数のフレームを受信する段階と、第１のパスで現在のフレームの第１のセグメントをコーディングする段階であって、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、入力ビデオの順序に対して相対的である、段階とを備える。機能性マルチパスピクチャは、モーフィング技術又は合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有する。方法は、少なくとも第２のパスで現在のフレームの少なくとも第２のセグメントをコーディングする段階であって、第２のセグメントは、第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、第１のパス及び第２のパスは、異なる時間に実行され、少なくとも第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられる、段階も含む。  方法は、同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、複数のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込む段階を備えてもよい。
【０２１６】
他の例によれば、方法は、第１及び第２のセグメントが、少なくとも１つの異なる参照フレームを有し、少なくとも１つの他のフレームに対するコーディングが、現在のフレームの第１及び第２のセグメントに対するコーディングの間に少なくとも部分的に実行され、他のフレームは、Ｐピクチャであり、他のフレームの少なくとも一部が第２のセグメントをコーディングするために参照として用いられることを含んでよい。他のフレームは、将来のフレームであってよく、他のフレームの全てより少ない部分は、デコードされ、現在のフレームの第２のセグメントをコーディングするために参照として用いられる。第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いてコーディングされてよく、第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いてコーディングされてよく、（１）第１及び第２のセグメントの一方が、現在のフレームの背景に関連付けられ、第１及び第２のセグメントのうちの他方は、現在のフレームの前景に関連付けられること、（２）第１のセグメントが、現在のフレームの背景及び前景の両方をコーディングし、第２のセグメントが、背景又は前景の強化された品質のコーディングを提供すること、及び（３）第１のセグメントが、現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、第２のセグメントが、背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供することのうちの少なくとも１つである。一例によれば、現在のフレームは、（ａ）ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術、及び（ｂ）スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術のうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームである。入力ビデオの順序における複数のフレームは、複数の参照フレームと、（ｉ）少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、（ｉｉ）少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、（ｉｉｉ）過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び（ｉｖ）複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームとの間の依存構造が提供される。方法は、前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入する段階を備え、第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングする段階と、複数の矩形をエンコードする段階と、前景オブジェクト領域と背景の領域との間の境界を回復するために、クロマキーカラーを抽出する段階を備え、複数の矩形をデコードする段階とを備えてよい。
【０２１７】
コーダは、画像バッファと、画像バッファに通信可能に連結され、モーフィングアナライザ又は合成アナライザ、又は両方と、現在のフレームにおけるコンテンツに関連付けられた少なくとも第１及び第２のセグメントにピクセルフレームを分割するセグメンタと、どのフレームがセグメントに対して複数の参照フレームになるべきかを示すユニットとを備えるグラフィックス処理ユニットとを備える。グラフィックス処理ユニットは、入力ビデオの順序で複数のフレームを受信し、第１のパスで現在のフレームの第１のセグメントをコーディングするように構成され、第１のセグメントは、フレーム上に示されるコンテンツに関連付けられ、現在のフレームは、双方向性（Ｂピクチャ）又は機能性（Ｆピクチャ）マルチパスピクチャであり、双方向性及び機能性マルチパスピクチャの両方は、少なくとも１つの過去の参照フレーム、少なくとも１つの将来の参照フレーム、又は両方を用いる選択肢とともに提供され、現在、過去、及び将来は、入力ビデオの順序に対して相対的であり、機能性マルチパスピクチャは、モーフィングアナライザによって実行されるモーフィング技術又は合成アナライザによって実行される合成技術によって修正された１又は複数の修正済み参照フレームを用いる選択肢を有し、グラフィックス処理ユニットは、少なくとも第２のパスで現在のフレームの少なくとも第２のセグメントをコーディングするように構成され、第２のセグメントは、第１のセグメントと異なり、各パスの間での複数の参照フレームの使用が異なる時間に生じるように、第１のパス及び第２のパスは、異なる時間に実行され、少なくとも第１及び第２のセグメントの両方をコーディングすることは、実質的に現在のフレーム全体の実質的に完全な品質のコーディングを達成するために協調的に用いられ、グラフィックス処理ユニットは、同じ時間インスタンス又は異なる複数の時間インスタンスにおいて、第１及び第２のセグメントを再構成することに関連付けられるデータをエンコーダビットストリームに書き込むように構成され、第１及び第２のセグメントは、少なくとも１つの異なる参照フレームを有する。
【０２１８】
他のアプローチによれば、少なくとも１つの他のフレームに対するコーディングは、現在のフレームの第１及び第２のセグメントに対するコーディングの間に少なくとも部分的に実行され、他のフレームは、Ｐピクチャであり、他のフレームの少なくとも一部は、第２のセグメントをコーディングするために参照として用いられてよく、他のフレームは、将来のフレームであり、他のフレームの全てより少ない部分は、デコードされ、現在のフレームの第２のセグメントをコーディングするために参照として用いられてよい。第１及び第２のセグメントのうちの一方は、少なくとも１つの過去の参照フレームを用いることによってコーディングされてよく、第１及び第２のセグメントのうちの他方は、少なくとも１つの将来の参照フレームを用いることによってコーディングされてよい。コーダは、（１）第１及び第２のセグメントの一方が、現在のフレームの背景に関連付けられ、第１及び第２のセグメントのうちの他方は、現在のフレームの前景に関連付けられること、（２）第１のセグメントが、現在のフレームの背景及び前景の両方をコーディングし、第２のセグメントが、背景又は前景の強化された品質のコーディングを提供すること、及び（３）第１のセグメントが、現在のフレームの背景及び前景に対して異なる品質のコーディングを提供し、第２のセグメントが、背景又は前景でより粗くコーディングされたもののより良い品質のコーディングを提供することのうちの少なくとも１つを有してよい。現在のフレームは、（ａ）ゲイン補償、支配的又は全体的な動き補償、及びブラー又はレジストレーション補償のうちの少なくとも１つのモーフィング技術、及び（ｂ）スーパーレゾリューション及び予測補間のうちの少なくとも１つの合成技術のうちの少なくとも１つを用いた少なくとも１つの修正済み参照フレームを用いて再構成される機能性Ｆフレームであってよい。入力ビデオの順序における複数のフレームは、複数の参照フレームと、（ｉ）少なくとも１つの現在のフレームが少なくとも２つの過去の参照フレームによってコーディングされるマルチ参照、（ｉｉ）少なくとも１つの現在のフレームが過去の参照フレーム、将来の参照フレーム、又は両方によってコーディングされる選択肢を有するＦピクチャである参照フレームによってコーディングされる階層コーディング、（ｉｉｉ）過去のＦピクチャが任意の他のコーディング依存に加えて他のＦピクチャに対する参照フレームであるチェーンコーディング、及び（ｉｖ）複数の非Ｆピクチャの間でＦピクチャの数が変化する適応コーディングのうちの少なくとも１つを有するコーディングされる対応するフレームとの間の依存構造が提供されてよい。グラフィックス処理ユニットは、前景オブジェクト領域の外の複数の矩形にクロマキーカラーを挿入して、第１及び第２のセグメントを定義するセグメンテーションマスク又は境界マップを暗黙的にコーディングし、複数の矩形をエンコードし、前景オブジェクト領域と背景の領域との間の境界を回復するために、クロマキーカラーを抽出して、複数の矩形をデコードするように構成されてよい。
【０２１９】
さらなる例において、少なくとも１つの機械可読媒体は、コンピューティングデバイス上で実行されることに応えて、コンピューティングデバイスに上記の例のいずれか一つに係る方法を実行させる複数の命令を含んでよい。
【０２２０】
また、さらなる例において、装置は、上記の例のいずれか一つに係る方法を実行する複数の手段を含んでよい。
【０２２１】
上記の例は、複数の特徴の特定の組み合わせを含んでよい。しかし、そのような上記の例は、この点で限定されず、様々な実施例において、上記の例は、そのような複数の特徴のサブセットだけを扱うこと、そのような複数の特徴の異なる順序を扱うこと、そのような複数の特徴の異なる組み合わせを扱うこと、及び／又は明示的に記載されたこれらの特徴に対して追加の複数の特徴を扱うことを含んでよい。例えば、例示的な方法に関して説明された全ての特徴は、例示的な装置、例示的なシステム、及び／又は例示的な物品に関して実装されてよく、その逆も同様である。
【図１】
2016514378.tif 000021
【図２】
2016514378.tif 000022
【図３（ａ）】
2016514378.tif 000023
【図３（ｂ）】
2016514378.tif 000024
【図４Ａ】
2016514378.tif 000025
【図４Ｂ】
2016514378.tif 000026
【図５】
2016514378.tif 000027
【図６】
2016514378.tif 000028
【図７】
2016514378.tif 000029
【図８】
2016514378.tif 000030
【図９】
2016514378.tif 000031
【図１０】
2016514378.tif 000032
【図１１】
2016514378.tif 000033
【図１２】
2016514378.tif 000034
【図１３】
2016514378.tif 000035
【図１４】
2016514378.tif 000036
【図１５】
2016514378.tif 000037
【図１６】
2016514378.tif 000038
【図１７】
2016514378.tif 000039
【図１８】
2016514378.tif 000040
【図１９】
2016514378.tif 000041
【図２０】
2016514378.tif 000042
【図２１】
2016514378.tif 000043
【図２２】
2016514378.tif 000044
【図２３】
2016514378.tif 000045
【国際調査報告】
2016514378.tif 000046
2016514378.tif 000047
2016514378.tif 000048
2016514378.tif 000049