(57)【要約】  動画符号化のためのコンテンツに適応的な特性補償済み予測に関する複数の技術が、説明される。
2016502332.tif 000002
【特許請求の範囲】
【請求項１】
動画符号化のためのコンピュータ実装された方法であって、
第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、
前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および前記第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、
前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および前記第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、
前記第１の修正済み予測基準映像または前記第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、
前記動きデータ、および前記第１の修正済み予測基準映像もしくは前記第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する段階とを備え、
前記第２の修正済み基準映像は、前記第１の修正済み基準映像とは異なるタイプである、方法。
【請求項２】
前記予測済みパーティションデータと、前記予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、
前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、
前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する段階と、
前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、
前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとする段階とを更に備える、請求項１に記載の方法。
【請求項３】
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、前記第２の修正済み予測基準映像は、合成済み予測基準映像を含む、請求項１または２に記載の方法。
【請求項４】
前記第１の修正済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含む、請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記第１の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、請求項１から４のいずれか１項に記載の方法。
【請求項６】
前記第１の修正済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像および将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第３の修正済み予測基準映像、および前記第３の修正済み予測基準映像に関連する複数の第３の修正特性パラメータを生成する段階と、
前記第３の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階とを更に備える、請求項１から７のいずれか１項に記載の方法。
【請求項９】
前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第３の修正済み予測基準映像、および前記第３の修正済み予測基準映像に関連する第３の修正特性パラメータを生成する段階と、
前記第３の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階とを更に備え、
前記第１の修正済み予測基準映像は、利得修正済み予測基準映像を含み、前記第２の修正済み予測基準映像は、ぼかし修正済み予測基準映像を含み、前記第３の修正済み予測基準映像は、超解像度予測基準映像を含む、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
前記第２の動きデータおよび前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
前記動きデータを生成する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動きデータを生成する段階を有し、
前記動き補償を実行する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動き補償を実行する段階を有し、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有する、請求項１から９のいずれか１項に記載の方法。
【請求項１１】
前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
前記第２の動きデータおよび前記第２の修正済み予測基準映像に少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階と、
前記予測済みパーティションデータまたは最終予測済みパーティションと、前記予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、
前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、
前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する段階と、
前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、
前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとする段階と、
前記ビットストリームを送信する段階と、
前記ビットストリームを受信する段階と、
前記ビットストリームをエントロピデコードし、前記複数の量子化済み変換係数、前記複数の第１の修正特性パラメータ、前記複数の第２の修正特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードを判断する段階と、
前記複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成する段階と、
前記複数のデコード済み変換係数に少なくとも部分的に基づいて、逆変換を実行し、複数のデコード済み符号化パーティションを生成する段階と、
前記複数のデコード済み符号化パーティションをアセンブルし、デコード済み予測誤差データパーティションを生成する段階と、
第３のデコード済み予測基準映像および第４のデコード済み予測基準映像を生成する段階と、
前記複数の第１の修正特性パラメータに少なくとも部分的に基づいて、第３の修正済み予測基準映像の少なくとも一部を生成する段階と、
関連する前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて、第４の修正済み予測基準映像の少なくとも一部を生成する段階と、
前記動きデータ、および前記第３の修正済み予測基準映像の前記一部もしくは前記第４の修正済み予測基準映像の前記一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、デコードされた予測済みパーティションデータを生成する段階と、
前記デコードされた予測済みパーティションデータを前記デコード済み予測誤差データパーティションに加算し、第１の再構成済み予測パーティションを生成する段階と、
前記第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションをアセンブルし、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成する段階と、
デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、前記第１のタイルまたは前記第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成する段階と、
前記第１の最終デコード済みタイルもしくはスーパフラグメント、および、第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成する段階と、
ディスプレイデバイスにより提示するべく、前記デコード済み動画フレームを送信する段階と、
前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、
更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、
更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階とを更に備え、
前記動きデータを生成する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動きデータを生成する段階を有し、
前記動き補償を実行する段階は、前記第１の修正済み予測基準映像に少なくとも部分的に基づいて、前記動き補償を実行する段階を有し、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有し、
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、前記第２の修正済み予測基準映像は、合成済み予測基準映像を含み、
前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
前記合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、
前記動きデータは、動きベクトルを含む、請求項１から１０のいずれか１項に記載の方法。
【請求項１２】
動画符号化のためのコンピュータ実装された方法であって、
デコード済み予測基準映像を生成する段階と、
前記デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、
前記デコード済み予測基準映像および前記複数の修正特性パラメータに少なくとも部分的に基づいて生成された修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、
前記動きデータおよび前記修正済み基準パーティションに少なくとも部分的に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する段階とを備える、方法。
【請求項１３】
前記複数の修正特性パラメータは、複数のモーフィング特性パラメータまたは複数の合成特性パラメータのうち少なくとも１つを含む、請求項１２に記載の方法。
【請求項１４】
前記複数の修正特性パラメータは、複数の利得特性パラメータ、複数のぼかし特性パラメータ、複数の主要な動き特性パラメータ、複数のレジストレーション特性パラメータ、複数の超解像度特性パラメータ、または複数の投影軌道特性パラメータのうち少なくとも１つを含む、請求項１２または１３に記載の方法。
【請求項１５】
前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータ生成する段階と、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
前記修正パーティショニングおよび前記第２の修正パーティショニングは、複数の異なるパーティショニングを含む、請求項１２から１４のいずれか１項に記載の方法。
【請求項１６】
前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて、第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均し、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
前記修正パーティショニングおよび前記第２の修正パーティショニングは、複数の異なるパーティショニングを含み、
前記複数の修正特性パラメータは、複数のモーフィング特性パラメータを含み、前記複数の第２の修正特性パラメータは、複数の合成特性パラメータを含む、請求項１２から１５のいずれか１項に記載の方法。
【請求項１７】
前記デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、
前記デコード済み予測基準映像および前記複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、前記現在の映像の前記予測パーティションに関連する第２の動きデータを生成する段階と、
前記動きデータおよび前記第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、前記予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせ、前記予測パーティションに対する最終予測済みパーティションデータを生成する段階とを更に備え、
前記修正パーティショニングおよび前記第２の修正パーティショニングは、複数の異なるパーティショニングを含み、
前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを組み合わせる段階は、前記予測済みパーティションデータおよび前記第２の予測済みパーティションデータを平均する段階を有し、
前記複数の修正特性パラメータは、複数のモーフィング特性パラメータ、複数の合成特性パラメータ、複数の利得特性パラメータ、複数のぼかし特性パラメータ、複数の主要な動き特性パラメータ、複数のレジストレーション特性パラメータ、複数の超解像度特性パラメータ、または複数の投影軌道特性パラメータのうち少なくとも１つを含み、
前記複数の第２の修正特性パラメータは、複数のモーフィング特性パラメータ、複数の合成特性パラメータ、複数の利得特性パラメータ、複数のぼかし特性パラメータ、複数の主要な動き特性パラメータ、複数のレジストレーション特性パラメータ、複数の超解像度特性パラメータ、または複数の投影軌道特性パラメータのうち少なくとも１つを含む、請求項１２から１６のいずれか１項に記載の方法。
【請求項１８】
画像バッファと、
モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、および特性および動き補償済みフィルタリング予測器論理回路を有するグラフィックス処理ユニットとを備え、
前記グラフィックス処理ユニットは、前記画像バッファに通信可能に結合され、
前記モーフィング解析器および生成論理回路は、
第１のデコード済み予測基準映像を受信し、
前記第１のデコード済み予測基準映像に少なくとも部分的に基づいて、モーフィング済み予測基準映像、および前記モーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータを生成し、
前記合成解析器および生成論理回路は、
第２のデコード済み予測基準映像を受信し、
前記第２のデコード済み予測基準映像に少なくとも部分的に基づいて、合成済み予測基準映像、および前記合成済み予測基準映像に関連する複数の合成特性パラメータを生成し、
前記動き評価器論理回路は、
前記モーフィング済み予測基準映像または前記合成済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成し、
前記特性および動き補償済みフィルタリング予測器論理回路は、
前記動きデータ、および前記モーフィング済み予測基準映像もしくは前記合成済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、前記予測パーティションに対する予測済みパーティションデータを生成する、動画エンコーダ。
【請求項１９】
前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含む、請求項１８に記載の動画エンコーダ。
【請求項２０】
前記合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、請求項１８または１９に記載の動画エンコーダ。
【請求項２１】
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１８から２０のいずれか１項に記載の動画エンコーダ。
【請求項２２】
前記動き評価器論理回路は、更に、
前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する、請求項１８から２１のいずれか１項に記載の動画エンコーダ。
【請求項２３】
前記グラフィックス処理ユニットは、
予測パーティションデータと、前記予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成する差分器と、
前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する符号化パーティション論理回路と、
前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する適応変換論理回路と、
前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する適応量子化論理回路と、
前記複数の量子化済み変換係数、前記複数のモーフィング特性パラメータ、前記複数の合成特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードし、ビットストリームとする適応エントロピエンコーダ論理回路とを更に有する、請求項１８から２２のいずれか１項に記載の動画エンコーダ。
【請求項２４】
前記グラフィックス処理ユニットは、
前記予測済みパーティションデータと、前記予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成する差分器と、
前記予測誤差データパーティションを分割し、複数の符号化パーティションを生成する符号化パーティション論理回路と、
前記複数の符号化パーティションにフォワード変換を実行し、前記複数の符号化パーティションに関連する複数の変換係数を生成する適応変換論理回路と、
前記複数の変換係数を量子化し、複数の量子化済み変換係数を生成する適応量子化論理回路と、
前記複数の量子化済み変換係数、前記複数のモーフィング特性パラメータ、前記複数の合成特性パラメータ、前記動きデータ、および前記予測パーティションに関連するモードをエントロピエンコードしてビットストリームとし、前記ビットストリームを送信する適応エントロピエンコーダ論理回路とを更に有し、
前記動き評価器論理回路は、更に、
前記第１のデコード済み予測基準映像、前記第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、前記現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、
更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む前記現在の映像の第３の予測パーティションに関連する第３の動きデータを生成し、
更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｆ／Ｂ映像を含む前記現在の映像の第４の予測パーティションに関連する第４の動きデータを生成し、
前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
前記合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項１８から２３のいずれか１項に記載の動画エンコーダ。
【請求項２５】
エンコード済みビットストリームをデコードする動画デコーダを備え、
前記動画デコーダは、
前記エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断し、
第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、
前記第１のデコード済み予測基準映像および前記複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、
前記第２のデコード済み予測基準映像および前記複数の第２の修正済み映像特性パラメータに少なくとも部分的に基づいて、前記第１の修正済み基準映像とは異なるタイプである第２の修正済み予測基準映像の少なくとも一部を生成し、
前記動きデータ、および前記第１の修正済み予測基準映像の前記一部もしくは前記第２の修正済み予測基準映像の前記一部のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、前記予測パーティションに関連するデコードされた予測済みパーティションデータを生成し、
前記デコードされた予測済みパーティションデータを、デコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、
前記第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成する、デコーダシステム。
【請求項２６】
前記動画デコーダに通信可能に結合され、動画データの前記エンコード済みビットストリームを受信するアンテナと、
複数の動画フレームを提示するディスプレイデバイスとを更に備える、請求項２５に記載のデコーダシステム。
【請求項２７】
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、前記第２の修正済み予測基準映像は、合成済み予測基準映像を含む、請求項２５または２６に記載のデコーダシステム。
【請求項２８】
前記第１の修正済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、前記第２の修正済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含む、請求項２５から２７のいずれか１項に記載のデコーダシステム。
【請求項２９】
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む、請求項２５から２８のいずれか１項に記載のデコーダシステム。
【請求項３０】
前記動画デコーダに通信可能に結合され、動画データの前記エンコード済みビットストリームを受信するアンテナと、
複数の動画フレームを提示するディスプレイデバイスとを更に備え、
前記動画デコーダは、更に
前記エンコード済みビットストリームをデコードし、前記予測パーティションに対する予測誤差データに関連する複数の量子化済み変換係数および前記予測パーティションに関連するモードを判断し、
前記複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成し、
前記複数のデコード済み変換係数に少なくとも部分的に基づいて、逆変換を実行し、複数のデコード済み符号化パーティションを生成し、
前記複数のデコード済み符号化パーティションをアセンブルし、前記予測パーティションに関連する前記デコード済み予測パーティション誤差データを生成し、
デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、前記タイルまたは第１の前記スーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成し、
前記第１の最終デコード済みタイルまたはスーパフラグメント、および第２の最終デコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成し、
ディスプレイデバイスにより提示するべく、前記デコード済み動画フレームを送信し、
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、
前記第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、前記第２の修正済み予測基準映像は、合成済み予測基準映像を含み、
前記モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、
前記合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、
前記第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、
前記動きデータは、動きベクトルを含む、請求項２５から２９のいずれか１項に記載のデコーダシステム。
【請求項３１】
コンピュータに、請求項１から１１のいずれか１項に記載の複数の方法における手順を実行させる、プログラム。
【請求項３２】
請求項１から１１のいずれか１項に記載の複数の方法を実行するための手段を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願  本願は、２０１２年１１月１３日に出願された、「ＣＯＮＴＥＮＴ  ＡＤＡＰＴＩＶＥ  ＶＩＤＥＯ  ＣＯＤＥＲ」という名称の米国特許仮出願第６１／７２５，５７６号、ならびに２０１３年１月３０日に出願された「ＮＥＸＴ  ＧＥＮＥＲＡＴＩＯＮ  ＶＩＤＥＯ  ＣＯＤＩＮＧ」という名称の米国特許仮出願第６１／７５８，３１４号に対する利益を主張する。
【背景技術】
【０００２】
動画エンコーダは、より多くの情報が所与の帯域で送信され得るように、動画情報を圧縮する。次に、圧縮された信号は、表示する前に信号をデコードまたは復元するデコーダを有する受信機に送信され得る。
【０００３】
Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）は、最新の動画圧縮規格であり、ＩＳＯ／ＩＥＣ  ＭＯＶＩＮＧ  ＰＩＣＴＵＲＥ  ＥＸＰＥＲＴＳ  ＧＲＯＵＰ  （ＭＰＥＧ）およびＩＴＵ−Ｔ  ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＥＸＰＥＲＴＳ  ＧＲＯＵＰ  （ＶＣＥＧ）により形成されたＪＯＩＮＴ  ＣＯＬＬＡＢＯＲＡＴＩＶＥ  ＴＥＡＭ  ＯＮ  ＶＩＤＥＯ  ＣＯＤＩＮＧ（ＪＣＴ−ＶＣ）により、開発されている。ＨＥＶＣは、高解像度の動画アプリケーションを発達させるのに十分な圧縮を提供しない、以前のＨ．２６４／ＡＶＣ（アドバンスド動画コーディング）規格に対応して開発された。以前の動画符号化規格と同様に、ＨＥＶＣは、イントラ／インター予測、変換量子化、インループフィルタリング、およびエントロピ符号化等、複数の基本的機能モジュールを含む。
【０００４】
現在のＨＥＶＣ規格は、複数の予測パーティションおよび符号化パーティションを可能にするのに対して限られた複数の選択肢、限られた複数の参照および予測生成の許可、限られた複数の変換ブロックサイズおよび実際の変換、複数の符号化アーチファクトを低減するのに対して限られた複数のメカニズム、不十分な複数のエントロピエンコード技術等、Ｈ．２６４／ＡＶＣ規格の限界に対して改善を試みる。しかし、現在のＨＥＶＣ規格は、そのような複数の問題を解決する複数の反復アプローチを用い得る。
【０００５】
例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４、またはＨ．２６５／ＨＥＶＣ等の更に発達した規格等、既存の複数の動画符号化規格を用いて符号化するのに必要とされる対応ビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用いるが、多くの場合、結果は限られている。
【０００６】
本開示は、次世代動画（ＮＧＶ）コーデックプロジェクトの文脈内で開発され、達成可能な圧縮効率性を最大化する高度な動画コーデックを設計する一般的問題に対処する一方、複数のデバイスに対する実装のために、依然として十分に実用的である。例えば、優良なディスプレイが入手可能となるのに起因して動画の解像度が増大し、高い動画の質に対する期待が高まり、初期のＭＰＥＧ規格、およびさらにより近年のＨ．２６４／ＡＶＣ規格等、複数の既存の動画符号化規格を用いるのに必要とされる対応ビットレート／帯域は、比較的高い。Ｈ．２６４／ＡＶＣは、複数の高解像度の動画アプリケーションを発達させるのに十分に高度な圧縮を提供するとは認知されていなかった。
【図面の簡単な説明】
【０００７】
本明細書において説明される材料は、添付図面において限定ではなく、例として図示される。説明の簡潔さかつ明確さのために、図において図示される複数の要素は、必ずしも縮尺通りに描かれない。例えば、いくつかの要素の寸法は、明確にするために他の複数の要素に対して誇張されることがある。更に、適切とみなされる場合には、対応し、または類似の複数の要素を示すべく、複数の図面間において参照符号が反復されている。
【０００８】
【図１】例示的な次世代動画エンコーダの例示的な図である。
【図２】例示的な次世代動画デコーダの例示的な図である。
【図３Ａ】例示的な次世代動画エンコーダサブシステムの例示的な図である。
【図３Ｂ】例示的な次世代動画デコーダサブシステムの例示的な図である。
【図４】複数の修正済み予測基準映像の例示的な図である。
【図５】例示的なエンコーダサブシステムの例示的な図である。
【図６】例示的なエンコーダサブシステムの例示的な図である。
【図７】例示的なエンコーダサブシステムの例示的な図である。
【図８】例示的なデコーダサブシステムの例示的な図である。
【図９】例示的な動画エンコード処理を図示するフロー図である。
【図１０】例示的なビットストリームを図示する。
【図１１】例示的な動画デコード処理を図示するフロー図である。
【図１２Ａ】動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。
【図１２Ｂ】動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。
【図１３Ａ】動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。
【図１３Ｂ】動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。
【図１３Ｃ】動作中の例示的な動画符号化システムおよび動画符号化処理の例示的な図を提供する。
【図１４】例示的な動画符号化システムの例示的な図である。
【０００９】
【図１５】例示的なシステムの例示的な図である。
【００１０】
【図１６】全てが本開示の少なくともいくつかの実装に従って構成された、例示的な複数のデバイスを図示する。
【発明を実施するための形態】
【００１１】
ここで、開示された複数の図を参照して、１または複数の実施形態もしくは実装形態を説明する。特定の複数の構成および配置が論じられるが、これは、専ら例示的目的のみで行われることを理解されたい。当業者は、本明細書の趣旨および範囲を逸脱することなく、他の複数の構成および配置が使用され得ることを理解するであろう。また、本明細書において説明される複数の技術および／または構成が、本明細書において説明されるもの以外の様々な他のシステムおよびアプリケーションにおいても使用され得ることは、当業者には明らかであろう。
【００１２】
以下の説明は、例えば、システムオンチップ（ＳｏＣ）アーキテクチャ等の複数のアーキテクチャにおいて現れ得る、様々な実装を記載するが、本明細書において説明される複数の技術および／または構成の実装は、特定のアーキテクチャおよび／またはコンピューティングシステムに限定されず、同様の目的のための任意のアーキテクチャおよび／またはコンピューティングシステムにより実装されてもよい。例えば、例えば、複数の集積回路（ＩＣ）チップおよび／もしくはパッケージ、ならびに／または様々なコンピューティングデバイス、および／もしくはセットトップボックス、スマートフォン等の家電（ＣＥ）複数のデバイスを使用する様々なアーキテクチャは、本明細書において説明される複数の技術および／または構成を実装し得る。更に、以下の説明は、複数のロジック実装、複数のシステムコンポーネントのタイプおよび相互関係、ロジックパーティショニング／統合の選択肢等、多数の具体的な詳細を記載するが、特許請求される主題は、そのような複数の特定の詳細を用いることなく実施され得る。他の複数の例において、例えば、制御構造および完全なソフトウェア命令のシーケンス等、いくつかの材料は、本明細書において開示される材料を不明瞭にしないように、示されないことがある。
【００１３】
本明細書において開示される材料は、ハードウェア、ファームウェア、ソフトウェア、またはそれらのいずれかの組み合わせで実装され得る。また、本明細書において開示される材料は、１または複数のプロセッサにより読み取られ、実行され得る機械可読媒体上に格納された複数の命令として実装されてもよい。機械可読媒体は、機械（例えば、コンピューティングデバイス）により可読な形式の情報を格納または送信するいずれの媒体および／またはメカニズムも含み得る。例えば、機械可読媒体としては、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学ストレージ媒体、フラッシュメモリデバイス、伝播信号の電気的、光学的、音響学的、もしくは他の複数の形態（例えば、伝送波、赤外線信号、デジタル信号等）などが挙げられ得る。
【００１４】
本明細書において「１つの実装」、「実装」、「例示的な実装」等に言及することは、説明される実装が特定の特徴の構造または特性を含み得ることを示すが、全ての実施形態が特定の特徴、構造、または特性を必ずしも含むわけではない場合がある。更に、そのような文言は、同一の実装を必ずしも指すわけではない。更に、一実施形態に関して、特定の特徴、構造、または特性が説明される場合、本明細書において明示的に記載されているか否かに拘わらず、他の複数の実装に関して、そのような機能、構造、または特性をもたらすことが当業者の知識の範囲内であることが述べられている。
【００１５】
フレーム間予測補償に関する複数のシステム、装置、物品、および方法が、以下に説明される。
【００１６】
上述のように、Ｈ．２６４／ＡＶＣ規格は、様々な限界を有し、例えば、ＨＥＶＣ規格等の規格を改善する現在の複数の試みは、そのような複数の限界に対処するべく、複数の反復アプローチを用い得る。例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４等、またはＨ．２６５／ＨＥＶＣ等、更に発達している複数の規格等、既存の複数の動画符号化規格を用いて符号化するのに必要とされる対応ビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用い得るが、多くの場合、結果は限られている。例えば、従来のフレーム間符号化は、通常、複数の規格により用いられる、動き補償済み予測を含む。従って、通常、そのような不十分な圧縮／品質問題は、動画のフレーム間符号化においてローカルな動き補償済み予測のみを用いることにより暗黙に対処される。
【００１７】
更に、いくつかの特定目的のアプローチが、現在試みられている。通常、そのような複数の試みは、複数の過去のフレーム、または複数の過去および将来のフレームを採用し得る。通常、複数の過去のフレームまたは複数の過去および将来のフレームをそのように用いることは、複数の過去または将来のフレームにおいて、過去のフレーム（複数のＰ映像／複数のスライスに対する）、または過去または将来の複数のフレーム（複数のＢ映像／複数のスライスに対する）においてよりも、予測される現在のフレームの区域に類似するいくつかの区域が存在し得るとの希望と共に使用される。
【００１８】
しかし、そのような不十分な圧縮／品質問題の多くは、動きのみにならず、他の複数の特性にも起因するので、動き補償済み予測のみでは、前の基準フレーム（複数のＰ映像／複数のスライスの場合）、および複数のＢ映像／複数のスライスの場合に前および次の基準フレームからの複数の予測を用いて、そのような不十分な圧縮／品質問題を完全に解決することはできない。従って、複数の次世代動画（ＮＧＶ）システム、装置、複数の物品、および複数の方法が以下に説明される。ＮＧＶ動画符号化は、より高い圧縮を達成するべく、動画符号化処理において重要なコンテンツベースの適応性を組み込み得る。ＮＧＶコーデックの文脈において開発されたそのような複数の実装は、どのように予測信号を改善するかの問題に対処し、同様に、動画符号化において高い圧縮効率性を達成することを可能にする。
【００１９】
本明細書において用いられるように、「コーダ」という用語は、エンコーダおよび／またはデコーダを指し得る。同様に、本明細書において用いられるように、「符号化」という用語は、エンコーダにより動画のエンコードを実行し、および／またはデコーダにより動画のデコードを実行することを指し得る。例えば、動画エンコーダおよび動画デコーダは、双方が動画データを符号化することが可能なコーダの例であり得る。加えて、本明細書において用いられるように、「コーデック」という用語は、例えば、任意のソフトウェア、ファームウェア、および／またはエンコーダおよび／またはデコーダを実装し得るハードウェアのいずれかの組み合わせ等、複数のオペレーションの任意の処理、プログラム、または設定を指し得る。更に、本明細書において用いられるように、「動画データ」という文言は、例えば、動画フレーム、画像データ、エンコード済みビットストリームデータ等、動画の符号化に関連する任意のタイプのデータを指し得る。
【００２０】
図１は、本開示の少なくともいくつかの実装に従って構成された例示的な次世代動画エンコーダ１００の例示的な図である。示されるように、エンコーダ１００は、入力動画１０１を受信し得る。入力動画１０１は、例えば、動画シーケンスの複数の入力フレーム等をエンコードするための任意の好適な入力動画を含み得る。示されるように、入力動画１０１は、コンテンツ事前解析器モジュール１０２を介して受信され得る。コンテンツ事前解析器モジュール１０２は、入力動画１０１の複数の動画フレームにおけるコンテンツの解析を実行し、動画の符号化の効率性および速度性能を改善するための様々なタイプのパラメータを判断するように構成され得る。例えば、コンテンツ事前解析器モジュール１０２は、水平および垂直の勾配情報（例えば、Ｒｓ、Ｃｓ）、分散、１映像毎の空間的複雑性、１映像毎の時間的複雑性、シーン変化の検出、動き範囲の評価、利得の検出、予測距離の評価、オブジェクト評価の数、領域境界の検出、空間的複雑性マップの計算、合焦評価、フィルム粒子評価等を判断し得る。コンテンツ事前解析器モジュール１０２により生成される複数のパラメータは、（例えば、エンコードコントローラ１０３により）エンコーダ１００により用いられ、および／または量子化され、デコーダに通信され得る。示されるように、複数の動画フレームおよび／または他のデータは、コンテンツ事前解析器モジュール１０２から適応映像構成部モジュール１０４に送信され、適応映像構成部モジュール１０４は、各動画フレームの映像のタイプ（例えば、Ｉ、Ｐ、またはＦ／Ｂ映像）を判断し、必要とされる複数の動画フレームを再度並び替えることができる。いくつかの例において、適応映像構成部モジュール１０４は、フレーム部分を生成するように構成されたフレーム部分生成器を含み得る。いくつかの例において、コンテンツ事前解析器モジュール１０２および適応映像構成部モジュール１０４は、合わせて、エンコーダ１００の事前解析器のサブシステムとみなされ得る。
【００２１】
示されるように、動画フレームおよび／または他のデータは、適応映像構成部モジュール１０４から予測パーティション生成器モジュール１０５に送信され得る。いくつかの例において、予測パーティション生成器モジュール１０５は、フレームまたは映像を複数のタイルまたはスーパフラグメント等に分割し得る。いくつかの例において、（例えば、モジュール１０４とモジュール１０５との間に）フレームまたは映像を複数のタイルまたはスーパフラグメントに分割するための追加のモジュールが、提供されてもよい。予測パーティション生成器モジュール１０５は、各タイルまたはスーパフラグメントを複数の潜在的予測パーティショニングまたはパーティションに分割し得る。いくつかの例において、潜在的予測パーティショニングは、例えば、ｋ−ｄツリーパーティショニング技術、二分木パーティショニング技術等のパーティショニング技術を用いて判断され、これらは、個々の動画フレーム、映像のタイプ（例えば、Ｉ、Ｐ、またはＦ／Ｂ映像）、分割されるフレーム部分の特性等に少なくとも部分的に基づいて判断され得る。いくつかの例において、判断される複数の潜在的予測パーティショニングは、予測（例えば、インター予測またはイントラ予測）用のパーティションであり得、予測パーティションまたは予測ブロック等として記載され得る。
【００２２】
いくつかの例において、選択済み予測パーティショニング（例えば、複数の予測パーティション）は、複数の潜在的予測パーティショニングから判断され得る。例えば、選択済み予測パーティショニングは、各潜在的予測パーティショニングについて、複数の特性および動きベースの複数基準による予測または複数のイントラ予測を用いて複数の予測を判断すること、および、複数の予測パラメータを判断することに少なくとも部分的に基づいてもよい。各潜在的予測パーティショニングについて、潜在的予測誤差は、複数の予測画素と複数の元の画素との差分を取ることにより判断され得、選択済み予測パーティショニングは、最小の予測誤差を有する潜在的予測パーティショニングであり得る。他の複数の例において、選択済み予測パーティショニングは、パーティショニングを符号化するためのビット数、および予測パーティショニングに関連する予測誤差に少なくとも部分的に基づく重み付けスコアリングを含む、レート歪みの最適化に少なくとも部分的に基づいて判断され得る。
【００２３】
示されるように、選択済み予測パーティショニング（例えば、現在のフレームの複数の予測パーティション）の複数の元の画素は、差分器１０６において予測される複数のパーティションとの差分を取り得る（例えば、基準フレーム、または複数のフレーム、および、インター予測データもしくはイントラ予測データ等の他の予測データに少なくとも部分的に基づく、現在のフレームにおける予測パーティションの予測）。予測される複数のパーティションの判断は、以下に更に説明され、図１に示されるように、デコードされたループを含み得る。差分のあらゆる残差または残差データ（例えば、パーティション予測誤差データ）は、符号化パーティション生成器モジュール１０７に送信され得る。いくつかの例において、任意の映像のタイプ（Ｉ、Ｆ／Ｂ、または複数のＰ映像）の複数の予測パーティションのイントラ予測等について、符号化パーティション生成器モジュール１０７は、スイッチ１０７ａおよび１０７ｂを介してバイパスされ得る。そのような複数の例において、１つのレベルのパーティショニングのみが実行されてもよい。そのようなパーティショニングは、（論じられた）予測パーティショニング、もしくは符号化パーティショニング、またはその双方として説明され得る。様々な例において、そのようなパーティショニングは、（論じられた）予測パーティション生成器モジュール１０５を介して実行されてもよく、または本明細書において更に論じられるように、そのようなパーティショニングは、符号化パーティション生成器モジュール１０７を介して実装されたｋ−ｄツリーイントラ予測／符号化パーティショナモジュールまたは二分木イントラ予測／符号化パーティショナモジュールを介して実行され得る。
【００２４】
いくつかの例において、パーティション予測誤差データは、仮にそうであったとしても、エンコードを保証するのに十分には重大ではないことがある。他の複数の例において、パーティション予測誤差データをエンコードすることが所望であり、パーティション予測誤差データがインター予測等に関連する場合には、符号化パーティション生成器モジュール１０７は、複数の予測パーティションの複数の符号化パーティションを判断し得る。いくつかの例において、符号化パーティション生成器モジュール１０７は、必要とされないことがある。パーティションは、（例えば、スイッチ１０７ａおよび１０７ｂを介して利用可能なバイパス経路により示されるように）符号化パーティショニングを用いずにエンコードされ得るからである。符号化パーティショニングを用い、または用いずに、パーティション予測誤差データ（いずれの場合にも符号化パーティションとして次に説明され得る）は、複数の残差（ｒｅｓｉｄｕａｌ）または残差データがエンコードを必要とする場合、適応変換モジュール１０８に送信され得る。いくつかの例において、予測パーティション生成器モジュール１０５および符号化パーティション生成器モジュール１０７は、合わせて、エンコーダ１００のパーティショナサブシステムとみなされ得る。様々な例において、符号化パーティション生成器モジュール１０７は、パーティション予測誤差データ、元の画素データ、残差データ、またはウェーブレットデータに基づいて動作し得る。
【００２５】
符号化パーティション生成器モジュール１０７は、二分木パーティショニング技術および／またはｋ−ｄツリーパーティショニング技術等を用いて、例えば、パーティション予測誤差データの複数の潜在的符号化パーティショニング（例えば、複数の符号化パーティション）を生成し得る。いくつかの例において、複数の潜在的符号化パーティションは、適応変換モジュール１０８を介して様々なブロックサイズを有する適応的または固定変換を用いて変換され得、選択された符号化パーティショニングおよび選択された複数の変換（例えば、適応的または固定の）は、レート歪みの最適化、または他の基礎に少なくとも部分的に基づいて判断され得る。いくつかの例において、選択された符号化パーティショニングおよび／または選択された変換は、複数の符号化パーティションサイズ等に少なくとも部分的に基づく所定の選択方法に少なくとも部分的に基づいて判断され得る。
【００２６】
例えば、適応変換モジュール１０８は、小さいものから中間のサイズの複数のブロックのローカルに最適な変換符号化を可能にする、パラメータ変換を実行するための第１の部分またはコンポーネントと、複数のパラメータ変換、または本明細書において更に論じられるその他の構成を含む、様々な変換からの変換に基づく離散コサイン変換（ＤＣＴ）または映像等の固定変換を用いて、グローバルに安定した、低オーバヘッドの変換符号化を実行するための第２の部分またはコンポーネントとを含み得る。いくつかの例において、ローカルに最適な変換符号化については、本明細書において更に論じられるように、パラメータハール変換（ＰＨＴ）が実行され得る。いくつかの例において、複数の変換は、約４ｘ４画素〜６４ｘ６４画素の矩形サイズの複数の２Ｄブロックに実行され、実際のサイズは、変換されたデータがルマもしくはクロマか、またはインターもしくはイントラかどうか、または用いられる判断済み変換がＰＨＴまたはＤＣＴ等であるか否か等、いくつかの要因に依存し得る。
【００２７】
示されるように、複数の結果としての変換係数は、適応量子化モジュール１０９に送信され得る。適応量子化モジュール１０９は、複数の結果としての変換係数を量子化し得る。更に、必要とされるパラメータ変換に関連する任意のデータは、適応量子化モジュール１０９（量子化が所望である場合）または適応エントロピエンコーダモジュール１１０のいずれかに送信され得る。また、図１に示されるように、複数の量子化係数は、スキャンされ、適応エントロピエンコーダモジュール１１０に送信され得る。適応エントロピエンコーダモジュール１１０は、複数の量子化済み係数をエントロピエンコードし、それらを出力ビットストリーム１１１に含めることができる。いくつかの例において、適応変換モジュール１０８および適応量子化モジュール１０９は、合わせて、エンコーダ１００の変換エンコーダサブシステムとみなし得る。
【００２８】
また、図１において示されるように、エンコーダ１００は、ローカルデコードループを含む。ローカルデコードループは、適応逆量子化モジュール１１２において開始し得る。適応逆量子化モジュール１１２は、逆スキャンが実行され、複数の量子化係数が複数の変換係数を判断するべくデスケーリングされ得るように、適応量子化モジュール１０９と反対のオペレーションを実行するように構成され得る。そのような適応量子化オペレーションは、例えば、不可逆であり得る。示されるように、複数の変換係数は、適応逆変換モジュール１１３に送信され得る。適応逆変換モジュール１１３は、例えば、複数の符号化パーティションに関連する残差値もしくは残差値、またはパーティション予測誤差データ（または論じられた元のデータもしくはウェーブレットデータ）を生成するべく、適応変換モジュール１０８により実行されるものとして逆変換を実行し得る。いくつかの例において、適応逆量子化モジュール１１２および適応逆変換モジュール１１３は、合わせて、エンコーダ１００の変換デコーダサブシステムとみなされ得る。
【００２９】
示されるように、パーティション予測誤差データ（等）は、任意選択の符号化パーティションアセンブラ１１４に送信され得る。符号化パーティションアセンブラ１１４は、複数の符号化パーティションをアセンブルして、必要とされる複数のデコード済み予測パーティションとし（示されるように、いくつかの例において、符号化パーティションアセンブラ１１４は、複数のデコード済み予測パーティションが適応逆変換モジュール１１３において生成され得るように、スイッチ１１４ａおよび１１４ｂを介してしてスキップされ得る）、予測誤差データの複数の予測パーティションまたはデコード済み残差予測パーティション等を生成し得る。
【００３０】
示されるように、複数のデコード済み残差予測パーティションは、加算器１１５において予測される複数のパーティション（例えば、予測画素データ）に加算され、複数の再構成済み予測パーティションを生成し得る。再構成済み予測パーティションは、予測パーティションアセンブラ１１６に送信され得る。予測パーティションアセンブラ１１６は、複数の再構成済み予測パーティションをアセンブルし、複数の再構成済みタイルまたはスーパフラグメントを生成し得る。いくつかの例において、符号化パーティションアセンブラモジュール１１４および予測パーティションアセンブラモジュール１１６は、合わせて、エンコーダ１００のアンパーティショナサブシステムとみなされ得る。
【００３１】
複数の再構成済みタイルまたはスーパフラグメントは、ブロックノイズ解析器に送信され、フィルタリングモジュール１１７をデブロックし得る。ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７は、複数の再構成済みタイルもしくはスーパフラグメント（または複数のタイルまたはスーパフラグメントの複数の予測パーティション）をデブロックしディザし得る。生成されたデブロックおよび複数のディザフィルタリングパラメータは、例えば、現在のフィルタリングオペレーションに用いられ、および／またはデコーダにより用いられるビットストリーム１１１において符号化され得る。ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７の出力は、品質解析器および品質回復フィルタリングモジュール１１８に送信されてもよい。品質解析器および品質回復フィルタリングモジュール１１８は、複数のＱＲフィルタリングパラメータ（例えば、ＱＲ分解）を判断し、フィルタリングのために複数の判断済みパラメータを用い得る。また、複数のＱＲフィルタリングパラメータは、デコーダにより用いられるビットストリーム１１１において符号化され得る。示されるように、品質解析器および品質回復フィルタリングモジュール１１８の出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングモジュール１１８の出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。いくつかの例において、ブロックノイズ解析器およびデブロックフィルタリングモジュール１１７、ならびに品質解析器および品質回復フィルタリングモジュール１１８は、合わせて、エンコーダ１００のフィルタリングサブシステムとみなされ得る。
【００３２】
エンコーダ１００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図１において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、ならびに特性および動きフィルタリング予測器モジュール１２３を含む、１または複数のモジュールにより実行され得る。モーフィング解析器および生成モジュール１２０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーション（ｒｅｇｉｓｔｒａｔｉｏｎ）における複数の変化、およびぼかしにおける変化に対する複数のパラメータを判断し得る。複数の判断済みモーフィングパラメータは、量子化／逆量子化（ｄｅ―ｑｕａｎｔｉｚｅ）され、現在のフレームの効率的動き（および特性）補償済み予測のために複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る複数のモーフィング済み基準フレームを生成するべく、（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。合成解析器および生成モジュール１２１は、これらのフレームにおける効率的な動き補償済み予測のために複数の動きベクトルを判断する、複数の超解像度（ＳＲ）映像および複数の投影内挿（ＰＩ）映像等を生成し得る。
【００３３】
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および複数の投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
【００３４】
イントラ予測は、イントラ方向の予測解析器および予測生成モジュール１２４により実行され得る。イントラ方向の予測解析器および予測生成モジュール１２４は、空間的方向予測を実行するように構成され、複数のデコード済み隣接パーティションを用い得る。いくつかの例において、方向の判断および予測の生成の双方は、イントラ方向の予測解析器および予測生成モジュール１２４により実行され得る。いくつかの例において、イントラ方向の予測解析器および予測生成モジュール１２４は、イントラ予測モジュールとみなされ得る。
【００３５】
図１において示されるように、予測モードおよび参照タイプ解析器モジュール１２５は、タイル（またはスーパフラグメント）の各予測パーティションについて、「スキップ」、「自動」、「インター」、「分割」、「マルチ」、および「イントラ」から予測モードを選択することを可能にし、これらの全てがＰおよびＦ／Ｂ映像に適用され得る。複数の予測モードに加えて、予測モードおよび参照タイプの解析器モジュール１２５は、「インター」または「マルチ」モードに応じて、ならびにＰおよびＦ／Ｂ映像に対して異なり得る、複数の参照タイプの選択も可能にする。予測モードおよび参照タイプ解析器モジュール１２５の出力部における予測信号は、予測解析器および予測結合フィルタリングモジュール１２６によりフィルタリングされ得る。予測解析器および予測結合フィルタリングモジュール１２６は、フィルタリングのために用いる複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）を判断し、フィルタリングを実行し得る。いくつかの例において、予測信号をフィルタリングすることにより、複数の異なるモード（例えば、イントラ、インター、マルチ、分割、スキップ、および自動）を表す複数の異なるタイプの信号を結合し得る。いくつかの例において、イントラ予測信号は、適切なフィルタリングが符号化の効率性を大幅に向上させ得るように、他のあらゆるタイプのインター予測信号と異なってもよい。いくつかの例において、複数のフィルタリングパラメータは、デコーダにより用いられるビットストリーム１１１においてエンコードされ得る。フィルタリング済み予測信号は、第２の入力（例えば、予測パーティション）を上述のように差分器１０６に提供し、差分器１０６は、先に論じられた符号化用の予測差異信号（例えば、パーティション予測誤差）を判断し得る。更に、同一のフィルタリング済み予測信号は、第２の入力を、やはり上述のように加算器１１５に提供し得る。論じられたように、出力ビットストリーム１１１は、動画の提示用のデコーダにより用いられる効率的にエンコードされたビットストリームを提供し得る。
【００３６】
動作中、エンコーダ１００のいくつかのコンポーネントは、エンコーダ予測サブシステムとして動作し得る。例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムは、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
【００３７】
以下により詳細に論じられるように、いくつかの実装において、エンコーダ１００のそのようなエンコーダ予測サブシステムは、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成される組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、１または複数の以下の機能を含み得る１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
【００３８】
例えば、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ１００において、複数の予測オペレーションが、インター予測および／またはイントラ予測を含み得る。示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む１または複数のモジュールにより実行され得る。
【００３９】
以下により詳細に説明されるように、モーフィング解析器および生成モジュール１２０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーションにおける複数の変化、およびぼかしにおける複数の変化に対する複数のパラメータを判断し得る。判断された複数のモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み基準フレームを生成するべく（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、バッファ内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
【００４０】
同様に、合成解析器および生成モジュール１２１は、これらのフレームにおける効率的動き補償済み予測に対する複数の動きベクトルを判断するための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、バッファ内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
【００４１】
従って、エンコーダ１００のそのようなエンコーダ予測サブシステムにおいて、動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
【００４２】
動作中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、デコード済み過去および／または将来の映像／スライスに関する通常のローカルな動き補償以外に上記の複数のコンポーネントのうち１または複数を用い得る。従って、本実装は、例えば、利得補償またはその他の特性補償済み基準フレーム生成に対する特定の解決法を要求するものではない。
【００４３】
図２は、本開示の少なくともいくつかの実装に従って構成された例示的な次世代動画デコーダ２００の例示的な図である。示されるように、デコーダ２００は、入力ビットストリーム２０１を受信し得る。いくつかの例において、入力ビットストリーム２０１は、エンコーダ１００、および／または本明細書において論じられる複数のエンコード技術によりエンコードされ得る。示されるように、入力ビットストリーム２０１は、適応エントロピデコーダモジュール２０２により受信され得る。適応エントロピデコーダモジュール２０２は、様々なタイプのエンコード済みデータ（例えば、オーバヘッド、複数の動きベクトル、複数の変換係数等）をデコードし得る。いくつかの例において、適応エントロピデコーダ２０２は、可変長のデコード技術を用い得る。いくつかの例において、適応エントロピデコーダ２０２は、上述の適応エントロピエンコーダモジュール１１０の逆オペレーションを実行し得る。
【００４４】
デコード済みデータは、適応逆量子化モジュール２０３に送信され得る。適応逆量子化モジュール２０３は、複数の量子化済み係数を逆スキャンおよびデスケーリングし、複数の変換係数を判断するように構成され得る。そのような適応量子化オペレーションは、例えば、不可逆であり得る。いくつかの例において、適応逆量子化モジュール２０３は、適応量子化モジュール１０９と反対のオペレーション（例えば、適応逆量子化モジュール１１２と実質的に同一の複数のオペレーション）を実行するように構成され得る。示されるように、複数の変換係数（およびいくつかの例において、パラメータ変換において用いる変換データ）は、適応逆変換モジュール２０４に送信され得る。適応逆変換モジュール２０４は、複数の変換係数に逆変換を実行し、複数の符号化パーティションに関連する複数の残差もしくは残差値、またはパーティション予測誤差データ（または元のデータもしくはウェーブレットデータ）を生成し得る。いくつかの例において、適応逆変換モジュール２０４は、適応変換モジュール１０８と反対のオペレーション（例えば、適応逆変換モジュール１１３と実質的に同一の複数のオペレーション）を実行するように構成され得る。いくつかの例において、適応逆変換モジュール２０４は、例えば、複数のデコード済み隣接パーティション等、他の既にデコードされたデータに少なくとも部分的に基づいて逆変換を実行し得る。いくつかの例において、適応逆量子化モジュール２０３および適応逆変換モジュール２０４は、合わせて、デコーダ２００の変換デコーダサブシステムとみなされ得る。
【００４５】
示されるように、複数の残差もしくは残差値、またはパーティション予測誤差データは、符号化パーティションアセンブラ２０５に送信され得る。符号化パーティションアセンブラ２０５は、複数の符号化パーティションをアセンブルして、必要とされる複数のデコード済み予測パーティションとし得る（示されるように、いくつかの例において、符号化パーティションアセンブラ２０５は、複数のデコード済み予測パーティションが適応逆変換モジュール２０４において生成され得るように、スイッチ２０５ａおよび２０５ｂを介してスキップされ得る）。予測誤差データ（例えば、予測パーティション残差）の複数のデコード済み予測パーティションは、加算器２０６において予測される複数のパーティション（例えば、予測画素データ）に加算され、再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、予測パーティションアセンブラ２０７に送信され得る。予測パーティションアセンブラ２０７は、複数の再構成済み予測パーティションをアセンブルし、複数の再構成済みタイルまたはスーパフラグメントを生成し得る。いくつかの例において、符号化パーティションアセンブラモジュール２０５および予測パーティションアセンブラモジュール２０７は、合わせて、デコーダ２００のアンパーティショナサブシステムとみなされ得る。
【００４６】
複数の再構成済みタイルまたはスーパフラグメントは、デブロックフィルタリングモジュール２０８に送信され得る。デブロックフィルタリングモジュール２０８は、複数の再構成済みタイルもしくはスーパフラグメント（または複数のタイルもしくはスーパフラグメントの予測パーティション）をデブロックし、ディザし得る。生成済みデブロックパラメータおよびディザフィルタリングパラメータは、例えば、入力ビットストリーム２０１から判断され得る。デブロックフィルタリングモジュール２０８の出力は、品質回復フィルタリングモジュール２０９に送信され得る。品質回復フィルタリングモジュール２０９は、複数のＱＲパラメータに少なくとも部分的に基づいて品質フィルタリングを適用し、複数のＱＲパラメータは、例えば、入力ビットストリーム２０１から判断され得る。図２において示されるように、品質回復フィルタリングモジュール２０９の出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュール２０９の出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。いくつかの例において、デブロックフィルタリングモジュール２０８および品質回復フィルタリングモジュール２０９は、合わせて、デコーダ２００のフィルタリングサブシステムとみなされ得る。
【００４７】
論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング生成モジュール２１１、合成生成モジュール２１２、ならびに特性および動き補償済みフィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。モーフィング生成モジュール２１１は、（例えば、入力ビットストリーム２０１から判断される）複数の逆量子化モーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。合成生成モジュール２１２は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、入力ビットストリーム２０１における複数の受信済みフレームおよび動きベクトルデータ等に少なくとも部分的に基づいて動き補償を適用し得る。
【００４８】
イントラ予測補償は、イントラ方向の予測生成モジュール２１４により実行され得る。イントラ方向の予測生成モジュール２１４は、空間的方向予測を実行するように構成され、入力ビットストリーム２０１におけるイントラ予測データにより複数のデコード済み隣接パーティションを用い得る。
【００４９】
図２において示されるように、予測モードセレクタモジュール２１５は、タイルの各予測パーティションについて「スキップ」、「自動」、「インター」、「マルチ」、および「イントラ」から予測モード選択を判断し、これらの全ては、入力ビットストリーム２０１におけるモード選択データに少なくとも部分的に基づいてＰおよびＦ／Ｂ映像に適用され得る。複数の予測モードに加えて、「インター」または「マルチ」モードに応じて、ならびにＰおよびＦ／Ｂ映像に対して異なり得る、複数の参照タイプの選択も可能にする。予測モードセレクタモジュール２１５の出力部における予測信号は、予測結合フィルタリングモジュール２１６によりフィルタリングされ得る。予測結合フィルタリングモジュール２１６は、入力ビットストリーム２０１により判断された複数のパラメータ（例えば、複数のフィルタリング係数、周波数、オーバヘッド）に少なくとも部分的に基づいてフィルタリングを実行し得る。いくつかの例において、予測信号をフィルタリングすることにより、複数の異なるモード（例えば、イントラ、インター、マルチ、スキップ、および自動）を表す複数の異なるタイプの信号を結合し得る。いくつかの例において、複数のイントラ予測信号は、適切なフィルタリングが符号化の効率性を大幅に向上し得るように、他のあらゆるタイプのインター予測信号とは異なってもよい。フィルタリング予測信号は、第２の入力（例えば、予測パーティション）を上述の差分器２０６に提供し得る。
【００５０】
論じられるように、品質回復フィルタリングモジュール２０９の出力は、最終再構成済みフレームであり得る。複数の最終再構成済みフレームは、適応映像再構成部２１７に送信され得る。適応映像再構成部２１７は、入力ビットストリーム２０１における複数のパラメータを並べ替えることに少なくとも部分的に基づいて、必要とされる複数のフレームを再度並べ替え、または再構成し得る。再度並べ替えられた複数のフレームは、コンテンツ事後回復器モジュール２１８に送信され得る。コンテンツ事後回復器モジュール２１８は、デコード済み動画の知覚的品質の更なる改善を実行するように構成される任意選択のモジュールであってもよい。改善処理は、入力ビットストリーム２０１における複数の品質改善パラメータに応答して実行されてもよく、またはスタンドアロンオペレーションとして実行されてもよい。いくつかの例において、（例えば、デブロックフィルタリングモジュール２０８に関して論じられるデブロッキングオペレーションの後であっても）コンテンツ事後回復器モジュール２１８は、例えば、フィルム粒子ノイズまたは残差ブロックノイズ低減の評価等の品質を改善する複数のパラメータを適用し得る。示されるように、デコーダ２００は、ディスプレイデバイス（図示せず）により表示するように構成され得る表示動画２１９を提供し得る。
【００５１】
動作中に、デコーダ２００のいくつかのコンポーネントは、デコーダ予測サブシステムとして動作し得る。例えば、デコーダ２００のそのようなデコーダ予測サブシステムは、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
【００５２】
以下により詳細に論じられるように、いくつかの実装において、デコーダ２００のそのようなデコーダ予測サブシステムは、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成される組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、以下の複数の機能のうち１または複数を含み得る。１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
【００５３】
例えば、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
【００５４】
以下により詳細に説明されるように、モーフィング解析器および生成モジュール２１１は、（例えば、入力ビットストリームから判断される）複数の逆量子化済みモーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。生成されたそのような複数のモーフィング済み基準フレームは、バッファ内に格納され、特性および動き補償済み精度適応フィルタリング予測器モジュール２１３により用いられ得る。
【００５５】
同様に、合成解析器および生成モジュール２１２は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等、１または複数のタイプの合成済み予測基準映像（ｐｒｅｄｉｃｔｉｏｎ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、バッファ内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
【００５６】
従って、デコーダ２００のそのようなデコーダ予測サブシステムにおいて、インター予測が適用される場合、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共にモーフィング済み基準フレーム、ならびに／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
【００５７】
動作中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、デコード済みの過去および／または将来の映像／スライスに関するローカルな動き補償以外に、上記の複数のコンポーネントのうち１または複数を用い得る。従って、本実装は、例えば、利得補償、またはその他の特性補償済み基準フレーム生成に対する特定の解決法を要求するものではない。
【００５８】
図１および図２は、特定のエンコードモジュールおよびデコードモジュールを図示するが、図示されない様々な他の符号化モジュールまたはコンポーネントも本開示に従って使用されてもよい。更に、本開示は、図１および図２に図示される複数の特定コンポーネント、および／または様々なコンポーネントが構成される様式に限定されない。本明細書において説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、および／もしくはハードウェア、ならびに／またはこれらのいずれかの組み合わせで実装され得る。例えば、エンコーダ１００および／またはデコーダ２００の様々なコンポーネントは、少なくとも部分的に、例えば、携帯電話等のコンピューティングシステムにおいて見られ得るようなコンピューティングシステムオンチップ（ＳｏＣ）のハードウェアにより提供され得る。
【００５９】
更に、エンコーダ１００は、例えば、動画コンテンツシステムを含むコンテンツプロバイダシステムに関連し、および／またはこれにより提供され、出力ビットストリーム１１１は、例えば、様々な通信コンポーネントによるデコーダ２００等のデコーダ、および／または図１および図２において図示されない送受信機、アンテナ、ネットワークシステム等のシステムに送信または伝達され得ることが理解され得る。また、デコーダ２００は、エンコーダ１００から遠隔にあり、図１および図２において図示されない送受信機、アンテナ、ネットワークシステム等、様々な通信コンポーネントおよび／またはシステムを介して入力ビットストリーム２０１を受信するコンピューティングデバイス（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、携帯電話等）等、クライアントシステムに関連し得ることも理解され得る。従って、様々な実装において、エンコーダ１００およびデコーダサブシステム２００は、一緒にまたは互いに独立して実装され得る。
【００６０】
図３Ａは、本開示の少なくともいくつかの実装に従って構成された次世代動画エンコーダ１００に関連する例示的な複数のサブシステムの例示的な図である。示されるように、エンコーダ１００は、事前解析器サブシステム３１０、パーティショナサブシステム３２０、予測エンコーダサブシステム３３０、変換エンコーダサブシステム３４０、エントロピエンコーダサブシステム３６０、変換デコーダサブシステム３７０、アンパーティショナサブシステム３８０、および／またはフィルタリングエンコードサブシステム３５０を含み得る。
【００６１】
複数のサブシステム３１０〜３８０は、図３Ａにおいてエンコーダ１００の特定の例示的機能モジュールに関連するものとして図示されるが、本明細書におけるエンコーダ１００の他の複数の実装は、複数のサブシステム３１０〜３８０中のエンコーダ１００の複数の機能モジュールにおける異なる分散を含み得る。本開示は、この点において限定されず、様々な例において、本明細書における例示駅な複数のサブシステム３１０〜３８０の実装は、示されるエンコーダ１００、追加の機能モジュール、および／または図示されるものとは異なる構成の特定の例示的な複数の機能モジュールのサブセットのみによる試み（ｕｎｄｅｒｔａｋｉｎｇ）を含み得る。
【００６２】
図３Ｂは、本開示の少なくともいくつかの実装に従って構成された次世代動画デコーダ２００に関連する例示的な複数のサブシステムの例示的な図である。示されるように、デコーダ２００は、エントロピデコーダサブシステム３６２、変換デコーダサブシステム３７２、アンパーティショナサブシステム３８２、フィルタリングデコーダサブシステム３５２、予測デコーダサブシステム３３２、および／または事後回復器サブシステム３９２を含み得る。
【００６３】
複数のサブシステム３２２〜３９２は、図３Ｂにおいてデコーダ２００の特定の例示的な機能モジュールに関連するものとして図示されるが、本明細書におけるエンコーダ１００の他の複数の実装は、複数のサブシステム３２２〜３９２中のデコーダ２００の機能モジュールにおける異なる分散を含み得る。本開示は、この点において限定されず、様々な例において、本明細書における例示的なサブシステム３２２〜３９２の実装は、示されるデコーダ２００、複数の追加の機能モジュール、および／または図示されるものとは異なる構成の特定の例示的な複数の機能モジュールのサブセットのみによる試みを含み得る。
【００６４】
図４は、本開示の少なくともいくつかの実装に従って構成された修正済み予測基準映像４００の例示的な図である。示されるように、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測のために用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。
【００６５】
提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、複数のモーフィング済み予測基準４２８〜４３８（ＭＲ０〜３）および／または複数の合成済み予測基準４１２および４４０〜４４６（Ｓ０〜Ｓ３、ＭＲ４〜７）の組み合わせを用いるＰ映像符号化を実装し得る。ＮＧＶ符号化は、Ｉ映像、Ｐ映像、およびＦ／Ｂ映像と呼ばれる３つの映像のタイプを用いることを伴う。図示される例において、符号化される現在の映像（Ｐ映像）は、時間ｔ=４に示される。符号化中に、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、既にデコードされた４つの基準Ｒ０  ４１２、Ｒ１  ４１４、Ｒ２  ４１６、およびＲ３  ４１８のうち１または複数を用い得る。これらの基準を予測のために直接的に専ら用い得る他の複数の解決法とは異なり、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、そのような既にデコードされた複数の基準から複数の修正（モーフィングまたは合成）された基準を生成し、生成されたそのような修正済み（モーフィングまたは合成済み）の複数の基準に少なくとも部分的に基づいた、動き補償済み符号化を用い得る。
【００６６】
以下により詳細に説明されるように、いくつかの例において、提案のＮＧＶコーダの実装（例えば、エンコーダ１００および／またはデコーダ２００）は、効率的な動画符号化アルゴリズムにいくつかのコンポーネント、およびこれらのコンポーネントにより生成された組み合わされた複数の予測を組み込み得る。例えば、提案のＮＧＶコーダの実装は、以下の複数の機能のうち１または複数を含み得る。１．利得補償（例えば、シーンにおける利得／明るさの変化に対する明示的補償）。２．ぼかし補償。例えば、シーンにおけるぼかし／鮮明さの変化に対する明示的補償。３．主要な／グローバルな動き補償（例えば、シーンにおける主要な動きに対する明示的補償）。４．レジストレーション補償（例えば、シーンにおける複数のレジストレーション不一致に対する明示的補償）。５．超解像度（例えば、シーンにおける解像度の精度の変化に対する明示的モデル）。６．投影（例えば、シーンにおける動きの軌道の変化に対する明示的モデル）等、および／またはこれらの組み合わせ。
【００６７】
図示される例において、インター予測が適用されると、特性および動きフィルタリング予測器モジュールは、ローカルデコードループの一部として、現在の映像４１０（例えば、図においてＰ−ｐｉｃ（ｃｕｒｒ）としてラベリングされる）に動き補償を適用し得る。いくつかの例において、そのような動き補償は、複数の将来のフレーム（図示せず）、および／または前のフレームＲ０  ４１２（例えば、図においてＲ０としてラベリングされる）、前のフレームＲ１  ４１４（例えば、図においてＲ１としてラベリングされる）、前のフレームＲ２  ４１６（例えば、図においてＲ２としてラベリングされる）、および／または前のフレームＲ３  ４１８（例えば、図においてＲ３としてラベリングされる）に少なくとも部分的に基づき得る。
【００６８】
例えば、いくつかの実装において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。インター予測は、モーフィング解析器、ならびに生成モジュールおよび／または合成解析器および生成モジュールを含む、１または複数のモジュールにより実行され得る。そのようなモーフィング解析器および生成モジュールは、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する、ぼかし４２０（例えば、図においてＢｌｕｒ  ｐａｒとしてラベリングされている）における複数の変化、利得４２２（例えば、図においてＧａｉｎ  ｐａｒとしてラベリングされている）における複数の変化、レジストレーション４２４（例えば、図においてＲｅｇ  ｐａｒとしてラベリングされている）における複数の変化、および主要な動き４２６（例えば、図においてＤｏｍ  ｐａｒとしてラベリングされている）における複数の変化等に対する複数のパラメータを判断し得る。
【００６９】
複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、複数のモーフィング済み基準フレームを生成するべく用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく用いられ得る。図示される例において、複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、例えば、ぼかし補償済みモーフィング済み基準フレーム４２８（例えば、図においてＭＲ３ｂとしてラベリングされている）、利得補償済みモーフィング済み基準フレーム４３０（例えば、図においてＭＲ２ｇとしてラベリングされている）、利得補償済みモーフィング済み基準フレーム４３２（例えば、図においてＭＲ１ｇとしてラベリングされている）、レジストレーション補償済みモーフィング済み基準フレーム４３４（例えば、図においてＭＲ１ｒとしてラベリングされている）、主要な動き補償済みモーフィング済み基準フレーム４３６（例えば、図においてＭＲ０ｄとしてラベリングされている）、および／またはレジストレーション補償済みモーフィング済み基準フレーム４３８（例えば、図においてＭＲ０ｒとしてラベリングされている）等、またはこれらの複数の組み合わせ等、複数のモーフィング済み基準フレームを生成するべく用いられ得る。
【００７０】
同様に、合成解析器および生成モジュールは、これらのフレームにおいて効率的動き補償済み予測に対する複数の動きベクトルを判断するための複数の超解像度（ＳＲ）映像４４０（例えば、図において、Ｓ０（前のフレームＲ０  ４１２に等しい）、Ｓ１、Ｓ２、Ｓ３としてラベリングされている）、および複数の投影内挿（ＰＩ）映像４４２（例えば、図においてＰＥとしてラベリングされている）等を生成し得る。生成されたそのような複数の合成済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく、用いられ得る。
【００７１】
更にまたは代替的に、複数の判断済みモーフィングパラメータ４２０、４２２、４２４、および／または４２６は、複数の生成済み合成基準フレームの超解像度（ＳＲ）映像４４０、および／または投影内挿（ＰＩ）映像４４２をモーフィングするべく用いられ得る。例えば、合成解析器および生成モジュールは、判断済みレジストレーションモーフィングパラメータ４２４から、複数のレジストレーション補償済みモーフィング済み超解像度（ＳＲ）映像４４４（例えば、図においてＭＲ４ｒ、ＭＲ５ｒ、およびＭＲ６ｒとしてラベリングされている）、および／または複数のレジストレーション補償済みモーフィング済み投影内挿（ＰＩ）映像４４６（例えば、図においてＭＲ７ｒとしてラベリングされている）等を生成し得る。生成されたそのような複数のモーフィング済み基準フレームおよび合成済み基準フレームは、格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算するべく用いられ得る。
【００７２】
いくつかの実装において、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道等、またはこれらの複数の組み合わせ等）における複数の変化は、明示的に計算され得る。複数の特性のそのようなセットは、ローカルな動きに加えて、計算されてもよい。いくつかの場合に、前または次の複数の映像／スライスは、適宜なものとして使用され得る。しかし、他の複数の場合において、そのような複数の特性のセットは、前の映像／複数のスライスからの予測作業をより良好に行い得る。更に、いずれの評価手順（例えば、複数の過去の、または複数の過去および将来の映像／スライスによる）においても誤差が存在し得るので、最適な評価をもたらす複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に関連する修正済み基準フレームが、選択され得る。従って、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に関連する複数の修正済み基準フレームを使用する提案のアプローチは、これらの特性における複数の差異を明示的に補償し得る。提案の実装は、予測信号をどのように改善するかの問題に対処し、同様に、動画符号化において高い圧縮効率性を達成することを可能にし得る。
【００７３】
例えば、圧縮される動画の解像度が増大し、高い動画の質に対する期待が高くなっているので、Ｈ．２６４等の複数の既存の動画符号化規格、またはＨ．２６５／ＨＥＶＣ等の更に高度な複数の規格を用いて符号化するのに必要とされる、対応するビットレート／帯域は、比較的高い。複数の上述の規格は、不十分な圧縮／品質問題に暗黙に対処する従来の複数のアプローチの拡大形を用いるが、多くの場合、結果は限られている。
【００７４】
提案の実装は、フレーム間予測を改善することにより動画圧縮の効率性を改善し、これにより同様に、符号化される必要があるフレーム間予測の差異（誤差信号）を低減する。符号化されるフレーム間予測の差異の量が少なれければ少ないほど、符号化するのに必要とするビットの量も少なくなり、これにより符号化された予測差異信号を格納または送信するのにより少ないビットを使用するので、圧縮効率性を効果的に改善する。  複数の動き予測のみに限定することに代えて、提案のＮＣＶコーデックは、動き補償に加えて、またはこれに対する代替として、コンテンツの複数の特性における複数の変化を明示的に補償する複数のアプローチを使用することにより、コンテンツの変化する複数の特性（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）に高度の適応的であり得る。従って、問題の根本的問題に明示的に対処することにより、ＮＧＶコーデックは、規格ベースの複数のコーデックの限界の主要な原因に対処し、それにより高い圧縮の効率性を達成し得る。
【００７５】
フレーム間予測の出力におけるこの変更は、動画コンテンツにおける複数の変化の広範な原因を補償する、提案のＮＣＶコーデックの能力により達成され得る。複数の典型的な動画シーンは、多くのローカルおよびグローバルな複数の変化（本明細書において特性と呼ばれる）に起因してフレーム間で変わる。ローカルな動き以外に、現在の複数の解決法によっては十分に対処されない他の多くの特性が存在するが、これらは提案の実装により対処され得る。
【００７６】
提案の実装は、ローカルな動きに加えて、複数の特性のセット（例えば、利得、ぼかし、主要な動き、レジストレーション、解像度の精度、動きの軌道、等、またはこれらの複数の組み合わせ等）における複数の変化を明示的に計算し、従って、前または次の複数の映像／スライスからのローカルな動き予測のみを用いるのに比べ、前の映像／複数のスライスからの予測作業を良好に行い得る。更に、複数の過去の、または複数の過去および将来の映像／スライスによるいずれの評価手順においても誤差が存在し得るので、ＮＧＶコーダは、様々な特性における複数の差異を明示的に補償することにより、最良のものをもたらすフレームを選択し得る。
【００７７】
具体的には、ＮＧＶコーダの提案の実装は、以下の複数の機能を含み得る。ｉ．シーンにおける利得／明るさの変化に対する明示的補償、ｉｉ．シーンにおけるぼかし／鮮明さの変化に対する明示的補償、ｉｉｉ．シーンにおける主要な動きに対する明示的補償、ｉｖ．シーンにおける複数のレジストレーション不一致に対する明示的補償、ｖ．シーンにおける解像度の精度の変化に対する明示的モデル、および／またはｖｉ．シーンにおける動きの軌道の変化に対する明示的モデル。
【００７８】
以下に示す表１および２は、複数のコードブックエントリの一例を図示する。複数のエントリの完全なコードブックは、全ての可能なエントリの完全な、または実質的に完全なリスト、およびその符号化を提供し得る。いくつかの例において、コードブックは、上記の複数の制約を考慮に入れることができる。いくつかの例において、複数の予測モードおよび／または参照タイプに対するコードブックエントリに関連するデータは、本明細書において論じられるデコーダにおいて用いるビットストリームにおいてエンコードされ得る。
【００７９】
【表１】
2016502332.tif 000003
【００８０】
【表２】
2016502332.tif 000004
【００８１】
動作中に、ＮＧＶコーダ（例えば、エンコーダ１００および／またはデコーダ２００）の提案の実装は、予測モードおよび／または参照タイプデータが記号により起動される符号化またはコードブック等を用いて規定され得るように、動作し得る。予測モードおよび／または参照タイプデータは、複数の変換係数を生成するべく、様々な例においてコンテンツ適応または離散変換を用いて変換エンコードされ得る。また、論じられるように、複数のパーティション（例えば、変換係数または量子化済み変換係数）に関連するデータ、オーバヘッドデータ（例えば、変換タイプ、適応変換方向、および／または変換モードについて本明細書において論じられるインジケータ）、および／または複数のパーティションを規定するデータ等は、（例えば、エントロピエンコーダにより）エンコードされ、ビットストリームとし得る。ビットストリームは、デコーダに通信され得る。デコーダは、表示用の複数の動画フレームをデコードするべく、エンコード済みビットストリームを用い得る。ローカルベースで（マクロブロックまたはタイル内でブロック毎に、またはタイルもしくは予測単位内でパーティション毎に、あるいはスーパフラグメントもしくは領域内の複数のフラグメント等）、最適のモードは、例えば、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて、または動画の事前解析に少なくとも部分的に基づいて選択され得、モードに対する識別子および必要とされる複数の参照は、デコーダにより用いるビットストリーム内でエンコードされ得る。
【００８２】
動作中に、ＮＧＶコーダ（例えば、エンコーダ１００および／またはデコーダ２００）の提案の実装は、デコード済みの過去および／または将来の映像／複数のスライスに関する通常のローカルな動き補償以外に、複数の上記コンポーネントのうち１または複数を用い得る。従って、実装は、例えば、利得補償、またはその他の特性補償済み基準フレーム生成のために特定の解決法を要求しない。
【００８３】
図５は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行するための例示的なエンコーダ予測サブシステム３３０の例示的な図である。図示されるように、エンコーダ５００のエンコーダ予測サブシステム３３０は、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
【００８４】
示されるように、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ５００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図５において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む、１または複数のモジュールにより実行され得る。
【００８５】
モーフィング解析器および生成モジュール１２０は、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ５２０を含み得る。モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、現在の映像を解析し、基準フレームまたは符号化される複数のフレームに関する利得における複数の変化、主要な動きにおける複数の変化、レジストレーションにおける複数の変化、およびぼかしにおける複数の変化に対する複数のパラメータを判断し得る。複数の判断済みモーフィングパラメータは、量子化／逆量子化され、複数のモーフィング済み基準フレームを生成するべく、（例えば、モーフィング解析器および生成モジュール１２０により）用いられ得る。生成されたそのような複数のモーフィング済み基準フレームは、モーフィング済み予測基準（ＭＰＲ）バッファ５２０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
【００８６】
合成解析器および生成モジュール１２１は、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０、ならびに合成済み予測基準（ＳＰＲ）バッファ５４０を含み得る。合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、これらのフレームにおいて効率的動き補償済み予測に対する動きベクトルを判断する、複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
【００８７】
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
【００８８】
図６は、本開示の少なくともいくつかの実装に従って構成された特性および動き補償済み予測を実行する、例示的なデコーダ予測サブシステム６０１の例示的な図である。図示されるように、デコーダ６００のデコーダ予測サブシステム６０１は、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
【００８９】
示されるように、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
【００９０】
モーフィング解析器および生成モジュール２１１は、モーフィング済み映像生成器（ＭＰＧ）６１０、およびモーフィング済み予測基準（ＭＰＲ）バッファ６２０を含み得る。モーフィング済み映像生成器（ＭＰＧ）６１０は、（例えば、入力ビットストリームから判断される）複数の逆量子化済みモーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。生成されたそのような複数のモーフィング済み基準フレームは、モーフィング済み予測基準（ＭＰＲ）バッファ６２０内に格納され、特性および動き補償済み精度適応フィルタリング予測器モジュール２１３により用いられ得る。
【００９１】
合成解析器および生成モジュール２１２は、合成済み映像生成器６３０、ならびに合成済み予測基準（ＳＰＲ）バッファ６４０を含み得る。合成済み映像生成器６３０は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等の１または複数のタイプの合成済み予測基準映像を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
【００９２】
インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
【００９３】
図７は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行する別の例示的なエンコーダ予測サブシステム３３０の例示的な図である。図示されるように、エンコーダ７００のエンコーダ予測サブシステム３３０は、デコード済み映像バッファ１１９、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、動き評価器モジュール１２２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含み得る。
【００９４】
示されるように、品質解析器および品質回復フィルタリングの出力は、デコード済み映像バッファ１１９に送信され得る。いくつかの例において、品質解析器および品質回復フィルタリングの出力は、他の複数のフレームを符号化する予測に用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。エンコーダ７００において、複数の予測オペレーションは、インター予測および／またはイントラ予測を含み得る。図７において示されるように、インター予測は、モーフィング解析器および生成モジュール１２０、合成解析器および生成モジュール１２１、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール１２３を含む１または複数のモジュールにより実行され得る。
【００９５】
モーフィング解析器および生成モジュール１２０は、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ５２０を含み得る。モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、１または複数のタイプの修正済み予測基準映像を解析および／または生成するように構成され得る。
【００９６】
例えば、モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、利得評価器および補償済み予測生成器７０５、ぼかし評価器および補償済み予測生成器７１０、主要な動き評価器および補償済み予測生成器７１５、レジストレーション評価器および補償済み予測生成器７２０等、ならびに／またはこれらの複数の組み合わせを含み得る。利得評価器および補償済み予測生成器７０５は、利得における複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。ぼかし評価器および補償済み予測生成器７１０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。主要な動き評価器および補償済み予測生成器７１５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。レジストレーション評価器および補償済み予測生成器７２０は、レジストレーションにおける変化に対処するように適合される複数のモーフィング済み予測基準映像を解析および／または生成するように構成され得る。
【００９７】
モーフィングタイプの解析器（ＭＴＡ）およびモーフィング済み映像生成器（ＭＰＧ）５１０は、モーフィング済み予測基準（ＭＰＲ）バッファ５２０内にそのような生成された複数のモーフィング済み基準フレームを格納し得る。例えば、モーフィング済み予測基準（ＭＰＲ）バッファ５２０は、利得補償済み（ＧＣ）映像バッファ７２５、ぼかし補償（ＢＣ）映像バッファ７３０、主要な動き補償済み（ＤＣ）映像バッファ７３５、レジストレーション補償済み（ＲＣ）映像バッファ７４０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み（ＧＣ）映像バッファ７２５は、利得における複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。ぼかし補償（ＢＣ）された映像バッファ７３０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。主要な動き補償済み（ＤＣ）映像バッファ７３５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。レジストレーション補償済み（ＲＣ）映像バッファ７４０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。
【００９８】
合成解析器および生成モジュール１２１は、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０、および合成済み予測基準（ＳＰＲ）バッファ５４０を含み得る。合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、１または複数のタイプの合成済み予測基準映像を解析および／または生成するように構成され得る。例えば、合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、超解像度フィルタセレクタおよび予測生成器７４５、投影軌道（Ｐｒｏｊｅｃｔｉｏｎ  Ｔｒａｊｅｃｔｏｒｙ）解析器および予測生成器７５０等、および／またはこれらの複数の組み合わせを含み得る。超解像度フィルタセレクタおよび予測生成器７４５は、超解像度（ＳＲ）タイプの複数の合成済み予測基準映像を解析および／または生成するように構成され得る。投影軌道解析器および予測生成器７５０は、投影内挿（ＰＩ）タイプの複数の合成済み予測基準映像を解析および／または生成するように構成され得る。
【００９９】
合成タイプ解析器（ＳＴＡ）および合成済み映像生成器５３０は、これらのフレームにおいて効率的動き補償済み予測のための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ５４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測に対する複数の動きベクトルを計算する動き評価器モジュール１２２により用いられ得る。
【０１００】
例えば、合成済み予測基準（ＳＰＲ）バッファ５４０は、超解像度（ＳＲ）映像バッファ７５５、投影内挿（ＰＩ）映像バッファ７６０等、および／またはこれらの複数の組み合わせを含み得る。超解像度（ＳＲ）映像バッファ７５５は、複数の超解像度（ＳＲ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。投影内挿（ＰＩ）映像バッファ７６０は、複数の投影内挿（ＰＩ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。
【０１０１】
動き評価器モジュール１２２は、現在のフレームと共にモーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて動きベクトルデータを生成し得る。いくつかの例において、動き評価器モジュール１２２は、インター予測モジュールとみなされ得る。例えば、動きベクトルデータは、インター予測のために用いられ得る。インター予測が適用されると、特性および動きフィルタリング予測器モジュール１２３は、論じられたローカルデコードループの一部として動き補償を適用し得る。
【０１０２】
図８は、本開示の少なくともいくつかの実装に従って構成された、特性および動き補償済み予測を実行する別の例示的なデコーダ予測サブシステム６０１の例示的な図である。図示されるように、デコーダ予測サブシステム６０１は、デコード済み映像バッファ２１０、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、ならびに／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含み得る。
【０１０３】
示されるように、品質回復フィルタリングモジュールの出力は、デコード済み映像バッファ２１０に送信され得る。いくつかの例において、品質回復フィルタリングモジュールの出力は、他の複数のフレームを符号化する予測ように用いられ得る最終再構成済みフレームであり得る（例えば、最終再構成済みフレームは、基準フレーム等であってもよい）。論じられるように、複数の予測オペレーションに起因する補償は、インター予測補償および／またはイントラ予測補償を含み得る。示されるように、インター予測補償は、モーフィング解析器および生成モジュール２１１、合成解析器および生成モジュール２１２、および／または特性および動き補償済み精度適応フィルタリング予測器モジュール２１３を含む１または複数のモジュールにより実行され得る。
【０１０４】
モーフィング生成モジュール２１２は、モーフィング済み映像生成器（ＭＰＧ）６１０、ならびにモーフィング済み予測基準（ＭＰＲ）バッファ６２０を含み得る。モーフィング済み映像生成器（ＭＰＧ）６１０は、（例えば、入力ビットストリームから判断される）複数の逆量子化モーフィングパラメータを用い、複数のモーフィング済み基準フレームを生成し得る。例えば、モーフィング済み映像生成器（ＭＰＧ）６１０は、利得補償済み予測生成器８０５、ぼかし補償済み予測生成器８１０、主要な動き補償済み予測生成器８１５、レジストレーション補償済み予測生成器８２０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み予測生成器８０５は、利得における複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。ぼかし補償済み予測生成器８１０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。主要な動き補償済み予測生成器８１５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。レジストレーション補償済み予測生成器８２０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み予測基準映像を生成するように構成され得る。
【０１０５】
モーフィング済み映像生成器（ＭＰＧ）６１０は、モーフィング済み予測基準（ＭＰＲ）バッファ６２０内に生成されたそのような複数のモーフィング済み基準フレームを格納し得る。例えば、モーフィング済み予測基準（ＭＰＲ）バッファ６２０は、利得補償済み（ＧＣ）映像バッファ８２５、ぼかし補償済み（ＢＣ）映像バッファ８３０、主要な動き補償済み（ＤＣ）映像バッファ８３５、レジストレーション補償済み（ＲＣ）映像バッファ８４０等、および／またはこれらの複数の組み合わせを含み得る。利得補償済み（ＧＣ）映像バッファ８２５は、利得における複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。ぼかし補償（ＢＣ）された映像バッファ８３０は、ぼかしにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。主要な動き補償済み（ＤＣ）映像バッファ８３５は、主要な動きにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。レジストレーション補償済み（ＲＣ）映像バッファ８４０は、レジストレーションにおける複数の変化に対処するように適合される複数のモーフィング済み基準フレームを格納するように構成され得る。
【０１０６】
合成生成モジュール２１２は、合成済み映像生成器６３０、および合成済み予測基準（ＳＰＲ）バッファ６４０を含み得る。合成済み映像生成器６３０は、入力ビットストリーム２０１から判断された複数のパラメータに少なくとも部分的に基づいて、超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等、１または複数のタイプの合成済み予測基準映像を生成するように構成され得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ６４０内に格納され、動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。例えば、合成済み映像生成器６３０は、超解像度映像生成器８４５、投影軌道映像生成器８５０等、および／またはこれらの複数の組み合わせを含み得る。超解像度映像生成器８４５は、超解像度（ＳＲ）タイプの複数の合成済み予測基準映像を生成するように構成され得る。投影軌道映像生成器８５０は、投影内挿（ＰＩ）タイプの複数の合成済み予測基準映像を生成するように構成され得る。
【０１０７】
合成済み映像生成器６３０は、これらのフレームにおいて効率的動き補償済み予測のための複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像等を生成し得る。生成されたそのような複数の合成済み基準フレームは、合成済み予測基準（ＳＰＲ）バッファ６４０内に格納され、現在のフレームの効率的動き（および特性）補償済み予測のための特性および動き補償済みフィルタリング予測器モジュール２１３により用いられ得る。
【０１０８】
例えば、合成済み予測基準（ＳＰＲ）バッファ６４０は、超解像度（ＳＲ）映像バッファ８５５、投影内挿（ＰＩ）映像バッファ８６０等、および／またはこれらの複数の組み合わせを含み得る。超解像度（ＳＲ）映像バッファ８５５は、複数の超解像度（ＳＲ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。投影内挿（ＰＩ）映像バッファ８６０は、複数の投影内挿（ＰＩ）映像に対して生成される複数の合成済み基準フレームを格納するように構成され得る。
【０１０９】
インター予測が適用されると、特性および動き補償済みフィルタリング予測器モジュール２１３は、現在のフレームと共に、モーフィング済み基準フレーム、および／または複数の超解像度（ＳＲ）映像および投影内挿（ＰＩ）映像に少なくとも部分的に基づいて、動き補償を適用し得る。
【０１１０】
図９は、本開示の少なくともいくつかの実装に従って構成された例示的な処理９００を図示するフロー図である。処理９００は、複数のオペレーション９０２、９０４、９０６、９０８、９１０、９１２、９１４、９１６、９１８、９２０、および／または９２２のうち１または複数により図示されるような１または複数のオペレーション、機能、またはアクションを含み得る。処理９００は、次世代動画符号化処理の少なくとも一部を形成し得る。非限定的な例として、処理９００は、図１のエンコーダシステム１００、および／または図１〜図３Ａ・図３Ｂ、および図５〜図８の複数のコーダシステムのいずれかにより試みられる次世代動画エンコード処理の少なくとも一部を形成し得る。
【０１１１】
処理９００は、オペレーション９０２において「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
【０１１２】
処理９００は、オペレーション９０４において、「映像のタイプを各動画フレームに関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像グループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像グループを含み得る。本明細書において説明される処理（例えば、オペレーション９０３〜９１１）は、複数の映像グループのフレームまたは映像上で実行され得る。処理は、１つのグループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
【０１１３】
処理９００は、オペレーション９０６において、「映像を複数のタイル、ならびに／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイル、または複数のスーパフラグメントおよび潜在的予測パーティションに分割され得る。
【０１１４】
処理９００は、オペレーション９０８において、「モーフィング済みまたは合成済み予測基準を生成するための複数の修正（例えば、モーフィングまたは合成）特性パラメータを判断し、予測を実行する」を継続し得、複数の修正（例えば、モーフィングまたは合成）特性パラメータおよび予測が実行され得る。例えば、モーフィング済みまたは合成済み予測基準を生成するための複数の修正（例えば、モーフィングまたは合成）特性パラメータが生成され、予測が実行され得る。
【０１１５】
パーティショニング中に、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
【０１１６】
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作９１２に関して論じられる）は、フレーム参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
【０１１７】
処理９００は、オペレーション９１０において、「潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
【０１１８】
処理９００は、オペレーション９１２において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
【０１１９】
処理９００は、オペレーション９１４において、「複数の潜在的符号化パーティショニングに複数の変換を実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニング上で実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
【０１２０】
処理９００は、オペレーション９１６において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
【０１２１】
処理９００は、オペレーション９１８において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
【０１２２】
処理９００は、オペレーション９２０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、以下の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
【０１２３】
処理９００は、オペレーション９２２において、「エントロピエンコード済みビットストリームをデコードし、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）を判断する」を継続し得、データは、エントロピエンコードされ得る。例えば、エントロピエンコード済みデータは、複数の符号化パーティションインジケータ、ブロックサイズデータ、変換タイプデータ、複数の量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）等、ならびに／またはこれらの複数の組み合わせを含み得る。更にまたは代替的に、エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、複数の量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１２４】
オペレーション９０２〜９２２は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコードおよび複数のビットストリーム送信技術を提供し得る。
【０１２５】
図１０は、本開示の少なくともいくつかの実装に従って構成された例示的なビットストリーム１０００を図示する。いくつかの例において、ビットストリーム１０００は、図１において示される出力ビットストリーム１１１、および／または図２において示される入力ビットストリーム２０１に対応し得る。提示を明確にする目的で図１０に示されないが、いくつかの例において、ビットストリーム１０００は、ヘッダ部分およびデータ部分を含み得る。様々な例において、ビットストリーム１０００は、本明細書において論じられる動画フレームをエンコードすることに関連する、複数のデータインジケータ、複数の指標値、モード選択データ等を含み得る。
【０１２６】
動作中に、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、予測パーティションに関連するモード等、および／またはこれらの複数の組み合わせは、エントロピエンコードされ、図１において示される出力ビットストリーム１１１とし得る。図１において示される出力ビットストリーム１１１は、図１において示されるエンコーダ１００から図２において示されるデコーダ２００へと送信され得る。図２に示される入力ビットストリーム２０１は、図２において示されるデコーダ２００により受信され得る。図２において示される入力ビットストリーム２０１は、図２において示されるデコーダ２００によりエントロピデコードされ、予測パーティションに関連する複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、モード等、および／またはこれらの複数の組み合わせを判断し得る。
【０１２７】
論じられるように、ビットストリーム１０００は、例えば、エンコーダ１００等のエンコーダにより生成され、および／または複数のデコード済み動画フレームがディスプレイデバイスにより提示され得るようにデコードするデコーダ２００により、受信され得る。
【０１２８】
図１１は、本開示の少なくともいくつかの実装に従って構成された例示的な処理１１００を図示するフロー図である。処理１１００は、複数のオペレーション１１０２、１１０４、１１０６、１１０８、１１１０、１１１２、および／または１１１４のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。処理１１００は、次世代動画符号化処理の少なくとも一部を形成し得る。非限定的な例として、処理１１００は、図２のデコーダシステム２００により試みられる次世代動画デコード処理の少なくとも一部を形成し得る。
【０１２９】
処理１１００は、オペレーション１１０２において、「エンコード済みビットストリームを受信する」を開始し得、ビットストリームが受信され得る。例えば、本明細書において論じられるようにエンコードされたビットストリームは、動画デコーダにおいて受信され得る。いくつかの例において、ビットストリーム１１００は、デコーダ２００により受信され得る。
【０１３０】
処理１１００は、動作１１０４において、「エントロピエンコード済みビットストリームをデコードし、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）を判断する」を継続し、ビットストリームは、符号化パーティンションインジケータ、ブロックサイズデータ、変換タイプデータ、量子化器（Ｑｐ）、複数の量子化済み変換係数、複数の動きベクトルおよび参照タイプデータ、複数の特性パラメータ（例えば、ｍｏｐ、ｓｙｐ）等、および／またはこれらの複数の組み合わせを判断するべく、デコードされ得る。更にまたは代替的に、エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、複数の量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１３１】
処理１１００は、オペレーション１１０６において、「複数の量子化係数に量子化器（Ｑｐ）を適用し、複数の逆量子化済み変換係数を生成する」を継続し得、量子化器（Ｑｐ）は、複数の逆量子化済み変換係数を生成するべく、複数の量子化済み変換係数に適用され得る。例えば、オペレーション１１０６は、適応逆量子化モジュール２０３により適用され得る。
【０１３２】
処理１１００は、オペレーション１１０８において、「符号化（またはイントラ予測された）パーティションにおける複数の係数の各デコード済みブロックにおいて、変換タイプおよびブロックサイズデータに少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み予測誤差パーティションを生成する」を継続し得、符号化（またはイントラ予測された）パーティションにおける複数の変換係数び各デコードブロックにおいて、複数のデコード済み予測誤差パーティションを生成するべく、変換タイプおよびブロックサイズデータに少なくとも部分的に基づく逆変換が実行され得る。いくつかの例において、逆変換は、逆固定変換を含み得る。いくつかの例において、逆変換は、逆コンテンツ適応変換を含み得る。そのような複数の例において、逆コンテンツ適応変換を実行する段階は、本明細書において論じられるように、デコード済み動画データの隣接ブロックに少なくとも部分的に基づいて、逆コンテンツ適応変換に関連する複数の基底関数を判断する段階を有し得る。本明細書において論じられるようにエンコードするべく用いられるいずれのフォワード変換も、関連する逆変換を用いてデコードするべく用いられ得る。いくつかの例において、逆変換は、適応逆変換モジュール２０４により実行され得る。また、いくつかの例において、複数のデコード済み予測誤差パーティションを生成する段階は、符号化パーティションアセンブラ２０５により複数の符号化パーティションをアセンブルする段階を有し得る。
【０１３３】
処理１１００は、オペレーション１１０９において、「複数のデコード済み修正特性（例えば、ｍｏｐ、ｓｙｐ）を用いて、予測に対する複数の修正済み基準を生成し、複数の動きベクトルおよび参照情報、予測されるパーティション情報、ならびに複数の修正済み基準を用いて、予測されるパーティションを生成する」を継続し得、予測に対する複数の修正済み基準が生成され、予測される複数のパーティションも同様に生成され得る。例えば、予測に対する複数の修正済み基準が複数のデコード済み修正特性（例えば、ｍｏｐ、ｓｙｐ）に少なくとも部分的に基づいて生成され得る場合、予測される複数のパーティションは、複数の動きベクトルおよび参照情報、予測されるパーティション情報、ならびに複数の修正済み基準に少なくとも部分的に基づいて生成され得る。
【０１３４】
処理１１００は、オペレーション１１１０において、「デコード済み予測誤差データパーティションに予測パーティションを加算し、再構成済みパーティションを生成する」を継続し得、予測パーティションは、デコード済み予測誤差データパーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、デコード済み予測誤差データパーティションは、加算器２０６により関連する予測パーティションに加算され得る。
【０１３５】
処理１１００は、オペレーション１１１２において、「複数の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、複数のタイルまたはスーパフラグメントを生成するべくアセンブルされ得る。例えば、複数の再構成済み予測パーティションは、予測パーティションアセンブラモジュール２０７により複数のタイルまたはスーパフラグメントを生成するべく、アセンブルされ得る。
【０１３６】
処理１１００は、オペレーション１１１４において、「映像の複数のタイルまたはスーパフラグメントをアセンブルし、完全なデコード済み映像を生成する」を継続し得、映像の複数のタイルまたはスーパフラグメントは、アセンブルされ、完全なデコード済み映像を生成し得る。例えば、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングの後、複数のタイルまたはスーパフラグメントは、アセンブルされ、完全なデコード済み映像を生成し得、完全なデコード済み映像は、適応映像再構成部モジュール２１７およびコンテンツ事後回復器モジュール２１８により処理した後に、ディスプレイデバイスにより提示するべくデコード済み映像バッファ２１０を介して格納され、および／または送信され得る。
【０１３７】
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
【０１３８】
本明細書において論じられる処理９００、１１００、および他の複数の処理に関するいくつかの追加および／または任意選択の詳細は、本明細書において論じられる複数の実装の１または複数の例、そして具体的には、以下の図１２Ａ・図１２Ｂに関して図示され得る。
【０１３９】
図１２Ａおよび図１２Ｂは、本開示の少なくともいくつかの実装に従って構成された動作中の例示的な動画符号化システム１４００および動画符号化処理１２００の例示的な図を提供する。図示される実装において、処理１２００は、複数のアクション１２０１〜１２２３のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、処理１２００は、本明細書において、図１４に関して以下に更に論じられる図１のエンコーダ１００および図２のデコーダ２００を含む、例示的な動画符号化システム１４００を参照して、本明細書において説明される。いくつかの例において、動画符号化システム１４００は、図７のエンコーダ７００および図８のデコーダ８００を含み得る。様々な例において、処理１２００は、エンコーダおよびデコーダの双方を含むシステム、または１つのシステムがエンコーダ（および任意選択でデコーダ）を使用し、別のシステムがデコーダ（および任意選択でエンコーダ）を使用する、複数の別個のシステムにより試みられ得る。上述のように、エンコーダは、エンコーダシステムの一部としてローカルデコーダを使用するローカルデコードループを含み得ることに留意されたい。
【０１４０】
図示される実装において、動画符号化システム１４００は、論理回路１２５０等、および／またはその複数の組み合わせを含み得る。例えば、論理回路１２５０は、エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および／または図７に関して論じられたあらゆるモジュール、およびデコーダ２００（またはデコーダ１８００）を含み、図２、図６、および／または図８に関して論じられたあらゆるモジュールを含み得る。図１２Ａおよび図１２Ｂにおいて示される動画符号化システム１４００は、特定の複数のモジュールに関連する複数のブロックまたはアクションの特定の１つの設定を含み得るが、これらのブロックまたはアクションは、ここにおいて図示される特定の複数のモジュールとは異なる複数のモジュールに関連し得る。図示される処理１２００は、エンコードおよびデコードを対象とするが、説明される複数のコンセプトおよび／または動作は、別個にエンコードおよび／またはデコードすることに適用され、より一般には、動画符号化に適用され得る。
【０１４１】
処理１２００は、オペレーション１２０１において、「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
【０１４２】
処理１２００は、オペレーション１２０２において、「映像のタイプを複数の映像のグループ内の各動画フレームと関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像のグループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像の複数のグループを含み得る。本明細書において説明される処理（例えば、複数のオペレーション１２０３〜１２１１）は、複数の映像のグループのフレームまたは映像に実行され得る。処理は、グループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
【０１４３】
処理１２００は、オペレーション１２０３において、「映像を複数のタイル、ならびに／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイルもしくはスーパフラグメント、および複数の潜在的予測パーティションに分割され得る。
【０１４４】
処理１２００は、オペレーション１２０４において、「各潜在的予測パーティショニングについて、予測を実行し、複数の予測パラメータを判断する」を継続し得、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
【０１４５】
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像、およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作１２１２に関して論じられる）は、予測パーティションに関連するフレーム参照、複数のモーフィングパラメータ、または複数の合成パラメータを含み得る。
【０１４６】
処理１２００は、オペレーション１２０５において、「各潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
【０１４７】
処理１２００は、オペレーション１２０６において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
【０１４８】
処理１２００は、オペレーション１２０７において、「様々なブロックサイズを用いる固定またはコンテンツ適応性変換を、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
【０１４９】
処理１２００は、オペレーション１２０８において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
【０１５０】
処理１２００は、オペレーション１２０９において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
【０１５１】
処理１２００は、オペレーション１２１０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、後の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
【０１５２】
処理１２００は、オペレーション１２１１において、「各タイルまたはスーパフラグメントに関連するデータをエントロピエンコードする」を継続し得、各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。例えば、各動画シーケンスの複数の映像の各グループにおける各映像の各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１５３】
処理１２００は、オペレーション１２１２において、「ビットストリームを生成する」を継続し得、ビットストリームは、エントロピエンコード済みデータに少なくとも部分的に基づいて生成され得る。論じられるように、いくつかの例において、ビットストリームは、フレームもしくは映像参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
【０１５４】
処理１２００は、オペレーション１２１３において、「ビットストリームを送信する」を継続し得、ビットストリームが送信され得る。例えば、動画符号化システム１４００は、アンテナ１４０２を介して出力ビットストリーム１１１、ビットストリーム１０００等を送信し得る（図１４を参照されたい）。
【０１５５】
複数のオペレーション１２０１〜１２１３は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコードおよび複数のビットストリーム送信技術を提供し得る。以下の複数のオペレーション１２１４〜１２２３は、本明細書において論じられるデコーダシステムにより使用され得る、動画デコードおよび複数の動画表示技術を提供し得る。
【０１５６】
処理１２００は、オペレーション１２１４において、「ビットストリームを受信する」を継続し得、ビットストリームが受信され得る。例えば、入力ビットストリーム２０１、ビットストリーム１０００等は、デコーダ２００により受信され得る。いくつかの例において、ビットストリームは、上述の符号化パーティション、１または複数のインジケータ、および／または符号化パーティションを規定するデータに関連するデータを含み得る。いくつかの例において、ビットストリームは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１５７】
処理１２００は、オペレーション１２１５において、「ビットストリームをデコードする」を継続し得、受信済みビットストリームは、例えば、適応エントロピデコーダモジュール２０２によりデコードされ得る。例えば、受信済みビットストリームは、エントロピデコードされ、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを判断し得る。
【０１５８】
処理１２００は、オペレーション１２１６において、「各符号化パーティションの各ブロックに逆スキャンおよび逆量子化を実行する」を継続し得、逆スキャンおよび逆量子化が、処理される予測パーティションについて各符号化パーティションの各ブロックに実行され得る。例えば、逆スキャンおよび逆量子化は、適応逆量子化モジュール２０３により実行され得る。
【０１５９】
処理１２００は、オペレーション１２１７において、「固定またはコンテンツ適応性逆変換を実行し、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断する」を継続し得、固定またはコンテンツ適応性逆変換は、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断するべく実行され得る。例えば、逆変換は、ハイブリッドパラメータハール逆変換等の逆コンテンツ適応変換を含み得、従って、ハイブリッドパラメータハール逆変換は、パラメータ変換方向のパラメータハール逆変換、およびパラメータ変換方向と垂直の方向の離散コサイン逆変換を含み得る。いくつかの例において、固定逆変換は、離散コサイン逆変換または離散コサイン逆変換アプロキシメータを含み得る。例えば、固定またはコンテンツ適応性変換は、適応逆変換モジュール２０４により実行され得る。論じられるように、コンテンツ適応性逆変換は、例えば、デコード済み隣接パーティションまたはブロック等、既にデコードされたデータに少なくとも部分的に基づき得る。いくつかの例において、複数のデコード済み予測誤差データパーティションを生成する段階は、符号化パーティションアセンブラモジュール２０５により複数のデコード済み符号化パーティションをアセンブルする段階を有し得る。
【０１６０】
処理１２００は、オペレーション１２１８において、「各予測パーティションについて予測画素データを生成する」を継続し得、予測画素データは、各予測パーティションについて生成され得る。例えば、予測画素データは、選択済み予測タイプ（例えば、複数の特性および動き、またはイントラタイプもしくは他の複数のタイプに少なくとも部分的に基づいて）、および関連する複数の予測パラメータを用いて生成され得る。
【０１６１】
処理１２００は、オペレーション１２１９において、「各デコード済み予測誤差パーティションに対応する予測パーティションを加算し、再構成済み予測パーティションを生成する」を継続し得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、複数の予測パーティションは、図２において図示されるデコードループを介して生成され、加算器２０６により複数のデコード済み予測誤差パーティションに加算され得る。
【０１６２】
処理１２００は、オペレーション１２２０において、「再構成済み予測パーティションをアセンブルし、複数のデコード済みタイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、アセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。例えば、複数の予測パーティションは、予測パーティションアセンブラモジュール２０７によりアセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。
【０１６３】
処理１２００は、オペレーション１２２１において、「デブロックフィルタリングおよび／またはＱＲフィルタリングを適用し、複数の最終デコード済みタイルまたはスーパフラグメントを生成する」を継続し得、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングが、複数のデコード済みタイルまたはスーパフラグメントに適用され、複数の最終デコード済みタイルまたはスーパフラグメントを生成し得る。例えば、任意選択のデブロックフィルタリングは、デブロックフィルタリングモジュール２０８により適用され得、および／または任意選択の品質回復フィルタリングは、品質回復フィルタリングモジュール２０９により適用され得る。
【０１６４】
処理１２００は、オペレーション１２２２において、「複数のデコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画映像を生成し、複数の基準映像バッファ内に保存する」を継続し得、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ２１０）内に保存され得る。
【０１６５】
処理１２００は、オペレーション１２２３において、「ディスプレイデバイスにより提示するべく複数のデコード済み動画フレームを送信する」を継続し得、複数のデコード済み動画フレームは、ディスプレイデバイスにより提示するべく送信され得る。例えば、複数のデコード済み動画映像は、適応映像再構成部２１７およびコンテンツ事後回復器モジュール２１８により更に処理され、ユーザに提示するべく、表示動画２１９の複数の動画フレームとしてディスプレイデバイスに送信され得る。例えば、動画フレームは、提示するべく、ディスプレイデバイス１４０５（図１４において示される）に送信され得る。
【０１６６】
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
【０１６７】
本明細書において論じられる処理９００、１１００、１２００、および他の複数の処理に関するいくつかの追加および／または代替の詳細は、本明細書において論じられる複数の実装の１または複数の例、そして具体的には、以下の図１３Ａ、図１３Ｂおよび図１３Ｃに関して図示され得る。
【０１６８】
図１３Ａ、図１３Ｂ、および図１３Ｃは、本開示の少なくともいくつかの実装に従って構成された動作中の例示的な動画符号化システム１２００および動画符号化処理１３００の例示的な図を提供する。図示される実装において、処理１３００は、複数のアクション１３０１〜１３２３のうち１または複数により図示される１または複数のオペレーション、機能、またはアクションを含み得る。非限定的な例として、処理１３００は、本明細書において、図１４に関して以下に更に論じられる図１のエンコーダ１００および図２のデコーダ２００を含む、例示的な動画符号化システム１４００を参照して、本明細書において説明される。いくつかの例において、動画符号化システム１４００は、図７のエンコーダ７００および図８のデコーダ８００を含み得る。様々な例において、処理１３００は、エンコーダおよびデコーダの双方を含むシステム、または１つのシステムがエンコーダ（および任意選択でデコーダ）を使用し、別のシステムがデコーダ（および任意選択でエンコーダ）を使用する、複数の別個のシステムにより試みられ得る。上述のように、エンコーダは、エンコーダシステムの一部としてローカルデコーダを使用するローカルデコードループを含み得ることに留意されたい。
【０１６９】
図示される実装において、動画符号化システム１４００は、論理回路１３５０等、および／またはその複数の組み合わせを含み得る。例えば、論理回路１３５０は、エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および／または図７に関して論じられたあらゆるモジュール、およびデコーダ２００（またはデコーダ１８００）を含み、図２、図６、および／または図８に関して論じられたあらゆるモジュールを含み得る。図１３Ａ、図１３Ｂ、および図１３Ｃにおいて示される動画符号化システム１４００は、特定の複数のモジュールに関連する複数のブロックまたはアクションの特定の１つのセットを含み得るが、これらのブロックまたはアクションは、ここにおいて図示される特定の複数のモジュールとは異なる複数のモジュールに関連し得る。図示される処理１３００は、エンコードおよびデコードを対象とするが、説明される複数のコンセプトおよび／または動作は、別個にエンコードおよび／またはデコードすることに適用され、より一般には、動画符号化に適用され得る。
【０１７０】
処理１３００は、オペレーション１３０１において、「動画シーケンスの複数の入力動画フレームを受信する」を開始し得、動画シーケンスの複数の入力動画フレームは、例えば、エンコーダ１００により受信され得る。
【０１７１】
処理１３００は、オペレーション１３０２において、「映像のタイプを複数の映像のグループ内の各動画フレームと関連付ける」を継続し得、映像のタイプは、例えば、コンテンツ事前解析器モジュール１０２により複数の映像のグループ内の各動画フレームに関連付けられ得る。例えば、映像のタイプは、Ｆ／Ｂ映像、Ｐ映像、またはＩ映像等であり得る。いくつかの例において、動画シーケンスは、複数の映像の複数のグループを含み得る。本明細書において説明される処理（例えば、複数のオペレーション１３０３〜１３１１）は、複数の映像のグループのフレームまたは映像に実行され得る。処理は、グループの全てのフレームまたは映像について反復され、次に動画シーケンスにおける複数の映像の全てのグループについて反復され得る。
【０１７２】
処理１３００は、オペレーション１３０３において、「映像を複数のタイル、および／または複数のスーパフラグメントおよび潜在的予測パーティショニングに分割する」を継続し得、映像は、例えば、予測パーティション生成器１０５により複数のタイルもしくはスーパフラグメント、および複数の潜在的予測パーティションに分割され得る。
【０１７３】
処理１３００は、オペレーション１３０４において、「各潜在的予測パーティショニングについて、予測を実行し、複数の予測パラメータを判断する」を継続し得、各潜在的予測パーティショニングについて、予測が実行され、複数の予測パラメータが判断され得る。例えば、複数の潜在的予測パーティショニング（各々は、様々な予測パーティションを有する）の範囲が生成され、関連する予測および複数の予測パラメータが判断され得る。例えば、予測は、特性または動きに基づく複数基準による予測または複数のイントラ予測を用いる予測を含んでもよい。
【０１７４】
論じられるように、いくつかの例において、インター予測が実行され得る。いくつかの例において、最大４つのデコード済みの過去、および／または将来の映像およびいくつかのモーフィング／合成予測は、多数の参照タイプ（例えば、基準映像）を生成するべく用いられ得る。例えば、「インター」モードにおいて、最大９つの参照タイプが、複数のＰ映像においてサポートされ得、最大１０つの参照タイプが、複数のＦ／Ｂ映像においてサポートされ得る。更に、「マルチ」モードは、１つの基準映像に代えて、２つの基準映像が用いられ、ＰおよびＦ／Ｂ映像がそれぞれ、３つ、そして最大８つの参照タイプを可能にし得る、１つのタイプのインター予測モードを提供し得る。例えば、予測は、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づき得る。そのような例において、ビットストリーム（以下に動作１３１２に関して論じられる）は、予測パーティションに関連するフレーム参照、複数のモーフィングパラメータ、または複数の合成パラメータを含み得る。
【０１７５】
処理１３００は、オペレーション１３０５において、「各潜在的予測パーティショニングについて潜在的予測誤差を判断する」を継続し得、各潜在的予測パーティショニングについて、潜在的予測誤差が判断され得る。例えば、各予測パーティショニング（および複数の関連する予測パーティション、予測、および複数の予測パラメータ）について、予測誤差が判断され得る。例えば、潜在的予測誤差を判断する段階は、複数の予測画素と複数の元の画素（例えば、予測パーティションの元の画素データ）との差分を取る段階を有し得る。いくつかの例において、関連する複数の予測パラメータが格納され得る。論じられるように、いくつかの例において、予測誤差データパーティションは、モーフィング技術または合成技術のうち少なくとも１つを用いて生成され、既にデコードされたフレームに少なくとも部分的に基づいて生成された予測誤差データを含み得る。
【０１７６】
処理１３００は、オペレーション１３０６において、「予測パーティショニングおよび予測タイプを選択し、複数のパラメータを保存する」を継続し得、予測パーティショニングおよび予測タイプが選択され、関連する複数のパラメータは、保存され得る。いくつかの例において、最小の予測誤差を有する潜在的予測パーティショニングが選択され得る。いくつかの例において、潜在的予測パーティショニングは、レート歪みの最適化（ＲＤＯ）に少なくとも部分的に基づいて選択され得る。
【０１７７】
処理１３００は、オペレーション１３０７において、「様々なブロックサイズを用いる固定またはコンテンツ適応性変換を、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行する」を継続し得、様々なブロックサイズを用いる固定またはコンテンツ適応性変換が、パーティション予測誤差データの様々な潜在的符号化パーティショニングに実行され得る。例えば、パーティション予測誤差データは、複数の符号化パーティションを生成するべく分割され得る。例えば、パーティション予測誤差データは、本明細書において論じられる符号化パーティション生成器モジュール１０７の二分木符号化パーティショナモジュールまたはｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｆ／ＢまたはＰ映像に関連するパーティション予測誤差データは、二分木符号化パーティショナモジュールにより分割され得る。いくつかの例において、Ｉ映像（いくつかの例において、例えば、複数のタイルまたはスーパフラグメント）に関連する動画データは、ｋ−ｄツリー符号化パーティショナモジュールにより分割され得る。いくつかの例において、符号化パーティショナモジュールは、１つのスイッチまたは複数のスイッチにより選択され得る。例えば、複数のパーティションは、符号化パーティション生成器モジュール１０７により生成され得る。
【０１７８】
処理１３００は、オペレーション１３０８において、「最適な符号化パーティショニング、複数の変換ブロックサイズ、および実際の変換を判断する」を継続し得、最適な符号化パーティショニング、複数の変換ブロックサイズ、および複数の実際の変換が判断され得る。例えば、様々な符号化パーティショニング（例えば、様々な符号化パーティションを有する）は、ＲＤＯ、または（複数の符号化パーティションが論じられる変換ブロックサイズと一致しない場合に、複数の符号化パーティションを複数の変換ブロックに更に分割することも含む）選択された符号化パーティショニングを判断する別の基礎に少なくとも部分的に基づいて、評価され得る。例えば、実際の変換（または選択された変換）は、本明細書において説明される符号化パーティションまたは複数のブロックサイズで実行される、任意のコンテンツ適応性変換または固定変換を含み得る。
【０１７９】
処理１３００は、オペレーション１３０９において、「複数の変換係数を量子化し、スキャンする」を継続し、エントロピ符号化を準備するときに、複数の符号化パーティション（および／または変換ブロック）に関連する複数の変換係数は、量子化され、スキャンされ得る。
【０１８０】
処理１３００は、オペレーション１３１１において、「各タイルまたはスーパフラグメントに関連するデータをエントロピエンコードする」を継続し得、各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。例えば、各動画シーケンスの複数の映像の各グループにおける各映像の各タイルまたはスーパフラグメントに関連するデータは、エントロピエンコードされ得る。エントロピエンコード済みデータは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１８１】
処理１３００は、オペレーション１３１２において、「ビットストリームを生成する」を継続し得、ビットストリームは、エントロピエンコード済みデータに少なくとも部分的に基づいて生成され得る。論じられるように、いくつかの例において、ビットストリームは、フレームもしくは映像参照、複数のモーフィングパラメータ、または予測パーティションに関連する複数の合成パラメータを含み得る。
【０１８２】
処理１３００は、オペレーション１３１３において、「ビットストリームを送信する」を継続し得、ビットストリームが送信され得る。例えば、動画符号化システム１４００は、アンテナ１４０２を介して出力ビットストリーム１１１、ビットストリーム１０００等を送信し得る（図１４を参照されたい）。
【０１８３】
処理１３００は、オペレーション１３２０において、「画素データを再構成し、アセンブルして映像とし、複数の基準映像バッファ内に保存する」を継続し得、画素データは、再構成され、映像にアセンブルされ、複数の基準映像バッファ内に保存され得る。例えば、ローカルデコードループ（例えば、逆スキャン、逆変換、および複数の符号化パーティションのアセンブルを含む）の後に、複数の予測誤差データパーティションが生成され得る。複数の予測誤差データパーティションは、予測パーティションと共に加算され、複数の再構成済み予測パーティションを生成し得る。複数の再構成済み予測パーティションは、アセンブルされ、複数のタイルまたはスーパフラグメントとし得る。アセンブルされた複数のタイルまたはスーパフラグメントは、任意選択で、デブロックフィルタリングおよび／または品質回復フィルタリングにより処理され、映像を生成するべくアセンブルされ得る。映像は、他の（例えば、後の）複数の映像の予測に対する基準映像として、デコード済み映像バッファ１１９内に保存されてもよい。
【０１８４】
処理１３００は、オペレーション１３２２において、「複数のデコード済み予測基準映像を生成する」を継続し得、複数のデコード済み予測基準映像がデコードされ得る。例えば、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ１１９）内に保存され得る。
【０１８５】
処理１３００は、オペレーション１３２３において、「複数の修正特性パラメータを生成する」を継続し得、複数の修正特性パラメータが生成され得る。例えば、第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
【０１８６】
処理１３００は、オペレーション１３２４において、「複数の修正済み予測基準映像を生成する」を継続し得、複数の修正済み予測基準映像、例えば、第１の修正済み予測基準映像が生成され得る。第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。
【０１８７】
処理１３００は、オペレーション１３２５において、「動きデータを生成する」を継続し得、動き評価データが生成され得る。例えば、現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。
【０１８８】
処理１３００は、オペレーション１３２６において、「動き補償を実行する」を継続し得、動き補償が実行され得る。例えば、動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。処理１３００は、オペレーション１３０４にこの情報をフィードバックし得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。
【０１８９】
複数のオペレーション１３０１〜１３２６は、本明細書において論じられるエンコーダシステムにより使用され得る、動画エンコード技術およびビットストリーム送信技術を提供し得る。以下の複数のオペレーション１３５４〜１３６８は、本明細書において論じられるデコーダシステムにより使用され得る、動画デコード技術および動画表示技術を提供し得る。
【０１９０】
処理１３００は、オペレーション１３５４において、「ビットストリームを受信する」を継続し得、ビットストリームが受信され得る。例えば、入力ビットストリーム２０１、ビットストリーム１０００等は、デコーダ２００により受信され得る。いくつかの例において、ビットストリームは、符号化パーティション、１または複数のインジケータ、および／または上述の符号化パーティションを規定するデータに関連するデータを含み得る。いくつかの例において、ビットストリームは、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを含み得る。
【０１９１】
処理１３００は、オペレーション１３５５において、「ビットストリームをデコードする」を継続し得、受信済みビットストリームは、例えば、適応エントロピデコーダモジュール２０２によりデコードされ得る。例えば、受信済みビットストリームは、エントロピデコードされ、予測パーティショニング、複数の予測パラメータ、選択済み符号化パーティショニング、選択済み特性データ、動きベクトルデータ、量子化済み変換係数、複数のフィルタリングパラメータ、選択データ（モード選択データ等）、および複数のインジケータを判断し得る。
【０１９２】
処理１３００は、オペレーション１３５６において、「各符号化パーティションの各ブロックに逆スキャンおよび逆量子化を実行する」を継続し得、逆スキャンおよび逆量子化が、処理される予測パーティションについて各符号化パーティションの各ブロックに実行され得る。例えば、逆スキャンおよび逆量子化は、適応逆量子化モジュール２０３により実行され得る。
【０１９３】
処理１３００は、オペレーション１３５７において、「固定またはコンテンツ適応性逆変換を実行し、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断する」を継続し得、固定またはコンテンツ適応性逆変換は、複数の変換係数をデコードし、複数のデコード済み予測誤差データパーティションを判断するべく実行され得る。例えば、逆変換は、ハイブリッドパラメータハール逆変換等の逆コンテンツ適応変換を含み得、従って、ハイブリッドパラメータハール逆変換は、パラメータ変換方向のパラメータハール逆変換、およびパラメータ変換方向と垂直の方向の離散コサイン逆変換を含み得る。いくつかの例において、固定逆変換は、離散コサイン逆変換または離散コサイン逆変換アプロキシメータを含み得る。例えば、固定またはコンテンツ適応性変換は、適応逆変換モジュール２０４により実行され得る。論じられるように、コンテンツ適応性逆変換は、例えば、デコード済み隣接パーティションまたはブロック等、他の既にデコードされたデータに少なくとも部分的に基づき得る。いくつかの例において、複数のデコード済み予測誤差データパーティションを生成する段階は、符号化パーティションアセンブラモジュール２０５により複数のデコード済み符号化パーティションをアセンブルする段階を有し得る。
【０１９４】
処理１３００は、オペレーション１３５８において、「各予測パーティションについて予測画素データを生成する」を継続し得、予測画素データは、各予測パーティションについて生成され得る。例えば、予測画素データは、選択済み予測タイプ（例えば、複数の特性および動き、またはイントラタイプもしくは他の複数のタイプに少なくとも部分的に基づいて）、ならびに複数の関連する予測パラメータを用いて生成され得る。
【０１９５】
処理１３００は、オペレーション１３５９において、「各デコード済み予測誤差パーティションに対応する予測パーティションを加算し、再構成済み予測パーティションを生成する」を継続し得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。例えば、複数の予測パーティションは、図２において図示されるデコードループを介して生成され、加算器２０６により複数のデコード済み予測誤差パーティションに加算され得る。
【０１９６】
処理１３００は、オペレーション１３６０において、「再構成済み予測パーティションをアセンブルし、複数のデコード済みタイルまたはスーパフラグメントを生成する」を継続し得、複数の再構成済み予測パーティションは、アセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。例えば、複数の予測パーティションは、予測パーティションアセンブラモジュール２０７によりアセンブルされ、複数のデコード済みタイルまたはスーパフラグメントを生成し得る。
【０１９７】
処理１３００は、オペレーション１３６１において、「デブロックフィルタリングおよび／またはＱＲフィルタリングを適用し、複数の最終デコード済みタイルまたはスーパフラグメントを生成する」を継続し得、任意選択のデブロックフィルタリングおよび／または品質回復フィルタリングが、複数のデコード済みタイルまたはスーパフラグメントに適用され、複数の最終デコード済みタイルまたはスーパフラグメントを生成し得る。例えば、任意選択のデブロックフィルタリングは、デブロックフィルタリングモジュール２０８により適用され得、および／または任意選択の品質回復フィルタリングは、品質回復フィルタリングモジュール２０９により適用され得る。
【０１９８】
処理１３００は、オペレーション１３６２において、「複数のデコード済みタイルまたはスーパフラグメントをアセンブルし、デコード済み動画映像を生成し、複数の基準映像バッファ内に保存する」を継続し得、複数のデコード済み（または最終デコード済み）タイルまたはスーパフラグメントは、アセンブルされ、デコード済み動画映像を生成し、デコード済み動画映像は、将来予測において用いるべく複数の基準映像バッファ（例えば、デコード済み映像バッファ２１０）内に保存され得る。
【０１９９】
処理１３００は、オペレーション１３６３において、「ディスプレイデバイスにより提示するべく複数のデコード済み動画フレームを送信する」を継続し得、複数のデコード済み動画フレームは、ディスプレイデバイスにより提示するべく送信され得る。例えば、複数のデコード済み動画映像は、適応映像再構成部２１７およびコンテンツ事後回復器モジュール２１８により更に処理され、ユーザに提示するべく、表示動画２１９の複数の動画フレームとしてディスプレイデバイスに送信され得る。例えば、動画フレームは、提示するべく、ディスプレイデバイス１４０５（図１４において示される）に送信され得る。
【０２００】
処理１３００は、オペレーション１３７２において、「複数のデコード済み予測基準映像を生成する」を継続し得、複数のデコード済み予測基準映像がデコードされ得る。例えば、複数のデコード済み符号化パーティションは、アセンブルされ、デコード済み予測誤差データパーティションを生成し得、デコード済み動画映像（例えば、第３のデコード済み予測基準映像および第４のデコード済み予測基準映像が、生成され得る）は、将来予測において用いるべく、複数の基準映像バッファ内に保存され得る。
【０２０１】
処理１３００は、オペレーション１３７４において、「複数の修正済み予測基準映像を生成する」を継続し得、複数の修正済み予測基準映像が生成され得、例えば、第３の修正済み予測基準映像の少なくとも一部が、複数の第３の修正特性パラメータに少なくとも部分的に基づいて生成され得る。同様に、第４の修正済み予測基準映像の少なくとも一部は、関連する複数第２の修正特性パラメータに少なくとも部分的に基づいて生成され得る。
【０２０２】
処理１３００は、オペレーション１３７５において、「動きデータを生成する」を継続し得、動き評価データが生成され得る。例えば、現在の映像の予測パーティションに関連する動きデータは、第３の修正済み予測基準映像または第４の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。
【０２０３】
処理１３００は、オペレーション１３７６において、「動き補償を実行する」を継続し得、動き補償が実行され得る。例えば、動き補償は、動きデータ、ならびに第３の修正済み予測基準映像または第４の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。処理１３００は、オペレーション１３５９にこの情報をフィードバックし得、（例えば、複数のゼロ予測誤差パーティションを含む）各デコード済み予測誤差パーティションは、対応する予測パーティションに加算され、再構成済み予測パーティションを生成し得る。
【０２０４】
処理１３００は、本明細書において論じられる複数のコーダシステムのいずれかにより実装され得る。更に、処理１３００は、予測誤差データパーティション、元のデータパーティション、またはウェーブレットデータ等、動画データの任意の数のインスタンス化に基づいて、連続または並列に反復されてもよい（例えば、オペレーション１３０１において、処理１３００は、説明された予測誤差データパーティションと同様に処理するための元のデータまたはウェーブレットデータを受信し得る）。いくつかの例において、複数のオペレーション１３２２〜１３２６は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階とを備え得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
【０２０５】
オペレーション中に、処理１３００は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し得る。第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。
【０２０６】
いくつかの例において、処理１３００は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成するように動作し得る。第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータは、第１のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータは、第２のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。現在の映像の予測パーティションに関連する動きデータは、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて実行され、予測パーティションに対する予測パーティションデータを生成し得る。現在の映像の予測パーティションに関連する第２の動きデータは、動きデータを生成することが、第１の修正済み予測基準映像に少なくとも部分的に基づいて動きデータを生成することを含み得るように、第２の修正済み予測基準映像に少なくとも部分的に基づいて生成され得る。動き補償を実行することが、第１の修正済み予測基準映像に少なくとも部分的に基づいて動き補償を実行することを含み得るように、第２の動き補償は、第２の動きデータおよび第２の修正済み予測基準映像に少なくとも部分的に基づいて実行され、予測パーティションに対する第２の予測済みパーティションデータを生成し得る。予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせることが、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均することを含み得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータは、予測パーティションに対する最終予測済みパーティションデータを生成するべく組み合され得る。予測パーティションデータまたは最終予測済みパーティションは、予測パーティションに関連する元の画素データとの差分を取られ、予測誤差データパーティションを生成し、予測誤差データパーティションを分割し、複数の符号化パーティションを生成し得る。フォワード変換は、複数の符号化パーティションに関連する複数の変換係数を生成するべく複数の符号化パーティションに実行され、複数の変換係数を量子化し、複数の量子化済み変換係数を生成し得る。複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、予測パーティションに関連するモード等、および／またはこれらの複数の組み合わせは、エントロピエンコードされ、ビットストリームとし得る。ビットストリームは、エンコーダ１００からデコーダ２００へと送信され得る。
【０２０７】
そのような例において、予測済みパーティションデータは、動きデータおよび修正済み予測基準映像を用いる動き補償に基づいて生成され得る。いくつかの例において、２またはそれより多くの修正済み予測基準映像は、動きデータの２またはそれより多くのインスタンス（例えば、２またはそれより多くの修正済み予測基準映像を参照する２またはそれより多くの動きベクトル）、ならびに１つの予測パーティションに関連する２またはそれより多くの予測済みパーティションを生成するべく用いられ得る。次に、複数の予測済みパーティションは、予測パーティションに対する最終予測済みパーティション（例えば、最終予測パーティションデータ）を生成するべく、組み合わされ得る（例えば、平均され、加重平均等により組み合わされる）。例えば、予測パーティションに関連する第２の動きデータは、第２の修正済み予測基準映像（本明細書において論じられるようにいずれのタイプであってもよい）に基づいて判断され得る。第２の動き補償は、第２の動きデータおよび第２の修正済み予測基準映像に基づいて実行され、第２の予測済みパーティション（例えば、第２の予測済みパーティションデータ）を生成し得る。第２の予測済みパーティションは、本明細書において論じられるように、符号化のために用いられ得る、最終予測済みパーティション（例えば、最終予測済みパーティションデータ）を生成するべく、第１の予測済みパーティション（本明細書において論じられた同様の様式で生成される）と組み合わされ得る。
【０２０８】
同様に、処理１３００は、ビットストリームがデコーダ２００により受信され得るように動作し得る。ビットストリームは、エントロピデコードされ、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、モード等、および／または予測パーティションに関連するこれらの複数の組み合わせを判断し得る。逆量子化は、複数の量子化済み変換係数に少なくとも部分的に基づいて実行され、複数のデコード済み変換係数を生成し得る。逆変換は、複数のデコード済み変換係数に少なくとも部分的に基づいて実行され、複数のデコード済み符号化パーティションを生成し得る。複数のデコード済み符号化パーティションは、デコード済み予測誤差データパーティションを生成するべくアセンブルされ得る。第３のデコード済み予測基準映像および第４のデコード済み予測基準映像が、生成され得る。第３の修正済み予測基準映像の少なくとも一部は、複数の第３の修正特性パラメータに少なくとも部分的に基づいて生成され得る。第４の修正済み予測基準映像の少なくとも一部は、関連する複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成され得る。動き補償は、動きデータ、ならびに第３の修正済み予測基準映像の一部もしくは第４の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて実行され、デコード済み予測パーティションデータを生成し得る。デコード済み予測パーティションデータは、デコード済み予測誤差データパーティションに加算され、第１の再構成済み予測パーティションを生成し得る。第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションは、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成するべくアセンブルされ得る。デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つは、第１のタイルまたは第１のスーパフラグメントに適用され、第１の最終デコード済みタイルまたはスーパフラグメントを生成し得る。第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントは、デコード済み動画フレームを生成するべくアセンブルされ、ディスプレイデバイスにより提示するべくデコード済み動画フレームを送信し得る。現在の映像の第２の予測パーティションに関連する第２の動きデータは、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて生成され得る。現在の映像がＰ映像を含む場合に、現在の映像の第３の予測パーティションに関連する第３の動きデータは、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて更に生成され得る。現在の映像がＦ／Ｂ映像を含む場合に、現在の映像の第４の予測パーティションに関連する第４の動きデータは、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて更に生成され得る。第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、投影軌道予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み得、第２の修正済み予測基準映像は、合成済み予測基準映像を含み得る。モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。合成済み予測基準映像は、超解像度予測基準映像、投影軌道予測基準映像等、および／またはこれらの複数の組み合わせのうち少なくとも１つを含み得る。第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み得る。動きデータは、動きベクトルを含み得る。
【０２０９】
別の例において、処理１３００は、デコード済み予測基準映像を生成し得る。デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータが、生成され得る。現在の映像の予測パーティションに関連する動きデータは、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づく修正済み基準パーティション（ｒｅｆｅｒｅｎｃｅ  ｐａｒｔｉｔｉｏｎ）に少なくとも部分的に基づいて生成され得る。動き補償は、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて実行され、予測パーティションに対する予測済みパーティションデータを生成し得る。
【０２１０】
そのような例において、処理１３００は、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成し、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成される修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成し、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成し、修正パーティショニングおよび第２の修正パーティショニングが複数の異なるパーティショニングを含むように、デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成し、デコード済み予測基準映像および複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する第２の動きデータを生成し、動きデータおよび第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成し、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わることが、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均することを含み得るように、予測パーティションに対する最終予測済みパーティションデータを生成するべく、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる、デコード済み予測基準映像を更に生成し得る。複数の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。複数の第２の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。
【０２１１】
そのような例において、複数の修正特性パラメータおよび修正済み基準映像は、ローカルベースの技術を用いて判断され得る。例えば、複数の修正特性パラメータは、デコード済み予測基準映像の修正パーティショニングに基づいて判断され得る。例えば、パーティショニングは、デコード済み予測基準映像を、複数のタイル、ブロック、フラグメント等に分割することを含み得る。パーティショニングは、予測基準映像を、正方形または矩形等の反復形状に分割し得、またはパーティショニングは、ｋ−ｄツリーパーティショニング、二分木パーティショニング等のパーティショニング技術に基づいて予測基準映像を分割し得る。例えば、パーティショニング技術は、修正（例えば、利得、ぼかし、主要な動き、レジストレーション、超解像度、または投影軌道等）のタイプに基づいて変わり得る。動きデータは、修正済み基準パーティション（例えば、複数の修正特性パラメータに基づいて修正された予測基準映像のパーティション）に基づいて、現在の映像の予測パーティション（例えば、予測基準映像のパーティションではなく、予測に対するパーティション）について生成され得る。そのような動き評価は、グローバルな修正済み予測基準映像と異なり、予測基準映像の修正済みパーティションを用いるので、ローカルベースとみなされ得る。予測済みパーティションは、本明細書の他の箇所で論じられるように、符号化に用いられ得る。更にいくつかの例において、ローカルベースの技術は、論じられるように、（例えば、平均する等により）組み合わされ、最終予測済みパーティションを生成し得る２またはそれより多くの予測済みパーティションを生成するべく、１または複数回反復されてもよい。更に、ローカルベースの複数の技術は、本明細書において論じられる複数の修正技術（例えば、利得、ぼかし、主要な動き、レジストレーション、超解像度、または投影軌道等）のいずれかを用いて実行され得る。
【０２１２】
本明細書における複数の例示的な処理の実装は、図示される順序で、示される全てのオペレーションを試みることを含み得るが、本開示は、この点において限定されず、様々な例において、本明細書における複数の例示的な処理の実装は、示される複数のオペレーションのサブセットのみを、および／または図示されるものとは異なる順序で試みることを含み得る。
【０２１３】
本明細書において説明される複数のシステムの様々なコンポーネントは、ソフトウェア、ファームウェア、および／もしくはハードウェア、ならびに／またはこれらのいずれかの組み合わせで実装され得る。例えば、システム１４００の様々なコンポーネントは、少なくとも部分的に、例えば、スマートフォン等のコンピューティングシステムにおいて見られ得るようなコンピューティングシステムオンチップ（ＳｏＣ）のハードウェアにより提供され得る。当業者は、本明細書において説明される複数のシステムが、対応する複数の図において図示されていない複数の追加コンポーネントを含み得ることを理解し得る。例えば、本明細書において論じられる複数のシステムは、明確にするべく図示されていないビットストリームマルチプレクサモジュールまたはデマルチプレクサモジュール等の複数の追加コンポーネントを含み得る。
【０２１４】
更に、本明細書において論じられる複数のオペレーションのうちいずれか１つまたは複数は、１または複数のコンピュータプログラム製品により提供される複数の命令に応答して試みられ得る。そのような複数のプログラム製品は、例えば、プロセッサにより実行されると、本明細書において説明される機能を提供し得る複数の命令を提供する信号担持媒体を含み得る。複数のコンピュータプログラム製品は、１または複の機械可読媒体の形態で提供されてもよい。従って、例えば、１または複数のプロセッサコアを含むプロセッサは、１または複数の機械可読媒体によりプロセッサに伝達されるプログラムコード、ならびに／または複数の命令もしくは命令セットに応答して、本明細書における例示的な複数の処理の複数のオペレーションのうち１または複数を試み得る。一般に、機械可読媒体は、本明細書において説明される複数のデバイスおよび／またはシステムのいずれかに、本明細書において論じられる複数の動画システムの少なくとも一部を実装させ得る、プログラムコード、ならびに／または複数の命令もしくは命令セットの形態のソフトウェアを伝達し得る。
【０２１５】
本明細書において説明されるいずれかの実装において用いられるように、「モジュール」という用語は、本明細書において説明される機能を提供するように構成される、ソフトウェアロジック、ファームウェアロジック、および／またはハードウェアロジックのいずれかの組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード、および／または命令セットもしくは複数の命令として実施されてもよく、本明細書において説明されるいずれかの実装において用いられる「ハードウェア」は、例えば、単独、またはいずれかの組み合わせによるハードワイヤード回路、プログラマブル回路、ステートマシン回路、および／またはプログラマブル回路により実行される複数の命令を格納するファームウェアを含んでもよい。複数のモジュールは、集合的または個別に、より大きなシステム、例えば、集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）等の一部を形成する回路として実施され得る。例えば、モジュールは、本明細書において論じられる複数の符号化システムのソフトウェア、ファームウェア、またはハードウェアにより実装する論理回路において実施され得る。
【０２１６】
図１４は、本開示の少なくともいくつかの実装に従って構成された例示的な動画符号化システム１４００の例示的な図である。図示される実装において、動画符号化システム１４００は、イメージングデバイス１４０１、動画エンコーダ１００、動画デコーダ２００（および／または処理ユニット１４２０の論理回路１４５０により実装された動画コーダ）、アンテナ１４０２、１または複数のプロセッサ１４０３、１または複数のメモリストア１４０４、および／またはディスプレイデバイス１４０５を含み得る。
【０２１７】
図示されるように、イメージングデバイス１４０１、アンテナ１４０２、処理ユニット１４２０、論理回路１４５０、動画エンコーダ１００、動画デコーダ２００、プロセッサ１４０３、メモリストア１４０４、および／またはディスプレイデバイス１４０５は、互いに通信することが可能である。論じられるように、動画エンコーダ１００および動画デコーダ２００の双方を用いて図示されるが、動画符号化システム１４００は、様々な例において動画エンコーダ１００または動画デコーダ２００のみを含むことがある。更に、動画エンコーダおよび／または動画デコーダに関して説明されているが、システム１４００は、いくつかの例において図７の動画エンコーダ７００および／または図８のデコーダ８００を実装し得る。
【０２１８】
示されるように、いくつかの例において、動画符号化システム１４００は、アンテナ１４０２を含み得る。アンテナ１４０２は、例えば、動画データのエンコード済みビットストリームを送信または受信するように構成され得る。更に、いくつかの例において、動画符号化システム１４００は、ディスプレイデバイス１４０５を含み得る。ディスプレイデバイス１４０５は、動画データを提示するように構成され得る。示されるように、いくつかの例において、論理回路１４５０は、処理ユニット１４２０により実装され得る。処理ユニット１４２０は、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含み得る。また、動画符号化システム１４００は、任意選択のプロセッサ１４０３も含み得、任意選択のプロセッサ１４０３は、同様に、特定用途向け集積回路（ＡＳＩＣ）ロジック、グラフィックスプロセッサ、汎用プロセッサ等を含む。いくつかの例において、論理回路１４５０は、ハードウェア、動画符号化専用ハードウェア等により実装され得、プロセッサ１４０３は、汎用ソフトウェア、オペレーティングシステム等により実装され得る。更に、メモリストア１４０４は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、または不揮発性メモリ（例えば、フラッシュメモリなど）等、任意のタイプのメモリであってもよい。非限定的な例において、メモリストア１４０４は、キャッシュメモリにより実装され得る。いくつかの例において、論理回路１４５０は、メモリストア１４０４（例えば、画像バッファの実装用）にアクセスし得る。他の複数の例において、論理回路１４５０および／または処理ユニット１４２０は、画像バッファ等を実装する複数のメモリストア（例えば、キャッシュ等）を含み得る。
【０２１９】
いくつかの例において、論理回路により実装された動画エンコーダ１００は、画像バッファ（例えば、処理ユニット１４２０もしくはメモリストア１４０４による）およびグラフィックス処理ユニット（例えば、処理ユニット１４２０による）を含み得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。グラフィックス処理ユニットは、論理回路１４５０により実装される動画エンコーダ１００（またはエンコーダ７００）を含み、図１、図３Ａ・図３Ｂ、図５、および図８に関して論じられた様々なモジュールを実施し得る。例えば、グラフィックス処理ユニットは、符号化パーティション生成器論理回路、適応変換論理回路、コンテンツ事前解析器、エンコードコントローラ論理回路、適応エントロピエンコーダ論理回路等を含み得る。
【０２２０】
論理回路は、本明細書において論じられる様々なオペレーションを実行するように構成され得る。例えば、符号化パーティション生成器論理回路は、モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、ならびに特性および動き補償済みフィルタリング予測器論理回路を含む、画像バッファおよびグラフィックス処理ユニットを含むように構成され得る。グラフィックス処理ユニットは、画像バッファに通信可能に結合され得る。モーフィング解析器および生成論理回路は、第１のデコード済み予測基準映像を受信し、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、モーフィング済み予測基準映像、およびモーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータを生成するように構成され得る。合成解析器および生成論理回路は、第２のデコード済み予測基準映像を受信し、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、合成済み予測基準映像、および合成済み予測基準映像に関連する複数の合成特性パラメータを生成するように構成され得る。動き評価器論理回路は、モーフィング済み予測基準映像または合成済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成するように構成され得る。特性および動き補償済みフィルタリング予測器論理回路は、動きデータ、およびモーフィング済み予測基準映像または合成済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成するように構成され得る。動画デコーダ２００は、同様の様式で実装され得る。
【０２２１】
いくつかの例において、動画符号化システム１４００のアンテナ１４０２は、動画データのエンコード済みビットストリームを受信するように構成され得る。また、動画符号化システム１４００は、アンテナ１４０２に結合され、エンコード済みビットストリームをデコードするように構成された動画デコーダ２００（またはデコーダ１８００）を含み得る。
【０２２２】
例示的な実施形態において、デコーダシステムは、エンコード済みビットストリームをデコードし、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、第１のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、第２のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて第２の修正済み予測基準映像の少なくとも一部を生成し、動きデータ、および第１の修正済み予測基準映像の一部もしくは第２の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに関連するデコードされた予測済みパーティションデータを生成し、デコードされた予測済みパーティションデータをデコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成するように構成された動画デコーダ２００（またはデコーダ１８００）を含み得る。動画デコーダは、エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断するように構成され得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプであり得る。
【０２２３】
複数の実施形態において、本明細書において説明される複数の機能は、１または複数のコンピュータプログラム製品により提供される複数の命令に応答して試みられ得る。そのような複数のプログラム製品は、例えば、プロセッサにより実行されると、本明細書において説明される機能を提供し得る複数の命令を提供する信号担持媒体を含み得る。複数のコンピュータプログラム製品は、１または複数の機械可読媒体の形態で提供されてもよい。従って、例えば、１または複数のプロセッサコアを含むプロセッサは、１または複数の機械可読媒体によりプロセッサに伝達されるプログラムコード、および／または複数の命令もしくは命令セットに応答して、本明細書において説明される１または複数の機能を試み得る。一般に、機械可読媒体は、本明細書において説明される複数のデバイスおよび／またはシステムのいずれかに、本明細書において説明される複数の機能の少なくとも一部を実装させ得る、プログラムコード、および／または複数の命令もしくは命令セットの形態のソフトウェアを伝達し得る。
【０２２４】
図１５は、本開示の少なくともいくつかの実装に従って構成された例示的なシステム１５００の例示的な図である。様々な実装において、システム１５００は、メディアシステムであり得るが、システム１５００は、この文脈において限定されない。例えば、システム１５００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット、もしくはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、オートフォーカスのカメラ、スーパズームカメラ、デジタル一眼レフレックス（ＤＳＬＲ）カメラ）等に組み込まれ得る。
【０２２５】
様々な実装において、システム１５００は、ディスプレイ１５２０に結合されたプラットフォーム１５０２を含む。プラットフォーム１５０２は、コンテンツサービスデバイス１５３０もしくはコンテンツ配信デバイス１５４０、または他の類似の複数のコンテンツソース等のコンテンツデバイスからコンテンツを受信し得る。１または複数のナビゲーション機能を含むナビゲーションコントローラ１５５０は、例えば、プラットフォーム１５０２および／またはディスプレイ１５２０とインタラクトするべく用いられ得る。これらのコンポーネントの各々は、より詳細に以下に説明される。
【０２２６】
様々な実装において、プラットフォーム１５０２は、チップセット１５０５、プロセッサ１５１０、メモリ１５１２、アンテナ１５１３、ストレージ１５１４、グラフィックスサブシステム１５１５、複数のアプリケーション１５１６、および／または無線装置１５１８のいずれかの組み合わせを含み得る。チップセット１５０５は、プロセッサ１５１０、メモリ１５１２、ストレージ１５１４、グラフィックスサブシステム１５１５、複数のアプリケーション１５１６、および／または無線装置１５１８間の相互通信を提供し得る。例えば、チップセット１５０５は、ストレージ１５１４との相互通信を提供することが可能なストレージアダプタ（図示せず）を含み得る。
【０２２７】
プロセッサ１５１０は、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサもしくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セットに互換性のある複数のプロセッサ、マルチコアもしくはその他のマイクロプロセッサ、または中央処理装置（ＣＰＵ）として実装され得る。様々な実装において、プロセッサ１５１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等であってもよい。
【０２２８】
メモリ１５１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、またはスタティックＲＡＭ（ＳＲＡＭ）等、揮発性メモリデバイスとして実装され得るが、これらに限定されない。
【０２２９】
ストレージ１５１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、装着ストレージデバイス、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（シンクロナスＤＲＡＭ）、および／またはネットワークアクセス可能なストレージデバイス等の不揮発性ストレージデバイスとして実装され得るが、これらに限定されない。様々な実装において、ストレージ１５１４は、例えば、複数のハードドライブが含まれる場合に、貴重なデジタル媒体のために記憶性能の高度な保護を強化する技術を含み得る。
【０２３０】
グラフィックスサブシステム１５１５は、表示する静止画または動画等、複数の画像の処理を実行し得る。グラフィックスサブシステム１５１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）または視覚処理ユニット（ＶＰＵ）であってもよい。アナログまたはデジタルインターフェースは、グラフィックスサブシステム１５１５およびディスプレイ１５２０を通信可能に結合するべく用いられ得る。例えば、インターフェースは、高解像度マルチメディアインターフェース、ＤｉｓｐｌａｙＰｏｒｔ、無線ＨＤＭＩ（登録商標）、および／または無線ＨＤに準拠した複数の技術のいずれかであり得る。グラフィックスサブシステム１５１５は、プロセッサ１５１０またはチップセット１５０５に統合され得る。いくつかの実装において、グラフィックスサブシステム１５１５は、チップセット１５０５に通信可能に結合されたスタンドアロンデバイスであり得る。
【０２３１】
本明細書において説明される複数のグラフィックスおよび／または動画処理技術は、様々なハードウェアキテクチャにおいて実装され得る。例えば、グラフィックスおよび／または動画機能は、チップセット内に統合され得るあるいは、離散グラフィックスプロセッサおよび／または動画プロセッサが、用いられ得る。別の実装として、グラフィックス機能および／または動画機能が、マルチコアプロセッサを含む汎用プロセッサにより提供され得る。複数の更なる実施形態において、複数の機能は、家庭用電子機器に実装され得る。
【０２３２】
無線装置１５１８は、様々な好適な無線通信技術を用いて複数の信号を送信および受信することが可能な１または複数の無線装置を含み得る。そのような複数の技術は、１または複数の無線ネットワーク間での複数の通信を伴い得る。例示的な複数の無線ネットワークとしては、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）、ワイヤレスメトロポリタンエリアネットワーク（ＷＭＡＮ）、携帯電話ネットワーク、および衛星ネットワークが挙げられる（しかし、これらに限定されない）。そのような複数のネットワーク間で通信するとき、無線装置１５１８は、任意のバージョンの１または複数の適用される規格により動作し得る。
【０２３３】
様々な実装において、ディスプレイ１５２０は、任意のテレビ型モニタまたはディスプレイを含み得る。  ディスプレイ１５２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、動画モニタ、テレビ型デバイス、および／またはテレビを含み得る。ディスプレイ１５２０は、デジタルおよび／またはアナログであり得る。様々な実装において、ディスプレイ１５２０は、ホログラフィーディスプレイであり得る。また、ディスプレイ１５２０は、視覚投影を受信し得る透明な表面であり得る。そのような複数の投影は、様々な形式の情報、画像、および／またはオブジェクトを伝達し得る。例えば、そのような複数の投影は、モバイル拡張現実（ＭＡＲ）アプリケーションの視覚的オーバーレイであり得る。１または複数のソフトウェアアプリケーション１５１６の制御下で、プラットフォーム１５０２は、ディスプレイ１５２０上にユーザインターフェース１５２２を表示し得る。
【０２３４】
様々な実装において、コンテンツサービスデバイス１５３０は、任意の国家的、国際的、および／または独立したサービスにより提供され、従って、例えば、インターネット経由でプラットフォーム１５０２にアクセス可能であり得る。コンテンツサービスデバイス１５３０は、プラットフォーム１５０２および／またはディスプレイ１５２０に結合され得る。プラットフォーム１５０２および／またはコンテンツサービスデバイス１５３０は、ネットワーク１５６０に結合され、メディア情報をネットワーク１５６０に、およびメディア情報をネットワーク１５６０から通信（例えば、送信および／または受信）し得る。また、コンテンツ配信デバイス１５４０は、プラットフォーム１５０２および／またはディスプレイ１５２０に結合され得る。
【０２３５】
様々な実装において、コンテンツサービスデバイス１５３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、複数のインターネットイネーブルされたデバイスもしくはデジタル情報および／またはコンテンツを配信することが可能なアプライアンス、ならびにネットワーク１５６０を介して、または直接的にコンテンツプロバイダ、プラットフォーム１５０２、および／ディスプレイ１５２０との間でコンテンツを一方向もしくは双方向に通信することが可能なその他の類似の複数のデバイスを含み得る。コンテンツは、ネットワーク１５６０を介してシステム１５００内の複数のコンポーネントのうちいずれか１つ、およびコンテンツプロバイダに、およびこれらから一方向および／または双方向に通信され得ることが理解されるであろう。コンテンツの複数の例としては、例えば、動画、音楽、医療、およびゲームの情報等を含む、あらゆるメディア情報が挙げられ得る。
【０２３６】
コンテンツサービスデバイス１５３０は、メディア情報、デジタル情報、および／または他のコンテンツを含むケーブルテレビプログラム等のコンテンツを受信し得る。複数のコンテンツプロバイダの例としては、あらゆるケーブルもしくは衛星テレビ、またはラジオもしくはインターネットコンテンツプロバイダが挙げられ得る。提供される複数の例は、いかなる様式でも本開示による複数の実装を限定することを意味しない。
【０２３７】
様々な実装において、プラットフォーム１５０２は、１または複数のナビゲーション機能を有するナビゲーションコントローラ１５５０から複数の制御信号を受信し得る。コントローラ１５５０の複数のナビゲーション機能は、例えば、ユーザインターフェース１５２２とインタラクトするべく用いられ得る。様々な実施形態において、ナビゲーションコントローラ１５５０は、ユーザが空間（例えば、連続的な多次元）データをコンピュータに入力することを可能にするコンピュータハードウェアコンポーネント（具体的には、ヒューマンインターフェースデバイス）である、ポインティングデバイスであり得る。グラフィックスユーザインタフェース（ＧＵＩ）、ならびにテレビおよびモニタ等、多くのシステムは、ユーザがデータを制御し、複数の身体的ジェスチャを用いてコンピュータまたはテレビに提供することを可能にする。
【０２３８】
コントローラ１５５０のナビゲーション機能の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング、または他の複数の視覚インジケータの動きにより、ディスプレイ（例えば、ディスプレイ１５２０）上に複製され得る。例えば、複数のソフトウェアアプリケーション１５１６の制御下で、ナビゲーションコントローラ１５５０上に位置する複数のナビゲーション機能は、ユーザインターフェース１５２２上に表示される複数の仮想ナビゲーション機能にマッピングされ得る。様々な実施形態において、コントローラ１５５０は、別個のコンポーネントではなく、プラットフォーム１５０２および／またはディスプレイ１５２０に統合されていることがある。しかし、本開示は、本明細書において示され、または説明される複数の要素または文脈に限定されない。
【０２３９】
様々な実装において、複数のドライバ（図示せず）は、例えばイネーブルされると、初期ブートアップ後にボタンのタッチを用いたテレビのように、プラットフォーム１５０２を、複数のユーザが即座にオンまたはオフにすることを可能にする技術を含み得る。たとえプラットフォームが「オフ」になっても、プログラムロジックは、プラットフォーム１５０２が、複数のメディアアダプタ、または他のコンテンツサービスデバイス１５３０もしくはコンテンツ配信デバイス１５４０にコンテンツをストリーミングすることを可能にし得る。更に、チップセット１５０５は、例えば、５.１サラウンドサウンドオーディオおよび／または高解像度７.１サラウンドサウンドオーディオに対するハードウェアおよび／またはソフトウェアのサポートを含み得る。複数のドライバは、複数の集積グラフィックスプラットフォームのためのグラフィックスドライバを含み得る。様々な実施形態において、グラフィックスドライバは、周辺機器相互接続（ＰＣＩ）エクスプレスグラフィックスカードを備え得る。
【０２４０】
様々な実装において、システム１５００において示される複数のコンポーネントのうちいずれか１つまたは複数は、統合され得る。例えば、プラットフォーム１５０２およびコンテンツサービスデバイス１５３０が統合されてもよく、またはプラットフォーム１５０２およびコンテンツ配信デバイス１５４０が統合されてもよく、または、例えば、プラットフォーム１５０２、コンテンツサービスデバイス１５３０、およびコンテンツ配信デバイス１５４０が統合されてもよい。様々な実施形態において、プラットフォーム１５０２およびディスプレイ１５２０は、統合されたユニットであり得る。例えば、ディスプレイ１５２０およびコンテンツサービスデバイス１５３０が統合されてもよく、またはディスプレイ１５２０およびコンテンツ配信デバイス１５４０が統合されてもよい。これらの例は、本開示を限定することを意味しない。
【０２４１】
様々な実施形態において、システム１５００は、無線システム、有線システム、または双方の組み合わせとして実装され得る。無線システムとして実装される場合、システム１５００は、１または複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジック等の無線共有媒体を介して通信するのに好適な複数のコンポーネントおよびインターフェースを含み得る。無線共有媒体の一例としては、ＲＦスペクトル等の無線スペクトル部分が挙げられ得る。有線システムとして実装される場合、システム１５００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続する物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、動画コントローラ、オーディオコントローラ等、有線通信媒体を介して通信するのに好適な複数のコンポーネントおよびインターフェースを含み得る。有線通信媒体の複数の例としては、ワイヤ、ケーブル、金属リード、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、対ストペアワイヤ、同軸ケーブル、光ファイバ等が挙げられ得る。
【０２４２】
プラットフォーム１５０２は、情報を通信するべく、１または複数のロジックチャネルまたは物理チャネルを確立し得る。情報としては、メディア情報および制御情報が挙げられ得る。メディア情報は、ユーザ用のコンテンツを表すデータを指し得る。コンテンツの複数の例としては、例えば、音声会話、ビデオ会議、ストリーミング動画、電子メール（「ｅｍａｉｌ」）メッセージ、音声メールメッセージ、英数字記号、グラフィックス、画像、動画、テキスト等のデータが挙げられ得る。音声会話のデータは、例えば、通話情報、無音期間、バックグラウンドノイズ、コンフォートノイズ、トーン等であり得る。制御情報は、自動化システム用の複数のコマンド、命令、または制御ワードを表すあらゆるデータを指し得る。例えば、制御情報は、システムを介してメディア情報をルーティングし、あるいはノードに所定の様式でメディア情報を処理するように命令するべく用いられ得る。しかし、複数の実施形態は、図１５において示され、または説明される複数の要素または文脈に限定されない。
【０２４３】
上記のように、システム１５００は、異なる複数の物理的様式またはフォームファクタで実施され得る。図１６は、システム１６００が実施され得る小型フォームファクタデバイス１６００の複数の実装を図示する。例えば、様々な実施形態において、デバイス１６００は、複数の無線機能を有するモバイルコンピューティングデバイスとして実装され得る。モバイルコンピューティングデバイスは、例えば、処理システム、および１または複数のバッテリ等、移動電源または電源機構を有するあらゆるデバイスを指し得る。
【０２４４】
上記のように、モバイルコンピューティングデバイスの複数の例としては、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレットもしくはスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、オートフォーカスのカメラ、スーパズームカメラ、デジタル一眼レフレックス（ＤＳＬＲ）カメラ）等が、挙げられ得る。
【０２４５】
また、モバイルコンピューティングデバイスの複数の例としては、リストコンピュータ、フィンガコンピュータ、リングコンピュータ、眼鏡レンズコンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シューズコンピュータ、衣類コンピュータ、および他のウェアラブルコンピュータ等、人により着装されるように構成された複数のコンピュータが挙げられ得る。例えば、様々な実施形態において、モバイルコンピューティングデバイスは、複数のコンピュータアプリケーション、ならびに複数の通信および／またはデータ通信を実行することが可能なスマートフォンとして実装され得る。例として、いくつかの実施形態は、スマートフォンとして実装ｓれ多モバイルコンピューティングデバイスと共に説明され得るが、他の複数の実施形態は、他の複数の無線モバイルコンピューティングデバイスも用いて実装され得ることが理解され得るであろう。複数の実施形態は、この文脈において限定されない。
【０２４６】
図１６において示されるように、複数のデバイス１６００は、ハウジング１６０２、ユーザインターフェース１６１０を含むディスプレイ１６０４、入力／出力（Ｉ／Ｏ）デバイス１６０６、アンテナ１６０８を含み得る。デバイス１６００は、複数のナビゲーション機能１６１２も含み得る。ディスプレイ１６０４は、モバイルコンピューティングデバイスに対して適切な情報を表示する、任意の好適なディスプレイユニットを含み得る。Ｉ／Ｏデバイス１６０６は、情報をモバイルコンピューティングデバイスに入力する、任意の好適なＩ／Ｏデバイスを含み得る。Ｉ／Ｏデバイス１６０６の例は、英数字のキーボード、テンキーパッド、タッチパッド、複数の入力キー、複数のボタン、複数のスイッチ、複数のロッカースイッチ、複数のマイク、複数のスピーカ、音声認識デバイス、およびソフトウェア等を含み得る。また、情報は、マイク（図示せず）により複数のデバイス１６００に入力され得る。そのような情報は、音声認識デバイス（図示せず）によりデジタル化され得る。複数の実施形態は、この文脈において限定されない。
【０２４７】
様々な実施形態は、複数のハードウェア要素、ソフトウェア要素、または双方の組み合わせを用いて実装され得る。複数のハードウェア要素の例としては、プロセッサ、マイクロプロセッサ、回路、回路要素（例えば、トランジスタ、抵抗器、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセット等が挙げられ得る。ソフトウェアの複数の例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、手順、ソフトウェアインターフェース、アプリケーションプログラムインターフェース（ＡＰＩ）、命令セット、計算コード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、記号、またはこれらのいずれかの組み合わせが、挙げられ得る。複数のハードウェア要素および／またはソフトウェア要素を用いて実施形態が実装されているか否かを判断する段階は、所望の計算レート、電源レベル、耐熱性、処理サイクルの予算、入力データレート、出力データレート、メモリリソース、データバススピード、および他の設計もしくは性能制約等のあらゆる数の要因に従って変わり得る。
【０２４８】
少なくとも一実施形態の１または複数の態様は、プロセッサ内の様々なロジックを表する機械可読媒体上に格納された複数の代表的命令により実装され、命令は、機械により読み取られると、機械に、本明細書において説明される複数の技術を実行するロジックを作成させ得る。「ＩＰコア」として知られるそのような複数の表現は、有形機械可読媒体上に格納され、実際にロジックまたはプロセッサを作製する複数の製造機械にロードするべく、様々な顧客または製造設備に供給され得る。
【０２４９】
本明細書において記載される一定の複数の機能は、様々な実装を参照して説明されるが、この説明は、限定的な意味で解釈されることを意図しない。従って、本明細書において説明される複数の実装、ならびに本開示に関する技術の当業者には明らかな他の複数の実装の様々な変更形態は、本開示の趣旨および範囲内にあるものとみなされる。
【０２５０】
以下の複数の例は、複数の更なる実施形態に関する。
【０２５１】
一例において、動画符号化のためのコンピュータ実装された方法は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第２の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成する段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータ、および第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測パーティションデータを生成する段階とを備え得、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである。
【０２５２】
別の例において、動画符号化のためのコンピュータ実装された方法は、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成する段階と、第１のデコード済み予測基準映像に少なくとも部分的に基づいて、第１の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第１の修正特性パラメータを生成する段階と、第２のデコード済み予測基準映像に少なくとも部分的に基づいて、第２の修正済み予測基準映像、および第１の修正済み予測基準映像に関連する複数の第２の修正特性パラメータを生成し、第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである段階と、第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち１つに少なくとも部分的に基づいて、現在の映像の予測パーティションと関連する動きデータを生成する段階と、動きデータ、および第１の修正済み予測基準映像または第２の修正済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測パーティションデータを生成する段階と、動きデータを生成する段階が、第１の修正済み予測基準映像に少なくとも部分的に基づいて動きデータを生成する段階を有し得るように、第２の修正済み予測基準映像に少なくとも部分的に基づいて現在の映像の予測パーティションに関連する第２の動きデータを生成する段階と、動き補償を実行する段階が、第１の修正済み予測基準映像に少なくとも部分的に基づいて動き補償を実行する段階を有し得るように、第２の動きデータおよび第２の修正済み予測基準映像に少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成するする段階と、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる段階が、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均する段階を有し得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせて、予測パーティションに対する最終予測済みパーティションデータを生成する段階と、予測パーティションデータまたは最終予測済みパーティションと、予測パーティションに関連する元の画素データとの差分を取り、予測誤差データパーティションを生成する段階と、予測誤差データパーティションを分割し、複数の符号化パーティションを生成する段階と、複数の符号化パーティションにフォワード変換を実行し、複数の符号化パーティションに関連する複数の変換係数を生成する段階と、複数の変換係数を量子化し、複数の量子化済み変換係数を生成する段階と、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、および予測パーティションに関連するモードをビットストリームにエントロピエンコードする段階と、ビットストリームを送信する段階と、ビットストリームを受信する段階と、ビットストリームをエントロピデコードし、複数の量子化済み変換係数、複数の第１の修正特性パラメータ、複数の第２の修正特性パラメータ、動きデータ、および予測パーティションに関連するモードを判断する段階と、複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成する段階と、複数のデコード済み変換係数に少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み符号化パーティションを生成する段階と、複数のデコード済み符号化パーティションをアセンブルし、デコード済み予測誤差データパーティションを生成する段階と、第３のデコード済み予測基準映像および第４のデコード済み予測基準映像を生成する段階と、複数の第３の修正特性パラメータに少なくとも部分的に基づいて、複数の第３の修正済み予測基準映像の少なくとも一部を生成する段階と、関連する複数の第２の修正特性パラメータに少なくとも部分的に基づいて、第４の修正済み予測基準映像の少なくとも一部を生成する段階と、動きデータ、および第３の修正済み予測基準映像の一部もしくは第４の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、デコード済み予測パーティションデータを生成する段階と、デコード済み予測パーティションデータをデコード済み予測誤差データパーティションに加算し、第１の再構成済み予測パーティションを生成する段階と、第１の再構成済み予測パーティションおよび第２の再構成済み予測パーティションをアセンブルし、第１のタイルまたは第１のスーパフラグメントのうち少なくとも１つを生成する段階と、デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、第１のタイルまたは第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成する段階と、第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成する段階と、ディスプレイデバイスにより提示するべく、デコード済み動画フレームを送信する段階と、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第２の予測パーティションに関連する第２の動きデータを生成する段階と、更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、Ｐ映像を含む現在の映像の第３の予測パーティションに関連する第３の動きデータを生成する段階と、更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第４の予測パーティションに関連する第４の動きデータを生成する段階とを備え得、現在の映像は、Ｆ／Ｂ映像を含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、第２の修正済み予測基準映像は、合成済み予測基準映像を含み、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、動きデータは、動きベクトルを含む。
【０２５３】
別の例において、動画符号化のためのコンピュータ実装された方法は、デコード済み予測基準映像を生成する段階と、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成された修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階とを備え得る。
【０２５４】
別の例において、動画符号化のためのコンピュータ実装された方法は、デコード済み予測基準映像を生成する段階と、デコード済み予測基準映像の修正パーティショニングに関連する複数の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の修正特性パラメータに少なくとも部分的に基づいて生成された修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する動きデータを生成する段階と、動きデータおよび修正済み基準パーティションに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに対する予測済みパーティションデータを生成する段階と、修正パーティショニングおよび第２の修正パーティショニングが複数の異なるパーティショニングを含み得るように、デコード済み予測基準映像の第２の修正パーティショニングに関連する複数の第２の修正特性パラメータを生成する段階と、デコード済み予測基準映像および複数の第２の修正特性パラメータに少なくとも部分的に基づいて生成された第２の修正済み基準パーティションに少なくとも部分的に基づいて、現在の映像の予測パーティションに関連する第２の動きデータを生成する段階と、動きデータおよび第２の修正済み基準パーティションに少なくとも部分的に基づいて第２の動き補償を実行し、予測パーティションに対する第２の予測済みパーティションデータを生成する段階と、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせる段階が、予測済みパーティションデータおよび第２の予測済みパーティションデータを平均する段階を有し得るように、予測済みパーティションデータおよび第２の予測済みパーティションデータを組み合わせ、予測パーティションに対する最終予測済みパーティションデータを生成する段階とを有し得る。複数の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。複数の第２の修正特性パラメータは、複数のモーフィング特性パラメータ、合成特性パラメータ、利得特性パラメータ、ぼかし特性パラメータ、主要な動き特性パラメータ、レジストレーション特性パラメータ、超解像度特性パラメータ、または投影軌道特性パラメータのうち少なくとも１つを含み得る。
【０２５５】
更なる例において、動画エンコーダは、画像バッファと、モーフィング解析器および生成論理回路、合成解析器および生成論理回路、動き評価器論理回路、および特性および動き補償済みフィルタリング予測器論理回路を含むグラフィックス処理ユニットとを備え得、グラフィックス処理ユニットは、画像バッファおよびモーフィング解析器に通信可能に結合され得、生成論理回路は、第１のデコード済み予測基準映像を受信し、第１のデコード済み予測基準映像、モーフィング済み予測基準映像、およびモーフィング済み予測基準映像に関連する複数のモーフィング特性パラメータに少なくとも部分的に基づいて生成するように構成され得、合成解析器および生成論理回路は、第２のデコード済み予測基準映像を受信し、第２のデコード済み予測基準映像、合成済み予測基準映像、および合成済み予測基準映像に関連する複数の合成特性パラメータに少なくとも部分的に基づいて生成するように構成され得、動き評価器論理回路は、モーフィング済み予測基準映像または合成済み予測基準映像のうち１つに少なくとも部分的に基づいて現在の映像の予測パーティションに関連する動きデータを生成するように構成され得、特性および動き補償済みフィルタリング予測器論理回路は、動きデータ、およびモーフィング済み予測基準映像もしくは合成済み予測基準映像のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに対する予測パーティションデータを生成するように構成され得る。
【０２５６】
更なる例において、このグラフィックス処理ユニットは、予測パーティションデータの予測パーティションに関連する元の画素データとの差異を取り、予測誤差データパーティションを生成するように構成された差分器と、予測誤差データパーティションを分割し、複数の符号化パーティションを生成するように構成された符号化パーティション論理回路と、複数の符号化パーティションにフォワード変換を実行し、複数の符号化パーティションに関連する複数の変換係数を生成するように構成された適応変換論理回路と、複数の変換係数を量子化し、複数の量子化済み変換係数を生成するように構成された適応量子化論理回路と、複数の量子化済み変換係数、複数のモーフィング特性パラメータ、複数の合成特性パラメータ、動きデータ、および予測パーティションに関連するモードをエントロピエンコードしてビットストリームとし、ビットストリームを送信するように構成された適応エントロピエンコーダ論理回路とを更に備え得、動き評価器論理回路は、第１のデコード済み予測基準映像、第２のデコード済み予測基準映像、または第３のデコード済み予測基準映像に少なくとも部分的に基づいて、現在の映像の第２の予測パーティションに関連する第２の動きデータを生成し、更に、複数のデコード済み予測基準映像、および合計１０の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像（現在の映像は、Ｐ映像を含む）の第３の予測パーティションに関連する第３の動きデータを生成し、更に、複数のデコード済み予測基準映像、および合計１１の予測基準映像となる複数の修正済み予測基準映像に少なくとも部分的に基づいて、現在の映像（現在の映像は、Ｆ／Ｂ映像を含む）の第４の予測パーティションに関連する第４の動きデータを生成するように更に構成され、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、デコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含む。
【０２５７】
なおも更なる例において、デコーダシステムは、動画データのエンコード済みビットストリームを受信するように構成されたアンテナと、アンテナに通信可能に結合され、エンコード済みビットストリームをデコードするように構成された動画デコーダとを備え得、動画デコーダは、エンコード済みビットストリームをデコードし、複数の第１の修正済み映像特性パラメータ、複数の第２の修正済み映像特性パラメータ、および予測パーティションに関連する動きデータを判断し、第１のデコード済み予測基準映像および第２のデコード済み予測基準映像を生成し、第１のデコード済み予測基準映像および複数の第１の修正済み映像特性パラメータに少なくとも部分的に基づいて、第１の修正済み予測基準映像の少なくとも一部を生成し、第２のデコード済み予測基準映像および複数の第２の修正済み映像特性パラメータに少なくとも部分的に基づいて、第２の修正済み予測基準映像（第２の修正済み基準映像は、第１の修正済み基準映像とは異なるタイプである）の少なくとも一部を生成し、動きデータ、および第１の修正済み予測基準映像の一部または第２の修正済み予測基準映像の一部のうち少なくとも１つに少なくとも部分的に基づいて、動き補償を実行し、予測パーティションに関連するデコード済み予測パーティションデータを生成し、デコード済み予測パーティションデータをデコード済み予測パーティション誤差データに加算し、第１の再構成済み予測パーティションを生成し、第１の再構成済みパーティションおよび第２の再構成済みパーティションをアセンブルし、タイルまたはスーパフラグメントのうち少なくとも１つを生成するように構成される。
【０２５８】
更なる例において、このデコーダシステムは、複数の動画フレームを提示し、複数の量子化済み変換係数に少なくとも部分的に基づいて逆量子化を実行し、複数のデコード済み変換係数を生成し、複数のデコード済み変換係数に少なくとも部分的に基づいて逆変換を実行し、複数のデコード済み符号化パーティションを生成し、複数のデコード済み符号化パーティションをアセンブルし、予測パーティションに関連する予測パーティション誤差データを生成し、デブロックフィルタリングまたは品質回復フィルタリングのうち少なくとも１つを、タイルまたは第１のスーパフラグメントに適用し、第１の最終デコード済みタイルまたはスーパフラグメントを生成し、第１の最終デコード済みタイルもしくはスーパフラグメント、および第２の最終デコード済みタイルもしくはスーパフラグメントをアセンブルし、デコード済み動画フレームを生成し、ディスプレイデバイスにより提示するべく、デコード済み動画フレームを送信するように構成されたディスプレイデバイスを更に備え得、動画デコーダは、エンコード済みビットストリームをデコードし、予測パーティションに対する予測誤差データに関連する複数の量子化済み変換係数、および予測パーティションに関連するモードを判断するように更に構成され、第１の修正済み予測基準映像は、モーフィング済み予測基準映像、合成済み予測基準映像、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、レジストレーション修正済み予測基準映像、超解像度予測基準映像、または投影軌道予測基準映像のうち少なくとも１つを含み、第１の修正済み予測基準映像は、モーフィング済み予測基準映像を含み、第２の修正済み予測基準映像は、合成済み予測基準映像を含み、モーフィング済み予測基準映像は、利得修正済み予測基準映像、ぼかし修正済み予測基準映像、主要な動き修正済み予測基準映像、またはレジストレーション修正済み予測基準映像のうち少なくとも１つを含み、合成済み予測基準映像は、超解像度予測基準映像または投影軌道予測基準映像のうち少なくとも１つを含み、第１のデコード済み予測基準映像は、過去のデコード済み予測基準映像または将来のデコード済み予測基準映像のうち少なくとも１つを含み、動きデータは、動きベクトルを含む。
【０２５９】
更なる例において、少なくとも１つの機械可読媒体は、コンピューティングデバイス上で実行されることに応答して、コンピューティングデバイスに、上記の複数の例のうちいずれか１つによる方法を実行させる複数の命令を含み得る。
【０２６０】
なおも更なる例において、装置は、上記複数の例のうちいずれか１つによる複数の方法を実行するための手段を備え得る。
【０２６１】
上記複数の例は、複数の機能の特定の組み合わせを含み得る。しかし、そのような上記複数の例は、この点において限定される、様々な実装において、上記複数の例は、そのような複数の機能のサブセットのみを試み、そのような複数の機能の異なる順序を試み、そのような複数の機能の異なる組み合わせを試み、および／または明示的に列挙された複数の機能以外の追加の複数の機能を試みることを含み得る。例えば、例示的な複数の方法に関して説明される全ての機能は、例示的な装置、複数の例示的なシステム、および／または例示的な物品に関して実装され得、逆もまた同様である。
【図１】
2016502332.tif 000005
【図２】
2016502332.tif 000006
【図３Ａ】
2016502332.tif 000007
【図３Ｂ】
2016502332.tif 000008
【図４】
2016502332.tif 000009
【図５】
2016502332.tif 000010
【図６】
2016502332.tif 000011
【図７】
2016502332.tif 000012
【図８】
2016502332.tif 000013
【図９】
2016502332.tif 000014
【図１０】
2016502332.tif 000015
【図１１】
2016502332.tif 000016
【図１２Ａ】
2016502332.tif 000017
【図１２Ｂ】
2016502332.tif 000018
【図１３Ａ】
2016502332.tif 000019
【図１３Ｂ】
2016502332.tif 000020
【図１３Ｃ】
2016502332.tif 000021
【図１４】
2016502332.tif 000022
【図１５】
2016502332.tif 000023
【図１６】
2016502332.tif 000024
【国際調査報告】
2016502332.tif 000025
2016502332.tif 000026
2016502332.tif 000027
2016502332.tif 000028
2016502332.tif 000029
2016502332.tif 000030