(57)【特許請求の範囲】
【請求項１】
画像予測方法であって、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、Kは1よりも大きい整数であり、前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、前記少なくとも2つのピクセルサンプルは、前記現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックであり、前記第1の頂角ピクセルサンプルの運動ベクトル予測子は前記現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、前記第1の空間的に隣接する画像ブロックは前記第1の頂角ピクセルサンプルに空間的に隣接する、ステップと、
非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
を含み、
前記第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
前記現在の画像ブロックにおける前記左上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX1の運動ベクトルに基づいて得られ、前記画像ブロックX1は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX1は、前記現在の画像ブロックにおいて前記左上ピクセルサンプルに空間的に隣接し、
前記現在の画像ブロックにおける前記右上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX2の運動ベクトルに基づいて得られ、前記画像ブロックX2は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX2は、前記現在の画像ブロックにおいて前記右上ピクセルサンプルに空間的に隣接し、
前記現在の画像ブロックにおける前記左下ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX3の運動ベクトルに基づいて得られ、前記画像ブロックX3は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX3は、前記現在の画像ブロックにおいて前記左下ピクセルサンプルに空間的に隣接し、
前記第1の頂角ピクセルサンプルは、前記現在の画像ブロックにおける前記左上ピクセルサンプルであり、
前記第1の空間的に隣接する画像ブロックは、前記画像ブロックX1であり、
前記画像ブロックX1は、前記現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、
前記画像ブロックX2の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX5は、前記現在の画像ブロックの前記右上頂点に空間的に隣接する画像ブロックのうちの、前記画像ブロックX2を除くいずれか1つである、方法。
【請求項２】
前記画像ブロックX3は、前記現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
前記画像ブロックX3の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX6は、前記現在の画像ブロックの前記左下頂点に空間的に隣接する画像ブロックのうちの、前記画像ブロックX3を除くいずれか1つである、請求項1に記載の方法。
【請求項３】
非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行する前記ステップは、
前記K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、前記K1個のピクセルサンプルの前記運動ベクトル予測子を前記参照フレームY1にスケールするステップであって、前記参照フレームY1は、前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する参照フレームである、ステップと、
前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K1個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行するステップと、
前記非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトルとを使って、前記現在の画像ブロックに対しピクセル値予測を遂行するステップと
を含み、前記K2個のピクセルサンプルは、前記K個のピクセルサンプルのうち、前記K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である、請求項1または2に記載の方法。
【請求項４】
ピクセルサンプルiは、前記K個のピクセルサンプルのうち、前記第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、
前記ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する予測方向と異なる場合、前記ピクセルサンプルiの前記運動ベクトル予測子に対応する参照フレームインデックスは0である、請求項3に記載の方法。
【請求項５】
前記ピクセルサンプルiの前記運動ベクトル予測子が前記参照フレームY1にスケールされることは、前記第1の頂角ピクセルサンプルと前記ピクセルサンプルiとの前記運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、前記ピクセルサンプルiの前記運動ベクトル予測子が前記参照フレームY1にスケールされることを含む、請求項4に記載の方法。
【請求項６】
前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K1個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行する前記ステップは、
前記K個のピクセルサンプルの前記運動ベクトルを得るために、反復探索アルゴリズムに基づいて、前記K2個のピクセルサンプルの前記運動ベクトル予測子と前記参照フレームY1にスケールされた前記K1個のピクセルサンプルの前記運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行するステップを含む、請求項3から5のいずれか一項に記載の方法。
【請求項７】
前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項1から6のいずれか一項に記載の方法。
【請求項８】
ビデオ符号化処理に応用されるか、またはビデオ復号化処理に応用される、請求項1から7のいずれか一項に記載の方法。
【請求項９】
画像予測装置であって、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、Kは1よりも大きい整数であり、前記K個のピクセルサンプルは、前記現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、前記少なくとも2つのピクセルサンプルは、前記現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、前記現在の画像ブロックにおける前記左上ピクセルサンプルは、前記現在の画像ブロックの左上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左上頂点を含むピクセルブロックであり、前記現在の画像ブロックにおける前記左下ピクセルサンプルは、前記現在の画像ブロックの左下頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの左下頂点を含むピクセルブロックであり、前記現在の画像ブロックにおける前記右上ピクセルサンプルは、前記現在の画像ブロックの右上頂点であるか、または前記現在の画像ブロック内にあって前記現在の画像ブロックの右上頂点を含むピクセルブロックであり、前記第1の頂角ピクセルサンプルの運動ベクトル予測子は前記現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、前記第1の空間的に隣接する画像ブロックは前記第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトル予測子とに基づいて、前記現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットと
を含み、
前記第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
前記現在の画像ブロックにおける前記左上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX1の運動ベクトルに基づいて得られ、前記画像ブロックX1は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX1は、前記現在の画像ブロックにおいて前記左上ピクセルサンプルに空間的に隣接し、
前記現在の画像ブロックにおける前記右上ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX2の運動ベクトルに基づいて得られ、前記画像ブロックX2は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX2は、前記現在の画像ブロックにおいて前記右上ピクセルサンプルに空間的に隣接し、
前記現在の画像ブロックにおける前記左下ピクセルサンプルの運動ベクトル予測子は、前記画像ブロックX3の運動ベクトルに基づいて得られ、前記画像ブロックX3は、前記現在の画像ブロックの空間的に隣接する画像ブロックであり、前記画像ブロックX3は、前記現在の画像ブロックにおいて前記左下ピクセルサンプルに空間的に隣接し、
前記第1の頂角ピクセルサンプルは、前記現在の画像ブロックにおける前記左上ピクセルサンプルであり、
前記第1の空間的に隣接する画像ブロックは、前記画像ブロックX1であり、
前記画像ブロックX1は、前記現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、
前記画像ブロックX2の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX5は、前記現在の画像ブロックの前記右上頂点に空間的に隣接する画像ブロックのうちの、前記画像ブロックX2を除くいずれか1つである、装置。
【請求項１０】
前記画像ブロックX3は、前記現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
前記画像ブロックX3の運動ベクトル絶対値と前記画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と前記画像ブロックX1の前記運動ベクトル絶対値との差の絶対値以上であり、前記画像ブロックX6は、前記現在の画像ブロックの前記左下頂点に空間的に隣接する画像ブロックのうちの、前記画像ブロックX3を除くいずれか1つである、請求項9に記載の装置。
【請求項１１】
前記予測ユニットは、
前記K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、前記K1個のピクセルサンプルの前記運動ベクトル予測子を前記参照フレームY1にスケールし、
前記K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と前記参照フレームY1にスケールされた前記K1個のピクセルサンプルの運動ベクトル予測子とを使って、前記K個のピクセルサンプルに対し運動推定を遂行し、
前記非並進運動モデルと前記K個のピクセルサンプルの前記運動ベクトルとを使って、前記現在の画像ブロックに対しピクセル値予測を遂行するように構成され、前記参照フレームY1は、前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する参照フレームであり、前記K2個のピクセルサンプルは、前記K個のピクセルサンプルのうち、前記K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である、請求項9または10に記載の装置。
【請求項１２】
ピクセルサンプルiは、前記K個のピクセルサンプルのうち、前記第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、
前記ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前記第1の頂角ピクセルサンプルの前記運動ベクトル予測子に対応する予測方向と異なる場合、前記ピクセルサンプルiの前記運動ベクトル予測子に対応する参照フレームインデックスは0である、請求項11に記載の装置。
【請求項１３】
前記予測ユニットは、前記第1の頂角ピクセルサンプルと前記ピクセルサンプルiとの前記運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、前記ピクセルサンプルiの前記運動ベクトル予測子を前記参照フレームY1にスケールするように構成される、請求項12に記載の装置。
【請求項１４】
前記非並進運動モデルは、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうちのいずれか1つのモデルである、請求項9から13のいずれか一項に記載の装置。
【請求項１５】
ビデオ符号化装置に応用されるか、またはビデオ復号化装置に応用される、請求項9から14のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、2014年9月30日に中国特許庁に出願された「PICTURE PREDICTION METHOD AND RELATED APPARATUS」と題する中国特許出願第201410526608.8号の優先権を主張するものであり、引用によって上記中国特許出願の全文が本願に援用される。
【０００２】
本発明は画像処理技術分野に関し、具体的には画像予測方法および関連装置に関する。
【背景技術】
【０００３】
光電式取得技術の開発と高精細デジタルビデオに対する要求の絶えざる高まりを受けてビデオデータの量はますます多くなっている。限りある異種伝送帯域幅と多様化したビデオ応用のため、ビデオ符号化効率に対する要求は絶えず高まっている。この要求を受けて高効率ビデオ符号化（英語：High Efficient Video Coding、略してHEVC）規格を策定する取り組みが始まっている。
【０００４】
ビデオ圧縮符号化の基本原理では空間領域と時間領域とコードワードとの相関を用いて余剰を可能な限り排除する。現在主流やり方ではブロックベースのハイブリッドビデオ符号化方式で予測（フレーム内予測とフレーム間予測とを含む）、変換、量子化、エントロピー符号化等のステップを遂行してビデオ圧縮符号化を実現する。この符号化方式は存立の見込みが高いため、HEVCでもこのブロックベースのハイブリッドビデオ符号化方式が引き続き採用されている。
【０００５】
様々なビデオ符号化／復号化ソリューションの中でも運動推定や運動補償は符号化／復号化効率を左右する重要な技術となっている。従来の様々なビデオ符号化／復号化ソリューションでは、物体の動きが常に並進運動に一致し、物体全体の全ての部分の動きが同じであると想定している。従来の運動推定アルゴリズムや運動補償アルゴリズムはどれも基本的には並進運動モデル（英語：translational motion model）に基づくブロック運動補償アルゴリズムである。しかし現実世界の動きは多様であり、拡大／縮小運動や回転運動や放物運動といった不規則な動きはいたるところにある。前世紀の80年代以降にビデオ符号化の専門家は不規則運動の普遍性を認識し、不規則運動モデル（アフィン運動モデル、回転運動モデル、拡大縮小運動モデル等の非並進運動モデル）を導入することでビデオ符号化効率を高めることを望んでいる。ただし、非並進運動モデルに基づいて遂行される従来の画像予測の計算複雑性は概してすこぶる高い。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。
【０００７】
本発明の第1の態様は、画像予測方法を提供し、該画像予測方法は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。
【０００８】
第1の態様を参照し、第1の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。
【０００９】
第1の態様の第1の可能な実装様態を参照し、第1の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【００１０】
第1の態様の第2の可能な実装様態を参照し、第1の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。
【００１１】
第1の態様の第3の可能な実装様態を参照し、第1の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
【００１２】
第1の態様の第3の可能な実装様態または第1の態様の第4の可能な実装様態を参照し、第1の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであるか、または
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
【００１３】
第1の態様、または第1の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第1の態様の第6の可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するステップは、
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するステップとを含み、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。
【００１４】
第1の態様の第6の可能な実装様態を参照し、第1の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【００１５】
第1の態様の第7の可能な実装様態を参照し、第1の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含む。
【００１６】
第1の態様の第6の可能な実装様態、または第1の態様の第7の可能な実装様態、または第1の態様の第8の可能な実装様態を参照し、第1の態様の第9の可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップは、
K個のピクセルサンプルの運動ベクトルを得るために、反復探索アルゴリズムに基づいて、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行するステップを含む。
【００１７】
第1の態様、または第1の態様の第1から第9の可能な実装様態のいずれか1つ参照し、第1の態様の第10の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。
【００１８】
第1の態様、または第1の態様の第1から第10の可能な実装様態のいずれか1を参照し、第1の態様の第11の可能な実装様態において、
画像予測方法は、ビデオ符号化処理に応用され、または画像予測方法は、ビデオ復号化処理に応用される。
【００１９】
本発明の第2の態様は、画像予測装置を提供し、該画像予測装置は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニットであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニットと、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて、現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニットとを含む。
【００２０】
第2の態様を参照し、第2の態様の第1の可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、または左下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含み、
現在の画像ブロックにおける左上ピクセルサンプルは、現在の画像ブロックの左上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックであり、現在の画像ブロックにおける左下ピクセルサンプルは、現在の画像ブロックの左下頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックであり、現在の画像ブロックにおける右上ピクセルサンプルは、現在の画像ブロックの右上頂点であるか、または現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。
【００２１】
第2の態様の第1の可能な実装様態を参照し、第2の態様の第2の可能な実装様態において、第1の空間的に隣接する画像ブロックは、画像ブロックX1、画像ブロックX2、または画像ブロックX3であり、
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX1の運動ベクトルに基づいて得られ、画像ブロックX1は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は、現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は、画像ブロックX2の運動ベクトルに基づいて得られ、画像ブロックX2は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は、現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接し、
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は、画像ブロックX3の運動ベクトルに基づいて得られ、画像ブロックX3は、現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は、現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【００２２】
第2の態様の第2の可能な実装様態を参照し、第2の態様の第3の可能な実装様態において、
第1の頂角ピクセルサンプルは、現在の画像ブロックにおける左上ピクセルサンプルであり、第1の空間的に隣接する画像ブロックは、画像ブロックX1であり、画像ブロックX1は、現在の画像ブロックの左上で空間的に隣接する画像ブロックである。
【００２３】
第2の態様の第3の可能な実装様態を参照し、第2の態様の第4の可能な実装様態において、
画像ブロックX2は、現在の画像ブロックの上方で空間的に隣接する画像ブロックであるか、または
画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
【００２４】
第2の態様の第3の可能な実装様態または第2の態様の第4の可能な実装様態を参照し、第2の態様の第5の可能な実装様態において、
画像ブロックX3は、現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは
画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は、画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのうちのいずれか1つである。
【００２５】
第2の態様、または第2の態様の第1から第5の可能な実装様態のいずれか1つを参照し、第2の態様の第6の可能な実装様態において、予測ユニットは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るために、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使って、K個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って、現在の画像ブロックに対しピクセル値予測を遂行するように具体的に構成され、ここで、K2個のピクセルサンプルは、K個のピクセルサンプルのうち、K1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1およびK2は正の整数である。
【００２６】
第2の態様の第6の可能な実装様態を参照し、第2の態様の第7の可能な実装様態において、ピクセルサンプルiは、K個のピクセルサンプルのうち、第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【００２７】
第2の態様の第7の可能な実装様態を参照し、第2の態様の第8の可能な実装様態において、参照フレームY1は、第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであり、予測ユニットは、第1の頂角ピクセルサンプルとピクセルサンプルiとの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように具体的に構成される。
【００２８】
第2の態様、または第2の態様の第1から第8の可能な実装形態を参照し、第2の態様の第9の可能な実装様態において、非並進運動モデルは、下記モデルのうち、すなわち、アフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。
【００２９】
第2の態様、または第2の態様の第1から第9の可能な実装様態のいずれか1つを参照し、第2の態様の第10の可能な実装様態において、画像予測装置は、ビデオ符号化装置に応用され、または画像予測装置は、ビデオ復号化装置に応用される。
【００３０】
本発明の実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【図面の簡単な説明】
【００３１】
【図１ａ】本発明の一実施形態によるフレーム内予測に対応する予測単位分割様態の概略図である。
【図１ｂ】本発明の一実施形態によるフレーム間予測に対応する数通りの予測単位分割様態の概略図である。
【図１ｃ】本発明の一実施形態による画像予測方法の概略流れ図である。
【図２】本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの概略図である。
【図３ａ】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図３ｂ】本発明の一実施形態による現在の画像ブロックの可能な隣接参照ブロックの別の概略図である。
【図３ｃ】本発明の一実施形態による現在の画像ブロックの参照フレームの概略図である。
【図３ｄ】本発明の一実施形態による現在の画像ブロックの概略図である。
【図３ｅ】本発明の一実施形態による画像ブロックのアフィン変換の概略図である。
【図４ａ】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図４ｂ】本発明の一実施形態による現在の画像ブロックの隣接参照ブロックの別の概略図である。
【図５】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図６】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図７】本発明の一実施形態によるビデオ復号化方法の概略流れ図である。
【図８】本発明の一実施形態による画像予測装置の概略図である。
【図９】本発明の一実施形態による別の画像予測装置の概略図である。
【図１０】本発明の一実施形態による別の画像予測装置の概略図である。
【発明を実施するための形態】
【００３２】
本発明の実施形態は非並進運動モデルに基づく画像予測の計算複雑性を軽減するための画像予測方法および関連装置を提供する。
【００３３】
当業者が本発明の技術的解決手段をより良く理解できるようにするため、これ以降、本発明の実施形態の添付図面を参照しながら本発明の実施形態の技術的解決手段を明確かつ完全に説明する。当然ながら、説明する実施形態は本発明の実施形態の全てではなく一部に過ぎない。創造的な取り組みをせずとも本発明の実施形態をもとに当業者によって考案される他の実施形態はいずれも本発明の保護範囲に入る。
【００３４】
これ以降、詳しい説明を個別に提示する。
【００３５】
本発明の明細書と請求項と添付図面で用語「第1（first）」、「第2（second）」、「第3（third）」、「第4（fourth）」等は異なるものを区別するものであって、特定の順序を示すものではない。加えて、用語「含む（include）」、「有する（have）」、ならびにその変形は非排他的な包含をカバーするものである。例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、または装置は記載されたステップまたはユニットに限定されず、記載されていないステップまたはユニットを任意にさらに含み、あるいはプロセス、方法、製品、または装置に特有の別のステップまたはユニットを任意にさらに含む。
【００３６】
これ以降はまず、本発明の実施形態に関係し得るいくつかのコンセプトを説明する。
【００３７】
ほとんどの符号化方式でビデオシーケンスは一連の画像（英語：picture）を含み、画像はスライス（英語：slice）にさらに分割され、sliceはブロック（英語：block）にさらに分割される。ビデオ符号化とは、ブロックを単位として使用し、pictureの左上隅位置から行ごとに左から右、上から下へ符号化処理を遂行することである。一部の新しいビデオ符号化規格ではblockのコンセプトがさらに拡大されている。H.264規格にはマクロブロック（英語：macro block、略してMB）があり、MBは予測符号化に使える複数の予測ブロックに分割できる。HEVC規格には符号化単位（英語：coding unit、略してCU）や予測単位（英語：prediction unit、略してPU）や変換単位（英語：transform unit、略してTU）といった基本的コンセプトが採用されており、複数のUnitは機能に従って分類され、まったく新しい木状構造が記述に使われている。例えばCUは四分木に従ってより小さいCUに分割でき、より小さいCUはさらに分割でき、四分木構造を形成する。PUとTUも同様の木構造を有する。単位がCUであろうがPUであろうがTUであろうが、単位は基本的にはblockのコンセプトに属する。CUはマクロブロックMBや符号化ブロックに似ており、画像を分割し符号化するための基本単位である。PUは予測ブロックに相当し得、予測符号化の基本単位である。CUは分割モードに従って複数のPUにさらに分割される。TUは変換ブロックに相当し得、予測残差を変換する基本単位である。
【００３８】
HEVC規格で符号化単位のサイズには4つのレベルが、すなわち64x64、32x32、16x16、および8x8が、あり得る。各レベルの符号化単位はフレーム内予測とフレーム間予測に従ってサイズが異なる予測単位に分割できる。例えば図1aおよび図1bに見られるように、図1aはフレーム内予測に対応する予測単位分割様態の一例を示している。図1bはフレーム内予測に対応する数通りの予測単位分割様態の例を示している。
【００３９】
ビデオ符号化の専門家はビデオ符号化技術を開発し発展させる過程で、符号化効率を上げるため、隣接する符号化／復号化ブロック間の時間的・空間的相関を使用する様々な方法を考案している。H264／先進ビデオ符号化（英語：Advanced Video Coding、略してAVC）規格ではスキップモード（skip mode）とダイレクトモード（direct mode）が符号化効率を上げる効果的手段となっている。ビットレートが低い場合に使われる2つの符号化モードのブロックは符号化シーケンス全体の半分超を占めることがある。スキップモードが使われる場合は、ビットストリームにスキップモードフラグメントを加えて近傍の運動ベクトルだけを使用することによって現在の画像ブロックの運動ベクトルを得ることができ、現在の画像ブロックの再構成値として運動ベクトルに従って参照ブロックの値が直接コピーされる。加えて、ダイレクトモードが使われる場合は、符号化器が隣接する運動ベクトルを使って現在の画像ブロックの運動ベクトルを得、現在の画像ブロックの予測子として運動ベクトルに従って参照ブロックの値を直接コピーし、符号化器で予測子を使って現在の画像ブロックに対し予測符号化を遂行できる。進化したHEVC規格ではビデオ符号化効率をさらに上げるため新しい符号化手段がいくつか導入されている。融合符号化（merge）モードと先進運動ベクトル予測（英語：advanced motion vector prediction、略してAMVP）モードは2つの重要なフレーム間予測手段である。融合符号化では、現在の符号化ブロックの隣接する符号化済みブロックの運動情報（予測方向と運動ベクトルと参照フレームインデックスとを含む）を使って候補運動情報セットが構成され、比較により最高の符号化効率を可能にする候補運動情報が現在の符号化ブロックの運動情報として選ばれてよく、参照フレームの中で現在の符号化ブロックの予測子が見つけられ、現在の符号化ブロックに対し予測符号化が遂行され、運動情報が選ばれた隣接する符号化済みブロックを指し示すインデックス値がビットストリームに書き込まれる。先進運動ベクトル予測モードが使われる場合は、隣接する符号化済みブロックの運動ベクトルが現在の符号化ブロックの運動ベクトル予測子として使われ、最高の符号化効率を可能にする運動ベクトルが現在の符号化ブロックの運動ベクトルを予測するために選ばれてよく、選ばれた隣接運動ベクトルを指し示すインデックス値がビデオビットストリームに書き込まれてよい。
【００４０】
これ以降は本発明の実施形態の技術的解決手段をさらに説明する。
【００４１】
これ以降はまず、本発明の実施形態で提供される画像予測方法を説明する。本発明の実施形態で提供される画像予測方法はビデオ符号化装置かビデオ復号化装置によって実行される。ビデオ符号化装置やビデオ復号化装置はビデオを出力したり保管したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話機、またはビデオサーバーであってよい。
【００４２】
本発明の画像予測方法の一実施形態において、画像予測方法は、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子（英語：motion vector predictor、略してMVP）を判断するステップであって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップとを含む。
【００４３】
図1cを参照し、図1cは本発明の一実施形態による画像予測方法の概略流れ図である。図1cの一例に見られるように、本発明の本実施形態で提供される画像予測方法は下記ステップを含んでよい。
【００４４】
101．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
【００４５】
Kは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。
【００４６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
【００４７】
102．非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【００４８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
【００４９】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【００５０】
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
【００５１】
K個のピクセルサンプルを選択する様々な様態があり得る。
【００５２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
【００５３】
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
【００５４】
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
【００５５】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
【００５６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
【００５７】
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
【００５８】
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
【００５９】
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【００６０】
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
【００６１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
【００６２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
【００６３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
【００６４】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
【００６５】
図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。
【００６６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよい。
【００６７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するステップは、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップと、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するステップとを具体的に含んでよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
【００６８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
【００６９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【００７０】
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることは、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、ピクセルサンプルiの運動ベクトル予測子が参照フレームY1にスケールされることを含んでよい。
【００７１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含んでよい。
【００７２】
当然ながら、他のいくつかの可能な応用シナリオにおいてK個のピクセルサンプルに対し運動推定を遂行するステップは省かれてよい。正規化ステップさえ省かれてよい。つまり、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子が参照フレームY1にスケールされるステップは省かれてよい。
【００７３】
本実施形態で提供される前述の画像予測方法のいずれか1がビデオ符号化処理やビデオ復号化処理に応用されてよいことは理解できるであろう。
【００７４】
本発明の実施形態で前述した解決手段をより良く理解し実施するため、これ以降はより具体的な応用シナリオを参照しながらさらに説明する。
【００７５】
図3aを参照し、図3aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図3aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
【００７６】
301．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
【００７７】
本実施形態の一例でK＝3である。
【００７８】
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
【００７９】
図3bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しく、あるいは現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの右上にある隣接画像ブロックCの運動ベクトルに等しくてよい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左下にある隣接画像ブロックEの運動ベクトルに等しくてよく、あるいは現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。
【００８０】
例えば、現在の画像ブロックの右上頂点および左下頂点の運動ベクトル予測子は次式に基づいて判断されてよい。
【００８１】
【数１】
0006546277.tif 000002
【００８２】
上記の式（1）および式（2）で
【数２】
0006546277.tif 000003
は画像ブロックAの運動ベクトル（MV）を表す。
【００８３】
上記の式（1）で
【数３】
0006546277.tif 000004
は現在の画像ブロックの右上頂点のMVPを表し、
【数４】
0006546277.tif 000005
は画像ブロックBのMVを表し、
【数５】
0006546277.tif 000006
は画像ブロックCのMVを表す。上記の式（2）で
【数６】
0006546277.tif 000007
は現在の画像ブロックの右上頂点のMVPを表し、
【数７】
0006546277.tif 000008
は画像ブロックDのMVを表し、
【数８】
0006546277.tif 000009
は画像ブロックEのMVを表す。
【００８４】
つまり、右上頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックBおよび画像ブロックCから選択される。左下頂点のMVPの場合、ブロックAの運動ベクトル絶対値との差が大きい画像ブロックが空間的に隣接する画像ブロックDおよび画像ブロックEから選択される。
【００８５】
302．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
【００８６】
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
【００８７】
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【００８８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMVSである。図3cに見られるように、MVSは次式を使った計算によって得られてよい。
【数９】
0006546277.tif 000010
【００８９】
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
【００９０】
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。
【００９１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムの毎回の計算に基づいてK個のピクセルサンプルに対し運動推定が遂行されることは下記ステップを含んでよい。
【００９２】
S1．式（3）、（4）、および（5）に従って各ピクセルのφk（p）を計算する。
【００９３】
φk（p）でk＝1、2、3である。
【００９４】
図3dに見られるように、現在の画像ブロックXのサイズはS1×S2であると仮定し、現在の画像ブロックXにおける各ピクセルpの座標は（x，y）であると仮定する。
【００９５】
【数１０】
0006546277.tif 000011
【００９６】
S2．
【数１１】
0006546277.tif 000012
を計算する。
【００９７】
【数１２】
0006546277.tif 000013
は方向xと方向yにおける現在の画像ブロックXの各ピクセルpの導関数をそれぞれ表す。本実施形態の一例ではSobel演算子を使って導関数が計算される。別の演算子（例えばGaussian演算子）が使われてもよい。式（6）および式（7）の例にはSobel演算子のテンプレートが示されている。
【００９８】
【数１３】
0006546277.tif 000014
【００９９】
現在のピクセルpの座標が（x，y）と仮定し、式（8）および式（9）の例には
【数１４】
0006546277.tif 000015
の計算式が示されており、ここでpred［x］［y］は座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値を表す。
【０１００】
【数１５】
0006546277.tif 000016
【０１０１】
現在の画像ブロックXの端に位置するピクセルの隣接ピクセルは存在しないことがあり、
【数１６】
0006546277.tif 000017
は現在の画像ブロックXの端に位置するピクセルの隣接ピクセルの対応する値に差し替えられることがある。
【０１０２】
S3．予測誤差e（P）を計算する。
【０１０３】
現在のピクセルpの座標が（x，y）であると仮定する。
e（p）＝org［x］［y］−pred［x］［y］      式（10）
ここでorg［x］［y］とpred［x］［y］は、元のピクセル値と座標が（x，y）である現在の画像ブロックXの中にあるピクセルの予測ピクセル値とをそれぞれ表す。
【０１０４】
S4．δx1、δx2、δx3、δy1、δy2、およびδy3がそれぞれ方向xと方向yにおける現在の画像ブロックXの3つの頂点の運動ベクトル変化であると仮定し、一次方程式セット（11）を解く計算でδx1、δx2、δx3、δy1、δy2、およびδy3を求める。
Hxklδxk＝gxk，k＝1，2，3
Hyklδyk＝gyk，k＝1，2，3      方程式セット（11）
ここで
【数１７】
0006546277.tif 000018
である。
【０１０５】
上述したステップS1〜S4に基づき、この計算における現在の画像ブロックにある3つのピクセルサンプルの各々の方向xの運動ベクトル変化δxと各ピクセルサンプルの方向yの運動ベクトル変化δyは運動推定によって得られてよい。
【０１０６】
上述したステップS1〜S4の反復様態に基づいて1回以上の計算が遂行され、運動推定によって現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトルを得ることができる。
【０１０７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルの運動ベクトル差（英語：motion vector difference、略してMVD）を得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
【０１０８】
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
【０１０９】
303．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
【０１１０】
現在の予測ブロックXのサイズがS1×S2であると仮定する。座標が（0，0）、（S1，0）、および（0，S2）である3つの頂点の運動ベクトル（vx0，vy0）、（vx1，vy1）、および（vx2，vy2）はステップ301およびステップ302を遂行することによって計算される。
【０１１１】
3つの頂点の座標と運動ベクトルはアフィン変換式（12）に代入され、現在の画像ブロックにある各ピクセルの運動ベクトルを計算できる。図3eにアフィン変換の概略図を示すことができる。
【０１１２】
座標が（x，y）であるピクセルの運動ベクトルは次の通りに計算される。
【０１１３】
【数１８】
0006546277.tif 000019
【０１１４】
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4のブロックごとに1個の運動情報が保管されてよく、4×4の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4ブロック内の他のピクセルの運動情報として、保管される。
【０１１５】
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
【０１１６】
304．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【０１１７】
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
【０１１８】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０１１９】
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
【０１２０】
図4aを参照し、図4aは本発明の別の実施形態による別の画像予測方法の概略流れ図である。図4aの一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
【０１２１】
401．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
【０１２２】
本実施形態の一例でK＝3である。
【０１２３】
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
【０１２４】
図4bの一例に見られるように、現在の画像ブロックの左上頂点の運動ベクトル予測子は現在の画像ブロックの左上にある隣接画像ブロックAの運動ベクトルに等しい。現在の画像ブロックの右上頂点の運動ベクトル予測子は現在の画像ブロックの上方にある隣接画像ブロックBの運動ベクトルに等しい。現在の画像ブロックの左下頂点の運動ベクトル予測子は現在の画像ブロックの左側にある隣接画像ブロックDの運動ベクトルに等しくてよい。
【０１２５】
402．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
【０１２６】
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
【０１２７】
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【０１２８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動ベクトル予測子を参照フレームにスケールする方法は次の通りであってよい。現在の符号化フレームインデックスはCurPocであると仮定し、画像ブロックAの参照フレーム（すなわち左上頂点のMVPに対応する参照フレーム）は先参照フレームである仮定する。先参照フレームインデックスはDesPocであり、右上頂点または左下頂点のMVPに対応する参照フレームは元参照フレームであり、元参照フレームインデックスはSrcPocであり、右上頂点または左下頂点の運動ベクトル予測子はMVPであり、スケーリングの後に得られる右上頂点または左下頂点の運動ベクトル予測子はMVSである。MVSは次式を使った計算によって得られてよい。
【数１９】
0006546277.tif 000020
【０１２９】
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
【０１３０】
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。
【０１３１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
【０１３２】
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
【０１３３】
403．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
【０１３４】
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
【０１３５】
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
【０１３６】
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
【０１３７】
404．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【０１３８】
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
【０１３９】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０１４０】
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
【０１４１】
図5を参照し、図5は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図5の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
【０１４２】
501．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
【０１４３】
本実施形態の一例でK＝3である。
【０１４４】
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
【０１４５】
ステップ501で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。
【０１４６】
502．前述したK個のピクセルサンプルの運動ベクトル予測子を前述したK個のピクセルサンプルの運動ベクトルとして使用し、且つアフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
【０１４７】
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
【０１４８】
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
【０１４９】
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
【０１５０】
503．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【０１５１】
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれてよい。
【０１５２】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０１５３】
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。前述の解決手段は、ビデオが非並進的内容、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
【０１５４】
図6を参照し、図6は本発明の別の実施形態による別の画像予測方法の概略流れ図である。図6の一例に見られるように、本発明の別の実施形態で提供される別の画像予測方法は下記ステップを含んでよい。
【０１５５】
601．現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断する。
【０１５６】
本実施形態の一例でK＝3である。
【０１５７】
本実施形態でK個のピクセルサンプルは現在の画像ブロックの左上頂点と右上頂点と左下頂点とを含む。
【０１５８】
ステップ601で現在の画像ブロックにあるK個のピクセルサンプルの運動ベクトル予測子を判断する具体的様態については、前述した実施形態のいずれかの様態を参照されたい。
【０１５９】
602．K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行する。
【０１６０】
K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールするステップと（つまり、K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理を遂行するステップと）、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップとを含む。
【０１６１】
K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理が遂行される前に、ピクセルサンプルiの運動ベクトル予測子の参照フレームインデックスは先に変更されてよい。ピクセルサンプルiはK個のピクセルサンプルの中で現在の画像ブロックの左上頂点を除くいずれかのピクセルサンプル（例えば左下頂点または右上頂点）である。ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が左上頂点の運動ベクトル予測子に対応する予測方向と異なる場合（例えばピクセルサンプルiの運動ベクトル予測子に対応する予測方向が前方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が後方予測である場合、あるいはピクセルサンプルiの運動ベクトル予測子に対応する予測方向が後方予測であって左上頂点の運動ベクトル予測子に対応する予測方向が前方予測である場合）、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【０１６２】
詳しく述べると、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合は、（K1個のピクセルサンプルの運動ベクトル予測子は既に正規化された状態になっているため）K1個のピクセルサンプルの運動ベクトル予測子に対し正規化処理は遂行されず、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し直接運動推定が遂行されてよい。
【０１６３】
任意に選べることとして、K個のピクセルサンプルの運動ベクトルを得るためK個のピクセルサンプルに対し運動推定が遂行されることは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK個のピクセルサンプルに対し運動推定が遂行されることを含んでよい。具体的な反復探索アルゴリズムについては、前述した実施形態で関連する説明を参照されたい。ここでは詳細を繰り返し説明しない。
【０１６４】
任意に選べることとして、本発明のいくつかの可能な実装様態において、運動推定と対応するMVPとによって得られたK個のピクセルサンプルの運動ベクトルで減算がさらに遂行されてよく、これによりK個のピクセルサンプルのMVDを得、K個のピクセルサンプルのMVDはビデオビットストリームに書き込まれてよい。
【０１６５】
さらに、ピクセルサンプルに対応するMVDをビデオビットストリームに書き込むか否かを指示するため、構文要素affine_no_MVD_flagが使われてよい。例えば、前述したK個のピクセルサンプルに対応するMVDがいずれも0なら、affine_no_MVD_flagはtrueに設定されてよく、MVDはビデオビットストリームに書き込まれず、あるいは前述したK個のピクセルサンプルに対応するMVDに0でないものがあるなら、affine_no_MVD_flagはfalseに設定されてよく、K個のピクセルサンプルに対応するMVDはビデオビットストリームに書き込まれる。
【０１６６】
603．アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算する。
【０１６７】
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
【０１６８】
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
【０１６９】
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
【０１７０】
604．現在の予測単位にアフィン変換方式のフレーム間予測モード（ステップ601〜ステップ603）を使用するレート歪コストを計算し、且つそのレート歪コストをHEVCフレーム間予測モードを使用する計算レート歪コストに比較する。
【０１７１】
アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト未満である場合は、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードに設定される。具体的に述べると、現在の画像ブロックの最適フレーム間予測モードがアフィン変換方式のフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはtrueに設定されてよい。アフィン変換方式のフレーム間予測モードを使用するレート歪コストがHEVCフレーム間予測モードを使用するレート歪コスト以上である場合は、現在の画像ブロックの最適フレーム間予測モードがHEVCフレーム間予測モードであることを指示するため、構文要素affine_MC_flagはfalseに設定される。
【０１７２】
605．現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【０１７３】
例えば、ルミナンス成分の場合、ピクセルの運動ベクトルが1／4ピクセル精度である場合は、HEVC補間フィルタを使って各ピクセルの予測ピクセル値が得られてよく、あるいはピクセルの運動ベクトルが1／4ピクセル精度を上回る場合は、HEVC補間フィルタを使ってピクセルから最短距離にある4つの1／4ピクセルの予測ピクセル値が最初に得られ、その後ピクセルの予測ピクセル値を得るため双線形補間が遂行される。クロミナンス成分の場合、予測ピクセル値はHEVC補間フィルタを使って得られる。
【０１７４】
さらに、ビデオ符号化のときには、現在の画像ブロックの元のピクセル値と、ピクセル値予測によって得られた現在の画像ブロックの予測ピクセル値とを使って、現在の画像ブロックの残余が得られてよく、現在の画像ブロックの残余はビデオビットストリームに書き込まれる。具体的に述べると、現在の予測単位の残余は変換と量子化とエントロピー符号化とを経た後にビデオビットストリームに書き込まれる。
【０１７５】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０１７６】
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
【０１７７】
図7を参照し、図7は本発明の一実施形態によるビデオ復号化方法の概略流れ図である。図7の一例に見られるように、本発明の本実施形態で提供されるビデオ復号化方法は下記ステップを含んでよい。
【０１７８】
701．復号化器は、現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われているか否かを判断するため、ビデオビットストリームで構文要素affine_MC_flagを復号化する。
【０１７９】
702．現在の画像ブロックにアフィン変換方式のフレーム間予測モードが使われている場合、復号化器は、現在の画像ブロックに使われているフレーム間予測方向を判断するため、ビデオビットストリームで構文要素affine_inter_dir_flagを復号化する。
【０１８０】
703．復号化器は構文要素affine_inter_dir_flagに従って現在の画像ブロックにあるK個のピクセルサンプルのMVPを判断する。
【０１８１】
現在の画像ブロックにあるK個のピクセルサンプルは、前述した実施形態のいずれか1つで説明されている現在の画像ブロックにあるK個のピクセルサンプルであってよい。
【０１８２】
704．復号化器は、ビデオビットストリームにあって現在の画像ブロックに対応する構文要素affine_no_MVD_flagを復号化することによって、現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDが0であるか否かを判断する。affine_no_MVD_flagがtrueである場合、これは現在の画像ブロックにあるK個のピクセルサンプルに対応するMVDはいずれも0であることを意味し、K個のピクセルサンプルの得られたMVPに対応する運動ベクトルがK個のピクセルサンプルの運動ベクトルとして使用されてよい。affine_no_MVD_flagがfalseである場合、これはK個のピクセルサンプルに対応するMVDに0ではないものがあることを意味し、K個のピクセルサンプルに対応するMVDは別の復号化によって得られ、ピクセルサンプルの運動ベクトルを得るため、各ピクセルサンプルに対応するMVDと対応するMVPとが加えられる。
【０１８３】
705．復号化器は現在の画像ブロックの残余係数を復号化し、且つ現在の画像ブロックにある残余ピクセルを得るため逆量子化と逆変換とを遂行する。
【０１８４】
706．復号化器は、アフィン変換モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算し、且つ現在の画像ブロックの予測ピクセル値を得るため、現在の画像ブロックにある各ピクセルの計算運動ベクトルに基づいて現在の画像ブロックに対しピクセル値予測を遂行する。
【０１８５】
尚、本実施形態では説明のため非並進運動モデルの一例としてアフィン変換モデルが主に使われており、別の非並進運動モデルとK個のピクセルサンプルの運動ベクトルとに基づいて現在の画像ブロックにある各ピクセルの運動ベクトルを計算するメカニズムも原理は同様であるが、そのメカニズムでは本実施形態に使われているものとは異なる式が使われてもよい。ここでは例を1つずつ列挙しない。
【０１８６】
707．復号化器は現在の画像ブロックにある残余ピクセルと現在の画像ブロックの予測ピクセル値とに従って現在の画像ブロックを再構成する。
【０１８７】
さらに、現在の画像ブロックにある各ピクセルの運動情報は別の画像ブロックの運動ベクトル予測に役立てることができるため、4×4（または8×8）のブロックごとに1個の運動情報が保管されてよく、4×4（または8×8）の各ブロックの運動ベクトルは左上隅のピクセルの運動情報として、または4×4（または8×8）ブロック内の他のピクセルの運動情報として、保管される。
【０１８８】
運動情報は、運動ベクトルと、運動ベクトルに対応する予測方向と、運動ベクトルに対応する参照フレームインデックスとを含んでよい。
【０１８９】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０１９０】
さらに、現在の画像ブロックにおけるK個のピクセルサンプルのMVPの予測方向は正規化され、参照フレームインデックスは処理され、K個のピクセルサンプルのMVPに対応する運動ベクトルは参照フレームインデックスに従って同じ参照フレームにスケールされマップされる。さらに、現在の画像ブロックにある各ピクセルの運動ベクトルはK個のピクセルサンプルの最良の運動ベクトルに従ってアフィン変換式を用いて計算されてよい。前述の解決手段は、ビデオが非並進的内容を含む場合に、例えばレンズのズーミング、物体の変形、または動く物体の回転を含む場合に、現在のビデオ符号化規格ではフレーム間予測精度が低くなるという問題を解決するのに役立つ。加えて、従来技術で提案されたアフィン変換技術が多方向予測や多参照フレーム方式予測に応用し難いという欠点は克服されるため、ビデオシーケンスの一時的相関を十分に活用して一時的な余剰を排除し、符号化効率を上げるのに役立つ。
【０１９１】
最新ビデオ符号化規格HEVCの符号化器を使って本発明の実施形態で提供されるいくつかの解決手段についてエミュレーション試験が行われた。例えば試験は低遅延（LDB）とランダムアクセス（RA）という2つの構成で行われ、本発明の実施形態の解決手段の性能がHM11.0解決手段の性能に比較された。アフィン特性が比較的明白な6つの試験シーケンスが試験に選ばれた。試験シーケンスは表1に列挙されており、エミュレーション結果は表2に示されている。
【０１９２】
【表１】
0006546277.tif 000021
【０１９３】
【表２】
0006546277.tif 000022
【０１９４】
性能カウンタBD−rateはQPが22、27、32、および37である4つの点の結果を用いた計算によって得られてよく、3つの成分Y、U、およびVのピーク信号対ノイズ比（PSNR）がそれぞれ計算される。
【０１９５】
本発明の実施形態の解決手段において、LDB構成では平均BD−rate（Y）性能が4.5％増加し、RA構成で平均BD−rate（Y）性能が5.0％増加し、17.8％も増加することは分かるであろう。つまり、PSNRの質が同じである場合にHM11.0解決手段と比べて本発明の解決手段は最大17.8％のビットレートを低減できる。
【０１９６】
これ以降、いくつかの他の非並進運動モデルを説明する。
【０１９７】
アフィン変換モデルは下記モデルに一致する運動モデルである。
【数２０】
0006546277.tif 000023
ここでa、b、c、d、e、およびfは定数パラメータであり、（x，y）はピクセルの元の座標であり、（x’，y’）はピクセルに対しアフィン変換が遂行された後に得られる座標であり、Vxはx軸方向の運動ベクトルであり、Vyはy軸方向の運動ベクトルである。
【０１９８】
回転運動モデルは次のように表すことができる。
【数２１】
0006546277.tif 000024
ここでαは回転角であり、aおよびbはパラメータである。
【０１９９】
パースペクティブ運動モデルは次のように表すことができる。
【数２２】
0006546277.tif 000025
ここで
【数２３】
0006546277.tif 000026
はパースペクティブ行列である。
【０２００】
せん断運動モデルは次のように表すことができる。
【数２４】
0006546277.tif 000027
ここで
【数２５】
0006546277.tif 000028
はせん断行列であり、その他は定数パラメータである。
【０２０１】
拡大縮小運動モデルは次のように表すことができる。
【数２６】
0006546277.tif 000029
ここでρx、ρy、θx、およびθyは定数パラメータである。
【０２０２】
二次運動モデルは次のように表すことができる。
【数２７】
0006546277.tif 000030
ここでuおよびvは元の座標を表し、xおよびyは変換後に得られる座標を表し、その他は定数パラメータである。
【０２０３】
前述した例は様々な運動モデルのいくつかの可能な表現形式の例に過ぎず、当然ながら、様々な運動モデルが別の形式をとり得ることは理解できるであろう。
【０２０４】
これ以降は前述した解決手段を実施する関連装置をさらに提示する。
【０２０５】
図8を参照し、本発明の一実施形態は画像予測装置800を提供し、画像予測装置800は、
現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成された判断ユニット810であって、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する、判断ユニット810と、
非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成された予測ユニット820とを含んでよい。
【０２０６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
【０２０７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
【０２０８】
K個のピクセルサンプルを選択する様々な様態があり得る。
【０２０９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
【０２１０】
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
【０２１１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
【０２１２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
【０２１３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
【０２１４】
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
【０２１５】
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
【０２１６】
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【０２１７】
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
【０２１８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
【０２１９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
【０２２０】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
【０２２１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
【０２２２】
図2を参照し、図2は画像ブロックX1と画像ブロックX2と画像ブロックX3と画像ブロックX4のいくつかの可能な位置の例を示すものである。
【０２２３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
【０２２４】
任意に選べることとして、予測ユニット820は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
【０２２５】
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
【０２２６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【０２２７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合に、予測ユニット820はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールしてよい。
【０２２８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、予測ユニット820は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
【０２２９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップは、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズムに基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するステップを含む。
【０２３０】
画像予測装置800はビデオ符号化装置に応用され、あるいは画像予測装置800はビデオ復号化装置に応用される。
【０２３１】
本実施形態における画像予測装置800の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置800はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
【０２３２】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０２３３】
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
【０２３４】
図9を参照し、図9は本発明の一実施形態による画像予測装置900の概略図である。画像予測装置900は少なくとも1つのバス901と、バス901へ接続された少なくとも1つのプロセッサ902と、バス901へ接続された少なくとも1つのメモリ903とを含んでよい。
【０２３５】
プロセッサ902は、メモリ903に記憶されたコードをバス901を使って呼び出すことにより、現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行し、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接する。
【０２３６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
【０２３７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
【０２３８】
K個のピクセルサンプルを選択する様々な様態があり得る。
【０２３９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
【０２４０】
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
【０２４１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
【０２４２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
【０２４３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
【０２４４】
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
【０２４５】
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
【０２４６】
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【０２４７】
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
【０２４８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
【０２４９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
【０２５０】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
【０２５１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
【０２５２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
【０２５３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
【０２５４】
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
【０２５５】
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【０２５６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ902はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。
【０２５７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ902は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
【０２５８】
本実施形態における画像予測装置900の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置900はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
【０２５９】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０２６０】
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
【０２６１】
図10を参照し、図10は本発明の別の実施形態による画像予測装置1000の構造的ブロック図である。画像予測装置1000は、少なくとも1つのプロセッサ1001と、少なくとも1つのネットワークインターフェース1004または他のユーザーインターフェース1003と、メモリ1005と、少なくとも1つの通信バス1002とを含んでよい。通信バス1002はこれらのコンポーネントの間で接続と通信を実施するように構成される。画像予測装置1000は、ディスプレイ（例えばタッチスクリーン、LCD、ホログラフィックイメージング装置（Holographic imaging device）、CRT、映写（Projector））、クリック装置（例えばマウス、トラックボール（trackball）、タッチパッド、またはタッチスクリーン）、カメラおよび／またはピックアップ装置等を含むユーザーインターフェース1003を任意に含んでよい。
【０２６２】
メモリ1005は読み取り専用メモリとランダムアクセスメモリとを含んでよく、プロセッサ1001に命令とデータを提供してよい。メモリ1005の一部は不揮発性ランダムアクセスメモリ（NVRAM）をさらに含んでよい。
【０２６３】
いくつかの実装様態において、メモリ1005は下記要素を、すなわち実行可能モジュールまたはデータ構造、またはこれのサブセット、またはこれの拡張セットを、記憶する。
様々なシステムプログラムを含み、様々な基本的サービスを実施しハードウェアベースのタスクを処理するために使われる、オペレーティングシステム10051
様々なアプリケーションプログラムを含み、様々なアプリケーションサービスを実施するために使われる、アプリケーションプログラムモジュール10052
【０２６４】
本発明の本実施形態において、メモリ1005に記憶されたプログラムや命令を呼び出すことにより、プロセッサ1001は現在の画像ブロックでK個のピクセルサンプルの運動ベクトル予測子を判断するように構成され、ここでKは1よりも大きい整数であり、K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含み、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、且つプロセッサ1001は非並進運動モデルとK個のピクセルサンプルの運動ベクトル予測子とに基づいて現在の画像ブロックに対しピクセル値予測を遂行するように構成される。
【０２６５】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られる。具体的に述べると、第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに等しくてよく（つまり、現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルが第1の頂角ピクセルサンプルの運動ベクトル予測子として使用され）、あるいは現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに対し既定の変換を遂行することによって得られる運動ベクトル予測子が第1の頂角ピクセルサンプルの運動ベクトル予測子として使用されてよい。
【０２６６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、非並進運動モデルは下記モデルのうち、すなわちアフィン変換モデル、放物運動モデル、回転運動モデル、パースペクティブ運動モデル、せん断運動モデル、または拡大縮小運動モデルのうち、いずれか1つである。非並進運動モデルが前述の具体例に限定されないことは理解できるであろう。
【０２６７】
K個のピクセルサンプルを選択する様々な様態があり得る。
【０２６８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは、現在の画像ブロックで左上ピクセルサンプル、右上ピクセルサンプル、左下ピクセルサンプル、または右下ピクセルサンプルにある少なくとも2つのピクセルサンプルを含む。
【０２６９】
ピクセルサンプルがピクセルブロックである場合、ピクセルブロックのサイズは例えば2×2、1×2、4×2、4×4、または別のサイズである。
【０２７０】
任意に選べることとして、本発明のいくつかの可能な実装様態において、現在の画像ブロックにおける左上ピクセルサンプルは現在の画像ブロックの左上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左上頂点を含むピクセルブロックである。現在の画像ブロックにおける左下ピクセルサンプルは現在の画像ブロックの左下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの左下頂点を含むピクセルブロックである。現在の画像ブロックにおける右上ピクセルサンプルは現在の画像ブロックの右上頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右上頂点を含むピクセルブロックである。現在の画像ブロックにおける右下ピクセルサンプルは現在の画像ブロックの右下頂点であり、あるいは現在の画像ブロック内にあって現在の画像ブロックの右下頂点を含むピクセルブロックである。
【０２７１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、K個のピクセルサンプルは現在の画像ブロックにおける中心ピクセルサンプルをさらに含んでよい。現在の画像ブロックにおける中心ピクセルサンプルは現在の画像ブロックの中心ピクセルであってよく、あるいは現在の画像ブロック内にあって現在の画像ブロックの中心ピクセルを含むピクセルブロックであってよい。
【０２７２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の空間的に隣接する画像ブロックは画像ブロックX1、画像ブロックX2、画像ブロックX3、または画像ブロックX4であってよい。
【０２７３】
現在の画像ブロックにおける左上ピクセルサンプルの運動ベクトル予測子は画像ブロックX1の運動ベクトルに基づいて得られてよく、画像ブロックX1は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX1は現在の画像ブロックにおいて左上ピクセルサンプルに空間的に隣接する。
【０２７４】
現在の画像ブロックにおける右上ピクセルサンプルの運動ベクトル予測子は画像ブロックX2の運動ベクトルに基づいて得られてよく、画像ブロックX2は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX2は現在の画像ブロックにおいて右上ピクセルサンプルに空間的に隣接する。
【０２７５】
現在の画像ブロックにおける左下ピクセルサンプルの運動ベクトル予測子は画像ブロックX3の運動ベクトルに基づいて得られてよく、画像ブロックX3は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX3は現在の画像ブロックにおいて左下ピクセルサンプルに空間的に隣接する。
【０２７６】
現在の画像ブロックにおける右下ピクセルサンプルの運動ベクトル予測子は画像ブロックX4の運動ベクトルに基づいて得られてよく、画像ブロックX4は現在の画像ブロックの空間的に隣接する画像ブロックであり、画像ブロックX4は現在の画像ブロックにおいて右下ピクセルサンプルに空間的に隣接する。
【０２７７】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルは現在の画像ブロックにおける左上ピクセルサンプルであてってよく、第1の空間的に隣接する画像ブロックは画像ブロックX1であってよい。画像ブロックX1は現在の画像ブロックの左上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX1は現在の画像ブロックの上方で空間的に隣接する画像ブロックである。
【０２７８】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX2は現在の画像ブロックの上方で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右上で空間的に隣接する画像ブロックであり、あるいは画像ブロックX2は現在の画像ブロックの右側で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX2の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX5の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX5は、画像ブロックX2を除く、右上頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX2の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX2の位置は直接的に取り決められてよい。
【０２７９】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX3は現在の画像ブロックの左側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの左下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX3は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX3の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX6の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX6は、画像ブロックX3を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。つまり、画像ブロックX3の位置は特定の方針に基づいて決定されてよく、あるいは画像ブロックX3の位置は直接的に取り決められてよい。
【０２８０】
任意に選べることとして、本発明のいくつかの可能な実装様態において、画像ブロックX4は現在の画像ブロックの右側で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの右下で空間的に隣接する画像ブロックであり、あるいは画像ブロックX4は現在の画像ブロックの下方で空間的に隣接する画像ブロックである。さらに任意に選べることとして、画像ブロックX4の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値は画像ブロックX7の運動ベクトル絶対値と画像ブロックX1の運動ベクトル絶対値との差の絶対値以上であり、画像ブロックX7は、画像ブロックX4を除く、左下頂点に空間的に隣接する現在の画像ブロックの残りの少なくともいくつかの空間的に隣接する画像ブロックのいずれか1つである。
【０２８１】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1である場合に、K個のピクセルサンプルの運動ベクトルを得るため、K個のピクセルサンプルの運動ベクトル予測子を使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよい。
【０２８２】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルにおけるK1個のピクセルサンプルの運動ベクトル予測子に対応する参照フレームが参照フレームY1でない場合に、K1個のピクセルサンプルの運動ベクトル予測子を参照フレームY1にスケールし、K個のピクセルサンプルの運動ベクトルを得るため、K2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行し、且つ、非並進運動モデルとK個のピクセルサンプルの運動ベクトルとを使って現在の画像ブロックに対しピクセル値予測を遂行するように構成されてよく、ここでK2個のピクセルサンプルはK個のピクセルサンプルのうちK1個のピクセルサンプルを除いた残りのピクセルサンプルであり、K1とK2は正の整数である。
【０２８３】
任意に選べることとして、本発明のいくつかの可能な実装様態において、参照フレームY1は第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよく、あるいは参照フレームY1はK個のピクセルサンプルにある別のピクセルサンプルの運動ベクトル予測子に対応する参照フレームであってよい。
【０２８４】
任意に選べることとして、本発明のいくつかの可能な実装様態において、ピクセルサンプルiはK個のピクセルサンプルで第1の頂角ピクセルサンプルを除くいずれかのピクセルサンプルであり、ピクセルサンプルiの運動ベクトル予測子に対応する予測方向が第1の頂角ピクセルサンプルの運動ベクトル予測子に対応する予測方向と異なる場合、ピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスは0である。
【０２８５】
任意に選べることとして、本発明のいくつかの可能な実装様態において、第1の頂角ピクセルサンプルとピクセルサンプルiの運動ベクトル予測子に対応する参照フレームインデックスが異なる場合、プロセッサ1001はピクセルサンプルiの運動ベクトル予測子を参照フレームY1にスケールするように構成されてよい。
【０２８６】
任意に選べることとして、本発明のいくつかの可能な実装様態において、プロセッサ1001は、K個のピクセルサンプルの運動ベクトルを得るため、反復探索アルゴリズム（または別種の運動推定アルゴリズム）に基づいてK2個のピクセルサンプルの運動ベクトル予測子と参照フレームY1にスケールされたK1個のピクセルサンプルの運動ベクトル予測子とを使ってK個のピクセルサンプルに対し運動推定を遂行するように構成されてよい。
【０２８７】
本実施形態における画像予測装置1000の全機能モジュールの機能が前述した方法の実施形態の方法に従って具体的に実施されてよいことは理解できるであろう。具体的な実施プロセスについては前述した方法の実施形態で関連する説明を参照し、ここでは詳細を繰り返し説明しない。画像予測装置1000はビデオを出力したり再生したりする必要がある何らかの装置であってよく、例えばラップトップコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、または携帯電話機であってよい。
【０２８８】
本実施形態の技術的解決手段において、判断されたK個のピクセルサンプルの運動ベクトル予測子が非並進運動モデルに基づいて現在の画像ブロックに対して遂行されるピクセル値予測のときに参照されることは分かるであろう。K個のピクセルサンプルは現在の画像ブロックにおける第1の頂角ピクセルサンプルを含む。K個のピクセルサンプルの運動ベクトル予測子は予測に直接使用され、K個のピクセルサンプルにおける第1の頂角ピクセルサンプルの運動ベクトル予測子は現在の画像ブロックの予め設定された第1の空間的に隣接する画像ブロックの運動ベクトルに基づいて得られ、K個のピクセルサンプルの運動ベクトル予測子には1つの任意のケースがある。このため、大規模な計算によってK個のピクセルサンプルの複数の任意の運動ベクトル予測子群からK個のピクセルサンプルの運動ベクトル予測子が選択される従来技術のメカニズムは放棄される。これはビットストリームで運動情報予測子の選択情報を伝送することを回避するのに役立ち、符号化効率を上げるのに役立ち、且つ非並進運動モデルに基づく画像予測の計算複雑性を大幅に軽減するのにも役立つ。
【０２８９】
また、第1の空間的に隣接する画像ブロックは第1の頂角ピクセルサンプルに空間的に隣接し、現在の画像ブロックの第1の空間的に隣接する画像ブロックは予め設定される（つまり、現在の画像ブロックの第1の空間的に隣接する画像ブロックは事前に取り決められるか設定されると考えることができる）。したがって、これはK個のピクセルサンプルの運動ベクトル予測子を速やかに判断するのに役立つ。加えて、画像ブロック間の空間相関を十分に活用することによって余剰が排除されるため、これは符号化効率をさらに上げるのに役立つ。
【０２９０】
尚、説明を簡単にするため、前述した方法の実施形態は一連の行為として表現されている。ただし、本発明によると一部のステップは別の順序で遂行されてよく、あるいは同時に遂行されてよいため、当業者なら本発明が記載された行為の順序に限定されないことを理解するであろう。加えて当業者は、明細書で説明されている実施形態がいずれも実施形態の例であって、関係する行為やモジュールが必ずしも本発明にとって必須ではないことを理解するであろう。
【０２９１】
上記の実施形態ではどの実施形態も的を絞って説明されている。或る1つの実施形態で詳しく説明されていない部分については、他の実施形態に記載された関連する説明を参照されたい。
【０２９２】
本願で提供される実施形態で開示されている装置が別の様態で実装されてよいことを理解されたい。例えば、説明されている装置の実施形態は一例に過ぎない。例えば、ユニットの分割は論理的な機能分割に過ぎず、実際の実装では別の分割であってもよい。例えば、複数のユニットやコンポーネントが組み合わされて別のシステムにまとめられてもよく、一部の機能は無視されてもよく、遂行されなくてもよい。加えて、表示もしくは論述された相互結合や直接結合や通信接続は何らかのインターフェースを用いて実装されてよい。装置またはユニット間の間接結合や通信接続は電子的形態やその他の形態で実装されてよい。
【０２９３】
単独部分として説明されているユニットは物理的に単独であってもなくてもよく、ユニットとして表示されている部分は物理的なユニットであってもなくてもよく、1ヶ所に置かれてもよく、複数のネットワークユニットに分散されてもよい。実施形態の解決手段の目的を達成するため、ユニットの一部または全部が実際のニーズに応じて選ばれてよい。
【０２９４】
加えて、本発明の実施形態の機能ユニットは1つの処理ユニットに統合されてよく、それぞれのユニットが物理的に単独で存在してもよく、2つ以上のユニットは1つのユニットに統合される。統合されたユニットはハードウェアの形で実装されてよく、あるいはソフトウェア機能ユニットの形で実装されてもよい。
【０２９５】
前述の統合されたユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売もしくは使用される場合、統合されたユニットはコンピュータ可読記憶媒体に記憶されてよい。このような理解に基づき、本発明の技術的解決手段は、あるいは先行技術に寄与する部分は、あるいは技術的解決手段の全部または一部は、ソフトウェア製品の形で実装されてよい。ソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で説明した方法のステップの全部または一部を遂行することをコンピュータ装置（パーソナルコンピュータ、サーバー、ネットワーク装置等であってよい）に命令する命令を含む。前述した記憶媒体は、USBフラッシュドライブ、読み取り専用メモリ（ROM、Read-Only Memory）、ランダムアクセスメモリ（RAM、Random Access Memory）、リムーバブルハードディスク、磁気ディスク、光ディスク等、プログラムコードを記憶できる媒体を含む。
【０２９６】
上記の実施形態は、本発明の技術的解決手段を説明するためのものに過ぎず、本発明を制限するものではない。上記の実施形態を参照しながら本発明を詳しく説明したが、当業者は、本発明の実施形態の技術的解決手段の精神および範囲から逸脱することなく上記の実施形態で説明した技術的解決手段に変更を加えたり、その技術的要素に同等の差し替えを行うことができることを理解するであろう。
【符号の説明】
【０２９７】
800  画像予測装置
810  判断ユニット
820  予測ユニット
900  画像予測装置
901  バス
902  プロセッサ
903  メモリ
1000  画像予測装置
1001  プロセッサ
1002  通信バス
1003  ユーザーインターフェース
1004  ネットワークインターフェース
1005  メモリ
10051  オペレーティングシステム
10052  アプリケーションプログラム
【図１ａ】
0006546277.tif 000031
【図１ｂ】
0006546277.tif 000032
【図１ｃ】
0006546277.tif 000033
【図２】
0006546277.tif 000034
【図３ａ】
0006546277.tif 000035
【図３ｂ】
0006546277.tif 000036
【図３ｃ】
0006546277.tif 000037
【図３ｄ】
0006546277.tif 000038
【図３ｅ】
0006546277.tif 000039
【図４ａ】
0006546277.tif 000040
【図４ｂ】
0006546277.tif 000041
【図５】
0006546277.tif 000042
【図６】
0006546277.tif 000043
【図７】
0006546277.tif 000044
【図８】
0006546277.tif 000045
【図９】
0006546277.tif 000046
【図１０】
0006546277.tif 000047