(57)【要約】      （修正有）【課題】アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させる画像予測方法および関連装置を提供する。【解決手段】現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するステップＳ１０１と、2つの動き情報単位を含む併合動き情報単位集合iを決定する、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されるステップＳ１０２と、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップＳ１０３と、を含む。【選択図】図１−ｃ
2019013031.tif 000002
【特許請求の範囲】
【請求項１】
現在の画像ブロック内の2つの画素サンプルを決定し、前記2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するステップであって、各画素サンプルに対応する前記候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、前記ステップと、
2つの動き情報単位を含む併合動き情報単位集合iを決定するステップであって、前記併合動き情報単位集合i内の各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、前記動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、前記ステップと、
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測するステップと、
を含む、画像予測方法。
【請求項２】
2つの動き情報単位を含む併合動き情報単位集合iを決定する前記ステップは、
N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するステップであって、前記N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、前記N個の候補併合動き情報単位集合は互いに異なり、前記N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む、前記ステップ、
を含む、請求項1に記載の方法。
【請求項３】
前記N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
前記第1の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される前記現在の画像ブロックの動きモードが非並進運動であることを含み、
前記第2の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
前記第3の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
前記第4の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なり、
前記第5の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なる、
請求項2に記載の方法。
【請求項４】
前記2つの画素サンプルは、前記現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
前記現在の画像ブロックの前記左上画素サンプルは、前記現在の画像ブロックの左上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記左下画素サンプルは、前記現在の画像ブロックの左下頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左下頂点を含む画素ブロックであり、前記現在の画像ブロックの前記右上画素サンプルは、前記現在の画像ブロックの右上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの右上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記中心画素サンプルa1は、前記現在の画像ブロックの中心画素、または前記現在の画像ブロック内の、前記現在の画像ブロックの中心画素を含む画素ブロックである、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記現在の画像ブロックの前記左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、前記x1個の画素サンプルは、前記現在の画像ブロックの前記左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
前記x1個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、請求項4に記載の方法。
【請求項６】
前記現在の画像ブロックの前記右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、前記x2個の画素サンプルは、前記現在の画像ブロックの前記右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
前記x2個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記右上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの右端に空間的に隣接した画素サンプル、前記現在の画像ブロックの右上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、請求項4または5に記載の方法。
【請求項７】
前記現在の画像ブロックの前記左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、前記x3個の画素サンプルは、前記現在の画像ブロックの前記左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
前記x3個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左下画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左下に空間的に隣接した画素サンプル、または前記現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、請求項4から6のいずれか一項に記載の方法。
【請求項８】
前記現在の画像ブロックの前記中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、前記x5個の画素サンプルのうちの1つが画素サンプルa2であり、
前記現在の画像ブロックが属する映像フレーム内の前記中心画素サンプルa1の位置は、前記現在の画像ブロックが属する前記映像フレームに隣接した映像フレーム内の前記画素サンプルa2の位置と同じであり、x5は正の整数である、請求項4から7のいずれか一項に記載の方法。
【請求項９】
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測する前記ステップは、その予測方向が前記併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて前記第1の予測方向である前記動きベクトルが前記現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測するステップであって、前記第1の予測方向は順方向もしくは逆方向である、前記ステップ、を含み、または
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測する前記ステップは、その予測方向が前記併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が前記併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて順方向である前記動きベクトルが前記現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が前記併合動き情報単位集合iにおいて逆方向である前記動きベクトルが前記現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測するステップ、を含む、
請求項1から8のいずれか一項に記載の方法。
【請求項１０】
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測する前記ステップは、
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素の動きベクトルを取得し、前記現在の画像ブロック内の各画素のものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素の予測画素値を求めるステップ、または
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、前記現在の画像ブロック内の各画素ブロックのものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求めるステップ、
を含む、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測する前記ステップは、前記現在の画像ブロックの長さまたは幅に対する前記2つの画素サンプルの動きベクトルの水平成分の差の比および前記現在の画像ブロックの前記長さまたは幅に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップであって、前記2つの画素サンプルの前記動きベクトルは、前記併合動き情報単位集合i内の前記2つの動き情報単位の動きベクトルに基づいて取得される、前記ステップ、を含む、
請求項1から10のいずれか一項に記載の方法。
【請求項１２】
前記2つの画素サンプルの前記動きベクトルの前記水平成分の水平座標係数は前記動きベクトルの前記垂直成分の垂直座標係数と等しく、前記2つの画素サンプルの前記動きベクトルの前記水平成分の垂直座標係数は前記動きベクトルの前記垂直成分の水平座標係数と等しい、請求項11に記載の方法。
【請求項１３】
前記アフィン運動モデルは、
【数１】
2019013031.tif 000077
の形式のアフィン運動モデルであり、
式中、前記2つの画素サンプルの前記動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が前記現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が前記現在の画像ブロックにおいて（x，y）である前記画素サンプルの前記動きベクトルの垂直成分であり、wは、前記現在の画像ブロックの前記長さまたは幅である、
請求項1から12のいずれか一項に記載の方法。
【請求項１４】
前記画像予測方法は映像符号化プロセスに適用され、または前記画像予測方法は映像復号化プロセスに適用される、
請求項1から13のいずれか一項に記載の方法。
【請求項１５】
前記画像予測方法が前記映像復号化プロセスに適用される場合、N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定する前記ステップは、前記併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、前記N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するステップ、を含む、請求項14に記載の方法。
【請求項１６】
前記画像予測方法が前記映像復号化プロセスに適用される場合、前記方法は、前記2つの画素サンプルの動きベクトルの差を取得するために前記映像ビットストリームを復号化するステップと、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得するステップと、前記2つの画素サンプルの前記動きベクトル予測子と前記2つの画素サンプルの前記動きベクトルの差とに別々に基づいて前記2つの画素サンプルの前記動きベクトルを取得するステップと、をさらに含む、請求項14または15に記載の方法。
【請求項１７】
前記画像予測方法が前記映像符号化プロセスに適用される場合、前記方法は、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得するステップと、前記2つの画素サンプルの前記動きベクトル予測子に従って前記2つの画素サンプルの動きベクトルの差を取得するステップと、前記2つの画素サンプルの前記動きベクトルの差を映像ビットストリームに書き込むステップと、をさらに含む、請求項14に記載の方法。
【請求項１８】
前記画像予測方法が前記映像符号化プロセスに適用される場合、前記方法は、前記併合動き情報単位集合iの識別子を前記映像ビットストリームに書き込むステップ、をさらに含む、請求項14または17に記載の方法。
【請求項１９】
現在の画像ブロック内の2つの画素サンプルを決定し、前記2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するように構成された第1の決定部であって、各画素サンプルに対応する前記候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、第1の決定部と、
2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成された第2の決定部であって、
前記併合動き情報単位集合i内の各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、前記動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、第2の決定部と、
アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測するように構成された、予測部と、
を含む、画像予測装置。
【請求項２０】
前記第2の決定部は、N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するように特に構成されており、前記N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、前記N個の候補併合動き情報単位集合は互いに異なり、前記N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む、請求項19に記載の装置。
【請求項２１】
前記N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
前記第1の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される前記現在の画像ブロックの動きモードが非並進運動であることを含み、
前記第2の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
前記第3の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
前記第4の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なり、
前記第5の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なる、
請求項20に記載の装置。
【請求項２２】
前記2つの画素サンプルは、前記現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
前記現在の画像ブロックの前記左上画素サンプルは、前記現在の画像ブロックの左上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記左下画素サンプルは、前記現在の画像ブロックの左下頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左下頂点を含む画素ブロックであり、前記現在の画像ブロックの前記右上画素サンプルは、前記現在の画像ブロックの右上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの右上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記中心画素サンプルa1は、前記現在の画像ブロックの中心画素、または前記現在の画像ブロック内の、前記現在の画像ブロックの中心画素を含む画素ブロックである、請求項19から21のいずれか一項に記載の装置。
【請求項２３】
前記現在の画像ブロックの前記左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、前記x1個の画素サンプルは、前記現在の画像ブロックの前記左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
前記x1個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項22に記載の装置。
【請求項２４】
前記現在の画像ブロックの前記右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、前記x2個の画素サンプルは、前記現在の画像ブロックの前記右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
前記x2個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記右上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの右端に空間的に隣接した画素サンプル、前記現在の画像ブロックの右上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項22または23に記載の装置。
【請求項２５】
前記現在の画像ブロックの前記左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、前記x3個の画素サンプルは、前記現在の画像ブロックの前記左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
前記x3個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左下画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左下に空間的に隣接した画素サンプル、または前記現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項22から24のいずれか一項に記載の装置。
【請求項２６】
前記現在の画像ブロックの前記中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、前記x5個の画素サンプルのうちの1つが画素サンプルa2であり、
前記現在の画像ブロックが属する映像フレーム内の前記中心画素サンプルa1の位置は、前記現在の画像ブロックが属する前記映像フレームに隣接した映像フレーム内の前記画素サンプルa2の位置と同じであり、x5は正の整数である、
請求項22から25のいずれか一項に記載の装置。
【請求項２７】
前記予測部は、その予測方向が前記併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて前記第1の予測方向である前記動きベクトルが前記現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測するように特に構成されており、前記第1の予測方向は順方向もしくは逆方向であり、または
前記予測部は、その予測方向が前記併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が前記併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて順方向である前記動きベクトルが前記現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が前記併合動き情報単位集合iにおいて逆方向である前記動きベクトルが前記現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する、ように特に構成されている、請求項19から26のいずれか一項に記載の装置。
【請求項２８】
前記予測部は、前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素の動きベクトルを取得し、前記現在の画像ブロック内の各画素のものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素の予測画素値を求める、ように特に構成されており、または
前記予測部は、前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、前記現在の画像ブロック内の各画素ブロックのものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように特に構成されている、
請求項19から27のいずれか一項に記載の装置。
【請求項２９】
前記予測部は、前記現在の画像ブロックの長さまたは幅に対する前記2つの画素サンプルの動きベクトルの水平成分の差の比および前記現在の画像ブロックの前記長さまたは幅に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように特に構成されており、前記2つの画素サンプルの前記動きベクトルは、前記併合動き情報単位集合i内の前記2つの動き情報単位の動きベクトルに基づいて取得される、
請求項19から28のいずれか一項に記載の装置。
【請求項３０】
前記2つの画素サンプルの前記動きベクトルの前記水平成分の水平座標係数は前記動きベクトルの前記垂直成分の垂直座標係数と等しく、前記2つの画素サンプルの前記動きベクトルの前記水平成分の垂直座標係数は前記動きベクトルの前記垂直成分の水平座標係数と等しい、請求項29に記載の装置。
【請求項３１】
前記アフィン運動モデルは、
【数２】
2019013031.tif 000078
の形式のアフィン運動モデルであり、
式中、前記2つの画素サンプルの前記動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が前記現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が前記現在の画像ブロックにおいて（x，y）である前記画素サンプルの前記動きベクトルの垂直成分であり、wは、前記現在の画像ブロックの長さまたは幅である、
請求項19から30のいずれか一項に記載の装置。
【請求項３２】
前記画像予測装置は映像符号化装置に適用され、または前記画像予測装置は映像復号化装置に適用される、
請求項19から31のいずれか一項に記載の装置。
【請求項３３】
前記画像予測装置が前記映像復号化装置に適用される場合、前記第2の決定部は、前記併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、前記N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するように特に構成されている、請求項32に記載の装置。
【請求項３４】
前記画像予測装置が前記映像復号化装置に適用される場合、
前記装置は、前記2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得し、前記2つの画素サンプルの前記動きベクトル予測子と前記2つの画素サンプルの前記動きベクトルの差とに別々に基づいて前記2つの画素サンプルの前記動きベクトルを取得する、ように構成された、復号化部、をさらに含む、請求項32または33に記載の装置。
【請求項３５】
前記画像予測装置が前記映像符号化装置に適用される場合、前記予測部は、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得し、前記2つの画素サンプルの前記動きベクトル予測子に従って前記2つの画素サンプルの動きベクトルの差を取得し、前記2つの画素サンプルの前記動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成されている、請求項32に記載の装置。
【請求項３６】
前記画像予測装置が前記映像符号化装置に適用される場合、前記装置は、前記併合動き情報単位集合iの識別子を映像ビットストリームに書き込むように構成された、符号化部をさらに含む、請求項32または35に記載の装置。
【請求項３７】
プロセッサとメモリと、を含み、
前記プロセッサは、前記プロセッサが、現在の画像ブロック内の2つの画素サンプルを決定し、前記2つの画素サンプルの各々に対応する候補動き情報単位集合を決定し、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含み、2つの動き情報単位を含む併合動き情報単位集合iであって、前記併合動き情報単位集合i内の各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、前記動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、前記併合動き情報単位集合iを決定し、アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの画素値を予測する、ように構成されるように、前記メモリに記憶されたコードまたは命令を呼び出す、
画像予測装置。
【請求項３８】
前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定する局面において、前記プロセッサは、N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するように構成され、前記N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、前記2つの画素サンプルの各々に対応する前記候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、前記N個の候補併合動き情報単位集合は互いに異なり、前記N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む、
請求項37に記載の装置。
【請求項３９】
前記N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
前記第1の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される前記現在の画像ブロックの動きモードが非並進運動であることを含み、
前記第2の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
前記第3の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
前記第4の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なり、
前記第5の条件は、前記N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、または前記N個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、前記現在の画像ブロック内の前記画素サンプルZは前記2つの画素サンプルのどちらかと異なる、
請求項38に記載の装置。
【請求項４０】
前記2つの画素サンプルは、前記現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
前記現在の画像ブロックの前記左上画素サンプルは、前記現在の画像ブロックの左上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記左下画素サンプルは、前記現在の画像ブロックの左下頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの左下頂点を含む画素ブロックであり、前記現在の画像ブロックの前記右上画素サンプルは、前記現在の画像ブロックの右上頂点、または前記現在の画像ブロック内の、前記現在の画像ブロックの右上頂点を含む画素ブロックであり、前記現在の画像ブロックの前記中心画素サンプルa1は、前記現在の画像ブロックの中心画素、または前記現在の画像ブロック内の、前記現在の画像ブロックの中心画素を含む画素ブロックである、請求項37から39のいずれか一項に記載の装置。
【請求項４１】
前記現在の画像ブロックの前記左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、前記x1個の画素サンプルは、前記現在の画像ブロックの前記左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
前記x1個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項40に記載の装置。
【請求項４２】
前記現在の画像ブロックの前記右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、前記x2個の画素サンプルは、前記現在の画像ブロックの前記右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
前記x2個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記右上画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの右端に空間的に隣接した画素サンプル、前記現在の画像ブロックの右上に空間的に隣接した画素サンプル、または前記現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項40または41に記載の装置。
【請求項４３】
前記現在の画像ブロックの前記左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、前記x3個の画素サンプルは、前記現在の画像ブロックの前記左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または前記現在の画像ブロックの前記左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
前記x3個の画素サンプルは、前記現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、前記現在の画像ブロックの前記左下画素サンプルと同じ位置を有する画素サンプル、前記現在の画像ブロックの左端に空間的に隣接した画素サンプル、前記現在の画像ブロックの左下に空間的に隣接した画素サンプル、または前記現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む、
請求項40から42のいずれか一項に記載の装置。
【請求項４４】
前記現在の画像ブロックの前記中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、前記x5個の画素サンプルのうちの1つが画素サンプルa2であり、
前記現在の画像ブロックが属する映像フレーム内の前記中心画素サンプルa1の位置は、前記現在の画像ブロックが属する前記映像フレームに隣接した映像フレーム内の前記画素サンプルa2の位置と同じであり、x5は正の整数である、
請求項40から43のいずれか一項に記載の装置。
【請求項４５】
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する局面において、前記プロセッサは、その予測方向が前記併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて前記第1の予測方向である前記動きベクトルが前記現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する、ように構成され、前記第1の予測方向は順方向もしくは逆方向であり、または
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する局面において、前記プロセッサは、その予測方向が前記併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が前記併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが前記現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が前記併合動き情報単位集合iにおいて順方向である前記動きベクトルが前記現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が前記併合動き情報単位集合iにおいて逆方向である前記動きベクトルが前記現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、前記併合動き情報単位集合iに対してスケーリング処理を行い、前記アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する、ように構成される、
請求項40から44のいずれか一項に記載の装置。
【請求項４６】
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する局面において、前記プロセッサは、前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素の動きベクトルを取得し、前記現在の画像ブロック内の各画素のものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素の予測画素値を求める、ように構成され、または
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する局面において、前記プロセッサは、前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて計算によって前記現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、前記現在の画像ブロック内の各画素ブロックのものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように構成される、
請求項37から45のいずれか一項に記載の装置。
【請求項４７】
前記アフィン運動モデルおよび前記併合動き情報単位集合iを用いて前記現在の画像ブロックの前記画素値を予測する局面において、前記プロセッサは、前記現在の画像ブロックの長さまたは幅に対する前記2つの画素サンプルの動きベクトルの水平成分の差の比および前記現在の画像ブロックの前記長さまたは幅に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成され、前記2つの画素サンプルの前記動きベクトルは、前記併合動き情報単位集合i内の前記2つの動き情報単位の動きベクトルに基づいて取得される、
請求項37から46のいずれか一項に記載の装置。
【請求項４８】
前記2つの画素サンプルの前記動きベクトルの前記水平成分の水平座標係数は前記動きベクトルの前記垂直成分の垂直座標係数と等しく、前記2つの画素サンプルの前記動きベクトルの前記水平成分の垂直座標係数は前記動きベクトルの前記垂直成分の水平座標係数と等しい、
請求項47に記載の装置。
【請求項４９】
前記アフィン運動モデルは、
【数３】
2019013031.tif 000079
の形式のアフィン運動モデルであり、
式中、前記2つの画素サンプルの前記動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が前記現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が前記現在の画像ブロックにおいて（x，y）である前記画素サンプルの前記動きベクトルの垂直成分であり、wは、前記現在の画像ブロックの長さまたは幅である、
請求項37から48のいずれか一項に記載の装置。
【請求項５０】
前記画像予測装置は映像符号化装置に適用され、または前記画像予測装置は映像復号化装置に適用される、
請求項37から49のいずれか一項に記載の装置。
【請求項５１】
前記画像予測装置が前記映像復号化装置に適用される場合、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定する局面において、前記プロセッサは、前記併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、前記N個の候補併合動き情報単位集合の中から、前記2つの動き情報単位を含む前記併合動き情報単位集合iを決定するように構成される、請求項50に記載の装置。
【請求項５２】
前記画像予測装置が前記映像復号化装置に適用される場合、前記プロセッサは、前記2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得し、前記2つの画素サンプルの前記動きベクトル予測子と前記2つの画素サンプルの前記動きベクトルの差とに別々に基づいて前記2つの画素サンプルの前記動きベクトルを取得する、ようにさらに構成される、請求項50または51に記載の装置。
【請求項５３】
前記画像予測装置が前記映像符号化装置に適用される場合、前記プロセッサは、前記2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて前記2つの画素サンプルの動きベクトル予測子を取得し、前記2つの画素サンプルの前記動きベクトル予測子に従って前記2つの画素サンプルの動きベクトルの差を取得し、前記2つの画素サンプルの前記動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成される、請求項50に記載の装置。
【請求項５４】
前記画像予測装置が前記映像符号化装置に適用される場合、前記プロセッサは、前記併合動き情報単位集合iの識別子を映像ビットストリームに書き込むようにさらに構成される、請求項50または53に記載の装置。
【請求項５５】
現在の画像ブロックの動きベクトル2タプルを取得するステップであって、前記動きベクトル2タプルは、前記現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、前記ステップと、
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
を含み、
前記アフィン運動モデルは、
【数４】
2019013031.tif 000080
の形式であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、
前記式vx＝ax＋byにおいて、aは前記アフィン運動モデルの前記水平成分の水平座標係数であり、bは前記アフィン運動モデルの前記水平成分の垂直座標係数であり、前記式vy＝−bx＋ayにおいて、aは前記アフィン運動モデルの前記垂直成分の垂直座標係数であり、−bは前記アフィン運動モデルの前記垂直成分の水平座標係数である、
画像処理方法。
【請求項５６】
前記アフィン運動モデルは、前記アフィン運動モデルの前記水平成分の水平変位係数cおよび前記アフィン運動モデルの前記垂直成分の垂直変位係数dをさらに含み、したがって、前記アフィン運動モデルは、
【数５】
2019013031.tif 000081
の形式である、請求項55に記載の方法。
【請求項５７】
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する前記ステップは、
前記2つの画素サンプルの前記動きベクトルおよび前記2つの画素サンプルの位置を用いて前記アフィン運動モデルの前記係数の値を取得するステップと、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得するステップと、
を含む、請求項55または56に記載の方法。
【請求項５８】
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する前記ステップは、
前記2つの画素サンプル間の距離に対する前記2つの画素サンプルの前記動きベクトルの水平成分の差の比および前記2つの画素サンプル間の前記距離に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記アフィン運動モデルの前記係数の値を取得するステップと、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得するステップと、
を含む、請求項55から57のいずれか一項に記載の方法。
【請求項５９】
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する前記ステップは、
前記2つの画素サンプル間の距離に対する、または前記2つの画素サンプル間の距離の二乗に対する前記2つの画素サンプルの前記動きベクトルの成分の加重和の比を用いて前記アフィン運動モデルの前記係数の値を取得するステップと、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得するステップと、
を含む、請求項55から57のいずれか一項に記載の方法。
【請求項６０】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右側の右領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数６】
2019013031.tif 000082
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右領域内の前記画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項55から58のいずれか一項に記載の方法。
【請求項６１】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの下方の下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数７】
2019013031.tif 000083
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記下領域内の前記画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項55から58のいずれか一項に記載の方法。
【請求項６２】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数８】
2019013031.tif 000084
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx3，vy3）は、前記右下領域内の前記画素サンプルの動きベクトルであり、h1は、前記2つの画素サンプル間の垂直方向の距離であり、w1は、前記2つの画素サンプル間の水平方向の距離であり、w12＋h12は、前記2つの画素サンプル間の前記距離の二乗である、請求項55、56、57、または59のいずれか一項に記載の方法。
【請求項６３】
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する前記ステップの後に、前記方法は、
前記現在の画像ブロック内の前記任意の画素サンプルのものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の前記任意の画素サンプルに対して動き補償予測符号化を行うステップ、
をさらに含む、請求項55から62のいずれか一項に記載の方法。
【請求項６４】
前記現在の画像ブロック内の前記任意の画素サンプルの画素の予測画素値を求める前記ステップの後に、前記方法は、
前記任意の画素サンプルの画素復元値を取得するために、前記現在の画像ブロック内の前記任意の画素サンプルのものである前記動きベクトルを用いて前記任意の画素サンプルに対して動き補償復号化を行うステップ、
をさらに含む、請求項55から62のいずれか一項に記載の方法。
【請求項６５】
現在の画像ブロックの動きベクトル2タプルを取得するように構成された取得部であって、前記動きベクトル2タプルは、前記現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、取得部と、
アフィン運動モデルおよび前記取得部が取得した前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部と、
を含み、
前記アフィン運動モデルは、
【数９】
2019013031.tif 000085
の形式であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、
前記式vx＝ax＋byにおいて、aは前記アフィン運動モデルの前記水平成分の水平座標係数であり、bは前記アフィン運動モデルの前記水平成分の垂直座標係数であり、前記式vy＝−bx＋ayにおいて、aは前記アフィン運動モデルの前記垂直成分の垂直座標係数であり、−bは前記アフィン運動モデルの前記垂直成分の水平座標係数である、
画像処理装置。
【請求項６６】
前記アフィン運動モデルは、前記アフィン運動モデルの前記水平成分の水平変位係数cおよび前記アフィン運動モデルの前記垂直成分の垂直変位係数dをさらに含み、したがって、前記アフィン運動モデルは、
【数１０】
2019013031.tif 000086
の形式である、請求項65に記載の装置。
【請求項６７】
前記計算部は、
前記2つの画素サンプルの前記動きベクトルおよび前記2つの画素サンプルの位置を用いて前記アフィン運動モデルの係数の値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように特に構成されている、請求項65または66に記載の装置。
【請求項６８】
前記計算部は、
前記2つの画素サンプル間の距離に対する前記2つの画素サンプルの前記動きベクトルの水平成分の差の比および前記2つの画素サンプル間の前記距離に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記アフィン運動モデルの前記係数の前記値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように特に構成されている、請求項65から67のいずれか一項に記載の装置。
【請求項６９】
前記計算部は、
前記2つの画素サンプル間の距離に対する、または前記2つの画素サンプル間の距離の二乗に対する前記2つの画素サンプルの前記動きベクトルの成分の加重和の比を用いて前記アフィン運動モデルの前記係数の値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように特に構成されている、請求項65から67のいずれか一項に記載の装置。
【請求項７０】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右側の右領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１１】
2019013031.tif 000087
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右領域内の前記画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項65から68のいずれか一項に記載の装置。
【請求項７１】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの下方の下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１２】
2019013031.tif 000088
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記下領域内の前記画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項65から68のいずれか一項に記載の装置。
【請求項７２】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１３】
2019013031.tif 000089
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx3，vy3）は、前記右下領域内の前記画素サンプルの動きベクトルであり、h1は、前記2つの画素サンプル間の垂直方向の距離であり、w1は、前記2つの画素サンプル間の水平方向の距離であり、w12＋h12は、前記2つの画素サンプル間の前記距離の二乗である、請求項65、66、67、または69のいずれか一項に記載の装置。
【請求項７３】
前記画像処理装置が映像符号化装置に適用される場合、前記装置は、前記現在の画像ブロック内の前記任意の画素サンプルのものである、計算によって前記計算部が取得した前記動きベクトルを用いて前記現在の画像ブロック内の前記任意の画素サンプルに対して動き補償予測符号化を行うように構成された、符号化部をさらに含む、請求項65から72のいずれか一項に記載の装置。
【請求項７４】
前記画像処理装置が映像符号化装置に適用される場合、前記装置は、前記任意の画素サンプルの画素復元値を取得するために、前記現在の画像ブロック内の前記任意の画素サンプルのものである、計算によって前記計算部が取得した前記動きベクトルを用いて前記任意の画素サンプルに対して動き補償復号化を行うように構成された、復号化部をさらに含む、請求項65から72のいずれか一項に記載の装置。
【請求項７５】
プロセッサとメモリと、を含み、
前記プロセッサは、前記プロセッサが、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、前記現在の画像ブロックの動きベクトル2タプルを取得し、
アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように構成されるように、前記メモリに記憶されたコードまたは命令を呼び出し、
前記アフィン運動モデルは、
【数１４】
2019013031.tif 000090
の形式であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、
前記式vx＝ax＋byにおいて、aは前記アフィン運動モデルの前記水平成分の水平座標係数であり、bは前記アフィン運動モデルの前記水平成分の垂直座標係数であり、前記式vy＝−bx＋ayにおいて、aは前記アフィン運動モデルの前記垂直成分の垂直座標係数であり、−bは前記アフィン運動モデルの前記垂直成分の水平座標係数である、
画像処理装置。
【請求項７６】
前記アフィン運動モデルは、前記アフィン運動モデルの前記水平成分の水平変位係数cおよび前記アフィン運動モデルの前記垂直成分の垂直変位係数dをさらに含み、したがって、前記アフィン運動モデルは、
【数１５】
2019013031.tif 000091
の形式である、請求項75に記載の装置。
【請求項７７】
前記アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する局面において、前記プロセッサは、前記2つの画素サンプルの前記動きベクトルおよび前記2つの画素サンプルの位置を用いて前記アフィン運動モデルの前記係数の値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように構成される、請求項75または76に記載の装置。
【請求項７８】
前記アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する局面において、前記プロセッサは、前記2つの画素サンプル間の距離に対する前記2つの画素サンプルの前記動きベクトルの水平成分の差の比および前記2つの画素サンプル間の前記距離に対する前記2つの画素サンプルの前記動きベクトルの垂直成分の差の比を用いて前記アフィン運動モデルの前記係数の値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように構成される、請求項75から77のいずれか一項に記載の装置。
【請求項７９】
前記アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する局面において、前記プロセッサは、前記2つの画素サンプル間の距離に対する、または前記2つの画素サンプル間の距離の二乗に対する前記2つの画素サンプルの前記動きベクトルの成分の加重和の比を用いて前記アフィン運動モデルの前記係数の値を取得し、
前記アフィン運動モデルおよび前記アフィン運動モデルの前記係数の前記値を用いて前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得する、
ように構成される、請求項75から77のいずれか一項に記載の装置。
【請求項８０】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右側の右領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１６】
2019013031.tif 000092
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右領域内の前記画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項75から78のいずれか一項に記載の装置。
【請求項８１】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの下方の下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１７】
2019013031.tif 000093
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記下領域内の前記画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項75から78のいずれか一項に記載の装置。
【請求項８２】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、前記アフィン運動モデルは、具体的には、
【数１８】
2019013031.tif 000094
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx3，vy3）は、前記右下領域内の前記画素サンプルの動きベクトルであり、h1は、前記2つの画素サンプル間の垂直方向の距離であり、w1は、前記2つの画素サンプル間の水平方向の距離であり、w12＋h12は、前記2つの画素サンプル間の前記距離の二乗である、請求項75、76、77、または79のいずれか一項に記載の装置。
【請求項８３】
前記画像処理装置が映像符号化装置に適用される場合、前記プロセッサは、前記アフィン運動モデルおよび前記動きベクトル2タプルを用いて計算によって前記現在の画像ブロック内の前記任意の画素サンプルの前記動きベクトルを取得した後で、前記現在の画像ブロック内の前記任意の画素サンプルのものである、計算によって取得した前記動きベクトルを用いて前記現在の画像ブロック内の前記任意の画素サンプルに対して動き補償予測符号化を行う、ようにさらに構成される、請求項75から82のいずれか一項に記載の装置。
【請求項８４】
前記画像処理装置が映像復号化装置に適用される場合、前記プロセッサは、前記現在の画像ブロック内の前記任意の画素サンプルの画素の予測画素値を求めた後で、前記現在の画像ブロック内の前記任意の画素サンプルのものである、計算によって取得した前記動きベクトルを用いて前記任意の画素サンプルに対して動き補償復号化を行い、前記任意の画素サンプル画素復元値を取得する、ようにさらに構成される、請求項75から82のいずれか一項に記載の装置。
【請求項８５】
アフィン運動モデルの係数を取得し、前記アフィン運動モデルの前記係数および前記アフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
前記任意の画素サンプルのものである、計算によって取得した前記動きベクトルを用いて前記任意の画素サンプルの画素の予測画素値を求めるステップと、
を含み、
前記アフィン運動モデルは、
【数１９】
2019013031.tif 000095
の形式であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、
前記式vx＝ax＋byにおいて、aは前記アフィン運動モデルの前記水平成分の水平座標係数であり、bは前記アフィン運動モデルの前記水平成分の垂直座標係数であり、前記式vy＝−bx＋ayにおいて、aは前記アフィン運動モデルの前記垂直成分の垂直座標係数であり、−bは前記アフィン運動モデルの前記垂直成分の水平座標係数であり、前記アフィン運動モデルの前記係数はaおよびbを含み、
前記アフィン運動モデルの前記係数は、前記アフィン運動モデルの前記水平成分の水平変位係数cおよび前記アフィン運動モデルの前記垂直成分の垂直変位係数dをさらに含み、したがって、前記アフィン運動モデルは、
【数２０】
2019013031.tif 000096
の形式である、
画像処理方法。
【請求項８６】
アフィン運動モデルの係数を取得するように構成された、取得部と、
前記取得部が取得した前記アフィン運動モデルの前記係数および前記アフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部と、
前記任意の画素サンプルのものである、計算によって前記計算部が取得した前記動きベクトルを用いて前記任意の画素サンプルの画素の予測画素値を求めるように構成された、予測部と、
を含み、
前記アフィン運動モデルは、
【数２１】
2019013031.tif 000097
の形式であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、
前記式vx＝ax＋byにおいて、aは前記アフィン運動モデルの前記水平成分の水平座標係数であり、bは前記アフィン運動モデルの前記水平成分の垂直座標係数であり、前記式vy＝−bx＋ayにおいて、aは前記アフィン運動モデルの前記垂直成分の垂直座標係数であり、−bは前記アフィン運動モデルの前記垂直成分の水平座標係数であり、前記アフィン運動モデルの前記係数はaおよびbを含み、
前記アフィン運動モデルの前記係数は、前記アフィン運動モデルの前記水平成分の水平変位係数cおよび前記アフィン運動モデルの前記垂直成分の垂直変位係数dをさらに含み、したがって、前記アフィン運動モデルは、
【数２２】
2019013031.tif 000098
の形式である、
画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化／復号化の分野に関し、特に画像予測方法および関連装置に関する。
【背景技術】
【０００２】
光電取得技術が発展し、高精細デジタル映像の要件が増加するのに伴い、映像データの量が大きくなってきている。異種伝送帯域幅には限りがあり、映像アプリケーションは多様化しているために、映像符号化効率には絶えずより高い要件が課されている。こうした要件に従って、高効率映像符号化（high efficiency video coding、略称：HEVC）規格の開発が開始されている。
【０００３】
映像圧縮符号化の基本原理は、空間領域と時間領域と符号語との相関を用いて冗長性を可能な限り除去することである。現在、広く行われている手法は、ブロックベースのハイブリッド映像符号化フレームワークを用いて、予測（フレーム内予測およびフレーム間予測を含む）、変換、量子化、エントロピー符号化などのステップを行うことによって映像圧縮符号化を実行するものである。この符号化フレームワークは高い実行可能性を示し、したがって、HEVCでは依然としてこのブロックベースのハイブリッド映像符号化フレームワークを用いている。
【０００４】
様々な映像符号化／復号化の解決策において、動き推定または動き補償は、符号化／復号化効率に影響を及ぼす重要な技術である。様々な従来の映像符号化／復号化の解決策では、オブジェクトの動きは常に並進運動であり、オブジェクト全体のすべての部分の動きは同じであるとものと仮定する。基本的に、すべての従来の動き推定または動き補償のアルゴリズムは、並進運動モデル（translational motion model）に基づいて確立されたブロック動き補償アルゴリズムである。しかし、現実世界の動きは多様であり、拡大／縮小、回転、放物運動などの不規則運動がいたるところで見られる。1990年代から、映像符号化の専門家らは不規則運動の普遍性に気付いており、映像符号化効率を高めるために不規則運動きモデル（例えば、アフィン運動モデル）を導入したいと考えてきた。しかし、アフィン運動モデルに基づいて行われる従来の画像予測の計算複雑性は、通常きわめて高い。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態は、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させる画像予測方法および関連装置を提供する。
【０００６】
第1の態様によれば、本発明は画像予測方法を提供し、本画像予測方法は、
現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するステップであって、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、ステップと、
2つの動き情報単位を含む併合動き情報単位集合iを決定するステップであって、
併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、ステップと、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップと、
を含む。
【０００７】
第1の態様に関連して、第1の態様の第1の可能な実施態様において、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップは、
N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップであって、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む、ステップ、
を含む。
【０００８】
第1の態様の第1の可能な実施態様に関連して、第1の態様の第2の可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含み、
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なり、
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。
【０００９】
第1の態様、または第1の態様の第1から第2の可能な実施態様のいずれか1つに関連して、第1の態様の第3の可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【００１０】
第1の態様の第3の可能な実施態様に関連して、第1の態様の第4の可能な実施態様において、
現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００１１】
第1の態様の第3または第4の可能な実施態様に関連して、第1の態様の第5の可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００１２】
第1の態様の第3から第5の可能な実施態様のいずれか1つに関連して、第1の態様の第6の可能な実施態様において、
現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００１３】
第1の態様の第3から第6の可能な実施態様のいずれか1つに関連して、第1の態様の第7の可能な実施態様において、
現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2であり、
現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【００１４】
第1の態様、または第1の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第1の態様の第8の可能な実施態様において、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップであって、第1の予測方向は順方向もしくは逆方向である、ステップ、を含み、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップ、を含む。
【００１５】
第1の態様、または第1の態様の第1から第8の可能な実施態様のいずれか1つに関連して、第1の態様の第9の可能な実施態様において、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、
アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求めるステップ、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求めるステップ、
を含む。
【００１６】
第1の態様、または第1の態様の第1から第9の可能な実施態様のいずれか1つに関連して、第1の態様の第10の可能な実施態様において、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップ、であって、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される、ステップ、を含む。
【００１７】
第1の態様の第10の可能な態様に関連して、第1の態様の第11の可能な実施態様において、
2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【００１８】
第1の態様、または第1の態様の第1から第11の可能な実施態様のいずれか1つに関連して、第1の態様の第12の可能な実施態様において、
アフィン運動モデルは、
【数１】
2019013031.tif 000003
の形式であり、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【００１９】
第1の態様、または第1の態様の第1から第12の可能な実施態様のいずれか1つに関連して、第1の態様の第13の可能な実施態様において、
画像予測方法は映像符号化プロセスに適用され、または画像予測方法は映像復号化プロセスに適用される。
【００２０】
第1の態様の第13の可能な実施態様に関連して、第1の態様の第14の可能な実施態様において、本画像予測方法が映像復号化プロセスに適用される場合、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップは、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップ、を含む。
【００２１】
第1の態様の第13の可能な実施態様または第1の態様の第14の可能な実施態様に関連して、第1の態様の第15の可能な実施態様において、本画像予測方法が映像復号化プロセスに適用される場合、本方法は、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化するステップと、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得するステップと、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得するステップと、をさらに含む。
【００２２】
第1の態様の第13の可能な実施態様に関連して、第1の態様の第16の可能な実施態様において、本画像予測方法が映像符号化プロセスに適用される場合、本方法は、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得するステップと、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得するステップと、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込むステップと、をさらに含む。
【００２３】
第1の態様の第13の可能な実施態様または第1の態様の第16の可能な実施態様に関連して、第1の態様の第17の可能な実施態様において、本画像予測方法が映像符号化プロセスに適用される場合、本方法は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むステップ、をさらに含む。
【００２４】
第2の態様によれば、本発明の一実施形態は画像予測装置を提供し、本画像予測装置は、
現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するように構成された第1の決定部であって、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、第1の決定部と、
2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成された第2の決定部であって、
併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、第2の決定部と、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するように構成された、予測部と、
を含む。
【００２５】
第2の態様に関連して、第2の態様の第1の可能な実施態様において、第2の決定部は、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように特に構成されており、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【００２６】
第2の態様の第1の可能な実施態様に関連して、第2の態様の第2の可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含み、
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なり、
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が垂直成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。
【００２７】
第2の態様、または第2の態様の第1から第2の可能な実施態様のいずれか1つに関連して、第2の態様の第3の可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【００２８】
第2の態様の第3の可能な実施態様に関連して、第2の態様の第4の可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００２９】
第2の態様の第3または第4の可能な実施態様に関連して、第2の態様の第5の可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００３０】
第2の態様の第3から第5の可能な実施態様のいずれか1つに関連して、第2の態様の第6の可能な実施態様において、
現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００３１】
第2の態様の第3から第6の可能な実施態様のいずれか1つに関連して、第2の態様の第7の可能な実施態様において、
現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2であり、
現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【００３２】
第2の態様、または第2の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第2の態様の第8の可能な実施態様において、
予測部は、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するように特に構成されており、第1の予測方向は順方向もしくは逆方向であり、または
予測部は、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように特に構成されている。
【００３３】
第2の態様、または第2の態様の第1から第8の可能な実施態様のいずれか1つに関連して、第2の態様の第9の可能な実施態様において、
予測部は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求める、ように特に構成されており、または
予測部は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように特に構成されている。
【００３４】
第2の態様、または第2の態様の第1から第9の可能な実施態様のいずれか1つに関連して、第2の態様の第10の可能な実施態様において、
予測部は、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように特に構成されており、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される。
【００３５】
第2の態様の第10の可能な実施態様に関連して、第2の態様の第11の可能な実施態様において、2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【００３６】
第2の態様、または第2の態様の第1から第11の可能な実施態様のいずれか1つに関連して、第2の態様の第12の可能な実施態様において、
アフィン運動モデルは、
【数２】
2019013031.tif 000004
の形式であり、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【００３７】
第2の態様、または第2の態様の第1から第12の可能な実施態様のいずれか1つに関連して、第2の態様の第13の可能な実施態様において、
本画像予測装置は映像符号化装置に適用され、または本画像予測装置は映像復号化装置に適用される。
【００３８】
第2の態様の第13の可能な実施態様に関連して、第2の態様の第14の可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、第2の決定部は、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように特に構成されている。
【００３９】
第2の態様の第13の可能な実施態様または第2の態様の第14の可能な実施態様に関連して、第2の態様の第15の可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、
本装置は、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得する、ように構成された、復号化部、をさらに含む。
【００４０】
第2の態様の第13の可能な実施態様に関連して、第2の態様の第16の可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、予測部は、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得し、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成されている。
【００４１】
第2の態様の第13の可能な実施態様または第2の態様の第16の可能な実施態様に関連して、第2の態様の第17の可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、本装置は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むように構成された、符号化部をさらに含む。
【００４２】
第3の態様によれば、本発明の一実施形態は画像予測装置を提供し、本画像予測装置は、
プロセッサとメモリと、を含み、
プロセッサは、プロセッサが、現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定し、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含み、2つの動き情報単位を含む併合動き情報単位集合iであって、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、併合動き情報単位集合iを決定し、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成されるように、メモリに記憶されたコードまたは命令を呼び出す。
【００４３】
第3の態様に関連して、第3の態様の第1の可能な実施態様において、2つの動き情報単位を含む併合動き情報単位集合iを決定する局面において、プロセッサは、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成され、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【００４４】
第3の態様の第1の可能な実施態様に関連して、第3の態様の第2の可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含み、
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なり、
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。
【００４５】
第3の態様、または第3の態様の第1から第2の可能な実施態様のいずれか1つに関連して、第3の態様の第3の可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【００４６】
第3の態様の第3の可能な実施態様に関連して、第3の態様の第4の可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００４７】
第3の態様の第3または第4の可能な実施態様に関連して、第3の態様の第5の可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００４８】
第3の態様の第3から第5の可能な実施態様のいずれか1つに関連して、第3の態様の第6の可能な実施態様において、
現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【００４９】
第3の態様の第3から第6の可能な実施態様のいずれか1つに関連して、第3の態様の第7の可能な実施態様において、
現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2であり、
現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【００５０】
第3の態様、または第3の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第3の態様の第8の可能な実施態様において、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサは、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成され、第1の予測方向は順方向もしくは逆方向であり、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサは、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成される。
【００５１】
第3の態様、または第3の態様の第1から第8の可能な実施態様のいずれか1つに関連して、第3の態様の第9の可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサは、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求める、ように構成され、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサは、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように構成される。
【００５２】
第3の態様、または第3の態様の第1から第9の可能な実施態様のいずれか1つに関連して、第3の態様の第10の可能な実施態様において、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサは、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成され、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される。
【００５３】
第3の態様の第10の可能な実施態様に関連して、第3の態様の第11の可能な実施態様において、
2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【００５４】
第3の態様、または第3の態様の第1から第11の可能な実施態様のいずれか1つに関連して、第3の態様の第12の可能な実施態様において、
アフィン運動モデルは、
【数３】
2019013031.tif 000005
の形式であり、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【００５５】
第3の態様、または第3の態様の第1から第12の可能な実施態様のいずれか1つに関連して、第3の態様の第13の可能な実施態様において、
本画像予測装置は映像符号化装置に適用され、または本画像予測装置は映像復号化装置に適用される。
【００５６】
第3の態様の第13の可能な実施態様に関連して、第3の態様の第14の可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、2つの動き情報単位を含む併合動き情報単位集合iを決定する局面において、プロセッサは、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成される。
【００５７】
第3の態様の第13の可能な実施態様または第3の態様の第14の可能な実施態様に関連して、第3の態様の第15の可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、プロセッサは、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得する、ようにさらに構成される。
【００５８】
第3の態様の第13の可能な実施態様に関連して、第3の態様の第16の可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、プロセッサは、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得し、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成される。
【００５９】
第3の態様の第13の可能な実施態様または第3の態様の第16の可能な実施態様に関連して、第3の態様の第17の可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、プロセッサは、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むようにさらに構成される。
【００６０】
第4の態様によれば、本発明の一実施形態は画像処理方法を提供し、本画像処理方法は、
現在の画像ブロックの動きベクトル2タプルを取得するステップであって、動きベクトル2タプルは、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、ステップと、
アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
を含み、
アフィン運動モデルは、
【数４】
2019013031.tif 000006
の形式であり、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【００６１】
第4の態様に関連して、第4の態様の第1の可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数５】
2019013031.tif 000007
の形式である。
【００６２】
第4の態様、または第4の態様の第1の可能な実施態様に関連して、第4の態様の第2の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、
2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得するステップと、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
を含む。
【００６３】
第4の態様、または第4の態様の第1もしくは第2の可能な実施態様に関連して、第4の態様の第3の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、
2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得するステップと、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと。
【００６４】
第4の態様、または第4の態様の第1もしくは第2の可能な実施態様に関連して、第4の態様の第4の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、
2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得するステップと、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
を含む。
【００６５】
第4の態様、または第4の態様の第1から第3の可能な実施態様のいずれか1つに関連して、第4の態様の第5の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６】
2019013031.tif 000008
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離である。
【００６６】
第4の態様、または第4の態様の第1から第3の可能な実施態様のいずれか1つ関連して、第4の態様の第6の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数７】
2019013031.tif 000009
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離である。
【００６７】
第4の態様、または第4の態様の第1、第2、もしくは第4の可能な実施態様のいずれか1つに関連して、第4の態様の第7の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数８】
2019013031.tif 000010
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【００６８】
第4の態様、または第4の態様の第1から第7の可能な実施態様のいずれか1つ関連して、第4の態様の第8の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップの後に、本方法は、
現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行うステップ、
をさらに含む。
【００６９】
第4の態様、または第4の態様の第1から第7の可能な実施態様のいずれか1つ関連して、第4の態様の第9の可能な実施態様において、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めるステップの後に、本方法は、
現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプルの画素復元値を取得するステップ、
をさらに含む。
【００７０】
第5の態様によれば、本発明の一実施形態は画像処理装置を提供し、本画像処理装置は、
現在の画像ブロックの動きベクトル2タプルを取得する取得部であって、動きベクトル2タプルは、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、取得部と、
アフィン運動モデルおよび取得部が取得した動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部と、
を含み、
アフィン運動モデルは、
【数９】
2019013031.tif 000011
の形式であり、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【００７１】
第5の態様に関連して、第5の態様の第1の可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数１０】
2019013031.tif 000012
の形式である。
【００７２】
第5の態様、または第5の態様の第1の可能な実施態様に関連して、第5の態様の第2の可能な実施態様において、計算部は、
2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように特に構成されている。
【００７３】
第5の態様、または第5の態様の第1もしくは第2の可能な実施態様に関連して、第5の態様の第3の可能な実施態様において、計算部は、
2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように特に構成されている。
【００７４】
第5の態様、または第5の態様の第1もしくは第2の可能な実施態様に関連して、第5の態様の第4の可能な実施態様において、計算部は、
2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように特に構成されている。
【００７５】
第5の態様、または第5の態様の第1から第3の可能な実施態様のいずれか1つに関連して、第5の態様の第5の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１１】
2019013031.tif 000013
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離である。
【００７６】
第5の態様、または第5の態様の第1から第3の可能な実施態様のいずれか1つに関連して、第5の態様の第6の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１２】
2019013031.tif 000014
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離である。
【００７７】
第5の態様、または第5の態様の第1、第2、もしくは第4の可能な実施態様のいずれか1つに関連して、第5の態様の第7の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１３】
2019013031.tif 000015
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【００７８】
第5の態様、または第5の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第5の態様の第8の可能な実施態様において、本画像処理装置が映像符号化装置に適用される場合、本装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって計算部が取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行うように構成された、符号化部をさらに含む。
【００７９】
第5の態様、または第5の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第5の態様の第9の可能な実施態様において、本画像処理装置が映像符号化装置に適用される場合、本装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって計算部が取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプルの画素復元値を取得するように構成された、復号化部をさらに含む。
【００８０】
第6の態様によれば、本発明の一実施形態は画像処理装置を提供し、本画像処理装置は、
プロセッサとメモリと、を含み、
プロセッサは、プロセッサが、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、現在の画像ブロックの動きベクトル2タプルを取得し、
アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように構成されるように、メモリに記憶されたコードまたは命令を呼び出し、
アフィン運動モデルは、
【数１４】
2019013031.tif 000016
の形式であり、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【００８１】
第6の態様に関連して、第6の態様の第1の可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数１５】
2019013031.tif 000017
の形式である。
【００８２】
第6の態様または第6の態様の第1の可能な実施態様に関連して、第6の態様の第2の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサは、2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように構成される。
【００８３】
第6の態様、または第6の態様の第1もしくは第2の可能な実施態様に関連して、第6の態様の第3の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサは、2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように構成される。
【００８４】
第6の態様、または第6の態様の第1もしくは第2の可能な実施態様に関連して、第6の態様の第4の可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサは、2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得し、
アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように構成される。
【００８５】
第6の態様、または第6の態様の第1から第3の可能な実施態様のいずれか1つに関連して、第6の態様の第5の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１６】
2019013031.tif 000018
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離である。
【００８６】
第6の態様、または第6の態様の第1から第3の可能な実施態様のいずれか1つに関連して、第6の態様の第6の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１７】
2019013031.tif 000019
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離である。
【００８７】
第6の態様、または第6の態様の第1、第2、もしくは第4の可能な実施態様のいずれか1つに関連して、第6の態様の第7の可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数１８】
2019013031.tif 000020
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【００８８】
第6の態様、または第6の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第6の態様の第8の可能な実施態様において、本画像処理装置が映像符号化装置に適用される場合、プロセッサは、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得した後で、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行う、ようにさらに構成される。
【００８９】
第6の態様、または第6の態様の第1から第7の可能な実施態様のいずれか1つに関連して、第6の態様の第9の可能な実施態様において、プロセッサは、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めた後で、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプルの画素復元値を取得する、ようにさらに構成される。
【００９０】
第7の態様によれば、本発明の一実施形態は画像処理方法を提供し、本画像処理方法は、
アフィン運動モデルの係数を取得し、アフィン運動モデルの係数およびアフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、
任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルの画素の予測画素値を求めるステップと、
を含み、
アフィン運動モデルは、
【数１９】
2019013031.tif 000021
の形式であり、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数であり、アフィン運動モデルの係数はaおよびbを含み、
アフィン運動モデルの係数は、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数２０】
2019013031.tif 000022
の形式である。
【００９１】
第8の態様によれば、本発明の一実施形態は画像処理装置を提供し、本画像処理装置は、
アフィン運動モデルの係数を取得するように構成された、取得部と、
取得部が取得したアフィン運動モデルの係数およびアフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部と、
任意の画素サンプルのものである、計算によって計算部が取得した動きベクトルを用いて任意の画素サンプルの画素の予測画素値を求めるように構成された、予測部と、
を含み、
アフィン運動モデルは、
【数２１】
2019013031.tif 000023
の形式であり、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数であり、アフィン運動モデルの係数はaおよびbを含み、
アフィン運動モデルの係数は、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数２２】
2019013031.tif 000024
の形式である。
【００９２】
本発明のいくつかの実施形態で提供される技術的解決策においては、現在の画像ブロックの画素値が、アフィン運動モデルおよび併合動き情報単位集合iを用いて予測され、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルに対応するすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。加えて、参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、符号器によって送られるアフィンパラメータ情報や動きベクトルの差の数などを低減させるのにも役立つ。
【００９３】
本発明の実施形態における技術的解決策をより明確に説明するために、以下で、それらの実施形態および先行技術を説明するのに必要な添付の図面について簡単に述べる。明らかに、以下の説明の添付の図面は本発明のいくつかの実施形態を示しているにすぎず、当業者はこれら添付の図面から難なく他の図面をさらに導出することができる。
【図面の簡単な説明】
【００９４】
【図１−ａ】本発明の一実施形態によるいくつかの画像ブロック分割モードの概略図である。
【図１−ｂ】本発明の一実施形態によるいくつかの画像ブロック分割モードの概略図である。
【図１−ｃ】本発明の一実施形態による画像予測方法の概略流れ図である。
【図１−ｄ】本発明の一実施形態による画像ブロックの概略図である。
【図２−ａ】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図２−ｂ】本発明の一実施形態による画素サンプルに対応する候補動き情報単位集合を決定するための方法の概略図である。
【図２−ｃ】本発明の一実施形態による画素サンプルに対応する候補動き情報単位集合を決定するための方法の概略図である。
【図２−ｄ】本発明の一実施形態による画素サンプルに対応する候補動き情報単位集合を決定するための方法の概略図である。
【図２−ｅ】本発明の一実施形態による画像ブロックxの頂点座標の概略図である。
【図２−ｆ】本発明の一実施形態による画素のアフィン運動の概略図である。
【図２−ｇ】本発明の一実施形態による画素のアフィン運動の概略図である。
【図２−ｈ】本発明の一実施形態による画素の回転運動の概略図である。
【図２−ｉ】本発明の一実施形態による画素の回転運動の概略図である。
【図３】本発明の一実施形態による別の画像予測方法の概略流れ図である。
【図４】本発明の一実施形態による画像予測装置の概略図である。
【図５】本発明の一実施形態による別の画像予測装置の概略図である。
【図６】本発明の一実施形態による画像処理方法の概略流れ図である。
【図７】本発明の一実施形態による別の画像処理方法の概略流れ図である。
【図８】本発明の一実施形態による別の画像処理方法の概略流れ図である。
【図９】本発明の一実施形態による画像処理装置の概略図である。
【図１０】本発明の一実施形態による別の画像処理装置の概略図である。
【図１１】本発明の一実施形態による別の画像処理方法の概略流れ図である。
【図１２】本発明の一実施形態による画像処理装置の概略図である。
【図１３】本発明の一実施形態による別の画像処理装置の概略図である。
【発明を実施するための形態】
【００９５】
本発明の実施形態は、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させる画像予測方法および関連装置を提供する。
【００９６】
本発明の目的、特徴、および利点をより明確でより分かりやすくするために、以下で、本発明の実施形態における添付の図面に関連して本発明の実施形態における技術的解決策を明確に説明する。明らかに、以下で説明される実施形態は本発明の実施形態の全部ではなく一部にすぎない。本発明の実施形態に基づいて当業者によって難なく得られる他のすべての実施形態は、本発明の保護範囲内に含まれるものとする。
【００９７】
本発明の明細書、特許請求の範囲および添付の図面において、「第1」、「第2」、「第3」、「第4」などの用語は、異なる対象を区別するためのものであり、特定の順序を示すものではない。加えて、「including」、「including」、またはその任意の他の変形は、非排他的包含を対象として含むものであることが意図されている。例えば、一連のステップもしくはユニットを含むプロセス、方法、システム、製品、もしくは装置は、記載されたステップもしくはユニットだけに限定されず、任意選択で、記載されていないステップもしくはユニットをさらに含み、または任意選択で、プロセス、方法、製品、もしくはデバイスの別の固有のステップもしくはユニットをさらに含む。
【００９８】
以下ではまず、本発明の実施形態で用いられるいくつかの概念について説明する。
【００９９】
ほとんどの符号化フレームワークにおいて、ビデオシーケンスは一連の画像（picture）を含み、各画像はスライス（slice）にさらに分割され、sliceはブロック（block）にさらに分割される。映像符号化とは、ブロックを単位に用いて、pictureの左上隅位置から開始して、1行ずつ、左から右、上から下へ符号化処理を行うことである。いくつかの新しい映像符号化規格では、blockの概念がさらに拡張されている。マクロブロック（macroblock、略称：MB）は、H．264規格で定義されており、MBは、予測符号化に用いることができる複数の予測ブロック（partition）にさらに分割されてよい。HEVC規格では、符号化単位（coding unit、略称：CU）、予測単位（prediction unit、略称：PU）、変換単位（transform unit、略称：TU）などの基本概念が用いられ、複数のUnitが機能に従って分類され、完全に新しい木構造が記述に用いられる。例えば、CUは4分木に従ってより小さいCUに分割され、より小さいCUは4分木構造を形成するようにさらに分割される。PUおよびTUも同様の木構造を有する。ユニットは、そのユニットがCU、PU、またはTUのいずれであるかにかかわらず、本質的にブロックblockの概念に属する。CUは、マクロブロックMBまたは符号化ブロックに類似しており、符号化画像を分割し、符号化するための基本単位である。PUは、予測ブロックに対応していてよく、予測符号化のための基本単位である。CUは、分割モードに従って複数のPUにさらに分割される。TUは、変換ブロックに対応していてよく、予測残差を変換するための基本単位である。高効率映像符号化（high efficiency video coding、略称：HEVC）規格では、これらを符号化ツリーブロック（coding tree block、略称：CTB）などと総称することがある。
【０１００】
HEVC規格では、符号化単位のサイズには、64×64、32×32、16×16、8×8の4つのレベルが含まれる。各レベルの符号化単位は、フレーム内予測およびフレーム間予測に従って異なるサイズの予測単位に分割される。例えば、図1−aおよび図1−bに示すように、図1−aにはフレーム内予測に対応する予測単位分割モードが例示されている。図1−bには、フレーム間予測に対応するいくつかの予測単位分割モードが例示されている。
【０１０１】
映像符号化技術の開発および進化のプロセスにおいて、映像符号化の専門家らは、符号化効率を向上させようとして、隣接する符号化／復号化ブロック間の時間的、空間的相関を用いる様々な方法を考察する。H264または高度映像符号化（advanced video coding、略称：AVC）規格では、スキップモード（skip mode）およびダイレクトモード（direct mode）が符号化効率を向上させる有効なツールになる。ビット速度が低いときに用いられるこれら2つの符号化モードのブロックは、全符号化シーケンスの半分以上を占めることができる。スキップモードを使用する場合には、ビットストリームにスキップ・モード・フラグを付加するだけで隣接する動きベクトルを用いて現在の画像ブロックの動きベクトルを導出することができ、参照ブロックの値が現在の画像ブロックの復元値として動きベクトルに従って直接コピーされる。加えて、ダイレクトモードを使用する場合には、符号器が、隣接する動きベクトルを用いて現在の画像ブロックの動きベクトルを導出し、現在の画像ブロックの予測値として動きベクトルに従って参照ブロックの値を直接コピーし、符号器における予測値を用いて現在の画像ブロックに対して予測符号化を行うことができる。最新の高効率映像符号化（high efficiency video coding、略称：HEVC）規格では、映像符号化効率をさらに向上させるためのいくつかの新しい符号化ツールが導入されている。併合符号化（merge）モードおよび高度動きベクトル予測（advanced motion vector prediction、略称：AMVP）モードが2つの重要なフレーム間予測ツールである。併合符号化（merge）モードでは、現在の符号化ブロックの近くにある符号化されたブロックの動き情報（動きベクトル（motion vector、略称：MV）、予測方向、参照フレームインデックスなどを含む）が候補動き情報集合を構築するのに用いられ、比較によって、最高の符号化効率を有する候補動き情報が現在の符号化ブロックの動き情報として選択され、参照フレームから現在の符号化ブロックの予測値が見つけられ、現在の符号化ブロックに対して予測符号化が行われ、同時に、どの隣接する符号化されたブロックからその動き情報が選択されたかを指示するインデックス値がビットストリームに書き込まれる。高度動きベクトル予測モードを用いる場合には、隣接する符号化されたブロックの動きベクトルが、現在の符号化ブロックの動きベクトル予測子として用いられる。最高の符号化効率を有する動きベクトルが選択され、現在の符号化ブロックの動きベクトルを予測するのに使用され、どの隣接する動きベクトルが選択されたかを指示するインデックス値が映像ビットストリームに書き込まれる。
【０１０２】
以下で引き続き本発明の実施形態の技術的解決策について論じる。
【０１０３】
以下ではまず、本発明の一実施形態で提供される画像予測方法について説明する。本発明の本実施形態で提供される画像予測方法は、映像符号化装置または映像復号化装置によって行われる。映像符号化装置または映像復号化装置は、映像を出力または記憶する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話、ビデオサーバといった機器であってよい。
【０１０４】
本発明による画像予測方法の一実施形態において、画像予測方法は、現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するステップであって、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、ステップと、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップであって、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、ステップと、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップと、を含む。
【０１０５】
図1−cを参照すると、図1−cは、本発明の一実施形態による画像予測方法の概略流れ図である。図1−cに例示するように、本発明の一実施形態で提供される画像予測方法は以下のステップを含む。
【０１０６】
S101．現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する。
【０１０７】
各画素サンプルに対応する候補動き情報単位集合は、少なくとも1つの候補動き情報単位を含む。
【０１０８】
本発明の各実施形態で言及される画素サンプルは、少なくとも2つの画素を含む画素または画素ブロックであってよい。
【０１０９】
本発明の各実施形態で言及される動き情報単位は、その予測方向が順方向である動きベクトルおよび／または予測方向が逆方向である動きベクトルを含んでいてよい。すなわち、1つの動き情報単位は、1つの動きベクトルを含んでいてもよく、または異なる予測方向を有する2つの動きベクトルを含んでいてもよい。
【０１１０】
動き情報単位に対応する予測方向が順方向である場合、それは、動き情報単位はその予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まないことを示す。動き情報単位に対応する予測方向が逆方向である場合、それは、動き情報単位はその予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まないことを示す。動き情報単位に対応する予測方向が単方向である場合、それは、動き情報単位はその予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まないことを示し、または動き情報単位はその予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まないことを示す。動き情報単位に対応する予測方向が双方向である場合、それは、動き情報単位はその予測方向が順方向である動きベクトルおよびその予測方向が逆方向である動きベクトルを含むことを示す。
【０１１１】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含む。現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【０１１２】
画素サンプルが画素ブロックである場合、画素ブロックのサイズは、例えば、2＊2、1＊2、4＊2、4＊4、または別のサイズである。画像ブロックは、複数の画素ブロックを含んでいてよい。
【０１１３】
w＊wサイズの画像ブロックについて、wが奇数である（例えば、wは3、5、7、または11である）場合には、画像ブロックの中心画素は一意であり、wが偶数である（例えば、wが4、6、8または16である）場合、画像ブロックには複数の中心画素があり、画像ブロックの中心画素サンプルは、画像ブロック内の任意の中心画素もしくは指定された中心画素であってもよく、または画像ブロックの中心画素サンプルは、画像ブロック内の、任意の中心画素を含む画素ブロックであってもよく、または画像ブロックの中心画素サンプルは、画像ブロック内の、指定された中心画素を含む画素ブロックであってもよいことに留意すべきである。例えば、図1−dには4＊4サイズの画像ブロックが例示されており、画像ブロックの中心画素は、A1、A2、A3、およびA4の4つの画素を含む。この場合、指定された中心画素は、画素A1（左上の中心画素）、画素A2（左下の中心画素）、画素A3（右上の中心画素）、または画素A4（右下の中心の画素）であってよい。他の場合についても同様に推論することができる。
【０１１４】
S102．2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０１１５】
併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択される。動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む。
【０１１６】
例えば、2つの画素サンプルは、画素サンプル001および画素サンプル002と含むものと仮定する。画素サンプル001に対応する候補動き情報単位集合は候補動き情報単位集合011である。画素サンプル002に対応する候補動き情報単位集合は候補動き情報単位集合022である。併合動き情報単位集合iは、動き情報単位C01および動き情報単位C02を含む。動き情報単位C01は候補動き情報単位集合011の中から選択することができ、動き情報単位C02は候補動き情報単位集合022の中から選択することができ、以下同様である。
【０１１７】
理解されるように、併合動き情報単位集合iは動き情報単位C01および動き情報単位C02を含み、動き情報単位C01と動き情報単位C02のどちらかが、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含むものと仮定すると、併合動き情報単位集合iは2つの動きベクトルを含む（2つの動きベクトルに対応する予測方向は順方向もしくは逆方向であり、または2つの動きベクトルは、その予測方向が順方向である1つの動きベクトルおよびその予測方向が逆方向である1つの動きベクトルを含み、または4つの動きベクトルを含み（4つの動きベクトルは、その予測方向が順方向である2つの動きベクトルおよびその予測方向が逆方向である2つの動きベクトルを含み）、または3つの動きベクトルを含む（3つの動きベクトルも、その予測方向が順方向である1つの動きベクトルおよびその予測方向が逆方向である2つの動きベクトルを含み、またはその予測方向が順方向である2つの動きベクトルおよびその予測方向が逆方向である1つの動きベクトルを含む）。
【０１１８】
S103．アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する。
【０１１９】
現在の画像ブロックは、現在の符号化ブロックまたは現在の復号化ブロックであってよい。
【０１２０】
本実施形態の技術的解決策では、現在の画像ブロックの画素値がアフィン運動モデルおよび併合動き情報単位集合iを用いて予測され、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルのすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。加えて、参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、符号器によって送られるアフィンパラメータ情報や動きベクトルの差の数などを低減させるのにも役立つ。
【０１２１】
本実施形態で提供される画像予測方法は、映像符号化プロセスに適用されてもよく、映像復号化プロセスに適用されてもよい。
【０１２２】
実際の応用において、2つの動き情報単位を含む併合動き情報単位集合iは様々な方法で決定されてよい。
【０１２３】
任意選択で、本発明のいくつかの可能な実施態様において、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップは、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップであって、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む、ステップ、を含む。
【０１２４】
2つの候補併合動き情報単位集合が異なることは、候補併合動き情報単位集合に含まれる動き情報単位が完全に同じではないことを意味しうる。
【０１２５】
2つの動き情報単位が異なることは、2つの動き情報単位に含まれる動きベクトルが異なること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が異なること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが異なることを意味しうる。2つの動き情報単位が同じであることは、2つの動き情報単位に含まれる動きベクトルが同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが同じであることを意味しうる。
【０１２６】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測方法が映像復号化プロセスに適用される場合、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップは、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップ、を含んでいてよい。
【０１２７】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測方法が映像符号化プロセスに適用される場合、本方法は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むステップ、をさらに含んでいてよい。併合動き情報単位集合iの識別子は、併合動き情報単位集合iを識別することができる任意の情報であってよい。例えば、併合動き情報単位集合iの識別子は、併合動き情報単位集合リストにおける併合動き情報単位集合iのインデックスであってもよい。
【０１２８】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測方法が映像符号化プロセスに適用される場合、本方法は、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得するステップと、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得するステップと、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込むステップと、をさらに含む。
【０１２９】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測方法が映像復号化プロセスに適用される場合、本方法は、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化するステップと、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得するステップと、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得するステップと、をさらに含む。
【０１３０】
任意選択で、本発明のいくつかの可能な実施態様において、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するステップは、歪みまたはレート歪みコストに基づいて、N個の候補併合動き情報単位集合の中から、2つの動きベクトルを含む併合動き情報単位集合iを決定するステップ、を含んでいてよい。
【０１３１】
任意選択で、併合動き情報単位集合iに対応するレート歪みコストは、併合動き情報単位集合iを除くN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応するレート歪みコスト以下である。
【０１３２】
任意選択で、併合動き情報単位集合iに対応する歪みは、併合動き情報単位集合iを除くN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応する歪み以下である。
【０１３３】
N個の候補併合動き情報単位集合内の候補併合動き情報単位集合（例えば、N個の候補併合動き情報単位集合内の併合動き情報単位集合i）に対応するレート歪みコストは、例えば、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロック（例えば、現在の画像ブロック）の画素値を予測することによって取得される画像ブロックの予測画素値に対応するレート歪みコストであってもよい。
【０１３４】
N個の候補併合動き情報単位集合内の候補併合動き情報単位集合（例えば、N個の候補併合動き情報単位集合内の併合動き情報単位集合i）に対応する歪みは、例えば、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との間の歪み（すなわち、画像ブロックの元の画素値と予測画素値との間の歪み）であってもよい。
【０１３５】
本発明のいくつかの可能な実施態様において、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との間の歪みは、具体的には、例えば、二次差分の和（SSD、sum of quadratic differences）または差分絶対値の和（SAD、sum of absolute differences）、または画像ブロックの元の画素値（例えば、現在の画像ブロック）と候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との差分の和、または歪みを測定することができる別の歪みパラメータであってよい。
【０１３６】
Nは、正の整数である。例えば、Nは、例えば、1、2、3、4、5、6、8、または別の値であってもよい。
【０１３７】
任意選択で、本発明のいくつかの可能な実施態様において、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位は互いに異なっていてもよい。
【０１３８】
任意選択で、本発明のいくつかの可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たす。
【０１３９】
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含む。例えば、候補併合動き情報単位集合内の第1の予測方向に対応するすべての動きベクトルが等しい場合、候補併合動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードは並進運動であるとみなされ、そうでない場合、候補併合動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードは非並進運動であるとみなされ、第1の予測方向は順方向または逆方向である。別の例として、候補併合動き情報単位集合内の順方向の予測方向に対応するすべての動きベクトルが等しく、候補併合動き情報単位集合内の逆方向の予測方向に対応するすべての動きベクトルが等しい場合、候補併合動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードは並進運動であるとみなされ、そうでない場合、候補併合動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードは非並進運動であるとみなされる。
【０１４０】
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含む。
【０１４１】
例えば、2つの動き情報単位が、その予測方向が順方向である動きベクトルおよびその予測方向が逆方向である動きベクトルを含む場合、それは、2つの動き情報単位に対応する予測方向が同じであることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が順方向である動きベクトルおよびその予測方向が逆方向である動きベクトルを含み、他方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、または他方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する予測方向が異なることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、他方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する予測方向が異なることを指示する。別の例として、2つの動き情報単位がどちらも、その予測方向が順方向である動きベクトルを含むが、2つの動き情報単位のそちらも、その予測方向が逆方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する予測方向が同じであることを指示する。別の例として、2つの動き情報単位がどちらも、その予測方向が逆方向である動きベクトルを含むが、2つの動き情報単位のそちらも、その予測方向が順方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する予測方向が同じであることを指示する。
【０１４２】
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含む。
【０１４３】
例えば、2つの動き情報単位がどちらも、その予測方向が順方向である動きベクトルおよびその予測方向が逆方向である動きベクトルを含み、2つの動き情報単位内の、その予測方向が順方向である動きベクトルに対応する参照フレームインデックスが同じであり、2つの動き情報単位内の、その予測方向が逆方向である動きベクトルに対応する参照フレームインデックスが同じである場合、それは、2つの動き情報単位に対応する参照フレームインデックスが同じであることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が順方向である動きベクトルおよびその予測方向が逆方向である動きベクトルを含み、他方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、または他方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する予測方向が異なることを指示し、2つの動き情報単位に対応する参照フレームインデックスが異なることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、他方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まない場合、それは、2つの動き情報単位に対応する参照フレームインデックスが異なることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、他方の動き情報単位は、その予測方向が順方向である動きベクトルを含むが、その予測方向が逆方向である動きベクトルを含まず、2つの動き情報単位内の、その予測方向が順方向である動きベクトルに対応する参照フレームインデックスが同じである場合、それは、2つの動き情報単位に対応する参照フレームインデックスが異なることを指示する。別の例として、2つの動き情報単位の一方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まず、他方の動き情報単位は、その予測方向が逆方向である動きベクトルを含むが、その予測方向が順方向である動きベクトルを含まず、2つの動き情報単位内の、その予測方向が逆方向である動きベクトルに対応する参照フレームインデックスが同じである場合、それは、2つの動き情報単位に対応する参照フレームインデックスが異なることを指示する。
【０１４４】
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。水平成分閾値は、例えば、現在の画像ブロックの幅の1／3、現在の画像ブロックの幅の1／2、現在の画像ブロックの幅の2／3、現在の画像ブロックの幅の3／4、または別の値とすることができる。
【０１４５】
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの1つの動き情報単位集合内の任意の動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。垂直成分閾値は、例えば、現在の画像ブロックの高さの1／3、現在の画像ブロックの高さの1／2、現在の画像ブロックの高さの2／3、現在の画像ブロックの高さの3／4、または別の値とすることができる。
【０１４６】
2つの画素サンプルが現在の画像ブロックの左上画素サンプルおよび右上画素サンプルであるものとすると、画素サンプルZは、現在の画像ブロックの左下画素サンプル、中心画素サンプル、または任意の他の画素サンプルとすることができる。他の場合についても同様に推論することができる。
【０１４７】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数である。例えば、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルのみを含む。
【０１４８】
例えば、x1は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０１４９】
例えば、x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０１５０】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数である。
【０１５１】
例えば、x2は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０１５２】
例えば、x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０１５３】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数である。例えば、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルのみを含む。
【０１５４】
例えば、x3は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０１５５】
例えば、x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０１５６】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2である。例えば、x5個の画素サンプルは、画素サンプルa2のみを含む。現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【０１５７】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップであって、第1の予測方向は順方向もしくは逆方向である、ステップ、を含んでいてもよく、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップ、を含んでいてもよい。
【０１５８】
任意選択で、本発明のいくつかの可能な実施態様において、非並進運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、例えば、動き推定併合動き情報単位集合iを取得するためにスケーリングされた併合動き情報単位集合i内の動きベクトルに対して動き推定処理を行うステップと、非並進運動モデルおよび動き推定併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップと、を含んでいてよい。
【０１５９】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求めるステップ、またはアフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求めるステップ、を含む。
【０１６０】
テスト時に、現在の画像ブロック内の各画素ブロックの動きベクトルをアフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって取得し、次いで、現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて求めた場合、現在の画像ブロック内の画素ブロックを粒度として用いて動きベクトル計算を行うことにより計算複雑性を大幅に低減させることができることが判明している。
【０１６１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、動き推定併合動き情報単位集合iを取得するために併合動き情報単位集合i内の動きベクトルに対して動き推定処理を行うステップと、アフィン運動モデルおよび動き推定併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップと、を含んでいてよい。
【０１６２】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、現在の画像ブロックの長さまたは幅に対する併合動き情報単位集合i内の2つの動き情報単位の動きベクトルの水平成分間の差の比、および現在の画像ブロックの長さまたは幅に対する併合動き情報単位集合i内の2つの動き情報単位の動きベクトルの垂直成分間の差の比を用いて、現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップ、を含む。
【０１６３】
あるいは、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップであって、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される（例えば、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルであり、または2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルおよび予測残差に基づいて取得される）、ステップ、を含んでいてもよい。
【０１６４】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【０１６５】
任意選択で、本発明のいくつかの可能な実施態様において、
アフィン運動モデルは、例えば、
【数２３】
2019013031.tif 000025
の形式であってよく、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅であり、
【数２４】
2019013031.tif 000026
である。
【０１６６】
（vx2，vy2）は、現在の画像ブロック内の2つの画素サンプルとは異なる別の画素サンプルの動きベクトルである。例えば、2つの画素サンプルが現在の画像ブロックの左上画素サンプルおよび右上画素サンプルであるとものとすると、（vx2，vy2）は、現在の画像ブロックの左下画素サンプルまたは中心画素サンプルとすることができる。別の例として、2つの画素サンプルが現在の画像ブロックの左上画素サンプルおよび左下画素サンプルであるものとすると、（vx2，vy2）は、現在の画像ブロックの右上画素サンプルまたは中心画素サンプルとすることができる。
【０１６７】
画素サンプルが複数の画素を含む画素ブロックである場合、画素サンプルの座標は画素サンプル内の任意の画素の座標であってもよく、または画素サンプルの座標は画素サンプル内の指定された画素の座標であってもよい（例えば、画素サンプルの座標は、画素サンプル内の左上画素、または左下画素、または右上画素、または中心画素の座標であってよい）。
【０１６８】
現在の映像フレーム内の画像ブロックごとに、現在の画像ブロックに対応する画素値予測モードと同様のモードで画素値を予測できることが理解されよう。当然ながら、現在の映像フレーム内のいくつかの画像ブロックについては、現在の画像ブロックに対応する画素値予測モードとは異なるモードで画素値を予測することもできる。
【０１６９】
本発明の実施形態の前述の解決策をよりよく理解し、実施するために、以下で、具体的な応用シナリオを用いてさらに説明する。
【０１７０】
図2−aを参照すると、図2−aは、本発明の別の実施形態による別の画像予測方法の概略流れ図である。本実施形態では、主に、映像符号化装置で実施される画像予測方法を例に用いて説明する。図2−aに例示するように、本発明の別の実施形態で提供される別の画像予測方法は、以下のステップを含む。
【０１７１】
S201．映像符号化装置が、現在の画像ブロック内の2つの画素サンプルを決定する。
【０１７２】
本実施形態では、主に、2つの画素サンプルが、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含む例を用いる。例えば、2つの画素サンプルは、現在の画像ブロックの左上画素サンプルおよび右上画素サンプルを含む。2つの画素サンプルが現在の画像ブロックの他の画素サンプルであるシナリオも、同様に推論することができる。
【０１７３】
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックとすることができる。
【０１７４】
画素サンプルが画素ブロックである場合、画素ブロックのサイズは、例えば、2＊2、1＊2、4＊2、4＊4、または別のサイズである。
【０１７５】
S202．映像符号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する。
【０１７６】
各画素サンプルに対応する候補動き情報単位集合は、少なくとも1つの候補動き情報単位を含む。
【０１７７】
本発明の各実施形態で言及される画素サンプルは、少なくとも2つの画素を含む画素または画素ブロックであってよい。
【０１７８】
例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合S1は、x1個の画素サンプルの動き情報単位を含む。x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LT、現在の画像ブロックの左端に空間的に隣接した画像ブロックC、現在の画像ブロックの左上に空間的に隣接した画像ブロックA、または現在の画像ブロックの上端に空間的に隣接した画像ブロックBのうちの少なくとも1つを含む。例えば、現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位をまず取得することができ、取得した、現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位を、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合に付加する。現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位の一部または全部が同じである場合、候補動き情報単位集合S1に対して重複排除処理がさらに行われる（この場合、重複排除処理後の候補動き情報単位集合S1内の動き情報単位の数は1または2とすることができる）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位が、重複排除処理後の候補動き情報単位集合S1内の動き情報単位と同じである場合、候補動き情報単位集合S1内の動き情報単位の数が3になるまで、候補動き情報単位集合S1にゼロ動き情報単位を付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて
、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位が、重複排除処理後の候補動き情報単位集合S1内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位を、重複排除処理後の候補動き情報単位集合S1に付加する。この場合に候補動き情報単位集合S1内の動き情報単位の数が依然として3未満である場合、候補動き情報単位集合S1内の動き情報単位の数が3になるまで候補動き情報単位集合S1にゼロ動き情報単位を付加することができる。
【０１７９】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S1に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０１８０】
同様に、例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合S2は、x2個の画像ブロックの動き情報単位を含む。x2個の画像ブロックは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RT、現在の画像ブロックの右上に空間的に隣接した画像ブロックE、または現在の画像ブロックの上端に空間的に隣接した画像ブロックDのうちの少なくとも1つを含む。例えば、現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位をまず取得することができ、取得した、現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位を、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合S2に付加する。現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位が現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位と同じである場合、候補動き情報単位集合S2に対して重複排除処理を行うことができる（この場合、重複排除処理後の候補動き情報単位集合S2内の動き情報単位の数は1である）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RTの動き情報単位が、重複排除処理後の候補動き情報単位集合S2内の動き情報単位と同じである場合、候補動き情報単位集合S2内の動き情報単位の数が2になるまで候補動き情報単位集合S2にゼロ動き情報単位をさらに付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RTの動き情報単位が、重複排除処理後の候補動き情報単位集合S2内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと
同じ位置を有する画素サンプルCol−RTの動き情報単位を、重複排除処理後の候補動き情報単位集合S2に付加することができる。この場合に候補動き情報単位集合S2内の動き情報単位の数が依然として2未満である場合、候補動き情報単位集合S2内の動き情報単位の数が2になるまで候補動き情報単位集合S2にゼロ動き情報単位をさらに付加する。
【０１８１】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S2に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０１８２】
同様に、例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合S3は、x3個の画像ブロックの動き情報単位を含む。x3個の画像ブロックは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LB、現在の画像ブロックの左下に空間的に隣接した画像ブロックG、または現在の画像ブロックの左端に空間的に隣接した画素ブロックFのうちの少なくとも1つを含む。例えば、現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位、および現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位をまず取得し、取得した、現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位、および現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位を、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合S3に付加することができる。現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位が現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位と同じである場合、候補動き情報単位集合S3に対して重複排除処理を行う（この場合、重複排除処理後の候補動き情報単位集合S3内の動き情報単位の数は1である）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LBの動き情報単位が、重複排除処理後の候補動き情報単位集合S3内の動き情報単位と同じである場合、候補動き情報単位集合S3内の動き情報単位の数が2になるまで候補動き情報単位集合S3にゼロ動き情報単位をさらに付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LBの動き情報単位が、重複排除処理後の候補動き情報単位集合S3内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有
する画素サンプルCol−LBの動き情報単位を、重複排除処理後の候補動き情報単位集合S3に付加することができる。この場合に候補動き情報単位集合S3内の動き情報単位の数が依然として2未満である場合、候補動き情報単位集合S3内の動き情報単位の数が2になるまで候補動き情報単位集合S3にゼロ動き情報単位がさらに付加される。
【０１８３】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S3に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０１８４】
2つの動き情報単位が異なることは、2つの動き情報単位に含まれる動きベクトルが異なること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が異なること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが異なることを意味しうる。2つの動き情報単位が同じであることは、2つの動き情報単位に含まれる動きベクトルが同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが同じであることを意味しうる。
【０１８５】
より多くの画素サンプルが存在するシナリオについて、画素サンプルに対応する候補動き情報単位集合を同様の方法で取得することができることが理解されよう。
【０１８６】
例えば、図2−dに示すように、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含む。現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【０１８７】
S203．映像符号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいて、N個の候補併合動き情報単位集合を決定する。N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択される。N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【０１８８】
候補併合動き情報単位集合が、（3つの動き情報単位が含まれると仮定した）候補動き情報単位集合S1および（2つの動き情報単位が含まれると仮定した）候補動き情報単位集合S2に基づいて決定されるものと仮定すると、理論上、3＊2＝6個の初期候補併合動き情報単位集合を決定することができることが理解されよう。しかし、可用性を高めるために、例えば、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを用いて、6つの初期候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別することができる。候補動き情報単位集合S1および候補動き情報単位集合S2に含まれる動き情報単位の数が前述の例だけに制限されない場合、初期候補併合動き情報単位集合の数は必ずしも6ではない。
【０１８９】
第1の条件、第2の条件、第3の条件、第4の条件、第5の条件の制約の詳細については、前述の実施形態における例の説明を参照されたい。ここでは詳細を繰り返さない。当然ながら、N個の候補併合動き情報単位集合は、例えば、例示されていない他の条件をさらに満たすこともできる。
【０１９０】
具体的な実施プロセスにおいては、例えば、まず、第1の条件、第2の条件、または第3の条件のうちの少なくとも1つを用いて、初期候補併合動き情報単位集合に対する選別を行うことができ、初期候補併合動き情報単位集合の中からN01個の候補併合動き情報単位集合を選別し、次いで、N01個の候補併合動き情報単位集合に対してスケーリング処理を行い、次いで、第4の条件または第5の条件のうちの少なくとも1つを用いて、N01個の候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別する。当然ながら、選別は、第4の条件および第5の条件を参照せずに、第1の条件、第2の条件、または第3の条件のうちの少なくとも1つを直接用いて初期候補併合動き情報単位集合に対して行ってもよく、初期候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別する。
【０１９１】
映像符号化または復号化における動きベクトルは、同じ時間（同じ時間は同じ参照フレームに対応する）に対する一方向（予測方向）のオブジェクトのオフセットの値を反映することが理解されよう。したがって、異なる画素サンプルの動き情報単位が異なる予測方向に対応し、かつ／または異なる参照フレームインデックスに対応する場合、参照フレームに対する現在の画像ブロックの各画素または画素ブロックの動きオフセットを直接取得することができない。しかし、画素サンプルが同じ予測方向に対応し、同じ参照フレームインデックスに対応する場合、併合動きベクトルの組み合わせを用いて、画像ブロック内の各画素または画素ブロックの動きベクトルを取得することができる。
【０１９２】
したがって、候補併合動き情報単位集合内の異なる画素サンプルの動き情報単位が異なる予測方向に対応し、かつ／または異なる参照フレームインデックスに対応する場合、候補併合動き情報単位集合に対してスケーリング処理を行うことができる。候補併合動き情報単位集合に対して行われるスケーリング処理は、候補併合動き情報単位集合内の1つまたは複数の動き情報単位における動きベクトルの修正、追加、および／または削除などに関連していてよい。
【０１９３】
例えば、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップであって、第1の予測方向は順方向もしくは逆方向である、ステップ、を含んでいてもよく、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップ、を含んでいてもよい。
【０１９４】
S204．映像符号化装置は、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０１９５】
任意選択で、本発明のいくつかの可能な実施態様において、映像符号化装置は、併合動き情報単位集合iの識別子を映像ビットストリームにさらに書き込んでもよい。これに対応して、映像復号化装置は、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０１９６】
任意選択で、本発明のいくつかの可能な実施態様において、映像符号化装置が、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定することは、歪みまたはレート歪みコストに基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定すること、を含んでいてよい。
【０１９７】
任意選択で、併合動き情報単位集合iに対応するレート歪みコストは、併合動き情報単位集合iを除くN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応するレート歪みコスト以下である。
【０１９８】
任意選択で、併合動き情報単位集合iに対応する歪みは、併合動き情報単位集合iを除くN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応する歪み以下である。
【０１９９】
N個の候補併合動き情報単位集合内の候補併合動き情報単位集合（例えば、N個の候補併合動き情報単位集合内の併合動き情報単位集合i）に対応するレート歪みコストは、例えば、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロック（例えば、現在の画像ブロック）の画素値を予測することによって取得される画像ブロックの予測画素値に対応するレート歪みコストであってもよい。
【０２００】
N個の候補併合動き情報単位集合内の候補併合動き情報単位集合（例えば、N個の候補併合動き情報単位集合内の併合動き情報単位集合i）に対応する歪みは、例えば、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との間の歪み（すなわち、画像ブロックの元の画素値と予測画素値との間の歪み）であってもよい。
【０２０１】
本発明のいくつかの可能な実施態様において、画像ブロック（例えば、現在の画像ブロック）の元の画素値と、候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との間の歪みは、具体的には、例えば、二次差分の和（SSD）または差分絶対値の和（SAD）または画像ブロックの元の画素値（例えば、現在の画像ブロック）と候補併合動き情報単位集合（例えば、併合動き情報単位集合i）を用いて画像ブロックの画素値を予測することによって取得される画像ブロックの予測画素値との差分の和、または歪みを測定することができる別の歪みパラメータであってよい。
【０２０２】
さらに、計算複雑性をさらに低減させるために、Nがn1より大きい場合、N個の候補併合動き情報単位集合の中からn1個の候補併合動き情報単位集合を選別することができ、2つの動き情報単位を含む併合動き情報単位集合iは、歪みまたはレート歪みコストに基づいてn1個の候補併合動き情報単位集合の中から決定される。n1個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応するD（V）は、n1個の候補併合動き情報単位集合を除くN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合に対応するD（V）以下であり、n1は、例えば、3、4、5、6、または別の値である。
【０２０３】
さらに、n1個の候補併合動き情報単位集合またはn1個の候補併合動き情報単位集合の識別子を、候補併合動き情報単位集合リストに付加することができる。Nがn1以下である場合、N個の候補併合動き情報単位集合またはN個の候補併合動き情報単位集合の識別子を、候補併合動き情報単位集合待ち行列に付加することができる。候補併合動き情報単位集合待ち行列内の候補併合動き情報単位集合は、例えばD（V）の値に従って、昇順または降順に並べることができる。
【０２０４】
例えば、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合（例えば、併合動き情報単位集合i）のユークリッド距離パラメータD（V）は以下のように計算することができ、
【数２５】
2019013031.tif 000027
式中、vp，xは、動きベクトル
【数２６】
2019013031.tif 000028
の水平成分を示し、vp，yは、動きベクトル
【数２７】
2019013031.tif 000029
の垂直成分を示し、
【数２８】
2019013031.tif 000030
および
【数２９】
2019013031.tif 000031
は、N個の候補併合動き情報単位集合内の併合動き情報単位集合iに含まれる2つの画素サンプルの2つの動きベクトルであり、動きベクトル
【数３０】
2019013031.tif 000032
は、現在の画像ブロックの別の画素サンプルの動きベクトルを示し、別の画素サンプルは、2つの画素サンプルとは異なる。例えば、図2−eに示すように、
【数３１】
2019013031.tif 000033
および
【数３２】
2019013031.tif 000034
は、現在の画像ブロックの左上画素サンプルおよび右上画素サンプルの動きベクトルを示し、動きベクトル
【数３３】
2019013031.tif 000035
は、現在の画像ブロックの左下画素サンプルの動きベクトルを示す。当然ながら、動きベクトル
【数３４】
2019013031.tif 000036
は、現在の画像ブロックの中心画素サンプルまたは任意の他の画素サンプルの動きベクトルも示すことができる。
【０２０５】
任意選択で、｜v1，x−v0，x｜≦w／2、または｜v1，y−v0，y｜≦h／2、または｜v2，x−v0，x｜≦w／2、または｜v2，y−v0，y｜≦h／2である。
【０２０６】
さらに、候補併合動き情報単位集合待ち行列は、N個の候補併合動き情報単位集合のD（V）値を昇順または降順にソートすることによって取得することもできる。候補併合動き情報単位集合待ち行列内の併合動き情報単位集合は互いに異なり、インデックスを用いて候補併合動き情報単位集合待ち行列内の併合動き情報単位集合を指示することができる。
【０２０７】
S205．映像符号化装置は、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの動きベクトルを予測する。
【０２０８】
現在の画像ブロックのサイズはw×hであり、wはhと等しく、または等しくないものとする。
【０２０９】
2つの画素サンプルの座標は（0，0）および（w，0）であるものとする。ここでは、例えば、画素サンプルの左上隅の画素の座標が計算に関与する。図2−eを参照すると、図2−eには、現在の画像ブロックの4つの頂点の座標が示されている。図2−fおよび図2−gを参照すると、図2−fおよび図2−gには、アフィン運動の概略図が示されている。
【０２１０】
2つの画素サンプルの動きベクトルは、それぞれ、（vx0，vy0）および（vx1，vy1）である。例えば、2つの画素サンプルの座標および動きベクトルを以下のアフィン運動モデルに代入し、現在の画像ブロックx内の任意の画素の動きベクトルを以下のように計算することができる。
【数３５】
2019013031.tif 000037
（式1）
【０２１１】
2つの画素サンプルの動きベクトルは、それぞれ、（vx0，vy0）および（vx1，vy1）であり、vxおよびvyは、それぞれ、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分（vx）および垂直成分（vy）であり、wは、現在の画像ブロックの長さまたは幅である。
【０２１２】
さらに、映像符号化装置は、現在の画像ブロックの各画素または各画素ブロックの計算された動きベクトルに基づいて現在の画像ブロックの画素値を予測することができる。映像符号化装置は、現在の画像ブロックの元の画素値と、現在の画像ブロックの画素値を予測することによって取得された現在の画像ブロックの予測画素値とを用いて、現在の画像ブロックの予測残差を取得することができる。映像符号化装置は、現在の画像ブロックの予測残差を映像ビットストリームに書き込むことができる。
【０２１３】
本実施形態の技術的解決策では、映像符号化装置が、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測し、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルのすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、アフィンパラメータ情報や符号器によって送られる動きベクトルの差の数などを低減させるのにも役立つ。
【０２１４】
以下に、式1に示すアフィン運動モデルを導出するプロセスを示す。例えば、アフィン運動モデルを導出するために回転運動モデルを用いることができる。
【０２１５】
例として、回転運動が、図2−hまたは図2−iに例示されている。
【０２１６】
回転運動モデルは、式（2）に示されており、式中、（x’，y’）は、その座標が参照フレームにおいて（x，y）である画素に対応する座標であり、θは、回転の角度であり、（a0，a1）は、並進成分である。変換係数が分かっている場合、画素（x，y）の動きベクトル（vx，vy）を以下のように取得することができる。
【数３６】
2019013031.tif 000038
（式2）
【０２１７】
使用する回転行列は
【数３７】
2019013031.tif 000039
である。
【０２１８】
回転に基づき、係数ρを用いてズーミングを行った場合、回転運動における三角計算を回避するために、以下の簡略化されたアフィン運動モデルが取得される。
【数３８】
2019013031.tif 000040
【０２１９】
これは、計算複雑性の低減に役立ち、各画素の動きベクトルを計算するプロセスを単純化することができる。加えて、このモデルは、一般的なアフィン運動モデルと同様に、回転やスケーリングなどの複雑な運動シナリオに適用することもできる。簡略化されたアフィン運動モデルは式3として記述することができる。一般的なアフィン運動モデルと比較すると、簡略化されたアフィン運動モデルを表すには4つのパラメータさえあればよい。
【数３９】
2019013031.tif 000041
（式3）
【０２２０】
サイズがw×hである画像ブロック（例えば、CUR）について、その座標が（0，0）および（w，0）である頂点を取得するために、画像ブロックの右端と下端とを別々に1列分拡張し、その座標が（0，0）および（w，0）である頂点の動きベクトル（vx0，vy0）および（vx1，vy1）を取得する。2つの頂点を画素サンプルとして用い（当然ながら、別の画素を参照画素サンプル、例えば中心画素サンプルとして用いることもできる）、これらの画素サンプルの座標および動きベクトルを式（3）に代入し、式1を以下のように導出することができる。
【数４０】
2019013031.tif 000042
（式1）
式中、
【数４１】
2019013031.tif 000043
である。
【０２２１】
2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【０２２２】
前述の導出プロセスは、式1が比較的高い可用性を有することを示していることが理解されよう。実施に際して、参照画素サンプルの数を2にすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させ、符号化時に送られるアフィンパラメータ情報や動きベクトルの差の数を低減させるのに役立つ。
【０２２３】
図3を参照すると、図3は、本発明の別の実施形態による別の画像予測方法の概略流れ図である。本実施形態では、主に、映像復号化装置で実施される画像予測方法を例に用いて説明する。図3に例示するように、本発明の別の実施形態で提供される別の画像予測方法は、以下のステップを含む。
【０２２４】
S301．映像復号化装置が、現在の画像ブロック内の2つの画素サンプルを決定する。
【０２２５】
本実施形態では、主に、2つの画素サンプルが、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含む例を用いる。例えば、2つの画素サンプルは、現在の画像ブロックの左上画素サンプルおよび右上画素サンプルを含む。2つの画素サンプルが現在の画像ブロックの他の画素サンプルであるシナリオも、同様に推論することができる。
【０２２６】
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックとすることができる。
【０２２７】
画素サンプルが画素ブロックである場合、画素ブロックのサイズは、例えば、2＊2、1＊2、4＊2、4＊4、または別のサイズである。
【０２２８】
S302．映像復号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する。
【０２２９】
各画素サンプルに対応する候補動き情報単位集合は、少なくとも1つの候補動き情報単位を含む。
【０２３０】
本発明の各実施形態で言及される画素サンプルは、少なくとも2つの画素を含む画素または画素ブロックであってよい。
【０２３１】
例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合S1は、x1個の画素サンプルの動き情報単位を含む。x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LT、現在の画像ブロックの左端に空間的に隣接した画像ブロックC、現在の画像ブロックの左上に空間的に隣接した画像ブロックA、または現在の画像ブロックの上端に空間的に隣接した画像ブロックBのうちの少なくとも1つを含む。例えば、現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位をまず取得することができ、取得した、現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位を、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合に付加する。現在の画像ブロックの左端に空間的に隣接した画像ブロックCの動き情報単位、現在の画像ブロックの左上に空間的に隣接した画像ブロックAの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックBの動き情報単位の一部または全部が同じである場合、候補動き情報単位集合S1に対して重複排除処理がさらに行われる（この場合、重複排除処理後の候補動き情報単位集合S1内の動き情報単位の数は1または2とすることができる）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位が、重複排除処理後の候補動き情報単位集合S1内の動き情報単位と同じである場合、候補動き情報単位集合S1内の動き情報単位の数が3になるまで、候補動き情報単位集合S1にゼロ動き情報単位を付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて
、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位が、重複排除処理後の候補動き情報単位集合S1内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左上画素サンプルLTと同じ位置を有する画素サンプルCol−LTの動き情報単位を、重複排除処理後の候補動き情報単位集合S1に付加する。この場合に候補動き情報単位集合S1内の動き情報単位の数が依然として3未満である場合、候補動き情報単位集合S1内の動き情報単位の数が3になるまで候補動き情報単位集合S1にゼロ動き情報単位を付加することができる。
【０２３２】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S1に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S1に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０２３３】
同様に、例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合S2は、x2個の画像ブロックの動き情報単位を含む。x2個の画像ブロックは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RT、現在の画像ブロックの右上に空間的に隣接した画像ブロックE、または現在の画像ブロックの上端に空間的に隣接した画像ブロックDのうちの少なくとも1つを含む。例えば、現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位をまず取得することができ、取得した、現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位、および現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位を、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合S2に付加する。現在の画像ブロックの右上に空間的に隣接した画像ブロックEの動き情報単位が現在の画像ブロックの上端に空間的に隣接した画像ブロックDの動き情報単位と同じである場合、候補動き情報単位集合S2に対して重複排除処理を行うことができる（この場合、重複排除処理後の候補動き情報単位集合S2内の動き情報単位の数は1である）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RTの動き情報単位が、重複排除処理後の候補動き情報単位集合S2内の動き情報単位と同じである場合、候補動き情報単位集合S2内の動き情報単位の数が2になるまで候補動き情報単位集合S2にゼロ動き情報単位をさらに付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと同じ位置を有する画素サンプルCol−RTの動き情報単位が、重複排除処理後の候補動き情報単位集合S2内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの右上画素サンプルRTと
同じ位置を有する画素サンプルCol−RTの動き情報単位を、重複排除処理後の候補動き情報単位集合S2に付加することができる。この場合に候補動き情報単位集合S2内の動き情報単位の数が依然として2未満である場合、候補動き情報単位集合S2内の動き情報単位の数が2になるまで候補動き情報単位集合S2にゼロ動き情報単位をさらに付加する。
【０２３４】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S2に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S2に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０２３５】
同様に、例えば、図2−bおよび図2−cに示すように、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合S3は、x3個の画像ブロックの動き情報単位を含む。x3個の画像ブロックは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LB、現在の画像ブロックの左下に空間的に隣接した画像ブロックG、または現在の画像ブロックの左端に空間的に隣接した画素ブロックFのうちの少なくとも1つを含む。例えば、現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位、および現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位をまず取得し、取得した、現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位、および現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位を、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合S3に付加することができる。現在の画像ブロックの左下に空間的に隣接した画像ブロックGの動き情報単位が現在の画像ブロックの左端に空間的に隣接した画像ブロックFの動き情報単位と同じである場合、候補動き情報単位集合S3に対して重複排除処理を行う（この場合、重複排除処理後の候補動き情報単位集合S3内の動き情報単位の数は1である）。現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LBの動き情報単位が、重複排除処理後の候補動き情報単位集合S3内の動き情報単位と同じである場合、候補動き情報単位集合S3内の動き情報単位の数が2になるまで候補動き情報単位集合S3にゼロ動き情報単位をさらに付加することができる。加えて、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有する画素サンプルCol−LBの動き情報単位が、重複排除処理後の候補動き情報単位集合S3内のどの動き情報単位とも異なる場合、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレームにおいて、現在の画像ブロックの左下画素サンプルLBと同じ位置を有
する画素サンプルCol−LBの動き情報単位を、重複排除処理後の候補動き情報単位集合S3に付加することができる。この場合に候補動き情報単位集合S3内の動き情報単位の数が依然として2未満である場合、候補動き情報単位集合S3内の動き情報単位の数が2になるまで候補動き情報単位集合S3にゼロ動き情報単位がさらに付加される。
【０２３６】
現在の画像ブロックが属する映像フレームが順方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルを含むが、その予測方向が逆方向であるゼロ動きベクトルを含まない。現在の画像ブロックが属する映像フレームが逆方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が逆方向であるゼロ動きベクトルを含むが、その予測方向が順方向であるゼロ動きベクトルを含まない。加えて、現在の画像ブロックが属する映像フレームが双方向予測フレームである場合、候補動き情報単位集合S3に付加されるゼロ動き情報単位は、その予測方向が順方向であるゼロ動きベクトルおよびその予測方向が逆方向であるゼロ動きベクトルを含む。候補動き情報単位集合S3に付加される異なるゼロ動き情報単位内の動きベクトルに対応する参照フレームインデックスは異なっていてよく、対応する参照フレームインデックスは、例えば、0、1、2、3または別の値であってもよい。
【０２３７】
2つの動き情報単位が異なることは、2つの動き情報単位に含まれる動きベクトルが異なること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が異なること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが異なることを意味しうる。2つの動き情報単位が同じであることは、2つの動き情報単位に含まれる動きベクトルが同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する予測方向が同じであること、または2つの動き情報単位に含まれる動きベクトルに対応する参照フレームインデックスが同じであることを意味しうる。
【０２３８】
より多くの画素サンプルが存在するシナリオについて、画素サンプルに対応する候補動き情報単位集合を同様の方法で取得することができることが理解されよう。
【０２３９】
例えば、図2−dに示すように、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含む。現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【０２４０】
S303．映像復号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいてN個の候補併合動き情報単位集合を決定する。N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択される。N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【０２４１】
候補併合動き情報単位集合が、（3つの動き情報単位が含まれると仮定した）候補動き情報単位集合S1および（2つの動き情報単位が含まれると仮定した）候補動き情報単位集合S2に基づいて決定されるものと仮定すると、理論上、3＊2＝6個の初期候補併合動き情報単位集合を決定することができることが理解されよう。しかし、可用性を高めるために、例えば、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを用いて、6つの初期候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別することができる。候補動き情報単位集合S1および候補動き情報単位集合S2に含まれる動き情報単位の数が前述の例だけに制限されない場合、初期候補併合動き情報単位集合の数は必ずしも6ではない。
【０２４２】
第1の条件、第2の条件、第3の条件、第4の条件、第5の条件の制約の詳細については、前述の実施形態における例の説明を参照されたい。ここでは詳細を繰り返さない。当然ながら、N個の候補併合動き情報単位集合は、例えば、例示されていない他の条件をさらに満たすこともできる。
【０２４３】
具体的な実施プロセスにおいては、例えば、まず、第1の条件、第2の条件、または第3の条件のうちの少なくとも1つを用いて、初期候補併合動き情報単位集合に対する選別を行うことができ、初期候補併合動き情報単位集合の中からN01個の候補併合動き情報単位集合を選別し、次いで、N01個の候補併合動き情報単位集合に対してスケーリング処理を行い、次いで、第4の条件または第5の条件のうちの少なくとも1つを用いて、N01個の候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別する。当然ながら、選別は、第4の条件および第5の条件を参照せずに、第1の条件、第2の条件、または第3の条件のうちの少なくとも1つを直接用いて初期候補併合動き情報単位集合に対して行ってもよく、初期候補併合動き情報単位集合の中からN個の候補併合動き情報単位集合を選別する。
【０２４４】
映像符号化または復号化における動きベクトルは、同じ時間（同じ時間は同じ参照フレームに対応する）に対する一方向（予測方向）のオブジェクトのオフセットの値を反映することが理解されよう。したがって、異なる画素サンプルの動き情報単位が異なる予測方向に対応し、かつ／または異なる参照フレームインデックスに対応する場合、参照フレームに対する現在の画像ブロックの各画素または画素ブロックの動きオフセットを直接取得することができない。しかし、画素サンプルが同じ予測方向に対応し、同じ参照フレームインデックスに対応する場合、併合動きベクトルの組み合わせを用いて、画像ブロック内の各画素または画素ブロックの動きベクトルを取得することができる。
【０２４５】
したがって、候補併合動き情報単位集合内の異なる画素サンプルの動き情報単位が異なる予測方向に対応し、かつ／または異なる参照フレームインデックスに対応する場合、候補併合動き情報単位集合に対してスケーリング処理を行うことができる。候補併合動き情報単位集合に対して行われるスケーリング処理は、候補併合動き情報単位集合内の1つまたは複数の動き情報単位における動きベクトルの修正、追加、および／または削除などに関連していてよい。
【０２４６】
例えば、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップであって、第1の予測方向は順方向もしくは逆方向である、ステップ、を含んでいてもよく、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップは、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するステップ、を含んでいてもよい。
【０２４７】
S304．映像復号化装置は、併合動き情報単位集合iの識別子および現在の画像ブロックの予測残差を取得するために映像ビットストリームに対して復号化処理を行い、併合動き情報単位集合iの識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０２４８】
これに対応して、映像符号化装置は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むことができる。
【０２４９】
S305．映像復号化装置は、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの動きベクトルを予測する。
【０２５０】
例えば、映像復号化装置は、動き推定併合動き情報単位集合iを取得するために、まず、併合動き情報単位集合i内の動きベクトルに対して動き推定処理を行うことができ、映像復号化装置は、アフィン運動モデルおよび動き推定併合動き情報単位集合iを用いて現在の画像ブロックの動きベクトルを予測する。
【０２５１】
現在の画像ブロックのサイズはw×hであり、wはhと等しく、または等しくないものとする。
【０２５２】
2つの画素サンプルの座標は（0，0）および（w，0）であるものとする。ここでは、例えば、画素サンプルの左上隅の画素の座標が計算に関与する。図2−eを参照すると、図2−eには、現在の画像ブロックの4つの頂点の座標が示されている。
【０２５３】
2つの画素サンプルの動きベクトルは、それぞれ、（vx0，vy0）および（vx1，vy1）である。2つの画素サンプルの座標および動きベクトルを以下のアフィン運動モデルに代入し、現在の画像ブロックx内の任意の画素の動きベクトルを以下のように計算することができる。
【数４２】
2019013031.tif 000044
（式1）
【０２５４】
2つの画素サンプルの動きベクトルは、それぞれ、（vx0，vy0）および（vx1，vy1）であり、vxおよびvyは、それぞれ、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分（vx）および垂直成分（vy）であり、式1のwは、現在の画像ブロックの長さまたは幅である。
【０２５５】
S306．映像復号化装置は、現在の画像ブロックの予測画素値を取得するために、現在の画像ブロックの各画素または各画素ブロックの計算された動きベクトルに基づいて現在の画像ブロックの画素値を予測する。
【０２５６】
S307．映像復号化装置は、現在の画像ブロックの予測画素値および現在の画像ブロックの予測残差を用いて現在の画像ブロックを復元する。
【０２５７】
本実施形態の技術的解決策では、映像復号化装置が、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測し、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルのすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、アフィンパラメータ情報や符号器によって送られる動きベクトルの差の数などを低減させるのにも役立つ。
【０２５８】
以下で、前述の解決策を実施するための関連装置をさらに示す。
【０２５９】
図4を参照すると、本発明の一実施形態は、画像予測装置400をさらに提供する。本装置は、
現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定するように構成された第1の決定部410であって、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、第1の決定部410と、
2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成された第2の決定部420であって、
併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、第2の決定部420と、
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するように構成された、予測部430と、
を含む。
【０２６０】
任意選択で、本発明のいくつかの可能な実施態様において、第2の決定部420は、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように特に構成されていてよく、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【０２６１】
任意選択で、本発明のいくつかの可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含み、
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なり、
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が垂直成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。
【０２６２】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【０２６３】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２６４】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２６５】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２６６】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2であり、
現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【０２６７】
任意選択で、本発明のいくつかの可能な実施態様において、予測部430は、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測するように特に構成されており、第1の予測方向は順方向もしくは逆方向であり、または
予測部430は、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように特に構成されている。
【０２６８】
任意選択で、本発明のいくつかの可能な実施態様において、予測部430は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求める、ように特に構成されており、または
予測部430は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように特に構成されている。
【０２６９】
任意選択で、本発明のいくつかの可能な実施態様において、予測部430は、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように特に構成されていてよく、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される。
【０２７０】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【０２７１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数４３】
2019013031.tif 000045
の形式であってよく、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【０２７２】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置は映像符号化装置に適用され、または本画像予測装置は映像復号化装置に適用される。
【０２７３】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、第2の決定部420は、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように特に構成されていてよい。
【０２７４】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、本装置は、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得する、ように構成された、復号化部、をさらに含む。
【０２７５】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、予測部430は、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得し、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成されている。
【０２７６】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、本装置は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むように構成された、符号化部をさらに含む。
【０２７７】
本実施形態の画像予測装置400の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像予測装置400は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０２７８】
本実施形態で提供される技術的解決策では、画像予測装置400が、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測し、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルのすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。加えて、参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、符号器によって送られるアフィンパラメータ情報や動きベクトルの差の数などを低減させるのにも役立つ。
【０２７９】
図5を参照すると、図5は、本発明の一実施形態による別の画像予測装置500の概略図である。画像予測装置500は、少なくとも1つのバス501と、バス501に接続された少なくとも1つのプロセッサ502と、バス501に接続された少なくとも1つのメモリ503とを含んでいてよい。
【０２８０】
プロセッサ502は、バス501を用いて、プロセッサ502が、現在の画像ブロック内の2つの画素サンプルを決定し、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定し、各画素サンプルに対応する候補動き情報単位集合は少なくとも1つの候補動き情報単位を含む、2つの動き情報単位を含む併合動き情報単位集合iであって、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択され、動き情報単位は、その予測方向が順方向である動きベクトルおよび／またはその予測方向が逆方向である動きベクトルを含む、併合動き情報単位集合iを決定し、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成されるように、メモリ503に記憶されたコードまたは命令を呼び出す。
【０２８１】
任意選択で、本発明のいくつかの可能な実施態様において、2つの動き情報単位を含む併合動き情報単位集合iを決定する局面において、プロセッサは、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成され、N個の候補併合動き情報単位集合の各々に含まれる各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の制約条件に適合した動き情報単位の少なくともいくつかの中から選択され、Nは正の整数であり、N個の候補併合動き情報単位集合は互いに異なり、N個の候補併合動き情報単位集合の各々は2つの動き情報単位を含む。
【０２８２】
任意選択で、本発明のいくつかの可能な実施態様において、N個の候補併合動き情報単位集合は、第1の条件、第2の条件、第3の条件、第4の条件、または第5の条件のうちの少なくとも1つを満たし、
第1の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の動き情報単位によって指示される現在の画像ブロックの動きモードが非並進運動であることを含み、
第2の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する予測方向が同じであることを含み、
第3の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位に対応する参照フレームインデックスが同じであることを含み、
第4の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの水平成分の差の絶対値が水平成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの水平成分と画素サンプルZの動きベクトルの水平成分との差の絶対値が水平成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なり、
第5の条件は、N個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の2つの動き情報単位の動きベクトルの垂直成分の差の絶対値が垂直成分閾値以下であること、またはN個の候補併合動き情報単位集合のうちの任意の動き情報単位集合内の1つの動き情報単位の動きベクトルの垂直成分と画素サンプルZの動きベクトルの垂直成分との差の絶対値が垂直成分閾値以下であることを含み、現在の画像ブロック内の画素サンプルZは2つの画素サンプルのどちらかと異なる。
【０２８３】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルは、現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1における2つの画素サンプルを含み、
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックであり、現在の画像ブロックの左下画素サンプルは、現在の画像ブロックの左下頂点、または現在の画像ブロック内の、現在の画像ブロックの左下頂点を含む画素ブロックであり、現在の画像ブロックの右上画素サンプルは、現在の画像ブロックの右上頂点、または現在の画像ブロック内の、現在の画像ブロックの右上頂点を含む画素ブロックであり、現在の画像ブロックの中心画素サンプルa1は、現在の画像ブロックの中心画素、または現在の画像ブロック内の、現在の画像ブロックの中心画素を含む画素ブロックである。
【０２８４】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合はx1個の画素サンプルの動き情報単位を含み、x1個の画素サンプルは、現在の画像ブロックの左上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x1は正の整数であり、
x1個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２８５】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの右上画素サンプルに対応する候補動き情報単位集合はx2個の画素サンプルの動き情報単位を含み、x2個の画素サンプルは、現在の画像ブロックの右上画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右上画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x2は正の整数であり、
x2個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右上画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２８６】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左下画素サンプルに対応する候補動き情報単位集合はx3個の画素サンプルの動き情報単位を含み、x3個の画素サンプルは、現在の画像ブロックの左下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの左下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x3は正の整数であり、
x3個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの左下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０２８７】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの中心画素サンプルa1に対応する候補動き情報単位集合はx5個の画素サンプルの動き情報単位を含み、x5個の画素サンプルのうちの1つが画素サンプルa2であり、
現在の画像ブロックが属する映像フレーム内の中心画素サンプルa1の位置は、現在の画像ブロックが属する映像フレームに隣接した映像フレーム内の画素サンプルa2の位置と同じであり、x5は正の整数である。
【０２８８】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサ502は、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて第1の予測方向である動きベクトルが現在の画像ブロックの参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成され、第1の予測方向は順方向もしくは逆方向であり、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサ502は、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの順方向参照フレームインデックスと異なり、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルに対応する参照フレームインデックスが現在の画像ブロックの逆方向参照フレームインデックスと異なる場合、その予測方向が併合動き情報単位集合iにおいて順方向である動きベクトルが現在の画像ブロックの順方向参照フレームに合わせてスケールダウンされ、その予測方向が併合動き情報単位集合iにおいて逆方向である動きベクトルが現在の画像ブロックの逆方向参照フレームに合わせてスケールダウンされるように、併合動き情報単位集合iに対してスケーリング処理を行い、アフィン運動モデルおよびスケーリングされた併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する、ように構成される。
【０２８９】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサ502は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素の動きベクトルを取得し、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素の予測画素値を求める、ように構成され、または
アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサ502は、アフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって現在の画像ブロック内の各画素ブロックの動きベクトルを取得し、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を求める、ように構成される。
【０２９０】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測する局面において、プロセッサ502は、現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの水平成分の差の比および現在の画像ブロックの長さまたは幅に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成され、2つの画素サンプルの動きベクトルは、併合動き情報単位集合i内の2つの動き情報単位の動きベクトルに基づいて取得される。
【０２９１】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルの動きベクトルの水平成分の水平座標係数は動きベクトルの垂直成分の垂直座標係数と等しく、2つの画素サンプルの動きベクトルの水平成分の垂直座標係数は動きベクトルの垂直成分の水平座標係数と等しい。
【０２９２】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数４４】
2019013031.tif 000046
の形式であってよく、
式中、2つの画素サンプルの動きベクトルはそれぞれ（vx0，vy0）および（vx1，vy1）であり、vxは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの水平成分であり、vyは、その座標が現在の画像ブロックにおいて（x，y）である画素サンプルの動きベクトルの垂直成分であり、wは、現在の画像ブロックの長さまたは幅である。
【０２９３】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置は映像符号化装置に適用され、または本画像予測装置は映像復号化装置に適用される。
【０２９４】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、2つの動き情報単位を含む併合動き情報単位集合iを決定する局面において、プロセッサ502は、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定するように構成される。
【０２９５】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像復号化装置に適用される場合、プロセッサ502は、2つの画素サンプルの動きベクトルの差を取得するために映像ビットストリームを復号化し、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子と2つの画素サンプルの動きベクトルの差とに別々に基づいて2つの画素サンプルの動きベクトルを取得する、ようにさらに構成される。
【０２９６】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、プロセッサ502は、2つの画素サンプルに空間的に隣接した、または時間的に隣接した画素サンプルの動きベクトルを用いて2つの画素サンプルの動きベクトル予測子を取得し、2つの画素サンプルの動きベクトル予測子に従って2つの画素サンプルの動きベクトルの差を取得し、2つの画素サンプルの動きベクトルの差を映像ビットストリームに書き込む、ようにさらに構成される。
【０２９７】
任意選択で、本発明のいくつかの可能な実施態様において、本画像予測装置が映像符号化装置に適用される場合、プロセッサ502は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むようにさらに構成される。
【０２９８】
本実施形態の画像予測装置500の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像予測装置500は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０２９９】
本実施形態で提供される技術的解決策では、画像予測装置500が、アフィン運動モデルおよび併合動き情報単位集合iを用いて現在の画像ブロックの画素値を予測し、併合動き情報単位集合i内の各動き情報単位は、2つの画素サンプルの各々に対応する候補動き情報単位集合内の動き情報単位の少なくともいくつかの中から選択されることが分かる。併合動き情報単位集合iの選択範囲が比較的狭くなるため、複数の画素サンプルの動き情報単位を、複数の画素サンプルのすべての可能な候補動き情報単位集合において膨大な量の計算を行うことによってのみ選別する従来技術で用いられる機構が放棄される。これは、符号化効率を向上させるのに役立ち、アフィン運動モデルに基づいて行われる画像予測の計算複雑性を低減させるのにも役立ち、さらにアフィン運動モデルを映像符号化規格に導入することを可能にし、アフィン運動モデルが導入されるため、オブジェクトの動きをより正確に記述するのに役立ち、したがって、予測精度を高めるのに役立つ。加えて、参照画素サンプルの数を2とすることができるため、これは、アフィン運動モデルが導入された後でアフィン運動モデルに基づいて行われる画像予測の計算複雑性をさらに低減させるのに役立ち、また、符号器によって送られるアフィンパラメータ情報や動きベクトルの差の数などを低減させるのにも役立つ。
【０３００】
本発明の一実施形態はコンピュータ記憶媒体をさらに提供する。本コンピュータ記憶媒体はプログラムを記憶することができ、プログラムが実行されると、前述の方法実施形態における任意の画像予測方法のステップの少なくとも一部または全部を行うことができる。
【０３０１】
図6を参照すると、図6は、本発明の一実施形態による画像処理方法の概略流れ図である。図6に例示するように、本発明の一実施形態で提供される画像処理方法は、以下のステップを含む。
【０３０２】
S601．現在の画像ブロックの動きベクトル2タプルを取得する。
【０３０３】
動きベクトル2タプルは、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含むことができる。本発明の各実施形態で言及される画素サンプルは、少なくとも2つの画素を含む画素または画素ブロックであってよい。
【０３０４】
本発明の各実施形態で言及される動きベクトルは、順方向動きベクトルであってもよく、または逆方向動きベクトルであってもよい。動きベクトル2タプル内の動きベクトルの方向は同じであってよい。
【０３０５】
現在の画像ブロックは、現在の符号化ブロックまたは現在の復号化ブロックであってよい。
【０３０６】
動きベクトル2タプルは、前述の実施形態における2つの画素サンプルの動きベクトルを含んでいてもよく、または前述の実施形態における併合動き情報単位集合i内の各動き情報単位の1つの動きベクトルを含んでいてもよく、または前述の実施形態におけるスケーリングされた併合動き情報単位集合i内の各動き情報単位の1つの動きベクトルを含んでいてもよく、または前述の実施形態における動き推定併合動き情報単位集合i内の各動き情報単位の1つの動きベクトルを含んでいてもよく、または前述の実施形態における併合動き情報単位集合i内の各動き情報単位の動きベクトルを予測値として用いて反復更新を行うことによって取得された動きベクトル2タプルであってもよい。2つの画素サンプル、併合動き情報単位集合i、スケーリングされた併合動き情報単位集合i、および動き推定併合動き情報単位集合iの動きベクトルの詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。前述の実施形態における併合動き情報単位集合iは、動きベクトルを含んでいてよく、動きベクトルの方向または動きベクトルに対応する参照フレームインデックスも含んでいてよいが、本発明の本実施形態における動きベクトル2タプルは動きベクトルだけを含む。
【０３０７】
2つの画素サンプルは、現在の画像ブロックの左上画素サンプル内の2つの画素サンプル、右領域内の画素サンプル、下領域内の画素サンプル、および右下領域内の画素サンプルを含む。
【０３０８】
現在の画像ブロックの左上画素サンプルは、現在の画像ブロックの左上頂点、または現在の画像ブロック内の、現在の画像ブロックの左上頂点を含む画素ブロックとすることができる。映像符号化および映像復号化において、左上画素サンプルの座標値をデフォルトで（0，0）とすることができる。
【０３０９】
現在の画像ブロックの下領域内の画素サンプルは、現在の画像ブロックの左上画素サンプルの下方の画素または画素ブロックとすることができる。下領域内の画素サンプルの垂直座標は、左上画素サンプルの垂直座標より大きい。下領域内の画素サンプルは、前述の実施形態における左下画素サンプルを含むことができる。下領域内の画素サンプルの水平座標は、左上画素サンプルの水平座標と同じとすることもでき、または下領域内の画素サンプルの水平座標と左上画素サンプルの水平座標との差をn画素の高さとすることもでき、nは3未満の正の整数である。
【０３１０】
現在の画像ブロックの右領域内の画素サンプルは、現在の画像ブロックの左上画素サンプルの右側の画素または画素ブロックとすることができる。右領域内の画素サンプルの水平座標は、左上画素サンプルの水平座標よりも大きい。右領域内の画素サンプルは、前述の実施形態における右上画素サンプルを含むことができる。右領域内の画素サンプルの垂直座標は、左上画素サンプルの垂直座標と同じとすることもでき、または右領域内の画素サンプルの垂直座標と左上画素サンプルの垂直座標との差をn画素の幅とすることもでき、nは3未満の正の整数である。
【０３１１】
現在の画像ブロックの右下領域内の画素サンプルは、現在の画像ブロックの左上画素サンプルの右下側の画素または画素ブロックとすることができる。右下領域内の画素サンプルの垂直座標は、左上画素サンプルの垂直座標より大きく、右下領域内の画素サンプルの水平座標は、左上画素サンプルの水平座標よりも大きい。右下領域内の画素サンプルは、前述の実施形態における中心画素サンプルa1を含むことができ、右下画素サンプルをさらに含むことができる。現在の画像ブロックの右下画素サンプルは、現在の画像ブロックの右下頂点、または現在の画像ブロック内の、現在の画像ブロックの右下頂点を含む画素ブロックとすることができる。
【０３１２】
画素サンプルが画素ブロックである場合、画素ブロックのサイズは、例えば、2＊2、1＊2、4＊2、4＊4、または別のサイズである。
【０３１３】
現在の画像ブロックの左上画素サンプル、右上画素サンプル、左下画素サンプル、および中心画素サンプルa1の詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３１４】
2つの画素サンプルも、前述の実施形態における2つの画素サンプルとすることができる。2つの画素サンプルの詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３１５】
S602．アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する。
【０３１６】
現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得される動きベクトルは、現在の画像ブロック内の各画素の動きベクトル、現在の画像ブロック内の各画素ブロックの動きベクトル、または前述の実施形態における現在の画像ブロック内の任意の画素サンプルの動きベクトル、のうちのいずれか1つとすることができる。現在の画像ブロック内の各画素の動きベクトル、現在の画像ブロック内の各画素ブロックの動きベクトル、および前述の実施形態における現在の画像ブロック内の任意の画素サンプルの動きベクトルの詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３１７】
アフィン運動モデルは、
【数４５】
2019013031.tif 000047
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【０３１８】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数４６】
2019013031.tif 000048
の形式である。
【０３１９】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルの水平成分の水平座標係数とアフィン運動モデルの水平成分の垂直座標係数の二乗和は1ではない。あるいは、本発明のいくつかの可能な実施態様において、アフィン運動モデルの垂直成分の垂直座標係数とアフィン運動モデルの垂直成分の水平座標係数の二乗和は1ではない。
【０３２０】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３２１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３２２】
あるいは、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３２３】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数４７】
2019013031.tif 000049
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離であり、またはwは、右領域内の画素サンプルの水平座標と左上画素サンプルの水平座標との差とすることができる。
【０３２４】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の現在の画像ブロックを含む場合、アフィン運動モデルは、具体的には、
【数４８】
2019013031.tif 000050
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離であり、またはhは、下領域内の画素サンプルの垂直座標と左上画素サンプルの垂直座標との差とすることができる。
【０３２５】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数４９】
2019013031.tif 000051
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【０３２６】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックが属する映像フレーム内の任意の2つの画素サンプルである場合、アフィン運動モデルは、具体的には、
【数５０】
2019013031.tif 000052
【数５１】
2019013031.tif 000053
であり、
式中、（x4，y4）は、2つの画素サンプル内の一方の画素サンプルの座標であり、（vx4，vy4）は、その座標が（x4，y4）である画素サンプルの動きベクトルであり、（x5，y5）は、2つの画素サンプル内の他方の画素サンプルの座標であり、（vx5，vy5）は、その座標が（x5，y5）である画素サンプルの動きベクトルである。
【０３２７】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理方法が画像トレースに適用される場合、計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得した後で、現在の画像ブロック内の任意の画素サンプルの位置および任意の画素サンプルの動きベクトルを用いて、任意の画素サンプルの動きベクトルに対応するフレームにおける、任意の画素サンプルに対応する、対応する位置をさらに決定することができる。
【０３２８】
さらに、対応する位置に従って、対応するフレーム内の現在の画像ブロックに対応する画像ブロックを取得し、対応する画像ブロックを現在の画像ブロックと比較し、2つの画像ブロックの差の二次差分の和または差分絶対値の和を計算し、現在の画像ブロックの画像トレースの正確さを評価するために2つの画像ブロック間のマッチング誤差を求める
【０３２９】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理方法が画像予測に適用される場合、計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得した後で、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値をさらに求めることができる。現在の画像ブロック内の任意の画素サンプルの動きベクトルは、現在の画像ブロック内の任意の画素の動きベクトルであってよく、プロセスは、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の各画素の予測画素値を求めること、であってよい。また、現在の画像ブロック内の任意の画素サンプルの動きベクトルは、現在の画像ブロック内の任意の画素ブロックの動きベクトルであってもよく、プロセスは、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロックの各画素ブロック内の各画素の予測画素値を求めること、であってよい。
【０３３０】
テスト時に、現在の画像ブロック内の各画素ブロックの動きベクトルをアフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって取得し、次いで、現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて求めた場合、現在の画像ブロック内の画素ブロックを粒度として用いて動きベクトル計算を行うことにより計算複雑性を大幅に低減させることができることが判明している。
【０３３１】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理方法が映像符号化プロセスに適用される場合、本方法は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行うステップ、をさらに含んでいてよい。
【０３３２】
プロセスは、具体的には、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素復元値を取得するように、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、であってよい。
【０３３３】
あるいは、プロセスは、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、動き補償予測を行って取得した任意の画素サンプルの画素の画素値および任意の画素サンプルの画素の実際の画素値を用いて任意の画素サンプルの予測残差を取得するステップと、任意の画素サンプルの予測残差をビットストリームに符号化することと、であってもよい。
【０３３４】
あるいは、任意の画素サンプルの予測残差を取得した後で、現在の画像ブロックの予測残差を取得するために、同様の方法を用いて、現在の画像ブロックの予測残差が必要とする他の画素サンプルの予測残差を取得する。次いで、現在の画像ブロックの予測残差をビットストリームに符号化する。実際の画素値を元の画素値と呼ぶこともできる。
【０３３５】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理方法が映像復号化プロセスに適用される場合、本方法は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプルの画素復元値を取得するステップ、をさらに含む。
【０３３６】
プロセスは、具体的には、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素復元値を取得するように、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、であってよい。
【０３３７】
あるいは、プロセスは、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、任意の画素サンプルの予測残差を取得するためにビットストリームを復号化するステップ、または任意の画素サンプルの予測残差を取得するように、現在の画像ブロックの予測残差を取得するためにビットストリームを復号化することと、任意の画素サンプルの画素のものである、動き補償予測を行って取得した画素値を参照して任意の画素サンプルの画素復元値を取得することと、であってもよい。
【０３３８】
現在の映像フレーム内の各画像ブロックに対して、現在の画像ブロックに対応する画像処理モードと同様のモードで画像処理を行うことができることが理解されよう。当然ながら、現在の画像ブロックに対応する画像処理モードとは異なるモードで、現在の映像フレーム内のいくつかの画像ブロックに対して画像処理を行ってもよい。
【０３３９】
本発明の本実施形態で提供される技術的解決策では、回転運動およびスケーリング運動に基づくアフィン運動モデルが、2つのパラメータのみを用いて構築される。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。技術的解決策に2つの変位係数を導入した後で、この技術的解決策に従い、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０３４０】
本発明の実施形態の前述の解決策をよりよく理解し、実施するために、以下で、具体的な応用シナリオを用いてさらに説明する。
【０３４１】
図7を参照すると、図7は、本発明の別の実施形態による別の画像処理方法の概略流れ図である。本実施形態では、主に、映像符号化装置で実施される画像処理方法を例に用いて説明する。図7に例示するように、本発明の別の実施形態で提供される別の画像処理方法は、以下のステップを含む。
【０３４２】
S701．映像符号化装置が、現在の画像ブロック内の2つの画素サンプルを決定する。
【０３４３】
2つの画素サンプルは、現在の画像ブロックの左上画素サンプル内の2つの画素サンプル、右領域内の画素サンプル、下領域内の画素サンプル、および右下領域内の画素サンプルを含む。現在の画像ブロックの左上画素サンプル、右領域内の画素サンプル、下領域内の画素サンプル、および右下領域内の画素サンプルの実態的な内容については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３４４】
S702．映像符号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する。
【０３４５】
各画素サンプルに対応する候補動き情報単位集合は、少なくとも1つの候補動き情報単位を含む。
【０３４６】
本発明の各実施形態で言及される画素サンプルは、少なくとも2つの画素を含む画素または画素ブロックであってよい。
【０３４７】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの左上画素サンプルに対応する候補動き情報単位集合、および対応する候補動き情報単位集合を生成するための方法の詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３４８】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの右領域内の画素サンプルに対応する候補動き情報単位集合はx6個の画素サンプルの動き情報単位を含む。x6個の画素サンプルは、現在の画像ブロックの右領域内の画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右領域内の画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x6は正の整数である。
【０３４９】
例えば、x6は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０３５０】
例えば、x6個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右領域内の画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右上に空間的に隣接した画素サンプル、または現在の画像ブロックの上端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０３５１】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの下領域内の画素サンプルに対応する候補動き情報単位集合はx7個の画素サンプルの動き情報単位を含む。x7個の画素サンプルは、現在の画像ブロックの下領域内の画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの下領域内の画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x7は正の整数である。
【０３５２】
例えば、x7は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０３５３】
例えば、x7個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの下領域内の画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの左端に空間的に隣接した画素サンプル、現在の画像ブロックの左下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０３５４】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロックの右下領域内の画素サンプルに対応する候補動き情報単位集合はx8個の画素サンプルの動き情報単位を含む。x8個の画素サンプルは、現在の画像ブロックの右下領域内の画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右下領域内の画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、x8は正の整数である。
【０３５５】
例えば、x8は、例えば、1、2、3、4、5、6、または別の値であってもよい。
【０３５６】
例えば、x8個の画素サンプルは、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右下領域内の画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含む。
【０３５７】
右下領域内の画素サンプルに含まれる右下画素サンプルに対応する候補動き情報単位集合は、現在の画像ブロックの右下画素サンプルに空間的に隣接した少なくとも1つの画素サンプルおよび／または現在の画像ブロックの右下画素サンプルに時間的に隣接した少なくとも1つの画素サンプルを含み、例えば、現在の画像ブロックが属する映像フレームに時間的に隣接した映像フレーム内の、現在の画像ブロックの右下画素サンプルと同じ位置を有する画素サンプル、現在の画像ブロックの右端に空間的に隣接した画素サンプル、現在の画像ブロックの右下に空間的に隣接した画素サンプル、または現在の画像ブロックの下端に空間的に隣接した画素サンプルのうちの少なくとも1つを含んでいてよい。
【０３５８】
画素サンプルに含まれる左下画素サンプル、右上画素サンプル、および中心画素サンプルa1に対応する候補動き情報単位集合、ならびに対応する候補動き情報単位集合を生成するための方法については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３５９】
同様に、右領域内の画素サンプル、下領域内の画素サンプル、右下領域内の画素サンプル、および右下領域内の画素サンプルに含まれる右下画素サンプルに対応する候補動き情報単位集合を生成するための方法についても、左下画素サンプル、右上画素サンプル、または中心画素サンプルa1に対応する候補動き情報単位集合を生成するための方法を参照されたい。ここでは詳細を繰り返さない。
【０３６０】
S703．映像符号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいて、N個の候補併合動き情報単位集合を決定する。
【０３６１】
S703の詳細については、前述の実施形態におけるS203の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３６２】
S704．映像符号化装置は、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０３６３】
任意選択で、本発明のいくつかの可能な実施態様において、映像符号化装置は、併合動き情報単位集合iの識別子を映像ビットストリームにさらに書き込んでもよい。これに対応して、映像復号化装置は、併合動き情報単位集合iのものである、映像ビットストリームから取得した識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。併合動き情報単位集合iの識別子は、併合動き情報単位集合iを識別することができる任意の情報であってよい。例えば、併合動き情報単位集合iの識別子は、併合動き情報単位集合リストにおける併合動き情報単位集合iのインデックスであってもよい。
【０３６４】
加えて、S704の詳細についても、前述の実施形態におけるS204の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３６５】
S705．映像符号化装置は、併合動き情報単位集合iを用いて動きベクトル2タプルを取得する。
【０３６６】
任意選択で、本発明のいくつかの可能な実施態様において、映像符号化装置は、現在の画像ブロックの併合情報単位集合i内の2つの動きベクトルを、簡略化されたアフィン運動探索を行うために動きベクトル2タプル内の2つの動きベクトルを探索するための動きベクトル予測子および初期値として用いることができる。探索プロセスは、簡単にいうと、動きベクトル予測子を初期値として用いて反復更新を行うことと、反復更新の回数が指定回数に達した場合、または反復更新を行って取得した2つの動きベクトルに従って取得した現在の画像ブロックの予測値と現在の画像ブロックの元の値とのマッチング誤差が指定の閾値未満である場合に、反復更新によって取得した2つの動きベクトルを動きベクトル2タプルとして用いることとして説明される。
【０３６７】
任意選択で、本発明のいくつかの可能な実施態様において、映像符号化装置は、2つの画素サンプルの動きベクトルの予測残差を、現在の画像ブロックの併合情報単位集合i内の2つの動きベクトルおよび動きベクトル2タプル内の2つの動きベクトル、すなわち、動きベクトル2タプル内の、現在の画像ブロックの併合情報単位集合i内の各動きベクトルに対応する動きベクトルと、現在の画像ブロックの併合情報単位集合i内の各動きベクトルとの差を用いてさらに取得し、2つの画素サンプルの動きベクトルの予測差を符号化することができる。
【０３６８】
S706．映像符号化装置は、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する。
【０３６９】
現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得される動きベクトルは、現在の画像ブロック内の各画素の動きベクトル、現在の画像ブロック内の各画素ブロックの動きベクトル、または前述の実施形態における現在の画像ブロック内の任意の画素サンプルの動きベクトル、のうちのいずれか1つとすることができる。現在の画像ブロック内の各画素の動きベクトル、現在の画像ブロック内の各画素ブロックの動きベクトル、および前述の実施形態における現在の画像ブロック内の任意の画素サンプルの動きベクトルの詳細については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３７０】
アフィン運動モデルは、
【数５２】
2019013031.tif 000054
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【０３７１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数５３】
2019013031.tif 000055
の形式である。
【０３７２】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルの水平成分の水平座標係数とアフィン運動モデルの水平成分の垂直座標係数の二乗和は1ではない。あるいは、本発明のいくつかの可能な実施態様において、アフィン運動モデルの垂直成分の垂直座標係数とアフィン運動モデルの垂直成分の水平座標係数の二乗和は1ではない。
【０３７３】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３７４】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３７５】
あるいは、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップは、2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得するステップと、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するステップと、を含んでいてよい。
【０３７６】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数５４】
2019013031.tif 000056
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離であり、またはwは、右領域内の画素サンプルの水平座標と左上画素サンプルの水平座標との差とすることができる。
【０３７７】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の現在の画像ブロックを含む場合、アフィン運動モデルは、具体的には、
【数５５】
2019013031.tif 000057
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離であり、またはhは、下領域内の画素サンプルの垂直座標と左上画素サンプルの垂直座標との差とすることができる。
【０３７８】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数５６】
2019013031.tif 000058
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【０３７９】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックが属する映像フレーム内の任意の2つの画素サンプルである場合、アフィン運動モデルは、具体的には、
【数５７】
2019013031.tif 000059
【数５８】
2019013031.tif 000060
であり、
式中、（x4，y4）は、2つの画素サンプル内の一方の画素サンプルの座標であり、（vx4，vy4）は、その座標が（x4，y4）である画素サンプルの動きベクトルであり、（x5，y5）は、2つの画素サンプル内の他方の画素サンプルの座標であり、（vx5，vy5）は、その座標が（x5，y5）である画素サンプルの動きベクトルである。
【０３８０】
現在の映像フレーム内の各画像ブロックに対して、現在の画像ブロックに対応する画像処理モードと同様のモードで画像処理を行うことができることが理解されよう。当然ながら、現在の画像ブロックに対応する画像処理モードとは異なるモードで、現在の映像フレーム内のいくつかの画像ブロックに対して画像処理を行ってもよい。
【０３８１】
S707．映像符号化装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求める。
【０３８２】
予測プロセスにおいて、現在の画像ブロック内の任意の異なる画素サンプルの動きベクトルに対応する参照フレームインデックスは、同じであってよく、併合情報単位集合i内の動きベクトルに対応する参照フレームインデックスであってよい。
【０３８３】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロック内の任意の画素サンプルの動きベクトルは、現在の画像ブロック内の任意の画素の動きベクトルであってよく、プロセスは、現在の画像ブロック内の各画素のものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の各画素の予測画素値を求めること、であってよい。
【０３８４】
任意選択で、本発明のいくつかの可能な実施態様において、現在の画像ブロック内の任意の画素サンプルの動きベクトルは、現在の画像ブロック内の任意の画素ブロックの動きベクトルであってもよく、プロセスは、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロックの各画素ブロック内の各画素の予測画素値を求めること、であってよい。
【０３８５】
テスト時に、現在の画像ブロック内の各画素ブロックの動きベクトルをアフィン運動モデルおよび併合動き情報単位集合iを用いて計算によって取得し、次いで、現在の画像ブロック内の各画素ブロック内の各画素の予測画素値を、現在の画像ブロック内の各画素ブロックのものである、計算によって取得した動きベクトルを用いて求めた場合、現在の画像ブロック内の画素ブロックを粒度として用いて動きベクトル計算を行うことにより計算複雑性を大幅に低減させることができることが判明している。
【０３８６】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理方法が映像符号化プロセスに適用される場合、本方法は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行うステップ、をさらに含んでいてよい。
【０３８７】
プロセスは、具体的には、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素復元値を取得するように、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、であってもよく、または現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めることと、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、動き補償予測を行って取得した任意の画素サンプルの画素の画素値および任意の画素サンプルの画素の実際の画素値を用いて任意の画素サンプルの予測残差を取得することと、予測残差をビットストリームに符号化することと、であってもよく、実際の画素値を元の画素値と呼ぶこともできる。
【０３８８】
現在の映像フレーム内の各画像ブロックに対して、現在の画像ブロックに対応する画像処理モードと同様のモードで画像処理を行うことができることが理解されよう。当然ながら、現在の画像ブロックに対応する画像処理モードとは異なるモードで、現在の映像フレーム内のいくつかの画像ブロックに対して画像処理を行ってもよい。
【０３８９】
本発明の本実施形態で提供される技術的解決策では、回転運動およびスケーリング運動に基づくアフィン運動モデルが、2つのパラメータのみを用いて構築される。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。技術的解決策に2つの変位係数を導入した後で、この技術的解決策に従い、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０３９０】
図8を参照すると、図8は、本発明の別の実施形態による別の画像処理方法の概略流れ図である。本実施形態では、主に、映像復号化装置で実施される画像処理方法を例に用いて説明する。図8に例示するように、本発明の別の実施形態で提供される別の画像処理方法は、以下のステップを含む。
【０３９１】
S801．映像復号化装置が、現在の画像ブロック内の2つの画素サンプルを決定する。
【０３９２】
2つの画素サンプルは、現在の画像ブロックの左上画素サンプル内の2つの画素サンプル、右領域内の画素サンプル、下領域内の画素サンプル、および右下領域内の画素サンプルを含む。現在の画像ブロックの左上画素サンプル、右領域内の画素サンプル、下領域内の画素サンプル、および右下領域内の画素サンプルの実態的な内容については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０３９３】
S802．映像復号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する。
【０３９４】
S802で映像復号化装置が2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する具体的なプロセスについては、S702で映像符号化装置が2つの画素サンプルの各々に対応する候補動き情報単位集合を決定する具体的なプロセスを参照されたい。ここでは詳細を繰り返さない。
【０３９５】
S803．映像復号化装置は、2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいてN個の候補併合動き情報単位集合を決定する。
【０３９６】
S803で映像復号化装置が2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいてN個の候補併合動き情報単位集合を決定する具体的なプロセスについては、S703で映像符号化装置が2つの画素サンプルの各々に対応する候補動き情報単位集合に基づいてN個の候補併合動き情報単位集合を決定する具体的なプロセスを参照されたい。ここでは詳細を繰り返さない。
【０３９７】
S804．映像復号化装置は、併合動き情報単位集合iの識別子および現在の画像ブロックの予測残差を取得するために映像ビットストリームに対して復号化処理を行い、併合動き情報単位集合iの識別子に基づいて、N個の候補併合動き情報単位集合の中から、2つの動き情報単位を含む併合動き情報単位集合iを決定する。
【０３９８】
これに対応して、映像符号化装置は、併合動き情報単位集合iの識別子を映像ビットストリームに書き込むことができる。
【０３９９】
S805．映像復号化装置は、併合動き情報単位集合iを用いて動きベクトル2タプルを取得する。
【０４００】
任意選択で、本発明のいくつかの可能な実施態様において、映像復号化装置は、現在の画像ブロックの併合情報単位集合i内の各動き情報単位の動きベクトルを動きベクトルの予測値として用い、現在の画像ブロック内の2つの画素サンプルの動きベクトルの予測差を取得するためにビットストリームを復号化し、動きベクトル予測子内の各動きベクトルに対応する動きベクトルの予測差を動きベクトル予測子内の各動きベクトルに付加することにより、現在の画像ブロック内の2つの画素サンプルの動きベクトルを含む動きベクトル2タプルを取得することができる。
【０４０１】
S806．映像復号化装置は、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する。
【０４０２】
S806で映像復号化装置がアフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する具体的なプロセスについては、S706で映像符号化装置がアフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する具体的なプロセスを参照されたい。ここでは詳細を繰り返さない。
【０４０３】
S807．映像復号化装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求める。
【０４０４】
予測プロセスにおいて、現在の画像ブロック内の任意の異なる画素サンプルの動きベクトルに対応する参照フレームインデックスは、同じであってよく、併合情報単位集合i内の動きベクトルに対応する参照フレームインデックスであってよい。
【０４０５】
S807で映像復号化装置が、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求める具体的なプロセスについては、S707で映像符号化装置が、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求める具体的なプロセスを参照されたい。ここでは詳細を繰り返さない。
【０４０６】
S808．映像復号化装置は、現在の画像ブロック内の任意の画素サンプルの予測画素値、および現在の画像ブロック内の任意の画素サンプルのものである、ビットストリームから取得した予測残差を用いて、任意の画素サンプルを復元する。
【０４０７】
プロセスは、具体的には、任意の画素サンプルの画素復元値を取得するように、任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことであってもよく、または任意の画素サンプルの画素の予測画素値を用いて任意の画素サンプルに対して動き補償予測を行うことと、任意の画素サンプルの予測残差を取得するためにビットストリームを復号化することと、任意の画素サンプルの画素のものである、動き補償予測を行って取得した画素値を参照して任意の画素サンプルの画素復元値を取得することと、であってもよい。
【０４０８】
現在の映像フレーム内の各画像ブロックに対して、現在の画像ブロックに対応する画像処理モードと同様のモードで画像処理を行うことができることが理解されよう。当然ながら、現在の画像ブロックに対応する画像処理モードとは異なるモードで、現在の映像フレーム内のいくつかの画像ブロックに対して画像処理を行ってもよい。
【０４０９】
本発明の本実施形態で提供される技術的解決策では、回転運動およびスケーリング運動に基づくアフィン運動モデルが、2つのパラメータのみを用いて構築される。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。技術的解決策に2つの変位係数を導入した後で、この技術的解決策に従い、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４１０】
以下で、前述の解決策を実施するための関連装置をさらに示す。
【０４１１】
図9を参照すると、本発明の一実施形態は、画像処理装置900をさらに提供する。本装置は、
現在の画像ブロックの動きベクトル2タプルを取得する取得部910であって、動きベクトル2タプルは、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、取得部910と、
アフィン運動モデルおよび取得部910が取得した動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部920と、
を含み、
アフィン運動モデルは、
【数５９】
2019013031.tif 000061
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【０４１２】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数６０】
2019013031.tif 000062
の形式である。
【０４１３】
任意選択で、本発明のいくつかの可能な実施態様において、計算部920は、2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように特に構成されていてよい。
【０４１４】
任意選択で、本発明のいくつかの可能な実施態様において、計算部920は、2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように特に構成されていてよい。
【０４１５】
任意選択で、本発明のいくつかの可能な実施態様において、計算部920は、2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように特に構成されていてよい。
【０４１６】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６１】
2019013031.tif 000063
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離である。
【０４１７】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６２】
2019013031.tif 000064
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離である。
【０４１８】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６３】
2019013031.tif 000065
であり、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【０４１９】
任意選択で、本発明のいくつかの可能な実施態様において、画像処理装置900は映像符号化装置に適用され、または画像予測装置は映像復号化装置に適用される。
【０４２０】
任意選択で、本発明のいくつかの可能な実施態様において、画像処理装置900が映像符号化装置に適用される場合、本装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって計算部920が取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行うように構成された、符号化部をさらに含む。
【０４２１】
任意選択で、本発明のいくつかの可能な実施態様において、画像処理装置900が映像符号化装置に適用される場合、本装置は、現在の画像ブロック内の任意の画素サンプルのものである、計算によって計算部920が取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプルの画素復元値を取得するように構成された、復号化部をさらに含む。
【０４２２】
本実施形態の画像処理装置900は、画像予測装置400内の機能ユニットをさらに含んでいてよく、本実施形態の画像処理装置900内の取得部910および計算部920は、予測部430が必要とする機能が実施されるように、予測部430に適用することができることに留意すべきである。画像予測装置400内の各機能ユニットの詳細な説明については、前述の実施形態の詳細な説明を参照されたい。ここでは詳細を繰り返さない。
【０４２３】
本実施形態の画像処理装置900の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像処理装置900は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０４２４】
本発明の本実施形態で提供される技術的解決策では、画像処理装置900は、2つのパラメータだけを用い、回転運動およびスケーリング運動に基づいてアフィン運動モデルを構築する。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。画像処理装置900に2つの変位係数が導入された後で、画像処理装置900は、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４２５】
図10を参照すると、図10は、本発明の一実施形態による別の画像処理装置1000の概略図である。画像処理装置1000は、少なくとも1つのバス1001と、バス1001に接続された少なくとも1つのプロセッサ1002と、バス1001に接続された少なくとも1つのメモリ1003とを含んでいてよい。
【０４２６】
プロセッサ1002は、プロセッサ1002が、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを含む、現在の画像ブロックの動きベクトル2タプルを取得し、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように構成されるように、バス1001を用いて、メモリ1003に記憶されたコードまたは命令を呼び出す。
【０４２７】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数６４】
2019013031.tif 000066
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数である。
【０４２８】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含み、したがって、アフィン運動モデルは、
【数６５】
2019013031.tif 000067
の形式である。
【０４２９】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサ1002は、2つの画素サンプルの動きベクトルおよび2つの画素サンプルの位置を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように構成されてよい。
【０４３０】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサ1002は、2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの水平成分の差の比および2つの画素サンプル間の距離に対する2つの画素サンプルの動きベクトルの垂直成分の差の比を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように構成されてよい。
【０４３１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する局面において、プロセッサ1002は、2つの画素サンプル間の距離に対する、または2つの画素サンプル間の距離の二乗に対する2つの画素サンプルの動きベクトルの成分の加重和の比を用いてアフィン運動モデルの係数の値を取得し、アフィン運動モデルおよびアフィン運動モデルの係数の値を用いて現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、ように構成されてよい。
【０４３２】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右側の右領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６６】
2019013031.tif 000068
であってよく、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx1，vy1）は、右領域内の画素サンプルの動きベクトルであり、wは、2つの画素サンプル間の距離である。
【０４３３】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの下方の下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６７】
2019013031.tif 000069
であってよく、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx2，vy2）は、下領域内の画素サンプルの動きベクトルであり、hは、2つの画素サンプル間の距離である。
【０４３４】
任意選択で、本発明のいくつかの可能な実施態様において、2つの画素サンプルが、現在の画像ブロックの左上画素サンプルおよび左上画素サンプルの右下側の右下領域内の画素サンプルを含む場合、アフィン運動モデルは、具体的には、
【数６８】
2019013031.tif 000070
であってよく、
式中、（vx0，vy0）は、左上画素サンプルの動きベクトルであり、（vx3，vy3）は、右下領域内の画素サンプルの動きベクトルであり、h1は、2つの画素サンプル間の垂直方向の距離であり、w1は、2つの画素サンプル間の水平方向の距離であり、w12＋h12は、2つの画素サンプル間の距離の二乗である。
【０４３５】
任意選択で、本発明のいくつかの可能な実施態様において、画像処理装置1000は映像符号化装置に適用され、または画像予測装置は映像復号化装置に適用される。
【０４３６】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理装置が映像符号化装置に適用される場合、プロセッサ1002は、アフィン運動モデルおよび動きベクトル2タプルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得した後で、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて現在の画像ブロック内の任意の画素サンプルに対して動き補償予測符号化を行う、ようにさらに構成される。
【０４３７】
任意選択で、本発明のいくつかの可能な実施態様において、本画像処理装置が映像復号化装置に適用される場合、プロセッサ1002は、現在の画像ブロック内の任意の画素サンプルの画素の予測画素値を求めた後で、現在の画像ブロック内の任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルに対して動き補償復号化を行い、任意の画素サンプル画素復元値を取得する、ようにさらに構成される。
【０４３８】
本実施形態の画像処理装置1000の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像処理装置1000は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０４３９】
本発明の本実施形態で提供される技術的解決策では、画像処理装置1000が、2つのパラメータだけを用い、回転運動およびスケーリング運動に基づいてアフィン運動モデルを構築する。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。画像処理装置1000に2つの変位係数が導入された後で、画像処理装置1000は、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４４０】
本発明の一実施形態はコンピュータ記憶媒体をさらに提供する。本コンピュータ記憶媒体はプログラムを記憶することができ、プログラムが実行されると、前述の方法実施形態における任意の画像処理方法のステップの少なくとも一部または全部を行うことができる。
【０４４１】
前述の各実施形態において、各実施形態の記述にはそれぞれの視点がある。ある実施形態で詳細に記載されていない部分については、他の実施形態の関連説明を参照されたい。
【０４４２】
図11を参照すると、図11は、本発明の別の実施形態による別の画像処理方法の概略流れ図である。図11に例示するように、本発明の別の実施形態で提供される別の画像処理方法は、以下のステップを含む。
【０４４３】
S1101．アフィン運動モデルの係数を取得し、アフィン運動モデルの係数およびアフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する。
【０４４４】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数６９】
2019013031.tif 000071
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数であり、アフィン運動モデルの係数はaおよびbを含んでいてよい。
【０４４５】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルの係数は、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含んでいてよく、したがって、アフィン運動モデルは、
【数７０】
2019013031.tif 000072
の形式である。
【０４４６】
S1102．任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルの画素の予測画素値を求める。
【０４４７】
本実施形態の詳細な説明については、前述の実施形態の関連説明を参照されたい。
【０４４８】
本発明の本実施形態で提供される技術的解決策では、回転運動およびスケーリング運動に基づくアフィン運動モデルが、2つのパラメータのみを用いて構築される。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。技術的解決策に2つの変位係数を導入した後で、この技術的解決策に従い、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４４９】
図12を参照すると、本発明の一実施形態は、画像処理装置1200をさらに提供する。本装置は、
アフィン運動モデルの係数を取得するように構成された、取得部1210と、
取得部1210が取得したアフィン運動モデルの係数およびアフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得するように構成された、計算部1220と、
任意の画素サンプルのものである、計算によって計算部1220が取得した動きベクトルを用いて任意の画素サンプルの画素の予測画素値を求めるように構成された、予測部1230と、
を含むことができる。
【０４５０】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数７１】
2019013031.tif 000073
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数であり、アフィン運動モデルの係数はaおよびbを含んでいてよい。
【０４５１】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルの係数は、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含んでいてよく、したがって、アフィン運動モデルは、
【数７２】
2019013031.tif 000074
の形式である。
【０４５２】
本実施形態の詳細な説明については、前述の実施形態の関連説明を参照されたい。
【０４５３】
本実施形態の画像処理装置1200の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像処理装置1200は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０４５４】
本発明の本実施形態で提供される技術的解決策では、画像処理装置1200は、2つのパラメータだけを用い、回転運動およびスケーリング運動に基づいてアフィン運動モデルを構築する。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。画像処理装置1200に2つの変位係数が導入された後で、画像処理装置1200は、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４５５】
図13を参照すると、図13は、本発明の一実施形態による別の画像処理装置1300の概略図である。画像処理装置1300は、少なくとも1つのバス1301と、バス1301に接続された少なくとも1つのプロセッサ1302と、バス1301に接続された少なくとも1つのメモリ1303とを含んでいてよい。
【０４５６】
プロセッサ1302は、プロセッサ1302が、アフィン運動モデルの係数を取得し、アフィン運動モデルの係数およびアフィン運動モデルを用いて計算によって現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得し、任意の画素サンプルのものである、計算によって取得した動きベクトルを用いて任意の画素サンプルの画素の予測画素値を求めるように、バス1301を用いて、メモリ1303に記憶されたコードまたは命令を呼び出す。
【０４５７】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルは、
【数７３】
2019013031.tif 000075
の形式であってよく、
式中、（x，y）は任意の画素サンプルの座標であり、vxは、任意の画素サンプルの動きベクトルの水平成分であり、vyは、任意の画素サンプルの動きベクトルの垂直成分であり、
式vx＝ax＋byにおいて、aはアフィン運動モデルの水平成分の水平座標係数であり、bはアフィン運動モデルの水平成分の垂直座標係数であり、式vy＝−bx＋ayにおいて、aはアフィン運動モデルの垂直成分の垂直座標係数であり、−bはアフィン運動モデルの垂直成分の水平座標係数であり、アフィン運動モデルの係数はaおよびbを含んでいてよい。
【０４５８】
任意選択で、本発明のいくつかの可能な実施態様において、アフィン運動モデルの係数は、アフィン運動モデルの水平成分の水平変位係数cおよびアフィン運動モデルの垂直成分の垂直変位係数dをさらに含んでいてよく、したがって、アフィン運動モデルは、
【数７４】
2019013031.tif 000076
の形式である。
【０４５９】
本実施形態の詳細な説明については、前述の実施形態の関連説明を参照されたい。
【０４６０】
本実施形態の画像処理装置1300の機能ユニットの機能は、前述の方法実施形態の方法に従って特に実施することができることが理解されよう。その具体的な実施プロセスについては、前述の方法実施形態における関連説明を参照されたい。ここでは詳細を繰り返さない。画像処理装置1300は、映像を出力し、再生する必要がある任意の装置、例えば、ノートブックコンピュータ、タブレットコンピュータ、パーソナルコンピュータ、携帯電話といった機器であってよい。
【０４６１】
本発明の本実施形態で提供される技術的解決策では、画像処理装置1300は、2つのパラメータだけを用い、回転運動およびスケーリング運動に基づいてアフィン運動モデルを構築する。これにより、計算複雑性が低減されるのみならず、動きベクトル推定精度も改善される。画像処理装置1300に2つの変位係数が導入された後で、画像処理装置1300は、回転運動、スケーリング運動、および並進運動の混合運動に基づいて動きベクトル推定を行うことができ、そのため、動きベクトルがより正確になる。
【０４６２】
本発明の一実施形態はコンピュータ記憶媒体をさらに提供する。本コンピュータ記憶媒体はプログラムを記憶することができ、プログラムが実行されると、前述の方法実施形態における任意の画像処理方法のステップの少なくとも一部または全部を行うことができる。
【０４６３】
前述の各実施形態において、各実施形態の記述にはそれぞれの視点がある。ある実施形態で詳細に記載されていない部分については、他の実施形態の関連説明を参照されたい。
【０４６４】
説明を簡単にするために、前述の方法実施形態は一連の動作として表されていることに留意すべきである。しかし、本発明によれば、いくつかのステップを他の順序で行い、または同時に行うこともできるため、当業者は本発明が記載されている動作順序だけに限定されないことを理解するはずである。加えて、当業者は、本明細書に記載されるすべての実施形態は例示的実施形態であり、関連する動作およびモジュールは必ずしも本発明に必須であるとは限らないことも理解するはずである。
【０４６５】
本出願で提供されるいくつかの実施形態においては、開示の装置を他のやり方で実現することもできることを理解すべきである。例えば、前述の装置実施形態は単なる例にすぎない。例えば、ユニット分割は単なる論理的機能分割にすぎず、実際の実装に際しては他の分割とすることもできる。例えば、複数のユニットまたはコンポーネントを組み合わせ、または統合して別のシステムとする場合もあり、一部の特徴を無視し、または実行しない場合もある。加えて、図示された、または記載された相互結合または直接結合または通信接続を、いくつかのインターフェースを介して実現することもできる。装置間またはユニット間の間接結合または通信接続は、電子的形態、または他の形態として実現することができる。
【０４６６】
別々の部品として記述されたユニットは物理的に分離している場合もそうではない場合もあり、ユニットとして図示された部品は物理的ユニットである場合もそうではない場合もあり、一箇所に位置する場合もあり、複数のネットワークユニット上に分散される場合もある。ユニットの一部または全部を、各実施形態の解決策の目的を達成するための実際の要件に従って選択することもできる。
【０４６７】
加えて、本発明の各実施形態における機能ユニットを1つの処理ユニットに統合することもでき、ユニットの各々が物理的に独立して存在していてもよく、または2つ以上のユニットが1つのユニットへ統合される。統合ユニットはハードウェアの形態で実現されてもよく、ソフトウェア機能ユニットの形態で実現されてもよい。
【０４６８】
前述の統合ユニットがソフトウェア機能ユニットの形態で実現され、独立した製品として販売または使用される場合、その統合ユニットはコンピュータ可読記憶媒体に記憶されていてよい。そうした理解に基づき、本発明の技術解決策を本質的に、または先行技術に寄与する部分を、または技術解決策の全部もしくは一部を、ソフトウェア製品の形態で実現することができる。ソフトウェア製品は記憶媒体に記憶されており、（パーソナルコンピュータ、サーバ、もしくはネットワークデバイスとすることができ、具体的には、コンピュータデバイス内のプロセッサとすることができる）コンピュータデバイスに、本発明の実施形態に記載されている前述の方法のステップの全部または一部を実行するよう命令するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブル・ハード・ディスク、磁気ディスク、光ディスク、読取り専用メモリ（ROM、Read−Only Memory）、ランダム・アクセス・メモリ（RAM、Random Access Memory）といった、プログラムコードを記憶することができる任意の媒体を含む。
【０４６９】
前述の実施形態は、本発明を限定するためのものではく、単に本発明の技術的解決策を説明するためのものにすぎない。本発明は前述の実施形態に関連して詳細に説明されているが、当業者は、本発明の実施形態の技術的解決策の趣旨および範囲を逸脱することなく、さらに、前述の実施形態で記述されている技術的解決策に改変を加え、あるいは、前述の実施形態の一部の技術的特徴に対する等価の置換を行うことができることを理解するはずである。
【符号の説明】
【０４７０】
400  画像予測装置
410  第1の決定部
420  第2の決定部
430  予測部
500  画像予測装置
501  バス
502  プロセッサ
503  メモリ
900  画像処理装置
910  取得部
920  計算部
1000  画像処理装置
1001  バス
1002  プロセッサ
1003  メモリ
1200  画像処理装置
1210  取得部
1220  計算部
1230  予測部
1300  画像処理装置
1301  バス
1302  プロセッサ
1303  メモリ
【図１−ａ】
2019013031.tif 000099
【図１−ｂ】
2019013031.tif 000100
【図１−ｃ】
2019013031.tif 000101
【図１−ｄ】
2019013031.tif 000102
【図２−ａ】
2019013031.tif 000103
【図２−ｂ】
2019013031.tif 000104
【図２−ｃ】
2019013031.tif 000105
【図２−ｄ】
2019013031.tif 000106
【図２−ｅ】
2019013031.tif 000107
【図２−ｆ】
2019013031.tif 000108
【図２−ｇ】
2019013031.tif 000109
【図２−ｈ】
2019013031.tif 000110
【図２−ｉ】
2019013031.tif 000111
【図３】
2019013031.tif 000112
【図４】
2019013031.tif 000113
【図５】
2019013031.tif 000114
【図６】
2019013031.tif 000115
【図７】
2019013031.tif 000116
【図８】
2019013031.tif 000117
【図９】
2019013031.tif 000118
【図１０】
2019013031.tif 000119
【図１１】
2019013031.tif 000120
【図１２】
2019013031.tif 000121
【図１３】
2019013031.tif 000122
【手続補正書】
【提出日】平成30年9月14日(2018.9.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを取得するステップと、
アフィン運動モデルおよび前記取得された動きベクトルを用いて前記現在の画像ブロック内の画素サンプルの動きベクトルを取得するステップと、
を含み、
前記アフィン運動モデルは、
【数１】
2019013031.tif 000123
であり、
式中、（x，y）は前記画素サンプルの座標であり、vxは、前記画素サンプルの前記動きベクトルの水平成分であり、vyは、前記画素サンプルの前記動きベクトルの垂直成分であり、a，b，c，dは、アフィン運動モデルの係数である、
画像処理方法。
【請求項２】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの右上画素サンプルを含む場合、aは、
【数２】
2019013031.tif 000124
であり、bは、
【数３】
2019013031.tif 000125
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数４】
2019013031.tif 000126
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右上画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項1に記載の方法。
【請求項３】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの左下画素サンプルを含む場合、aは、
【数５】
2019013031.tif 000127
であり、bは、
【数６】
2019013031.tif 000128
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数７】
2019013031.tif 000129
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記左下画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項1に記載の方法。
【請求項４】
前記アフィン運動モデルおよび前記取得された動きベクトルを用いて前記現在の画像ブロック内の前記画素サンプルの前記動きベクトルを取得するステップの後に、前記方法は、
前記画素サンプルの前記動きベクトルを用いて画像ブロックに対して動き補償予測符号化を行うステップであって、前記画素サンプルは前記画像ブロックに属し、前記画像ブロックは前記現在の画像ブロックに属する、ステップ
をさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルを取得するように構成された、取得部と、
アフィン運動モデルおよび前記取得された動きベクトルを用いて前記現在の画像ブロック内の画素サンプルの動きベクトルを取得するように構成された、計算部と、
を含み、
前記アフィン運動モデルは、
【数８】
2019013031.tif 000130
であり、
式中、（x，y）は前記画素サンプルの座標であり、vxは、前記画素サンプルの前記動きベクトルの水平成分であり、vyは、前記画素サンプルの前記動きベクトルの垂直成分であり、a，b，c，dは、アフィン運動モデルの係数である、
画像処理装置。
【請求項６】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの右上画素サンプルを含む場合、aは、
【数９】
2019013031.tif 000131
であり、bは、
【数１０】
2019013031.tif 000132
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数１１】
2019013031.tif 000133
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右上画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項5に記載の装置。
【請求項７】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの左下画素サンプルを含む場合、aは、
【数１２】
2019013031.tif 000134
であり、bは、
【数１３】
2019013031.tif 000135
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数１４】
2019013031.tif 000136
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記左下画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項5に記載の装置。
【請求項８】
前記画像処理装置が映像符号化装置に適用される場合、前記装置は、前記画素サンプルの前記動きベクトルを用いて画像ブロックに対して動き補償予測符号化を行うように構成された、符号化部をさらに含み、前記画素サンプルは前記画像ブロックに属し、前記画像ブロックは前記現在の画像ブロックに属する、請求項5から7のいずれか一項に記載の装置。
【請求項９】
プロセッサとメモリと、を含み、
前記プロセッサは、前記プロセッサが、現在の画像ブロックが属する映像フレーム内の2つの画素サンプルの動きベクトルをを取得し、
アフィン運動モデルおよび前記取得された動きベクトルを用いて計算によって前記現在の画像ブロック内の任意の画素サンプルの動きベクトルを取得する、
ように構成されるように、前記メモリに記憶されたコードまたは命令を呼び出し、
前記アフィン運動モデルは、
【数１５】
2019013031.tif 000137
であり、
式中、（x，y）は前記任意の画素サンプルの座標であり、vxは、前記任意の画素サンプルの前記動きベクトルの水平成分であり、vyは、前記任意の画素サンプルの前記動きベクトルの垂直成分であり、a，b，c，dは、アフィン運動モデルの係数である、
画像処理装置。
【請求項１０】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの右上画素サンプルを含む場合、aは、
【数１６】
2019013031.tif 000138
であり、bは、
【数１７】
2019013031.tif 000139
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数１８】
2019013031.tif 000140
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx1，vy1）は、前記右上画素サンプルの動きベクトルであり、wは、前記2つの画素サンプル間の距離である、請求項9に記載の装置。
【請求項１１】
前記2つの画素サンプルが、前記現在の画像ブロックの左上画素サンプルおよび前記現在の画像ブロックの左下画素サンプルを含む場合、aは、
【数１９】
2019013031.tif 000141
であり、bは、
【数２０】
2019013031.tif 000142
であり、cは、vx0であり、dは、vy0であり、したがって、前記アフィン運動モデルは、
【数２１】
2019013031.tif 000143
であり、
式中、（vx0，vy0）は、前記左上画素サンプルの動きベクトルであり、（vx2，vy2）は、前記左下画素サンプルの動きベクトルであり、hは、前記2つの画素サンプル間の距離である、請求項9に記載の装置。
【請求項１２】
前記画像処理装置が映像符号化装置に適用される場合、前記プロセッサは、前記画素サンプルの前記動きベクトルを用いて画像ブロックに対して動き補償予測符号化を行う、ようにさらに構成され、前記画素サンプルは前記画像ブロックに属し、前記画像ブロックは前記現在の画像ブロックに属する、請求項9から11のいずれか一項に記載の装置。
【請求項１３】
請求項1から4のいずれか一項に記載の方法をコンピュータに実行させるプログラムが記録されたコンピュータ可読記憶媒体。
【請求項１４】
請求項1から4のいずれか一項に記載の方法をコンピュータに実行させるプログラム。
【外国語明細書】
2019013031000001.pdf