(57)【要約】  本出願は、画像予測の方法および装置、ならびにコーデックを提供する。方法は、現在の画像ブロックの初期動き情報を取得することと、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置と決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にある、決定することと、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得することとを含む。本出願は、画像予測精度を改善し、画像予測複雑度を低減することができる。
2021508213.tif 000002
【特許請求の範囲】
【請求項１】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
【請求項２】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、
前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項1に記載の方法。
【請求項３】
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項1または2に記載の方法。
【請求項４】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの前記位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期前方参照ブロックの前記位置を第1の探索開始点として使用して、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用して、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項1から4のいずれか一項に記載の方法。
【請求項６】
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記方法は、前記現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップは、前記現在の画像ブロックの候補動き情報リストから前記初期動き情報を取得するステップを含むか、または
前記方法は、前記現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップの前に、前記方法は、前記現在の画像ブロックのビットストリームから指示情報を取得するステップであって、前記指示情報は、前記現在の画像ブロックの前記初期動き情報を指示するために使用される、ステップをさらに含む請求項1から6のいずれか一項に記載の方法。
【請求項８】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づき、M対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
【請求項９】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項8に記載の方法。
【請求項１０】
前記方法は、
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項8または9に記載の方法。
【請求項１１】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項8から10のいずれか一項に記載の方法。
【請求項１２】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期前方参照ブロックの前記位置を第1の探索開始点として使用して、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用して、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項8から11のいずれか一項に記載の方法。
【請求項１３】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項8から12のいずれか一項に記載の方法。
【請求項１４】
前記方法は、前記現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップは、前記現在の画像ブロックの候補動き情報リストから前記初期動き情報を取得するステップを含むか、または
前記方法は、前記現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップの前に、前記方法は、前記現在の画像ブロックのビットストリームから指示情報を取得するステップであって、前記指示情報は、前記現在の画像ブロックの前記初期動き情報を指示するために使用される、ステップをさらに含む請求項8から13のいずれか一項に記載の方法。
【請求項１５】
画像予測方法であって、
現在の画像ブロックの第i回動き情報を取得するステップと、
前記第i回動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および前記現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、ステップとを含む画像予測方法。
【請求項１６】
i=1であるならば、前記第i回動き情報は、前記現在の画像ブロックの初期動き情報であるか、または
i>1であるならば、前記第i回動き情報は、前記第(i-1)回ターゲット前方参照ブロックの前記位置を指す前方動きベクトルと、前記第(i-1)回ターゲット後方参照ブロックの前記位置を指す後方動きベクトルとを含む請求項15に記載の方法。
【請求項１７】
第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記画像ブロックのピクセル値の予測値を取得する前記ステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、前記ステップは、
繰り返し終了条件が満たされたとき、前記第j回ターゲット前方参照ブロックの前記ピクセル値および前記第j回ターゲット後方参照ブロックの前記ピクセル値に基づき前記画像ブロックの前記ピクセル値の前記予測値を取得するステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、ステップを含む請求項15または16に記載の方法。
【請求項１８】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、
前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項15から17のいずれか一項に記載の方法。
【請求項１９】
前記第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、
前記第i回動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記前方動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第(i-1)回ターゲット前方参照ブロックの前記位置を第ifの探索開始点として使用して、前記前方参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記第(i-1)回ターゲット前方参照ブロックの前記位置を決定し、前記前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記第(i-1)回ターゲット前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記後方動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第(i-1)回ターゲット後方参照ブロックの前記位置を第ibの探索開始点として使用して、前記後方参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記第(i-1)回ターゲット後方参照ブロックの前記位置を決定し、前記後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記第(i-1)回ターゲット後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項15から18のいずれか一項に記載の方法。
【請求項２０】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および前記現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記第i回ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記第i回ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記第i回ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記第i回ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項15から19のいずれか一項に記載の方法。
【請求項２１】
画像予測方法であって、
現在の画像ブロックの第i回動き情報を取得するステップと、
前記第i回動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および前記現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、前記前方参照画像内の第(i-1)回ターゲット前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、前記後方参照画像内の第(i-1)回ターゲット後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、ステップとを含む画像予測方法。
【請求項２２】
i=1であるならば、前記第i回動き情報は、前記現在の画像ブロックの初期動き情報であるか、または
i>1であるならば、前記第i回動き情報は、前記第(i-1)回ターゲット前方参照ブロックの前記位置を指す前方動きベクトルと、前記第(i-1)回ターゲット後方参照ブロックの前記位置を指す後方動きベクトルとを含む請求項21に記載の方法。
【請求項２３】
前記第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記画像ブロックのピクセル値の予測値を取得する前記ステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、前記ステップは、
繰り返し終了条件が満たされたとき、前記第j回ターゲット前方参照ブロックの前記ピクセル値および前記第j回ターゲット後方参照ブロックの前記ピクセル値に基づき前記画像ブロックの前記ピクセル値の前記予測値を取得するステップであって、jはi以上であり、iおよびjはいずれも1以上の整数である、ステップを含む請求項21または22に記載の方法。
【請求項２４】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値は前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項21から23のいずれか一項に記載の方法。
【請求項２５】
画像予測装置であって、
現在の画像ブロックの初期動き情報を取得するように構成されている第1の取得ユニットと、
第1の探索ユニットであって、前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第1の探索ユニットと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するように構成されている第1の予測ユニットとを備える画像予測装置。
【請求項２６】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項25に記載の装置。
【請求項２７】
前記第1の予測ユニットは、前記現在の画像ブロックの更新動き情報を取得するようにさらに構成され、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す請求項25または26に記載の装置。
【請求項２８】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項25から27のいずれか一項に記載の装置。
【請求項２９】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置と、N個の後方参照ブロックの位置とを決定する態様において、前記第1の探索ユニットは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記初期前方参照ブロックの位置を第1の探索開始点として使用し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定し、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含み、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定し、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ように特に構成される請求項25から28のいずれか一項に記載の装置。
【請求項３０】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、前記第1の探索ユニットは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するか、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定し、MはN以下である、ように特に構成される請求項25から29のいずれか一項に記載の装置。
【請求項３１】
画像予測装置であって、
現在の画像ブロックの初期動き情報を取得するように構成されている第2の取得ユニットと、
第2の探索ユニットであって、前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第2の探索ユニットと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するように構成されている第2の予測ユニットとを備える画像予測装置。
【請求項３２】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値は前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項31に記載の装置。
【請求項３３】
前記第2の予測ユニットは、前記現在の画像ブロックの更新動き情報を取得するようにさらに構成され、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す請求項31または32に記載の装置。
【請求項３４】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの前記位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項31から33のいずれか一項に記載の装置。
【請求項３５】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、前記第2の探索ユニットは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記初期前方参照ブロックの位置を第1の探索開始点として使用し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定し、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含み、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定し、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ように特に構成される請求項31から34のいずれか一項に記載の装置。
【請求項３６】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、前記第2の探索ユニットは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するか、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定し、MはN以下である、ように特に構成される請求項31から35のいずれか一項に記載の装置。
【請求項３７】
画像予測装置であって、
現在の画像ブロックの第i回動き情報を取得するように構成されている第3の取得ユニットと、
第3の探索ユニットであって、前記第i回動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第3の探索ユニットと、
前記第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第3の予測ユニットとを備える画像予測装置。
【請求項３８】
i=1であるならば、前記第i回動き情報は、前記現在の画像ブロックの初期動き情報であるか、または
i>1であるならば、前記第i回動き情報は、前記第(i-1)回ターゲット前方参照ブロックの前記位置を指す前方動きベクトルと、前記第(i-1)回ターゲット後方参照ブロックの前記位置を指す後方動きベクトルとを含む請求項37に記載の装置。
【請求項３９】
前記第3の予測ユニットは、繰り返し終了条件が満たされたとき、前記第j回ターゲット前方参照ブロックの前記ピクセル値および前記第j回ターゲット後方参照ブロックの前記ピクセル値に基づき前記画像ブロックの前記ピクセル値の前記予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように特に構成される請求項37または38に記載の装置。
【請求項４０】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、
前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項37から39のいずれか一項に記載の装置。
【請求項４１】
前記第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第3の探索ユニットは、
前記前方動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記前方参照画像インデックスに対応する前記前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定し、前記N個の前方参照ブロックの前記位置は、前記第(i-1)回ターゲット前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含み、
前記後方動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記後方参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記第(i-1)回ターゲット後方参照ブロックの前記位置を決定し、前記第(i-1)回ターゲット後方参照ブロックの前記位置を第ibの探索開始点として使用し、前記後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定し、前記N個の後方参照ブロックの前記位置は、前記第(i-1)回ターゲット後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ように特に構成される請求項37から40のいずれか一項に記載の装置。
【請求項４２】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および前記現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定する態様において、前記第3の探索ユニットは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記第i回ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記第i回ターゲット後方参照ブロックの前記位置であると決定するか、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記第i回ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記第i回ターゲット後方参照ブロックの前記位置であると決定し、MはN以下である、ように特に構成される請求項37から41のいずれか一項に記載の装置。
【請求項４３】
画像予測装置であって、
現在の画像ブロックの第i回動き情報を取得するように構成されている第4の取得ユニットと、
第4の探索ユニットであって、前記第i回動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、前記前方参照画像内の第(i-1)回ターゲット前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、前記後方参照画像内の第(i-1)回ターゲット後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第4の探索ユニットと、
前記第j回ターゲット前方参照ブロックのピクセル値および前記第j回ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第4の予測ユニットとを備える画像予測装置。
【請求項４４】
i=1であるならば、前記第i回動き情報は、前記現在の画像ブロックの初期動き情報であるか、または
i>1であるならば、前記第i回動き情報は、前記第(i-1)回ターゲット前方参照ブロックの前記位置を指す前方動きベクトルと、前記第(i-1)回ターゲット後方参照ブロックの前記位置を指す後方動きベクトルとを含む請求項43に記載の装置。
【請求項４５】
前記第4の予測ユニットは、繰り返し終了条件が満たされたとき、前記第j回ターゲット前方参照ブロックの前記ピクセル値および前記第j回ターゲット後方参照ブロックの前記ピクセル値に基づき前記画像ブロックの前記ピクセル値の前記予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように特に構成される請求項43または44に記載の装置。
【請求項４６】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値は前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項43から45のいずれか一項に記載の装置。
【請求項４７】
画像ブロックを符号化するように構成されているビデオエンコーダであって、
請求項25から46のいずれか一項に記載の前記画像予測装置を備える、フレーム間予測モジュールであって、予測を通じて前記画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、
指示情報をビットストリームに符号化するように構成されているエントロピー符号化モジュールであって、前記指示情報は前記画像ブロックの初期動き情報を指示するために使用される、エントロピー符号化モジュールと、
前記画像ブロックの前記ピクセル値の前記予測値に基づき前記画像ブロックを再構成するように構成されている再構成モジュールとを備えるビデオエンコーダ。
【請求項４８】
ビットストリームを復号して画像ブロックを取得するように構成されているビデオデコーダであって、
前記ビットストリームを復号して指示情報を取得するように構成されているエントロピー復号モジュールであって、前記指示情報は復号を通じて取得された現在の画像ブロックの初期動き情報を指示するために使用される、エントロピー復号モジュールと、
請求項25から46のいずれか一項に記載の前記画像予測装置を備える、フレーム間予測モジュールであって、予測を通じて前記画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、
前記画像ブロックの前記ピクセル値の前記予測値に基づき前記画像ブロックを再構成するように構成されている再構成モジュールとを備えるビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、ビデオ符号化技術の分野に関し、具体的には、画像予測の方法および装置、ならびにコーデックに関する。
【背景技術】
【０００２】
MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4 Part 10 Advanced Video Coding(advanced video coding、AVC)、ITU-TH.265 High Efficiency Video Coding(high efficiency video coding、HEVC)などのビデオ圧縮技術、およびこれらの標準の拡張部に記載されているビデオ圧縮技術を使用することによって、デジタルビデオ情報は、デバイス間で効率よく送信および受信され得る。一般的に、ビデオシーケンスの画像は、符号化または復号のために画像ブロックに分割される。
【０００３】
ビデオ圧縮技術において、画像ブロックに基づく空間予測(フレーム内予測、intra prediction)および/または時間予測(フレーム間予測、inter prediction)は、ビデオシーケンス内の冗長情報を低減または除去するために導入される。フレーム間予測モードは、マージモード(Merge Mode)、非マージモード(たとえば、高度動きベクトル予測モード(advanced motion vector prediction mode)(AMVP mode))、および同様のものを含みうるが、これらに限定されず、すべてのフレーム間予測は、マルチ動き情報競合法(multi-motion information contention method)を使用することによって行われる。
【０００４】
フレーム間予測プロセスにおいて、動き情報の複数のグループ(複数の候補動き情報とも称される)を含む候補動き情報リスト(略して、候補リスト)が導入される。たとえば、エンコーダは、現在の符号化されるべき画像ブロックの動き情報(たとえば、動きベクトル)としてまたはそれを予測するために候補リストから選択された動き情報のグループを使用して、現在の符号化されるべき画像ブロックの参照画像ブロック(すなわち、参照サンプル)を取得し得る。それに対応して、デコーダはビットストリームを復号して指示情報を取得し、動き情報のグループを取得し得る。動き情報の符号化のオーバーヘッド(すなわち、占有ビットストリームのビットのオーバーヘッド)は、フレーム間予測プロセスにおいて制限されているので、これは、動き情報の精度にある程度影響を及ぼし、画像予測精度にさらに影響を及ぼす。
【０００５】
画像予測精度を改善するために、既存のデコーダ側動きベクトル精密化(Decoder-side motion vector refinement、DMVR)技術が動き情報を精密化するために使用され得る。しかしながら、画像予測を行うためにDMVRソリューションが使用されるとき、テンプレートマッチングブロックが計算される必要があり、テンプレートマッチングブロックは、前方参照画像および後方参照画像において探索マッチングプロセスを別々に行うために使用される必要があり、その結果、探索複雑度が比較的高くなる。したがって、画像予測精度を改善しつつ画像予測中の複雑度をどのように減らすかが、解決される必要のある問題である。
【発明の概要】
【０００６】
本出願の実施形態は、画像予測精度を改善し、画像予測複雑度をある程度まで低減し、符号化性能をさらに改善すべく、画像予測の方法および装置、ならびに対応するエンコーダおよびデコーダを提供する。
【課題を解決するための手段】
【０００７】
第1の態様によれば、本出願の一実施形態は、画像予測方法を提供する。方法は、現在の画像ブロックの初期動き情報を取得することと、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することであって、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数である、決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、決定することと、ターゲット前方参照ブロックのピクセル値(sample)およびターゲット後方参照ブロックのピクセル値(sample)に基づき現在の画像ブロックのピクセル値の予測値を取得することとを含む。
【０００８】
本出願のこの実施形態において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ことに特に留意されたい。したがって、初期前方参照ブロックの位置に対する初期前方参照ブロックの位置のオフセットは0であり、初期後方参照ブロックの位置に対する初期後方参照ブロックの位置のオフセットは0である。オフセット0およびオフセット0もまた鏡像関係の条件を満たす。
【０００９】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【００１０】
さらに、本明細書における現在の画像ブロック(現在のブロックと称される)は、現在処理されている画像ブロックとして理解され得ることが理解されるべきである。たとえば、符号化プロセスでは、現在の画像ブロックは符号化ブロック(encoding block)である。復号プロセスでは、現在の画像ブロックは符号化ブロック(decoding block)である。
【００１１】
さらに、本明細書における参照ブロックは、現在のブロックに対する参照信号を提供するブロックであることが理解されるべきである。探索プロセスにおいて、最適な参照ブロックを見つけるために複数の参照ブロックがトラバースされる必要がある。前方参照画像内に配置されている参照ブロックは、前方参照ブロックと称される。後方参照画像内に配置されている参照ブロックは、後方参照ブロックと称される。
【００１２】
さらに、現在のブロックに対する予測を提供するブロックは、予測ブロックと称されることが理解されるべきである。たとえば、複数の参照ブロックがトラバースされた後、最適な参照ブロックが見つけられる。最適な参照ブロックは、現在のブロックに対する予測を提供し、予測ブロックと称される。予測ブロック内のピクセル値、サンプリング値、またはサンプリング信号は、予測信号と称される。
【００１３】
さらに、本明細書のマッチングコスト基準は、対にされた前方参照ブロックと後方参照ブロックの間のマッチングコストを考慮するための基準として理解されることが理解されるべきである。マッチングコストは、2つのブロックの間の差分として理解されてよく、2つのブロック内の対応する位置におけるサンプルの累積差分と考えられ得る。差分は、通常、SAD(sum of absolute difference、絶対差分和)基準または別の基準、たとえば、SATD(Sum of Absolute Transform Difference、絶対変換差分和)、MR-SAD (mean-removed sum of absolute difference、平均除去絶対差分和)、もしくはSSD(sum of squared differences、平方差分和)に基づき計算される。
【００１４】
さらに、本出願のこの実施形態における現在の画像ブロックの初期動き情報は、動きベクトルMVおよび参照画像指示情報を含み得ることに留意されたい。確かに、初期動き情報は、あるいは、動きベクトルもしくは参照画像指示情報のうちの一方、または動きベクトルと参照画像指示情報の両方を含み得る。たとえば、エンコーダ側およびデコーダ側が参照画像に関してともに一致しているとき、初期動き情報は、動きベクトルMVのみを含み得る。参照画像指示情報は、どの1つまたは複数の再構成された画像が現在のブロックに対する参照画像として使用されるかを示すために使用される。動きベクトルは、現在のブロックの位置に対する使用された参照画像内の参照ブロックの位置のオフセットを示し、一般的に水平成分オフセットと垂直成分オフセットとを含む。たとえば、(x,y)は、MVを表すために使用され、xは水平方向の位置オフセットを表し、yは垂直方向の位置オフセットを表す。参照画像内の現在のブロックの参照ブロックの位置は、MVを現在のブロックの位置に加算することによって取得できる。参照画像指示情報は、参照画像リストおよび/または参照画像リストに対応する参照画像インデックスを含み得る。参照画像インデックスは、指定された参照画像リスト(RefPicList0またはRefPicList1)内の使用された動きベクトルに対応する参照画像を識別するために使用される。画像はフレームと呼ばれることがあり、参照画像は参照フレームと呼ばれることがある。
【００１５】
本出願のこの実施形態において、現在の画像ブロックの初期動き情報は、初期双方向予測動き情報である、すなわち、前方予測方向で使用される動き情報および後方予測方向で使用される動き情報を含む。本明細書では、前方および後方予測方向は、双方向予測モードの2つの予測方向である。「前方」および「後方」は、それぞれ、現在の画像の参照画像リスト0(RefPicList0)および参照画像リスト1(RefPicList1)に対応すると理解され得る。
【００１６】
さらに、本出願のこの実施形態における初期前方参照ブロックの位置は、前方参照画像内の参照ブロックの位置であり、また現在のブロックの位置を初期MVによって表されているオフセットに加算することによって取得される位置であることに留意されたい。本出願のこの実施形態における初期後方参照ブロックの位置は、後方参照画像内の参照ブロックの位置であり、また現在のブロックの位置を初期MVによって表されているオフセットに加算することによって取得される位置である。
【００１７】
本出願のこの実施形態における方法は、画像予測装置によって実行され得ることが理解されるべきである。たとえば、方法は、ビデオエンコーダ、ビデオデコーダ、またはビデオ符号化機能を有する電子デバイスによって実行され得る。たとえば、方法は、ビデオエンコーダ内のフレーム間予測ユニット、またはビデオデコーダ内の動き補償ユニットによって特に実行され得る。
【００１８】
第1の態様に関して、第1の態様のいくつかの実装形態において、第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、第1の位置オフセット値が第2の位置オフセット値と同じであることとして理解され得る。たとえば、第1の位置オフセットの方向(ベクトル方向とも称される)は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じである。
【００１９】
一例において、第1の位置オフセットは、第1の水平成分オフセットと、第1の垂直成分オフセットとを含み、第2の位置オフセットは、第2の水平成分オフセットと、第2の垂直成分オフセットとを含む。第1の水平成分オフセットの方向は、第2の水平成分オフセットの方向と反対であり、第1の水平成分オフセットの振幅値は、第2の水平成分オフセットの振幅値と同じである。第1の垂直成分オフセットの方向は、第2の垂直成分オフセットの方向と反対であり、第1の垂直成分オフセットの振幅値は、第2の垂直成分オフセットの振幅値と同じである。
【００２０】
別の例では、第1の位置オフセットおよび第2の位置オフセットはいずれも0である。
【００２１】
第1の態様に関して、第1の態様のいくつかの実装形態において、方法は、現在の画像ブロックの更新動き情報を取得することであって、更新動き情報は更新前方動きベクトルと更新後方動きベクトルとをさらに含み、更新前方動きベクトルはターゲット前方参照ブロックの位置を指し、更新後方動きベクトルはターゲット後方参照ブロックの位置を指す。
【００２２】
異なる例では、現在の画像ブロックの更新動き情報は、ターゲット前方参照ブロックの位置、ターゲット後方参照ブロックの位置、および現在の画像ブロックの位置に基づき取得されるか、または一対の参照ブロックの決定された位置に対応している第1の位置オフセットおよび第2の位置オフセットに基づき取得される。
【００２３】
現在の画像ブロックの精密化された動き情報は、本出願のこの実施形態において取得できることがわかる。これは、現在の画像ブロックの動き情報の精度を改善し、別の画像ブロックの予測も円滑にし、たとえば、別の画像ブロックの動き情報の予測精度を改善する。
【００２４】
第1の態様に関して、第1の態様のいくつかの実装形態において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【００２５】
N対の参照ブロックの位置は、対にされた初期前方参照ブロックおよび初期後方参照ブロックの位置と、対にされた候補前方参照ブロックおよび候補後方参照ブロックの位置とを含むことに留意されたい。前方参照画像内の初期前方参照ブロックの位置に対する候補前方参照ブロックの位置のオフセットは、後方参照画像内の初期後方参照ブロックの位置に対する候補後方参照ブロックの位置のオフセットと鏡像関係にある。
【００２６】
第1の態様に関して、第1の態様のいくつかの実装形態において、初期動き情報は、前方予測動き情報と、後方予測動き情報とを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
前方予測動き情報、および現在の画像ブロックの位置に基づき前方参照画像内のN個の前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離である、決定することと、
後方予測動き情報、および現在の画像ブロックの位置に基づき後方参照画像内のN個の後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離である、決定することとを含む。
【００２７】
第1の態様に関して、第1の態様のいくつかの実装形態において、初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
第1の動きベクトルおよび現在の画像ブロックの位置に基づき、初期前方参照ブロックの位置を第1の探索開始点として使用して、第1の参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの初期前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含む、決定することと、
第2の動きベクトルおよび現在の画像ブロックの位置に基づき、初期後方参照ブロックの位置を第2の探索開始点として使用して、第2の参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの初期後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、決定することとを含む。
【００２８】
第1の態様に関して、第1の態様のいくつかの実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することは、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定すること、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、MはN以下である、決定することを含む。
【００２９】
一例において、マッチングコスト基準は、マッチングコスト最小化基準である。たとえば、M対の参照ブロックの位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、各対の参照ブロックについて計算され、M対の参照ブロックの位置から、ピクセル値が最小差分のピクセル値である一対の参照ブロックの位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【００３０】
別の例では、マッチングコスト基準は、マッチングコスト最小化および早期終了基準である。たとえば、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分が計算され、nは1以上、N以下の整数であり、ピクセル値差分がマッチング誤差閾値以下であるとき、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【００３１】
第1の態様に関して、第1の態様のいくつかの実装形態において、方法は現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得することは、現在の画像ブロックの候補動き情報リストから初期動き情報を取得することを含むか、または
方法は現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前に、方法は、現在の画像ブロックのビットストリームから指示情報を取得することであって、指示情報は、現在の画像ブロックの初期動き情報を指示するために使用される、取得することをさらに含む。
【００３２】
本出願のこの実施形態における画像予測方法は、マージ(Merge)予測モードおよび/または高度動きベクトル予測(advanced motion vector prediction、AMVP)モードに適用可能であるだけでなく、空間参照ブロック、時間参照ブロック、および/またはビュー間参照ブロックが現在の画像ブロックの動き情報を予測するために使用される別のモードにも適用可能であることがわかる。これは、符号化情報を改善する。
【００３３】
本出願の第2の態様は画像予測方法を提供し、方法は現在の画像ブロックの初期動き情報を取得することと、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することであって、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数である、決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、決定することと、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得することとを含む。
【００３４】
本出願のこの実施形態において、初期前方参照ブロックの位置に対する初期前方参照ブロックの位置のオフセットは0であり、初期後方参照ブロックの位置に対する初期後方参照ブロックの位置のオフセットは0であることに特に留意されたい。オフセット0およびオフセット0はまた鏡像関係の条件を満たすか、または時間領域距離に基づく比例関係の条件を満たす。言い換えると、(N-1)対の参照ブロックの位置において、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは、時間領域距離に基づく比例関係、または鏡像関係にある。本明細書において、(N-1)対の参照ブロックの位置は、初期前方参照ブロックの位置または初期後方参照ブロックの位置を含まない。
【００３５】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域に基づく比例関係(時間領域距離に基づく鏡像関係とも称される)が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【００３６】
第2の態様に関して、第2の態様のいくつかの実装形態において、各対の参照ブロックについて、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
各対の参照ブロックについて、第1の位置オフセットと第2の位置オフセットの間の比例関係は、第1の時間領域距離と第2の時間領域距離の間の比例関係に基づき決定され、第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表すことを含む。
【００３７】
第2の態様に関して、第2の態様のいくつかの実装形態において、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値と第2の位置オフセットの振幅値の間の比例関係は第1の時間領域距離と第2の時間領域距離の間の比例関係に基づくことを含み、
第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表す。
【００３８】
第2の態様に関して、第2の態様のいくつかの実装形態において、方法は、現在の画像ブロックの更新動き情報を取得することであって、更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、更新前方動きベクトルはターゲット前方参照ブロックの位置を指し、更新後方動きベクトルはターゲット後方参照ブロックの位置を指す、取得することをさらに含む。
【００３９】
現在の画像ブロックの精密化された動き情報は、本出願のこの実施形態において取得できることがわかる。これは、現在の画像ブロックの動き情報の精度を改善し、別の画像ブロックの予測も円滑にし、たとえば、別の画像ブロックの動き情報の予測精度を改善する。
【００４０】
第2の態様に関して、第2の態様のいくつかの実装形態において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【００４１】
第2の態様に関して、第2の態様のいくつかの実装形態において、N対の参照ブロックの位置は、対にされた初期前方参照ブロックおよび初期後方参照ブロックの位置と、対にされた候補前方参照ブロックおよび候補後方参照ブロックの位置とを含む。前方参照画像内の初期前方参照ブロックの位置に対する候補前方参照ブロックの位置のオフセットと、後方参照画像内の初期後方参照ブロックの位置に対する候補後方参照ブロックの位置のオフセットの間に、時間領域距離に基づく比例関係が存在する。
【００４２】
第2の態様に関して、第2の態様のいくつかの実装形態において、初期動き情報は、前方予測動き情報と、後方予測動き情報とを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
前方予測動き情報、および現在の画像ブロックの位置に基づき前方参照画像内のN個の前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離である、決定することと、
後方予測動き情報、および現在の画像ブロックの位置に基づき後方参照画像内のN個の後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離である、決定することとを含む。
【００４３】
第2の態様に関して、第2の態様のいくつかの実装形態において、初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
第1の動きベクトルおよび現在の画像ブロックの位置に基づき、初期前方参照ブロックの位置を第1の探索開始点として使用して、第1の参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの初期前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含む、決定することと、
第2の動きベクトルおよび現在の画像ブロックの位置に基づき、初期後方参照ブロックの位置を第2の探索開始点として使用して、第2の参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの初期後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、決定することとを含む。
【００４４】
第2の態様に関して、第2の態様のいくつかの実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することは、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定すること、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定することであって、MはN以下である、決定することを含む。
【００４５】
一例において、マッチングコスト基準は、マッチングコスト最小化基準である。たとえば、M対の参照ブロックの位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、各対の参照ブロックについて計算され、M対の参照ブロックの位置から、ピクセル値が最小差分のピクセル値である一対の参照ブロックの位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【００４６】
別の例では、マッチングコスト基準は、マッチングコスト最小化および早期終了基準である。たとえば、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分が計算され、nは1以上、N以下の整数であり、ピクセル値差分がマッチング誤差閾値以下であるとき、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【００４７】
第2の態様に関して、第2の態様のいくつかの実装形態において、方法は現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得することは、現在の画像ブロックの候補動き情報リストから初期動き情報を取得することを含むか、または
方法は現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前に、方法は、現在の画像ブロックのビットストリームから指示情報を取得することであって、指示情報は、現在の画像ブロックの初期動き情報を指示するために使用される、取得することをさらに含む。
【００４８】
本出願の第3の態様は画像予測方法を提供し、方法は現在の画像ブロックの第i回動き情報を取得することと、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することであって、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数である、決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、決定することと、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することとを含む。
【００４９】
本出願のこの実施形態において、初期前方参照ブロックの位置に対する初期前方参照ブロックの位置のオフセットは0であり、初期後方参照ブロックの位置に対する初期後方参照ブロックの位置のオフセットは0である、ことに特に留意されたい。オフセット0およびオフセット0もまた鏡像関係の条件を満たす。
【００５０】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、本出願のこの実施形態において、動きベクトルMVを精密化する精度は、繰り返し法を使用することによってさらに改善することができ、これにより符号化性能をさらに改善できる。
【００５１】
第3の態様に関して、第3の態様のいくつかの実装形態において、i=1であるならば、第i回動き情報は、現在の画像ブロックの初期動き情報であり、それに対応して、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、またはN個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【００５２】
i>1であるならば、第i回動き情報は、第(i-1)回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第(i-1)回ターゲット後方参照ブロックの位置を指す後方動きベクトルとを含み、それに対応して、N個の前方参照ブロックの位置は、1つの第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、第(i-1)回ターゲット前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、またはN個の後方参照ブロックの位置は、1つの第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、第(i-1)回ターゲット後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【００５３】
方法が現在の画像ブロックを符号化するために使用される場合、現在の画像ブロックの初期動き情報は、現在の画像ブロックの候補動き情報リストから初期動き情報を決定する方法を使用することによって取得されるか、または方法が現在の画像ブロックを復号するために使用される場合、現在の画像ブロックの初期動き情報は、現在の画像ブロックのビットストリームから指示情報を取得する方法であって、指示情報は、現在の画像ブロックの初期動き情報を指示するために使用される、方法を使用することによって取得されることに留意されたい。
【００５４】
第3の態様に関して、第3の態様のいくつかの実装形態において、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することは、
繰り返し終了条件が満たされたとき、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することを含む。
【００５５】
第3の態様に関して、第3の態様のいくつかの実装形態において、第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、第1の位置オフセットの方向が第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じであることを含む。
【００５６】
第3の態様に関して、第3の態様のいくつかの実装形態において、第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
前方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用して、前方参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含む、決定することと、
後方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット後方参照ブロックの位置を第ibの探索開始点として使用して、後方参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの第(i-1)回ターゲット後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、決定することとを含む。
【００５７】
第3の態様に関して、第3の態様のいくつかの実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することは、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定すること、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することであって、MはN以下である、決定することを含む。
【００５８】
本出願の第4の態様は画像予測方法を提供し、方法は現在の画像ブロックの第i回動き情報を取得することと、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することであって、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数である、決定することと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、前方参照画像内の第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、後方参照画像内の第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、決定することと、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することとを含む。
【００５９】
本出願のこの実施形態において、初期前方参照ブロックの位置に対する初期前方参照ブロックの位置のオフセットは0であり、初期後方参照ブロックの位置に対する初期後方参照ブロックの位置のオフセットは0である、ことに特に留意されたい。オフセット0およびオフセット0は、また鏡像関係の条件または時間領域距離に基づく比例関係の条件を満たす。言い換えると、(N-1)対の参照ブロックの位置において、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは、時間領域距離に基づく比例関係、または鏡像関係にある。本明細書において、(N-1)対の参照ブロックの位置は、初期前方参照ブロックの位置または初期後方参照ブロックの位置を含まない。
【００６０】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域距離に基づく比例関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、本出願のこの実施形態において、動きベクトルMVを精密化する精度は、繰り返し法を使用することによってさらに改善することができ、これにより符号化性能をさらに改善できる。
【００６１】
第4の態様に関して、第4の態様のいくつかの実装形態において、i=1であるならば、第i回動き情報は、現在の画像ブロックの初期動き情報であるか、またはi>1であるならば、第i回動き情報は、第(i-1)回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第(i-1)回ターゲット後方参照ブロックの位置を指す後方動きベクトルとを含む。
【００６２】
第4の態様に関して、第4の態様のいくつかの実装形態において、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することは、
繰り返し終了条件が満たされたとき、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得することであって、jはi以上であり、iおよびjはいずれも1以上の整数である、取得することを含む。
【００６３】
第4の態様に関して、第4の態様のいくつかの実装形態において、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値と第2の位置オフセットの振幅値の間の比例関係は第1の時間領域距離と第2の時間領域距離の間の比例関係に基づくことを含み、
第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表す。
【００６４】
第4の態様に関して、第4の態様のいくつかの実装形態において、第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定することは、
前方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用して、前方参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することであって、N個の前方参照ブロックの位置は、第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含む、決定することと、
後方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット後方参照ブロックの位置を第ibの探索開始点として使用して、後方参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの第(i-1)回ターゲット後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することであって、N個の後方参照ブロックの位置は、第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、決定することとを含む。
【００６５】
第4の態様に関して、第4の態様のいくつかの実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することは、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定すること、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定することであって、MはN以下である、決定することを含む。
【００６６】
本出願の第5の態様は、第1の態様における任意の方法を実装するように構成されているいくつかの機能ユニットを備える、画像予測装置を提供する。たとえば、画像予測装置は、現在の画像ブロックの初期動き情報を取得するように構成されている第1の取得ユニットと、第1の探索ユニットであって、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第1の探索ユニットと、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得するように構成されている第1の予測ユニットとを備え得る。
【００６７】
異なるアプリケーションシナリオにおいて、画像予測装置は、たとえば、ビデオ符号化装置(ビデオエンコーダ)またはビデオ復号装置(ビデオデコーダ)に適用される。
【００６８】
本出願の第6の態様は、第2の態様における任意の方法を実装するように構成されているいくつかの機能ユニットを備える、画像予測装置を提供する。たとえば、画像予測装置は、現在の画像ブロックの初期動き情報を取得するように構成されている第2の取得ユニットと、第2の探索ユニットであって、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第2の探索ユニットと、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得するように構成されている第2の予測ユニットとを備え得る。
【００６９】
異なるアプリケーションシナリオにおいて、画像予測装置は、たとえば、ビデオ符号化装置(ビデオエンコーダ)またはビデオ復号装置(ビデオデコーダ)に適用される。
【００７０】
本出願の第7の態様は、第3の態様における任意の方法を実装するように構成されているいくつかの機能ユニットを備える、画像予測装置を提供する。たとえば、画像予測装置は、現在の画像ブロックの第i回動き情報を取得するように構成されている第3の取得ユニットと、第3の探索ユニットであって、第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第3の探索ユニットと、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第3の予測ユニットとを備え得る。
【００７１】
異なるアプリケーションシナリオにおいて、画像予測装置は、たとえば、ビデオ符号化装置(ビデオエンコーダ)またはビデオ復号装置(ビデオデコーダ)に適用される。
【００７２】
本出願の第8の態様は、第4の態様における任意の方法を実装するように構成されているいくつかの機能ユニットを備える、画像予測装置を提供する。たとえば、画像予測装置は、現在の画像ブロックの第i回動き情報を取得するように構成されている第4の取得ユニットと、第4の探索ユニットであって、第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、前方参照画像内の第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、後方参照画像内の第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第4の探索ユニットと、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第4の予測ユニットとを備え得る。
【００７３】
異なるアプリケーションシナリオにおいて、画像予測装置は、たとえば、ビデオ符号化装置(ビデオエンコーダ)またはビデオ復号装置(ビデオデコーダ)に適用される。
【００７４】
本出願の第9の態様は画像予測装置を提供し、この装置は、プロセッサと、プロセッサに結合されているメモリとを備える。プロセッサは、第1の態様、第2の態様、第3の態様、第4の態様、または前述の態様の実装形態における方法を実行するように構成される。
【００７５】
本出願の第10の態様は、ビデオエンコーダを提供する。ビデオエンコーダは、画像ブロックを符号化するように構成されており、フレーム間予測モジュールであって、第5の態様、第6の態様、第7の態様、または第8の態様による画像予測装置を備え、予測を通じて画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、指示情報をビットストリームに符号化するように構成されているエントロピー符号化モジュールであって、指示情報は画像ブロックの初期動き情報を指示するために使用される、エントロピー符号化モジュールと、画像ブロックのピクセル値の予測値に基づき画像ブロックを再構成するように構成されている再構成モジュールとを備える。
【００７６】
本出願の第11の態様は、ビデオデコーダを提供する。ビデオデコーダは、ビットストリームを復号して画像ブロックを取得するように構成されており、ビットストリームを復号して指示情報を取得するように構成されているエントロピー復号モジュールであって、指示情報は復号を通じて現在取得されている画像ブロックの初期動き情報を指示するために使用される、エントロピー復号モジュールと、フレーム間予測モジュールであって、第5の態様、第6の態様、第7の態様、または第8の態様による画像予測装置を備え、予測を通じて画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、画像ブロックのピクセル値の予測値に基づき画像ブロックを再構成するように構成されている再構成モジュールとを備える。
【００７７】
本出願の第12の態様は、不揮発性記憶媒体およびプロセッサを備える、ビデオ符号化デバイスを提供する。不揮発性記憶媒体は、実行可能プログラムを記憶する。プロセッサおよび不揮発性記憶媒体は互いに結合され、プロセッサは、第1、第2、第3、もしくは第4の態様、または第1、第2、第3、もしくは第4の態様の実装形態を実装する実行可能プログラムを実行する。
【００７８】
本出願の第13の態様は、不揮発性記憶媒体およびプロセッサを備える、ビデオ復号デバイスを提供する。不揮発性記憶媒体は、実行可能プログラムを記憶する。プロセッサおよび不揮発性記憶媒体は互いに結合され、プロセッサは、第1、第2、第3、もしくは第4の態様、または第1、第2、第3、もしくは第4の態様の実装形態を実装する実行可能プログラムを実行する。
【００７９】
本出願の第14の態様は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は命令を記憶する。コンピュータ上で命令が実行されると、コンピュータは第1、第2、第3、もしくは第4の態様、または第1、第2、第3、もしくは第4の態様の実装形態における方法を実行することができる。
【００８０】
本出願の第15の態様は、命令を備えるコンピュータプログラム製品を提供する。コンピュータ上で命令が実行されると、コンピュータは第1、第2、第3、もしくは第4の態様、または第1、第2、第3、もしくは第4の態様の実装形態における方法を実行することができる。
【００８１】
本出願の第16の態様は、第10の態様におけるビデオエンコーダ、第11の態様におけるビデオデコーダ、または第5、第6、第7、もしくは第8の態様における画像予測装置を備える、電子デバイスを提供する。
【００８２】
これらの態様および対応する実装可能な設計方式でもたらされる有益な効果は類似しており、したがって繰り返し述べないことが理解されるべきである。
【図面の簡単な説明】
【００８３】
【図１】本出願の一実施形態によるビデオ符号化システムの概略ブロック図である。
【図２Ａ】本出願の一実施形態によるビデオエンコーダの概略ブロック図である。
【図２Ｂ】本出願の一実施形態によるビデオデコーダの概略ブロック図である。
【図３】本出願の一実施形態による画像予測方法の概略フローチャートである。
【図４】フレーム間予測のマージモードにおいてエンコーダ側で初期動き情報を取得することを示す概略図である。
【図５】フレーム間予測のマージモードにおいてデコーダ側で初期動き情報を取得することを示す概略図である。
【図６】現在の画像ブロックの初期参照ブロックの概略図である。
【図７】整数ピクセル位置におけるピクセルおよび分数ピクセル位置におけるピクセルの概略図である。
【図８】探索開始点の概略図である。
【図９】本出願の一実施形態による鏡像関係にある第1の位置オフセットおよび第2の位置オフセットの概略ブロック図である。
【図１０】本出願の一実施形態による別の画像予測方法の概略フローチャートである。
【図１１】本出願の一実施形態による別の画像予測方法の概略フローチャートである。
【図１２】本出願の一実施形態による別の画像予測方法の概略フローチャートである。
【図１３】本出願の一実施形態による時間領域距離に基づく比例関係にある第1の位置オフセットおよび第2の位置オフセットの概略ブロック図である。
【図１４】本出願の一実施形態による別の画像予測方法1400の概略フローチャートである。
【図１５】本出願の一実施形態による別の画像予測方法の概略フローチャートである。
【図１６】本出願の一実施形態による別の画像予測方法1600の概略フローチャートである。
【図１７】本出願の一実施形態による別の画像予測方法の概略フローチャートである。
【図１８】本出願の一実施形態による画像予測装置の概略ブロック図である。
【図１９】本出願の一実施形態による別の画像予測装置の概略ブロック図である。
【図２０】本出願の一実施形態による別の画像予測装置の概略ブロック図である。
【図２１】本出願の一実施形態による別の画像予測装置の概略ブロック図である。
【図２２】本出願の一実施形態による符号化デバイスまたは復号デバイスの概略ブロック図である。
【発明を実施するための形態】
【００８４】
次に、本出願の実施形態における添付図面を参照しつつ本出願の実施形態における技術的解決方法について明確に、かつ完全に説明する。
【００８５】
図1は、本出願の一実施形態によるビデオ符号化システムの概略ブロック図である。システムにおいて、ビデオエンコーダ20およびビデオデコーダ30は、本出願において提供される様々な画像予測方法の例に基づき画像ブロックのピクセル値の予測値を予測し、現在の符号化されたまたは復号された画像ブロックの動きベクトルなどの動き情報を精密化することで、符号化性能をさらに改善するように構成される。図1に示されているように、システムは、送信元装置12と、送信先装置14とを備える。送信元装置12は、後に送信先装置14によって復号されるべき符号化されたビデオデータを生成する。送信元装置12および送信先装置14は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、「スマート」フォンなどの電話ハンドセット、「スマート」タッチパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、テレビゲーム機、ビデオストリーミング伝送装置、または同様のものを含む、広範な装置のうちのいずれか1つを含み得る。
【００８６】
送信先装置14は、リンク16を使用することによって、復号されるべき符号化されたビデオデータを受信し得る。リンク16は、符号化されたビデオデータを送信元装置12から送信先装置14に移動することができる任意のタイプの媒体または装置を含み得る。実現可能な一実装形態において、リンク16は、送信元装置12が符号化されたビデオデータを送信先装置14にリアルタイムで直接伝送することを可能にすることができる通信媒体を含み得る。通信規格(たとえば、ワイヤレス通信プロトコル)に従い、符号化されたビデオデータを変調し、変調されたビデオデータを送信先装置14に伝送するものとしてよい。通信媒体は、任意のワイヤレスもしくは有線通信媒体、たとえば、無線周波スペクトルまたは1つもしくは複数の物理的伝送路を含み得る。通信媒体は、パケットベースのネットワーク(たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットのグローバルネットワーク)の一部を成すものとしてよい。通信媒体は、ルーター、スイッチ、基地局、または送信元装置12から送信先装置14への通信を円滑にするように構成され得る任意の他のデバイスを含み得る。
【００８７】
あるいは、符号化されたデータは、出力インターフェース22から記憶装置24に出力され得る。同様に、符号化されたデータは、入力インターフェースを通じて記憶装置24からアクセスされ得る。記憶装置24は、複数の分散もしくはローカルデータ記憶媒体、たとえば、ハードディスクドライブ、Blu-ray（登録商標）ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するために使用される任意の他の適切なデジタル記憶媒体のうちのいずれかを含み得る。別の実現可能な実装形態において、記憶装置24は、送信元装置12によって生成された符号化されたビデオを記憶することができるファイルサーバまたは別の中間記憶装置に対応するものとしてよい。送信先装置14は、ストリーミング伝送機能またはダウンロード機能を通じて記憶装置24から記憶されているビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、符号化されたビデオデータを送信先装置14に送信することができる任意のタイプのサーバであってよい。実現可能な一実装形態において、ファイルサーバはウェブサーバ、ファイル転送プロトコルサーバ、ネットワークアタッチト記憶装置、またはローカルディスクドライブを含む。送信先装置14は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。データ接続は、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、ケーブルモデム)、またはファイルサーバに記憶されている符号化されたビデオデータにアクセスするために適用可能であるこれらの組合せを含み得る。記憶装置24からの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはこれらの組合せであってよい。
【００８８】
本出願における技術は、ワイヤレスアプリケーションまたは設定に必ずしも制限されない。技術は、複数のマルチメディアアプリケーション、たとえば、テレビ放送、ケーブルテレビジョン伝送、衛星テレビジョン伝送、ストリーミングビデオ伝送(たとえば、インターネットを通じて)、データ記憶媒体上に記憶するデジタルビデオ符号化、データ記憶媒体上に記憶されているデジタルビデオの復号、または別のアプリケーションのうちのいずれか1つをサポートするために、ビデオ復号に適用することができる。いくつかの実現可能な実装形態において、システムは、ストリーミングビデオ伝送、ビデオ再生、ビデオブロードキャスティング、および/またはビデオ電話などのアプリケーションをサポートする一方向または双方向ビデオ伝送をサポートするように構成され得る。
【００８９】
図1の実現可能な一実装形態において、送信元装置12は、ビデオソース18と、ビデオエンコーダ20と、出力インターフェース22とを備える。いくつかのアプリケーションにおいて、出力インターフェース22は、変調器/復調器(モデム)および/または送信機を含み得る。送信元装置12において、ビデオソース18は、たとえば、ソースとして、ビデオキャプチャ装置(たとえば、ビデオカメラ)、以前にキャプチャされたビデオを含んだビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および/もしくはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、またはこれらの組合せを含み得る。実現可能な一実装形態において、ビデオソース18がビデオカメラである場合、送信元装置12および送信先装置14は、カメラフォンまたはビデオフォンを構成することができる。たとえば、本出願において説明されている技術は、ビデオ復号に適用されてもよく、ワイヤレスおよび/または有線アプリケーションに適用され得る。
【００９０】
ビデオエンコーダ20は、コンピュータによってキャプチャされるか、プリキャプチャされるか、または生成されるビデオを符号化するものとしてよい。符号化されたビデオデータは、送信元装置12の出力インターフェース22を通じて送信先装置14に直接伝送され得る。符号化されたビデオデータは、復号および/または再生のために送信先装置14または別の装置によりその後アクセスするために記憶装置24上にも(またはあるいは)記憶され得る。
【００９１】
送信先装置14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを備える。いくつかのアプリケーションにおいて、入力インターフェース28は、受信機および/またはモデムを含み得る。送信先装置14の入力インターフェース28は、リンク16を使用することによって、符号化されたビデオデータを受信する。リンク16を使用することによって記憶装置24に伝送されるか、または提供される符号化されたビデオデータは、ビデオエンコーダ20によって生成され、ビデオデータを復号するためにビデオデコーダ30のビデオデコーダによって使用される複数のシンタックス要素を含み得る。これらのシンタックス要素は、通信媒体上で伝送される符号化されたビデオデータに含まれ、記憶媒体に記憶されるか、またはファイルサーバ内に記憶され得る。
【００９２】
表示装置32は、送信先装置14と一体化されるか、または送信先装置14の外部に配設され得る。いくつかの実現可能な実装形態において、送信先装置14は、一体化された表示装置を備え、また外部表示装置のインターフェースに接続するように構成されてもよい。他の実現可能な実装形態において、送信先装置14は、表示装置であってもよい。一般的に、表示装置32は、復号されたビデオデータをユーザに対して表示し、複数の表示装置、たとえば、液晶ディスプレイ、プラズマディスプレイ、有機発光ダイオードディスプレイ、または別のタイプの表示装置のうちのいずれか1つを含み得る。
【００９３】
ビデオエンコーダ20およびビデオデコーダ30は、たとえば、現在開発中の次世代ビデオ符号化圧縮標準(H.266)に従って動作するものとしてよく、H.266テストモデル(JEM)に適合するものとしてよい。あるいは、ビデオエンコーダ20およびビデオデコーダ30は、たとえば、他の専用もしくは工業標準またはITU-TH.265標準もしくはITU-TH.264標準のその拡張に従って動作してもよい。ITU-TH.265標準は高効率ビデオ復号標準とも称され、ITU-TH.264標準は、あるいは、MPEG-4 Part 10、または高度ビデオ圧縮符号化(advanced video coding、AVC)と称される。しかしながら、本出願の技術は、いかなる特定の復号標準にも限定されない。ビデオ圧縮標準の他の実現可能な実装形態は、MPEG-2およびITU-TH.263を含む。
【００９４】
図1には示されていないが、いくつかの態様において、ビデオエンコーダ20およびビデオデコーダ30は、オーディオエンコーダおよびオーディオデコーダとそれぞれ一体化されてよく、共通データストリームまたは分離しているデータストリーム内の音声とビデオの両方を符号化するための適切なマルチプレクサ-デマルチプレクサ(MUX-DEMUX)ユニットまたは他のハードウェアおよびソフトウェアを含み得る。該当する場合、いくつかの実現可能な実装形態において、MUX-DEMUXユニットは、ITU H.223マルチプレクサプロトコル、またはユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠するものとしてよい。
【００９５】
ビデオエンコーダ20およびビデオデコーダ30の各々は、複数の適切なエンコーダ回路、たとえば、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組合せのうちのいずれかとして実装され得る。これらの技術がソフトウェアとして部分的に実装されるとき、装置は、ソフトウェアに対する命令を適切な非一時的コンピュータ可読媒体に記憶し、本出願の技術を実装するために、1つまたは複数のプロセッサを使用してハードウェアの形態で命令を実行し得る。ビデオエンコーダ20およびビデオデコーダ30の各々は、1つもしくは複数のエンコーダまたはデコーダに含まれてもよく、1つもしくは複数のエンコーダ、またはデコーダのうちのいずれかは、対応する装置内の組み合わされたエンコーダ/デコーダ(CODEC)の一部として一体化され得る。
【００９６】
本出願は、たとえば、ビデオエンコーダ20が特定の情報を信号として、たとえば、ビデオデコーダ30に伝達する別の装置に関係するものとしてよい。しかしながら、ビデオエンコーダ20は、ビデオエンコーダ20は、特定のシンタックス要素をビデオデータの符号化された部分と関連付けて、情報を信号で伝達し得ることが理解されるべきである。すなわち、ビデオエンコーダ20は、特定のシンタックス要素をビデオデータの符号化された部分のヘッダ情報に記憶し、データを信号で伝達してもよい。いくつかのアプリケーションにおいて、これらのシンタックス要素は、ビデオデコーダ30によって受信され、復号される前に符号化され記憶され(たとえば、ストレージシステム34またはファイルサーバ36に記憶され)得る。したがって、「信号」という用語は、たとえば、伝送がリアルタイムで、ほぼリアルタイムで、またはある期間内に実行されるかどうかに関係なく、圧縮ビデオデータを復号するために使用されるシンタックスまたは他のデータの伝送を意味するものとしてよい。たとえば、伝送はシンタックス要素が符号化中に媒体に記憶されるときに実行されてよく、次いで、シンタックス要素は媒体に記憶された後の任意の時点において復号装置によって取り出され得る。
【００９７】
JCT-VCは、H.265(HEVC)標準を開発した。HEVC標準化は、ビデオ復号装置の発展モデルに基づいており、モデルは、HEVCテストモデル(HM)と称される。最新のH.265標準文書は、http://www.itu.int/rec/T-REC-H.265で入手可能である。標準文書の最新版はH.265(12/16)であり、標準文書は全体が参照により本明細書に組み込まれている。HMでは、ビデオ復号装置がITU-TH.264/AVCの既存のアルゴリズムと比較していくつかの追加の機能を有することが想定されている。たとえば、H.264では9つのフレーム内予測および符号化モードを提供しているが、HMでは最大35までのフレーム内予測および符号化モードを提供することができる。
【００９８】
JVETは、H.266標準の開発に取り組んでいる。H.266標準化プロセスは、ビデオ復号装置の発展モデルに基づいており、モデルは、H.266テストモデルと称される。H.266アルゴリズムの説明は、http://phenix.int-evry.fr/jvetで入手可能であり、最新のアルゴリズムの説明はJVET-F1001-v2に含まれている。このアルゴリズムの説明書は全体が参照により本明細書に組み込まれている。さらに、JEMテストモデルに対する参照ソフトウェアは、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/から入手可能であり、これも全体が参照により本明細書に組み込まれている。
【００９９】
一般的に、HM作業モデルで説明されているように、ビデオフレームまたは画像は、輝度サンプルと色度サンプルの両方を含む一連のツリーブロックまたは最大符号化ユニット(largest coding unit、LCU)に分割され得る。LCUは、CTUとも称される。ツリーブロックは、H.264標準におけるマクロブロックに類似する機能を有する。スライスは、復号順序で連続するいくつかのツリーブロックを含む。ビデオフレームまたは画像は、1つまたは複数のスライスに区分化され得る。各ツリーブロックは、四分木に基づき符号化ユニットに分割され得る。たとえば、四分木のルートノードとして働くツリーブロックは、4つの子ノードに分割されるものとしてよく、各子ノードは親ノードとして働き、他の4つの子ノードに分割され得る。四分木のリーフノードとして働く最後の非分割可能子ノードは、復号ノード、たとえば、復号された画像ブロックを含む。復号されたビットストリームに関連付けられているシンタックスデータにおいて、ツリーブロックの最大分割可能回数および復号ノードの最小サイズが定義され得る。
【０１００】
符号化ユニットは、復号ノード、予測ユニット(prediction unit、PU)、および復号ノードに関連付けられている変換ユニット(transform unit、TU)を含む。CUは、復号ノードのサイズに対応するサイズを有し、正方形の形状である必要がある。CUのサイズは、8×8ピクセルから最大でも64×64ピクセルまでの範囲内、またはより大きいツリーブロックサイズであり得る。各CUは、1つまたは複数のPUと1つまたは複数のTUとを含み得る。たとえば、CUに関連付けられているシンタックスデータは、1つのCUを1つまたは複数のPUに区分化することを記述し得る。区分化パターンは、CUがスキップもしくは直接モードで符号化されるか、フレーム内予測モードで符号化されるか、またはフレーム間予測モードで符号化されたときに変化し得る。区分化を通じて取得されるPUは非正方形の形状であり得る。たとえば、CUに関連付けられているシンタックスデータは、四分木に基づき1つのCUを1つまたは複数のTUに区分化することも記述し得る。TUは、正方形または非正方形の形状を取り得る。
【０１０１】
HEVC標準は、TUベースの変換を許し、TUは、異なるCUに対しては異なり得る。TUサイズは、典型的には、区分化されたLCUについて定義された所与のCU内でPUのサイズに基づき設定される。しかしながら、これは、常にそうであるとは限らない。TUサイズは、一般的に、PUサイズと同じであるか、またはそれより小さい。いくつかの実現可能な実装形態において、「残差四分木」(residual qualtree、RQT)と称される四分木構造は、CUに対応する残差サンプルをより小さいユニットに分割するために使用され得る。RQTのリーフノードは、TUと称され得る。TUに関連付けられているピクセル差分は変換係数を生成するように変換され、変換係数は量子化され得る。
【０１０２】
一般的に、変換および量子化プロセスは、TUに使用される。1つまたは複数のPUを有する所与のCUは、1つまたは複数のTUも含み得る。予測の後に、ビデオエンコーダ20は、PUに対応する残差値を計算し得る。残差値は、ピクセル差分を含み、ピクセル差分は、変換係数に変換されるものとしてよく、変換係数は、量子化され、TUスキャンを受け、エントロピー復号のためのシリアル化された変換係数を生成する。本出願では、「画像ブロック」という用語は、一般的に、CUの復号ノードを表すために使用される。いくつかの特定のアプリケーションにおいて、本出願では、「画像ブロック」という用語は、復号ノード、PU、およびTU、たとえば、LCUまたはCUを含むツリーブロックを表すためにも使用され得る。本出願のこの実施形態では、現在の画像ブロック(すなわち、現在の変換ブロック)に対応する変換係数の逆量子化プロセスを実行して、符号化性能を改善するために、ビデオ符号化または復号における適応逆量子化法で説明されている様々な方法例は、以下で詳しく説明される。
【０１０３】
ビデオシーケンスは、一般的に、一連のビデオフレームまたは画像を含む。たとえば、画像のグループ(group of picture、GOP)は、一連のビデオ画像、1つのビデオ画像、または複数のビデオ画像を含む。GOPは、シンタックスデータを、GOPのヘッダ情報に、画像のうちの1つまたは複数のヘッダ情報に、または他の別のところに含むものとしてよく、シンタックスデータには、GOPに含まれる画像の数を記述する。画像の各スライスは対応する画像の符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ20は、通常、いくつかのビデオスライスで画像ブロックに演算を実行し、ビデオデータを符号化する。画像ブロックは、CU内の復号ノードに対応し得る。画像ブロックのサイズは、固定であるか、または変更可能であってよく、指定された復号標準により異なり得る。
【０１０４】
実現可能な一実装形態において、HMは、様々なPUサイズに対する予測をサポートしている。所与のCUのサイズが2N×2Nであると想定すると、HMは2N×2NまたはN×NのPUサイズに対するフレーム内予測、および2N×2N、2N×N、N×2N、またはN×Nの対称的PUサイズに対するフレーム間予測をサポートしている。HMは、また、2N×nU、2N×nD、nL×2N、およびnR×2NのPUサイズに対するフレーム間予測の非対称的区分化をサポートしている。非対称的区分化では、CUの一方の方向では区分化されないが、他の方向では2つの部分に区分化され、一方の部分はCUの25%を占有し、他方の部分はCUの75%を占有する。CUの25%を占有している部分は、「n」とその後に続く「上(Up)」、「下(Down)」、「左(Left)」、または「右(Right)」とを含むインジケータによって示される。したがって、たとえば、「2N×nU」は、水平方向に区分化された2N×2NのCUを指し、2N×0.5NのPUは上に、2N×1.5NのPUは下にある。
【０１０５】
本出願では、「N×M」および「NにMを乗ずる」は、垂直次元および水平次元の画像ブロックのピクセルサイズ、たとえば、16×8ピクセルまたは16に8を乗じた数のピクセルを示すために、互いに入れ替え可能に使用され得る。一般的に、16×8ブロックは、水平方向に16個のピクセル、垂直方向に8個のピクセルを有する。言い換えると、画像ブロックの幅は16ピクセルであり、画像ブロックの高さは8ピクセルである。
【０１０６】
CU内のPUのフレーム内またはフレーム間予測復号の後に、ビデオエンコーダ20は、CU内のTUの残差データを計算するものとしてよい。PUは、空間領域(ピクセル領域とも称される)内のピクセルデータを含み得る。TUは、変換(たとえば、離散コサイン変換(discrete cosine transform、DCT)、整数変換、ウェーブレット変換、または他の概念的に類似している変換)が残差ビデオデータに対して実行された後の変換領域内の係数を含み得る。残差データは、符号化されていない画像のピクセル値とPUに対応する予測ピクセル値の間の差分に対応するものとしてよい。ビデオエンコーダ20は、CUの残差データを含むTUを生成し、次いで、TUを変換してCU変換係数を生成し得る。
【０１０７】
本出願のこの実施形態において、現在の画像ブロックの最適な前方参照ブロックのサンプリング点のサンプリング値と現在の画像ブロックの最適な後方参照ブロックのサンプリング点のサンプリング値とを取得し、現在の画像ブロックのサンプリング点のサンプリング値をさらに予測するための、ビデオの符号化または復号におけるフレーム間予測プロセスの様々な方法例が以下で詳しく説明される。画像ブロックは、二次元サンプリング点配列であり、正方形の配列であるか、または矩形の配列であってよい。たとえば、4×4サイズの画像ブロックは、全部で4×4=16個のサンプリング点によって形成される正方形のサンプリング点配列として考えられ得る。画像ブロック内の信号は、画像ブロック内のサンプリング点のサンプリング値である。さらに、サンプリング点はサンプルまたはピクセルと称されてもよく、本発明の本明細書において区別なく使用されるべきである。それに対応して、サンプリング点の値はピクセル値と称されてもよく、本出願において区別なく使用されるべきである。画像は、二次元サンプリング点配列として表されてもよく、画像ブロックに使用される方法に類似する方法を使用することによって表される。
【０１０８】
変換を実行して変換係数を生成した後、ビデオエンコーダ20は変換係数を量子化し得る。量子化手段、たとえば、係数を量子化するプロセスは、係数を表すために使用されるデータの量を低減し、さらなる圧縮を実装する。量子化プロセスは、いくつかの係数またはすべての係数に関連付けられているビット深度を低減し得る。たとえば、量子化中に、nはmより大きいとすると、nビット値はmビット値に減らされ得る。
【０１０９】
JEMモデルは、ビデオ画像符号化構造をさらに改善する。特に、「四分木プラス二分木」(QTBT)と称されるブロック符号化構造が導入される。HEVCにおいてCU、PU,およびTUのような概念を使用することなく、QTBT構造はより柔軟なCU区分化形状をサポートする。1つのCUは、正方形または矩形の形状を取り得る。四分木区分化は、最初にCTU上で実行され、二分木区分化が、四分木のリーフノード上でさらに実行される。さらに、2つの二分木区分化モード、すなわち、対称的水平方向区分化および対称的垂直方向区分化がある。二分木のリーフノードは、CUと称される。JEM内のCUは、予測および変換中にさらに区分化することはできない。言い換えると、JEMにおけるCU、PU、およびTUは同じブロックサイズを有する。既存のJEMでは、最大CTUサイズは、256×256輝度ピクセルである。
【０１１０】
いくつかの実現可能な実装形態において、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化されたベクトルを生成するために事前定義済みスキャン順序で量子化された変換係数をスキャンするものとしてよい。他の実現可能な実装形態では、ビデオエンコーダ20は、適応型スキャンを実行し得る。量子化された変換係数をスキャンして一次元ベクトルを形成した後に、ビデオエンコーダ20は1次元ベクトルに対してエントロピー復号を、コンテキストベース適応型可変長符号化(CAVLC)、コンテキストベース適応型2値算術符号化(CABAC)、シンタックスベースコンテキスト適応型2値算術符号化(SBAC)、確率区間区分化エントロピー(PIPE)復号、または別のエントロピー復号方法を使用することによって、実行し得る。ビデオエンコーダ20は、ビデオデコーダ30でビデオデータを復号するために、符号化されたビデオデータに関連付けられているシンタックス要素に対してエントロピー符号化をさらに実行し得る。
【０１１１】
図2Aは、本出願の一実施形態によるビデオエンコーダ20の概略ブロック図である。また図3を参照すると、ビデオエンコーダ20は画像予測プロセスを実行するものとしてよく、特に、ビデオエンコーダ20内の動き補償ユニット44は、画像予測プロセスを実行し得る。
【０１１２】
図2Aに示されているように、ビデオエンコーダ20は、予測モジュール41と、加算器50と、変換モジュール52と、量子化モジュール54と、エントロピー符号化モジュール56とを備え得る。一例において、予測モジュール41は、動き推定ユニット42と、動き補償ユニット44と、フレーム内予測ユニット46とを備え得る。予測モジュール41の内部構造は、本出願のこの実施形態に制限されない。任意選択で、ハイブリッドアーキテクチャを備えるビデオエンコーダについては、ビデオエンコーダ20は、逆量子化モジュール58と、逆変換モジュール60と、加算器62とをさらに備え得る。
【０１１３】
図2Aの実現可能な一実装形態において、ビデオエンコーダ20は、区分化ユニット(図示せず)と、参照画像メモリ64とをさらに備え得る。区分化ユニットおよび参照画像メモリ64は、あるいは、ビデオエンコーダ20の外部に配設されてもよいことが理解されるべきである。
【０１１４】
別の実現可能な実装形態において、ビデオエンコーダ20は、ブロック境界をフィルタ処理して、ブロック効果アーチファクトを再構成ビデオから除去するフィルタ(図示せず)をさらに備え得る。必要なときに、フィルタは、通常、加算器62の出力に対してフィルタ処理を実行する。
【０１１５】
図2Aに示されているように、ビデオエンコーダ20はビデオデータを受信し、区分化ユニットは、データを画像ブロックに区分化する。そのような区分化は、スライス、画像ブロック、または他のより大きいユニットへの区分化、たとえば、LCUおよびCUの四分木構造に基づく画像ブロック区分化をさらに含み得る。一般的に、スライスは、複数の画像ブロックに分割され得る。
【０１１６】
予測モジュール41は、現在の符号化された画像ブロックの予測ブロックを生成するように構成される。予測モジュール41は、現在の画像ブロックの複数の可能な復号モードのうちの1つ、たとえば、複数のフレーム内復号モードのうちの1つ、または複数のフレーム間復号モードのうちの1つを、符号化の品質およびコスト計算結果(たとえば、レート歪みコスト、RDcost)に基づき選択し得る。予測モジュール41は、フレーム内復号された、またはフレーム間復号されたブロックを加算器50に提供して残差ブロックデータを生成し、フレーム内復号された、またはフレーム間復号されたブロックを加算器62に提供して符号化されたブロックを再構成し、再構成されたブロックを参照画像として使用し得る。
【０１１７】
予測モジュール41内の動き推定ユニット42および動き補償ユニット44は、時間的圧縮を提供するために、1つまたは複数の参照画像内の1つまたは複数の予測ブロックに関して現在の画像ブロックに対してフレーム間予測復号を実行する。動き推定ユニット42は、ビデオシーケンスのプリセットされたモードに基づきビデオスライスについてフレーム間予測モードを決定するように構成される。プリセットされたモードでは、シーケンス内のビデオスライスは、Pスライス、Bスライス、またはGPBスライスとして指定され得る。動き推定ユニット42および動き補償ユニット44は、緊密に一体化され得るが、概念を説明するために別々に記述される。動き推定ユニット42によって実行される動き推定は、画像ブロックを推定するために動きベクトルを生成するプロセスである。たとえば、動きベクトルは、参照画像内の予測ブロックに対する現在のビデオフレームまたは画像内の画像ブロックのPUの変位を示し得る。
【０１１８】
予測ブロックは、ピクセル差分に基づき、復号されるべき画像ブロックと正確にマッチすることがわかっているPU内のブロックであり、ピクセル差分は、絶対差の和(SAD)、平方差の和(SSD)、または別の差メトリックに基づき決定され得る。いくつかの実現可能な実装形態において、ビデオエンコーダ20は、参照画像メモリ64に記憶されている参照画像のサブ整数(sub-integer)ピクセル位置の値を計算し得る。
【０１１９】
PUの位置と参照画像の予測ブロックの位置とを比較することによって、動き推定ユニット42は、フレーム間復号スライス内の画像ブロックのPUの動きベクトルを計算する。参照画像は、第1の参照画像リスト(リスト0)または第2の参照画像リスト(リスト1)から選択され得る。リスト内の各項目は、参照画像メモリ64内に記憶されている1つまたは複数の参照画像を識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化ユニット56と動き補償ユニット44とに送る。
【０１２０】
動き補償ユニット44によって実行される動き補償は、動き推定を通じて決定された動きベクトルに基づき予測ブロックを取り除くか、または生成することを含むものとしてよく、サブピクセルレベルの補間が実行され得る。現在の画像ブロックのPUの動きベクトルを受信した後、動き補償ユニット44は、参照画像リストのうちの1つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。ビデオエンコーダ20は、予測ブロックのピクセル値を復号されている現在の画像ブロックのピクセル値から差し引き、残差画像ブロックを取得し、ピクセル差分を取得する。ピクセル差分は、ブロックの残差データを形成し、輝度差成分と、色度差成分とを含み得る。加算器50は、減算演算を実行する1つまたは複数のコンポーネントである。動き補償ユニット44は、画像ブロックおよびビデオスライスに関連付けられているシンタックス要素をさらに生成するものとしてよく、それにより、ビデオデコーダ30はビデオスライスの画像ブロックを復号し得る。次に、図3、図10から図12、および図14から図17を参照しつつ本出願の実施形態における画像予測プロセスを詳しく説明する。詳細は、ここでは説明されない。
【０１２１】
予測モジュール41内のフレーム内予測ユニット46は、空間的圧縮を提供するために、現在の復号されるべきブロックと同じである画像またはスライス内の1つまたは複数の隣接ブロックに対する現在の画像ブロックに対してフレーム内予測復号を実行し得る。したがって、動き推定ユニット42および動き補償ユニット44によってフレーム間予測(上で説明されているような)が実行される代わりに、フレーム内予測ユニット46は現在のブロックに対してフレーム内予測を実行し得る。具体的には、フレーム内予測ユニット46は、現在のブロックを符号化するためのフレーム内予測モードを決定し得る。いくつかの実現可能な実装形態において、フレーム内予測ユニット46は、(たとえば)別個の符号化トラバース中に現在のブロックを符号化するために様々なフレーム内予測モードを使用してよく、フレーム内予測ユニット46(またはいくつかの実現可能な実装形態では、モード選択ユニット40)が、テストモードから、適切なフレーム内予測モードを選択し得る。
【０１２２】
予測モジュール41がフレーム間予測またはフレーム内予測を実行することによって現在の画像ブロックの予測ブロックを生成した後、ビデオエンコーダ20は、現在の画像ブロックから予測ブロックを差し引くことによって残差画像ブロックを生成する。残差ブロック内の残差ビデオデータは、1つまたは複数のTUに含まれ、変換モジュール52に適用され得る。変換モジュール52は、現在の符号化された画像ブロックの元のブロックと現在の画像ブロックの予測ブロックの間の残差を変換するように構成される。変換モジュール52は、たとえば、離散コサイン変換(DCT)または概念的に類似している変換(たとえば、離散サイン変換DST)を実行することによって残差データを残差変換係数に変換する。変換モジュール52は、ピクセル領域データから残差ビデオデータを変換して領域(たとえば、周波数領域)データを変換し得る。
【０１２３】
変換モジュール52は、取得された変換係数を量子化モジュール54に送信し得る。量子化モジュール54は、変換係数を量子化してビットレートをさらに減らす。いくつかの実現可能な実装形態において、量子化モジュール54は、引き続き、量子化された変換係数を収めた行列をスキャンするものとしてよい。あるいは、エントロピー符号化モジュール56がスキャンを実行してもよい。
【０１２４】
量子化の後、エントロピー符号化モジュール56は、量子化された変換係数に対してエントロピー符号化を実行し得る。たとえば、エントロピー符号化モジュール56は、コンテキストベース適応型可変長復号(CAVLC)、コンテキストベース適応型2値算術復号(CABAC)、シンタックスベースコンテキスト適応型2値算術復号(SBAC)、確率区間区分化エントロピー(PIPE)復号、または別のエントロピー符号化方法もしくは技術を実行し得る。エントロピー符号化モジュール56は、また、符号化されている現在のビデオスライスのものである動きベクトルおよび別のシンタックス要素に対してエントロピー符号化を実行し得る。エントロピー符号化モジュール56がエントロピー符号化を実行した後、符号化されたビットストリームがビデオデコーダ30に伝送され得るか、またはビデオデコーダ30によってその後の伝送もしくは探索のために記憶され得る。
【０１２５】
逆量子化モジュール58および逆変換モジュール60は、逆量子化および逆変換をそれぞれ実行して、ピクセル領域内の残差ブロックを参照画像の参照ブロックとして再構成する。加算器62は、再構成された残差ブロックを予測モジュール41によって生成された予測ブロックに加算して、再構成されたブロックを生成し、再構成されたブロックを参照ブロックとして使用し、参照画像メモリ64内に記憶する。参照ブロックは、動き推定ユニット42および動き補償ユニット44によって、その後のビデオフレームもしくは画像内のブロックに対してフレーム間予測を実行するための参照ブロックとして使用され得る。
【０１２６】
ビデオエンコーダ20の別の構造変更形態もビデオストリームを符号化するために使用できることが理解されるべきである。たとえば、いくつかの画像ブロックまたは画像フレームについて、残差信号は、変換モジュール52によって処理されることなくビデオエンコーダ20によって直接量子化されるものとしてよく、それに対応して、残差信号は、逆変換モジュール58によって処理される必要はない。あるいは、いくつかの画像ブロックまたは画像フレームについて、ビデオエンコーダ20は、残差データを生成せず、それに対応して、変換モジュール52、量子化モジュール54、逆量子化モジュール58、および逆変換モジュール60によっていかなる処理も実行される必要はない。あるいは、再構成された画像ブロックは、フィルタユニットによって処理されることなくビデオエンコーダ20によって参照ブロックとして直接記憶され得る。あるいは、ビデオエンコーダ20内の量子化モジュール54および逆量子化モジュール58は、一体化され得る。あるいは、ビデオエンコーダ20内の変換モジュール52および逆変換モジュール60は、一体化され得る。あるいは、加算器50および加算器62は、一体化されてもよい。
【０１２７】
図2Bは、本出願の一実施形態によるビデオデコーダ30の概略ブロック図である。また図3、図10から図12、および図14から図17を参照すると、ビデオデコーダ30は画像予測プロセスを実行するものとしてよく、特に、ビデオデコーダ30内の動き補償ユニット82は、画像予測プロセスを実行し得る。
【０１２８】
図2Bに示されているように、ビデオデコーダ30は、エントロピー復号モジュール80と、予測処理モジュール81と、逆量子化モジュール86と、逆変換モジュール88と、再構成モジュール90とを備え得る。一例において、予測モジュール81は、動き補償ユニット82と、フレーム内予測ユニット84とを備え得る。これは、本出願のこの実施形態において限定されない。
【０１２９】
実現可能な一実装形態において、ビデオデコーダ30は、参照画像メモリ92をさらに備え得る。参照画像メモリ92は、あるいは、ビデオデコーダ30の外部に配設されてもよいことが理解されるべきである。いくつかの実現可能な実装形態において、ビデオデコーダ30は、図2A内のビデオエンコーダ20において説明されている符号化プロセスとは逆の例示的な復号プロセスを実行し得る。
【０１３０】
復号中に、ビデオデコーダ30は、ビデオエンコーダ20から、符号化されたビデオスライスおよび関連付けられているシンタックス要素の画像ブロックを表す符号化されたビデオビットストリームを受信する。ビデオデコーダ30は、ビデオスライスレベルおよび/または画像ブロックレベルにおいてシンタックス要素を受信し得る。ビデオデコーダ30のエントロピー復号モジュール80は、ビットストリームに対してエントロピー復号を実行し、量子化された係数およびいくつかのシンタックス要素を生成する。エントロピー復号モジュール80は、シンタックス要素を予測モジュール81に転送する。本出願において、一例では、本明細書のシンタックス要素は、現在の画像ブロックに関係するフレーム間予測データを含むものとしてよく、フレーム間予測データは、インデックス識別子block_based_indexを含み、これにより、どの動き情報(現在の画像ブロックの初期動き情報とも称される)が現在の画像ブロックによって使用されるかを指示し得る。任意選択で、フレーム間予測データは、スイッチフラグblock_based_enable_flagをさらに含むものとしてよく、これにより、図3もしくは図14を使用することによって現在の画像ブロックに対して画像予測を実行するかどうかを指示する(言い換えると、本出願において提案されているMVD鏡像制約条件を使用することによって現在の画像ブロックに対してフレーム間予測を実行するかどうかを指示する)か、または図12もしくは図16を使用することによって現在の画像ブロックに対して画像予測を実行するかどうかを指示する(言い換えると、時間領域距離に基づく、本出願において提案されている比例関係を使用することによって現在の画像ブロックに対してフレーム間予測を実行するかどうかを指示する)。
【０１３１】
ビデオスライスがフレーム内復号(I)スライスに復号されるとき、予測モジュール81のフレーム内予測ユニット84は、現在のフレームまたは画像からのものである以前に復号されたブロックの信号およびデータを送信することによって通知されるフレーム内予測モードに基づき現在のビデオスライスの画像ブロックの予測ブロックを生成し得る。ビデオスライスがフレーム間復号(すなわち、BまたはP)スライスに復号されるとき、予測モジュール81の動き補償ユニット82は、エントロピー復号モジュール82から受信されたシンタックス要素に基づき、現在のビデオスライスの現在の画像ブロックを復号するために使用されるフレーム間予測モードを決定し、決定されたフレーム間予測モードに基づき現在の画像ブロックを復号する(たとえば、現在の画像ブロックに対してフレーム間予測を実行する)ものとしてよい。特に、動き補償ユニット82は、どの予測方法が現在のビデオスライスの現在の画像ブロックを予測するために使用されるかを決定するものとしてよく、たとえば、シンタックス要素は、MVD鏡像制約条件に基づく画像予測方法が、現在の画像ブロックを予測するために使用されるべきであることを指示する。現在のビデオスライスの現在の画像ブロックの動き情報が予想されるか、または精密化され、それにより、動き補償プロセスを使用することによって、現在の画像ブロックの予測された動き情報を使用することで現在の画像ブロックの予測ブロックを生成する。本明細書の動き情報は、参照画像情報と動きベクトルとを含み得る。参照画像情報は、一方向/双方向予測情報、参照画像リスト番号、および参照画像リストに対応する参照画像インデックスを含み得るが、これらに限定されない。フレーム間予測については、参照画像リストのうちの1つの中の参照画像のうちの1つから予測ブロックが生成され得る。ビデオデコーダ30は、参照画像メモリ92に記憶されている参照画像に基づき、参照画像リスト、すなわち、リスト0およびリスト1を構築するものとしてよい。現在の画像の参照フレームインデックスは、参照フレームリスト0および参照フレームリスト1のうちの一方または両方に含まれ得る。いくつかの場合において、ビデオエンコーダ20は、どの新しい画像予測方法が使用されるかを指示するための信号を送信し得る。
【０１３２】
この実施形態では、予測モジュール81は、現在の符号化画像ブロックの予測ブロックを生成するように構成される。特に、ビデオスライスがフレーム内復号(I)スライスに復号されたとき、予測モジュール81のフレーム内予測ユニット84は、送信された信号伝達フレーム内予測モードおよび現在のフレームまたは画像からのものである以前に復号された画像ブロックのデータに基づき現在のビデオスライスの画像ブロックの予測ブロックを生成し得る。ビデオ画像がフレーム間復号(たとえば、B、P、またはGPB)スライスに復号されたとき、予測モジュール81の動き補償ユニット82はエントロピー符号化ユニット80から受信された動きベクトルおよび他のシンタックス要素に基づき現在のビデオ画像の画像ブロックの予測ブロックを生成する。
【０１３３】
逆量子化モジュール86は、復号を通じてエントロピー復号モジュール80によって取得されるビットストリームで提供される量子化された変換係数に対して逆量子化を実行する、すなわち、逆量子化する。逆量子化プロセスは、ビデオスライス内の各画像ブロックについてビデオエンコーダ20によって計算された量子化パラメータを使用することによって適用されるべき量子化度を決定することと、同様に適用されるべき逆量子化度を決定することとを含むものとしてよい。逆変換モジュール88は、逆変換、たとえば、逆DCT、逆整数変換、または概念的に類似する逆変換プロセスを変換係数に実行し、ピクセル領域残差ブロックを生成する。
【０１３４】
動き補償ユニット82が、現在の画像ブロックに対する予測ブロックを生成した後、ビデオデコーダ30は、逆変換モジュール88からの残差ブロックと動き補償ユニット82によって生成された対応する予測ブロックとを加算して、再構成されたブロック、すなわち、復号された画像ブロックを取得する。加算器90は、加算演算を実行するコンポーネントを表す。必要なときに、ループフィルタ(復号ループ内または復号ループの後)は、ピクセル変換を平滑化するためにさらに使用され得るか、またはビデオ品質は、別の方式で改善され得る。フィルタユニット(図示せず)は、1つまたは複数のループフィルタ、たとえば、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタを表し得る。さらに、所与のフレームまたは画像内の復号された画像ブロックは、復号画像バッファ92内にさらに記憶されるものとしてよく、復号画像バッファ92は、その後の動き補償のために使用される参照画像を記憶する。復号画像バッファ92はメモリの一部であってもよく、表示装置(たとえば、図1の表示装置32)上にその後表示するために復号されたビデオをさらに記憶し得る。あるいは、復号画像バッファ9は、そのようなメモリから分離していてもよい。
【０１３５】
ビデオデコーダ30の別の構造変更形態は符号化されたビデオビットストリームを復号するために使用できることが理解されるべきである。たとえば、ビデオデコーダ30は、フィルタユニットによる処理をせずに出力ビデオストリームを生成し得る。あるいは、いくつかの画像ブロックまたは画像フレームについて、ビデオデコーダ30のエントロピー復号モジュール80は、復号を通じて量子化済み係数を取得することをせず、それに対応して、逆量子化モジュール86および逆変換器88による処理は必要ない。たとえば、ビデオデコーダ30内の逆量子化モジュール86および逆変換モジュール88は一体化され得る。
【０１３６】
図3は、本出願の一実施形態による画像予測方法の概略フローチャートである。図3に示されている方法は、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図3に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。より具体的には、図3に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。プロセス300は、ビデオエンコーダ20またはビデオデコーダ30によって実行されるものとしてよく、特に、ビデオエンコーダ20またはビデオデコーダ30の動き補償ユニットによって実行され得る。複数のビデオフレームを有するビデオデータストリームについては、ビデオエンコーダまたはビデオデコーダは、次のステップを含む、プロセス300を実行して、現在のビデオフレームの現在の画像ブロックのピクセル値の予測値を予測するために使用されている。
【０１３７】
図3に示されている方法は、ステップ301からステップ304を含み、ステップ301からステップ304について以下で詳しく説明する。
【０１３８】
301:現在の画像ブロックの初期動き情報を取得する。
【０１３９】
本明細書の画像ブロックは、処理されるべき画像または処理されるべき画像内のサブ画像内の画像ブロックであってよい。さらに、本明細書の画像ブロックは、符号化プロセスにおける符号化されるべき画像ブロックまたは復号プロセスにおける復号されるべき画像ブロックであってよい。
【０１４０】
さらに、初期動き情報は、予測方向(通常は双方向予測である)の指示情報、参照画像ブロックを指す動きベクトル(通常は隣接ブロックの動きベクトルである)、および参照画像ブロックが配置されている画像の情報(通常は、参照画像情報として理解される)を含み得る。動きベクトルは前方動きベクトルおよび後方動きベクトルを含み、参照画像情報は前方予測参照画像ブロックおよび後方予測参照画像ブロックの参照フレームインデックス情報を含む。
【０１４１】
画像ブロックの初期動き情報は、複数の方式で取得され得る。たとえば、画像ブロックの初期動き情報は次の方式1および方式2で取得され得る。
【０１４２】
方式1:
図4および図5を参照すると、フレーム間予測のマージモードにおいて、候補動き情報リストは、現在の画像ブロックの隣接ブロックの動き情報に基づき構築され、1つの候補動き情報が、現在の画像ブロックの初期動き情報として候補動き情報リストから選択される。候補動き情報リストは、動きベクトル、参照フレームインデックス情報、および同様のものを含む。たとえば、隣接ブロックA0の動き情報(図5においてインデックスが0である候補動き情報を指す)は、現在の画像ブロックの初期動き情報として選択される。特に、A0の前方動きベクトルは、現在のブロックの前方予測動きベクトルとして使用され、A0の後方動きベクトルは、現在のブロックの後方予測動きベクトルとして使用される。
【０１４３】
方式2:
フレーム間予測の非マージモードでは、動きベクトル予測値リストは、現在の画像ブロックの隣接ブロックの動き情報に基づき構築され、動きベクトルは、現在の画像ブロックの動きベクトル予測値として動きベクトル予測値リストから選択される。この場合、現在の画像ブロックの動きベクトルは、隣接ブロックの動きベクトル値または選択された隣接ブロックの動きベクトルと現在の画像ブロックの動きベクトルの間の差の和であるものとしてよい。動きベクトル差は、現在の画像ブロックに対して動き推定を実行することによって取得された動きベクトルとおよび選択された隣接ブロックの動きベクトルの間の差である。たとえば、動きベクトル予測値リスト内の、インデックス1および2に対応する動きベクトルは、現在の画像ブロックの前方動きベクトルおよび後方動きベクトルとして選択される。
【０１４４】
前述の方式1および方式2は、画像ブロックの初期動き情報を取得する単なる2つの特定の方式にすぎないことが理解されるべきである。本出願では、予測ブロックの動き情報を取得する方式は限定されず、画像ブロックの初期動き情報を取得できる任意の方式が本出願の保護範囲内に収まるものとする。
【０１４５】
302:現在の画像ブロックの初期動き情報および位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である。
【０１４６】
図6を参照すると、本出願のこの実施形態における現在の画像ブロックが属する現在の画像は、2つの参照画像、すなわち、前方参照画像と後方参照画像とを有する。
【０１４７】
一例において、初期動き情報は、前方予測方向における第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向における第2の動きベクトルおよび第2の参照画像インデックスとを含む。
【０１４８】
それに対応して、ステップ302は、
現在の画像ブロックの第1の動きベクトルおよび位置に基づき、初期前方参照ブロックの位置を第1の探索開始点(図8では(0,0)で示されている)として使用して、第1の参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの初期前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することと、
現在の画像ブロックの第2の動きベクトルおよび位置に基づき、初期後方参照ブロックの位置を第2の探索開始点として使用して、第2の参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの初期後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することとを含み得る。
【０１４９】
一例において、図7を参照すると、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置((0, 0)で示される)と、(N-1)個の候補前方参照ブロックの位置((0,-1)、(-1,-1)、(-1,1)、(1,-1)、(1,1)、および同様のもので示される)を含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離(図8に示されているような)もしくは分数ピクセル距離であり、ただしN=9である、またはN個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であり、ただしN=9である。
【０１５０】
図8を参照すると、動き推定または動き補償プロセスにおいて、MV精度は、分数ピクセル精度(たとえば、1/2ピクセル精度または1/4ピクセル精度)であってよい。画像が整数ピクセルのピクセル値のみを有し、現在のMV精度は分数ピクセル精度である場合、分数ピクセル位置のピクセル値を取得するために、補間フィルタを使用することによって、また参照画像の整数ピクセル位置のピクセル値を使用することによって補間が実行される必要があり、それにより、分数ピクセル位置のピクセル値を取得し、取得されたピクセル値は、現在のブロックの予測ブロックの値として使用される。特定の補間プロセスが、使用される補間フィルタに関係している。一般的に、参照サンプルの周りの整数サンプルのピクセル値は、参照サンプルの値を取得するために線形加重され得る。共通補間フィルタは、4タップ、6タップ、および8タップの補間フィルタ、および同様のものを含む。
【０１５１】
図7に示されているように、Ai,jは整数ピクセル位置におけるサンプルであり、そのビット幅はbitDepthである。a0,0、b0,0、c0,0、d0,0、h0,0、n0,0、e0,0、i0,0、p0,0、f0,0、j0,0、q0,0、g0,0、k0,0、およびr0,0は、分数ピクセル位置におけるサンプルである。8タップ補間フィルタが使用される場合、a0,0は、次の式を使用することによって計算することで取得され得る。
a0,0=(C0*A-3,0+C1*A-2,0+C2*A-1,0+C3*A0,0+C4*A1,0+C5*A2,0+C6*A3,0+C7*A4,0)>> shift1
【０１５２】
前述の式において、Ckは補間フィルタの係数であり、k=0, 1, ..., 7である。補間フィルタの係数の和が2のN乗であるならば、補間フィルタの利得はNである。たとえば、Nが6であるということは、補間フィルタの利得が6ビットであることを示す。shift1は右シフトのビットの数であり、shift1はbitDepth-8に設定されてよく、bitDepthはターゲットビット幅である。このようにして、前述の式に基づき、予測ブロックのピクセル値の最終的に取得されたビット幅は、bitDepth+6-shift1=14ビットである。
【０１５３】
303:マッチングコスト基準に基づくM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である。
【０１５４】
図9を参照すると、初期前方参照ブロック902(すなわち、前方探索基点)の位置に対する前方参照画像Ref0内の候補前方参照ブロック904の位置のオフセットはMVD0(delta0x, delta0y)である。初期後方参照ブロック903(すなわち、後方探索基点)の位置に対する後方参照画像Ref1内の候補後方参照ブロック905の位置のオフセットはMVD1(delta1x, delta1y)である。
【０１５５】
MVD0=-MVD1、具体的には、
delta0x=-delta1x、および
delta0y=-delta1y。
【０１５６】
異なる例において、ステップ303は、
M対の参照ブロック(1つの前方参照ブロックおよび1つの後方参照ブロック)の位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するか、またはM対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定することを含み得る。さらに、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、絶対差の和(Sum of absolute differences、SAD)、絶対変換差の和(Sum of absolute transformation differences、SATD)、絶対平方差の和、または同様のものを使用することによって測定され得る。
【０１５７】
304:ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。
【０１５８】
一例では、ステップ304において、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に対して加重処理が行われ、それにより、現在の画像ブロックのピクセル値の予測値を取得する。
【０１５９】
任意選択で、一実施形態において、図3に示されている方法は、現在の画像ブロックの更新動き情報を取得することであって、更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、更新前方動きベクトルはターゲット前方参照ブロックの位置を指し、更新後方動きベクトルはターゲット後方参照ブロックの位置を指す、取得することをさらに含む。現在の画像ブロックの更新動き情報は、ターゲット前方参照ブロックの位置、ターゲット後方参照ブロックの位置、および現在の画像ブロックの位置に基づき取得され得るか、または決定された対の参照ブロックの位置に対応している第1の位置オフセットおよび第2の位置オフセットに基づき取得される。
【０１６０】
画像ブロックの動きベクトルが更新される。このようにして、別の画像ブロックは、次の画像予測中に画像ブロックに基づき効果的に予測され得る。
【０１６１】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと、初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【０１６２】
次に、図10を参照しつつ本出願の実施形態における画像予測方法を詳しく説明する。
【０１６３】
図10は、本出願の一実施形態による画像予測方法の概略フローチャートである。図10に示されている方法は、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図10に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。より具体的には、図10に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。
【０１６４】
図10に示されている方法は、ステップ1001からステップ1007を含み、ステップ1001からステップ1007について以下で詳しく説明する。
【０１６５】
1001:現在のブロックの初期動き情報を取得する。
【０１６６】
たとえば、フレーム間予測/符号化モードがマージである画像ブロックについて、動き情報のグループは、マージインデックスに基づきマージ候補リストから取得され、動き情報は、現在のブロックの初期動き情報である。たとえば、フレーム間予測/符号化モードがAMVPである画像ブロックについて、MVPは、AMVPモードのインデックスに基づきMVP 候補リストから取得され、現在のブロックのMVは、ビットストリームに含まれるMVPとMVDの和を取得することによって取得される。初期動き情報は、参照画像指示情報と動きベクトルとを含む。前方参照画像および後方参照画像は、参照画像指示情報を使用することによって決定される。前方参照ブロックの位置および後方参照ブロックの位置は、動きベクトルを使用することによって決定される。
【０１６７】
1002:前方参照画像内の現在の画像ブロックの開始前方参照ブロックの位置を決定し、開始前方参照ブロックの位置は、前方参照画像内の探索開始点(探索基点とも称される)である。
【０１６８】
特に、前方参照画像内の探索基点(以下では第1の探索基点と称される)は、現在のブロックの前方MVおよび位置情報に基づき取得される。たとえば、前方MV情報は(MV0x, MV0y)である。現在のブロックの位置情報は(B0x, B0y)である。前方参照画像内の第1の探索基点は(MV0x+B0x, MV0y+B0y)である。
【０１６９】
1003:後方参照画像内の現在の画像ブロックの開始後方参照ブロックの位置を決定し、開始後方参照ブロックの位置は、後方参照画像内の探索開始点である。
【０１７０】
特に、後方参照画像内の探索基点(以下では第2の探索基点と称される)は、現在のブロックの後方MVおよび位置情報に基づき取得される。たとえば、後方MVは(MV1x, MV1y)である。現在のブロックの位置情報は(B0x, B0y)である。後方参照画像内の第2の探索基点は(MV1x+B0x, MV1y+B0y)である。
【０１７１】
1004:MVD鏡像制約条件に基づき、一対の最もマッチしている参照ブロック(すなわち、1つの前方参照ブロックおよび1つの後方参照ブロック)の位置を決定し、最適な前方動きベクトルおよび最適な後方動きベクトルを取得する。
【０１７２】
本明細書におけるMVD鏡像制約条件は、次のように説明され得る。前方探索基点に対する前方参照画像内のブロック位置のオフセットはMVD0(delta0x, delta0y)である。後方探索基点に対する後方参照画像内のブロック位置のオフセットはMVD1(delta1x, delta1y)である。次の関係が満たされる。
MVD0=-MVD1、具体的には、
delta0x=-delta1x、および
delta0y=-delta1y。
【０１７３】
図7を参照すると、前方参照画像内で、整数ピクセルステップの動き探索が、探索基点((0,0)で示される)を開始点として使用することによって実行される。整数ピクセルステップは、探索基点に対する候補参照ブロックの位置のオフセットが整数ピクセル距離であることを意味する。探索基点が整数サンプルであるかどうか(開始点が整数ピクセルか、またはサブピクセル、たとえば、1/2、1/4、1/8、または1/16)に関係なく、整数ピクセルステップの動き探索は、最初に実行されて、現在の画像ブロックの前方参照ブロックの位置を取得するものとしてよいことが理解されるべきである。探索が整数ピクセルステップを使用することによって実行されるとき、探索開始点は、整数ピクセルであってもよく、または分数ピクセルであってもよく、たとえば、整数ピクセル、1/2ピクセル、1/4ピクセル、1/8ピクセル、または1/16ピクセルでありうることに留意されたい。
【０１７４】
図7に示されているように、点(0, 0)は探索基点として使用され、探索基点の周りの整数ピクセルステップの8個の探索点が探索され対応する候補参照ブロックの位置を取得する。図7は、8個の候補参照ブロックを示している。前方探索基点の位置に対する前方参照画像内の前方候補参照ブロックの位置のオフセットが(-1, -1)であるならば、後方探索基点の位置に対する後方参照画像内の対応する後方候補参照ブロックの位置のオフセットは(1,1)である。したがって、対になっている前方候補参照ブロックおよび後方候補参照ブロックの位置が取得される。一対の参照ブロックの取得された位置について、2つの対応する候補参照ブロックの間のマッチングコストが計算される。最小マッチングコストを有する前方参照ブロックおよび後方参照ブロックは、最適な前方参照ブロックおよび最適な後方参照ブロックとして選択され、最適な前方動きベクトルおよび最適な後方動きベクトルが取得される。
【０１７５】
1005および1006:ステップ1004において取得された最適な前方動きベクトルを使用することによって動き補償プロセスを実行して最適な前方参照ブロックのピクセル値を取得し、ステップ1004において取得された最適な後方動きベクトルを使用することによって動き補償プロセスを実行して最適な後方参照ブロックのピクセル値を取得する。
【０１７６】
1007:最適な前方参照ブロックの取得されたピクセル値および最適な後方参照ブロックの取得されたピクセル値に対して加重処理を行い、現在の画像ブロックのピクセル値の予測値を取得する。
【０１７７】
特に、現在の画像ブロックのピクセル値の予測値は、次の式(2)に基づき取得され得る。
predSamples'[x][y]=(predSamplesL0'[x][y]+predSamplesL1'[x][y]+1)>>1 (2)
【０１７８】
前述の式において、predSamplesL0'は最適な前方参照ブロックであり、predSamplesL1'は最適な後方参照ブロックであり、predSamples'は現在の画像ブロックの予測ブロックであり、predSamplesL0'[x][y]はサンプル(x, y)における最適な前方参照ブロックのピクセル値であり、predSamplesL1'[x][y]はサンプル(x, y)における最適な後方参照ブロックのピクセル値であり、predSamples'[x][y]はサンプル(x, y)における予測ブロックの最終ピクセル値である。
【０１７９】
本出願のこの実施形態において、使用されるべき探索方法は限定されず、任意の探索方法が使用されてよいことに留意されたい。探索を通じて取得された各前方候補ブロックについて、ステップ4における前方候補ブロックと対応する後方候補ブロックの間の差分が計算され、最小のSADを有する前方候補ブロックおよび後方候補ブロック、前方候補ブロックに対応する前方動きベクトル、ならびに後方候補ブロックに対応する後方動きベクトルが、それぞれ、最適な前方予測ブロック、最適な後方予測ブロック、最適な前方予測ブロックに対応する最適な前方動きベクトル、および最適な後方予測ブロックに対応する最適な後方動きベクトルとして選択される。あるいは、探索を通じて取得された各後方候補ブロックについて、ステップ4における後方候補ブロックと対応する前方候補ブロックの間の差分が計算され、最小のSADを有する後方候補ブロックおよび前方候補ブロック、後方候補ブロックに対応する後方動きベクトル、ならびに前方候補ブロックに対応する前方動きベクトルが、それぞれ、最適な後方参照ブロック、最適な前方参照ブロック、最適な後方参照ブロックに対応する最適な後方動きベクトル、および最適な前方参照ブロックに対応する最適な前方動きベクトルとして選択される。
【０１８０】
整数ピクセルステップに基づく探索方法の一例のみがステップ1004において提示されていることに留意されたい。実際、整数ピクセルステップを使用することによる探索に加えて、分数ピクセルステップを使用することによる探索も使用できる。たとえば、ステップ1004において、整数ピクセルステップを使用することによる探索の後に、分数ピクセルステップを使用することによる探索が実行される。あるいは、分数ピクセルステップを使用することによる探索は、直接実行される。特定の探索方法は本明細書において限定されない。
【０１８１】
本出願のこの実施形態において、マッチングコストを計算するための方法は限定されないことに留意されたい。たとえば、SAD基準、MR-SAD基準、または別の基準も使用され得る。さらに、マッチングコストは、輝度成分のみを使用することによって、または輝度成分と色度成分の両方を使用することによって計算され得る。
【０１８２】
探索プロセスにおいて、マッチングコストが0であるか、またはプリセットされた閾値に到達した場合、トラバース動作または探索動作は予め終了され得ることに留意されたい。探索方法の早期終了条件は、本明細書において限定されない。
【０１８３】
ステップ1005およびステップ1005のシーケンスは限定されず、これらは、同時に実行され得るか、または順次実行され得ることが理解されるべきである。
【０１８４】
既存の方法では、テンプレートマッチングブロックが最初に計算される必要があり、前方探索および後方探索は、テンプレートマッチングブロックを使用することによって別々に実行されることがわかるが、本出願のこの実施形態では、マッチングブロックを探索するプロセスにおいて、マッチングコストは、前方参照画像内の候補ブロックと後方参照画像内の候補ブロックとを使用することによって直接計算され、それにより、マッチングコストが最小である2つのブロックを決定する。これは、画像予測プロセスを単純化し、画像予測精度を改善し、複雑度を低減する。
【０１８５】
図11は、本出願の一実施形態による画像予測方法の概略フローチャートである。図11に示されている方法は、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図11に示されている方法は、ステップ1101からステップ1105を含む。ステップ1101からステップ1103およびステップ1105については、図10のステップ1001からステップ1003およびステップ1007の説明を参照されたい。詳細については、ここで再び説明しない。
【０１８６】
本出願のこの実施形態と図10に示されている実施形態との違いは、現在の最適な前方および後方参照ブロックのピクセル値が探索プロセスにおいて保持され更新されることにある。探索が完了した後、現在の画像ブロックのピクセル値の予測値は、現在の最適な前方および後方参照ブロックのピクセル値を使用することによって計算できる。
【０１８７】
たとえば、N対の参照ブロックの位置はトラバースされる必要がある。Costiは、i番目のマッチングコストであり、MinCostは、現在の最小マッチングコストを示す。Bfiは前方参照ブロックのピクセル値であり、Bbiは後方参照ブロックのピクセル値であり、ピクセル値はi番目の時間に取得される。BestBfは現在の最適な前方参照ブロックの値であり、BestBbは現在の最適な後方参照ブロックの値である。CalCost(M, N)はブロックMおよびブロックNのマッチングコストを表す。
【０１８８】
探索が開始すると(i=1)、MinCost=Cost0=CalCost(Bf0, Bb0)、BestBf=Bf0、およびBestBb=Bb0である。
【０１８９】
他の対の参照ブロックがその後トラバースされたとき、更新がリアルタイムで実行される。たとえば、第i回(i>1)の探索が実行されたとき、Costi<MinCostであるならば、BestBf=BfiおよびBestBb=Bbiであり、そうでないならば、更新は実行されない。
【０１９０】
探索が終わったとき、BestBfおよびBestBbは、現在のブロックのピクセル値の予測値を取得するために使用される。
【０１９１】
図12は、本出願の一実施形態による画像予測方法の概略フローチャートである。図12に示されている方法は、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図12に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。より具体的には、図3に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。プロセス1200は、ビデオエンコーダ20またはビデオデコーダ30によって実行されるものとしてよく、特に、ビデオエンコーダ20またはビデオデコーダ30の動き補償ユニットによって実行され得る。複数のビデオフレームを有するビデオデータストリームについては、ビデオエンコーダまたはビデオデコーダは、次のステップを含む、プロセス1200を実行して、現在のビデオフレームの現在の画像ブロックのピクセル値の予測値を取得するために使用されている。
【０１９２】
図12に示されている方法は、ステップ1201からステップ1204を含む。ステップ1201、ステップ1202、およびステップ1204については、図3のステップ301、ステップ302、およびステップ304の説明を参照されたい。詳細については、ここで再び説明しない。
【０１９３】
本出願のこの実施形態と図3に示されている実施形態との違いは次のとおりである。ステップ1203において、マッチングコスト基準に基づくM対の参照ブロックの位置から、一対の参照ブロックの位置は現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定され、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である。
【０１９４】
図13を参照すると、初期前方参照ブロック1302(すなわち、前方探索基点)の位置に対する前方参照画像Ref0内の候補前方参照ブロック1304の位置のオフセットはMVD0(delta0x, delta0y)である。初期後方参照ブロック1303(すなわち、後方探索基点)の位置に対する後方参照画像Ref1内の候補後方参照ブロック1305の位置のオフセットはMVD1(delta1x, delta1y)である。
【０１９５】
探索プロセスにおいて、2つのマッチングブロックの位置オフセットオフセットは鏡像関係の条件を満たし、鏡像関係において時間領域間隔が考慮される必要がある。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【０１９６】
TD0=TC-T0、および
TD1=TC-T1。
【０１９７】
特定の符号化プロセスにおいて、TD0およびTD1は、画像順序カウント(picture order count、POC)を使用することによって計算され得る。たとえば、以下のとおりである。
TD0=POCc-POC0および
TD1=POCc-POC1。
【０１９８】
本明細書において、POCc、POC0、およびPOC1は、それぞれ、現在の画像のPOC、前方参照画像のPOC、および後方参照画像のPOCを表す。TD0は、現在の画像と前方参照画像の間の画像順序カウント(picture order count、POC)距離を表し、TD1は、現在の画像と後方参照画像の間のPOC距離を表す。
【０１９９】
delta0=(delta0x, delta0y)、および
delta1=(delta1x, delta1y)。
【０２００】
時間領域間隔を考慮した鏡像関係は次のように記述される。
delta0x=(TD0/TD1)*delta1x、および
delta0y=(TD0/TD1)*delta1y、または
delta0x/delta1x=(TD0/TD1)、および
delta0y/delta1y=(TD0/TD1)。
【０２０１】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと、初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域距離に基づく比例関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【０２０２】
前述の実施形態において、探索プロセスは1回実行される。さらに、繰り返し法を使用することによって探索が複数回実行され得る。特に、前方参照ブロックおよび後方参照ブロックが探索の各回で取得された後、現在の精密化されたMVに基づき探索が1回または複数回実行され得る。
【０２０３】
本出願の一実施形態における画像予測方法の一プロセスが、図14を参照しつつ以下で詳しく説明されている。図3に示されている方法と同様に、図14に示されている方法も、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図14に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。特に、図14に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。
【０２０４】
図14に示されている方法は、次のステップ1401からステップ1404を特に含む。
【０２０５】
1401:現在の画像ブロックの第i回動き情報を取得する。
【０２０６】
本明細書の画像ブロックは、処理されるべき画像または処理されるべき画像内のサブ画像内の画像ブロックであってよい。さらに、本明細書の画像ブロックは、符号化プロセスにおける符号化されるべき画像ブロックまたは復号プロセスにおける復号されるべき画像ブロックであってよい。
【０２０７】
i=1であるならば、第i回動き情報は、現在の画像ブロックの初期動き情報である。
【０２０８】
i>1であるならば、第i回動き情報は、第(i-1)回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第(i-1)回ターゲット後方参照ブロックの位置を指す後方動きベクトルとを含む。
【０２０９】
さらに、初期動き情報は、予測方向(通常は双方向予測である)の指示情報、参照画像ブロックを指す動きベクトル(通常は隣接ブロックの動きベクトルである)、および参照画像ブロックが配置されている画像の情報(通常は、参照画像情報として理解される)を含み得る。動きベクトルは前方動きベクトルおよび後方動きベクトルを含み、参照画像情報は前方予測参照画像ブロックおよび後方予測参照画像ブロックの参照フレームインデックス情報を含む。
【０２１０】
画像ブロックの初期動き情報は、複数の方式で取得され得る。たとえば、画像ブロックの初期動き情報は次の方式1および方式2で取得され得る。
【０２１１】
方式1:
図4および図5を参照すると、フレーム間予測のマージモードにおいて、候補動き情報リストは、現在の画像ブロックの隣接ブロックの動き情報に基づき構築され、1つの候補動き情報が、現在の画像ブロックの初期動き情報として候補動き情報リストから選択される。候補動き情報リストは、動きベクトル、参照フレームインデックス情報、および同様のものを含む。たとえば、隣接ブロックA0の動き情報(図5においてインデックスが0である候補動き情報を指す)は、現在の画像ブロックの初期動き情報として選択される。特に、A0の前方動きベクトルは、現在のブロックの前方予測動きベクトルとして使用され、A0の後方動きベクトルは、現在のブロックの後方予測動きベクトルとして使用される。
【０２１２】
方式2:
フレーム間予測の非マージモードでは、動きベクトル予測値リストは、現在の画像ブロックの隣接ブロックの動き情報に基づき構築され、動きベクトルは、現在の画像ブロックの動きベクトル予測値として動きベクトル予測値リストから選択される。この場合、現在の画像ブロックの動きベクトルは、隣接ブロックの動きベクトル値または選択された隣接ブロックの動きベクトルと現在の画像ブロックの動きベクトルの間の差の和であるものとしてよい。動きベクトル差は、現在の画像ブロックに対して動き推定を実行することによって取得された動きベクトルとおよび選択された隣接ブロックの動きベクトルの間の差である。たとえば、動きベクトル予測値リスト内の、インデックス1および2に対応する動きベクトルは、現在の画像ブロックの前方動きベクトルおよび後方動きベクトルとして選択される。
【０２１３】
前述の方式1および方式2は、画像ブロックの初期動き情報を取得する単なる2つの特定の方式にすぎないことが理解されるべきである。本出願では、予測ブロックの動き情報を取得する方式は限定されず、画像ブロックの初期動き情報を取得できる任意の方式が本出願の保護範囲内に収まるものとする。
【０２１４】
1402:第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置と、N個の後方参照ブロックの位置とを決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である。
【０２１５】
一例において、第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含む。
【０２１６】
それに対応して、ステップ1402は、
前方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用して、前方参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定することと、
後方動きベクトルおよび現在の画像ブロックの位置に基づき、第(i-1)回ターゲット後方参照ブロックの位置を第ibの探索開始点として使用して、後方参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの第(i-1)回ターゲット後方参照ブロックの位置を決定し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定することとを含み得る。
【０２１７】
一例において、図7を参照すると、N個の前方参照ブロックの位置は、第i回ターゲット前方参照ブロックの位置((0, 0)で示される)と、(N-1)個の候補前方参照ブロックの位置((0,-1)、(-1,-1)、(-1,1)、(1,-1)、(1,1)、および同様のもので示される)を含み、第i回ターゲット前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離(図8に示されているような)もしくは分数ピクセル距離であり、ただしN=9である、またはN個の後方参照ブロックの位置は、第i回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、第i回ターゲット後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であり、ただしN=9である。
【０２１８】
1403:マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である。
【０２１９】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは次のように理解され得る。第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じである。
【０２２０】
図9を参照すると、第(i-1)回ターゲット前方参照ブロック902(すなわち、前方探索基点)の位置に対する前方参照画像Ref0内の候補前方参照ブロック904の位置のオフセットはMVD0(delta0x, delta0y)である。第(i-1)回ターゲット後方参照ブロック903(すなわち、後方探索基点)の位置に対する後方参照画像Ref1内の候補後方参照ブロック905の位置のオフセットはMVD1(delta1x, delta1y)である。
【０２２１】
MVD0=-MVD1、具体的には、
delta0x=-delta1x、および
delta0y=-delta1y。
【０２２２】
異なる例において、ステップ1403は、
M対の参照ブロック(1つの前方参照ブロックおよび1つの後方参照ブロック)の位置から、マッチング誤差が最小である一対の参照ブロックの位置が、現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するか、またはM対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定することを含み得る。さらに、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、絶対差の和(Sum of absolute differences、SAD)、絶対変換差の和(Sum of absolute transformation differences、SATD)、絶対平方差の和、または同様のものを使用することによって測定され得る。
【０２２３】
1404:ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。
【０２２４】
一例では、ステップ404において、加重処理がターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に対して実行され、それにより、現在の画像ブロックのピクセル値の予測値を取得する。さらに、本出願では、現在の画像ブロックのピクセル値の予測値は、あるいは、別の方法を使用することによって取得され得る。これは、本出願において限定されない。
【０２２５】
画像ブロックの動きベクトルが更新される。たとえば、初期動き情報が第2回動き情報に更新され、第2回動き情報は、第1回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第1回ターゲット後方参照ブロックを指す後方動きベクトルとを含む。このようにして、別の画像ブロックは、次の画像予測中に画像ブロックに基づき効果的に予測され得る。
【０２２６】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと、初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、MVを精密化する精度は繰り返し回数を増やすことによってさらに改善され、それにより、符号化性能がさらに改善され得る。
【０２２７】
本出願の一実施形態における画像予測方法の一プロセスが、図15を参照しつつ以下で詳しく説明されている。図15に示されている方法は、また、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図15に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。特に、図15に示されている方法は、符号化または復号時にフレーム間予測プロセスで使用され得る。
【０２２８】
図15に示されている方法は、特に、ステップ1501からステップ1508を含み、ステップ1501からステップ1508について以下で詳しく説明する。
【０２２９】
1501:現在の画像ブロックの初期動き情報を取得する。
【０２３０】
たとえば、第1回の探索に、現在のブロックの初期動き情報が使用される。たとえば、符号化モードがマージである画像ブロックについて、動き情報は、マージモードのインデックスに基づきマージ候補リストから取得され、動き情報は、現在のブロックの初期動き情報である。たとえば、符号化モードがAMVPである画像ブロックについて、MVPは、AMVPモードのインデックスに基づきMVP 候補リストから取得され、現在のブロックのMVは、ビットストリームに含まれるMVPとMVDの和を取得することによって取得される。第1回でない探索には、前回の探索で更新されたMV情報が使用される。動き情報は、参照画像指示情報と動きベクトル情報とを含む。前方参照画像および後方参照画像は、参照画像指示情報を使用することによって決定される。前方参照ブロックの位置および後方参照ブロックの位置は、動きベクトル情報を使用することによって決定される。
【０２３１】
1502:前方参照画像内の探索基点を決定する。
【０２３２】
前方参照画像内の探索基点は、現在のブロックの前方MV情報および位置情報に基づき決定される。特定のプロセスは、図10または図11の実施形態におけるプロセスに類似している。たとえば、前方MV情報が(MV0x, MV0y)であり、現在のブロックの位置情報が(B0x, B0y)であるならば、前方参照画像内の探索基点は(MV0x+B0x, MV0y+B0y)である。
【０２３３】
1503:後方参照画像内の探索基点を決定する。
【０２３４】
後方参照画像内の探索基点は、現在のブロックの後方MV情報および位置情報に基づき決定される。特定のプロセスは、図10または図11の実施形態におけるプロセスに類似している。たとえば、後方MV情報が(MV1x, MV1y)であり、現在のブロックの位置情報が(B0x, B0y)であるならば、後方参照画像内の探索基点は(MV1x+B0x, MV1y+B0y)である。
【０２３５】
1504:前方参照画像および後方参照画像において、MVD鏡像制約条件に基づき、一対の最もマッチしている参照ブロック(すなわち、1つの前方参照ブロックおよび1つの後方参照ブロック)の位置を決定し、現在の画像ブロックの精密化された前方動きベクトルおよび精密化された後方動きベクトルを取得する。
【０２３６】
特定の探索プロセスは、図10または図11の実施形態におけるプロセスに類似している。詳細については、ここで再び説明しない。
【０２３７】
1505:繰り返し終了条件が満たされたかどうかを決定し、繰り返し終了条件が満たされていない場合、ステップ1502および1503を実行する。繰り返し終了条件が満たされている場合、ステップ1506および1507が実行される。
【０２３８】
繰り返し探索の終了条件の設計は、本明細書において限定されない。たとえば、トラバースは、指定されたL回の繰り返しに基づき実行され得るか、または別の繰り返し終了条件が満たされる。たとえば、現在の繰り返し動作の結果が得られた後、MVD0が0に近い、または等しく、MVD1が0に近いか、または等しい場合、たとえば、MVD0=(0, 0)およびMVD1=(0, 0)であるならば、繰り返し動作は終了されるうる。
【０２３９】
Lはプリセット値であり、1より大きい整数である。Lは画像が予測される前にプリセットされている数値であり得るか、Lの数値は画像予測の精度および予測ブロックの探索における複雑度に基づき設定され得るか、Lは過去の経験値に基づき設定され得るか、またはLは中間探索プロセスの結果に対する検証に基づき決定され得る。
【０２４０】
たとえば、この実施形態では、整数ピクセルステップを使用することによって、探索は全部で2回実行される。第1回の探索中に、初期前方参照ブロックの位置が探索基点として使用されてよく、前方参照画像(前方参照領域とも称される)内で(N-1)個の候補前方参照ブロックの位置が決定される。初期後方参照ブロックの位置が探索基点として使用され、後方参照画像(前方参照領域とも称される)内で(N-1)個の候補後方参照ブロックの位置が決定される。N対の参照ブロックの位置における1つまたは複数の対の参照ブロック位置について、2つの対応する参照ブロックのマッチングコストが計算され、たとえば、初期前方参照ブロックおよび初期後方参照ブロックのマッチングコストが計算され、MVD鏡像制約条件を満たす候補前方参照ブロックおよび候補後方参照ブロックのマッチングコストが計算される。このようにして、第1回の探索における第1回ターゲット前方参照ブロックの位置および第1回ターゲット後方参照ブロックの位置が取得され、更新動き情報がさらに取得される。更新動き情報は、現在のブロックの位置が第1回ターゲット前方参照ブロックの位置を指していることを指示する前方動きベクトルと、現在の画像ブロックの位置が第1回ターゲット後方参照ブロックの位置を指していることを指示する後方動きベクトルとを含む。更新動き情報および初期動き情報は、同じ参照フレームインデックスおよび同様のものを含むことが理解されるべきである。次に、第2回の探索が実行される。第1回ターゲット前方参照ブロックの位置は探索基点として使用され、前方参照画像(前方参照領域とも称される)内で(N-1)個の候補前方参照ブロックの位置が決定される。第1回ターゲット後方参照ブロックの位置は探索基点として使用され、後方参照画像(前方参照領域とも称される)内で(N-1)個の候補後方参照ブロックの位置が決定される。N対の参照ブロックの位置における1つまたは複数の対の参照ブロックの位置について、2つの対応する参照ブロックのマッチングコストが計算され、たとえば、第1回ターゲット前方参照ブロックおよび第1回ターゲット後方参照ブロックのマッチングコストが計算され、MVD鏡像制約条件を満たす候補前方参照ブロックおよび候補後方参照ブロックのマッチングコストが計算される。このようにして、第2回の探索にお
ける第2回ターゲット前方参照ブロックの位置および第2回ターゲット後方参照ブロックの位置が取得され、更新動き情報がさらに取得される。更新動き情報は、現在の画像ブロックの位置が第2回ターゲット前方参照ブロックの位置を指していることを指示する前方動きベクトルと、現在の画像ブロックの位置が第2回ターゲット後方参照ブロックの位置を指していることを指示する後方動きベクトルとを含む。更新動き情報および初期動き情報は、参照フレームインデックスなどの他の同じ情報を含むことが理解されるべきである。繰り返しのプリセットされた回数Lが2であるとき、本明細書における第2の探索プロセスで、第2回ターゲット前方参照ブロックおよび第2回ターゲット後方参照ブロックは、最終的に取得されたターゲット前方参照ブロックおよびターゲット後方参照ブロック(最適な前方参照ブロックおよび最適な後方参照ブロックとも称される)である。
【０２４１】
1506および1507:ステップ1504において取得された最適な前方動きベクトルを使用することによって動き補償プロセスを実行して最適な前方参照ブロックのピクセル値を取得し、ステップ1504において取得された最適な後方動きベクトルを使用することによって動き補償プロセスを実行して最適な後方参照ブロックのピクセル値を取得する。
【０２４２】
1508:ステップ1506および1507で取得された最適な前方参照ブロックのピクセル値および最適な後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。
【０２４３】
ステップ1504において、整数ピクセルステップを使用することによって前方参照画像または後方参照画像内内の探索(あるいは動き探索と称される)が実行され、それにより、少なくとも1つの前方参照ブロックの位置と少なくとも1つの後方参照ブロックの位置とを取得し得る。探索が整数ピクセルステップを使用することによって実行されるとき、探索開始点は、整数ピクセルであってもよく、または分数ピクセルであってもよく、たとえば、整数ピクセル、1/2ピクセル、1/4ピクセル、1/8ピクセル、または1/16ピクセルであり得る。
【０２４４】
さらに、ステップ1504において、分数ピクセルステップは、また、少なくとも1つの前方参照ブロックの位置および少なくとも1つの後方参照ブロックの位置を探索するために直接使用され得るか、または整数ピクセルステップを使用することによる探索および分数ピクセルステップを使用することによる探索の両方が実行される。探索方法は、本出願において限定されない。
【０２４５】
ステップ1504において、各対の参照ブロックのアドレスについて、前方参照ブロックのピクセル値と対応する後方参照ブロックのピクセル値の間の差分が計算されるとき、各前方参照ブロックのピクセル値と対応する後方参照ブロックのピクセル値の間の差分は、SAD、SATD、絶対平方差の和、または同様のものを使用することによって測定され得る。しかしながら、本出願は、それに限定されない。
【０２４６】
現在の画像ブロックのピクセル値の予測値が最適な前方予測ブロックおよび最適な後方予測ブロックに基づき決定されるとき、加重処理が、ステップ1506およびステップ1507で取得された最適な前方参照ブロックのピクセル値および最適な後方参照ブロックのピクセル値に対して実行されるものとしてよく、加重処理の後に取得されるピクセル値は、現在の画像ブロックのピクセル値の予測値として使用される。
【０２４７】
特に、現在の画像ブロックのピクセル値の予測値は、次の式(8)に基づき取得され得る。
predSamples'[x][y]=(predSamplesL0'[x][y]+predSamplesL1'[x][y]+1)>>1 (8)
【０２４８】
前述の式において、predSamplesL0'[x][y]はサンプル(x, y)における最適な前方参照ブロックのピクセル値であり、predSamplesL1'[x][y]はサンプル(x, y)における最適な後方参照ブロックのピクセル値であり、predSamples'[x][y]はサンプル(x, y)における現在の画像ブロックのピクセル予測値である。
【０２４９】
図11を参照すると、現在の最適な前方参照ブロックおよび現在の最適な後方参照ブロックのピクセル値は、本出願のこの実施形態において繰り返し探索プロセスでさらに保持され、更新され得る。探索が完了した後、現在の画像ブロックのピクセル値の予測値は、現在の最適な前方および後方参照ブロックのピクセル値を使用することによって直接計算される。この実装形態において、ステップ1506および1507は任意選択のステップである。
【０２５０】
たとえば、N対の参照ブロックの位置はトラバースされる必要がある。Costiは、i番目のマッチングコストであり、MinCostは、現在の最小マッチングコストを示す。Bfiは前方参照ブロックのピクセル値であり、Bbiは後方参照ブロックのピクセル値であり、ピクセル値はi番目の時間に取得される。BestBfは現在の最適な前方参照ブロックのピクセル値であり、BestBbは現在の最適な後方参照ブロックのピクセル値である。CalCost(M, N)はブロックMおよびブロックNのマッチングコストを表す。
【０２５１】
探索が開始すると(i=1)、MinCost=Cost0=CalCost(Bf0, Bb0)、BestBf=Bf0、およびBestBb=Bb0である。
【０２５２】
他の対の参照ブロックがその後トラバースされたとき、更新がリアルタイムで実行される。たとえば、第i回(i>1)の探索が実行されたとき、Costi<MinCostであるならば、BestBf=BfiおよびBestBb=Bbiであり、そうでないならば、更新は実行されない。
【０２５３】
探索が終わったとき、BestBfおよびBestBbは、現在のブロックのピクセル値の予測値を取得するために使用される。
【０２５４】
図12に示されている前述の実施形態において、探索プロセスは1回実行される。さらに、繰り返し法を使用することによって探索が複数回実行され得る。特に、前方参照ブロックおよび後方参照ブロックが探索の各回で取得された後、現在の精密化されたMVに基づき探索が1回または複数回実行され得る。
【０２５５】
本出願の一実施形態における画像予測方法1600の一プロセスが、図16を参照しつつ以下で詳しく説明されている。図16に示されている方法は、また、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図16に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。特に、図16に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。
【０２５６】
図16に示されている方法1600は、ステップ1601からステップ1604を含む。ステップ1601、ステップ1602、およびステップ1604については、図14のステップ1401、ステップ1402、およびステップ1404の説明を参照されたい。詳細については、ここで再び説明しない。
【０２５７】
本出願のこの実施形態と図14に示されている実施形態との違いは次のとおりである。ステップ1603において、マッチングコスト基準に基づくM対の参照ブロックの位置から、一対の参照ブロックの位置は現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定され、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下である。
【０２５８】
図13を参照すると、初期前方参照ブロック1302(すなわち、前方探索基点)の位置に対する前方参照画像Ref0内の候補前方参照ブロック1304の位置のオフセットはMVD0(delta0x, delta0y)である。初期後方参照ブロック1303(すなわち、後方探索基点)の位置に対する後方参照画像Ref1内の候補後方参照ブロック1305の位置のオフセットはMVD1(delta1x, delta1y)である。
【０２５９】
探索プロセスにおいて、2つのマッチングブロックの位置オフセットオフセットは鏡像関係の条件を満たし、鏡像関係において時間領域間隔が考慮される必要がある。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【０２６０】
TD0=TC-T0、および
TD1=TC-T1。
【０２６１】
特定の符号化プロセスにおいて、TD0およびTD1は、画像順序カウント(picture order count、POC)を使用することによって計算され得る。たとえば、以下のとおりである。
TD0=POCc-POC0および
TD1=POCc-POC1。
【０２６２】
本明細書において、POCc、POC0、およびPOC1は、それぞれ、現在の画像のPOC、前方参照画像のPOC、および後方参照画像のPOCを表す。TD0は、現在の画像と前方参照画像の間の画像順序カウント(picture order count、POC)距離を表し、TD1は、現在の画像と後方参照画像の間のPOC距離を表す。
【０２６３】
delta0=(delta0x, delta0y)、および
delta1=(delta1x, delta1y)。
【０２６４】
時間領域間隔を考慮した鏡像関係は次のように記述される。
delta0x=(TD0/TD1)*delta1x、および
delta0y=(TD0/TD1)*delta1y、または
delta0x/delta1x=(TD0/TD1)、および
delta0y/delta1y=(TD0/TD1)。
【０２６５】
異なる例において、ステップ1603は、
M対の参照ブロック(1つの前方参照ブロックおよび1つの後方参照ブロック)の位置から、マッチング誤差が最小である一対の参照ブロックの位置が、現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するか、またはM対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定することを含み得る。さらに、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、絶対差の和(Sum of absolute differences、SAD)、絶対変換差の和(Sum of absolute transformation differences、SATD)、絶対平方差の和、または同様のものを使用することによって測定され得る。
【０２６６】
本出願のこの実施形態において、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域距離に基づく比例関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、MVを精密化する精度は繰り返し回数を増やすことによってさらに改善され、それにより、符号化性能がさらに改善され得る。
【０２６７】
本出願の一実施形態における画像予測方法の一プロセスが、図17を参照しつつ以下で詳しく説明されている。図17に示されている方法は、また、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図17に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。特に、図17に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。
【０２６８】
図17に示されている方法は、ステップ1701からステップ1708を含む。ステップ1701からステップ1703およびステップ1705からステップ1708については、図15のステップ1501からステップ1503およびステップ1505からステップ1508の説明を参照されたい。詳細については、ここで再び説明しない。
【０２６９】
本出願のこの実施形態と図15に示されている実施形態との違いは次のとおりである。
【０２７０】
1704:時間領域距離を考慮するMVD鏡像制約条件に基づき、一対の最もマッチしている参照ブロック(すなわち、1つの前方参照ブロックおよび1つの後方参照ブロック)の位置を決定し、現在の画像ブロックの精密化された前方動きベクトルおよび精密化された後方動きベクトルを取得する。
【０２７１】
MVDが時間領域距離に基づく鏡像制約条件は、本明細書において次のように説明され得る。前方探索基点に対する前方参照画像内のブロック位置の位置オフセットMVD0(delta0x, delta0y)および後方探索基点に対する後方参照画像内のブロック位置の位置オフセットMVD1(delta1x, delta1y)は、次の関係を満たす。
【０２７２】
2つのマッチングブロックの位置オフセットオフセットは、時間領域距離に基づく鏡像関係の条件を満たす。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【０２７３】
TD0=TC-T0、および
TD1=TC-T1。
【０２７４】
特定の符号化プロセスにおいて、TD0およびTD1は、画像順序カウント(picture order count、POC)を使用することによって計算され得る。たとえば、以下のとおりである。
TD0=POCc-POC0および
TD1=POCc-POC1。
【０２７５】
本明細書において、POCc、POC0、およびPOC1は、それぞれ、現在の画像のPOC、前方参照画像のPOC、および後方参照画像のPOCを表す。TD0は、現在の画像と前方参照画像の間の画像順序カウント(picture order count、POC)距離を表し、TD1は、現在の画像と後方参照画像の間のPOC距離を表す。
【０２７６】
delta0=(delta0x, delta0y)、および
delta1=(delta1x, delta1y)。
【０２７７】
時間領域距離を考慮した鏡像関係(時間領域間隔とも称される)は、次のように記述される。
delta0x=(TD0/TD1)*delta1x、および
delta0y=(TD0/TD1)*delta1y、または
delta0x/delta1x=(TD0/TD1)、および
delta0y/delta1y=(TD0/TD1)。
【０２７８】
特定の探索プロセスは、図10または図11の実施形態におけるプロセスに類似している。詳細については、ここで再び説明しない。
【０２７９】
本出願のこの実施形態において、時間領域間隔は、鏡像関係において考慮されるか、または考慮されないことが理解されるべきである。実際の使用では、動きベクトル精密化が現在のフレームまたは現在のブロックに対して実行されたときに時間領域間隔が鏡像関係において考慮されるかどうかは、適応的に選択されうる。
【０２８０】
たとえば、指示情報は、シーケンスレベルヘッダ情報(SPS)、画像レベルヘッダ情報(PPS)、スライスヘッダ(slice header)、または現在のシーケンス、現在の画像、現在のスライス(Slice)、もしくは現在のブロックに使用される鏡像関係において時間間隔が考慮されるかどうかを指示するブロックビットストリーム情報に加えられ得る。
【０２８１】
あるいは、前方参照画像のPOCおよび後方参照画像のPOCに基づき、現在のブロックでは、時間間隔が現在のブロックに使用される鏡像関係において考慮されるかどうかを適応的に決定する。
【０２８２】
たとえば、|POCc-POC0|-|POCc-POC1|>Tであるならば、使用される鏡像関係に対して間隔が考慮される必要があり、そうでないならば、使用される鏡像関係に対して時間間隔は考慮されない。Tは本明細書ではプリセット閾値である。たとえば、T=2またはT=3である。Tの特定の値は本明細書において限定されない。
【０２８３】
別の例では、|POCc-POC0|および|POCc-POC1|のうちの大きい値の、|POCc-POC0|および|POCc-POC1|のうちの小さい値に対する比が閾値Rより大きいと仮定され、すなわち、
(Max(|POCc-POC0|,|POCc-POC1|)/Min(|POCc-POC0|,|POCc-POC1|))>R
である。
【０２８４】
Max(A,B)はAとBのうちの大きい方の値を示し、Min(A,B)はAとBのうちの小さい方法の値を示す。
【０２８５】
この場合、使用される鏡像関係について間隔が考慮される必要がある。|POCc-POC0|および|POCc-POC1|のうちの大きい値の、|POCc-POC0|および|POCc-POC1|のうちの小さい値に対する比が閾値R以下であるならば、使用される鏡像関係に対して時間間隔は考慮されない。Rは本明細書ではプリセット閾値である。たとえば、R=2またはR=3である。Rの特定の値は本明細書において限定されない。
【０２８６】
本出願のこの実施形態における画像予測方法は、エンコーダ(たとえば、エンコーダ20)またはデコーダ(たとえば、デコーダ30)内の動き補償モジュールによって特に実行され得ることが理解されるべきである。さらに、本出願のこの実施形態における画像予測方法は、ビデオ画像を符号化し、および/もしくは復号する必要がある任意の電子デバイスまたは装置で実行され得る。
【０２８７】
次に、図18から図21を参照しつつ本出願の実施形態における画像予測装置を詳しく説明する。
【０２８８】
図18は、本出願の一実施形態による画像予測装置の概略ブロック図である。予測装置1800は、ビデオ画像を復号するためのフレーム間予測とビデオ画像を符号化するためのフレーム間予測の両方に適用可能であることに留意されたい。本明細書の予測装置1800は、図2Aにおける動き補償ユニット44に対応し得るか、または図2Bにおける動き補償ユニット82に対応し得ることが理解されるべきである。予測装置1800は、
現在の画像ブロックの初期動き情報を取得するように構成されている第1の取得ユニット1801と、
第1の探索ユニット1802であって、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第1の探索ユニット1802と、
ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得するように構成されている第1の予測ユニット1803とを備え得る。
【０２８９】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、第1の位置オフセット値が第2の位置cfと同じであることとして理解され得る。たとえば、第1の位置オフセットの方向は、第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は、第2の位置オフセットの振幅値と同じである。
【０２９０】
好ましくは、本出願のこの実施形態における装置1800内で、第1の予測ユニット1803は現在の画像ブロックの更新動き情報を取得するようにさらに構成され、更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、更新前方動きベクトルはターゲット前方参照ブロックの位置を指し、更新後方動きベクトルはターゲット後方参照ブロックの位置を指す。
【０２９１】
画像ブロックの動きベクトルが更新されていることがわかる。このようにして、別の画像ブロックは、次の画像予測中に画像ブロックに基づき効果的に予測され得る。
【０２９２】
本出願のこの実施形態における装置1800において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【０２９３】
本出願のこの実施形態における装置1800では、初期動き情報は、前方予測方向における第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向における第2の動きベクトルおよび第2の参照画像インデックスとを含む。
【０２９４】
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第1の探索ユニットは、
第1の動きベクトルおよび現在の画像ブロックの位置に基づき、第1の参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの初期前方参照ブロックの位置を決定し、初期前方参照ブロックの位置を第1の探索開始点として使用し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定し、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、
第2の動きベクトルおよび現在の画像ブロックの位置に基づき、第2の参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの初期後方参照ブロックの位置を決定し、初期後方参照ブロックの位置を第2の探索開始点として使用し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定し、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ように特に構成される。
【０２９５】
本出願のこの実施形態における装置1800では、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、第1の探索ユニット1802は、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するか、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定するように特に構成される。
【０２９６】
装置1800は、図3、図10、および図11に示されている方法を実行するものとしてよく、装置1800は、特に、ビデオ符号化装置、ビデオ復号装置、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスであってよいことが理解されるべきである。装置1800は、符号化プロセスにおいて画像予測を実行するように構成され得るだけでなく、復号プロセスにおいて画像予測を実行するようにも構成され得る。
【０２９７】
詳細については、本明細書の画像予測方法の説明を参照されたい。簡潔にするため、詳細はここで再び説明されない。
【０２９８】
本出願のこの実施形態における予測装置により、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【０２９９】
図19は、本出願の一実施形態による別の画像予測装置の概略ブロック図である。予測装置1900は、ビデオ画像を復号するためのフレーム間予測とビデオ画像を符号化するためのフレーム間予測の両方に適用可能であることに留意されたい。本明細書の予測装置1900は、図2Aにおける動き補償ユニット44に対応し得るか、または図2Bにおける動き補償ユニット82に対応し得ることが理解されるべきである。予測装置1900は、
現在の画像ブロックの初期動き情報を取得するように構成されている第2の取得ユニット1901と、
第2の探索ユニット1902であって、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第2の探索ユニット1902と、
ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得するように構成されている第2の予測ユニット1903とを備え得る。
【０３００】
各対の参照ブロックについて、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
各対の参照ブロックについて、第1の位置オフセットと第2の位置オフセットの間の比例関係は、第1の時間領域距離と第2の時間領域距離の間の比例関係に基づき決定され、第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表す、と理解され得る。
【０３０１】
一実装形態において、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値と第2の位置オフセットの振幅値の間の比例関係は第1の時間領域距離と第2の時間領域距離の間の比例関係に基づく、ことを含み得る。
【０３０２】
第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表す。
【０３０３】
最適には、この実施形態における装置内で、第2の予測ユニット1903は現在の画像ブロックの更新動き情報を取得するようにさらに構成され、更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、更新前方動きベクトルはターゲット前方参照ブロックの位置を指し、更新後方動きベクトルはターゲット後方参照ブロックの位置を指す。
【０３０４】
現在の画像ブロックの精密化された動き情報は、本出願のこの実施形態において取得できることがわかる。これは、現在の画像ブロックの動き情報の精度を改善し、別の画像ブロックの予測も円滑にし、たとえば、別の画像ブロックの動き情報の予測精度を改善する。
【０３０５】
一実装形態において、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
N個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【０３０６】
一実装形態において、初期動き情報は、前方予測動き情報と、後方予測動き情報とを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第2の探索ユニット1902は、
前方予測動き情報、および現在の画像ブロックの位置に基づき前方参照画像内のN個の前方参照ブロックの位置を決定し、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離であり、
後方予測動き情報、および現在の画像ブロックの位置に基づき後方参照画像内のN個の後方参照ブロックの位置を決定し、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離または分数ピクセル距離である、ように特に構成される。
【０３０７】
別の実装形態では、初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第2の探索ユニットは、
第1の動きベクトルおよび現在の画像ブロックの位置に基づき、第1の参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの初期前方参照ブロックの位置を決定し、初期前方参照ブロックの位置を第1の探索開始点として使用し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定し、N個の前方参照ブロックの位置は、初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、
第2の動きベクトルおよび現在の画像ブロックの位置に基づき、第2の参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの初期後方参照ブロックの位置を決定し、初期後方参照ブロックの位置を第2の探索開始点として使用し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定し、N個の後方参照ブロックの位置は、初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ように特に構成される。
【０３０８】
一実装形態では、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、第2の探索ユニット1902は、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するか、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定するように特に構成される。
【０３０９】
一例において、マッチングコスト基準は、マッチングコスト最小化基準である。たとえば、M対の参照ブロックの位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分は、各対の参照ブロックについて計算され、M対の参照ブロックの位置から、ピクセル値が最小差分のピクセル値である一対の参照ブロックの位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【０３１０】
別の例では、マッチングコスト基準は、マッチングコスト最小化および早期終了基準である。たとえば、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置について、前方参照ブロックのピクセル値と後方参照ブロックのピクセル値の間の差分が計算され、nは1以上、N以下の整数であり、ピクセル値差分がマッチング誤差閾値以下であるときに、n番目の対の参照ブロック(1つの前方参照ブロックと1つの後方参照ブロック)の位置は、現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置として決定される。
【０３１１】
一実装形態において、第2の取得ユニット1901は、現在の画像ブロックの候補動き情報リストから初期動き情報を取得するか、または指示情報に基づき初期動き情報を取得するように構成され、指示情報は、現在の画像ブロックの初期動き情報を指示するために使用される。初期動き情報は、精密化された動き情報に関連していることが理解されるべきである。
【０３１２】
装置1900は、図12に示されている方法を実行するものとしてよく、装置1900は、ビデオ符号化装置、ビデオ復号装置、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスであってよいことが理解されるべきである。装置1900は、符号化プロセスにおいて画像予測を実行するように構成され得るだけでなく、復号プロセスにおいて画像予測を実行するようにも構成され得る。
【０３１３】
詳細については、本明細書の画像予測方法の説明を参照されたい。簡潔にするため、詳細はここで再び説明されない。
【０３１４】
本出願のこの実施形態における予測装置により、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域距離に基づく比例関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。
【０３１５】
図20は、本出願の一実施形態による別の画像予測装置の概略ブロック図である。予測装置2000は、ビデオ画像を復号するためのフレーム間予測とビデオ画像を符号化するためのフレーム間予測の両方に適用可能であることに留意されたい。本明細書の予測装置2000は、図2Aにおける動き補償ユニット44に対応し得るか、または図2Bにおける動き補償ユニット82に対応し得ることが理解されるべきである。予測装置2000は、
現在の画像ブロックの第i回動き情報を取得するように構成されている第3の取得ユニット2001と、
第3の探索ユニット2002であって、第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第3の探索ユニット2002と、
第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第3の予測ユニット2003とを備え得る。
【０３１６】
i=1であるならば、第i回動き情報は、現在の画像ブロックの初期動き情報であり、それに対応して、N個の前方参照ブロックの位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、またはN個の後方参照ブロックの位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、初期後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である、ことに留意されたい。
【０３１７】
i>1であるならば、第i回動き情報は、第(i-1)回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第(i-1)回ターゲット後方参照ブロックの位置を指す後方動きベクトルとを含み、それに対応して、N個の前方参照ブロックの位置は、1つの第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、第(i-1)回ターゲット前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、またはN個の後方参照ブロックの位置は、1つの第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、第(i-1)回ターゲット後方参照ブロックの位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である。
【０３１８】
本出願のこの実施形態において、第3の予測ユニット2003は、繰り返し終了条件が満たされたとき、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように特に構成される。繰り返し終了条件の説明については、他の実施形態を参照されたい。詳細については、ここで再び説明しない。
【０３１９】
本出願のこの実施形態における装置では、第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、第1の位置オフセット値が第2の位置オフセット値と同じであることとして理解され得る。たとえば、第1の位置オフセットの方向は、第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は、第2の位置オフセットの振幅値と同じである。
【０３２０】
一実装形態において、第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、
第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第3の探索ユニット2002は、
前方動きベクトルおよび現在の画像ブロックの位置に基づき、前方参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定し、N個の前方参照ブロックの位置は、第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、
後方動きベクトルおよび現在の画像ブロックの位置に基づき、後方参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの第(i-1)回ターゲット後方参照ブロックの位置を決定し、第(i-1)回ターゲット後方参照ブロックの位置を第ibの探索開始点として使用し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定し、N個の後方参照ブロックの位置は、第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ように特に構成される。
【０３２１】
一実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定する態様では、第3の探索ユニット2002は、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するか、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定するように特に構成される。
【０３２２】
装置2000は、図14および図15に示されている方法を実行するものとしてよく、装置2000は、特に、ビデオ符号化装置、ビデオ復号装置、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスであってよいことが理解されるべきである。装置2000は、符号化プロセスにおいて画像予測を実行するように構成され得るだけでなく、復号プロセスにおいて画像予測を実行するようにも構成され得る。
【０３２３】
詳細については、本明細書の画像予測方法の説明を参照されたい。簡潔にするため、詳細はここで再び説明されない。
【０３２４】
本出願のこの実施形態における予測装置により、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックの位置に対する後方参照ブロックの位置の第2の位置オフセットの間に鏡像関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、MVを精密化する精度は繰り返し回数を増やすことによってさらに改善され、それにより、符号化性能がさらに改善され得る。
【０３２５】
図21は、本出願の一実施形態による別の画像予測装置の概略ブロック図である。予測装置2100は、ビデオ画像を復号するためのフレーム間予測とビデオ画像を符号化するためのフレーム間予測の両方に適用可能であることに留意されたい。本明細書の予測装置2100は、図2Aにおける動き補償ユニット44に対応し得るか、または図2Bにおける動き補償ユニット82に対応し得ることが理解されるべきである。予測装置2100は、
現在の画像ブロックの第i回動き情報を取得するように構成されている第4の取得ユニット2101と、
第4の探索ユニット2102であって、第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、第1の位置オフセットは、前方参照画像内の第(i-1)回ターゲット前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、後方参照画像内の第(i-1)回ターゲット後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第4の探索ユニット2102と、
第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように構成されている第4の予測ユニット2103とを備え得る。
【０３２６】
繰り返し探索プロセスにおいて、i=1であるならば、第i回動き情報は、現在の画像ブロックの初期動き情報である。
【０３２７】
i>1であるならば、第i回動き情報は、第(i-1)回ターゲット前方参照ブロックの位置を指す前方動きベクトルと、第(i-1)回ターゲット後方参照ブロックの位置を指す後方動きベクトルとを含む。
【０３２８】
一実装形態において、第4の予測ユニット2103は、繰り返し終了条件が満たされたとき、第j回ターゲット前方参照ブロックのピクセル値および第j回ターゲット後方参照ブロックのピクセル値に基づき画像ブロックのピクセル値の予測値を取得し、jはi以上であり、iおよびjはいずれも1以上の整数である、ように特に構成される。
【０３２９】
この実施形態の装置において、第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値は第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、第1の位置オフセットの方向は第2の位置オフセットの方向と反対であり、第1の位置オフセットの振幅値と第2の位置オフセットの振幅値の間の比例関係は第1の時間領域距離と第2の時間領域距離の間の比例関係に基づくことであると理解され得る。
【０３３０】
第1の時間領域距離は現在の画像ブロックが属する現在の画像と前方参照画像の間の時間領域距離を表し、第2の時間領域距離は、現在の画像と後方参照画像の間の時間領域距離を表す。
【０３３１】
一実装形態において、第i回動き情報は、前方動きベクトル、前方参照画像インデックス、後方動きベクトル、および後方参照画像インデックスを含み、それに対応して、第i回動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、第4の探索ユニット2102は、
前方動きベクトルおよび現在の画像ブロックの位置に基づき、前方参照画像インデックスに対応する前方参照画像内の現在の画像ブロックの第(i-1)回ターゲット前方参照ブロックの位置を決定し、第(i-1)回ターゲット前方参照ブロックの位置を第ifの探索開始点として使用し、前方参照画像内の(N-1)個の候補前方参照ブロックの位置を決定し、N個の前方参照ブロックの位置は、第(i-1)回ターゲット前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、
後方動きベクトルおよび現在の画像ブロックの位置に基づき、後方参照画像インデックスに対応する後方参照画像内の現在の画像ブロックの第(i-1)回ターゲット後方参照ブロックの位置を決定し、第(i-1)回ターゲット後方参照ブロックの位置を第ibの探索開始点として使用し、後方参照画像内の(N-1)個の候補後方参照ブロックの位置を決定し、N個の後方参照ブロックの位置は、第(i-1)回ターゲット後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含む、ように特に構成される。
【０３３２】
一実装形態において、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定する態様では、第4の探索ユニット2102は、
M対の参照ブロックの位置から、マッチング誤差が最小である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置であると決定するか、または
M対の参照ブロックの位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が現在の画像ブロックの第i回ターゲット前方参照ブロックの位置および現在の画像ブロックの第i回ターゲット後方参照ブロックの位置である、ただしMはN以下である、と決定するように特に構成される。
【０３３３】
装置2100は、図16または図17に示されている方法を実行するものとしてよく、装置2100は、ビデオ符号化装置、ビデオ復号装置、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスであってよいことが理解されるべきである。装置2100は、符号化プロセスにおいて画像予測を実行するように構成され得るだけでなく、復号プロセスにおいて画像予測を実行するようにも構成され得る。
【０３３４】
詳細については、本明細書の画像予測方法の説明を参照されたい。簡潔にするため、詳細はここで再び説明されない。
【０３３５】
本出願のこの実施形態における予測装置により、前方参照画像内のN個の前方参照ブロックの位置および後方参照画像内のN個の後方参照ブロックの位置は、N対の参照ブロックの位置を成すことがわかる。N対の参照ブロックの位置における各対の参照ブロックの位置について、初期前方参照ブロックに対する前方参照ブロックの第1の位置オフセットと初期後方参照ブロックに対する後方参照ブロックの第2の位置オフセットの間に時間領域距離に基づく比例関係が存在する。そのようなことに基づき、一対の参照ブロック(たとえば、マッチングコストが最小である一対の参照ブロック)の位置は、N対の参照ブロックの位置から、現在の画像ブロックのターゲット前方参照ブロック(すなわち、最適な前方参照ブロック/前方予測ブロック)の位置および現在の画像ブロックのターゲット後方参照ブロック(すなわち、最適な後方参照ブロック/後方予測ブロック)の位置として決定され、これにより、ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得する。従来技術と比較すると、本出願のこの実施形態における方法は、テンプレートマッチングブロックを事前計算するプロセスならびにテンプレートマッチングブロックを使用することによって前方探索マッチングおよび後方探索マッチングを実行するプロセスを回避し、画像予測プロセスを単純化する。これは、画像予測精度を改善し、画像予測複雑度を低減する。さらに、MVを精密化する精度は繰り返し回数を増やすことによってさらに改善され、それにより、符号化性能がさらに改善され得る。
【０３３６】
図22は、本出願の一実施形態によるビデオ符号化デバイスまたはビデオ復号デバイス(略して復号デバイス2200)の一実装形態の概略ブロック図である。復号デバイス2200は、プロセッサ2210と、メモリ2230と、バスシステム2250とを備え得る。プロセッサおよびメモリは、バスシステムを使用することによって接続される。メモリは、命令を記憶するように構成されている。プロセッサは、メモリ内に格納されている命令を実行するように構成されている。符号化デバイスのメモリは、プログラムコードを記憶する。プロセッサは、メモリ内に記憶されているプログラムコードを呼び出して、本出願において説明されているビデオ符号化または復号方法、特に、様々なフレーム間予測モードまたはフレーム内予測モードのビデオ符号化または復号方法、および様々なフレーム間予測モードまたはフレーム内予測モードの動き情報予測方法を実行し得る。詳細については、繰り返しを避けるため本明細書において再度説明しない。
【０３３７】
本出願のこの実施形態において、プロセッサ2210は、中央演算処理装置(Central Processing Unit、略して「CPU」)であり得るか、または、プロセッサ2210は、別の汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または別のプログラム可能な論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネント、または同様のものであり得る。汎用プロセッサは、マイクロプロセッサであるか、または任意の従来型のプロセッサもしくは同様のものであってよい。
【０３３８】
メモリ2230は、リードオンリーメモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)を含み得る。任意の他の適切なタイプのストレージデバイスは、メモリ2230としても使用されてよい。メモリ2230は、バス2250を使用することによってプロセッサ2210によってアクセスされるコードおよびデータ2231を含み得る。メモリ2230は、オペレーティングシステム2233とアプリケーションプログラム2235とをさらに含み得る。アプリケーションプログラム2235は、プロセッサ2210が本出願において説明されているビデオ符号化または復号方法(特に、本出願において説明されている画像予測方法)を実行することを可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム2235はアプリケーション1からNを含むものとしてよく、本出願において説明されているビデオ符号化もしくは復号方法を実行するビデオ符号化または復号アプリケーション(略してビデオ復号アプリケーション)をさらに含む。
【０３３９】
データバスに加えて、バスシステム2250は、電源バス、制御バス、ステータス信号バス、および同様のものをさらに備え得る。しかしながら、説明を明確にするために、図中の様々なタイプのバスはバスシステム2250としてマークを付けられている。
【０３４０】
任意選択で、復号デバイス2200は、1つまたは複数の出力デバイス、たとえば、ディスプレイ2270をさらに備え得る。一例において、ディスプレイ2270は、ディスプレイとタッチ入力を動作可能に感知するタッチユニットとを組み合わせたタッチディスプレイまたはタッチスクリーンであってよい。ディスプレイ2270は、バス2250を使用することによってプロセッサ2210に接続されるものとしてよい。
【０３４１】
同じステップまたは同じ術語の説明および制限も異なる実施形態に適用可能であることに留意されたい。簡潔のため、本明細書では繰り返される説明は適宜省かれる。
【０３４２】
当業者であれば、本明細書で開示され説明されている様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップを参照しつつ説明される機能が、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得ることを理解できる。ソフトウェアによって実装される場合、例示的な論理ブロック、モジュール、およびステップを参照しつつ説明されている機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上で記憶されるかまたは伝送され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体、または(たとえば、通信プロトコルに従って)、一方の場所から別の場所へのコンピュータプログラムの転送を円滑にする任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含み得る。この方式で、コンピュータ可読媒体は、一般的に、(1)非一時的な有形のコンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本出願において説明されている技術を実装するために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る、命令、コード、および/またはデータ構造体を取り出すのに利用可能な任意の媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【０３４３】
たとえば、このようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは別のコンパクトディスク記憶装置、磁気ディスク記憶装置もしくは別の磁気記憶装置、フラッシュメモリ、または命令もしくはデータ構造体の形態で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含み得るが、これらに限定されない。さらに、任意の接続も、コンピュータ可読媒体と称しても差し支えない。たとえば、命令が同軸ケーブル、光ファイバ、ツイストペア線、デジタル加入者回線(DSL)、または赤外線、電波、およびマイクロ波などのワイヤレス技術を通じてウェブサイト、サーバ、または別のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア線、DSL、または赤外線、電波、およびマイクロ波などのワイヤレス技術は媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、実際には、非一時的な有形の記憶媒体を意味することが理解されるべきである。本明細書で使用されている「Disk」と「Disc」(いずれも日本語ではディスク)は、コンパクトディスク(CD)、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク(DVD)、およびブルーレイディスクを含む。disk(ディスク)は、通常、磁気的にデータを再現するが、disc(ディスク)、はレーザーを使って光学的にデータを再現する。前述のものの組合せも、コンピュータ可読媒体の範囲内に含められるべきである。
【０３４４】
対応する機能は、1つまたは複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の同等の集積回路もしくはディスクリート論理回路などの1つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」という術語は、前述の構造または本明細書において説明されている技術を実装するのに適している任意の他の構造のうちのどれかであってよい。さらに、いくつかの態様において、本明細書において説明されている例示的な論理ブロック、モジュール、およびステップを参照しつつ説明されている機能は、符号化するように構成されている専用ハードウェアおよび/またはソフトウェアモジュール内に設けられ得るか、あるいは組み合わされたコーデックに組み込まれ得る。さらに、技術は、1つもしくは複数の回路または論理素子で完全に実装され得る。一例において、ビデオエンコーダ20およびビデオデコーダ30における様々な例示的な論理ブロック、ユニット、ならびにモジュールは、対応する回路デバイスまたは論理素子として理解できる。
【０３４５】
本出願における技術は、ワイヤレスハンドセット、集積回路(IC)、または一組のIC(たとえば、チップセット)を含む、様々な装置もしくはデバイスで実装され得る。様々なコンポーネント、モジュール、またはユニットは、開示されている技術を実行するように構成されている装置の機能的態様を強調するように本出願において説明されているが、異なるハードウェアユニットによって必ずしも実装されない。実際に、上で説明されているように、様々なユニットは、適切なソフトウェアおよび/またはファームウェアと組み合わせて、コーデックハードウェアユニット内に一体化されるか、または相互運用可能なハードウェアユニット(上述されている1つまたは複数のプロセッサを含む)によって提供され得る。
【０３４６】
前述の説明は、本出願の特定の実装形態の単なる例にすぎず、本出願の保護範囲を制限することを意図されていない。本出願において開示されている技術の範囲内で当業者が容易に考え付く変更形態または代替的形態は、本出願の保護範囲内にあるものとする。したがって、本出願の保護範囲は、請求項の保護範囲に従うものとする。
【符号の説明】
【０３４７】
12  送信元装置
14  送信先装置
16  リンク
18  ビデオソース
20  ビデオエンコーダ
22  出力インターフェース
28  入力インターフェース
30  ビデオデコーダ
32  表示装置
41  予測モジュール
42  動き推定ユニット
44  動き補償ユニット
46  フレーム内予測ユニット
50  加算器
52  変換モジュール
54  量子化モジュール
56  エントロピー符号化モジュール
58  逆量子化モジュール
60  逆変換モジュール
62  加算器
64  参照画像メモリ
80  エントロピー復号モジュール
81  予測処理モジュール
82  動き補償ユニット
84  フレーム内予測ユニット
86  逆量子化モジュール
88  逆変換モジュール
90  再構成モジュール、加算器
92  参照画像メモリ、復号画像バッファ
902  初期前方参照ブロック
903  初期後方参照ブロック
904  候補前方参照ブロック
905  候補後方参照ブロック
1302  初期前方参照ブロック
1303  初期後方参照ブロック
1304  候補前方参照ブロック
1305  候補後方参照ブロック
1800  予測装置
1801  第1の取得ユニット
1802  第1の探索ユニット
1803  第1の予測ユニット
1900  予測装置
1901  第2の取得ユニット
1902  第2の探索ユニット
1903  第2の予測ユニット
2000  予測装置
2001  第3の取得ユニット
2002  第3の探索ユニット
2003  第3の予測ユニット
2100  予測装置
2101  第4の取得ユニット
2102  第4の探索ユニット
2103  第4の予測ユニット
2200  復号デバイス
2210  プロセッサ
2230  メモリ
2231  コードおよびデータ
2233  オペレーティングシステム
2235  アプリケーションプログラム
2250  バス
2270  ディスプレイ
【図１】
2021508213.tif 000003
【図２Ａ】
2021508213.tif 000004
【図２Ｂ】
2021508213.tif 000005
【図３】
2021508213.tif 000006
【図４】
2021508213.tif 000007
【図５】
2021508213.tif 000008
【図６】
2021508213.tif 000009
【図７】
2021508213.tif 000010
【図８】
2021508213.tif 000011
【図９】
2021508213.tif 000012
【図１０】
2021508213.tif 000013
【図１１】
2021508213.tif 000014
【図１２】
2021508213.tif 000015
【図１３】
2021508213.tif 000016
【図１４】
2021508213.tif 000017
【図１５】
2021508213.tif 000018
【図１６】
2021508213.tif 000019
【図１７】
2021508213.tif 000020
【図１８】
2021508213.tif 000021
【図１９】
2021508213.tif 000022
【図２０】
2021508213.tif 000023
【図２１】
2021508213.tif 000024
【図２２】
2021508213.tif 000025
【手続補正書】
【提出日】令和2年8月28日(2020.8.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
さらに、本明細書における現在の画像ブロック(現在のブロックと称される)は、現在処理されている画像ブロックとして理解され得ることが理解されるべきである。たとえば、符号化プロセスでは、現在の画像ブロックは符号化ブロック(encoding block)である。復号プロセスでは、現在の画像ブロックは復号ブロック(decoding block)である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
次に、本出願の実施形態における添付図面を参照しつつ本出願の実施形態における技術的解決方法について明確に説明する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
図1は、本出願の一実施形態によるビデオ符号化システムの概略ブロック図である。システムにおいて、ビデオエンコーダ20およびビデオデコーダ30は、本出願において提供される様々な画像予測方法の例に基づき画像ブロックのピクセル値の予測値を予測し、現在の符号化されたまたは復号された画像ブロックの動きベクトルなどの動き情報を精密化することで、符号化性能をさらに改善するように構成される。図1に示されているように、システムは、送信元装置12と、送信先装置14とを備える。送信元装置12は、送信先装置14によって復号されるべき符号化されたビデオデータを生成する。送信元装置12および送信先装置14は、デスクトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、セットトップボックス、「スマート」フォンなどの電話ハンドセット、「スマート」タッチパッド、テレビ、カメラ、表示装置、デジタルメディアプレーヤー、テレビゲーム機、ビデオストリーミング伝送装置、または同様のものを含む、広範な装置のうちのいずれか1つを含み得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
あるいは、符号化されたデータは、出力インターフェース22から記憶装置24に出力され得る。同様に、符号化されたデータは、入力インターフェースを通じて記憶装置24からアクセスされ得る。記憶装置24は、複数の分散もしくはローカルデータ記憶媒体、たとえば、ハードディスクドライブ、Blu-ray（登録商標）ディスク、DVD、CD-ROM、フラッシュメモリ、揮発性もしくは不揮発性メモリ、または符号化されたビデオデータを記憶するために使用される任意の他の適切なデジタル記憶媒体のうちのいずれかを含み得る。別の実現可能な実装形態において、記憶装置24は、送信元装置12によって生成された符号化されたビデオデータを記憶することができるファイルサーバまたは別の中間記憶装置に対応するものとしてよい。送信先装置14は、ストリーミング伝送機能またはダウンロード機能を通じて記憶装置24から記憶されているビデオデータにアクセスし得る。ファイルサーバは、符号化されたビデオデータを記憶し、符号化されたビデオデータを送信先装置14に送信することができる任意のタイプのサーバであってよい。実現可能な一実装形態において、ファイルサーバはウェブサーバ、ファイル転送プロトコルサーバ、ネットワークアタッチト記憶装置、またはローカルディスクドライブを含む。送信先装置14は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化されたビデオデータにアクセスし得る。データ接続は、ワイヤレスチャネル(たとえば、Wi-Fi接続)、有線接続(たとえば、ケーブルモデム)、またはファイルサーバに記憶されている符号化されたビデオデータにアクセスするために適用可能であるこれらの組合せを含み得る。記憶装置24からの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはこれらの組合せであってよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
送信先装置14は、入力インターフェース28と、ビデオデコーダ30と、表示装置32とを備える。いくつかのアプリケーションにおいて、入力インターフェース28は、受信機および/またはモデムを含み得る。送信先装置14の入力インターフェース28は、リンク16を使用することによって、符号化されたビデオデータを受信する。リンク16を使用することによって記憶装置24に伝送されるか、または提供される符号化されたビデオデータは、ビデオエンコーダ20によって生成され、ビデオデータを復号するためにビデオデコーダ30によって使用される複数のシンタックス要素を含み得る。これらのシンタックス要素は、通信媒体上で伝送される符号化されたビデオデータに含まれ、記憶媒体に記憶されるか、またはファイルサーバ内に記憶され得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
HEVC標準は、TUベースの変換を許し、TUは、異なるCUに対しては異なり得る。TUサイズは、典型的には、区分化されたLCUについて定義された所与のCU内でPUのサイズに基づき設定される。しかしながら、これは、常にそうであるとは限らない。TUサイズは、一般的に、PUサイズと同じであるか、またはそれより小さい。いくつかの実現可能な実装形態において、「残差四分木」(residual quadtree、RQT)と称される四分木構造は、CUに対応する残差サンプルをより小さいユニットに分割するために使用され得る。RQTのリーフノードは、TUと称され得る。TUに関連付けられているピクセル差分は変換係数を生成するように変換され、変換係数は量子化され得る。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
いくつかの実現可能な実装形態において、ビデオエンコーダ20は、エントロピー符号化され得るシリアル化されたベクトルを生成するために事前定義済みスキャン順序で量子化された変換係数をスキャンするものとしてよい。他の実現可能な実装形態では、ビデオエンコーダ20は、適応型スキャンを実行し得る。量子化された変換係数をスキャンして一次元ベクトルを形成した後に、ビデオエンコーダ20は1次元ベクトルに対してエントロピー符号化を、コンテキストベース適応型可変長符号化(CAVLC)、コンテキストベース適応型2値算術符号化(CABAC)、シンタックスベースコンテキスト適応型2値算術符号化(SBAC)、確率区間区分化エントロピー(PIPE)符号化、または別のエントロピー符号化方法を使用することによって、実行し得る。ビデオエンコーダ20は、ビデオデコーダ30でビデオデータを復号するために、符号化されたビデオデータに関連付けられているシンタックス要素に対してエントロピー符号化をさらに実行し得る。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１１９
【補正方法】変更
【補正の内容】
【０１１９】
PUの位置と参照画像の予測ブロックの位置とを比較することによって、動き推定ユニット42は、フレーム間復号スライス内の画像ブロックのPUの動きベクトルを計算する。参照画像は、第1の参照画像リスト(リスト0)または第2の参照画像リスト(リスト1)から選択され得る。リスト内の各項目は、参照画像メモリ64内に記憶されている1つまたは複数の参照画像を識別する。動き推定ユニット42は、計算された動きベクトルをエントロピー符号化モジュール56と動き補償ユニット44とに送る。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２４
【補正方法】変更
【補正の内容】
【０１２４】
量子化の後、エントロピー符号化モジュール56は、量子化された変換係数に対してエントロピー符号化を実行し得る。たとえば、エントロピー符号化モジュール56は、コンテキストベース適応型可変長符号化(CAVLC)、コンテキストベース適応型2値算術符号化(CABAC)、シンタックスベースコンテキスト適応型2値算術符号化(SBAC)、確率区間区分化エントロピー(PIPE)符号化、または別のエントロピー符号化方法もしくは技術を実行し得る。エントロピー符号化モジュール56は、また、符号化されている現在のビデオスライスのものである動きベクトルおよび別のシンタックス要素に対してエントロピー符号化を実行し得る。エントロピー符号化モジュール56がエントロピー符号化を実行した後、符号化されたビットストリームがビデオデコーダ30に伝送され得るか、またはビデオデコーダ30によってその後の伝送もしくは探索のために記憶され得る。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【０１２６】
ビデオエンコーダ20の別の構造変更形態もビデオストリームを符号化するために使用できることが理解されるべきである。たとえば、いくつかの画像ブロックまたは画像フレームについて、残差信号は、変換モジュール52によって処理されることなくビデオエンコーダ20によって直接量子化されるものとしてよく、それに対応して、残差信号は、逆変換モジュール60によって処理される必要はない。あるいは、いくつかの画像ブロックまたは画像フレームについて、ビデオエンコーダ20は、残差データを生成せず、それに対応して、変換モジュール52、量子化モジュール54、逆量子化モジュール58、および逆変換モジュール60によっていかなる処理も実行される必要はない。あるいは、再構成された画像ブロックは、フィルタユニットによって処理されることなくビデオエンコーダ20によって参照ブロックとして直接記憶され得る。あるいは、ビデオエンコーダ20内の量子化モジュール54および逆量子化モジュール58は、一体化され得る。あるいは、ビデオエンコーダ20内の変換モジュール52および逆変換モジュール60は、一体化され得る。あるいは、加算器50および加算器62は、一体化されてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
ビデオスライスがフレーム内復号(I)スライスに復号されるとき、予測モジュール81のフレーム内予測ユニット84は、現在のフレームまたは画像からのものである以前に復号されたブロックの信号およびデータを送信することによって通知されるフレーム内予測モードに基づき現在のビデオスライスの画像ブロックの予測ブロックを生成し得る。ビデオスライスがフレーム間復号(すなわち、BまたはP)スライスに復号されるとき、予測モジュール81の動き補償ユニット82は、エントロピー復号モジュール80から受信されたシンタックス要素に基づき、現在のビデオスライスの現在の画像ブロックを復号するために使用されるフレーム間予測モードを決定し、決定されたフレーム間予測モードに基づき現在の画像ブロックを復号する(たとえば、現在の画像ブロックに対してフレーム間予測を実行する)ものとしてよい。特に、動き補償ユニット82は、どの予測方法が現在のビデオスライスの現在の画像ブロックを予測するために使用されるかを決定するものとしてよく、たとえば、シンタックス要素は、MVD鏡像制約条件に基づく画像予測方法が、現在の画像ブロックを予測するために使用されるべきであることを指示する。現在のビデオスライスの現在の画像ブロックの動き情報が予想されるか、または精密化され、それにより、動き補償プロセスを使用することによって、現在の画像ブロックの予測された動き情報を使用することで現在の画像ブロックの予測ブロックを生成する。本明細書の動き情報は、参照画像情報と動きベクトルとを含み得る。参照画像情報は、一方向/双方向予測情報、参照画像リスト番号、および参照画像リストに対応する参照画像インデックスを含み得るが、これらに限定されない。フレーム間予測については、参照画像リストのうちの1つの中の参照画像のうちの1つから予測ブロックが生成され得る。ビデオデコーダ30は、参照画像メモリ92に記憶されている参照画像に基づき、参照画像リスト、すなわち、リスト0およびリスト1を構築するものとしてよい。現在の画像の参照フレームインデックスは、参照フレームリスト0および参照フレームリスト1のうちの一方または両方に含まれ得る。いくつかの場合において、ビデオエンコーダ20は、どの新しい画像予測方法が使用されるかを指示するための信号を送信し得る。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
この実施形態では、予測モジュール81は、現在の符号化画像ブロックの予測ブロックを生成するように構成される。特に、ビデオスライスがフレーム内復号(I)スライスに復号されたとき、予測モジュール81のフレーム内予測ユニット84は、送信された信号伝達フレーム内予測モードおよび現在のフレームまたは画像からのものである以前に復号された画像ブロックのデータに基づき現在のビデオスライスの画像ブロックの予測ブロックを生成し得る。ビデオ画像がフレーム間復号(たとえば、B、P、またはGPB)スライスに復号されたとき、予測モジュール81の動き補償ユニット82はエントロピー復号モジュール80から受信された動きベクトルおよび他のシンタックス要素に基づき現在のビデオ画像の画像ブロックの予測ブロックを生成する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
動き補償ユニット82が、現在の画像ブロックに対する予測ブロックを生成した後、ビデオデコーダ30は、逆変換モジュール88からの残差ブロックと動き補償ユニット82によって生成された対応する予測ブロックとを加算して、再構成されたブロック、すなわち、復号された画像ブロックを取得する。加算器90は、加算演算を実行するコンポーネントを表す。必要なときに、ループフィルタ(復号ループ内または復号ループの後)は、ピクセル変換を平滑化するためにさらに使用され得るか、またはビデオ品質は、別の方式で改善され得る。フィルタユニット(図示せず)は、1つまたは複数のループフィルタ、たとえば、デブロッキングフィルタ、適応ループフィルタ(ALF)、およびサンプル適応オフセット(SAO)フィルタを表し得る。さらに、所与のフレームまたは画像内の復号された画像ブロックは、復号画像バッファ92内にさらに記憶されるものとしてよく、復号画像バッファ92は、その後の動き補償のために使用される参照画像を記憶する。復号画像バッファ92はメモリの一部であってもよく、表示装置(たとえば、図1の表示装置32)上にその後表示するために復号されたビデオをさらに記憶し得る。あるいは、復号画像バッファ92は、そのようなメモリから分離していてもよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１３５
【補正方法】変更
【補正の内容】
【０１３５】
ビデオデコーダ30の別の構造変更形態は符号化されたビデオビットストリームを復号するために使用できることが理解されるべきである。たとえば、ビデオデコーダ30は、フィルタユニットによる処理をせずに出力ビデオストリームを生成し得る。あるいは、いくつかの画像ブロックまたは画像フレームについて、ビデオデコーダ30のエントロピー復号モジュール80は、復号を通じて量子化済み係数を取得することをせず、それに対応して、逆量子化モジュール86および逆変換モジュール88による処理は必要ない。たとえば、ビデオデコーダ30内の逆量子化モジュール86および逆変換モジュール88は一体化され得る。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
前述の方式1および方式2は、画像ブロックの初期動き情報を取得する単なる2つの特定の方式にすぎないことが理解されるべきである。本出願では、画像ブロックの初期動き情報を取得する方式は限定されず、画像ブロックの初期動き情報を取得できる任意の方式が本出願の保護範囲内に収まるものとする。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１７９
【補正方法】変更
【補正の内容】
【０１７９】
本出願のこの実施形態において、使用されるべき探索方法は限定されず、任意の探索方法が使用されてよいことに留意されたい。探索を通じて取得された各前方候補ブロックについて、前方候補ブロックと対応する後方候補ブロックの間の差分が計算され、最小のSADを有する前方候補ブロックおよび後方候補ブロック、前方候補ブロックに対応する前方動きベクトル、ならびに後方候補ブロックに対応する後方動きベクトルが、それぞれ、最適な前方参照ブロック、最適な後方参照ブロック、最適な前方参照ブロックに対応する最適な前方動きベクトル、および最適な後方参照ブロックに対応する最適な後方動きベクトルとして選択される。あるいは、探索を通じて取得された各後方候補ブロックについて、ステップ4における後方候補ブロックと対応する前方候補ブロックの間の差分が計算され、最小のSADを有する後方候補ブロックおよび前方候補ブロック、後方候補ブロックに対応する後方動きベクトル、ならびに前方候補ブロックに対応する前方動きベクトルが、それぞれ、最適な後方参照ブロック、最適な前方参照ブロック、最適な後方参照ブロックに対応する最適な後方動きベクトル、および最適な前方参照ブロックに対応する最適な前方動きベクトルとして選択される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１８３
【補正方法】変更
【補正の内容】
【０１８３】
ステップ1005およびステップ1006のシーケンスは限定されず、これらは、同時に実行され得るか、または順次実行され得ることが理解されるべきである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１８９
【補正方法】変更
【補正の内容】
【０１８９】
他の対の参照ブロックがその後トラバースされたとき、BestBfおよびBestBbがリアルタイムで更新される。たとえば、第i回(i>1)の探索が実行されたとき、Costi<MinCostであるならば、BestBf=BfiおよびBestBb=Bbiであり、そうでないならば、更新は実行されない。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１９１
【補正方法】変更
【補正の内容】
【０１９１】
図12は、本出願の一実施形態による画像予測方法の概略フローチャートである。図12に示されている方法は、ビデオ符号化装置、ビデオコーデック、ビデオ符号化システム、またはビデオ符号化機能を有する別のデバイスによって実行され得る。図12に示されている方法は、符号化プロセスまたは復号プロセスで使用され得る。より具体的には、図12に示されている方法は、符号化または復号中にフレーム間予測プロセスで使用され得る。プロセス1200は、ビデオエンコーダ20またはビデオデコーダ30によって実行されるものとしてよく、特に、ビデオエンコーダ20またはビデオデコーダ30の動き補償ユニットによって実行され得る。複数のビデオフレームを有するビデオデータストリームについては、ビデオエンコーダまたはビデオデコーダは、次のステップを含む、プロセス1200を実行して、現在のビデオフレームの現在の画像ブロックのピクセル値の予測値を取得するために使用されている。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１９５
【補正方法】変更
【補正の内容】
【０１９５】
探索プロセスにおいて、2つのマッチングブロックの位置オフセットは鏡像関係の条件を満たし、鏡像関係において時間領域間隔が考慮される必要がある。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０２２４
【補正方法】変更
【補正の内容】
【０２２４】
一例では、ステップ1404において、加重処理がターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に対して実行され、それにより、現在の画像ブロックのピクセル値の予測値を取得する。さらに、本出願では、現在の画像ブロックのピクセル値の予測値は、あるいは、別の方法を使用することによって取得され得る。これは、本出願において限定されない。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０２４０
【補正方法】変更
【補正の内容】
【０２４０】
たとえば、この実施形態では、整数ピクセルステップを使用することによって、探索は全部で2回実行される。第1回の探索中に、初期前方参照ブロックの位置が探索基点として使用されてよく、前方参照画像(前方参照領域とも称される)内で(N-1)個の候補前方参照ブロックの位置が決定される。初期後方参照ブロックの位置が探索基点として使用され、後方参照画像(後方参照領域とも称される)内で(N-1)個の候補後方参照ブロックの位置が決定される。N対の参照ブロックの位置における1つまたは複数の対の参照ブロック位置について、2つの対応する参照ブロックのマッチングコストが計算され、たとえば、初期前方参照ブロックおよび初期後方参照ブロックのマッチングコストが計算され、MVD鏡像制約条件を満たす候補前方参照ブロックおよび候補後方参照ブロックのマッチングコストが計算される。このようにして、第1回の探索における第1回ターゲット前方参照ブロックの位置および第1回ターゲット後方参照ブロックの位置が取得され、更新動き情報がさらに取得される。更新動き情報は、現在のブロックの位置が第1回ターゲット前方参照ブロックの位置を指していることを指示する前方動きベクトルと、現在の画像ブロックの位置が第1回ターゲット後方参照ブロックの位置を指していることを指示する後方動きベクトルとを含む。更新動き情報および初期動き情報は、同じ参照フレームインデックスおよび同様のものを含むことが理解されるべきである。次に、第2回の探索が実行される。第1回ターゲット前方参照ブロックの位置は探索基点として使用され、前方参照画像(前方参照領域とも称される)内で(N-1)個の候補前方参照ブロックの位置が決定される。第1回ターゲット後方参照ブロックの位置は探索基点として使用され、後方参照画像(後方参照領域とも称される)内で(N-1)個の候補後方参照ブロックの位置が決定される。N対の参照ブロックの位置における1つまたは複数の対の参照ブロックの位置について、2つの対応する参照ブロックのマッチングコストが計算され、たとえば、第1回ターゲット前方参照ブロックおよび第1回ターゲット後方参照ブロックのマッチングコストが計算され、MVD鏡像制約条件を満たす候補前方参照ブロックおよび候補後方参照ブロックのマッチングコストが計算される。このようにして、第2回の探索にお
ける第2回ターゲット前方参照ブロックの位置および第2回ターゲット後方参照ブロックの位置が取得され、更新動き情報がさらに取得される。更新動き情報は、現在の画像ブロックの位置が第2回ターゲット前方参照ブロックの位置を指していることを指示する前方動きベクトルと、現在の画像ブロックの位置が第2回ターゲット後方参照ブロックの位置を指していることを指示する後方動きベクトルとを含む。更新動き情報および初期動き情報は、参照フレームインデックスなどの他の同じ情報を含むことが理解されるべきである。繰り返しのプリセットされた回数Lが2であるとき、本明細書における第2の探索プロセスで、第2回ターゲット前方参照ブロックおよび第2回ターゲット後方参照ブロックは、最終的に取得されたターゲット前方参照ブロックおよびターゲット後方参照ブロック(最適な前方参照ブロックおよび最適な後方参照ブロックとも称される)である。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０２４５
【補正方法】変更
【補正の内容】
【０２４５】
ステップ1504において、各対の参照ブロックの位置について、前方参照ブロックのピクセル値と対応する後方参照ブロックのピクセル値の間の差分が計算されるときに、各前方参照ブロックのピクセル値と対応する後方参照ブロックのピクセル値の間の差分は、SAD、SATD、絶対平方差の和、または同様のものを使用することによって測定され得る。しかしながら、本出願は、それに限定されない。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０２５９
【補正方法】変更
【補正の内容】
【０２５９】
探索プロセスにおいて、2つのマッチングブロックの位置オフセットは鏡像関係の条件を満たし、鏡像関係において時間領域間隔が考慮される必要がある。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０２７２
【補正方法】変更
【補正の内容】
【０２７２】
2つのマッチングブロックの位置オフセットは、時間領域距離に基づく鏡像関係の条件を満たす。本明細書において、TC、T0、およびT1は、それぞれ、現在のフレームの時点、前方参照画像の時点、および後方参照画像の時点を表す。TD0およびTD1は、2つの時点の間の時間間隔を示す。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０２８８
【補正方法】変更
【補正の内容】
【０２８８】
図18は、本出願の一実施形態による画像予測装置1800の概略ブロック図である。予測装置1800は、ビデオ画像を復号するためのフレーム間予測とビデオ画像を符号化するためのフレーム間予測の両方に適用可能であることに留意されたい。本明細書の予測装置1800は、図2Aにおける動き補償ユニット44に対応し得るか、または図2Bにおける動き補償ユニット82に対応し得ることが理解されるべきである。予測装置1800は、
現在の画像ブロックの初期動き情報を取得するように構成されている第1の取得ユニット1801と、
第1の探索ユニット1802であって、初期動き情報および現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、N個の前方参照ブロックは、前方参照画像内に配置され、N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が現在の画像ブロックのターゲット前方参照ブロックの位置および現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、第1の位置オフセットは、初期前方参照ブロックの位置に対する前方参照ブロックの位置のオフセットを表し、第2の位置オフセットは、初期後方参照ブロックの位置に対する後方参照ブロックの位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第1の探索ユニット1802と、
ターゲット前方参照ブロックのピクセル値およびターゲット後方参照ブロックのピクセル値に基づき現在の画像ブロックのピクセル値の予測値を取得するように構成されている第1の予測ユニット1803とを備え得る。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０３３８
【補正方法】変更
【補正の内容】
【０３３８】
メモリ2230は、リードオンリーメモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)を含み得る。任意の他の適切なタイプのストレージデバイスは、メモリ2230としても使用されてよい。メモリ2230は、バスシステム2250を使用することによってプロセッサ2210によってアクセスされるコードおよびデータ2231を含み得る。メモリ2230は、オペレーティングシステム2233とアプリケーションプログラム2235とをさらに含み得る。アプリケーションプログラム2235は、プロセッサ2210が本出願において説明されているビデオ符号化または復号方法(特に、本出願において説明されている画像予測方法)を実行することを可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム2235はアプリケーション1からNを含むものとしてよく、本出願において説明されているビデオ符号化もしくは復号方法を実行するビデオ符号化または復号アプリケーション(略してビデオ復号アプリケーション)をさらに含む。
【手続補正２８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
【請求項２】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、
前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項1に記載の方法。
【請求項３】
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項1または2に記載の方法。
【請求項４】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの前記位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期前方参照ブロックの前記位置を第1の探索開始点として使用して、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用して、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項1から4のいずれか一項に記載の方法。
【請求項６】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項1から5のいずれか一項に記載の方法。
【請求項７】
前記方法は、前記現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップは、前記現在の画像ブロックの候補動き情報リストから前記初期動き情報を取得するステップを含むか、または
前記方法は、前記現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップの前に、前記方法は、前記現在の画像ブロックのビットストリームから指示情報を取得するステップであって、前記指示情報は、前記現在の画像ブロックの前記初期動き情報を指示するために使用される、ステップをさらに含む請求項1から6のいずれか一項に記載の方法。
【請求項８】
第1の位置オフセットは、(delta0x,delta0y)で表され、第2の位置オフセットは、(delta1x,delta1y)で表され、delta0x=-delta1x、およびdelta0y=-delta1yである請求項1から7のいずれか一項に記載の方法。
【請求項９】
画像予測方法であって、
現在の画像ブロックの初期動き情報を取得するステップと、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定するステップであって、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数である、ステップと、
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定するステップであって、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下である、ステップと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するステップとを含む画像予測方法。
【請求項１０】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項9に記載の方法。
【請求項１１】
前記方法は、
前記現在の画像ブロックの更新動き情報を取得するステップであって、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す、ステップをさらに含む請求項9または10に記載の方法。
【請求項１２】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項9から11のいずれか一項に記載の方法。
【請求項１３】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する前記ステップは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期前方参照ブロックの前記位置を第1の探索開始点として使用して、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定するステップであって、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含む、ステップと、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用して、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定するステップであって、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ステップとを含む請求項9から12のいずれか一項に記載の方法。
【請求項１４】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する前記ステップは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップ、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するステップであって、MはN以下である、ステップを含む請求項9から13のいずれか一項に記載の方法。
【請求項１５】
前記方法は、前記現在の画像ブロックを符号化するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップは、前記現在の画像ブロックの候補動き情報リストから前記初期動き情報を取得するステップを含むか、または
前記方法は、前記現在の画像ブロックを復号するために使用され、現在の画像ブロックの初期動き情報を取得する前記ステップの前に、前記方法は、前記現在の画像ブロックのビットストリームから指示情報を取得するステップであって、前記指示情報は、前記現在の画像ブロックの前記初期動き情報を指示するために使用される、ステップをさらに含む請求項9から14のいずれか一項に記載の方法。
【請求項１６】
画像予測装置であって、
現在の画像ブロックの初期動き情報を取得するように構成されている第1の取得ユニットと、
第1の探索ユニットであって、前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットおよび第2の位置オフセットは鏡像関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第1の探索ユニットと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するように構成されている第1の予測ユニットとを備える画像予測装置。
【請求項１７】
第1の位置オフセットおよび第2の位置オフセットが鏡像関係にあることは、前記第1の位置オフセットの方向が前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値が前記第2の位置オフセットの振幅値と同じであることを含む請求項16に記載の装置。
【請求項１８】
前記第1の予測ユニットは、前記現在の画像ブロックの更新動き情報を取得するようにさらに構成され、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す請求項16または17に記載の装置。
【請求項１９】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項16から18のいずれか一項に記載の装置。
【請求項２０】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置と、N個の後方参照ブロックの位置とを決定する態様において、前記第1の探索ユニットは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記初期前方参照ブロックの位置を第1の探索開始点として使用し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定し、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含み、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定し、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ように特に構成される請求項16から19のいずれか一項に記載の装置。
【請求項２１】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、前記第1の探索ユニットは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するか、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定し、MはN以下である、ように特に構成される請求項16から20のいずれか一項に記載の装置。
【請求項２２】
画像予測装置であって、
現在の画像ブロックの初期動き情報を取得するように構成されている第2の取得ユニットと、
第2の探索ユニットであって、前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定し、前記N個の前方参照ブロックは、前方参照画像内に配置され、前記N個の後方参照ブロックは、後方参照画像内に配置され、Nは、1より大きい整数であることと、マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定し、各対の参照ブロックの位置は、前方参照ブロックの位置と後方参照ブロックの位置とを含み、各対の参照ブロックの前記位置について、第1の位置オフセットと第2の位置オフセットは時間領域距離に基づく比例関係にあり、前記第1の位置オフセットは、初期前方参照ブロックの位置に対する前記前方参照ブロックの前記位置のオフセットを表し、前記第2の位置オフセットは、初期後方参照ブロックの位置に対する前記後方参照ブロックの前記位置のオフセットを表し、Mは1以上の整数であり、MはN以下であることと、を行うように構成されている第2の探索ユニットと、
前記ターゲット前方参照ブロックのピクセル値および前記ターゲット後方参照ブロックのピクセル値に基づき前記現在の画像ブロックのピクセル値の予測値を取得するように構成されている第2の予測ユニットとを備える画像予測装置。
【請求項２３】
第1の位置オフセットと第2の位置オフセットが時間領域距離に基づく比例関係にあることは、
第1の時間領域距離が第2の時間領域距離と同じであるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値は前記第2の位置オフセットの振幅値と同じであること、または
第1の時間領域距離が第2の時間領域距離と異なるならば、前記第1の位置オフセットの方向は前記第2の位置オフセットの方向と反対であり、前記第1の位置オフセットの振幅値と前記第2の位置オフセットの振幅値の間の比例関係は前記第1の時間領域距離と前記第2の時間領域距離の間の比例関係に基づくことを含み、
前記第1の時間領域距離は前記現在の画像ブロックが属する現在の画像と前記前方参照画像の間の時間領域距離を表し、前記第2の時間領域距離は前記現在の画像と前記後方参照画像の間の時間領域距離を表す請求項22に記載の装置。
【請求項２４】
前記第2の予測ユニットは、前記現在の画像ブロックの更新動き情報を取得するようにさらに構成され、前記更新動き情報は更新前方動きベクトルと更新後方動きベクトルとを含み、前記更新前方動きベクトルは前記ターゲット前方参照ブロックの前記位置を指し、前記更新後方動きベクトルは前記ターゲット後方参照ブロックの前記位置を指す請求項22または23に記載の装置。
【請求項２５】
前記N個の前方参照ブロックの前記位置は、1つの初期前方参照ブロックの位置と(N-1)個の候補前方参照ブロックの位置とを含み、前記初期前方参照ブロックの前記位置に対する各候補前方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離であるか、または
前記N個の後方参照ブロックの前記位置は、1つの初期後方参照ブロックの位置と(N-1)個の候補後方参照ブロックの位置とを含み、前記初期後方参照ブロックの前記位置に対する各候補後方参照ブロックの位置のオフセットは、整数ピクセル距離もしくは分数ピクセル距離である請求項22から24のいずれか一項に記載の装置。
【請求項２６】
前記初期動き情報は、前方予測方向の第1の動きベクトルおよび第1の参照画像インデックスと、後方予測方向の第2の動きベクトルおよび第2の参照画像インデックスとを含み、
前記初期動き情報および前記現在の画像ブロックの位置に基づきN個の前方参照ブロックの位置およびN個の後方参照ブロックの位置を決定する態様において、前記第2の探索ユニットは、
前記第1の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第1の参照画像インデックスに対応する前記前方参照画像内の前記現在の画像ブロックの前記初期前方参照ブロックの前記位置を決定し、前記初期前方参照ブロックの位置を第1の探索開始点として使用し、前記前方参照画像内の前記(N-1)個の候補前方参照ブロックの前記位置を決定し、前記N個の前方参照ブロックの前記位置は、前記初期前方参照ブロックの前記位置と前記(N-1)個の候補前方参照ブロックの前記位置とを含み、
前記第2の動きベクトルおよび前記現在の画像ブロックの前記位置に基づき、前記第2の参照画像インデックスに対応する前記後方参照画像内の前記現在の画像ブロックの前記初期後方参照ブロックの前記位置を決定し、前記初期後方参照ブロックの前記位置を第2の探索開始点として使用し、前記後方参照画像内の前記(N-1)個の候補後方参照ブロックの前記位置を決定し、前記N個の後方参照ブロックの前記位置は、前記初期後方参照ブロックの前記位置と前記(N-1)個の候補後方参照ブロックの前記位置とを含む、ように特に構成される請求項22から25のいずれか一項に記載の装置。
【請求項２７】
マッチングコスト基準に基づきM対の参照ブロックの位置から、一対の参照ブロックの位置が前記現在の画像ブロックのターゲット前方参照ブロックの位置および前記現在の画像ブロックのターゲット後方参照ブロックの位置であると決定する態様において、前記第2の探索ユニットは、
前記M対の参照ブロックの前記位置から、マッチング誤差が最小である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定するか、または
前記M対の参照ブロックの前記位置から、マッチング誤差がマッチング誤差閾値以下である一対の参照ブロックの位置が前記現在の画像ブロックの前記ターゲット前方参照ブロックの前記位置および前記現在の画像ブロックの前記ターゲット後方参照ブロックの前記位置であると決定し、MはN以下である、ように特に構成される請求項22から26のいずれか一項に記載の装置。
【請求項２８】
画像ブロックを符号化するように構成されているビデオエンコーダであって、
請求項16から27のいずれか一項に記載の前記画像予測装置を備える、フレーム間予測モジュールであって、予測を通じて前記画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、
指示情報をビットストリームに符号化するように構成されているエントロピー符号化モジュールであって、前記指示情報は前記画像ブロックの初期動き情報を指示するために使用される、エントロピー符号化モジュールと、
前記画像ブロックの前記ピクセル値の前記予測値に基づき前記画像ブロックを再構成するように構成されている再構成モジュールとを備えるビデオエンコーダ。
【請求項２９】
ビットストリームを復号して画像ブロックを取得するように構成されているビデオデコーダであって、
前記ビットストリームを復号して指示情報を取得するように構成されているエントロピー復号モジュールであって、前記指示情報は復号を通じて取得された現在の画像ブロックの初期動き情報を指示するために使用される、エントロピー復号モジュールと、
請求項16から27のいずれか一項に記載の前記画像予測装置を備える、フレーム間予測モジュールであって、予測を通じて前記画像ブロックのピクセル値の予測値を取得するように構成されている、フレーム間予測モジュールと、
前記画像ブロックの前記ピクセル値の前記予測値に基づき前記画像ブロックを再構成するように構成されている再構成モジュールとを備えるビデオデコーダ。
【請求項３０】
プログラムコードを収めた非一時的コンピュータ可読媒体であって、前記プログラムコードは、コンピュータデバイスによって実行されたときに、請求項1から29のいずれか一項に記載の前記方法をコンピュータデバイスに実行させる非一時的コンピュータ可読媒体。
【請求項３１】
請求項1から30のいずれか一項に記載の前記方法によって符号化されたビットストリームを含む非一時的記憶媒体。
【国際調査報告】
2021508213.tif 000026
2021508213.tif 000027
2021508213.tif 000028
2021508213.tif 000029