(57)【要約】  本願は、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体に関し、前記ビデオ復号化方法は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップと、を含む。上記方法は、ビデオ符号化品質を向上させることができる。
2021525025.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ装置が実行するビデオ符号化方法であって、
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、
前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップと
を含む、ビデオ符号化方法。
【請求項２】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
復号化側と一致するマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
前記復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第２の現在参照ブロックが複数含まれている場合、複数の前記第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、
前記第２の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、
前記重み付けの重みに基づいて前記第１の現在参照ブロック及び各前記第２の現在参照ブロックを重み付けして、前記第１の融合参照ブロックを取得するステップと
を含む、ことを特徴とする請求項４又は請求項５に記載の方法。
【請求項８】
前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得する前記ステップは、
各前記第２の現在参照ブロックと前記第１の現在参照ブロックとの第２の相違度を算出するステップと、
前記第２の相違度に基づいて、各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップであって、各前記第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度と負の相関関係を有するステップと
を含む、ことを特徴とする請求項７に記載の方法。
【請求項９】
前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
前記第１の融合参照ブロックと前記現在符号化ブロックとの第３の相違度を算出し、前記第１の現在参照ブロックと前記現在符号化ブロックとの第４の相違度を算出するステップと、
前記第３の相違度及び前記第４の相違度の大きさに基づいて目標参照ブロックを選択するステップと
を含む、ことを特徴とする請求項５に記載の方法。
【請求項１０】
前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
前記第１の融合参照ブロック及び前記現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、前記第１の現在参照ブロック及び前記現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出するステップと、
前記第１のレート歪みコスト及び前記第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択するステップと
を含む、ことを特徴とする請求項５に記載の方法。
【請求項１１】
コンピュータ装置が実行するビデオ復号化方法であって、
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するステップと、
前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するステップと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
を含む、ビデオ復号化方法。
【請求項１２】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
を含む、ことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
を含む、ことを特徴とする請求項１１に記載の方法。
【請求項１５】
前記符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、
前記符号化データから前記参照ブロックモード情報を読み取るステップと、
前記参照ブロックモード情報が前記第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の参照ブロックに基づいて前記符号化データを復号化し、前記参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
をさらに含む、ことを特徴とする請求項１１に記載の方法。
【請求項１６】
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するように構成された符号化ブロック取得モジュールと、
前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するように構成された符号化参照ブロック取得モジュールと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された符号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである符号化参照ブロックマッチングモジュールと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するように構成された符号化モジュールと
を含む、ビデオ符号化装置。
【請求項１７】
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するように構成された符号化データ取得モジュールと、
前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するように構成された復号化参照ブロック取得モジュールと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された復号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである復号化参照ブロックマッチングモジュールと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するように構成された復号化モジュールと
を含む、ビデオ復号化装置。
【請求項１８】
コンピュータプログラムが記憶されているメモリと、
前記コンピュータプログラムを実行すると、
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する操作、
前記現在符号化ブロックに対応する第１の現在参照ブロックを取得する操作、
前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する操作、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する操作
を実行するプロセッサと、
を含む、ことを特徴とするコンピュータ装置。
【請求項１９】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
復号化側と一致するマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、
前記復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１８に記載のコンピュータ装置。
【請求項２０】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する操作と、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出する操作と、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
【請求項２１】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
前記第１の融合参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作と
を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
【請求項２２】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
前記第１の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作であって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されている操作と
を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
【請求項２３】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第２の現在参照ブロックが複数含まれている場合、複数の前記第２の現在参照ブロックに基づいて画像融合を行って、前記第２の融合参照ブロックを取得する操作と、
前記第２の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得する操作であって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されている操作と
を実行させる、ことを特徴とする請求項１８に記載のコンピュータ装置。
【請求項２４】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得する操作と、
前記重み付けの重みに基づいて前記第１の現在参照ブロック及び各前記第２の現在参照ブロックを重み付けして、前記第１の融合参照ブロックを取得する操作と
を実行させる、ことを特徴とする請求項２１又は請求項２２に記載のコンピュータ装置。
【請求項２５】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
各前記第２の現在参照ブロックと前記第１の現在参照ブロックとの第２の相違度を算出する操作と、
前記第２の相違度に基づいて、各前記第２の現在参照ブロックに対応する重み付けの重みを取得する操作であって、各前記第２の現在参照ブロックに対応する重み付けの重みは対応する第２の相違度と負の相関関係を有する操作とを実行させる、ことを特徴とする請求項２４に記載のコンピュータ装置。
【請求項２６】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の融合参照ブロックと前記現在符号化ブロックとの第３の相違度を算出し、前記第１の現在参照ブロックと前記現在符号化ブロックとの第４の相違度を算出する操作と、
前記第３の相違度及び前記第４の相違度の大きさに基づいて目標参照ブロックを選択する操作と
を実行させる、ことを特徴とする請求項２２に記載のコンピュータ装置。
【請求項２７】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の融合参照ブロックと前記現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、前記第１の現在参照ブロックと前記現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出する操作と、
前記第１のレート歪みコスト及び前記第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する操作と
を実行させる、ことを特徴とする請求項２２に記載のコンピュータ装置。
【請求項２８】
コンピュータプログラムが記憶されているメモリと、
前記コンピュータプログラムを実行すると、
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する操作と、
前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する操作と、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである操作と、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作と
を実行するプロセッサと
を含む、ことを特徴とするコンピュータ装置。
【請求項２９】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、
前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項２８に記載のコンピュータ装置。
【請求項３０】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する操作と、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出する操作と、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
【請求項３１】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する操作と、
前記第１の融合参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作と
を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
【請求項３２】
前記プロセッサによって前記コンピュータプログラムが実行されると、前記プロセッサに、
前記符号化データから前記参照ブロックモード情報を読み取る操作と、
前記参照ブロックモード情報が前記第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の参照ブロックに基づいて前記符号化データを復号化し、前記参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作と
を実行させる、ことを特徴とする請求項２８に記載のコンピュータ装置。
【請求項３３】
プロセッサによって実行されると、前記プロセッサに、請求項１〜請求項１０のうちのいずれか一項に記載の方法のステップ、又は請求項１１〜請求項１５のうちのいずれか一項に記載の方法のステップを実行させるコンピュータプログラムが記憶されている、ことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２０１８年１０月１５日に提出された、出願番号が２０１８１１１９８９３８．３で、発明の名称が「ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体」の中国特許出願の優先権を主張するものであり、その全ての内容は、参照により本願に組み込むものとする。
【０００２】
本願は、コンピュータの技術分野に関し、特に、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体に関する。
【背景技術】
【０００３】
マルチメディア技術及びネットワーク技術の急速な発展と広い応用に伴い、人々は、日常生活及び生産活動において、ビデオ情報が大量に用いられている。ビデオのデータ伝送量及びデータ記憶量を減少させるために、ビデオを圧縮し符号化する必要がある。現在、複雑な符号化ブロックについては、従来のビデオ符号化方法で符号化されるとビデオ符号化品質が低くなる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、本願の実施例は、上記ビデオ符号化品質が低いという問題を解決することができる、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
コンピュータ装置が実行するビデオ符号化方法は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップとを含む。
【０００６】
ビデオ符号化装置は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するように構成された符号化ブロック取得モジュールと、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するように構成された符号化参照ブロック取得モジュールと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された符号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである符号化参照ブロックマッチングモジュールと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するように構成された符号化モジュールとを含む。
【０００７】
コンピュータ装置は、コンピュータプログラムが記憶されているメモリと、前記コンピュータプログラムを実行すると、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する操作、前記現在符号化ブロックに対応する第１の現在参照ブロックを取得する操作、前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックを取得する操作は、前記第１の現在参照ブロックと類似する操作、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する操作を実行するプロセッサと、を含む。
【０００８】
コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記ビデオ符号化方法のステップを実行させるコンピュータプログラムが記憶されている。
【０００９】
上記ビデオ符号化方法、装置、コンピュータ装置及び記憶媒体は、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
【００１０】
コンピュータ装置が実行するビデオ復号化方法は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得すステップと、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するステップと、前記第１の現在参照ブロックにマッチングする、１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと、を含む。
【００１１】
ビデオ復号化装置は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する符号化データ取得モジュールと、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する復号化参照ブロック取得モジュールと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する復号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである復号化参照ブロックマッチングモジュールと、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する復号化モジュールと、を含む。
【００１２】
コンピュータ装置は、コンピュータプログラムが記憶されているメモリと、前記コンピュータプログラムを実行すると、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する操作と、前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する操作と、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作であって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである操作と、前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作とを実行するプロセッサと、を含む。
【００１３】
コンピュータ可読記憶媒体は、プロセッサによって実行されると、前記プロセッサに上記ビデオ復号化方法のステップを実行させるコンピュータプログラムが記憶されている。
【発明の効果】
【００１４】
上記ビデオ復号化方法、装置、コンピュータ装置及び記憶媒体は、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。
【図面の簡単な説明】
【００１５】
【図１】一実施例に係るビデオ符号化方法の適用環境図である。
【図２】一実施例に係るビデオ符号化方法に対応する符号化フレームワーク図である。
【図３】一実施例に係るビデオ復号化方法に対応する復号化フレームワーク図である。
【図４Ａ】一実施例におけるビデオ符号化方法のフローチャートである。
【図４Ｂ】一実施例における画像ブロックの分割概略図である。
【図５Ａ】一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて現在符号化ブロックを符号化して符号化データを取得するフローチャートである。
【図５Ｂ】一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する概略図である。
【図６】一実施例における第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得するフローチャートである。
【図７】一実施例における第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するフローチャートである。
【図８】一実施例における第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するフローチャートである。
【図９】一実施例におけるビデオ復号化方法のフローチャートである。
【図１０】一実施例におけるビデオ復号化方法のフローチャートである。
【図１１】一実施例における現在符号化ブロックに対応する第１の参照ブロック及び第２の現在参照ブロックを取得する概略図である。
【図１２】一実施例におけるビデオ符号化装置の構成ブロック図である。
【図１３】一実施例におけるビデオ符号化装置の構成ブロック図である。
【図１４】一実施例におけるコンピュータ装置の内部構成ブロック図である。
【図１５】一実施例におけるコンピュータ装置の内部構成ブロック図である。
【発明を実施するための形態】
【００１６】
以下、本願の目的、技術手段及び利点をより明確にするために、に図面及び実施例を参照しながら、本願をさらに詳細に説明する。なお、本明細書に説明された具体的な実施例は、本願を説明するためのものに過ぎず、本願を限定するものではない。
【００１７】
なお、本願に用いられる用語「第１の」、「第２の」などは、本明細書において様々な素子を説明することができるが、特に説明しない限り、これらの素子は、これらの用語に限定されるものではない。これらの用語は、第１の素子と別の素子とを区別するためのものである。例えば、本願の範囲を逸脱することなく、第１のレート歪みコストを第２のレート歪みコストと呼ぶことができ、同様に、第２のレート歪みコストを第１のレート歪みコストと呼ぶことができる。
【００１８】
図１は、一実施例に係るビデオ符号化方法及びビデオ復号化方法の適用環境図であり、図１に示すように、該適用環境において、端末１１０及びサーバ１２０を含む。端末１１０は、エンコーダによってビデオ符号化を行うか、又はデコーダによってビデオ復号化を行ってもよく、端末１１０は、プロセッサによってビデオ符号化プログラムを実行してビデオ符号化を行うか、又はプロセッサによってビデオ復号化プログラムを実行してビデオ復号化を行ってもよい。
【００１９】
サーバ１２０は、エンコーダによってビデオ符号化を行うか、又はデコーダによってビデオ復号化を行い、或いは、プロセッサによってビデオ符号化プログラムを実行してビデオ符号化を行うか、又はプロセッサによってビデオ復号化プログラムを実行してビデオ復号化を行ってもよい。
【００２０】
例えば、サーバ１２０は、入力インタフェースによって、端末１１０が送信した符号化データを受信した後、そのままプロセッサに伝送して復号化してもよく、データベースに記憶して、後続きの復号化を待つようにしてもよい。当然のことながら、サーバ１２０は、端末１１０が送信した符号化データを取得した後、対応する受信端末に送信し、受信端末によって復号化してもよい。また、サーバ１２０は、プロセッサによって、ビデオフレームを符号化して符号化データを取得した後、そのまま出力インタフェースによって端末１１０に送信してもよく、符号化データをデータベースに記憶して、後続きの伝達を待つようにしてもよい。
【００２１】
端末１１０とサーバ１２０とは、ネットワークを介して接続されてもよい。端末１１０は、据置型端末又は携帯端末であってもよく、携帯端末は、携帯電話、タブレット型コンピュータ、ノート型パーソナルコンピュータなどのうちの少なくとも１種を含んでもよいが、これらに限定されるものではない。サーバ１２０は、独立したサーバ又は複数のサーバで構成されるサーバクラスタで実現されてもよい。
【００２２】
図２は、一実施例に係るビデオ符号化方法に対応する符号化フレームワーク図であるであり、本願の実施例に係るビデオ符号化方法は、ビデオシーケンスの各ビデオフレームを取得して符号化して、対応する符号化データを取得し、かつ記憶送信ユニット２１８により符号化データの記憶、送信のうちの１つ以上のステップを実行してもよい。
【００２３】
ビデオフレーム取得ユニット２０２では、現在ビデオフレームを取得する。
【００２４】
第１の予測ユニット２０４では、現在ビデオフレームの各符号化ブロックに対してフレーム内予測又はフレーム間予測を行ってもよい。例えば、符号化ブロックの予測モードがフレーム間予測モードであると、符号化ブロックに対応する参照ブロックの画像値に基づいて、予測値及び対応する動きベクトルを取得し、符号化ブロックの実際値と予測値を減算して予測残差を取得し、動きベクトルは、符号化ブロックの参照ブロックに対する変位を示す。
【００２５】
変換ユニット２０６では、空間領域における予測残差及び動きベクトル情報を周波数領域に変換し、変換係数を符号化してもよい。変換の方法は、離散フーリエ変換又は離散コサイン変換などであってもよく、動きベクトル情報は、変位を示す実際の動きベクトル又は動きベクトル差であってもよく、動きベクトル差は、実際の動きベクトルと予測動きベクトルとの差である。
【００２６】
量子化ユニット２０８では、変換後のデータを別の数値にマッピングし、例えば、変換後のデータを量子化ステップサイズで除算することにより、小さい値を取得してもよい。量子化パラメータは、量子化ステップサイズに対応する番号であり、量子化パラメータの値は整数である。量子化パラメータに基づいて、対応する量子化ステップサイズを検索することができる。量子化パラメータが小さいと、画像フレームの大部分の詳細が保留され、対応するビットレートが高い。量子化パラメータが大きいと、対応するビットレートが低いが、画像歪みが大きく、品質が高くない。
【００２７】
量子化の原理は、ＦＱ＝Ｒｏｕｎｄ（ｙ／Ｑｓｔｅｐ）の式で示される。ここで、ｙは、量子化前のビデオフレームに対応する予測残差である。Ｑｓｔｅｐは、量子化ステップサイズで、ＦＱは、ｙを量子化して得られた量子化値である。Ｒｏｕｎｄ（ｘ）関数とは、値に対して銀行型丸め処理を行い、即ち、値の末尾が４以下であると、切り捨てられ、値の末尾が６以上であると、切り上げられ、値の末尾が５であると、５後に数字があれば、５を切り捨て、切り上げ、５後に数字がなく、かつ、５の前桁の数字が奇数であれば、５を切り捨て、切り上げ、５の前桁の数字が偶数であれば、５を切り捨てるが、切り上げないことを意味する。量子化パラメータと量子化ステップサイズとの対応関係は、必要に応じて設定されてもよい。例えば、いくつかのビデオ符号化標準において、輝度符号化については、量子化ステップサイズは５２個の値であり、０〜５１の整数であり、色度符号化については、量子化ステップサイズの値は０〜３９の整数であり、かつ量子化ステップサイズは、量子化パラメータの増加に伴って増加し、量子化パラメータが６増加する毎に量子化ステップサイズは１倍増加する。
【００２８】
エントロピー符号化ユニット２１６は、エントロピー符号化を行い、エントロピー符号化は、エントロピー原理に従って符号化し、かついずれの情報を失わないデータ符号化方式であり、小さい文字で一定の情報を表現することができる。エントロピー符号化方法は、例えばシャノン（ｓｈａｎｎｏｎ）符号化又はハフマン（ｈｕｆｆｍａｎ）符号化などであってもよい。
【００２９】
第１の逆量子化ユニット２１０、第１の逆変換ユニット２１２、及び再構成ユニット２１４は、再構成パスに対応するユニットであり、再構成パスの各ユニットを用いてフレームの再構成を行って参照フレームを取得することにより、符号化及び復号化における参照フレームの一致を保持することができる。第１の逆量子化ユニット２１０が行うステップは、量子化の逆過程を行うことであり、第１の逆変換ユニット２１２が行うステップは、変換ユニット２０６が変換の逆過程を行うことであり、再構成ユニット２１４は、逆変換して得られた残差データに予測データを加算して再構成参照フレームを取得する。
【００３０】
図３は、一実施例に係るビデオ復号化方法に対応する復号化フレームワーク図であり、本願の実施例に係るビデオ復号化方法は、符号化データ取得ユニット３００により復号化対象のビデオシーケンスの各復号化対象のビデオフレームに対応する符号化データを取得し、エントロピー復号化ユニット３０２によりエントロピー復号化を行った後、エントロピー復号化データを取得し、第２の逆量子化ユニット３０４がエントロピー復号化データを逆量子化して逆量子化データを取得し、第２の逆変換ユニット３０６が逆量子化データを逆変換して、逆変換データを取得し、該逆変換データは、図２における第１の逆変換ユニット２１２が逆変換したデータと一致してもよい。
【００３１】
第２の予測ユニット３０８は、復号化対象のブロックの予測モードに基づいて復号化対象のブロックに対してフレーム内予測又はフレーム間予測を行い、例えば、フレーム間予測であると、符号化データに担持された動きベクトル情報に基づいて復号化対象のブロックに対応する目標参照ブロックを取得し、目標参照ブロックの画像値に基づいて図２における予測値と一致する予測値を取得し、予測値及び符号化データ中の予測残差に基づいて、復号化ビデオデータブロックの画素値を取得し、参照ブロックは、第２の予測ユニット３０８における復号化された参照フレームから取得されるものである。再生記憶ユニット３１０は、復号化されたビデオフレームに対してビデオ再生及びビデオ記憶のうちの１つ以上のステップを実行してもよい。
【００３２】
なお、上記符号化フレームワーク図、復号化フレームワーク図は、一例に過ぎず、本願の手段を適用した符号化方法を限定するものではなく、具体的な符号化フレームワーク図及び復号化フレームワーク図は、図に示したものよりも多い若しくは少ないユニットを含んでもよいか、又はいくつかのユニットを組み合わせてもよいか、又は異なる部材及びユニットなどを有してもよい。例えば、再構成ビデオフレームに対してループフィルタリングを行い、ビデオフレームのブロック効果を低減して、ビデオ品質を向上させてもよい。
【００３３】
本願の実施例では、符号化を実行する一端が符号化側と呼ばれ、復号化を実行する一端が復号化側と呼ばれる。符号化側と復号化側とは、同じ端又は異なる端であってもよく、上記コンピュータ装置、例えば、端末及びサーバは、符号化側であってもよく、復号化側であってもよい。
【００３４】
図４Ａに示すように、一実施例では、ビデオ符号化方法を提供し、本実施例に係るビデオ符号化方法は、上記図１における端末１１０及びサーバ１２０に適用されてもよい。以下のステップ４０２〜４０８を含んでもよい。
【００３５】
ステップＳ４０２では、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する。
【００３６】
ビデオフレームは、ビデオを構成する単位であり、コンピュータ装置がリアルタイムに収集したビデオフレームであってもよく、例えば、端末のカメラによってリアルタイムに取得されたビデオフレームであってもよく、予め記憶されたビデオシーケンスに対応するビデオフレームであってもよい。１つのビデオは、１つのビデオフレームシーケンスと見なされてもよく、１つのビデオフレームシーケンスは、複数のビデオフレームを含んでもよい。現在ビデオフレームとは、現在符号化に必要なビデオフレームであり、複数のビデオフレームのうちのいずれかのビデオフレームであってもよく、現在符号化ブロックは、現在ビデオフレームにおける現在符号化に必要な符号化ブロックである。ビデオフレームは、１つ以上の符号化ブロックを含んでよく、ビデオフレームにおける符号化ブロックのサイズは、必要に応じて設定されるか又は算出されてもよい。例えば、１つのビデオフレームをサイズが８＊８画素の複数の符号化ブロックに分割してもよい。ビデオフレームにおける符号化ブロックのサイズは、様々な符号化ブロックの分割方式に対応するレート歪みコストを算出することにより、レート歪みコストが小さい分割方式を選択して符号化ブロックを分割してもよい。図４Ｂに示すように、６４＊６４画素の画像ブロックの分割概略図であり、そのうちの１つのブロックは、１つの符号化ブロックを表す。図４Ｂから分かるように、符号化ブロックのサイズは、３２＊３２画素、１６＊１６画素、８＊８画素、及び４＊４画素を含んでもよい。当然のことながら、符号化ブロックのサイズは、他のサイズであってもよく、例えば３２＊１６画素又は６４＊６４画素であってもよい。
【００３７】
ステップＳ４０４では、現在符号化ブロックに対応する第１の現在参照ブロックを取得する。
【００３８】
第１の現在参照ブロックは、参照フレームから取得され、現在符号化ブロックにマッチングする参照ブロックである。ビデオ符号化を行う場合、参照フレーム内で動き探索アルゴリズムに従って現在符号化ブロックにマッチングするブロック、即ち参照ブロックを見つけ出し、参照ブロックに基づいて現在符号化ブロックを符号化する必要がある。
【００３９】
動き探索アルゴリズムは、例えば全探索アルゴリズム及び部分探索アルゴリズムのうちの１種以上を用いてもよく、部分探索アルゴリズムは、例えば２次元対数探索アルゴリズム、ダイヤモンド探索アルゴリズム及び六角形探索アルゴリズムのうちの１種以上であってもよい。
【００４０】
第１の現在参照ブロックは、片方向予測により得られた参照ブロックであってもよく、双方向予測により得られた参照ブロックであってもよい。ビデオフレームについては、符号化アルゴリズムに従って、対応するフレーム予測タイプを決定してもよく、フレーム予測タイプは、Ｉフレーム、Ｐフレーム、又はＢフレームであってもよく、Ｉフレームは、フレーム内予測フレームであり、Ｐフレームは、前方向予測フレームであり、Ｂフレームは、双方向予測フレームであり、ＰフレームとＢフレームの各符号化ブロックは、フレーム内予測方式又はフレーム間予測方式で符号化してもよい。なお、ビデオ符号化において、符号化側及び復号化側における参照フレームの一致を保持するために、参照ブロックは、符号化側で符号化されて再構成された参照フレームから取得されるものである。
【００４１】
一実施例では、第１の現在参照ブロックは、現在符号化ブロックとの相違度に応じて取得されるものであり、参照フレームにおける相違度が最も小さいブロックを第１の現在参照ブロックとして選択してもよい。例えば、現在符号化ブロックと、対応する参照フレームの画像ブロックとのＳＳＥ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｓ  ｆｏｒ  Ｅｒｒｏｒ、残差二乗和）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、絶対誤差和）値、ＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、平均絶対誤差値）及びＭＳＥ（Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｅｒｒｏｒ、平均二乗誤差）のうちの１つ以上に基づいて、対応する第１の現在参照ブロックを取得してもよい。例えば、参照フレームの画像ブロックのうち、現在符号化ブロックとのＳＳＥ値が最も小さい画像ブロック、又はＳＳＥ値とＳＡＤ値との和が最も小さい画像ブロックを第１の現在参照ブロックとする。ＳＳＥの計算式は、式（１）のように示されてもよい。ＳＳＥＰは、現在符号化ブロックＣと参照フレームにおける画像ブロックＰとの残差二乗和を示し、Ｃ（ｉ，ｊ）は、現在符号化ブロックの第ｉ行第ｊ列の画素点を示し、Ｐ（ｉ，ｊ）は、参照フレームの画像ブロックＰの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。
【００４２】
【数１】
2021525025.tif 000003
【００４３】
本願の実施例に係るビデオ符号化方法は、フレーム間予測に適用されてもよく、フレーム内予測に適用されてもよい。フレーム内予測に適用されれば、現在ビデオフレームにおいて既に符号化されて再構成された画像ブロックから画像ブロックを第１の現在参照ブロックとして取得してもよく、第１の現在参照ブロックは、所定の位置に応じて取得されるものであってもよく、例えば、現在ビデオフレームにおける現在符号化ブロックに隣接する再構成画像ブロックを第１の現在参照ブロックとしてもよい。フレーム間予測に適用されれば、現在符号化ブロックを取得する場合、対応する参照フレームで動き探索を行い、現在符号化ブロックを取得してもよい。
【００４４】
一実施例では、現在符号化ブロックの現在予測モードを取得してもよく、現在予測モードがフレーム間予測モードであれば、本願の実施例に係るビデオ符号化方法を実行し、フレーム内予測モードであれば、フレーム内予測に対応するビデオ符号化方法で符号化する。
【００４５】
ステップＳ４０６では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
【００４６】
第２の現在参照ブロックは、第１の現在参照ブロックにマッチングする参照ブロックであり、第１の現在参照ブロック及びマッチングアルゴリズムによってマッチングして取得される。第１の現在参照ブロックと第２の現在参照ブロックは類似する参照ブロックである。マッチングするか否かの標準は、必要に応じて設定されてもよく、例えば、第１の現在参照ブロックと第２の現在参照ブロックとの相違度が所定の値より小さくてもよい。第２の現在参照ブロックの数は、必要に応じて設定されてもよく、例えば４つである。
【００４７】
一実施例では、符号化側が使用したマッチングアルゴリズムは、復号化側と一致し、復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。即ち、復号化側は、同じマッチングアルゴリズムに従って、同様の第２の現在参照ブロックを取得してもよい。このように、第１の現在参照ブロックが復号化側で取得されてもよいため、符号化側は、第２の現在参照ブロックの動きベクトル情報を伝送する必要がなくなり、復号化側は、第１の現在参照ブロック及び一致するマッチングアルゴリズムに従って、第２の現在参照ブロックを取得し、複数の参照ブロックを用いてビデオ符号化を行うと共に、符号化データのデータ量を低減してもよい。
【００４８】
一実施例では、符号化側と復号化側のマッチングアルゴリズムが一致することは、第２の現在参照ブロックを取得する参照領域が一致し、且つマッチングするか否かを算出するルールが一致することを意味する。例えば、参照領域は、第１の現在参照ブロックが所在する参照ビデオフレームと、参照ビデオフレームの前フレームのビデオフレームのうちの１つ以上を含んでもよい。
【００４９】
一実施例では、参照領域は、ビデオフレームにおける所定の領域であってもよい。所定の領域は、例えば第１の現在参照ブロック及び現在符号化ブロックとの距離が所定の距離より小さい領域のうちの１つ以上を含んでもよい。例えば、参照領域は、第１の現在参照ブロックの位置を中心とし、辺の長さが１００画素の正方形に対応する領域であってもよい。
【００５０】
一実施例では、マッチングするか否かを算出するルールは、参照領域内の第１の現在参照ブロックとの相違度が所定の相違度より小さいこと、及び相違度が小さい順にランキングされ、所定のランキング内にあることのうちの１つ以上を含んでもよい。所定の相違度及び所定のランキングは、必要に応じて設定されてもよく、例えば、所定の相違度が１００であってもよい。参照領域内に設定されてもよく、第１の現在参照ブロックとの相違度が最も小さい３つの画像ブロックが第２の現在参照ブロックである。
【００５１】
一実施例では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップは、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出するステップと、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、を含む。
【００５２】
相違度は、画像ブロック間の相違の程度を判断し、相違度が小さいほど、画像ブロックが類似していることを示す。相違度と類似度は、画像が類似するか否かを判断してもよい。相違度が小さいほど画像が類似し、類似度が大きいほど画像が類似している。相違度は、類似度と負の相関関係を有してもよく、即ち相違度が大きいほど類似度が小さくなる。相違度に基づいて類似度を算出してもよく、類似度に基づいて相違度を算出してもよい。例えば、相違度の逆数が類似度であってもよい。一実施例では、相違度及び類似度を正規化した後、相違度と類似度との和は１であってもよく、例えば類似度が０．９であれば、相違度は０．１である。
【００５３】
第１の現在参照ブロックにマッチングする第２の現在参照ブロックを算出する測定方法は、相違度で示されてもよい。相違度は、ＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。例えば、第１の現在参照ブロックＰ０と参照領域内の各候補参照ブロックのＳＳＥの計算式は、式（２）で示されてもよい。ＳＳＥ１は、第１の現在参照ブロックＰ０と候補画像ブロックＨとの残差二乗和を示し、Ｐ０（ｉ，ｊ）は、第１の現在参照ブロックの第ｉ行第ｊ列の画素点を示し、Ｈ（ｉ，ｊ）は、候補参照ブロックＨの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。各候補参照ブロックとの第１の相違度を取得した後、第１の相違度に基づいて選別して、１つ又は複数の第２の現在参照ブロックを取得する。例えば、参照領域内の第１の現在参照ブロックとの相違度が所定の相違度より小さいこと、及び相違度が小さい順にランキングされ、所定のランキング内にあることのうちの１つ以上のルールに基づいて選別して、第２の現在参照ブロックを取得する。
【００５４】
【数２】
2021525025.tif 000004
【００５５】
ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する。
【００５６】
第１の現在参照ブロック及び第２の現在参照ブロックを取得した後、第１の現在参照ブロック及び各第２の現在参照ブロックを組み合わせて現在符号化ブロックを符号化する。第１の現在参照ブロック及び第２の現在参照ブロックを組み合わせて現在符号化ブロックの予測値を取得し、予測残差に基づいて変換、量子化及びエントロピー符号化のうちの１つ以上のステップを行って符号化データを取得してもよい。
【００５７】
変換とは、空間領域におけるデータを周波数領域に変換して、変換係数を符号化することを意味する。変換の方法は、離散フーリエ変換又は離散コサイン変換などであってもよく、量子化とは、データ、例えば変換後のデータを別の数値にマッピングし、例えば変換後のデータを量子化ステップサイズで除算することにより、小さい値を取得してもよい。エントロピー符号化は、エントロピー原理に従って符号化し、かついずれの情報を失わないデータ符号化方式であり、小さい文字で一定の情報を表現することができる。エントロピー符号化方法は、例えばシャノン（ｓｈａｎｎｏｎ）符号化又はハフマン（ｈｕｆｆｍａｎ）符号化などであってもよい。
【００５８】
一実施例では、符号化データには、第１の現在参照ブロックの動きベクトル情報が担持されている。動きベクトル（ＭＶ、Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）は、符号化ブロックの参照ブロックに対する変位を示す。フレーム間予測符号化において、現在符号化ブロックとその参照フレームにおける参照ブロックとの間の相対変位を動きベクトルで示してもよい。まず、参照ブロックのＭＶを用いて現在符号化ブロックのＭＶを予測して、対応する予測値ＭＶＰ（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ、動きベクトル予測値）を取得し、次に、現在符号化ブロックに対応する実際のＭＶと現在符号化ブロックに対応する予測値ＭＶＰとの差、即ち動きベクトル差ＭＶＤ（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｄｉｆｆｅｒｅｎｃｅ）に基づいて符号化することにより、動きベクトル情報の符号化ビット数を効果的に低減することができる。復号化側では、符号化データに第１の現在参照ブロックの動きベクトル情報が担持されているため、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、第１の現在参照ブロックに基づいて、対応する第２の現在参照ブロックを取得して、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて復号化して、復号化された画像を取得してもよい。
【００５９】
関連技術に係るビデオ符号化方法において、一般的には、現在符号化ブロックに対応する１つの現在参照ブロックを取得し、該現在参照ブロックに基づいて符号化する。しかし、１つの現在参照ブロックのみを用いて現在参照ブロックをうまく予測することができず、予測性能に影響を及ぼし、ビデオ符号化品質を低下させる。上記ビデオ符号化方法は、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
【００６０】
一実施例では、符号化データを取得した後、符号化データの送信及び記憶などのステップのうちの１つ以上のステップを実行してもよい。例えば、ビデオ通話を行う場合、ビデオ通話を行う他のコンピュータ装置に符号化データを送信する。ビデオウェブサイトサーバは、ビデオを再生する必要がある端末に符号化データを送信し、端末は、符号化データを受信して、復号化して、復号化されたビデオフレームを取得し再生してもよい。
【００６１】
一実施例では、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、融合参照ブロックセットを取得し、第１の参照ブロック及び融合参照ブロックセットに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップを含む。
【００６２】
融合参照ブロックセットは、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて、画像融合を行って取得された参照ブロック、及び複数の第２の現在参照ブロックに基づいて融合を行って取得された参照ブロックのうちの１つ以上を含んでもよい。融合参照ブロックのうちの参照ブロックは、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて、画像融合を行って取得された参照ブロックを含んでもよく、複数の第２の現在参照ブロックに基づいて画像融合を行って取得された参照ブロックを含んでもよい。融合参照ブロックセットを取得した後、融合参照ブロックセットから、そのうちの融合参照ブロックを選別して符号化してもよい。
【００６３】
一実施例では、融合参照ブロックを用いて符号化することに対応するレート歪みコスト、及び融合参照ブロックと現在符号化ブロックとの相違度のうちの１つ以上に基づいて、融合参照ブロックを選択してもよい。例えば、レート歪みコストが最も小さい融合参照ブロック、又は相違度が最も小さい融合参照ブロックを選択して符号化してもよい。符号化データには、使用した目標参照ブロックの情報を示すための、目標参照ブロックに対応する参照ブロックモード情報が担持されてもよい。
【００６４】
一実施例では、融合参照ブロックセット内の融合参照ブロック又は第１の現在参照ブロックを目標参照ブロックとして、目標参照ブロックに基づいて符号化してもよい。例えば、レート歪みコスト及び相違度のうちの１つ以上に基づいて、融合参照ブロックセット及び第１の現在参照ブロックから選択して目標参照ブロックを取得してもよい。
【００６５】
一実施例では、第２の現在参照ブロックが複数含まれている場合、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得するステップと、を含む。
【００６６】
第２の融合参照ブロックは、複数の第２の現在参照ブロックに基づいて融合して取得されるものである。融合の方式は、例えば、複数の第２の現在参照ブロックの同じ位置の画素値を重み付け加算して、第２の融合参照ブロックの対応する位置の画素値を取得することにより、複数の位置の画素値に基づいて第２の融合参照ブロックを構成してもよい。
【００６７】
一実施例では、第２の現在参照ブロックに対応する重み値は、必要に応じて設定されてもよく、例えば、第２の現在参照ブロックに対応する重みは、融合された参照ブロックの数の逆数である。第２の現在参照ブロックと現在符号化ブロックとの距離に基づいて、第２の現在参照ブロックに対応する重みを決定してもよく、第２の現在参照ブロックに対応する重みは、現在符号化ブロックとの距離と負の相関関係を有し、即ち、第２の現在参照ブロックと現在符号化ブロックとの距離が大きいほど、第２の現在参照ブロックに対応する重みが小さくなる。例えば、第２の現在参照ブロックに対応する重みは、距離の逆数に応じて正規化して取得されてもよい。参照ブロックモード情報は、現在符号化ブロックが使用した目標参照ブロックのタイプを説明し、例えば、目標参照ブロックが第２の融合参照ブロックであるか、第１の現在参照ブロックであるかを説明する。
【００６８】
一実施例では、図５Ａに示すように、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、以下のステップＳ５０２〜５０４を含む。
【００６９】
ステップＳ５０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する。
【００７０】
画像融合とは、複数枚の画像情報を融合して、融合して取得された画像に、より多くの有用な情報を含有させて、処理をより容易にすることができることを意味する。第１の融合参照ブロックは、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて融合して取得されるものである。融合の方式は、例えば、第１の現在参照ブロック及び第２の現在参照ブロックの同じ位置の画素値を重み付け加算して、第１の融合参照ブロックの対応する位置の画素値を取得することにより、複数の位置の画素値に基づいて第１の融合参照ブロックを構成してもよい。
【００７１】
一実施例では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップは、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得するステップと、を含む。
【００７２】
第１の現在参照ブロック及び各第２の現在参照ブロックに対応する重み付けの重みは、必要に応じて設定されてもよい。例えば、第２の現在参照ブロックが４つであれば、第１の現在参照ブロックの重み付けの重みを０．６に設定し、各第２の現在参照ブロックの重み付けの重みをいずれも０．１に設定してもよい。各現在参照ブロックの重み付けの重みは、現在符号化ブロックとの距離に応じて取得されてもよく、重み付けの重みは、現在符号化ブロックとの距離と反比例関係を有し、即ち、距離が大きいほど、対応する重み付けの重みが小さくなる。例えば、重み付けの重みは、第１の現在参照ブロック及び各第２の現在参照ブロックと現在符号化ブロックとの距離の逆数を正規化して取得されるものであってもよい。重み付けの重みを取得した後、重み付けの重み及び対応する現在参照ブロックに対して重み付け加算を行って、対応する第１の融合参照ブロックを取得する。
【００７３】
例えば、第１の融合参照ブロックの計算方法は、公式（３）で示されてもよく、ここで、ＰＷは、第１の融合参照ブロックを示し、Ｐ０は、第１の現在参照ブロックであり、Ｗ０は、第１の現在参照ブロックの重み付けの重みであり、Ｐ１〜Ｐｎは、第２の現在参照ブロックであり、Ｗ１は、第２の現在参照ブロックＰ１の重み付けの重みであり、Ｗｎは、第２の現在参照ブロックＰｎの重み付けの重みであり、ｎは、第２の現在参照ブロックの数を示す。第１の現在参照ブロックと第２の現在参照ブロックに対応する重み付けの重みとの和は、１であり、即ち、Ｗ０＋Ｗ１＋…＋Ｗｎ＝１。
【００７４】
【数３】
2021525025.tif 000005
【００７５】
実際の例を挙げると、図５Ｂに示すように、ビデオフレーム画像がグレースケール画像であり、第１の現在参照ブロックＰ０が２＊２個の画素を含み、対応する重みが０．８であり、第２の現在参照ブロックＰ１が１つであり、２＊２個の画素を含み、対応する重みが０．２であると仮定すると、Ｐ０の各画素値とＰ１の同じ位置の画素値とを重み付け加算してＰＷを取得してもよい。
【００７６】
一実施例では、第２の現在参照ブロックと第１の現在参照ブロックとの相違度、及び第２の現在参照ブロックと現在符号化ブロックとの相違度のうちの１つ以上に基づいて、第２の現在参照ブロックの重みを取得してもよい。例えば、第２の現在参照ブロックと第１の現在参照ブロックとの相違度、及び第２の現在参照ブロックと現在符号化ブロックとの相違度に基づいて、目標相違度を取得し、目標相違度に基づいて、重み付けの重みを取得してもよい。目標相違度は、第２の現在参照ブロックと第１の現在参照ブロックとの相違度と、第２の現在参照ブロックと現在符号化ブロックとの相違度との和であってもよい。第２の現在参照ブロックに対応する重み付けの重みは、目標相違度と負の相関関係を有する。即ち、目標相違度が大きいほど、重み付けの重みは小さくなる。第２の現在参照ブロックに対応する重み付けの重みが第２の現在参照ブロックと現在符号化ブロックとの相違度に基づいて算出されると、現在符号化ブロックが、符号化の過程において損失が存在し、即ち復号化側で復号化された画像ブロックが歪みのある画像ブロックであるため、符号化データにおいて、第２の現在参照ブロックに対応する重み付けの重みを担持することにより、復号化側が符号化データから第２の現在参照ブロックの重み付けの重みを抽出して、第１の現在参照ブロックの重み付けの重み及び第２の現在参照ブロックの重み付けの重みに基づいて第１の融合参照ブロックを算出し、第１の融合参照ブロックに基づいて復号化してもよい。
【００７７】
一実施例では、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得するステップは、各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出するステップと、第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、を含む。
【００７８】
第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度は、第２の現在参照ブロックと第１の現在参照ブロックとの間のＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。第２の現在参照ブロックに対応する重み付けの重みが、対応する第２の相違度と負の相関関係を有することとは、第２の相違度が大きいほど、対応する第２の現在参照ブロックに対応する重み付けの重みが小さくなることである。
【００７９】
一実施例では、第１の現在参照ブロックに対応する重み付けの重みは、所定の重み、例えば０．６であってもよい。第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度に基づいて算出されるものである。例えば、第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度の逆数に基づいて正規化して取得されたものである。第２の現在参照ブロックがＰ１及びＰ２という２つであり、Ｐ１に対応する第１の現在参照ブロックとのＳＳＥが１００であり、Ｐ２に対応する第１の現在参照ブロックとのＳＳＥが３００であり、第１の現在参照ブロックに対応する重み付けの重みが０．６であると仮定すると、Ｐ１に対応する重み付けの重みは、０．４＊（１／１００÷（１／１００＋１／３００）＝０．３であり、Ｐ２に対応する重み付けの重みは、０．４＊（１／３００÷（１／１００＋１／３００）＝０．１である。
【００８０】
ステップＳ５０４では、第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する。
【００８１】
第１の融合参照ブロックを取得した後、第１の融合参照ブロックの画素値を現在符号化ブロックの予測値とし、現在符号化ブロックの実際値と予測値との差に基づいて予測残差を取得し、予測残差及び第１の現在参照ブロックに対応する動きベクトル情報を符号化して符号化データを取得してもよい。
【００８２】
本願の実施例では、第１の融合参照ブロックを予測ブロックとして符号化することにより、現在符号化ブロックにマッチングする予測ブロックを取得することができるため、予測残差を低減して、符号化データのデータ量を低減し、符号化品質を向上させることができる。
【００８３】
図６に示すように、ステップＳ４０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得するステップは、以下のステップＳ６０２〜６０４を含む。
【００８４】
ステップＳ６０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する。
【００８５】
ステップＳ６０２では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップは、ステップＳ５０２の説明を参照でき、ここでは説明を省略する。
【００８６】
ステップＳ６０４では、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
【００８７】
参照ブロックモード情報は、現在符号化ブロックが使用した目標参照ブロックのタイプを説明し、即ち、目標参照ブロックが第１の融合参照ブロックであるか、第１の現在参照ブロックであるかを説明する。コンピュータ装置は、符号化データに、参照ブロックモード情報を説明するフラグビットｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを添加し、即ち符号化データに参照ブロックモード情報を説明するシンタックス要素を添加してもよい。
【００８８】
シンタックス要素とは、符号化データに担持される、特定の意味を示すいずれか又は一連の要素を意味する。参照ブロックモード情報に対応するフラグビットの値は、必要に応じて設定されてもよい。例えば、目標参照ブロックが第１の融合参照ブロックであると、対応するｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０であってもよい。目標参照ブロックが第１の現在参照ブロックであると、対応するｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは１であってもよい。
【００８９】
一実施例では、予測ユニット（ＰＵ、ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）に対応するヘッダ情報に参照ブロックモード情報が付加されているため、符号化する場合、予測ユニットに対応するヘッダ情報に、現在符号化ブロックに対応する参照ブロックモード情報を添加し、第１の融合参照ブロック及び第１の現在参照ブロックのうちの１つの参照ブロックを目標参照ブロックとして選択し、目標参照ブロックの画素値に基づいて現在符号化ブロックの予測値を取得し、現在符号化ブロックの実際値と予測値との差に基づいて予測残差を取得し、予測残差、第１の現在参照ブロックに対応する動きベクトル情報及び参照ブロックモード情報を符号化して符号化データを取得してもよい。
【００９０】
目標参照ブロックを選択する場合、ビデオ符号化の需要に応じて選択してもよい。一実施例では、参照ブロックと現在符号化ブロックとの相違度及び符号化のレート歪みコストのうちの１つ以上に基づいて選択してもよい。例えば、第１の融合参照ブロックと現在符号化ブロックとの相違度及び第１の現在参照ブロックと現在符号化ブロックとの相違度がいずれも所定の相違度より小さければ、第１の融合参照ブロック及び第１の現在参照ブロックのうち、対応するレート歪みコストが小さい参照ブロックを目標参照ブロックとして選択する。第１の融合参照ブロックと現在符号化ブロックとの相違度及び第１の現在参照ブロックと現在符号化ブロックとの相違度がいずれも所定の相違度より大きければ、第１の融合参照ブロック及び第１の現在参照ブロックのうち、対応する相違度が小さい参照ブロックを目標参照ブロックとして選択する。
【００９１】
本願の実施例では、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することにより、現在符号化ブロックに、よりマッチングした参照ブロックを取得して符号化することができるため、符号化品質を向上させることができる。
【００９２】
一実施例では、符号化データには、第１の現在参照ブロックの動きベクトル情報が担持される。第１の現在参照ブロックを目標参照ブロックとして用いれば、復号化側で復号化する場合、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、第１の現在参照ブロックを目標参照ブロックとして復号化する。第１の融合参照ブロックを目標参照ブロックとして用いれば、復号化側で復号化する場合、動きベクトル情報に基づいて第１の現在参照ブロックを取得し、一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチする第２の現在参照ブロックを取得し、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて第１の融合参照ブロックを取得し、第１の融合参照ブロックを用いて復号化する。
【００９３】
一実施例では、図７に示すように、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するステップは、以下のステップＳ７０２〜７０４を含む。
【００９４】
ステップＳ７０２では、第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出する。
【００９５】
第３の相違度及び第４の相違度は、ＳＳＥ、ＳＡＤ、ＭＡＤ及びＭＳＥのうちの１つ以上で示されてもよい。なお、第３の相違度及び第４の相違度は、同じ相違度計算方法で算出されるものである。例えば、第３の相違度は、ＳＳＥで示されれば、第４の相違度もＳＳＥで示される。第１の融合参照ブロックと現在符号化ブロックとの第３の相違度の計算方法は、公式（４）で示されてもよく、ここで、ＳＳＥＷは、現在符号化ブロックＣと第１の融合参照ブロックＰＷとの残差二乗和を示し、ＰＷ（ｉ，ｊ）は、第１の融合参照ブロックＰＷの第ｉ行第ｊ列の画素点を示し、Ｃ（ｉ，ｊ）は、現在符号化ブロックの第ｉ行第ｊ列の画素点を示し、ｍは、画像ブロックの行数を示し、ｎは、画像ブロックの列数を示す。
【００９６】
【数４】
2021525025.tif 000006
【００９７】
ステップＳ７０４では、第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する。
【００９８】
第３の相違度と第４の相違度とを取得した後、第３の相違度と第４の相違度との大小関係に基づいて目標参照ブロックを選択し、第４の相違度と第３の相違度とを減算して得られた差が第１の所定の閾値以下である場合、第１の現在参照ブロックを目標参照ブロックとして選択し、第４の相違度と第３の相違度とを減算して得られた差が第１の所定の閾値より大きい場合、第１の融合参照ブロックを目標参照ブロックとして選択してもよい。第１の所定の閾値は、必要に応じて設定されてもよく、例えば、０であってもよい。第１の所定の閾値は、０〜１００間の数であってもよく、かつ整数又は小数であってもよい。
【００９９】
例えば、第１の所定の閾値を０と設定してもよい。第４の相違度と第３の相違度とを減算して得られた差が０以下で、即ち、第４の相違度ＳＳＥ０が第３の相違度ＳＳＥＷ以下であると、Ｐ０である第１の現在参照ブロックを目標参照ブロックとして選択し、第４の相違度と第３の相違度とを減算して得られた差が０より大きく、即ち、第４の相違度ＳＳＥ０が第３の相違度ＳＳＥＷより大きいと、ＰＷである融合現在参照ブロックを目標参照ブロックとして選択するように設定してもよい。
【０１００】
【数５】
2021525025.tif 000007
【０１０１】
本願の実施例では、相違度により目標参照ブロックを選択して、符号化時に取得された予測残差を小さくし、符号化データのデータ量を低減することができる。
【０１０２】
一実施例では、図８に示すように、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択するステップは、以下のステップＳ８０２〜８０４を含む。
【０１０３】
ステップＳ８０２では、第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出する。
【０１０４】
レート歪みとは、符号化ビットレートと画像歪み度との相互関係を指し、所定のレート歪みコスト関数で算出されたレート歪みコストで示されてもよく、レート歪みコストが小さければ、一定のビットレート制限下で、ビデオの歪み度が小さいことを示す。例えば、レート歪みコスト関数は、Ｊ＝Ｄ＋λＲで示されてもよく、ここで、Ｊは、レート歪みコストを示し、Ｄは、歪み度推定値であり、Ｒは、符号化に必要なビット数推定値であり、λは、ラグランジュ定数である。第１の融合参照ブロックを取得した後、第１の融合参照ブロックを用いて現在符号化ブロックを符号化する場合の第１のレート歪みコストを算出する。第１の現在参照ブロックを取得した後、第１の現在参照ブロックを用いて現在符号化ブロックを符号化する場合の第２のレート歪みコストを算出する。
【０１０５】
ステップＳ８０４では、第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する。
【０１０６】
第１のレート歪みコストと第２のレート歪みコストとを取得した後、第１のレート歪みコストと第２のレート歪みコストとの大小関係に基づいて目標参照ブロックを選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が第２の所定の閾値以下である場合、第１の現在参照ブロックを目標参照ブロックとして選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が第２の所定の閾値より大きい場合、第１の融合参照ブロックを目標参照ブロックとして選択してもよい。第２の所定の閾値は、必要に応じて設定されてもよく、例えば、０であってもよい。第２の所定の閾値は、０〜３間の数であってもよく、かつ整数又は小数であってもよい。
【０１０７】
例えば、第２の所定の閾値を０と設定してもよい。第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が０以下で、即ち、第２のレート歪みコストＪ０が第１のレート歪みコストＪＷ以下であると、Ｐ０である第１の現在参照ブロックを目標参照ブロックとして選択し、第２のレート歪みコストと第１のレート歪みコストとを減算して得られた差が０より大きく、即ち、第２のレート歪みコストＪ０が第１のレート歪みコストＪＷより大きいと、ＰＷである融合現在参照ブロックを目標参照ブロックとして選択するように設定してもよい。
【０１０８】
【数６】
2021525025.tif 000008
【０１０９】
また、上記第１の所定の閾値と第２の所定の閾値とは、等しくてもよく、等しくなくてもよい。
【０１１０】
本願の実施例では、レート歪みコストにより目標参照ブロックを選択して、ビットレートと歪み度をトレードオフして最適な符号化パラメータをエンコーダに選択し、効率的な符号化を実現することができる。
【０１１１】
図９に示すように、一実施例では、ビデオ復号化方法を提供し、本実施例に係るビデオ復号化方法は、上記図１における端末１１０及びサーバ１２０に適用されてもよい。以下のステップ９０２〜９０８を含んでもよい。
【０１１２】
ステップＳ９０２では、現在復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する。
【０１１３】
復号化対象のビデオフレームは、復号化を必要とするビデオフレームである。１つの復号化対象のビデオフレームシーケンスは、複数の復号化対象のビデオフレームを含んでもよい。復号化対象のビデオフレームは、リアルタイムに取得されたビデオフレームであってもよく、予め記憶された復号化対象のビデオフレームシーケンスから取得されたビデオフレームであってもよい。現在復号化対象のビデオフレームは、現在復号化を必要とするビデオフレームであり、現在復号化対象のブロックは、現在復号化対象のビデオフレームにおける現在復号化を必要とする復号化対象のブロックである。ビデオフレームは、１つ以上の復号化対象ブロックを含んでよもく、なお、復号化時には、符号化ブロックと復号化対象ブロックとが一対一に対応しているため、現在復号化対象のブロックに対応する符号化データは、対応する現在符号化ブロックを符号化して得られた符号化データである。したがって、符号化ブロックと復号化対象のブロックのサイズは一致しており、復号化対象のブロックの画素サイズは、３２＊３２画素、１６＊１６画素、８＊８画素及び４＊４画素などを含んでもよい。
【０１１４】
ステップＳ９０４では、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。
【０１１５】
第１の現在参照ブロックは、参照フレームから取得され、現在復号化対象のブロックにマッチングする参照ブロックである。なお、符号化復号化ルールの一致性により、対応する現在符号化ブロック及び現在復号化対象のブロックに対して、第１の現在参照ブロックは同じである。符号化データには第１の現在参照ブロックに対応する動きベクトル情報が担持されてもよく、復号化側は、第１の現在参照ブロックに対応する動きベクトル情報に基づいて、対応する第１の現在参照ブロックを取得してもよい。
【０１１６】
ステップＳ９０６では、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
【０１１７】
第２の現在参照ブロックは、第１の現在参照ブロックにマッチングする参照ブロックであり、第１の現在参照ブロック及び所定のマッチングアルゴリズムによってマッチングして取得される。第１の現在参照ブロックと第２の現在参照ブロックは類似する参照ブロックである。マッチングするか否かの標準は、必要に応じて設定されてもよく、例えば、第１の現在参照ブロックと第２の現在参照ブロックとの相違度が所定の値より小さくてもよい。
【０１１８】
一実施例では、符号化側が使用したマッチングアルゴリズムは、復号化側と一致し、即ち、復号化側は、同じマッチングアルゴリズムに従って、同じ第２の現在参照ブロックを取得してもよい。例えば、符号化側が所定の参照領域においてマッチングして第２の現在参照ブロックを取得すれば、復号化側も所定の参照領域においてマッチングして第２の現在参照ブロックを取得し、マッチングするか否かを算出するルールが一致するため、符号化側と復号化側が取得した第２の現在参照ブロックは同じである。
【０１１９】
第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する方法は、ビデオ符号化に係る方法を参照してもよく、例えば、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップは、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出するステップと、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと、をも含む。本願の実施例は、ここでは説明を省略する。
【０１２０】
なお、本願の実施例に係るビデオ復号化方法は、フレーム間予測に適用されるが、フレーム内予測にも適用されてもよく、例えば、現在復号化対象のビデオフレームにおいて復号化された画像ブロックから、マッチングする参照ブロックを第１の現在参照ブロックとして取得してもよい。フレーム間予測に適用されれば、現在復号化対象のブロックを取得する場合、現在復号化対象のブロックの現在予測モードを取得し、例えば、現在予測モードがフレーム間予測モードであれば、本願の実施例に係るビデオ復号化方法を実行し、フレーム内予測モードであれば、フレーム内予測に対応するビデオ復号化方法で復号化する。
【０１２１】
ステップＳ９０８では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
【０１２２】
第１の現在参照ブロック及び各第２の現在参照ブロックを取得した後、第１の現在参照ブロック及び各第２の現在参照ブロックを組み合わせて符号化データを復号化して、復号化されたビデオ画像ブロックを取得する。例えば、第１の現在参照ブロック及び第２の現在参照ブロックを組み合わせて、現在復号化対象のブロックに対応する予測値を取得し、符号化データにおける予測残差と予測値との和に基づいて、ビデオ画像ブロックの画素値を取得してもよい。復号化の過程は、符号化の過程に応じて決定されてもよく、例えば、復号化には、逆変換、逆量子化及びエントロピー復号化のうちの少なくとも１つが含まれてもよい。
【０１２３】
上記ビデオ復号化方法は、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。
【０１２４】
一実施例では、ビデオ復号化方法は、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報が融合参照ブロックセットを用いた融合参照ブロックを復号化することを示すと、ステップＳ９０６に進み、即ち、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、取得された融合参照ブロックに基づいて符号化データを復号化するステップと、参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示すと、第１の参照ブロックに基づいて符号化データを復号化するステップと、をさらに含んでもよい。
【０１２５】
一実施例では、ビデオ復号化方法は、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報が第２の融合参照ブロックを用いて復号化することを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、第２の融合参照ブロックに基づいて復号化するステップと、参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示すと、第１の参照ブロックに基づいて符号化データを復号化するステップと、をさらに含んでもよい。
【０１２６】
一実施例では、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップは、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと、を含む。
【０１２７】
画像融合を行う方法は、ビデオ符号化方法におけるステップＳ５０２の方法を参照して行ってもよく、ここでは説明を省略する。第１の融合参照ブロックを取得した後、第１の融合参照ブロックを予測ブロックとして、対応する予測値を取得し、予測値と符号化データにおける予測残差との和に基づいて、ビデオ画像ブロックに対応する画素値を取得する。
【０１２８】
一実施例では、図１０に示すように、符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、ビデオ復号化方法は、以下のステップＳ１００２〜１００４をさらに含む。
【０１２９】
ステップＳ１００２では、符号化データから参照ブロックモード情報を読み取り、参照ブロックモード情報に対応する参照ブロックを決定する。
【０１３０】
符号化データには、参照ブロックモード情報が担持されており、参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、例えば、ｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが１であると、ステップＳ１００４に進み、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、例えば、ｍｕｌｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが０であると、ステップＳ９０６に進み、即ち、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進み、第１の現在参照ブロック及び第２の現在参照ブロックに基づいて符号化データを復号化する。
【０１３１】
ステップＳ１００４では、第１の参照ブロックに基づいて符号化データを復号化する。
【０１３２】
参照ブロックモード情報が第１の現在参照ブロックを用いて復号化することを示せば、第１の参照ブロックを目標参照ブロックとし、第１の参照ブロックを予測ブロックとすることにより、対応する予測値を取得し、予測値と符号化データにおける予測残差との和に基づいて、ビデオ画像ブロックに対応する画素値を取得してもよい。
【０１３３】
なお、上記実施例に係るビデオ符号化方法及びビデオ復号化方法は、現在符号化ブロックを用いてビデオを符号化する過程と、現在復号化対象のブロックを用いてビデオを復号化する過程とを説明するものであり、実際の符号化過程において、各予測モードがフレーム間予測である符号化ブロックに対して、本願の実施例に係るビデオ符号化方法を実施して、符号化データを取得してもよい。同様に、対応する復号化対象のブロックに対して本願の実施例に係るビデオ復号化方法を実施して、復号化された画像ブロックを取得し、各復号化対象のビデオフレームにおける各復号化画像ブロックに基づいて、復号化されたビデオフレームを取得する。
【０１３４】
以下、１つの例示的な実施例で、本願の実施例に係るビデオ符号化方法及びビデオ復号化方法を説明し、ビデオ符号化及び復号化標準における第２の現在参照ブロックの数は３つであると仮定する。
【０１３５】
１、符号化側は、ビデオフレームシーケンスにおける現在ビデオフレームを取得し、第３のビデオフレームであると仮定し、前の２つのビデオフレームが既に符号化されている。現在ビデオフレームを分割すると、１６個の符号化ブロックに分割されていると仮定する。前の９つが既に符号化されるため、第１０の符号化ブロックを現在符号化ブロックとし、例えば、図１１における符号化ブロックＣを現在符号化ブロックとする。
【０１３６】
２、符号化側は、現在ビデオフレームの前の２つのビデオフレームにおいて動き探索を行い、現在符号化ブロックとのＳＳＥ値が最も小さいブロックを第１の現在参照ブロックとして取得する。例えば、図１１に示すように、第１の現在参照ブロックＰ０を取得する。
【０１３７】
３、符号化側は、第１の現在参照ブロックが所在する位置を中心とし、辺長が５０個の画素の正方形領域において、第１の現在参照ブロックとのＳＳＥ値が最も小さい前の３つの画像ブロックを第２の現在画像ブロックとして取得し、図１１に示すように、第２の現在参照ブロックＰ１、Ｐ２及びＰ３を取得する。
【０１３８】
４、符号化側は、Ｐ０、Ｐ１、Ｐ２及びＰ３に対応する重みを取得し、重み付けの重みに基づいてＰ０、Ｐ１、Ｐ２及びＰ３を重み付けして第１の融合参照ブロックを取得する。所定の重みがそれぞれ０．７、０．１、０．１及び０．１であると仮定すると、第１の融合参照ブロックＰＷ＝Ｐ０＊０．７＋Ｐ１＊０．１＋Ｐ２＊０．１＋Ｐ３＊０．１である。
【０１３９】
５、符号化側は、第１の融合参照ブロックＰＷを取得した後、ＰＷとＣとの相違度を算出し、Ｐ０とＣとの相違度を算出し、第１の融合参照ブロック及び第１の現在参照ブロックから相違度が小さいものを、選択された目標参照ブロックとして選択する。ＰＷとＣとの相違度は、Ｐ０とＣとの相違度より小さいため、第１の融合参照ブロックＰＷを目標参照ブロックとする。
【０１４０】
６、符号化側は、第１の融合参照ブロックを用いて、現在符号化ブロックＣを符号化して、対応する符号化データを取得し、符号化データには、１ビットのシンタックス要素情報と、第１の現在参照ブロックＰ０に対応する動きベクトル（ＭＶ）情報とが担持され、シンタックス要素情報ｍｕｉｔｉ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは０であってもよく、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして選択することを示す。
【０１４１】
７、符号化側は、符号化データを復号化側に送信し、復号化側は、現在復号化対象のブロックに対応する符号化データを取得する。
【０１４２】
８、復号化側は、符号化データに携帯された動きベクトル情報に基づいて現在復号化対象のブロックに対応する第１の現在参照ブロックＰ０を取得する。
【０１４３】
９、復号化側は、符号化データから参照ブロックモード情報を示すシンタックス要素情報を抽出して、第１の融合参照ブロックを目標参照ブロックとして選択する参照ブロックモード情報を取得する。ステップ１０に進む。そうでなければ、そのまま第１の現在参照ブロックを用いて復号化する。
【０１４４】
１０、復号化側は、第１の現在参照ブロックにマッチングする第２の現在参照ブロックＰ１、Ｐ２及びＰ３を取得する。
【０１４５】
１１、復号化側は、Ｐ０、Ｐ１、Ｐ２及びＰ３に対応する所定の重みを取得し、それぞれ０．７、０．１、０．１及び０．１であり、融合画像ブロックＰＷ＝Ｐ０＊０．７＋Ｐ１＊０．１＋Ｐ２＊０．１＋Ｐ３＊０．１を取得する。
【０１４６】
１２、復号化側は、第１の融合参照ブロックＰＷに基づいて符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
【０１４７】
図１２に示すように、一実施例に係るビデオ符号化装置は、上記端末１１０及びサーバ１２０に集積されてもよく、符号化ブロック取得モジュール１２０２、符号化参照ブロック取得モジュール１２０４、符号化参照ブロックマッチングモジュール１２０６及び符号化モジュール１２０８を含んでもよい。
【０１４８】
符号化ブロック取得モジュール１２０２は、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得する。
【０１４９】
符号化参照ブロック取得モジュール１２０４は、現在符号化ブロックに対応する第１の現在参照ブロックを取得する。
【０１５０】
符号化参照ブロックマッチングモジュール１２０６は、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。
【０１５１】
符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する。
【０１５２】
一実施例では、符号化参照ブロックマッチングモジュール１２０６は、復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得し、復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む。
【０１５３】
一実施例では、符号化参照ブロックマッチングモジュール１２０６は、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得する候補参照ブロック取得ユニットと、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出する第１の相違度算出ユニットと、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する第２の参照ブロック取得ユニットと、を含む。
【０１５４】
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する。
【０１５５】
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
【０１５６】
一実施例では、符号化モジュール１２０８は、第２の現在参照ブロックが複数含まれている場合、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得し、第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する。
【０１５７】
一実施例では、符号化モジュール１２０８は、第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得し、重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得する。
【０１５８】
一実施例では、符号化モジュール１２０８は、各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出し、第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得する。
【０１５９】
一実施例では、符号化モジュール１２０８は、第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出し、第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する。
【０１６０】
一実施例では、符号化モジュール１２０８は、第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出し、第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する。
【０１６１】
図１３に示すように、一実施例に係るビデオ復号化装置は、上記端末１１０及びサーバ１２０に集積されてもよく、符号化データ取得モジュール１３０２、復号化参照ブロック取得モジュール１３０４、復号化参照ブロックマッチングモジュール１３０６及び復号化モジュール１３０８を含んでもよい。
【０１６２】
符号化データ取得モジュール１３０２は、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得する。
【０１６３】
復号化参照ブロック取得モジュール１３０４は、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。
【０１６４】
復号化参照ブロックマッチングモジュール１３０６は、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。
【０１６５】
復号化モジュール１３０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
【０１６６】
一実施例では、復号化参照ブロックマッチングモジュール１３０６は、符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得し、前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む。
【０１６７】
一実施例では、復号化参照ブロックマッチングモジュール１３０６は、第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する。
【０１６８】
一実施例では、復号化モジュール１３０８は、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
【０１６９】
一実施例では、符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、復号化装置は、
符号化データから参照ブロックモード情報を読み取るモード情報取得モジュールと、
参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、第１の参照ブロックに基づいて符号化データを復号化し、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップに進む進みモジュールと、をさらに含む。
【０１７０】
図１４は、一実施例におけるコンピュータ装置の内部構成図を示す。該コンピュータ装置は、図１における端末１１０であってもよい。図１４に示すように、該コンピュータ装置は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインタフェース、入力装置及びディスプレイスクリーンを含む。メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ装置の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムがさらに記憶されてもよい。該内部メモリには、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムが記憶されてもよい。コンピュータ装置のディスプレイスクリーンは、液晶ディスプレイスクリーン又は電子インクディスプレイスクリーンであってもよく、コンピュータ装置の入力装置は、ディスプレイ上に覆われたタッチ層であってもよく、コンピュータ装置の筐体に設けられたキー、トラックボール又はタッチパッドであってもよく、外付けのキーボード、タッチパッド又はマウス等であってもよい。
【０１７１】
図１５は、一実施例におけるコンピュータ装置の内部構成図を示す。該コンピュータ装置は、図１におけるサーバ１２であってもよい。図１５に示すように、該コンピュータ装置は、システムバスを介して接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。メモリは、不揮発性記憶媒体及び内部メモリを含む。該コンピュータ装置の不揮発性記憶媒体には、オペレーティングシステムが記憶されており、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムがさらに記憶されてもよい。該内部メモリには、プロセッサによって実行されると、プロセッサにビデオ符号化方法及びビデオ復号化方法のうちの少なくとも１種の方法を実現させることができるコンピュータプログラムが記憶されてもよい。
【０１７２】
当業者であれば理解できるように、図１４及び１５に示される構成は、本願の技術手段に関連する部分構成のブロック図に過ぎず、本願の技術手段を適用したコンピュータ装置を限定するものではなく、具体的なコンピュータ装置は、図に示すものよりも多く又は少ない部材を含んでもよく、いくつかの部材を組み合わせてもよく、異なる部材の配置を有してもよい。
【０１７３】
一実施例では、本願に係るビデオ符号化装置は、図１４及び１５に示されるコンピュータ装置上で実行できるコンピュータプログラムの形態で実現されてもよい。コンピュータ装置のメモリには、該ビデオ符号化装置を構成する各プログラムモジュール、例えば、図１２に示される符号化ブロック取得モジュール１２０２、符号化参照ブロック取得モジュール１２０４、符号化参照ブロックマッチングモジュール１２０６及び符号化モジュール１２０８が記憶されてもよい。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書に説明されている本願の各実施例のビデオ符号化方法における各ステップを実行させる。
【０１７４】
例えば、図１４及び図１５に示されるコンピュータ装置は、図１２に示されるビデオ符号化装置における符号化ブロック取得モジュール１２０２により、現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得し、符号化参照ブロック取得モジュール１２０４により、現在符号化ブロックに対応する第１の現在参照ブロックを取得し、符号化参照ブロックマッチングモジュール１２０６により、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、符号化モジュール１２０８により、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得することができる。
【０１７５】
一実施例では、本願に係るビデオ復号化装置は、図１４又は１５に示されるコンピュータ装置上で実行できるコンピュータプログラムの形態で実現されてもよい。コンピュータ装置のメモリには、該ビデオ復号化装置を構成する各プログラムモジュール、例えば、図１３に示される符号化データ取得モジュール１３０２、復号化参照ブロック取得モジュール１３０４、復号化参照ブロックマッチングモジュール１３０６及び復号化モジュール１３０８が記憶されてもよい。各プログラムモジュールで構成されるコンピュータプログラムは、プロセッサに、本明細書に説明されている本願の各実施例のビデオ復号化方法における各ステップを実行させる。
【０１７６】
例えば、図１４及び図１５に示されるコンピュータ装置は、図１３に示されるビデオ復号化装置における符号化データ取得モジュール１３０２により、復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得してもよい。復号化参照ブロック取得モジュール１３０４により、現在復号化対象のブロックに対応する第１の現在参照ブロックを取得する。復号化参照ブロックマッチングモジュール１３０６により、第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得する。復号化モジュール１３０８により、第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する。
【０１７７】
一実施例に係るコンピュータ装置は、コンピュータプログラムが記憶されているメモリと、コンピュータプログラムを実行すると、
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得し、
現在符号化ブロックに対応する第１の現在参照ブロックを取得し、
第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、現在符号化ブロックを符号化して、符号化データを取得する操作を実行するプロセッサと、を含む。
【０１７８】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
復号化側と一致するマッチングアルゴリズムに従って、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムとを含む。
【０１７９】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
【０１８０】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロックに基づいて現在符号化ブロックを符号化して、符号化データを取得する操作を実行させる。
【０１８１】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する操作を実行させる。
【０１８２】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第２の現在参照ブロックが複数含まれている場合、複数の第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得し、
第２の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択し、目標参照ブロックに基づいて現在符号化ブロックを符号化して、目標参照ブロックに対応する参照ブロックモード情報を担持する符号化データを取得する操作を実行させる。
【０１８３】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックと各第２の現在参照ブロックに対応する重み付けの重みを取得し、
重み付けの重みに基づいて第１の現在参照ブロック及び各第２の現在参照ブロックを重み付けして第１の融合参照ブロックを取得する操作を実行させる。
【０１８４】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
各第２の現在参照ブロックと第１の現在参照ブロックとの第２の相違度を算出し、
第２の相違度に基づいて、対応する第２の相違度と負の相関関係を有する、各第２の現在参照ブロックに対応する重み付けの重みを取得する操作を実行させる。
【０１８５】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の融合参照ブロックと現在符号化ブロックとの第３の相違度を算出し、第１の現在参照ブロックと現在符号化ブロックとの第４の相違度を算出し、
第３の相違度と第４の相違度の大きさに基づいて目標参照ブロックを選択する操作を実行させる。
【０１８６】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の融合参照ブロックと現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、第１の現在参照ブロックと現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出し、
第１のレート歪みコストと第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択する操作を実行させる。
【０１８７】
一実施例に係るコンピュータ装置は、コンピュータプログラムが記憶されているメモリと、コンピュータプログラムを実行すると、
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得し、
現在復号化対象のブロックに対応する第１の現在参照ブロックを取得し、
第１の現在参照ブロックにマッチングする、第１の現在参照ブロックと類似する参照ブロックである１つ又は複数の第２の現在参照ブロックを取得し、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作を実行するプロセッサと、を含む。
【０１８８】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
符号化側にマッチングするマッチングアルゴリズムに従って第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させ、符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む。
【０１８９】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロックに対応する複数の候補参照ブロックを取得し、
第１の現在参照ブロックと各候補参照ブロックとの第１の相違度を算出し、
第１の相違度に基づいて、複数の候補参照ブロックから第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
【０１９０】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
第１の現在参照ブロック及び各第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得し、
第１の融合参照ブロックに基づいて、符号化データを復号化して、現在復号化対象のブロックに対応するビデオ画像ブロックを取得する操作を実行させる。
【０１９１】
一実施例では、コンピュータプログラムがプロセッサによって実行されると、プロセッサに、
符号化データから参照ブロックモード情報を読み取り、
参照ブロックモード情報が第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、第１の参照ブロックに基づいて符号化データを復号化し、参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する操作を実行させる。
【０１９２】
一実施例に係るコンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されると、プロセッサに、上記ビデオ符号化方法及びビデオ復号化方法のうちの１つ以上の方法のステップを実行させるコンピュータプログラムが記憶されている。ここでのビデオ符号化方法及びビデオ復号化方法におけるステップは、上記各実施例のビデオ符号化方法及びビデオ復号化方法におけるステップであってもよい。
【０１９３】
なお、本願の各実施例のフローチャートの各ステップは、矢印で順に示されるが、これらのステップは、必ずしも矢印で示される順序で順に実行されるものではない。本明細書で明確に説明しない限り、これらのステップの実行は、厳密な順序に限定されず、他の順序で実行されてもよい。さらに、各実施例における少なくとも一部のステップは、複数のサブステップ又は複数の段階を含んでよく、これらのサブステップ又は段階は、必ずしも同じ時刻で実行されるものではなく、異なる時刻で実行されてもよく、これらのサブステップ又は段階の実行順序も、必ずしもその順に行われるものではなく、その他のステップ又はその他のステップのサブステップ又は段階の少なくとも一部と順番に又は交互に実行されてもよい。
【０１９４】
当業者であれば理解できるように、上記方法実施例の全部又は一部の流れは、コンピュータプログラムが関連ハードウェアを命令することにより実現され、コンピュータプログラムが不揮発性コンピュータ読み取り可能な記憶媒体に記憶することができ、該コンピュータプログラムが実行されるとき、上記各方法実施例の流れを含んでもよい。本願に係る各実施例において用いられる、メモリ、記憶、データベース又は他の媒体への任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含んでもよい。非揮発性メモリは、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）又はフラッシュメモリを含んでもよい。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリを含んでもよい。限定ではなく例示として、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクロナスリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの多くの形態にあるＲＡＭが使用され得る。
【０１９５】
上述した実施例の各技術的特徴を任意に組み合わせることができ、説明の便宜上、上記実施例における各技術的特徴の全ての可能な組み合わせを説明していないが、これらの技術的特徴の組み合わせに矛盾がない限り、本明細書に記載されている範囲に属するべきであると考えられる。
【０１９６】
上述した実施例は、本願のいくつかの実施形態を説明したものに過ぎず、その説明が具体的かつ詳細であるが、これにより本願の特許範囲を限定するものと理解されるものではない。なお、当業者であれば、本発明の構想から逸脱しない前提で、いくつかの変形及び改善を行うことができ、これらも本発明の保護範囲に属する。したがって、本願特許の保護範囲は、添付の特許請求の範囲を基準とすべきである。
【符号の説明】
【０１９７】
１１０  端末
１２０  サーバ
２０２  ビデオフレーム取得ユニット
２０４  第１の予測ユニット
２０６  変換ユニット
２０８  量子化ユニット
２１０  第１の逆量子化ユニット
２１２  第１の逆変換ユニット
２１４  再構成ユニット
２１６  エントロピー符号化ユニット
２１８  記憶送信ユニット
３００  符号化データ取得ユニット
３０２  エントロピー復号化ユニット
３０４  第２の逆量子化ユニット
３０６  第２の逆変換ユニット
３０８  第２の予測ユニット
３１０  再生記憶ユニット
１２０２  符号化ブロック取得モジュール
１２０４  符号化参照ブロック取得モジュール
１２０６  符号化参照ブロックマッチングモジュール
１２０８  符号化モジュール
１３０２  符号化データ取得モジュール
１３０４  復号化参照ブロック取得モジュール
１３０６  復号化参照ブロックマッチングモジュール
１３０８  復号化モジュール
【図１】
2021525025.tif 000009
【図２】
2021525025.tif 000010
【図３】
2021525025.tif 000011
【図４Ａ】
2021525025.tif 000012
【図４Ｂ】
2021525025.tif 000013
【図５Ａ】
2021525025.tif 000014
【図５Ｂ】
2021525025.tif 000015
【図６】
2021525025.tif 000016
【図７】
2021525025.tif 000017
【図８】
2021525025.tif 000018
【図９】
2021525025.tif 000019
【図１０】
2021525025.tif 000020
【図１１】
2021525025.tif 000021
【図１２】
2021525025.tif 000022
【図１３】
2021525025.tif 000023
【図１４】
2021525025.tif 000024
【図１５】
2021525025.tif 000025
【手続補正書】
【提出日】令和2年11月20日(2020.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータ装置が実行するビデオ符号化方法であって、
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するステップと、
前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するステップと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するステップと
を含む、ビデオ符号化方法。
【請求項２】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
復号化側と一致するマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
前記復号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記復号化側と一致し、且つマッチングルールが前記復号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項４】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項５】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項６】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得する前記ステップは、
前記第２の現在参照ブロックが複数含まれている場合、複数の前記第２の現在参照ブロックに基づいて画像融合を行って、第２の融合参照ブロックを取得するステップと、
前記第２の融合参照ブロック及び前記第１の現在参照ブロックから目標参照ブロックを選択し、前記目標参照ブロックに基づいて前記現在符号化ブロックを符号化して、符号化データを取得するステップであって、前記符号化データには、前記目標参照ブロックに対応する参照ブロックモード情報が担持されているステップと
を含む、ことを特徴とする請求項１に記載の方法。
【請求項７】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップと、
前記重み付けの重みに基づいて前記第１の現在参照ブロック及び各前記第２の現在参照ブロックを重み付けして、前記第１の融合参照ブロックを取得するステップと
を含む、ことを特徴とする請求項４又は請求項５に記載の方法。
【請求項８】
前記第１の現在参照ブロックと各前記第２の現在参照ブロックに対応する重み付けの重みを取得する前記ステップは、
各前記第２の現在参照ブロックと前記第１の現在参照ブロックとの第２の相違度を算出するステップと、
前記第２の相違度に基づいて、各前記第２の現在参照ブロックに対応する重み付けの重みを取得するステップであって、各前記第２の現在参照ブロックに対応する重み付けの重みは、対応する第２の相違度と負の相関関係を有するステップと
を含む、ことを特徴とする請求項７に記載の方法。
【請求項９】
前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
前記第１の融合参照ブロックと前記現在符号化ブロックとの第３の相違度を算出し、前記第１の現在参照ブロックと前記現在符号化ブロックとの第４の相違度を算出するステップと、
前記第３の相違度及び前記第４の相違度の大きさに基づいて目標参照ブロックを選択するステップと
を含む、ことを特徴とする請求項５に記載の方法。
【請求項１０】
前記第１の融合参照ブロック及び第１の現在参照ブロックから目標参照ブロックを選択することは、
前記第１の融合参照ブロック及び前記現在符号化ブロックに基づいて、対応する第１のレート歪みコストを算出し、前記第１の現在参照ブロック及び前記現在符号化ブロックに基づいて、対応する第２のレート歪みコストを算出するステップと、
前記第１のレート歪みコスト及び前記第２のレート歪みコストの大きさに基づいて目標参照ブロックを選択するステップと
を含む、ことを特徴とする請求項５に記載の方法。
【請求項１１】
コンピュータ装置が実行するビデオ復号化方法であって、
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するステップと、
前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するステップと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックであるステップと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
を含む、ビデオ復号化方法。
【請求項１２】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
符号化側にマッチングするマッチングアルゴリズムに従って、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップを含み、
前記符号化側と一致するマッチングアルゴリズムは、参照ブロック取得領域が前記符号化側と一致し、且つマッチングルールが前記符号化側と一致するマッチングアルゴリズムを含む、ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得する前記ステップは、
前記第１の現在参照ブロックに対応する複数の候補参照ブロックを取得するステップと、
前記第１の現在参照ブロックと各前記候補参照ブロックとの第１の相違度を算出するステップと、
前記第１の相違度に基づいて、前記複数の候補参照ブロックから前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップと
を含む、ことを特徴とする請求項１１に記載の方法。
【請求項１４】
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得する前記ステップは、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて画像融合を行って、第１の融合参照ブロックを取得するステップと、
前記第１の融合参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するステップと
を含む、ことを特徴とする請求項１１に記載の方法。
【請求項１５】
前記符号化データには、目標参照ブロックに対応する参照ブロックモード情報が担持されており、
前記符号化データから前記参照ブロックモード情報を読み取るステップと、
前記参照ブロックモード情報が前記第１の現在参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の参照ブロックに基づいて前記符号化データを復号化し、前記参照ブロックモード情報が第１の融合参照ブロックを目標参照ブロックとして用いることを示すと、前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するステップとをさらに含む、ことを特徴とする請求項１１に記載の方法。
【請求項１６】
現在ビデオフレームにおける符号化対象の現在符号化ブロックを取得するように構成された符号化ブロック取得モジュールと、
前記現在符号化ブロックに対応する第１の現在参照ブロックを取得するように構成された符号化参照ブロック取得モジュールと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された符号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである符号化参照ブロックマッチングモジュールと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記現在符号化ブロックを符号化して、符号化データを取得するように構成された符号化モジュールと
を含む、ビデオ符号化装置。
【請求項１７】
復号化対象のビデオフレームにおける現在復号化対象のブロックに対応する符号化データを取得するように構成された符号化データ取得モジュールと、
前記現在復号化対象のブロックに対応する第１の現在参照ブロックを取得するように構成された復号化参照ブロック取得モジュールと、
前記第１の現在参照ブロックにマッチングする１つ又は複数の第２の現在参照ブロックを取得するように構成された復号化参照ブロックマッチングモジュールであって、前記１つ又は複数の第２の現在参照ブロックは、前記第１の現在参照ブロックと類似する参照ブロックである復号化参照ブロックマッチングモジュールと、
前記第１の現在参照ブロック及び各前記第２の現在参照ブロックに基づいて、前記符号化データを復号化して、前記現在復号化対象のブロックに対応するビデオ画像ブロックを取得するように構成された復号化モジュールと
を含む、ビデオ復号化装置。
【請求項１８】
コンピュータプログラムが記憶されているメモリを含み、
前記コンピュータプログラムを実行すると、請求項１から請求項１０のいずれか一項に記載の方法を実現することを特徴とするコンピュータ装置。
【請求項１９】
コンピュータプログラムが記憶されているメモリを含み、
前記コンピュータプログラムを実行すると、請求項１１から請求項１５のいずれか一項に記載の方法を実現することを特徴とするコンピュータ装置。
【請求項２０】
プロセッサによって実行されると、前記プロセッサに、請求項１から請求項１０のいずれか一項に記載の方法のステップ、又は請求項１１から請求項１５のいずれか一項に記載の方法のステップを実行させるコンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
本願は、コンピュータの技術分野に関し、特に、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
そこで、本願の実施例は、上記ビデオ符号化品質が低いという問題を解決することができる、ビデオ符号化、ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムを提供する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに上記ビデオ符号化方法のステップを実行させる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記ビデオ符号化方法、装置、コンピュータ装置及びコンピュータプログラムは、符号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化して、参照ブロックと現在符号化ブロックとのマッチング度合いを向上させ、予測残差を低減することができるため、ビデオ符号化品質を向上させることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
コンピュータプログラムは、プロセッサによって実行されると、前記プロセッサに上記ビデオ復号化方法のステップを実行させる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
上記ビデオ復号化方法、装置、コンピュータ装置及びコンピュータプログラムは、復号化する場合、第１の現在参照ブロックにより、該第１の現在参照ブロックと類似する参照ブロックである、マッチングした１つ又は複数の第２の現在参照ブロックを取得することにより、現在符号化ブロックにマッチングした複数の参照ブロックを取得し、マッチングした複数の参照ブロックに基づいて符号化データを復号化して、画像ブロックの損失を低減でき、ビデオ復号化品質が高くなる。
【国際調査報告】
2021525025.tif 000026
2021525025.tif 000027
2021525025.tif 000028
2021525025.tif 000029