(57)【要約】【課題】本開示は、画像符号化方法と装置及び画像復号化方法と装置を提供する。【解決手段】画像符号化方法は、画像の各フレーム内コーディングユニットに対して次の処理を行い、即ち、モードを標識するための標識情報を確定し、モードは少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットが同じサイズの変換ユニットに分割され、異なる分割案下で分割された変換ユニットのサイズは互いに異なり；標識情報により標識されたモードに基づいて、フレーム内コーディングユニットを変換ユニットに分割し；及び、変換ユニットに基づいて画像符号化を行う。【選択図】図４
2018201188.tif 000002
【特許請求の範囲】
【請求項１】
画像符号化方法であって、
画像の各フレーム内コーディングユニットについて、
モードを標識するための標識情報を確定し、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されたモードに基づいて、前記フレーム内コーディングユニットを前記変換ユニットに分割し；及び
前記変換ユニットに基づいて画像符号化を行う、方法。
【請求項２】
請求項1に記載の画像符号化方法であって、
サイズが2N×2Nのフレーム内コーディングユニットについて、Nは、8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【請求項３】
請求項1に記載の画像符号化方法であって、
サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットのサイズが4×4に等しい、方法。
【請求項４】
請求項1に記載の画像符号化方法であって、
サイズが8×8であり、且つサイズが4×4の4個の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1を含み、
案1は、各変換ユニットのサイズが4×4に等しい、方法。
【請求項５】
請求項1に記載の画像符号化方法であって、
幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【請求項６】
請求項1に記載の画像符号化方法であって、
幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【請求項７】
請求項1に記載の画像符号化方法であって、
前記画像の輝度成分及び色度成分は、前記少なくとも１つの分割案をシェアし、又は、前記画像の輝度成分及び色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なるものを使用する、方法。
【請求項８】
画像の各フレーム内コーディングユニットに対して処理を行う画像符号化装置であって、
モードを標識するための標識情報を確定するための確定部であって、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる、確定部；
前記標識情報により標識されたモードに基づいて、前記フレーム内コーディングユニットを前記変換ユニットに分割するための分割部；及び
前記変換ユニットに基づいて画像符号化を行うための符号化部を含む、装置。
【請求項９】
画像復号化方法であって、
画像の各フレーム内コーディングユニットについて、
前記画像のコーディングビットデータストリームから、モードを標識するための標識情報を抽出し、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されたモードに基づいて、前記コーディングビットデータストリームから前記変換ユニットを復元し；及び
前記変換ユニットに基づいて画像復号化を行う、方法。
【請求項１０】
請求項9に記載の画像復号化方法であって、
サイズが2N×2Nのフレーム内コーディングユニットについて、Nは、8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ビデオ符号化（coding）及び画像圧縮分野に関し、より具体的には、本開示は、フレーム内コーディングユニットの分割をマークするためのビットコストが比較的低く、より正確な画像予測を取得し、また、より高い符号化効率を実現することができる画像符号化方法と装置及びそれ相応の画像復号化（decoding）方法と装置に関する。
【背景技術】
【０００２】
ビデオ符号化規格HEVCでは、符号化ツリーユニット（CTU）を単位としてサンプルに対して処理を行う。四分木構造を用いることで、CTUをコーディングユニット（CU）に分割する。CUのレベルで、フレーム内画像（時間）予測又はフレーム間画像（空間）予測により、画像に対してコーディングの決定（decision）を行う。フレーム内予測を用いるCUは、フレーム内CUと称される。8×8のサイズを有し、且つ予測ユニット（PU）の分割類型に基づいてさらに１つ又は４つのPUに分割され得るCUを除き、各フレーム内CUは、通常、１つのPUである。１つのPU内で同じ予測処理を施し、且つPUに基づいて関連情報を復号器（decoder）に伝送する。PUの分割類型に基づいて予測処理を施すことで残差ブロックを得た後に、CUのための符号化ツリーに類似したもう１つの四分木構造に基づいて、CUは、変換ユニット（TU）に分割（divide）することができる。
【０００３】
HEVCでは、TUツリーの深度が比較的大きいときに、多くのビットを用いて分割構造をマークする必要がある。図1は、HEVC中のフレーム内コーディングユニットの分割を例示する図である。図1中の左側の図は、ブロックで示すHEVC中のフレーム内コーディングユニットの分割構造であり、図1中の右側の図は、ツリーで示すHEVC中のフレーム内コーディングユニットの分割構造である。例えば、図1に示すように、16個のTU（TU0、…、TU15）に分割されるCUについて、（1+4+16）=21ビットにより分割構造をマークする必要がある。即ち、HEVCでは、TUの分割のために比較的大きいビットコストが存在する。
【０００４】
MPEGとITUの未来のビデオ符号化技術のジョイント開発期間では、四分木プラス二分木ブロック構造（quadtree  plus  binary  tree  (QTBT)  block  partition  structure）と称される新しい構造が導入されている。QTBTでは、先ず、四分木構造を用いてCTUを分割し、そして、二分木構造を用いて四分木のリーフノードをさらに分割する。二分木のリーフノードは、CUと称され、該CUは、予測及び変換のために用いられ、さらに分割する必要がない。これは、QTBTコーディングブロック構造中で、CU、PU及びTUが同じブロックサイズを有することを意味する。図2は、QTBT構造の１つの例を示す図である。図2中の左側の図は、ブロックで示すQTBT構造であり、図2中の右側の図は、ツリーで示すQTBT構造である。一例として、図2では、実線を用いて四分木による分割を示し、点線を用いて二分木による分割を示す。また、二分木による分割では、マーク1により左右分割を表し、マーク0により上下分割を表す。
【０００５】
フレーム内CUについての全ての計算は、TUに基づく予測、残差符号化、及び復号化を含む。QTBTでは、TUがCUと同様であるため、TUの分割について、分割をマークするためのビットコストが存在しない。しかし、CUのサイズが比較的大きい場合、CUを比較的小さいTUに分割することに比べ、その予測は、不正確である。また、CUのサイズが比較的小さい場合、QTBTの分割をマークするコストが比較的大きくなる。
【０００６】
よって、HEVCとQTBTについて言えば、フレーム内CUのTUへの分割は、折中（折衷）のニーズが存在する。
【０００７】
また、HEVCでは、コーディングブロック（CB）を変換ブロック（TB）に分割することができる。TBごとに残差係数に対して符号化を行う。TB内では、符号化される前に、特定のスキャニング順序に従って、２次元残差係数行列を１次元行列にマッピングする。マッピングした後に、１次元行列は、ビットストリームと符号化される。通常、３種類のスキャニング順序が存在し、即ち、右上45度スキャニング順序、水平スキャニング順序及び垂直スキャニング順序である。図3は、4×4のサイズを有するブロックに対しての3種類のスキャニング順序を示す図である。図3では、左側の図において、スキャニング順序の順番号0、1、2、…、14、15で右上45度スキャニング順序を示し、中間の図において、スキャニング順序の順番号0、1、2、…、14、15で水平スキャニング順序を示し、右側の図においてスキャニング順序の順番号0、1、2、…、14、15で垂直スキャニング順序を示。また、スキャニング順序の種類を標識するための標識（ID）情報scanIdxにより、どの種類のスキャニング順序を用いるかを指定することができる。そのうち、scanIdx=0を用いて右上45度スキャニング順序を指定し、scanIdx=1を用いて水平スキャニング順序を指定し、scanIdx=2を用いて垂直スキャニング順序を指定しても良い。HEVCでは、scanIdxについての特定の導出プロセスが存在する。要素の１次元行列中での位置がsPos（即ち、上述のような図3中のスキャニング順序の順番号）であるとすると、該要素に対応する２次元行列の位置のx軸及びy軸の座標は、
x=ScanOrder[blocksize][sanIdx][sPos][0]
y=ScanOrder[blocksize][sanIdx][sPos][1]
と表すことができる。
【０００８】
ここで、ScanOrderは、スキャニング順序を示し、blocksizeは、TBのブロックサイズであり、それは、4×4、8×8、16×16及び32×32などであっても良い。
【０００９】
スキャニングの目的は、信号のエネルギーを集中することにある。しかし、フレーム内CB中でTBごとに残差係数を符号化するので、フレーム内CBについて言えば、エネルギーは、各TBに分散している。よって、TBについての新しいスキャニング順序のニーズが存在する。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述の問題に鑑みて、本開示の目的は、フレーム内コーディングユニットの分割をマークするためのビットコストが低く、より正確な画像予測を取得することができ、また、より高い符号化効率を実現することができる画像符号化方法と装置及びそれ相応の画像復号化方法と装置を提供することにある。
【課題を解決するための手段】
【００１１】
本開示の一側面によれば、画像符号化方法が提供され、それは、
画像の各フレーム内コーディングユニットに対して次のような処理を行い、即ち、
モードを標識するための標識情報の確定を行い、そのうち、モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されるモードに基づいて、前記フレーム内コーディングユニットを変換ユニットに分割し；及び
前記変換ユニットに基づいて画像符号化を行う。
【００１２】
また、本開示の他の側面によれば、画像符号化装置が提供され、それは、画像の各フレーム内コーディングユニットに対して処理を行い、該画像符号化装置は、
モードを標識するための標識情報を確定するための確定部であって、モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる、確定部；
前記標識情報により標識されるモードに基づいて、前記フレーム内コーディングユニットを変換ユニットに分割するための分割部；及び
前記変換ユニットに基づいて画像符号化を行うためのコーディングユニットを含む。
【００１３】
また、本開示の他の側面によれば、画像復号化方法が提供され、それは、
画像の各フレーム内コーディングユニットに対して次のような処理を行い、即ち、
画像のコーディングビットデータストリームから、モードを標識するための標識情報を抽出し、そのうち、モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されるモードに基づいて、コーディングビットデータストリームから変換ユニットを復元し；及び
前記変換ユニットに基づいて画像復号化を行う。
【００１４】
また、本開示の他の側面によれば、本開示の上述の方法を実現するためのコンピュータプログラムコード、コンピュータプログラムプロダクト、及び本開示の上述の方法を実現するためのコンピュータプログラムコードを記憶したコンピュータ可読記憶媒体が提供される。
【図面の簡単な説明】
【００１５】
【図１】HEVC中のフレーム内コーディングユニットの分割例を示す図である。
【図２】QTBT構造の１つの例を示す図である。
【図３】4×4のサイズを有するブロックについての3種類のスキャニング順序を示す図である。
【図４】本開示の実施例による画像符号化方法のフローチャートである。
【図５】本開示の実施例におけるCUレベルのプロトコルデータ中で分割案に対応するモードを標識するための標識情報の一例を示す図である。
【図６】本開示の実施例におけるサイズが2N×2N（Nは8の整数倍である）のフレーム内コーディングユニットの分割案の一例を示す図である。
【図７】本開示の実施例における幅が2mで且つ長さが2n（m＞n）の長方形のフレーム内コーディングユニットの分割案の一例を示す図である。
【図８】本開示の実施例における幅が2nで且つ長さが2m（m＞n）の長方形のフレーム内コーディングユニットの分割案の一例を示す図である。
【図９】本開示の実施例におけるUTU構造を有するフレーム内コーディングユニットに対しての符号化処理のフローチャートである。
【図１０】本開示の実施例におけるコーディングブロック中で変換ブロックから周波数領域ブロックへのマッピングを示す図である。
【図１１】本開示の実施例による画像符号化装置のブロック図である。
【図１２】本開示の実施例による画像復号化方法のフローチャートである。
【図１３】本開示の実施例におけるUTU構造を有するフレーム内コーディングユニットに対しての復号化処理のフローチャートである。
【図１４】本開示の実施例による画像復号化装置のブロック図である。
【図１５】本開示の実施例中で採用し得る情報処理装置としてのコンピュータの構成図である。
【発明を実施するための形態】
【００１６】
以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、以下に開示の実施形態は、例示に過ぎず、本開示を限定するものでない。
【００１７】
本開示は、均一なTU構造（UTU）を提案する。UTU構造では、フレーム内CUを方形の若干個の均一なTUに分割（分割）することができる。これは、CU中の全てのTUが同じサイズを有することを意味する。フレーム内符号化及び復号化システムでは、一部又は全部のUTU構造を使用することができる。CUレベルの語法では、語法要素を用いて、UTU構造のうちのどのような構造を使用するかを指示することができる。
【００１８】
以下、図面をもとに本開示の実施例を詳しく説明する。
【００１９】
先ず、図4に基づいて本開示の実施例の画像符号化方法400のフローチャートを説明する。図4は、本開示の実施例による画像符号化方法のフローチャートである。図4に示すように、本開示の実施例における画像符号化方法400は、画像の各フレーム内コーディングユニットに対して行う確定ステップS402、分割ステップS404及び符号化ステップS406を含む。
【００２０】
確定ステップS402では、モードを標識するための標識情報を確定することができ、そのうち、該モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【００２１】
１つの具体例として、UTU構造では、フレーム内コーディングユニットの、異なるモードに対応する少なくとも１つの分割案を予め定義することができる。各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【００２２】
CUレベルのプロトコルデータでは、語法要素としての標識情報utu_modeを用いてモードを標識することができる。図5は、本開示の実施例のCUレベルのプロトコルデータ中で分割案に対応するモードを標識するための標識情報utu_modeの一例を示す図である。図5に示すように、UTU構造について、標識情報utu_modeを用いて、異なる分割案に対応するモードを標識することができる。具体例として、intra_modeがフレーム内予測モードを標識するための標識情報であるとすれば、標識情報utu_modeは、CUレベルのプロトコルデータにおいてintra_modeの後に位置し、且つ標識情報utu_modeは、該CUのコーディングデータの前に位置しても良い。フレーム内符号化及び復号化システムでは、一部又は全部のUTU構造を使用することができる。分割待ちCUについて、予め該CUの各分割案下でのコーディングビット数を計算し、且つ最小コーディングビット数に対応する分割案を該CUの分割案とすることができ、これにより、モードを標識するための標識情報utu_modeを確定することができる。トータルでp種類の分割案を採用するとすれば、CUレベルのプロトコルデータでは、log2(p)個のビットにより、標識情報utu_modeを示す必要がある。任意のエントロピー符号化方法により、utu_modeに対して符号化を行っても良い。以下、異なるサイズのフレーム内コーディングユニットについて分割案及びutu_modeを説明する。
【００２３】
好ましくは、サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。図6は、本開示の実施例のサイズが2N×2N（Nは8の整数倍である）のフレーム内コーディングユニットの分割案の一例を示す図である。図6中の左側のブロック図は、サイズが2N×2NのCUであり、図6中の右側の上から下へのブロック図は、サイズが2N×2NのCUをそれぞれ異なる数量の変換ユニットに均一に分割することを示す。サイズが2N×2N（Nは8の整数倍である）のフレーム内コーディングユニットについて、図6中の右側の第一行のブロック図に示すように、TUのサイズは、2N×2Nであっても良く（即ち、CUを分割しない）；図6中の右側の第二行のブロック図に示すように、TUのサイズは、N×Nであっても良く（CUを4個のTUに分割する）；図6中の右側の第三行のブロック図に示すように、TUのサイズは、1/2N×1/2Nであっても良く（CUを16個のTUに分割する）；図6中の右側の第四行のブロック図に示すように、TUのサイズは、1/4N×1/4Nであっても良く（CUを64個のTUに分割する）；また、このような処理を、CUを許可される最小サイズのTUに分割するまで行っても良い（HEVCでは、許可されるTUの最小サイズが4×4である）。
【００２４】
上述のように、フレーム内符号化及び復号化システムでは、一部又は全部のUTU構造を使用することができる。CUレベルの語法では、語法要素utu_modeを用いて、どのような分割モードを使用するかを指示することができる。１つの具体例として、サイズが2N×2Nのフレーム内コーディングユニットについて、予め次のような4種類の分割案が定義されたとし、即ち、モード0は、CUを分割しないことを示し、モード1は、CUを4個のN×NのサイズのTUに分割することを示し、モード2は、CUを16個の1/2N×1/2NのサイズのTUに分割することを示し、モード3は、CUを64個の1/4N×1/4NのサイズのTUに分割することを示す。このような４種類の分割案について、utu_mode=“00”を用いてモード0を表し、utu_mode=“01”を用いてモード1を表し、utu_mode=“10”を用いてモード2を表し、utu_mode=“11”を用いてモード3を表しても良い。即ち、2ビットのみのutu_modeにより上述のような4種類の分割案を示すことができる。これに対して、図1に示すように、HEVCでは、21個のビットを用いて、CUを16個のTUに分割する分割案を示す必要がある。
【００２５】
好ましくは、サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットのサイズが4×4に等しい。
【００２６】
１つの具体例として、サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、分割案は、以下の２つの分割案のうちの少なくとも１つを含んでも良く、即ち、フレーム内コーディングユニットを直接、変換ユニットとし、及び、各変換ユニットのサイズが4×4に等しい。
【００２７】
好ましくは、サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1を含み、即ち、案1は、各変換ユニットのサイズが4×4に等しい。
【００２８】
１つの具体例として、サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、分割案は、各変換ユニットのサイズが4×4に等しいということであっても良い。
【００２９】
好ましくは、幅が2mであり、且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。
【００３０】
図7は、本開示の実施例の幅が2mで且つ長さが2n（m＞n）の長方形のフレーム内コーディングユニットの分割案の一例を示す図である。図7中の左側のブロック図は、幅が2mで且つ長さが2nのCUであり、図7中の右側の上から下へのブロック図は、幅が2mで且つ長さが2nのCUをそれぞれ異なる数量の変換ユニットに均等に分割することを示す図である。幅が2mで且つ長さが2nのフレーム内コーディングユニットについて、図7中の右側の第一行のブロック図に示すように、TUのサイズは、2m×2nであっても良く（即ち、CUを分割しない）；図7中の右側の第二行のブロック図に示すように、TUのサイズは、2n×2nであっても良く（CUを2m-n個のサイズが2n×2nのTUに分割する）；図7中の右側の第三行のブロック図に示すように、TUのサイズは、2n-1×2n-1であっても良く（CUを2m-n+2個のサイズが2n-1×2n-1のTUに分割する）；図7中の右側の第四行のブロック図に示すように、TUのサイズは、2n-2×2n-2であっても良く（CUを2m-n+4個のサイズが2n-2×2n-2のTUに分割する）；図7中の右側の第五行のブロック図に示すように、TUのサイズは、2n-3×2n-3であっても良く（CUを2m-n+6個のサイズが2n-3×2n-3のTUに分割する）；また、このような処理を、CUを許可される最小サイズのTUに分割するまで行っても良い（HEVCでは、許可されるTUの最小サイズが4×4である）。
【００３１】
１つの具体例として、幅が2mで且つ長さが2n（m＞n）の長方形のフレーム内コーディングユニットについて、トータルでp種類の分案を採用するとすれば、CUレベルのプロトコルデータでは、log2(p)個のビットを用いて、モードを標識するための標識情報utu_modeを示す必要がある。
【００３２】
好ましくは、幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。
【００３３】
図8は、本開示の実施例の幅が2nで且つ長さが2m（m＞n）の長方形のフレーム内コーディングユニットの分割案の一例を示す図である。図8中の最上部のブロック図は、幅が2nで且つ長さが2mのCUであり、図8中の下部の左から右へのブロック図は、幅が2nで且つ長さが2mのCUをそれぞれ異なる数量の変換ユニットを均等に分割することを示す。幅が2nで且つ長さが2mのフレーム内コーディングユニットについて、図8中の下部の第一列のブロック図に示すように、TUのサイズは、2n×2mであっても良く（即ち、CUを分割しない）；図8中の下部の第二列のブロック図に示すように、TUのサイズは、2n×2nであっても良く（CUを2m-n個のサイズが2n×2nのTUに分割する）；図8中の下部の第三列のブロック図に示すように、TUのサイズは、2n-1×2n-1であっても良く（CUを2m-n+2個のサイズが2n-1×2n-1のTUに分割する）；図8中の下部の第四列のブロック図に示すように、TUのサイズは、2n-2×2n-2であっても良く（CUを2m-n+4個のサイズが2n-2×2n-2のTUに分割する）；図8中の下部の第五列のブロック図に示すように、TUのサイズは、2n-3×2n-3であっても良く（CUを2m-n+6個のサイズが2n-3×2n-3のTUに分割する）；また、このような処理を、CUを許可される最小サイズのTUに分割するまで行っても良い（HEVCでは、許可されるTUの最小サイズが4×4である）。
【００３４】
１つの具体例として、幅が2nで且つ長さが2m（m＞n）の長方形のフレーム内コーディングユニットについて、トータルでp種類の分割案を採用するとすれば、CUレベルのプロトコルデータでは、log2(p)個のビットにより、モードを標識するための標識情報utu_modeを示す必要がある。
【００３５】
好ましくは、画像の輝度成分及び色度成分は、前記少なくとも１つの分割案をシェアし、又は、画像の輝度成分及び色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なる分割案を使用する。
【００３６】
１つの具体例として、CUの輝度成分について、分割案に対応するモードを標識するための標識情報utu_modeが既に確定されている（即ち、UTU構造が既に確定されいる）とすると、該CUの色度成分は、輝度成分と該UTU構造をシェアしても良く、又は、独立したUTU構造を使用しても良い。
【００３７】
分割ステップS404では、標識情報により標識されるモードに基づいて、フレーム内コーディングユニットを変換ユニットに分割することができる。
【００３８】
１つの具体例として、モードを標識するための標識情報utu_modeを確定した後に、標識情報utu_modeにより標識されるモードに対応する分割案に基づいて、フレーム内コーディングユニットを均一な変換ユニットに分割ることができる。
【００３９】
符号化ステップS406では、変換ユニットに基づいて画像符号化を行うことができる。
【００４０】
図9は、本開示の実施例のUTU構造を有するフレーム内コーディングユニットに対しての符号化処理のフローチャートである。
【００４１】
ステップS901では、フレーム内予測モードへの判定及びutu_modeの全ての状況への遍歴（一つずつ当たって見ること）を行い、これにより、最適フレーム内予測モードbest_intra_mode及び最適UTUモードbest_utu_modeを取得することができる。通常のフレーム内予測モードは、DC（直流）モード、水平予測モード、垂直予測モード、及び他方向予測モードなどを含む。ステップS901では、上述のフレーム内予測モードに対して遍歴を行うことで、所定ルールに基づいて最適フレーム内予測モードbest_intra_modeを得ることができる。また、符号化待ちCUについて、utu_modeの全ての状況を遍歴し、ビットレート最低のutu_modeをbest_utu_modeとすることができる。
【００４２】
ステップS902では、utu_mode=best_utu_modeとし、且つintra_mode=best_intra_modeとし、そのうち、intra_modeは、フレーム内予測モードを標識するための標識情報である。
【００４３】
ステップS903では、utu_modeが0に等しいかを判断し、utu_modeが0に等しい場合、符号化待ちCUに対しての分割がないことを確定し、プロセスは、ステップS904に移行する。
【００４４】
ステップS904では、予測画像を計算する。即ち、ステップS902で確定されたintra_modeを用いて、符号化待ちCUの予測画像を計算する。
【００４５】
ステップS905では、残差画像を計算する。即ち、符号化待ちCUの原始（オリジナル）画像から、ステップS904で計算された予測画像を減算することで、符号化待ちCUの残差画像を計算する。
【００４６】
ステップS906では、残差画像に対して符号化を行う。即ち、ステップS905で計算された残差画像に対して変換、量子化などを行いことで、該残差画像に対して符号化を行い、これにより、コーディング残差係数ブロックを得ることができる。
【００４７】
ステップS907では、コーディング残差係数ブロックに対して復号化を行う。即ち、ステップS906で得られたコーディング残差係数ブロックに対して逆量子化、逆変換などを行うことで、該符号化残差画像に対して復号化を行い、これにより、復号化された残差画像を得ることができる。
【００４８】
ステップS908では、再生画像を計算する。即ち、ステップS904で計算された予測画像及びステップS907で復号化された残差画像に基づいて、CUの再生画像を計算する。
【００４９】
ステップS909では、再生画像を記憶し、残差情報を出力する。即ち、ステップS908で計算されたCUの再生画像を次の１つのCUの符号化のために記憶し、且つ該CUの残差画像の残差情報を出力する。
【００５０】
ステップS910では、intra_mode、utu_mode及び残差情報をビットストリームに符号化する。即ち、ステップS902で得られたintra_mode、utu_mode及びステップS909中の残差情報をビットストリームに符号化する。
【００５１】
ステップS903でutu_modeが0に等しくないと確定した場合、符号化待ちCUがTUに分割されていると確定し、プロセスは、ステップS911に移行する。
【００５２】
ステップS911では、CU中の各TUを符号化待ちTUとし、ステップS912乃至ステップS917の処理をそれぞれ行う。
【００５３】
ステップS912では、予測画像を計算する。即ち、ステップS902で確定されたintra_modeを用いて、符号化待ちTUの予測画像を計算する。
【００５４】
ステップS913では、残差画像を計算する。即ち、符号化待ちTUの原始画像から、ステップS912で計算された予測画像を減算することで、符号化待ちTUの残差画像を計算する。
【００５５】
ステップS914では、残差画像に対して符号化を行う。即ち、ステップS913で計算された残差画像に対して変換、量子化などを行うことで、該残差画像に対して符号化を行い、これにより、コーディング残差係数ブロックを得ることができる。
【００５６】
ステップS915では、コーディング残差係数ブロックに対して復号化を行う。即ち、ステップS914で得られたコーディング残差係数ブロックに対して逆量子化、逆変換などを行うことで、該符号化残差画像を復号化し、これにより、復号化された残差画像を得ることができる。
【００５７】
ステップS916では、再生画像を計算する。即ち、ステップS912で計算された予測画像及びステップS915で復号化された残差画像に基づいて、TUの再生画像を計算する。
【００５８】
ステップS917では、再生画像を記憶し、残差情報を出力する。即ち、ステップS916で計算されたTUの再生画像を記憶し、且つ該TUの残差画像の残差情報を出力する。
【００５９】
CU内の全てのTUに対してそれぞれステップS912乃至ステップS917の処理を行った後に、プロセスは、ステップS918に移行する。ステップS918では、残差ブロックをTUから周波数領域ブロック（FB）にマッピングする。ステップS918は、オプションであり、幾つかの画像、例えば、コーディング残差係数ブロックがすべて0のTBが比較的多い画像に対しては、ステップS918を行う必要がない。ステップS918を要するかどうかは、CUレベルの又はよりアドバンスな語法要素にOn/Offフラッグを追加することで制御することができる。その後、ステップS910では、intra_mode、utu_mode及び残差情報をビットストリームに符号化する。即ち、ステップS902で得られたintra_modeとutu_mode及びステップS918中の残差情報をビットストリームに符号化する。全てのCUの符号化が完成した後に、プロセスは修了する。
【００６０】
カラー画像について言えば、１つのCUは、3つのCBを含み、即ち、1つの輝度成分のCB及び2つの色度成分のCBを含む。以下、便宜のため、１つのCUが１つのCBに相当するとして説明を行う。同様に、１つのTUが１つのTBと同じであるとして説明を行う。
【００６１】
ステップS918では、画像を符号化する時に、CB中でTBごとに残差係数を符号化する。よって、CBについて言えば、エネルギーは各TBに分散している。前述のように、信号のエネルギーを集中するために、本開示は、UTU構造中のTBを周波数領域ブロックにマッピングすることで、TBのスキャニング順序を変える方法を提案する。
【００６２】
具体的には、第一コーディングブロックに対して符号化する方法を提案し、第一コーディングブロックは、複数のサイズが同じである変換ブロックを含み、各変換ブロックは、複数の周波数成分にそれぞれ対応する複数の要素を含み、該方法は、各変換ブロック中での特定周波数成分に対応する要素を用いて、特定周波数成分に対応する周波数領域ブロックを生成し；複数の周波数成分について、複数の周波数成分にそれぞれ対応する複数の周波数領域ブロックを生成し；及び、複数の周波数領域ブロックを用いて第二コーディングブロックを生成し、そのうち、第二コーディングブロックでは、複数の周波数領域ブロックは、比較的低い周波数成分に対応する周波数領域ブロックのスキャニング順序上での優先度が、比較的高い高周波数成分に対応する周波数領域ブロックのスキャニング順序上での優先度よりも高いように配置される。
【００６３】
図10は、本開示の実施例のコーディングブロック中で変換ブロックから周波数領域ブロックへのマッピングを示す図である。１つの具体例として、第一コーディングブロックは、図10中の左側に示す、UTU構造を有するCBであっても良い。図10中の左側のCBは、M列×N行のTBにより構成され、即ち、該CBは、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]からなる。各TBのサイズは、S×Sである。TB[m][n][x][y]が第m列第n行のTB中の第x列第y行の係数を示すとし、そのうち、m=0、…、M-1；n=0、…、N-1；x=0、…、S-1；及びy=0、…、S-1である。図10の左側のCBでは、各TB中の同じ位置における要素が同じ周波数成分に対応し、例えば、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中のx=0及びy=0の位置における要素は、全て、同じ最低周波数成分に対応し、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中のx=S-1及びy=S-1の位置における要素は、全て、同じ最高周波数成分に対応し、また、同一TB中の異なる位置における要素は、異なる周波数成分に対応し、TB[0][0]を例として、TB[0][0]中の異なる位置における要素は、異なる周波数成分に対応する。即ち、各TBは、複数の周波数成分にそれぞれ対応する複数の要素を含む。
【００６４】
１つの具体例として、第二コーディングブロックは、図10中の右側に示す、複数のFBにより構成されるCBであっても良い。各変換ブロック中での特定周波数成分に対応する要素により、該特定周波数成分に対応する周波数領域ブロックを生成することができる。一例として、図10中に示すように、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中のx=0及びy=0の位置における要素（最低周波数成分に対応する要素）を用いて、最低周波数成分に対応する周波数領域ブロックFB[0][0]を生成することができ、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中のx=S-1及びy=S-1の位置における要素（最高周波数成分に対応する要素）を用いて、最高周波数成分に対応する周波数領域ブロックFB[S-1][S-1]を生成することができる。このように、複数の周波数成分について、異なる周波数成分にそれぞれ対応する周波数領域ブロックFB[0][0]、FB[1][0]、…、FB[S-1][0]、…、FB[0][S-1]、…、FB[S-1][S-1]を生成することができる。FB[x][y][m][n]が第x列第y行のFB中の第m列第n行の係数を示すとすれば、TBからFBへのマッピングは、FB[x][y][m][n]=TB[m][n][x][y]と表すことができる。これにより、図10中の右側に示するような複数のFBからなるCBを生成することができる。複数のFBからなるCBでは、周波数領域ブロックFB[0][0]が最低周波数成分に対応するので、前記複数のFBをスキャニングする時に、最初に周波数領域ブロックFB[0][0]をスキャニングし、また、周波数領域ブロックFB[S-1][S-1]が最高周波数成分に対応するので、それは、最後にスキャニングされ、即ち、複数の周波数領域ブロックは、比較的低い周波数成分に対応する周波数領域ブロックが、スキャニング順序上で、比較的高い周波数成分に対応する周波数領域ブロックよりも優先的であるように配置することができる。
【００６５】
好ましくは、各要素の周波数領域ブロック中での位置は、該要素を含む変換ブロックの第一コーディングブロック中での位置に対応する。１つの具体例として、図10に示すように、周波数領域ブロックFB[0][0]を例として、上述のように、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中のx=0及びy=0の位置における要素を用いて、周波数領域ブロックFB[0][0]を生成する。より具体的には、TB[0][0]が第一コーディングブロック中のm=0及びn=0の位置にあるので、TB[0][0]中のx=0及びy=0の位置における要素は、FB[0][0]中のm=0及びn=0の位置にあり；TB[1][0]が第一コーディングブロック中のm=1及びn=0の位置にあるので、TB[1][0]中のx=0及びy=0の位置における要素は、FB[0][0]中のm=1及びn=0の位置にあり；TB[M-1][0]が第一コーディングブロック中のm=M-1及びn=0の位置にあるので、TB[M-1][0]中のx=0及びy=0の位置における要素は、FB[0][0]中のm=M-1及びn=0の位置にあり；TB[0][N-1]が第一コーディングブロック中のm=0及びn=N-1の位置にあるので、TB[0][N-1]中のx=0及びy=0の位置における要素は、FB[0][0]中のm=0及びn=N-1の位置にあり；TB[M-1][N-1]が第一コーディングブロック中のm=M-1及びn=N-1の位置にあるので、TB[M-1][N-1]中のx=0及びy=0の位置における要素は、FB[0][0]中のm=M-1及びn=N-1の位置にある。
【００６６】
好ましくは、特定周波数成分に対応する周波数領域ブロックの第二コーディングブロック中での位置は、特定周波数成分に対応する要素のそれ相応の変換ブロック中での位置に対応する。１つの具体例として、図10に示すように、FB[0][0]が各変換ブロック中のx=0及びy=0の位置における要素に対応するので、FB[0][0]は、図10の右側に示すようなCU中でx=0及びy=0の位置にあり；FB[1][0]が各変換ブロック中のx=1及びy=0の位置における要素に対応するので、FB[1][0]は、図10の右側に示すようなCU中でx=1及びy=0位置にあり；FB[S-1][0]が各変換ブロック中のx=S-1及びy=0の位置における要素に対応するので、FB[S-1][0]は、図10の右側に示すようなCU中でx=S-1及びy=0の位置にあり；FB[0][S-1]が各変換ブロック中のx=0及びy=S-1の位置における要素に対応するので、FB[0][S-1]は、図10の右側に示すようなCU中でx=0及びy=S-1位置にあり；FB[S-1][S-1]が各変換ブロック中のx=S-1及びy=S-1の位置における要素に対応するので、FB[S-1][S-1]は、図10の右側に示すようなCU中でx=S-1及びy=S-1の位置にある。
【００６７】
好ましくは、所定スキャニング順序に従って、第二コーディングブロック中の複数の周波数領域ブロック中の要素を抽出してデータストリームを構成し、また、データストリーム中の尾部の連続したゼロ値の要素を除去する。１つの具体例として、図10中の右側に示す、複数のFBからなるCBについて、FBごとにスキャニングを行って符号化する。スキャニング順序を標識するための標識情報scanIdxを用いて、FBのスキャニング順序を指定する。２種類のscanIdxの確定方法がある。第１種の方法は、HEVC規格のように、フレーム内予測モードに基づいてscanIdxを導出する。第２種の方法は、CUレベルのプロトコルデータに語法要素scanIdxを追加することでスキャニング順序を明示する。第２種の方法では、各スキャニング順序を遍歴してビットレート最低のスキャニング順序を取得し、また、該ビットレート最低のスキャニング順序を標識するための標識情報scanIdxをCUレベルのプロトコルデータに追加してデータビットストリームに含める。比較的高い周波数成分に対応するFB中のセロ値の要素が比較的多く、且つ前述のように、比較的低い周波数成分に対応するFBが、スキャニング順序上で、比較的高い高周波数成分に対応するFBよりも優先的であるため、上述のスキャニング順序に従ってスキャニングを行った後に得られたデータビットストリーム中の尾部には、比較的多くの連続したゼロ値の要素が存在する。ビットレートを低減するために、データビットストリーム中の尾部の連続したゼロ値の要素を除去することができる。
【００６８】
好ましくは、第一コーディングブロック中の各変換ブロック中の複数の要素のスキャニングが特定順序を有する場合、特定順序に従って第二コーディングブロック中で複数の周波数領域ブロックをスキャニングする。１つの具体例として、図10中の左側に示す、複数のTBからなるCBでは、各TB中の要素のスキャニングが特定順序を有すれば、該特定順序に従って、図10中の右側に示す、複数のFBからなるCB中で複数のFBをスキャニングする。
【００６９】
好ましくは、特定順序は、水平スキャニング順序、垂直スキャニング順序及び右上45度スキャニング順序のうちの少なくとも１つを含む。上述のように、scanIdxを用いてスキャニング順序を指定することができる。例えば、scanIdx=0は、右上45度スキャニング順序を示し、scanIdx=1は、水平スキャニング順序を示し、scanIdx=2は、垂直スキャニング順序を示す。scanIdx=0、即ち、スキャニング順序が右上45度スキャニング順序のケースを例として、CUが4列×4行のFBを有すれば、FBのスキャニング順序は、FB[0][0]、FB[0][1]、FB[1][0]、FB[0][2]、FB[1][1]、FB[2][0]…、FB[3][3]である。１つのFB内の残差係数のスキャニング順序は、任意の順序であっても良い。スキャニングにより、図10中の右側に示す、複数のFBからなるCBの２次元行列を１次元行列に変換することができる。
【００７０】
最後に、HEVC中の既存の符号化方法又は他の符号化方法で予測モードintra_mode、utu_mode、scanIdx（存在する場合）及び１次元係数行列を符号化ビットストリームに符号化することができる。
【００７１】
以上を纏めると、本開示の実施例による画像符号化方法400は、HEVC中の変換ユニット分割方法に比べ、分割をマークするビットコストが低い。また、QTBT中の変換ユニット分割無しのケースに比べ、より正確な画像予測を実現することができる。変換ブロックから周波数領域ブロックへのマッピングを使用することで、CU全体について言えば、エネルギーはさらに集中し、これにより、より高い符号化効率を得ることができる。
【００７２】
上述の画像符号化方法の実施例に対応して、本開示は、さらに、以下の画像符号化装置の実施例を提供する。
【００７３】
図11は、本開示の実施例による画像符号化装置1100の機能ブロック図である。
【００７４】
図11に示すように、本開示の実施例の画像符号化装置1100は、画像の各フレーム内コーディングユニットを処理し、画像符号化装置1100は、確定部1102、分割部1104及び符合化部1106を含む。以下、各部の機能について説明する。
【００７５】
確定部1102では、モードを標識するための標識情報を確定することができ、そのうち、該モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【００７６】
上述の対応する方法の実施例中で説明したように、UTU構造では、予め、フレーム内コーディングユニットの異なるモードに対応する少なくとも１つの分割案を定義することができる。各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割することができ、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【００７７】
CUレベルのプロトコルデータでは、語法要素としての標識情報utu_modeを用いてモードを標識することができる。標識情報utu_modeの具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００７８】
好ましくは、サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、将フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。サイズが2N×2Nのフレーム内コーディングユニットの分割案の具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００７９】
好ましくは、サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ予測ユニットに分割されさいフレーム内コーディングユニットの分割案の具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００８０】
好ましくは、サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1を含み、即ち、案1は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットの分割案の具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００８１】
好ましくは、幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットの分割案の具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００８２】
好ましくは、幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットの分割案の具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００８３】
好ましくは、画像の輝度成分及び色度成分は、前記少なくとも１つの分割案をシェアし、又は、画像の輝度成分及び色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なる分割案を使用する。１つの具体例として、CUの輝度成分について、分割案に対応するモードを標識するための標識情報utu_modeが既に確定されている（即ち、UTU構造が既に確定されている）とすれば、該CUの色度成分は、輝度成分と該UTU構造をシェアし、又は、独立したUTU構造を使用しても良い。
【００８４】
分割部1104では、標識情報により標識されるモードに基づいて、フレーム内コーディングユニットを変換ユニットに分割することができる。
【００８５】
１つの具体例として、モードを標識するための標識情報utu_modeを確定した後に、標識情報utu_modeにより標識されたモードに対応する分割案に基づいて、フレーム内コーディングユニットを均一な変換ユニットに分割することができる。
【００８６】
符合化部1106では、変換ユニットに基づいて画像符号化を行うことができる。
【００８７】
UTU構造を有するフレーム内コーディングユニットに対して符号化処理を行う具体的なフローについては、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００８８】
画像を符号化する時に、CB中では、TBごとに残差係数に対して符号化を行う。よって、CBについて言えば、エネルギーは、各TBに分散している。信号のエネルギーを集中するために、本開示は、UTU構造中のTBを周波数領域ブロックにマッピングすることで、TBのスキャニング順序を変える装置を提案している。
【００８９】
具体的には、第一コーディングブロックに対して符号化を行う装置を提供し、第一コーディングブロックは、複数のサイズが同じの変換ブロックを含み、各変換ブロックは、複数の周波数成分にそれぞれ対応する複数の要素を含み、前記装置は、周波数領域ブロック生成部を含み、それは、次のように構成され、即ち、各変換ブロック中での特定周波数成分に対応する要素を用いて、特定周波数成分に対応する周波数領域ブロックを生成し、また、複数の周波数成分について、複数の周波数成分にそれぞれ対応する複数の周波数領域ブロックを生成し、また、前記装置は、さらに、第二コーディングブロック生成部を含み、それは、次のように構成され、即ち、複数の周波数領域ブロックを用いて、第二コーディングブロックを生成し、そのうち、第二コーディングブロック生成部は、第二コーディングブロック中で複数の周波数領域ブロックを次のように配置し、即ち、比較的低い周波数成分に対応する周波数領域ブロックは、スキャニング順序上で、比較的高い周波数成分に対応する周波数領域ブロックよりも優先度が高い。
【００９０】
好ましくは、各要素の周波数領域ブロック中での位置は、該要素を含む変換ブロックの第一コーディングブロック中での位置に対応する。
【００９１】
好ましくは、特定周波数成分に対応する周波数領域ブロックの第二コーディングブロック中での位置は、特定周波数成分に対応する要素のそれ相応の変換ブロック中での位置に対応する。
【００９２】
好ましくは、所定スキャニング順序に従って、第二コーディングブロック中の複数の周波数領域ブロック中の要素を抽出してデータストリームを構成し、また、データストリームの尾部の連続したゼロ値の要素を除去する。
【００９３】
好ましくは、第一コーディングブロック中の各変換ブロック中の複数の要素のスキャニングが特定順序を有する場合、特定順序に従って、第二コーディングブロック中で複数の周波数領域ブロックをスキャニングする。
【００９４】
好ましくは、特定順序は、水平スキャニング順序、垂直スキャニング順序及び右上45度スキャニング順序のうちの少なくとも１つを含む。
【００９５】
コーディングブロック中で変換ブロックから周波数領域ブロックへのマッピングの具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【００９６】
以上を纏めると、本開示の実施例による画像符号化装置1100は、HEVC中の変換ユニット分割に比べて、分割をマークするためのビットコストが低い。QTBT中の変換ユニット分割無しのケースに比べ、より正確な画像予測を実現することができる。変換ブロックから周波数領域ブロックへのマッピングにより、CU全体について言えば、エネルギーはさらに集中し、これにより、より高い符号化効率を得ることができる。
【００９７】
また、本開示は、さらに、画像復号化方法を提供する。図12をもとに、本開示の実施例による画像復号化方法1200のフローを説明する。図12は、本開示の実施例における画像復号化方法のフローチャートである。図12に示すように、本開示の実施例の画像復号化方法1200は、画像の各フレーム内コーディングユニットに対して行う抽出ステップS1202、復元ステップS1204及び復号化ステップS1206を含む。
【００９８】
抽出ステップS1202では、画像のコーディングビットデータストリームから、モードを標識するための標識情報を抽出することができ、そのうち、該モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【００９９】
本開示の実施例による画像符号化方法中で記載のように、UTU構造では、フレーム内コーディングユニットの異なるモードに対応する少なくとも１つの分割案が定義されている。各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割することができ、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。CUレベルのプロトコルデータでは、語法要素としての標識情報utu_modeを用いてモードを標識する。標識情報utu_modeの具体例については、上述の画像符号化方法の実施例でのそれ相応の位置の説明を参照することができるため、ここでは、詳しい説明を省略する。
【０１００】
抽出ステップS1202では、所定のCUレベルのプロトコルデータに基づいて、画像のコーディングビットデータストリームから、標識情報utu_modeを抽出することができる。例えば、CUレベルのプロトコルデータ中で標識情報utu_modeがintra_modeの後に位置する場合、intra_modeの後でutu_modeを抽出することができる。
【０１０１】
好ましくは、サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。サイズが2N×2Nのフレーム内コーディングユニットの分割案の具体例については、上述の画像符号化方法の実施例中でのそれ相応の位置の記載を参照することができるため、ここでは、詳しい説明を省略する。
【０１０２】
好ましくは、サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中でのそれ相応の位置の説明を参照することができるため、ここでは、詳しい説明を省略する。
【０１０３】
好ましくは、サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、以下の案1を含み、即ち、案1は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中での対応する位置の記載を参照することができるため、ここでは、詳しい説明を省略する。
【０１０４】
好ましくは、幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中での対応する位置の記載を参照可能であるため、ここでは、詳しい説明を省略する。
【０１０５】
好ましくは、幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、以下の案1及び／又は案2を含み、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中でのそれ相応の位置の説明を参照できるため、ここでは、詳しい説明を省略する。
【０１０６】
好ましくは、画像の輝度成分と色度成分は、前記少なくとも１つの分割案をシェアし、又は、画像の輝度成分と色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なる分割案を使用する。１つの具体例として、CUの輝度成分について、分割案に対応するモードを標識するための標識情報utu_modeが既に確定されている（即ち、UTU構造が既に確定されている）とすれば、該CUの色度成分は、輝度成分と該UTU構造をシェアしても良く、又は、独立したUTU構造を使用しても良い。
【０１０７】
復元ステップS1204では、標識情報により標識されるモードに基づいて、コーディングビットデータストリームから変換ユニットを復元することができる。
【０１０８】
１つの具体例として、モードを標識するための標識情報utu_modeを抽出した後に、標識情報utu_modeにより標識されたモードに基づいて、コーディングビットデータストリームから変換ユニットを復元することができる。サイズが2N×2Nのフレーム内CUを例として、次のような4種類の分割案が定義されているとし、即ち、モード0は、CUへの分割がないことを示し、モード1は、CUを4個のN×NのサイズのTUに分割することを示し、モード2は、CUを16個の1/2N×1/2NのサイズのTUに分割することを示し、モード3は、CUを64個の1/4N×1/4NのサイズのTUに分割することを示す。該画像復号化方法では、該サイズが2N×2Nのフレーム内CUについて、utu_mode=“00”が抽出されたら、1個の2N×2NのサイズのCUを復元することができ；utu_mode=“01”が抽出されたら、4個のN×NのサイズのTUを復元することができ、utu_mode=“10”が抽出されたら、16個の1/2N×1/2NのサイズのTUを復元することができ、utu_mode=“11”が抽出された場合、64個の1/4N×1/4NのサイズのTUを復元することができる。
【０１０９】
復号化ステップS1206では、変換ユニットに基づいて画像復号化を行うことができる。
【０１１０】
図13は、本開示の実施例のUTU構造を有するフレーム内コーディングユニットに対しての復号化処理のフローチャートである。
【０１１１】
ステップS1301では、画像のコーディングビットデータストリームからコーディングCUのintra_mode、utu_mode及び残差情報を抽出する。
【０１１２】
ステップS1302では、utu_modeが0に等しいかを判断し、utu_modeが0に等しい場合、CUへの分割がないと判断し、プロセスは、ステップS1503に移行する。
【０１１３】
ステップS1303では、予測画像を計算する。即ち、ステップS1501で抽出されたintra_modeを用いてCUの予測画像を計算する。
【０１１４】
ステップS1304では、コーディング残差係数ブロックを復号化する。即ち、ステップS1501で抽出された符号化残差情報に対して逆量子化、逆変換などを行い、コーディング残差係数ブロックを復号化し、復号化された残差画像を得る。
【０１１５】
ステップS1305では、再生画像を計算する。即ち、ステップS1303で計算された予測画像及びステップS1304で復号化された残差画像に基づいて、コーディングCUの再生画像を計算する。
【０１１６】
ステップS1306では、再生画像を記憶する。即ち、ステップS1305で計算されたCUの再生画像を、次の１つのCUの復号化のために記憶する。
【０１１７】
ステップS1302でutu_modeが0に等しくないと判断された場合、CUがTUに分割されていると判断し、プロセスは、ステップS1307に移行する。
【０１１８】
ステップS1307では、残差ブロックをFBからTBにマッピングし、詳細は後述する。なお、ステップS1307はオプションであり、テップS1307を要するかどうかは、CUレベルの又はよりアドバンスな語法要素中のOn/Offフラグにより制御することができる。
【０１１９】
ステップS1308では、コーディングCU中の各コーディングTUに対してステップS1309乃至S1312の処理を行う。
【０１２０】
ステップS1309では、予測画像を計算する。即ち、TUの予測画像を計算する。
【０１２１】
ステップS1310では、コーディング残差係数ブロックを復号化する。即ち、ステップS1301で抽出された符号化残差情報に対して逆量子化、逆変換などを行うことで、コーディング残差係数ブロックを復号化し、TUの復号化された残差画像を得る。
【０１２２】
ステップS1311では、再生画像を計算する。即ち、ステップS1309で計算された予測画像及びステップS1310で復号化された残差画像に基づいて、TUの再生画像を計算する。
【０１２３】
ステップS1312では、再生画像を記憶する。即ち、ステップS1311で計算されたTUの再生画像を、後続の復号化のために記憶する。
【０１２４】
全てのTUの復号化が完成した後に、プロセスは修了する。
【０１２５】
本開示の実施例による画像符号化方法に対応して、ステップS1507では、CU中のFBをTBにマッピングする方法が用いられる。
【０１２６】
復号化するための方法が提供され、該方法は、受信されたデータストリームに基づいて、第二コーディングブロックを復元し、そのうち、第二コーディングブロックは、複数の周波数成分にそれぞれ対応する複数の周波数領域ブロックを含み、且つ複数の周波数領域ブロックは、次のように配置され、即ち、比較的低い周波数成分に対応する周波数領域ブロックは、スキャニング順序上で、比較的高い周波数成分に対応する周波数領域ブロックよりも優先度が高く；第二コーディングブロックに基づいて、第一コーディングブロックを復元し、そのうち、第一コーディングブロックは、複数の変換ブロックを含み、各変換ブロックは、複数の周波数成分にそれぞれ対応する複数の要素を含み、そのうち、第二コーディングブロック中での特定周波数成分に対応する周波数領域ブロックに基づいて、それぞれ、第一コーディングブロックの各変換ブロック中での特定周波数成分に対応する要素を復元する。
【０１２７】
１つの具体例として、第二コーディングブロックは、図10中の右側に示す、複数のFBからなるCBであっても良く、第一コーディングブロックは、図10中の左側に示す、複数のTBからなるCBであっても良い。第一コーディングブロック及び第二コーディングブロックについての具体的な説明については、本開示の実施例による画像符号化方法中の記載を参照することができるため、ここでは、重複説明を省略する。該復号化方法では、先ず、受信されたデータストリームから、第二コーディングブロックを復元する。その後、第二コーディングブロック中での特定周波数成分に対応する周波数領域ブロックに基づいて、それぞれ、第一コーディングブロックの各変換ブロック中での特定周波数成分に対応する要素を復元する。例えば、図10に示すように、最低周波数成分に対応する周波数領域ブロックFB[0][0]に基づいて、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中での最低周波数成分に対応するx=0及びy=0の位置における要素をそれぞれ復元し；最高周波数成分に対応する周波数領域ブロックFB[S-1][S-1]に基づいて、それぞれ、TB[0][0]、TB[1][0]、…、TB[M-1][0]、…、TB[0][N-1]、…、TB[M-1][N-1]中での最高周波数成分に対応するx=S-1及びy=S-1の位置における要素を復元する。
【０１２８】
好ましくは、第二コーディングブロックを復元するステップは、データストリームの末尾に連続したゼロ値の要素を充填し、充填後に得られたデータストリームに基づいて、第二コーディングブロックを復元する。
【０１２９】
本開示の実施例による画像符号化方法中で記載されたように、CBを符号化する時に、一定のスキャニング順序に従ってFBをスキャニングした後に得られたデータビットストリーム中の尾部には比較的多くの連続したゼロ値の要素が存在する可能性があり、ビットレートを低減するため、データビットストリームの尾部の連続したゼロ値の要素を除去することができる。そのため、画像復号化方法では、第二コーディングブロックを復号化するため、受信されたデータストリームの末尾に連続したゼロ値の要素を充填し、充填後に得られたデータストリームに基づいて第二コーディングブロックを復元することができる。
【０１３０】
上述の画像復号化方法の実施例に対応して、本開示は、さらに、次の画像復号化装置の実施例を提供する。
【０１３１】
図14は、本開示の実施例による画像復号化装置1400の機能ブロック図である。
【０１３２】
図14に示すように、本開示の実施例の画像復号化装置1400は、画像の各フレーム内コーディングユニットに対して処理を行い、画像復号化装置1400は、抽出部1402、復元部1404及び復号部1406を含む。以下、各部の機能を詳しく説明する。
【０１３３】
抽出部1402では、画像のコーディングビットデータストリームから、モードを標識するための標識情報を抽出することができ、そのうち、該モードは、少なくとも１つの分割案を定義し、各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。
【０１３４】
本開示の実施例の画像復号化方法中で記載されたように、UTU構造では、予めフレーム内コーディングユニットの異なるモードに対応する少なくとも１つの分割案を定義している。各分割案では、フレーム内コーディングユニットは、同じサイズの変換ユニットに均等に分割することができ、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる。CUレベルのプロトコルデータでは、語法要素としての標識情報utu_modeを用いてモードを標識する。
【０１３５】
抽出部1402では、所定のCUレベルのプロトコルデータに基づいて、画像のコーディングビットデータストリームから、標識情報utu_modeを抽出することができる。
【０１３６】
好ましくは、サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含んでも良く、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上であるあ。サイズが2N×2Nのフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中での対応する位置の説明を参照できるので、ここでは、詳しい説明を省略する。
【０１３７】
好ましくは、サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1及び／又は案2を含んでも良く、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中でのそれ相応の位置の記載を参照可能であるため、ここでは、詳しい説明を省略する。
【０１３８】
好ましくは、サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1を含み、即ち、案1は、各変換ユニットのサイズが4×4に等しい。サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中での対応する位置の記載を参照することができるので、ここでは、詳しい説明を省略する。
【０１３９】
好ましくは、幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中での対応する位置の説明を参照できるため、ここでは、詳しい説明を省略する。
【０１４０】
好ましくは、幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、即ち、案1は、フレーム内コーディングユニットを直接、変換ユニットとし、案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である。幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットの分割案の具体例については、以上の画像符号化方法の実施例中でのそれ相応の位置の説明を参照できるため、ここでは、詳しい説明を省略する。
【０１４１】
好ましくは、画像の輝度成分と色度成分は、前記少なくとも１つの分割案をシェアし、又は、画像の輝度成分と色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なるものを使用する。１つの具体例として、CUの輝度成分について、分割案に対応するモードを標識するための標識情報utu_modeが既に確定されている（即ち、UTU構造が既に確定されている）とすれば、該CUの色度成分は、輝度成分と該UTU構造をシェアしても良く、又は、独立したUTU構造を用いても良い。
【０１４２】
復元部1404では、標識情報により標識されたモードに基づいて、コーディングビットデータストリームから変換ユニットを復元することができる。
【０１４３】
１つの具体例として、モードを標識するための標識情報utu_modeを抽出した後に、標識情報utu_modeにより標識されたモードに基づいて、コーディングビットデータストリームから変換ユニットを復元することができる。コーディングビットデータストリームから変換ユニットを復元する具体例については、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【０１４４】
復号部1406では、変換ユニットに基づいて画像復号化を行う。
【０１４５】
また、さららに復号化のための装置が提供され、該装置は、第二コーディングブロック復元部を含み、それは、次のように構成され、即ち、受信されたデータストリームに基づいて第二コーディングブロックを復元し、そのうち、第二コーディングブロックは、それぞれ複数の周波数成分に対応する複数の周波数領域ブロックを含み、且つ複数の周波数領域ブロックは、次のように配置され、即ち、比較的低い周波数成分に対応する周波数領域ブロックは、スキャニング順序上で、比較的高い周波数成分に対応する周波数領域ブロックよりも優先度が高く、また、前記装置は、さらに第一コーディングブロック復元部を含み、それは、次のように構成され、即ち、第二コーディングブロックに基づいて、第一コーディングブロックを復元し、そのうち、第一コーディングブロックは、複数の変換ブロックを含み、各変換ブロックは、それぞれ複数の周波数成分に対応する複数の要素を含み、そのうち、第二コーディングブロック中での特定周波数成分に対応する周波数領域ブロックに基づいて、それぞれ、第一コーディングブロックの各変換ブロック中での特定周波数成分に対応する要素を復元する。
【０１４６】
好ましくは、第二コーディングブロック復元部では、データストリームの末尾に連続したゼロ値の要素を充填し、そして、充填後に得られたデータストリームに基づいて第二コーディングブロックを復元する。
【０１４７】
第二コーディングブロックと第一コーディングブロックを復元する具体例は、上述の対応する方法の実施例中のそれ相応の位置の記載を参照することができ、ここでは、詳しい説明を省略する。
【０１４８】
なお、以上では本開示の実施例による画像符号化装置1100及び画像復号化装置1400の機能などを説明したが、これらは、例示に過ぎず、限定するものではない。また、当業者は、本開示の原理に基づいて上述の実施例を変更しても良く、例えば、各実施例中の機能モジュールに対して増加、削除又は組み合わせなどを行っても良く、このような変更は、全て、本開示の範囲に属する。
【０１４９】
また、ここでの装置の実施例は、上述の方法の実施例に対応するので、装置の実施例中で記載されていない内容は、方法の実施例中での対応する位置の説明を参照できるので、ここでは、詳しい説明を省略する描述。
【０１５０】
理解すべきは、本開示の実施例の記憶媒体及びプログラムプロダクト中でのマシン実行可能な命令は、さらに、上述の画像符号化方法及び画像復号化方法を実行するように構成されても良いので、ここで説明されていない内容は、上述の対応する記載を参照することができるので、ここでは、詳しい説明を省略する進行描述。
【０１５１】
それ相応に、上述のマシン実行可能な命令を含むプログラムプロダクトの記憶媒体も本開示の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、記憶カード、記憶スティックなどを含むが、これらに限定されない。
【０１５２】
また、上述の一連の処理及び装置は、ソフトウェア及び／又はファームウェアで実現されても良い。ソフトウェア又はファームウェアにより実現する場合、まず、記憶媒体又はネットワークから、専用ハードウェア構造を有するマシン（例えば、図15に示す汎用コンピュータ1500）に該ソフトウェア又はファームウェアのプログラムをインストールし、それから、該マシンは、各種のプログラムがインストールされている時に、上述の方法及び装置の各種の機能を実行することができる。
【０１５３】
図15は、本開示の実施例による装置及び方法を実現し得る汎用コンピュータ1500の構成図である。
【０１５４】
図15に示すように、中央処理ユニット（ＣＰＵ）1501が、リードオンリーメモリ（ＲＯＭ）1502に記憶されているプログラム、又は、記憶部1508からランダムアクセスメモリ（ＲＡＭ）1503にロードされているプログラムに基づいて各種の処理を行う。ＲＡＭ1503は、ニーズに応じて、ＣＰＵ1501が各種の処理などを実行するときに必要なデータを記憶しても良い。ＣＰＵ1501、ＲＯＭ1502及びＲＡＭ1503は、バス1504を経由して互いに接続される。また、入力／出力インターフェース1505もバス1504に接続される。
【０１５５】
入力／出力インターフェース1505には、入力部1306（キーボードやマウスなどを含む）、出力部1507（表示器、例えばＣＲＴ、ＬＣＤ、スピーカーなどを含む）、記憶部1508（ハードディスクなどを含む）、及び通信部1509（ネットワーク接続カード、例えばＬＡＮカード、モデムなどを含む）が接続される。通信部1509は、ネットワーク、例えばインターネットを経由して通信処理を行う。また、ドライブ1510がニーズに応じて入力／出力インターフェース1505に接続されても良い。また、ニーズに応じて、取り外し可能な媒体1511、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどをドライブ1510にセットすることにより、その中から読み出したコンピュータプログラムを記憶部1508にインストールしても良い。
【０１５６】
ソフトウェアにより上述の処理を実現する場合は、ネットワーク、例えばインターネット、又は記憶媒体、例えば取り外し可能な媒体1511から、このソフトウェアを構成するプログラムをインストールしても良い。
【０１５７】
なお、当業者が理解すべきは、このような記憶媒体は、その中にプログラムが記憶されており、ユーザにプログラムを提供するように装置と独立して配られる図8に示すような取り外し可能な媒体1511に限定されないということである。取り外し可能な媒体1511の例としては、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ−ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体メモリを含む。又はいは、記憶媒体はＲＯＭ1502、記憶部1508に含まれるハードディスクなどであってもよく、それらにはプログラムが記憶されており、且つそれらを含む装置とともにユーザに配られても良い。
【０１５８】
また、本開示は、マシン（例えば、コンピュータ）読取可能な命令コードからなるプログラムプロダクトにも関する。この命令コードは、マシンに読み取られて実行される時に、上述の実施例による方法を実行することができる。
【０１５９】
さらに、上述のマシン読取可能な命令コードからなるプログラムプロダクトを記憶している記憶媒体も本開示に含まれている。このような記憶媒体は、磁気ディスク（フロッピーディスク）、光ディスク、光磁気ディスク、メモリカード、メモリスティックなどを含むが、これらに限定されない。
【０１６０】
本開示の上述の実施例による方法は、明細書に記載の又は図面に図示の時間順序に従って実行することに限定されず、他の時間順序に従って、並列に又は独立して実行しても良い。よって、本明細書又は図面に記載の方法の実行順序は、本開示の技術の範囲を限定しない。
【０１６１】
また、もちろん、本開示の上述の方法の各処理プロセスは、各種のマシン可読記憶媒体に保存されたコンピュータ実行可能なプログラムの方式により実現されても良い。
【０１６２】
また、本開示の目的は、上述の実行可能なプログラムコードを記憶している記憶媒体を直接又は間接にシステム又は装置に提供し、且つ、該システム又は装置中のコンピュータ又は中央処理ユニット（CPU）が上述のプログラムコードを読み出して実行させる方式で実現されても良い。
【０１６３】
また、該システム又は装置はプログラムを実行する機能を有すれば、本開示の実施方式はプログラムに限定されず、また、該プログラムは他の任意の形式、例えば、オブジェクトプログラム、インタープリター実行用プログラム、又は、オペレーティングシステム操作システムに提供するスクリプトプログラムなどであっても良い。
【０１６４】
上述のマシン可読記憶媒体は、各種の記憶装置及び記憶ユニット、半導体装置、ディスユニット例えば光、磁気及び光磁気ディス、及び他の任意の使用可能な情報記憶媒体などであっても良い。
【０１６５】
また、クライントコンピュータが、インターネットに接続されている所定のウェブサイトを経由して、本開示の上述の実施例によるコンピュータプログラムコードをダウンロードし、コンピュータにインストールした後に、該プログラムを実行することにより、本開示を実現することもできる。
【０１６６】
また、以上の複数の実施例に関し、さらに、次のような付記も開示する。
【０１６７】
（付記1）
画像符号化方法であって、
画像の各フレーム内コーディングユニットについて、
モードを標識するための標識情報を確定し、そのうち、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されたモードに基づいて、前記フレーム内コーディングユニットを前記変換ユニットに分割し；及び
前記変換ユニットに基づいて画像符号化を行う、方法。
【０１６８】
（付記2）
付記1に記載の画像符号化方法であって、
サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１６９】
（付記3）
付記1に記載の画像符号化方法であって、
サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットのサイズが4×4に等しい、方法。
【０１７０】
（付記4）
付記1に記載の画像符号化方法であって、
サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1を含み、
案1は、各変換ユニットのサイズが4×4に等しい、方法。
【０１７１】
（付記5）
付記1に記載の画像符号化方法であって、
幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１７２】
（付記6）
付記1に記載の画像符号化方法であって、
幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１７３】
（付記7）
付記1に記載の画像符号化方法であって、
前記画像の輝度成分及び色度成分は、前記少なくとも１つの分割案をシェアし、又は、前記画像の輝度成分及び色度成分は、それぞれ、前記少なくとも１つの分割案のうちの、異なるものを使用する、方法。
【０１７４】
（付記8）
画像の各フレーム内コーディングユニットに対して処理を行う画像符号化装置であって、
モードを標識するための標識情報を確定するための確定部であって、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なる、確定部；
前記標識情報により標識されたモードに基づいて、前記フレーム内コーディングユニットを前記変換ユニットに分割するための分割部；及び
前記変換ユニットに基づいて画像符号化を行うための符号化部を含む、装置。
【０１７５】
（付記9）
付記8に記載の画像符号化装置であって、
サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、装置。
【０１７６】
（付記10）
付記8に記載の画像符号化装置であって、
サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に換ユニットとし、
案2は、各変換ユニットのサイズが4×4に等しい、装置。
【０１７７】
（付記11）
付記8に記載の画像符号化装置であって、
サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1を含み、
案1は、各変換ユニットのサイズが4×4に等しい、装置。
【０１７８】
（付記12）
付記8に記載の画像符号化装置であって、
幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、装置。
【０１７９】
（付記13）
付記8に記載の画像符号化装置であって、
幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、装置。
【０１８０】
（付記14）
画像復号化方法であって、
画像の各フレーム内コーディングユニットについて、
前記画像のコーディングビットデータストリームから、モードを標識するための標識情報を抽出し、前記モードは、少なくとも１つの分割案を定義し、各前記分割案では、前記フレーム内コーディングユニットが、同じサイズの変換ユニットに均等に分割され、異なる分割案の下で分割された変換ユニットのサイズは、互いに異なり；
前記標識情報により標識されたモードに基づいて、前記コーディングビットデータストリームから前記変換ユニットを復元し；及び
前記変換ユニットに基づいて画像復号化を行う、方法。
【０１８１】
（付記15）
付記14に記載の画像復号化方法であって、
サイズが2N×2Nのフレーム内コーディングユニットについて、Nは8の整数倍であり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１８２】
（付記16）
付記14に記載の画像復号化方法であって、
サイズが8×8であり、且つ予測ユニットに分割されないフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットのサイズが4×4に等しい、方法。
【０１８３】
（付記17）
付記14に記載の画像復号化方法であって、
サイズが8×8であり、且つ4個のサイズが4×4の予測ユニットに分割されるフレーム内コーディングユニットについて、前記少なくとも１つの分割案は、次の案1を含み、
案1は、各変換ユニットのサイズが4×4に等しい、方法。
【０１８４】
（付記18）
付記14に記載の画像復号化方法であって、
幅が2mで且つ長さが2nの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１８５】
（付記19）
付記14に記載の画像復号化方法であって、
幅が2nで且つ長さが2mの長方形のフレーム内コーディングユニットについて、m＞nであり、前記少なくとも１つの分割案は、次の案1及び／又は案2を含み、
案1は、前記フレーム内コーディングユニットを直接的に変換ユニットとし、
案2は、各変換ユニットが正方形であり、且つ各変換ユニットのサイズが4×4以上である、方法。
【０１８６】
（付記20）
付記14に記載の画像復号化方法であって、
前記画像の輝度成分及び色度成分は、前記少なくとも１つの分割案をシェアし、又は、前記画像の輝度成分及び色度成分は、それぞれ、前記少なくとも１つの分割案のうちの異なるものを使用する、方法。
【０１８７】
以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は本開示の技術的範囲に属する。
【図１】
2018201188.tif 000003
【図２】
2018201188.tif 000004
【図３】
2018201188.tif 000005
【図４】
2018201188.tif 000006
【図５】
2018201188.tif 000007
【図６】
2018201188.tif 000008
【図７】
2018201188.tif 000009
【図８】
2018201188.tif 000010
【図９】
2018201188.tif 000011
【図１０】
2018201188.tif 000012
【図１１】
2018201188.tif 000013
【図１２】
2018201188.tif 000014
【図１３】
2018201188.tif 000015
【図１４】
2018201188.tif 000016
【図１５】
2018201188.tif 000017