(57)【要約】  本発明によるデコード装置により行われる画像デコード方法は、現ブロックに対する予測を行って予測サンプルを導出するステップと、上記現ブロックのサイズおよび最大変換サイズに基づいて上記現ブロックが分割されるか否かを判断するステップと、上記現ブロックが分割されると判断した場合、上記現ブロックを変換ブロックに分割するステップと、上記変換ブロックに対する変換係数を導出するステップと、上記変換係数に対する逆変換過程を行って残差サンプルを導出するステップと、上記残差サンプルおよび上記予測サンプルに基づいて復元ピクチャを生成するステップと、を有し、上記現ブロックのサイズが上記最大変換サイズより大きい場合、上記現ブロックが分割されると判断されることを特徴とする。【選択図】図９
2021502771.tif 000002
【特許請求の範囲】
【請求項１】
デコード装置により行われる画像デコード方法であって、
現ブロックに対する予測を行って予測サンプルを導出するステップと、
前記現ブロックのサイズおよび最大変換サイズに基づいて前記現ブロックが分割されるか否かを判断するステップと、
前記現ブロックが分割されると判断した場合、前記現ブロックを変換ブロックに分割するステップと、
前記変換ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆変換過程を行って残差サンプルを導出するステップと、
前記残差サンプルおよび前記予測サンプルに基づいて復元ピクチャを生成するステップと、を有し、
前記現ブロックのサイズが前記最大変換サイズより大きい場合、前記現ブロックが分割されると判断される、ことを特徴とする画像デコード方法。
【請求項２】
前記現ブロックのサイズが前記最大変換サイズより大きい場合とは、前記現ブロックの幅および高さの少なくとも１つが前記最大変換サイズより大きい場合を示す、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項３】
前記現ブロックの幅がＷであり、前記現ブロックの幅が前記最大変換サイズより大きい場合、前記変換ブロックの幅は、Ｗ／２として導出される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項４】
前記現ブロックの高さがＨであり、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記変換ブロックの高さは、Ｈ／２として導出される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項５】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きくない場合、前記現ブロックは、（Ｗ／２）×Ｈサイズの変換ブロックに分割される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項６】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きくなく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、Ｗ×（Ｈ／２）サイズの変換ブロックに分割される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項７】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、（Ｗ／２）×（Ｈ／２）サイズの変換ブロックに分割される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項８】
前記現ブロックが非正方形ブロックであり、前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きくない場合、前記現ブロックは、Ｈ×Ｈサイズの変換ブロックに分割される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項９】
前記現ブロックが非正方形ブロックであり、前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きくなく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、Ｗ×Ｗサイズの変換ブロックに分割される、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項１０】
前記現ブロックのサイズは、１２８×１２８であり、前記最大変換サイズは、６４である、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項１１】
前記最大変換サイズは、変換カーネル（kernels）のうちの最大変換カーネルのサイズである、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項１２】
前記復元ピクチャ内の前記変換ブロックの境界に隣接する領域に位置する復元サンプルに対してデブロックフィルタリングを行うステップを有する、ことを特徴とする請求項１に記載の画像デコード方法。
【請求項１３】
エンコード装置により行われる画像エンコード方法であって、
現ブロックに対する予測を行って予測サンプルを導出するステップと、
前記現ブロックに対する前記予測サンプルおよびオリジナルサンプルに基づいて残差サンプルを導出するステップと、
前記現ブロックのサイズおよび最大変換サイズに基づいて前記現ブロックが分割されるか否かを判断するステップと、
前記現ブロックが分割されると判断した場合、前記現ブロックを変換ブロックに分割するステップと、
各変換ブロックに有される残差サンプルに対する変換過程を行って変換係数を導出するステップと、
前記変換係数に対する量子化過程を行って量子化された変換係数を導出するステップと、
前記量子化された変換係数に関する情報を有する画像情報をエンコードするステップと、を有し、
前記現ブロックのサイズが前記最大変換サイズより大きい場合、前記現ブロックが分割されると判断される、ことを特徴とする画像エンコード方法。
【請求項１４】
前記現ブロックの幅がＷであり、前記現ブロックの幅が前記最大変換サイズより大きい場合、前記変換ブロックの幅は、Ｗ／２として導出される、ことを特徴とする請求項１３に記載の画像エンコード方法。
【請求項１５】
前記現ブロックの高さがＨであり、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記変換ブロックの高さは、Ｈ／２として導出される、ことを特徴とする請求項１３に記載の画像エンコード方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像コーディング技術に関し、より詳細には、画像コーディングシステムにおいてブロックサイズに応じた変換を使用する画像デコード方法および装置に関する。
【背景技術】
【０００２】
最近、ＨＤ（High Definition）映像およびＵＨＤ（Ultra High Definition）映像などの高解像度、高品質の映像に対する需要が多様な分野において増加しつつある。映像データが高解像度、高品質になるほど、従来の映像データに比べて相対的に転送される情報量またはビット量が増加するので、従来の有無線広帯域回線のような媒体を利用して映像データを転送するか、または従来の記憶（格納）媒体を利用して映像データを記憶する場合、転送コスト（費用）および記憶コストが増加する。
【０００３】
そのため、高解像度、高品質映像の情報を効果的に転送または記憶し、再生するために、高効率の映像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の技術的課題は、画像コーディング効率を高める方法および装置を提供することにある。
【０００５】
本発明の他の技術的課題は、ブロックサイズおよび変換カーネルサイズに応じてブロックを分割し、分割されたブロック単位で変換を行う方法および装置を提供することにある。
【０００６】
本発明の他の技術的課題は、ブロックサイズおよび変換カーネルのサイズに応じてブロックを分割し、分割されたブロック構造に応じてデブロックフィルタリングを行う方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態によれば、デコード装置により行われる画像デコード方法が提供される。この方法は、現（現在）（current）ブロックに対する予測を行って予測サンプルを導出するステップと、現ブロックのサイズおよび最大変換サイズに基づいて現ブロックが分割されるか否かを判断（決定）する（determining）ステップと、現ブロックが分割されると判断した場合、現ブロックを変換ブロックに分割するステップと、変換ブロックに対する変換係数を導出するステップと、変換係数に対する逆変換過程（処理）（process）を行って残差（レジデュアル）サンプルを導出するステップと、残差サンプルおよび予測サンプルに基づいて復元ピクチャを生成するステップと、を有し、現ブロックのサイズが最大変換サイズより大きい場合、現ブロックが分割されると判断されることを特徴とする。
【０００８】
本発明の他の実施形態によれば、画像デコードを行うデコード装置が提供される。デコード装置は、現ブロックに対する予測を行って予測サンプルを導出する予測部と、現ブロックのサイズおよび最大変換サイズに基づいて現ブロックが分割されるか否かを判断し、現ブロックが分割されると判断した場合、現ブロックを変換ブロックに分割し、変換ブロックに対する変換係数を導出し、変換係数に対する逆変換過程を行って残差サンプルを導出する逆変換部と、残差サンプルおよび予測サンプルに基づいて復元ピクチャを生成する加算部と、を有し、現ブロックのサイズが最大変換サイズより大きい場合、現ブロックが分割されると判断されることを特徴とする。
【０００９】
本発明のさらに他の実施形態によれば、エンコード装置により行われるビデオエンコード方法を提供する。この方法は、現ブロックに対する予測を行って予測サンプルを導出するステップと、現ブロックに対する予測サンプルおよびオリジナル（原本）（original）サンプルに基づいて残差サンプルを導出するステップと、現ブロックのサイズおよび最大変換サイズに基づいて現ブロックが分割されるか否かを判断するステップと、現ブロックが分割されると判断した場合、現ブロックを変換ブロックに分割するステップと、各変換ブロックに有される残差サンプルに対する変換過程を行って変換係数を導出するステップと、変換係数に対する量子化過程を行って量子化された変換係数を導出するステップと、量子化された変換係数に関する情報を有する画像情報をエンコードするステップと、を有し、現ブロックのサイズが最大変換サイズより大きい場合、現ブロックが分割されると判断されることを特徴とする。
【００１０】
本発明のさらに他の実施形態によれば、ビデオエンコード装置を提供する。エンコード装置は、現ブロックに対する予測を行って予測サンプルを導出する予測部と、現ブロックに対する予測サンプルおよびオリジナルサンプルに基づいて残差サンプルを導出する減算部と、現ブロックのサイズおよび最大変換サイズに基づいて現ブロックが分割されるか否かを判断し、現ブロックが分割されると判断した場合、現ブロックを変換ブロックに分割し、各変換ブロックに有される残差サンプルに対する変換過程を行って変換係数を導出する変換部と、変換係数に対する量子化過程を行って量子化された変換係数を導出する量子化部と、量子化された変換係数に関する情報を有する画像情報をエンコードするエントロピエンコード部と、を有し、現ブロックのサイズが最大変換サイズより大きい場合、現ブロックが分割されると判断されることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、現ブロックの少なくとも一辺が最大変換サイズより大きい場合、別途の分割情報なしで上記現ブロックを分割が最小となるサイズの変換ブロックに分割し、これにより分割情報のためのビット数を減らすことができ、デコード装置における計算の複雑度を減らして全般的なコーディング効率を向上させることができる。
【００１２】
本発明によれば、現ブロックの少なくとも一辺が最大変換サイズより大きい場合、別途の分割情報なしで上記現ブロックを分割が最小となるサイズの変換ブロックに分割し、分割された変換ブロックの境界にデブロックフィルタリングを行うことができるので、これにより分割情報のためのビット数を減らすことができ、画像の主観的／客観的画質を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図である。
【図２】本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図である。
【図３】変換カーネルの最大サイズが６４×６４サイズである場合、１２８×１２８サイズの現ブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す図である。
【図４】変換カーネルの最大サイズが６４×６４サイズである場合、６４×１２８サイズのブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す図である。
【図５】変換カーネルの最大サイズが６４×６４サイズである場合、ＣＴＵからＴＴ構造により分割されたサブブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す図である。
【図６】３つのサブブロックに分割されたＣＴＵに対する逆変換およびデブロックフィルタリング過程を例示的に示す図である。
【図７】本発明に従うエンコード装置による画像エンコード方法を概略的に示す図である。
【図８】本発明に従う画像エンコード方法を行うエンコード装置を概略的に示す図である。
【図９】本発明に従うデコード装置による画像デコード方法を概略的に示す図である。
【図１０】本発明に従う画像デコード方法を行うデコード装置を概略的に示す図である。
【発明を実施するための形態】
【００１４】
本発明は、多様な変更を加えることができ、さまざまな実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本発明を特定の実施形態に対して限定しようとするものではない。本明細書で使用する用語は、単に特定の実施形態を説明するために使われるものであって、本発明の技術的思想を限定しようとする意図で使われるものではない。単数の表現は、文脈上、明白に異なる意味として使用されない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つもしくは複数の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものの存在または付加可能性を予め排除しないものであると理解されるべきである。
【００１５】
一方、本発明で説明される図面上の各構成は、ビデオエンコード装置／デコード装置で互いに異なる特徴的な機能に関する説明の便宜のために独立して図示されたものであって、各構成が互いに別のハードウェアや別のソフトウェアで具現されることを意味しない。例えば、各構成のうち、２つ以上の構成が合わさって１つの構成をなすこともでき、１つの構成が複数の構成に分けられることもできる。各構成が統合および／または分離された実施形態も本発明の本質から逸脱しない限り、本発明の権利範囲に含まれる。
【００１６】
以下、添付した図面を参照して、本発明の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複した説明は省略する。
【００１７】
一方、本発明は、ビデオ／画像コーディングに関する。例えば、本発明において開示される方法／実施形態は、ＶＶＣ（Versatile Video Coding）標準または次世代ビデオ／イメージコーディング標準に開示された方法に適用できる。
【００１８】
本明細書において、ピクチャ（picture）は、一般的に特定時間帯の１つの画像を示す単位を意味し、スライス（slice）は、コーディングにおいてピクチャの一部を構成する単位である。１つのピクチャは、複数のスライスで構成されることができ、必要によって、ピクチャおよびスライスは、互いに混用されて使われることができる。
【００１９】
ピクセル（pixel）またはペル（pel）は、１つのピクチャ（または、画像）を構成する最小の単位を意味する。また、特定のピクセルの値を示す用語として「サンプル（sample）」が使われることができる。サンプルは、一般的にピクセルの値を示すことができ、輝度（luma）成分のピクセル値のみを示すこともでき、彩度（chroma）成分のピクセル値のみを示すこともできる。
【００２０】
ユニット（unit）は、画像処理の基本単位を示す。ユニットは、ピクチャの特定領域および該当領域に関連する情報のうちの少なくとも１つを含むことができる。ユニットは、場合によって、ブロック（block）または領域（area）などの用語と混用して使われることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列およびＮ個の行からなるサンプルまたは変換係数（transform coefficient）のセットを示すことができる。
【００２１】
図１は、本発明が適用されることができるビデオエンコード装置の構成を概略的に説明する図面である。
【００２２】
図１に示すように、ビデオエンコード装置１００は、ピクチャ分割部１０５、予測部１１０、残差処理部１２０、エントロピエンコード部１３０、加算部１４０、フィルタ部１５０、およびメモリ１６０を含むことができる。残差処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５、および逆変換部１２６を含むことができる。
【００２３】
ピクチャ分割部１０５は、入力されたピクチャを少なくとも１つの処理ユニット（processing unit）に分割できる。
【００２４】
一例として、処理ユニットは、コーディングユニット（Coding Unit：ＣＵ）と呼ばれる。この場合、コーディングユニットは、最大コーディングユニット（Largest Coding Unit：ＬＣＵ）からＱＴＢＴ（Quad-Tree Binary-Tree）構造によって再帰的に（recursively）分割されることができる。例えば、１つのコーディングユニットは、四分木（クアッドツリー）構造および／または二分木（バイナリツリー）構造に基づいて下位（deeper）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、四分木構造が先に適用され、二分木構造が後で適用されることができる。あるいは、二分木構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて、本発明によるコーディング手順が行われることができる。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または必要によって、コーディングユニットは、再帰的に（recursively）より下位デプスのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして使われることができる。ここで、コーディング手順とは、後述する予測、変換、および復元などの手順を含むことができる。
【００２５】
他の例として、処理ユニットは、コーディングユニット（Coding Unit：ＣＵ）、予測ユニット（Prediction Unit：ＰＵ）または変換ユニット（Transform Unit：ＴＵ）を含むこともできる。コーディングユニットは、最大コーディングユニット（Largest Coding Unit：ＬＣＵ）から四分木構造によって下位（deeper）デプスのコーディングユニットに分割（split）されることができる。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使われることができ、または必要によって、コーディングユニットは、再帰的に（recursively）より下位のデプスのコーディングユニットに分割されて、最適なサイズのコーディングユニットが最終コーディングユニットとして使われることができる。最小コーディングユニット（Smallest Coding Unit：ＳＣＵ）が設定された場合、コーディングユニットは、最小コーディングユニットより小さいコーディングユニットに分割されることができない。ここで、最終コーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割されるベース（基盤）となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（partitioning）されるユニットであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロック（subblock）に分けられることもできる。変換ユニットは、コーディングユニットから四分木構造によって分割されることができ、変換係数を導出（誘導）するユニットおよび／または変換係数から残差信号（residual signal）を導出するユニットである。以下、コーディングユニットはコーディングブロック（Coding Block：ＣＢ）、予測ユニットは予測ブロック（Prediction Block：ＰＢ）、変換ユニットは変換ブロック（Transform Block：ＴＢ）と呼ばれる。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定領域を意味し、予測サンプルのアレイ（array）を含むことができる。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定領域を意味し、変換係数または残差サンプルのアレイを含むことができる。
【００２６】
予測部１１０は、処理対象ブロック（以下、現（現在）（current）ブロックという）に対する予測を実行し、上記現ブロックに対する予測サンプルを含む予測ブロックを生成することができる。予測部１１０で行われる予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
【００２７】
予測部１１０は、現ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定することができる。一例として、予測部１１０は、ＣＵ単位でイントラ予測またはインター予測が適用されるかを決定することができる。
【００２８】
イントラ予測の場合、予測部１１０は、現ブロックが属するピクチャ（以下、現ピクチャ）内の現ブロック外部の参照サンプルに基づいて現ブロックに対する予測サンプルを導出することができる。このとき、予測部１１０は、（ｉ）現ブロックの隣接（neighboring）参照サンプルの平均（average）または補間（interpolation）に基づいて予測サンプルを導出することができ、（ｉｉ）現ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて上記予測サンプルを導出することもできる。（ｉ）の場合、非方向性モードまたは非角度モードと呼ばれ、（ｉｉ）の場合、方向性（directional）モードまたは角度（angular）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個以上の非方向性モードとを有することができる。非方向性モードは、ＤＣ予測モードおよびプラナーモード（Ｐｌａｎａｒモード）を含むことができる。予測部１１０は、隣接ブロックに適用された予測モードを利用することで、現ブロックに適用される予測モードを決定することもできる。
【００２９】
インター予測の場合、予測部１１０は、参照ピクチャ上で動きベクトルにより特定されるサンプルに基づいて、現ブロックに対する予測サンプルを導出することができる。予測部１１０は、スキップ（skip）モード、マージ（merge）モード、およびＭＶＰ（Motion Vector Prediction）モードのうちのいずれか１つを適用して現ブロックに対する予測サンプルを導出することができる。スキップモードおよびマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現ブロックの動き情報として利用できる。スキップモードの場合、マージモードと違って予測サンプルとオリジナルサンプルとの間の差（残差）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを、動きベクトル予測子（Motion Vector Predictor）として利用し、現ブロックの動きベクトル予測子として利用して現ブロックの動きベクトルを導出することができる。
【００３０】
インター予測の場合、隣接ブロックは、現ピクチャ内に存在する空間的隣接ブロック（spatial neighboring block）と、参照ピクチャ（reference picture）に存在する時間的隣接ブロック（temporal neighboring block）と、を含むことができる。上記時間的隣接ブロックを含む参照ピクチャは、コロケート（同一位置）ピクチャ（collocated picture、ｃｏｌＰｉｃ）とも呼ばれる。動き情報（motion information）は、動きベクトルおよび参照ピクチャインデックスを含むことができる。予測モード情報および動き情報などの情報は、（エントロピ）エンコードされてビットストリーム形態で出力されることができる。
【００３１】
スキップモードおよびマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャリスト（reference picture list）上の最上位ピクチャが参照ピクチャとして利用されることもできる。参照ピクチャリスト（Picture Order Count）に含まれる参照ピクチャは、現ピクチャと該当参照ピクチャとの間のＰＯＣ（Picture Order Count）の差に基づいて整列されることができる。ＰＯＣは、ピクチャの表示（ディスプレイ）順序に対応し、コーディング順序と区別（区分）される（discriminated）ことができる。
【００３２】
減算部１２１は、オリジナルサンプルと予測サンプルとの間の差である残差サンプルを生成する。スキップモードが適用される場合には、前述したように残差サンプルを生成しない。
【００３３】
変換部１２２は、変換ブロック単位で残差サンプルを変換して変換係数（transform coefficient）を生成する。変換部１２２は、該当変換ブロックのサイズと、該当変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードと、によって変換を行うことができる。例えば、上記変換ブロックと重なる上記コーディングブロックまたは上記予測ブロックにイントラ予測が適用され、上記変換ブロックが４×４の残差アレイ（array）の場合、残差サンプルは、ＤＳＴ（Discrete Sine Transform）変換カーネルを利用して変換され、その他の場合、残差サンプルは、ＤＣＴ（Discrete Cosine Transform）変換カーネルを利用して変換できる。
【００３４】
量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成することができる。
【００３５】
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャン（scanning）方法を介してブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。
【００３６】
エントロピエンコード部１３０は、量子化された変換係数に対するエントロピエンコードを行うことができる。エントロピエンコードは、例えば、指数ゴロム（exponential Golomb）、ＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、ＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）などのエンコード方法を含むことができる。エントロピエンコード部１３０は、量子化された変換係数以外にビデオ復元に必要な情報（例えば、シンタックス要素（syntax element）の値など）を共にまたは別途にエンコードすることもできる。エントロピエンコードされた情報は、ビットストリーム形態でＮＡＬ（Network Abstraction Layer）ユニット単位に送信または記憶されることができる。
【００３７】
逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換して残差サンプルを生成する。
【００３８】
加算部１４０は、残差サンプルと予測サンプルとを合わせてピクチャを復元する。残差サンプルと予測サンプルとは、ブロック単位に加えられて復元ブロックが生成されることができる。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部または復元ブロック生成部とも呼ばれる。
【００３９】
復元されたピクチャ（reconstructed picture）に対して、フィルタ部１５０は、デブロッキングフィルタおよび／またはサンプル適応オフセット（sample adaptive offset）を適用することができる。デブロックフィルタリングおよび／またはサンプル適応オフセットを介して、復元ピクチャ内のブロック境界のアーチファクトや量子化過程における歪曲が補正されることができる。サンプル適応オフセットは、サンプル単位に適用されることができ、デブロックフィルタリングの過程が完了した後に適用されることができる。フィルタ部１５０は、ＡＬＦ（Adaptive Loop Filter）を復元されたピクチャに適用することもできる。ＡＬＦは、デブロッキングフィルタおよび／またはサンプル適応オフセットが適用された後の復元されたピクチャに対して適用されることができる。
【００４０】
メモリ１６０は、復元ピクチャ（デコードされたピクチャ）またはエンコーディング／デコーディングに必要な情報を記憶することができる。ここで、復元ピクチャは、上記フィルタ部１５０によりフィルタリング手順が完了した復元ピクチャである。上記記憶された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されることができる。例えば、メモリ１６０は、インター予測に使われる（参照）ピクチャを記憶することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセット（reference picture set）または参照ピクチャリスト（reference picture list）により指定されることができる。
【００４１】
図２は、本発明が適用されることができるビデオデコード装置の構成を概略的に説明する図面である。
【００４２】
図２に示すように、ビデオデコード装置２００は、エントロピデコード部２１０、残差処理部２２０、予測部２３０、加算部２４０、フィルタ部２５０およびメモリ２６０を含むことができる。ここで、残差処理部２２０は、再整列部２２１、逆量子化部２２２、逆変換部２２３を含むことができる。
【００４３】
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置２００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。
【００４４】
例えば、ビデオデコード装置２００は、ビデオエンコード装置で適用された処理ユニットを利用してビデオデコードを行うことができる。したがって、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであり、他の例としてコーディングユニット、予測ユニットまたは変換ユニットである。コーディングユニットは、最大コーディングユニットから四分木構造および／または二分木構造によって分割されることができる。
【００４５】
予測ユニットおよび変換ユニットが場合によってさらに使用されることができ、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットである。このとき、予測ユニットは、サブブロックに分けられることもできる。変換ユニットは、コーディングユニットから四分木構造によって分割されることができ、変換係数を導出するユニットまたは変換係数から残差信号を導出するユニットである。
【００４６】
エントロピデコード部２１０は、ビットストリームをパージングしてビデオ復元またはピクチャ復元に必要な情報を出力することができる。例えば、エントロピデコード部２１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、ビデオ復元に必要なシンタックスエレメントの値、残差に対する変換係数の量子化された値を出力することができる。
【００４７】
より詳細には、ＣＡＢＡＣエントロピデコード方法は、ビットストリームで各シンタックス要素に該当するＢＩＮを受信し、デコーディング対象シンタックス要素情報と隣接およびデコーディング対象ブロックのデコーディング情報または以前のステップでデコードされたシンボル／ＢＩＮの情報とを利用してコンテキスト（文脈）（context）モデルを決定し、決定されたコンテキストモデルによってＢＩＮの発生確率を予測してＢＩＮの算術復号（デコーディング）（arithmetic decoding）を実行して、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピデコード方法は、コンテキストモデルの決定後、次のシンボル／ＢＩＮのコンテキストモデルのためにデコードされたシンボル／ＢＩＮの情報を利用してコンテキストモデルをアップデートすることができる。
【００４８】
エントロピデコード部２１０でデコードされた情報のうち予測に関する情報は、予測部２３０に提供され、エントロピデコード部２１０でエントロピデコードが行われた残差値、即ち、量子化された変換係数は、再整列部２２１に入力されることができる。
【００４９】
再整列部２２１は、量子化されている変換係数を２次元のブロック形態で再整列できる。再整列部２２１は、エンコード装置で行われた係数スキャンに対応して再整列を行うことができる。ここで、再整列部２２１は、別途の構成で説明したが、逆量子化部２２２の一部であってもよい。
【００５０】
逆量子化部２２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを導出するための情報は、エンコード装置からシグナリングされることができる。
【００５１】
逆変換部２２３は、変換係数を逆変換して残差サンプルを導出することができる。
【００５２】
予測部２３０は、現ブロックに対する予測を行い、上記現ブロックに対する予測サンプルを含む予測ブロックを生成することができる。予測部２３０で行われる予測の単位は、コーディングブロック、または変換ブロック、または予測ブロックである。
【００５３】
予測部２３０は、イントラ予測を適用するか、インター予測を適用するかを決定することができる。このとき、イントラ予測およびインター予測のうちのいずれを適用するかを決定する単位と予測サンプルを生成する単位とは異なる。併せて、インター予測とイントラ予測とにおいて、予測サンプルを生成する単位も異なる。例えば、インター予測およびイントラ予測のうちのいずれを適用するかは、ＣＵ単位に決定できる。また、例えば、インター予測において、ＰＵ単位に予測モードを決定して予測サンプルを生成することができ、イントラ予測において、ＰＵ単位に予測モードを決定して、ＴＵ単位に予測サンプルを生成することもできる。
【００５４】
イントラ予測の場合に、予測部２３０は、現ピクチャ内の隣接参照サンプルに基づいて現ブロックに対する予測サンプルを導出することができる。予測部２３０は、現ブロックの隣接参照サンプルに基づいて方向性モードまたは非方向性モードを適用して現ブロックに対する予測サンプルを導出することができる。このとき、隣接ブロックのイントラ予測モードを利用して現ブロックに適用する予測モードが決定されることもできる。
【００５５】
インター予測の場合、予測部２３０は、動きベクトルにより参照ピクチャ上で特定されるサンプルに基づいて、現ブロックに対する予測サンプルを導出することができる。予測部２３０は、スキップ（skip）モード、マージ（merge）モードおよびＭＶＰモードのうちのいずれか１つを適用することで、現ブロックに対する予測サンプルを導出することができる。このとき、ビデオエンコード装置で提供された現ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックスなどに関する情報は、上記予測に関する情報に基づいて取得または導出されることができる。
【００５６】
スキップモードおよびマージモードの場合、隣接ブロックの動き情報が現ブロックの動き情報として利用されることができる。このとき、隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを含むことができる。
【００５７】
予測部２３０は、使用可能な隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上で指示する情報を現ブロックの動きベクトルとして使用することができる。マージインデックスは、エンコード装置からシグナリングされることができる。動き情報は、動きベクトルおよび参照ピクチャを含むことができる。スキップモードおよびマージモードで時間的隣接ブロックの動き情報が利用される場合、参照ピクチャ上の最上位ピクチャが参照ピクチャとして利用されることができる。
【００５８】
スキップモードの場合、マージモードと違って予測サンプルとオリジナルサンプルとの間の差（残差）が送信されない。
【００５９】
ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（motion vector predictor）として利用して現ブロックの動きベクトルが導出されることができる。このとき、隣接ブロックは、空間的隣接ブロックおよび時間的隣接ブロックを含むことができる。
【００６０】
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、マージ候補リストが生成されることができる。マージモードでは、マージ候補リストから選択された候補ブロックの動きベクトルが現ブロックの動きベクトルとして使われる。上記予測に関する情報は、上記マージ候補リストに含まれている候補ブロックの中から選択された最適な動きベクトルを有する候補ブロックを指示するマージインデックスを含むことができる。このとき、予測部２３０は、上記マージインデックスを利用することで、現ブロックの動きベクトルを導出することができる。
【００６１】
他の例として、ＭＶＰ（Motion Vector Prediction）モードが適用される場合、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを利用し、動きベクトル予測子候補リストが生成されることができる。即ち、復元された空間的隣接ブロックの動きベクトルおよび／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として使われることができる。上記予測に関する情報は、上記リストに含まれている動きベクトル候補の中から選択された最適な動きベクトルを指示する予測動きベクトルインデックスを含むことができる。このとき、予測部２３０は、上記動きベクトルインデックスを利用し、動きベクトル候補リストに含まれている動きベクトル候補の中から、現ブロックの予測動きベクトルを選択することができる。エンコード装置の予測部は、現ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求めることができ、これをエンコードしてビットストリーム形態で出力できる。即ち、ＭＶＤは、現ブロックの動きベクトルから上記動きベクトル予測子を引いた値として求められる。このとき、予測部２３０は、上記予測に関する情報に含まれている動きベクトル差分を取得し、上記動きベクトル差分と上記動きベクトル予測子との加算を介して現ブロックの上記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックスなどを上記予測に関する情報から取得または導出できる。
【００６２】
加算部２４０は、残差サンプルと予測サンプルとを加算して現ブロックまたは現ピクチャを復元することができる。加算部２４０は、残差サンプルと予測サンプルとをブロック単位に加算して現ピクチャを復元することもできる。スキップモードが適用された場合には残差が送信されないため、予測サンプルが復元サンプルになることができる。ここで、加算部２４０は、別途の構成で説明したが、予測部２３０の一部であってもよい。一方、加算部２４０は、復元部または復元ブロック生成部とも呼ばれる。
【００６３】
フィルタ部２５０は、復元されたピクチャにデブロックフィルタリングサンプル適応オフセット、および／またはＡＬＦなどを適用することができる。このとき、サンプル適応オフセットは、サンプル単位に適用されることができ、デブロックフィルタリング以後に適用されることもできる。ＡＬＦは、デブロックフィルタリングおよび／またはサンプル適応オフセット以後に適用されることもできる。
【００６４】
メモリ２６０は、復元ピクチャ（デコードされたピクチャ）またはデコーディングに必要な情報を記憶することができる。ここで、復元ピクチャは、上記フィルタ部２５０によるフィルタリング手順が完了した復元ピクチャである。例えば、メモリ２６０は、インター予測に使われるピクチャを記憶することができる。このとき、インター予測に使われるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されることもできる。復元されたピクチャは、他のピクチャに対する参照ピクチャとして利用されることができる。また、メモリ２６０は、復元されたピクチャを出力順序によって出力することもできる。
【００６５】
一方、前述した内容のように画像に対するエンコードおよびデコードを行うにおいて、上記画像は、小さいサイズのブロックに分割され、ブロック単位でエンコード／デコードが行われる。この場合、分割されたブロックのサイズならびに／または形状（例えば、正方形ブロックもしくは非正（定）方形（non-square）ブロック）などに関する情報がエンコード装置からデコード装置に伝達され、これにより、エンコード装置において行われた分割過程がデコード装置において同一に行われることができる。例えば、ピクチャ内のブロックの最大サイズおよび最小サイズは、エンコード装置において定義され、上記ピクチャ内のブロックの最大サイズを示す情報および上記最小サイズを示す情報は、画像の付加情報を送信するＶＰＳ（Video Parameter Set）、ＳＰＳ（Sequence Parameter Set）、ＰＰＳ（Picture Parameter Set）、スライスセグメントヘッダ（Slice segment header）またはコーディングユニットヘッダ（Coding unit header）などのハイレベルシンタックス（High level syntax）を介して伝達される。
【００６６】
最大ブロックサイズが決定された場合、上記最大サイズのブロック（すなわち、最大ブロック）は、分割構造によって再帰的にさらに下位デプス（depth）のサブブロックに分割される。上記分割構造は、ブロック分割方法によってＱＴ（Quad Tree）構造、ＢＴ（Binary Tree）構造、ＴＴ（Ternary Tree）構造および／またはＡＢＴ構造（Asymmetric binary tree）構造を含む。上記最大ブロックが分割された場合、予測および変換は、分割されたブロック単位で行われる。例えば、最大ブロックサイズが１２８×１２８サイズと定義され、上記最大ブロックがＱＴ構造によって６４×６４サイズの４つのサブブロックに最終分割された場合、上記最大ブロックに対する予測単位および変換単位は、全て６４×６４サイズとして定義され、上記サブブロック単位で復元される。
【００６７】
一方、上記最大ブロックは、ＣＴＵ（Coding Tree Unit）またはＬＣＵ（Largest Coding Unit：ＬＣＵ）と表すことができる。また、上記ＱＴ構造は、Ｗ×Ｈサイズのブロックが４つの（Ｗ／２）×（Ｈ／２）サイズのサブブロックに分割される構造を示す。また、上記ＢＴ構造は、Ｗ×Ｈサイズのブロックが２つの（Ｗ／２）×Ｈサイズのサブブロック、または２つのＷ×（Ｈ／２）サイズのサブブロックに分割される構造を示す。また、上記ＴＴ構造は、Ｗ×Ｈサイズのブロックが２つの（Ｗ／４）×Ｈサイズのサブブロックおよび（１つの）（Ｗ／２）×Ｈサイズのサブブロック、または２つのＷ×（Ｈ／４）サイズのサブブロックおよびＷ×（Ｈ／２）サイズのサブブロックに分割される構造を示す。また、上記ＡＢＴ構造は、Ｗ×Ｈサイズのブロックが（Ｗ／ｎ）×Ｈサイズのサブブロックおよび（（ｎ−１）＊Ｗ／ｎ）×Ｈサイズのサブブロック、またはＷ×（Ｈ／ｎ）サイズのサブブロックおよびＷ×（（ｎ−１）Ｈ／ｎ）サイズのサブブロックに分割される構造を示す。ここで、例えば、上記ｎは４であり得る。
【００６８】
一方、前述したように、残差サンプルは、特定サイズの変換カーネルを用いて変換されて変換係数が導出され、また、デコード装置においては、上記変換係数が上記特定サイズの上記変換カーネルを用いて逆変換されて上記残差サンプルが導出される。したがって、上記変換カーネルのサイズは、上記変換過程の単位サイズが考慮されることができる。
【００６９】
したがって、ブロックを分割する過程および変換カーネルを決定する過程において上記変換カーネルのサイズおよび上記最大ブロックのサイズなどが考慮され、これにより、現ブロックに関する付加情報のビット量を減らすことができる。
【００７０】
例えば、本発明は、一実施形態として、最大ブロック（すなわち、ＣＴＵ）のサイズが最大変換カーネルのサイズより大きい場合におけるブロック変換方法を提案する。ここで、最大変換カーネルは、変換カーネルのうちの最大サイズの変換カーネルを示す。
【００７１】
一例として、上記最大ブロックサイズが最大変換カーネルのサイズより大きい場合、デコード装置は、上記最大ブロックサイズの現ブロックの残差の有無に応じて逆変換を行うか否かを決定する。例えば、上記現ブロックの残差係数（すなわち、変換係数）が存在するか否かを示すＣｂｆ（Coded block flag）が０である場合、上記現ブロックに対する残差が存在しないことを示す。したがって、逆変換する変換係数（coefficients）が存在しないため、最大変換カーネルのサイズが最大ブロックサイズより小さくても、デコード装置は、上記最大ブロックサイズの上記現ブロックの復元（すなわち、上記現ブロックの予測サンプルを直ちに復元サンプルとして利用）を行うことができる。しかしながら、上記最大ブロックサイズの上記現ブロックに対する上記Ｃｂｆの値が１であり、上記最大ブロックサイズが最大変換カーネルのサイズより大きい場合、上記最大ブロックサイズの変換カーネルは定義されていないため、上記現ブロック内の全ての領域が同一の予測パラメータを有しても結局ブロックが分割されなければならない。したがって、本実施形態においては、上記現ブロックのサイズが最大変換カーネルのサイズより大きい場合、別途の分割情報なしで特別に定義された規則によって上記現ブロックを分割し、分割されたブロック単位で逆変換を行う方法を提案する。すなわち、本実施形態においては、上記現ブロックを最大変換カーネルのサイズに変換できるまでのみ分割することにより、予測モード、動き情報などは、文法において定義されたブロックのサイズが適用されながらも、変換／逆変換の過程では、暗示的な（implicit）方法で変換カーネルサイズに合うようにブロックを一時的に分割する方法が提案される。また、例えば、一時的に分割される情報は、変換およびデブロッキングフィルタにおいて活用できる。また、一時分割が決定された場合、上記ブロックの残差係数の配列方法は、上記ブロックが当該サイズに分割された場合と同じ順序で導出される。
【００７２】
具体的には、例えば、上記ＣＴＵのサイズが１２８×１２８サイズであり、変換カーネルの最大サイズが６４×６４サイズであり得る。すなわち、最大ブロックサイズが１２８×１２８サイズであり、最大変換カーネルのサイズが６４×６４サイズであり得る。ここで、現ブロックがＣＴＵから分割されていないブロックである場合、すなわち、上記現ブロックのサイズが最大ブロックサイズである場合、上記現ブロック内の全ての領域（すなわち、最大ブロックサイズの領域）において同一の予測モードが適用されることができ、または、同じ動きベクトルに基づいて予測が行われることを示すことができる。しかしながら、上記現ブロックに対して残差信号が存在する場合、１２８×１２８サイズの変換カーネルは定義されていないため、上記現ブロック内の全ての領域が同一の予測パラメータを有しても、結局上記現ブロックが分割されるべきであることを意味する。
【００７３】
この場合、既存の方法によれば、予測単位として現ブロックが使われず、現ブロックが分割されなければならない。すなわち、上記１２８×１２８サイズの現ブロックをコーディングユニットとして使用できず、上記現ブロックは、分割されることができる。しかしながら、提案された実施形態によれば、上記現ブロックのように、最大変換カーネルのサイズより大きいサイズのコーディングユニットが使用されることができる。すなわち、コーディングユニットが変換カーネルの最大サイズより大きいサイズを有する。上記最大変換カーネルのサイズより大きいサイズの上記現ブロックは、逆変換の過程でのみ分割される。
【００７４】
図３は、変換カーネルの最大サイズが６４×６４サイズである場合、１２８×１２８サイズの現ブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す。
【００７５】
図３に示すように、現ブロックのサイズが１２８×１２８サイズであり、上記現ブロックに対するＣｂｆが１である場合、上記現ブロックは、逆変換過程でのみ最大変換カーネルのサイズである６４×６４サイズの４つのブロックに分割される。ここで、上記最大変換カーネルのサイズは、最大変換サイズと表すことができる。上記分割過程は、エンコード装置とデコード装置との間で約束された実行手順であるため、上記分割過程に関する分割情報の別途のシンタックス要素がシグナリングされなくてもよい。すなわち、上記分割過程に関する分割情報は、シグナリングされないことがある。上記４つのブロックに対する逆変換過程が行われて残差サンプルが導出されることができ、上記残差サンプルおよび予測サンプルが結合されて上記現ブロックが復元されることができる。一方、上記変換／逆変換のために上記現ブロックから分割されたブロックは、変換ブロック（transform block）と表すことができる。
【００７６】
一方、エンコード装置から送信された上記現ブロックに関する分割情報は、上記ブロックのサイズを１２８×１２８サイズと表すことができるが、変換／逆変換の過程のために現ブロックが変換ブロックに分割されるので、上記変換ブロックの境界（boundary）にはデブロックフィルタリングが行われ、これによりブロック境界における不連続性が除去される。図３に示すように、変換ブロックの境界でデブロックフィルタリングが行われる。
【００７７】
一方、１２８×１２８サイズのＣＴＵが上記ＢＴ構造により分割されて、２つの６４×１２８サイズのブロックが導出されることがある。現ブロックが上記６４×１２８サイズのブロックである場合、１２８×１２８サイズの変換カーネルは存在しないので、上記現ブロックに対する変換／逆変換の過程を行うために上記現ブロックが一時分割されるべきか否かが決定される。
【００７８】
図４は、変換カーネルの最大サイズが６４×６４サイズである場合、６４×１２８サイズのブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す。図４に示すように、１２８×１２８サイズのＣＴＵが上記ＢＴ構造により分割されて２つの６４×１２８サイズのサブブロックが導出される。上記サブブロックは、左側サブブロックおよび右側サブブロックを含み、上記左側サブブロックはブロック０（Block0）と表し、上記右側サブブロックはブロック１（Block1）と表す。
【００７９】
図４に示すように、上記ブロック０のサイズが６４×１２８サイズであり、上記ブロック０に対するＣｂｆが１である場合、上記ブロック０は、逆変換過程でのみ最大変換カーネルのサイズである６４×６４サイズの２つのブロックに分割されることができる。上記分割過程は、エンコード装置およびデコード装置の間で約束された実行手順であるので、上記分割過程に関する分割情報の別途のシンタックス要素がシグナリングされなくてもよい。すなわち、上記分割過程に関する分割情報は、シグナリングされないことがある。また、図４に示すように、上記ブロック１のサイズが６４×１２８サイズであり、上記ブロック１に対するＣｂｆが０である場合、上記ブロック１に対する逆変換の過程が行われる必要がないので、上記ブロック０は分割されない。
【００８０】
一方、１２８×１２８サイズのＣＴＵが上記ＴＴ構造により分割されて３つのサブブロックが導出されることがある。例えば、上記サブブロックは、３２×１２８サイズの左側サブブロック、６４×１２８サイズの中央（center）サブブロック、３２×１２８サイズの右側サブブロックを含む。ここで、１２８×１２８サイズの変換カーネルは存在しないので、上記サブブロックに対する変換／逆変換過程を行うために上記サブブロックが一時分割されなければならないか否かが決定されることができる。
【００８１】
図５は、変換カーネルの最大サイズが６４×６４サイズである場合、ＣＴＵからＴＴ構造により分割されたサブブロックに対する逆変換およびデブロックフィルタリング過程を例示的に示す。図５に示すように、１２８×１２８サイズのＣＴＵが上記ＴＴ構造により分割されて３つのサブブロックが導出される。上記サブブロックは、３２×１２８サイズの左側サブブロック、６４×１２８サイズの中央サブブロックおよび３２×１２８サイズの右側サブブロックを含み、上記左側サブブロックはブロック０（Block0）と表し、上記中央サブブロックはブロック１（Block1）と表し、上記右側サブブロックはブロック２（Block2）と表す。
【００８２】
図５に示すように、上記ブロック０のサイズが３２×１２８サイズであり、上記ブロック０に対するＣｂｆが１である場合、上記ブロック０は、逆変換過程でのみ最大変換カーネルのサイズである３２×６４サイズの２つのブロックに分割される。また、図５に示すように、上記ブロック１のサイズが６４×１２８サイズであり、上記ブロック１に対するＣｂｆが１である場合、上記ブロック１は、逆変換過程でのみ最大変換カーネルのサイズである６４×６４サイズの２つのブロックに分割される。また、図５に示すように、上記ブロック２のサイズが３２×１２８サイズであり、上記ブロック２に対するＣｂｆが１である場合、上記ブロック２は、逆変換の過程でのみ最大変換カーネルのサイズである３２×６４サイズの２つのブロックに分割される。上記分割過程は、エンコード装置とデコード装置との間で約束された実行手順であるので、上記分割過程に関する分割情報の別途のシンタックス要素がシグナリングされなくてもよい。すなわち、上記分割過程に関する分割情報は、シグナリングされない。
【００８３】
また、最大ブロック（すなわち、ＣＴＵ）のサイズが最大変換カーネルのサイズより大きい場合におけるブロック変換方法の他の一例が提案されることができる。
【００８４】
例えば、上記最大ブロックサイズが最大変換カーネルのサイズより大きい場合、デコード装置は、上記最大ブロックサイズの現ブロックの残差の存在の有無に応じて逆変換を行うか否かを決定することができる。例えば、上記現ブロックの残差係数（すなわち、変換係数）の存在の有無を示すＣｂｆ（Coded block flag）が０である場合、上記現ブロックに対する残差が存在しないことを示す。したがって、逆変換する変換係数（coefficients）が存在しないので、最大変換カーネルのサイズが最大ブロックサイズより小さくても、デコード装置は、上記最大ブロックサイズの上記現ブロックの復元（すなわち、上記現ブロックの予測サンプルを直ちに復元サンプルとして利用）を行うことができる。
【００８５】
しかしながら、上記最大ブロックサイズの上記現ブロックに対する上記Ｃｂｆの値が１であり、上記最大ブロックサイズが最大変換カーネルのサイズより大きい場合、上記最大ブロックサイズの変換カーネルは定義されないため、上記現ブロック内の全ての領域が同じ予測パラメータを有しても、結局ブロックが分割されなければならない。したがって、本実施形態においては、上記現ブロックのサイズが最大変換カーネルのサイズより大きい場合、別途の分割情報なしで、特別に定義された規則により上記現ブロックを分割し、分割されたブロック単位で逆変換を行う方法を提案する。前述した実施形態においては、上記現ブロックが最大変換カーネルのサイズに変換できるまでのみ分割できるが、本実施形態においては、上記現ブロックが非正方形ブロックである場合、上記現ブロックの小さい辺に基づいて変換カーネルを適用する方式が提案される。これにより、予測モード、動き情報などは、文法において定義されたブロックのサイズで適用され、変換／逆変換の過程は、暗示的な（implicit）方法で変換カーネルサイズに合うように一時的に分割されたブロック単位で行われることができる。すなわち、予測は、分割情報に基づいて導出されたブロック単位で行われ、変換／逆変換の過程および／またはデブロックフィルタリングは、上記分割情報に基づいて導出されたブロックが分割されて導出されたブロック単位で行われる。一方、変換／逆変換過程のために分割されたブロックに対する変換／逆変換過程において、大きいサイズの変換カーネルが適用されるほど計算量が増加し、したがって、本実施形態において、上記分割されたブロックに適用できる変換カーネルのうち最小サイズの変換カーネルが上記変換／逆変換の過程で使用されることができる。また、一時分割が決定された場合、上記現ブロックの残差係数の配列方法は、上記現ブロックが当該サイズに分割された場合と同じ順序で導出される。
【００８６】
図６は、３つのサブブロックに分割されたＣＴＵに対する逆変換およびデブロックフィルタリング過程を例示的に示す。図６に示すように、ＣＴＵのサイズは１２８×１２８サイズであり、上記ＣＴＵは上記ＴＴ構造により３つのサブブロックに分割される。上記３つのサブブロックは、３２×１２８サイズの左側サブブロック、６４×１２８サイズの中央サブブロック、３２×１２８サイズの右側サブブロックを含む。上記左サブブロックはブロック０（Block0）と表し、上記中央サブブロックはブロック１（Block1）と表し、上記右サブブロックはブロック２（Block2）と表す。また、図６に示すように、上記ブロック０ないしブロック２に対するＣｂｆが１であり、上記ブロック０ないしブロック２に対する残差サンプルが存在するので、上記残差サンプルの変換係数に対する逆変換が行われる必要がある。一方、最大変換カーネルのサイズが６４×６４サイズである場合、上記ブロック０ないしブロック２は高さが１２８であるので、上記ブロック０ないしブロック２単位で逆変換が行われることができず、上記ブロック０ないしブロック２に対する分割が行われることができる。本実施形態においては、ブロックの小さい辺を基準に分割が行われる。例えば、上記ブロック０の小さい辺は幅であり、上記幅は３２であるので、上記３２×１２８サイズの上記ブロック０は、３２×３２サイズの４つの変換ブロックに分割される。以後、上記変換ブロックに対する逆変換が行われ、残差サンプルが導出される。また、上記ブロック１の小さい辺は幅であり、上記幅のサイズは６４であるので、上記６４×１２８サイズの上記ブロック１は、６４×６４サイズの２つの変換ブロックに分割される。以後、上記変換ブロックに対する逆変換が行われ、残差サンプルが導出される。また、上記ブロック２の小さい辺は幅であり、上記幅のサイズは３２であるので、上記６４×１２８サイズの上記ブロック２は、３２×３２サイズの４つの変換ブロックに分割される。以後、上記変換ブロックに対する逆変換が行われ、残差サンプルが導出される。
【００８７】
図７は、本発明に従うエンコード装置による画像エンコード方法を概略的に示す。図７において開示された方法は、図１において開示されたエンコード装置により行われてもよい。具体的には、例えば、図７のＳ７００は、上記エンコード装置の予測部により行われ、Ｓ７１０は、上記エンコード装置の減算部により行われ、Ｓ７２０ないしＳ７４０は、上記エンコード装置の変換部により行われ、Ｓ７６０は、上記エンコード装置のエントロピエンコード部により行われてもよい。また、図示されてはいないが、上記現ブロックの予測に関する情報をエンコードする過程は、上記エンコード装置のエントロピエンコード部により行われ、復元ピクチャ内の変換ブロックの境界に隣接する領域に位置する復元サンプルに対してデブロックフィルタリングを行う過程は、上記エンコード装置のフィルタ部により行われてもよい。
【００８８】
エンコード装置は、現ブロックに対する予測を行って予測サンプルを導出する（Ｓ７００）。例えば、エンコード装置は、現ブロックにイントラ予測が適用されるかインター予測が適用されるかを決定し、上記現ブロックにイントラ予測またはインター予測などを行って上記サブブロックの予測サンプルを生成する。
【００８９】
エンコード装置は、上記現ブロックに対する上記予測サンプルおよびオリジナルサンプルに基づいて残差（レジデュアル）サンプルを導出する（Ｓ７１０）。エンコード装置は、オリジナル（原本）サンプルと予測サンプルとの間の差である残差サンプルを生成することができる。一方、エンコード装置は、上記予測サンプルおよび上記残差サンプルに基づいて復元ピクチャを生成することができる。上記復元ピクチャは、上記復元ピクチャ以後順にコーディングされるピクチャに対する参照ピクチャとして使用できる。
【００９０】
エンコード装置は、上記現ブロックのサイズおよび最大変換サイズに基づいて上記現ブロックが分割されるか否かを判断する（Ｓ７２０）。エンコード装置は、上記現ブロックのサイズおよび上記最大変換サイズに基づいて上記現ブロックが分割されるか否かを判断することができる。例えば、エンコード装置は、上記現ブロックのサイズと上記最大変換サイズとを比較して、上記現ブロックが複数のサブブロックに分割されるか否かを判断することができる。上記サブブロックは、変換過程または逆変換過程の単位である変換ブロックであり得る。すなわち、エンコード装置は、上記現ブロックのサイズと上記最大変換サイズとを比較して、上記現ブロックが変換ブロックに分割されるか否かを判断することができる。
【００９１】
一例として、上記現ブロックのサイズが最大変換サイズより大きい場合、エンコード装置は、上記現ブロックが分割されると判断する。また、上記現ブロックのサイズが最大変換サイズより大きくない場合、エンコード装置は、上記現ブロックが分割されないと判断する。ここで、上記現ブロックのサイズが上記最大変換サイズより大きい場合とは、上記現ブロックの幅（width）および高さ（height）の少なくとも１つが上記最大変換サイズより大きい場合を示す。
【００９２】
一方、上記最大変換サイズは、変換カーネル（kernels）のうち最大変換カーネルのサイズであり得る。例えば、上記最大変換サイズは６４×６４であり得る。この場合、上記最大変換サイズは６４と表すことができる。すなわち、例えば、上記最大変換サイズは６４であり得る。
【００９３】
エンコード装置は、上記現ブロックが分割されると判断した場合、上記現ブロックを変換ブロックに分割する（Ｓ７３０）。例えば、上記現ブロックのサイズが上記最大変換サイズより大きい場合、上記現ブロックは上記変換ブロックに分割されると判断される。
【００９４】
一例として、上記現ブロックの幅が上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの幅を有する変換ブロックに分割される。また、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの高さを有する変換ブロックに分割される。また、上記現ブロックの幅および高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの幅および高さを有する変換ブロックに分割される。
【００９５】
例えば、上記現ブロックの幅がＷであり、上記現ブロックの幅が上記最大変換サイズより大きい場合、上記変換ブロックの幅はＷ／２として導出される。また、例えば、上記現ブロックの高さがＨであり、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記変換ブロックの高さはＨ／２として導出される。
【００９６】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きくない場合、上記現ブロックは、（Ｗ／２）×Ｈサイズの変換ブロックに分割される。
【００９７】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きくなく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、Ｗ×（Ｈ／２）サイズの変換ブロックに分割される。
【００９８】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、（Ｗ／２）×（Ｈ／２）サイズの変換ブロックに分割される。
【００９９】
また、一例として、上記現ブロックが非正方形ブロックであり、上記現ブロックの幅が上記現ブロックの高さより大きく、上記現ブロックの幅が上記最大の変換サイズより大きい場合、上記現ブロックは、上記現ブロックの高さと同一の長さの幅を有する変換ブロックに分割される。また、上記現ブロックが非正方形ブロックであり、上記現ブロックの高さが上記現ブロックの幅より大きく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記現ブロックの幅と同一の長さの高さを有する変換ブロックに分割される。
【０１００】
例えば、上記現ブロックが非正方形ブロックであり、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きくない場合、上記現ブロックは、Ｈ×Ｈサイズの変換ブロックに分割される。
【０１０１】
上記現ブロックが非正方形ブロックであり、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きくなく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、Ｗ×Ｗサイズの変換ブロックに分割される。
【０１０２】
一方、上記現ブロックのサイズが上記最大変換サイズより大きくない場合、上記現ブロックは分割されず、上記分割されない現ブロックが変換ブロックとして導出される。ここで、上記現ブロックのサイズが上記最大変換サイズより大きくない場合とは、上記現ブロックの幅および高さが上記最大変換サイズより大きくない場合を示す。
【０１０３】
エンコード装置は、各変換ブロックに含まれる残差サンプルに対する変換過程を行って変換係数を導出する（Ｓ７４０）。エンコード装置は、上記残差サンプルを変換して上記変換係数を導出する。上記変換過程は、変換ブロック単位で行われる。例えば、エンコード装置は、変換ブロック単位で残差サンプルを変換して変換係数（transform coefficient）を生成する。すなわち、エンコード装置は、各変換ブロックに含まれる残差サンプルに対する変換過程を行って変換係数を導出する。例えば、エンコード装置は、変換ブロックに対する変換カーネルを用いて上記変換ブロックに含まれる残差サンプルを変換して上記変換ブロックに対する変換係数を生成する。ここで、上記変換ブロックに対する上記変換カーネルは、上記変換ブロックよりサイズが大きい変換カーネルのうちの最も小さいサイズの変換カーネルとして導出される。
【０１０４】
一方、変換ブロックに対する残差サンプルが存在しないことがあり、この場合、上記変換ブロックに対する変換係数は導出されない。
【０１０５】
エンコード装置は、上記変換係数に対する量子化過程を行って量子化された変換係数を導出する（Ｓ７５０）。エンコード装置は、変換係数を量子化して量子化された変換係数を生成する。
【０１０６】
エンコード装置は、上記量子化された変換係数に関する情報を含む画像情報をエンコードする（Ｓ７６０）。エンコード装置は、上記量子化された変換係数に関する情報を含む画像情報をエンコードしてビットストリームを介して出力する。また、上記ビットストリームは、不揮発性コンピュータ読取り可能記憶媒体（A non-transitory computer readable medium）に記憶される。上記量子化された変換係数に関する情報は、残差情報と表してもよい。また、上記画像情報は、上記現ブロックの予測に関する情報を含む。
【０１０７】
一方、上記ビットストリームは、ネットワークまたは（デジタル）記憶媒体を介してデコード装置に送信される。ここで、ネットワークは、放送網および／または通信網などを含み、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなどの多様な記憶媒体を含む。
【０１０８】
図８は、本発明に従う画像エンコード方法を行うエンコード装置を概略的に示す。図７において開示された方法は、図８において開示されたエンコード装置により行われてもよい。具体的には、例えば、図７のＳ７００は、上記エンコード装置の予測部により行われ、Ｓ７１０は、上記エンコード装置の減算部により行われ、Ｓ７２０ないしＳ７４０は、上記エンコード装置の変換部により行われ、Ｓ７６０は、上記エンコード装置のエントロピエンコード部により行われてもよい。また、図示されていないが、図７のＳ７５０は、上記エンコード装置の量子化部により行われてもよい。また、上記現ブロックの予測に関する情報をエンコードする過程は、図８のエンコード装置のエントロピエンコード部により行われ、復元ピクチャ内の変換ブロックの境界に隣接する領域に位置する復元サンプルに対してデブロックフィルタリングを行う過程は、図８のエンコード装置のフィルタ部により行われてもよい。
【０１０９】
図９は、本発明に従うデコード装置による画像デコード方法を概略的に示す。図９において開示された方法は、図２において開示されたデコード装置により行われてもよい。具体的には、例えば、図９のＳ９００は、上記デコード装置の予測部により行われ、図９のＳ９１０ないしＳ９４０は、上記デコード装置の逆変換部により行われ、図９のＳ９５０は、上記デコード装置の加算部により行われてもよい。また、図示されていないが、ビットストリームを介して、現ブロックの予測に関する情報ならびに／または現ブロックもしくは変換ブロックの残差に関する情報を取得する過程は、上記デコード装置のエントロピデコード部により行われ、量子化された変換係数に対する逆量子化を行って変換係数を導出する過程は、上記デコード装置の逆量子化部により行われ、上記復元ピクチャ内の上記変換ブロックの境界に隣接する領域に位置する復元サンプルに対して上記フィルタリングを行う過程は、上記デコード装置のフィルタ部により行われてもよい。
【０１１０】
デコード装置は、現ブロックに対する予測を行って予測サンプルを導出する（Ｓ９００）。例えば、デコード装置は、上記現ブロックにイントラ（intra）またはインター（inter）予測などを行うことにより、上記サブブロックの予測サンプルを生成する。デコード装置は、ビットストリームを介して上記現ブロックの予測に関する情報を取得し、上記予測に関する情報に基づいて上記現ブロックに対する予測を行って上記予測サンプルを導出する。
【０１１１】
一方、上記現ブロックは、現ＣＴＵに含まれ、現ＣＴＵに関する分割情報に基づいて導出されたブロックであり得る。例えば、デコード装置は、上記ビットストリームを介して上記分割情報を取得し、上記分割情報に基づいて上記現ＣＴＵから上記現ブロックを導出する。上記分割情報は、分割フラグ、ＱＴ（Quad-Tree）フラグ、ＭＴＴ（Multi-Type Tree）フラグ、ＢＴ（Binary-Tree）フラグおよび／または分割方向情報などを含む。
【０１１２】
ここで、上記分割フラグは、上記現ＣＴＵが分割されるか否かを示す。
【０１１３】
また、上記ＱＴフラグは、当該ブロックがＱＴ（Quad-Tree）構造により分割されるか否かを示す。上記ＱＴ構造は、Ｗ×Ｈサイズのブロックが４つの（Ｗ／２）×（Ｈ／２）サイズのサブブロックに分割される構造を示す。
【０１１４】
また、上記ＭＴＴフラグは、当該ブロックがＱＴ構造以外の分割構造により分割されるか否かを示す。上記ＱＴ構造以外の分割構造は、ＢＴ（Binary-Tree）構造、ＴＴ（Ternary-Tree）構造および／またはＡＢＴ（Asymmetric Binary Tree）構造を含む。上記ＢＴ構造は、Ｗ×Ｈサイズのブロックが２つの（Ｗ／２）×Ｈサイズのサブブロック、または２つのＷ×（Ｈ／２）サイズのサブブロックに分割される構造を示す。また、上記ＴＴ構造は、Ｗ×Ｈサイズのブロックが２つの（Ｗ／４）×Ｈサイズのサブブロックおよび（１つの）（Ｗ／２）×Ｈサイズのサブブロック、または２つのＷ×（Ｈ／４）サイズのサブブロックおよび１つのＷ×（Ｈ／２）サイズのサブブロックに分割される構造を示す。また、上記ＡＢＴ構造は、Ｗ×Ｈサイズのブロックが（Ｗ／ｎ）×Ｈサイズのサブブロックおよび（（ｎ−１）＊Ｗ／ｎ）×Ｈサイズのサブブロック、またはＷ×（Ｈ／ｎ）サイズのサブブロックおよびＷ×（（ｎ−１）Ｈ／ｎ）サイズのサブブロックに分割される構造を示す。ここで、例えば、上記ｎは４であり得る。
【０１１５】
上記分割方向情報は、当該ブロックが分割される方向を示す。例えば、上記分割方向情報は、垂直方向または水平方向を示す。上記ブロックが上記ＢＴ構造により上記垂直方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、２つの（Ｗ／２）×Ｈサイズのサブブロックに分割され、上記ブロックが上記ＢＴ構造により上記水平方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、２つのＷ×（Ｈ／２）サイズのサブブロックに分割される。また、上記ブロックが上記ＴＴ構造により上記垂直方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、（Ｗ／４）×Ｈサイズの左側サブブロック、（Ｗ／２）×Ｈサイズの中央サブブロックおよび（Ｗ／４）×Ｈサイズの上記サブブロックに分割され、上記ブロックが上記ＴＴ構造により上記水平方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、Ｗ×（Ｈ／４）サイズの上側サブブロック、Ｗ×（Ｈ／２）ブロックの中央サブブロックおよびＷ×（Ｈ／４）サイズの下側サブブロックに分割される。また、上記ブロックが上記ＡＢＴ構造により上記垂直方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、（Ｗ／ｎ）×Ｈサイズのサブブロックおよび（（ｎ−１）＊Ｗ／ｎ）×Ｈサイズのサブブロックに分割され、上記ブロックが上記ＡＢＴ構造により上記水平方向に分割される場合、Ｗ×Ｈサイズの上記ブロックは、Ｗ×（Ｈ／ｎ）サイズのサブブロックおよびＷ×（（ｎ−１）Ｈ／ｎ）サイズサブブロックに分割される。ここで、例えば、上記ｎは４であり得る。
【０１１６】
上記現ＣＴＵが分割されない場合、すなわち、上記分割フラグが上記現ＣＴＵが分割されないことを示す場合、上記現ブロックは、上記現ＣＴＵの領域を含むブロックであり得る。あるいは、上記分割情報に基づいて上記現ＣＴＵが分割された場合、上記現ブロックは、上記ＱＴ構造により分割された正方形ブロックであり得、または、上記現ブロックは、上記ＢＴ構造、上記ＴＴ構造および／もしくは上記ＡＢＴ構造により分割された非正方形ブロックであり得る。一方、例えば、上記現ブロックのサイズは、１２８×１２８であり得る。
【０１１７】
デコード装置は、上記現ブロックのサイズおよび最大変換サイズに基づいて上記現ブロックが分割されるか否かを判断する（Ｓ９１０）。デコード装置は、上記現ブロックのサイズおよび上記最大変換サイズに基づいて上記現ブロックが分割されるか否かを判断することができる。例えば、デコード装置は、上記現ブロックのサイズと上記最大変換サイズとを比較して、上記現ブロックが複数のサブブロックに分割されるか否かを判断する。上記サブブロックは、変換過程または逆変換過程の単位である変換ブロックであり得る。すなわち、デコード装置は、上記現ブロックのサイズと上記最大変換サイズとを比較して、上記現ブロックが変換ブロックに分割されるか否かを判断する。
【０１１８】
一例として、上記現ブロックのサイズが最大変換サイズより大きい場合、デコード装置は、上記現ブロックが分割されると判断される。また、上記現ブロックのサイズが最大変換サイズより大きくない場合、デコード装置は、上記現ブロックが分割されないと判断する。ここで、上記現ブロックのサイズが上記最大変換サイズより大きい場合とは、上記現ブロックの幅（width）および高さ（height）の少なくとも１つが上記最大変換サイズより大きい場合を示す。
【０１１９】
一方、上記最大変換サイズは、変換カーネルのうち最大変換カーネルのサイズであり得る。例えば、上記最大変換サイズは６４×６４であり得る。この場合、上記最大変換サイズは６４と表すことができる。すなわち、例えば、上記最大変換サイズは６４であり得る。
【０１２０】
デコード装置は、上記現ブロックが分割されると判断した場合、上記現ブロックを変換ブロックに分割する（Ｓ９２０）。上記現ブロックのサイズが上記最大変換サイズより大きい場合、上記現ブロックは分割されると判断される。
【０１２１】
一例として、上記現ブロックの幅が上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの幅を有する変換ブロックに分割される。また、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの高さを有する変換ブロックに分割される。また、上記現ブロックの幅および高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記最大変換サイズと同一の長さの幅および高さを有する変換ブロックに分割される。
【０１２２】
例えば、上記現ブロックの幅がＷであり、上記現ブロックの幅が上記最大変換サイズより大きい場合、上記変換ブロックの幅はＷ／２として導出される。また、例えば、上記現ブロックの高さがＨであり、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記変換ブロックの高さはＨ／２として導出される。
【０１２３】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きくない場合、上記現ブロックは、（Ｗ／２）×Ｈサイズの変換ブロックに分割される。
【０１２４】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きくなく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、Ｗ×（Ｈ／２）サイズの変換ブロックに分割される。
【０１２５】
また、例えば、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、（Ｗ／２）×（Ｈ／２）サイズの変換ブロックに分割される。
【０１２６】
また、一例として、上記現ブロックが非正方形ブロックであり、上記現ブロックの幅が上記現ブロックの高さより大きく、上記現ブロックの幅が上記最大の変換サイズより大きい場合、上記現ブロックは、上記現ブロックの高さと同一の長さの幅を有する変換ブロックに分割される。また、上記現ブロックが非正方形ブロックであり、上記現ブロックの高さが上記現ブロックの幅より大きく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックは、上記現ブロックの幅と同一の長さの高さを有する変換ブロックに分割される。
【０１２７】
例えば、上記現ブロックが非正方形ブロックであり、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きく、上記現ブロックの高さが上記最大変換サイズより大きくない場合、上記現ブロックは、Ｈ×Ｈサイズの変換ブロックに分割される。
【０１２８】
上記現ブロックが非正方形ブロックであり、上記現ブロックのサイズがＷ×Ｈであり、上記現ブロックの幅が上記最大変換サイズより大きくなく、上記現ブロックの高さが上記最大変換サイズより大きい場合、上記現ブロックはＷ×Ｗサイズの変換ブロックに分割される。
【０１２９】
一方、上記現ブロックのサイズが上記最大変換サイズより大きくない場合、上記現ブロックは分割されず、上記分割されない現ブロックが変換ブロックとして導出される。ここで、上記現ブロックのサイズが上記最大変換サイズより大きくない場合とは、上記現ブロックの幅および高さが上記最大変換サイズより大きくない場合を示す。
【０１３０】
デコード装置は、上記変換ブロックに対する変換係数を導出する（Ｓ９３０）。デコード装置は、上記変換ブロックのそれぞれに関する残差（レジデュアル）情報を取得し、上記残差情報に基づいて上記変換ブロックに対する変換係数を導出する。具体的には、デコード装置は、上記変換ブロックのそれぞれに関する残差情報を取得し、上記残差情報をエントロピデコードして量子化された変換係数を導出し、上記量子化された変換係数に対する逆量子化過程を行って各変換ブロックに対する変換係数を導出する。
【０１３１】
例えば、デコード装置は、変換ブロックに対する変換係数が存在するか否かを示すフラグをパージングし、上記フラグの値が１である場合、ビットストリームを介して上記変換ブロックに対する残差情報を取得し、上記残差情報に基づいて上記変換ブロックに対する変換係数を導出することができる。上記フラグは、前述のＣｂｆ（coded block flag）を示す。一方、上記フラグの値が０である場合、上記変換ブロックに対する変換係数は導出されず、上記変換ブロックに対する残差サンプルは存在しない。
【０１３２】
デコード装置は、上記変換係数に対する逆変換過程を行って残差サンプルを導出する（Ｓ９４０）。デコード装置は、上記変換係数を逆変換して上記残差サンプルを導出することができる。上記逆変換過程は、変換ブロック単位で行われる。例えば、デコード装置は、変換ブロックに対する変換カーネルを用いて上記変換ブロックに対する変換係数を逆変換して残差サンプルを導出する。ここで、上記変換ブロックに対する上記変換カーネルは、上記変換ブロックよりサイズが大きい変換カーネルのうちの最も小さいサイズの変換カーネルとして導出される。
【０１３３】
デコード装置は、上記残差サンプルおよび上記予測サンプルに基づいて復元ピクチャを生成する（Ｓ９５０）。デコード装置は、上記残差サンプルおよび上記予測サンプルに基づいて復元サンプルを生成し、これに基づいて復元ブロックまたは復元ピクチャを生成する。例えば、デコード装置は、予測サンプルと上記予測サンプルに対応する残差サンプルとを加算して復元サンプルを生成する。上記予測サンプルに対応する残差サンプルは、上記予測サンプルと同じ位置に対する残差サンプルを示す。一方、変換ブロックに対する残差サンプルが存在しない場合、予測サンプルが直ちに復元サンプルとして利用される。
【０１３４】
その後、デコード装置が、必要に応じて主観的／客観的画質を向上させるためにデブロックフィルタリングおよび／またはＳＡＯ手順などのインループフィルタリング手順を上記復元ピクチャに適用できることは前述の通りである。例えば、デコード装置は、上記復元ピクチャ内の上記変換ブロックの境界に隣接する領域に位置する復元サンプルに対して、デブロックフィルタリングを行うことができる。
【０１３５】
図１０は、本発明に従う画像デコード方法を行うデコード装置を概略的に示す。図９において開示された方法は、図１０において開示されたデコード装置により行われてもよい。具体的には、例えば、図１０の上記デコード装置の予測部は、図９のＳ９００を行い、図１０の上記デコード装置の逆変換部は、図９のＳ９１０ないしＳ９４０を行い、図１０の上記デコード装置の加算部は、図９のＳ９５０を行う。また、図示されていないが、ビットストリームを介して現ブロックの予測に関する情報ならびに／または現ブロックもしくは変換ブロックの残差に関する情報を取得する過程は、上記デコード装置のエントロピデコード部により行われ、量子化された変換係数に対する逆量子化を行って変換係数を導出する過程は、上記デコード装置の逆量子化部により行われ、上記復元ピクチャ内の上記変換ブロックの境界に隣接する領域に位置する復元サンプルに対してデブロックフィルタリングを行う過程は、上記デコード装置のフィルタ部により行われてもよい。
【０１３６】
前述した本発明によれば、現ブロックの少なくとも一辺が最大変換サイズより大きい場合、別途の分割情報なしで上記現ブロックを分割が最小となるサイズの変換ブロックに分割し、これにより、分割情報のためのビット数を減らすことができ、デコード装置における計算複雑度を減らして全般的なコーディング効率を向上させることができる。
【０１３７】
また、本発明によれば、現ブロックの少なくとも一辺が最大変換サイズより大きい場合、別途の分割情報なしで、上記現ブロックを分割が最小となるサイズの変換ブロックに分割し、分割された変換ブロックの境界にデブロックフィルタリングを行うことができるので、これにより、分割情報のためのビット数を減らすことができ、画像の主観的／客観的画質を向上させることができる。
【０１３８】
前述した実施形態において、方法は、一連のステップまたはブロックとしてフローチャートに基づいて説明されているが、本発明は、これらのステップの順序に限定されるものではなく、あるステップは、前述とは異なるステップと異なる順序でまたは同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、他のステップが含まれるか、フローチャートの１つまたは複数のステップが本発明の範囲に影響を及ぼさずに削除できることが理解できるであろう。
【０１３９】
前述した本発明による方法は、ソフトウェアの形態で実現されてもよく、本発明によるエンコード装置および／またはデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの画像処理を行う装置に含まれてもよい。
【０１４０】
本発明において、実施形態がソフトウェアで実現されるとき、前述の方法は、前述の機能を行うモジュール（過程、機能など）で実現できる。モジュールは、メモリに記憶され、プロセッサにより行われることができる。メモリは、プロセッサの内部または外部に位置し、よく知られた様々な手段でプロセッサと接続される。プロセッサは、ＡＳＩＣ（Application-Specific Integrated Circuit）、他のチップセット、論理回路および／またはデータ処理装置を含む。メモリは、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、メモリカード、記憶媒体および／または他の記憶装置を含んでもよい。すなわち、本発明において説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われる。例えば、各図に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて行われる。
【０１４１】
また、本発明が適用されるデコード装置およびエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、ビデオオンデマンド（注文型ビデオ）（ＶｏＤ）サービス提供装置、ＯＴＴ（Over The Top Video）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、および医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Over the top video）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Digital Video Recorder）などが含まれる。
【０１４２】
また、本発明が適用される処理方法は、コンピュータにより実行されるプログラムの形態で生産されることができ、コンピュータにより読み取りできる記録媒体に記憶できる。本発明によるデータ構造を有するマルチメディアデータもまた、コンピュータにより読み取りできる記録媒体に記憶できる。上記コンピュータにより読み取りできる記録媒体は、コンピュータにより読み取りできるデータが記憶される全ての種類の記憶装置および分散記憶装置を含む。上記コンピュータにより読み取りできる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアルバス（汎用直列バス）（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスクおよび光学データ記憶装置を含むことができる。また、上記コンピュータにより読み取りできる記録媒体は、搬送波（例えば、インターネットを介する送信）の形態で実現されたメディアを含む。また、エンコード方法により生成されたビットストリームがコンピュータにより読み取りできる記録媒体に記憶されるか、有無線通信ネットワークを介して送信されることができる。また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品として実現され、上記プログラムコードは、本発明の実施形態によりコンピュータにおいて行われる。上記プログラムコードは、コンピュータにより読み取りできるキャリア上に記憶されることができる。
【０１４３】
本発明が適用されるコンテンツストリーミングシステムは、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア記憶装置、ユーザ装置およびマルチメディア入力装置を含む。
【０１４４】
上記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを上記ストリーミングサーバに送信する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、上記エンコードサーバは省略されてもよい。上記ビットストリームは、本発明が適用されるエンコード方法またはビットストリーム生成方法により生成され、上記ストリームサーバは、上記ビットストリームを送信または受信する過程で一時的に上記ビットストリームを記憶することができる。
【０１４５】
上記ストリーミングサーバは、ウェブサーバを介するユーザ要求に基づいてマルチメディアデータをユーザ装置に送信し、上記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体としての役割を果たす。ユーザが上記ウェブサーバに所望のサービスを要求すると、上記ウェブサーバはこれをストリーミングサーバに伝達し、上記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。ここで、上記コンテンツストリーミングシステムは、別途の制御サーバを含んでもよく、この場合、上記制御サーバは、上記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たす。
【０１４６】
上記ストリーミングサーバは、メディア記憶装置および／またはエンコードサーバからコンテンツを受信する。例えば、上記エンコードサーバからコンテンツを受信する場合、上記コンテンツをリアルタイムに受信できる。この場合、円滑なストリーミングサービスを提供するために、上記ストリーミングサーバは、上記ビットストリームを一定時間記憶することができる。
【０１４７】
上記ユーザ装置の例としては、携帯電話、スマートフォン（smart phone）、ノートブックコンピュータ（laptop computer）、デジタル放送用端末、ＰＤＡ（Personal Digital Assistants）、ＰＭＰ（Portable Multimedia Player）、ナビゲーション、スレートＰＣ（slate PC）、タブレットＰＣ（tablet PC）、ウルトラブック（ultrabook）、ウェアラブルデバイス（wearable device、例えば、スマートウォッチ（smartwatch）、スマートグラス（smart glass）、ＨＭＤ（Head Mounted Display））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。上記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運用でき、この場合、各サーバで受信するデータは分散処理されることができる。
【図１】
2021502771.tif 000003
【図２】
2021502771.tif 000004
【図３】
2021502771.tif 000005
【図４】
2021502771.tif 000006
【図５】
2021502771.tif 000007
【図６】
2021502771.tif 000008
【図７】
2021502771.tif 000009
【図８】
2021502771.tif 000010
【図９】
2021502771.tif 000011
【図１０】
2021502771.tif 000012
【手続補正書】
【提出日】令和2年5月8日(2020.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デコード装置により行われる画像デコード方法であって、
現ブロックに対する予測を行って予測サンプルを導出するステップと、
前記現ブロックのサイズおよび最大変換サイズに基づいて前記現ブロックが分割されるか否かを決定するステップと、
前記決定の結果に基づいて、前記現ブロックから１つまたは複数の変換ブロックを導出するステップと、
前記導出した１つまたは複数の変換ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆変換処理を行って残差サンプルを導出するステップと、
前記残差サンプルおよび前記予測サンプルに基づいて復元ピクチャを生成するステップと、を有し、
サイズが前記最大変換サイズより大きい前記現ブロックに基づいて、前記現ブロックが前記変換ブロックに分割されると決定される、画像デコード方法。
【請求項２】
前記現ブロックのサイズが前記最大変換サイズより大きい場合とは、前記現ブロックの幅および高さの少なくとも１つが前記最大変換サイズより大きい場合を示す、請求項１に記載の画像デコード方法。
【請求項３】
前記現ブロックの幅がＷであり、前記現ブロックの幅が前記最大変換サイズより大きい場合、前記変換ブロックの幅は、Ｗ／２として導出される、請求項１に記載の画像デコード方法。
【請求項４】
前記現ブロックの高さがＨであり、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記変換ブロックの高さは、Ｈ／２として導出される、請求項１に記載の画像デコード方法。
【請求項５】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きくない場合、前記現ブロックは、（Ｗ／２）×Ｈサイズの変換ブロックに分割される、請求項１に記載の画像デコード方法。
【請求項６】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きくなく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、Ｗ×（Ｈ／２）サイズの変換ブロックに分割される、請求項１に記載の画像デコード方法。
【請求項７】
前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、（Ｗ／２）×（Ｈ／２）サイズの変換ブロックに分割される、請求項１に記載の画像デコード方法。
【請求項８】
前記現ブロックが非正方形ブロックであり、前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きく、前記現ブロックの高さが前記最大変換サイズより大きくない場合、前記現ブロックは、Ｈ×Ｈサイズの変換ブロックに分割される、請求項１に記載の画像デコード方法。
【請求項９】
前記現ブロックが非正方形ブロックであり、前記現ブロックのサイズがＷ×Ｈであり、前記現ブロックの幅が前記最大変換サイズより大きくなく、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記現ブロックは、Ｗ×Ｗサイズの変換ブロックに分割される、請求項１に記載の画像デコード方法。
【請求項１０】
前記現ブロックのサイズは、１２８×１２８であり、前記最大変換サイズは、６４である、請求項１に記載の画像デコード方法。
【請求項１１】
前記最大変換サイズは、変換カーネル（kernels）のうちの最大変換カーネルのサイズである、請求項１に記載の画像デコード方法。
【請求項１２】
前記復元ピクチャ内の前記変換ブロックの境界に隣接する領域に位置する復元サンプルに対してデブロックフィルタリングを行うステップをさらに有する、請求項１に記載の画像デコード方法。
【請求項１３】
エンコード装置により行われる画像エンコード方法であって、
現ブロックに対する予測を行って予測サンプルを導出するステップと、
前記現ブロックに対する前記予測サンプルおよびオリジナルサンプルに基づいて残差サンプルを導出するステップと、
前記現ブロックのサイズおよび最大変換サイズに基づいて前記現ブロックが分割されるか否かを決定するステップと、
前記決定の結果に基づいて、前記現ブロックから１つまたは複数の変換ブロックを導出するステップと、
前記導出した１つまたは複数の変換ブロックに有される残差サンプルに対する変換処理を行って変換係数を導出するステップと、
前記変換係数に対する量子化処理を行って量子化された変換係数を導出するステップと、
前記量子化された変換係数に関する情報を有する画像情報をエンコードするステップと、を有し、
サイズが前記最大変換サイズより大きい前記現ブロックに基づいて、前記現ブロックが前記変換ブロックに分割されると決定される、画像エンコード方法。
【請求項１４】
前記現ブロックの幅がＷであり、前記現ブロックの幅が前記最大変換サイズより大きい場合、前記変換ブロックの幅は、Ｗ／２として導出される、請求項１３に記載の画像エンコード方法。
【請求項１５】
前記現ブロックの高さがＨであり、前記現ブロックの高さが前記最大変換サイズより大きい場合、前記変換ブロックの高さは、Ｈ／２として導出される、請求項１３に記載の画像エンコード方法。
【請求項１６】
ビットストリームを記憶する不揮発性コンピュータ読取り可能記憶媒体であって、
前記ビットストリームは、実行されたとき、デコーディング装置に、
現ブロックに対する予測を行って予測サンプルを導出するステップと、
前記現ブロックのサイズおよび最大変換サイズに基づいて前記現ブロックが分割されるか否かを決定するステップと、
前記決定の結果に基づいて、前記現ブロックから１つまたは複数の変換ブロックを導出するステップと、
前記導出した１つまたは複数の変換ブロックに対する変換係数を導出するステップと、
前記変換係数に対する逆変換処理を行って残差サンプルを導出するステップと、
前記残差サンプルおよび前記予測サンプルに基づいて復元ピクチャを生成するステップと、を実行させ、
サイズが前記最大変換サイズより大きい前記現ブロックに基づいて、前記現ブロックが前記変換ブロックに分割されると決定される、不揮発性コンピュータ読取り可能記憶媒体。
【国際調査報告】
2021502771.tif 000013
2021502771.tif 000014
2021502771.tif 000015
2021502771.tif 000016
2021502771.tif 000017
2021502771.tif 000018