(57)【要約】【課題】輝度信号と色差信号を直交変換する際、４×４画素単位の直交変換と８×８画素単位の直交変換のいずれかのみから選択されるため、処理効率が悪くなることがある。【解決手段】ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置において、逆量子化・逆直交変換部２０８は、符号化ブロックを直交変換するための変換ブロックに分割する際の分割方法を示す情報に応じて、色差信号の符号化ブロックの分割パターンを決定し、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する。復号画像信号重畳部２０９は、逆直交変換後の輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する。【選択図】図２
2013168932.tif 000002
【特許請求の範囲】
【請求項１】
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、
輝度信号の符号化ブロック及び色差信号の符号化ブロックのそれぞれを所定の形状を有する一以上の変換ブロックとし、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換部と、
前記逆直交変換された輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳部とを備えることを特徴とする画像復号装置。
【請求項２】
前記逆直交変換部は、所定の分割パターンを示す情報に基づいて、前記輝度信号の符号化ブロック及び前記色差信号の符号化ブロックのそれぞれを前記変換ブロックとすることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換部は、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを長方形とすることを特徴とする請求項２に記載の画像復号装置。
【請求項４】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換部は、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを、前記色差信号の符号化ブロックを上下に分けた正方形とすることを特徴とする請求項２に記載の画像復号装置。
【請求項５】
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、
符号化ブロックを直交変換するための変換ブロックに分割する際の分割方法を示す情報に応じて、色差信号の符号化ブロックの分割パターンを決定し、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換部と、
逆直交変換後の輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳部とを備えることを特徴とする画像復号装置。
【請求項６】
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号方法であって、
輝度信号の符号化ブロック及び色差信号の符号化ブロックのそれぞれを所定の形状を有する一以上の変換ブロックとし、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換ステップと、
前記逆直交変換された輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳ステップとを備えることを特徴とする画像復号方法。
【請求項７】
前記逆直交変換ステップは、所定の分割パターンを示す情報に基づいて、前記輝度信号の符号化ブロック及び前記色差信号の符号化ブロックのそれぞれを前記変換ブロックとすることを特徴とする請求項６に記載の画像復号方法。
【請求項８】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換ステップは、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを長方形とすることを特徴とする請求項７に記載の画像復号方法。
【請求項９】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換ステップは、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを、前記色差信号の符号化ブロックを上下に分けた正方形とすることを特徴とする請求項７に記載の画像復号方法。
【請求項１０】
ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号プログラムであって、
輝度信号の符号化ブロック及び色差信号の符号化ブロックのそれぞれを所定の形状を有する一以上の変換ブロックとし、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換ステップと、
前記逆直交変換された輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳ステップとをコンピュータに実行させることを特徴とする画像復号プログラム。
【請求項１１】
前記逆直交変換ステップは、所定の分割パターンを示す情報に基づいて、前記輝度信号の符号化ブロック及び前記色差信号の符号化ブロックのそれぞれを前記変換ブロックとすることを特徴とする請求項１０に記載の画像復号プログラム。
【請求項１２】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換ステップは、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを長方形とすることを特徴とする請求項１１に記載の画像復号プログラム。
【請求項１３】
前記画像信号の色差フォーマットが４：２：２である場合、前記逆直交変換ステップは、前記輝度信号の変換ブロックを正方形とし、色差信号の変換ブロックを、前記色差信号の符号化ブロックを上下に分けた正方形とすることを特徴とする請求項１１に記載の画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号技術に関し、特に直交変換を利用した画像復号技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の規格がある。ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４では、ピクチャを複数の矩形ブロックに分割したマクロブロック単位で符号化を行う。マクロブロックのサイズは画像サイズに拘わらず、輝度信号で１６×１６画素と規定されている。なお、マクロブロックには色差信号も含まれるが、マクロブロックに含まれる色差信号のサイズは符号化される画像の色差フォーマットによって異なり、色差フォーマットが４：２：０の場合、色差信号で８×８画素、色差フォーマットが４：２：２の場合、色差信号で８×１６画素、色差フォーマットが４：４：４の場合、色差信号で１６×１６画素となる。
【０００３】
色差フォーマットは１つの輝度情報と２つの色差情報の３つの信号の標本化された画素数の比率をＸ：Ｙ：Ｚで表す。ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４で符号化、及び復号の対象となる画像の色差フォーマットは４：２：０、４：２：２、４：４：４、モノクロがある。
【０００４】
図３は画像の各色差フォーマットを説明する図である。×は画像のピクチャ平面上での輝度信号の画素の位置を示し、○は色差信号の画素の位置を示す。
図３（ａ）に示す４：２：０は、輝度信号に対して色差信号が水平、垂直の両方向に２分の１の密度で標本化された色差フォーマットである。なお、４：２：０は図３（ｅ）に示す位置で色差信号が標本化される場合もある。
図３（ｂ）に示す４：２：２は、輝度信号に対して色差信号が水平方向に２分の１の密度、垂直方向に同じ密度で標本化された色差フォーマットである。
図３（ｃ）に示す４：４：４は輝度信号、色差信号ともに同じ密度で標本化された色差フォーマットである。
図３（ｄ）に示すモノクロは色差信号が無く、輝度信号だけで構成される色差フォーマットである。
【０００５】
なお、輝度信号と色差信号は動き補償等の符号化情報を共有するためにセットにして符号化および復号されるが、４：４：４では、１つの輝度信号と２つの色差信号を独立に３つのモノクロとして符号化および復号する仕組みも用意されている。
【０００６】
ＡＶＣ／Ｈ．２６４方式では、符号化／復号対象ピクチャ内のすでに符号化・復号したブロックから予測する手法が用いられている。この手法をイントラ予測と呼ぶ。また、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測と呼ぶ。
【０００７】
ＡＶＣ／Ｈ．２６４符号化方式では、符号化対象の画像信号からイントラ予測またはインター予測された予測信号を減算して、残差信号を生成し、残差信号を直交変換および量子化することで符号量を削減する。輝度信号においては画像信号の空間方向の周波数特性に応じて４×４画素単位の直交変換と８×８画素単位の直交変換のいずれかが選択できる。色差信号においては４×４画素単位の直交変換を用いる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【０００９】
画像信号を符号化する際、輝度信号と色差信号を直交変換するが、その際、４×４画素単位の直交変換と８×８画素単位の直交変換のいずれかのみから選択されるので、処理効率が悪くなることがある。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、画像信号（特に画像信号の空間方向の周波数特性）と色差フォーマットに応じた輝度信号と色差信号の直交変換により画像信号を効率良く符号化することのできる画像符号化技術およびそれに対応する画像復号技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様の画像復号装置は、ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、輝度信号の符号化ブロック及び色差信号の符号化ブロックのそれぞれを所定の形状を有する一以上の変換ブロックとし、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換部（２０８）と、前記逆直交変換された輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳部（２０９）とを備える。
【００１２】
本発明の別の態様もまた、画像復号装置である。この装置は、ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号装置であって、符号化ブロックを直交変換するための変換ブロックに分割する際の分割方法を示す情報に応じて、色差信号の符号化ブロックの分割パターンを決定し、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換部（２０８）と、逆直交変換後の輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳部（２０９）とを備える。
【００１３】
符号化ブロックを直交変換するための変換ブロックに分割する際の分割方法を示す情報は、符号化ブロックを直交変換するための変換ブロックに分割する際の分割形状、特に縦横の分割比率であってもよい。
【００１４】
本発明のさらに別の態様は、画像復号方法である。この方法は、ブロック単位で輝度信号と色差信号とを含む画像信号を復号する画像復号方法であって、輝度信号の符号化ブロック及び色差信号の符号化ブロックのそれぞれを所定の形状を有する一以上の変換ブロックとし、輝度信号の変換ブロックと色差信号の変換ブロックとを逆直交変換する逆直交変換ステップと、前記逆直交変換された輝度信号の変換ブロックと色差信号の変換ブロックとを復号して得られる残差信号に予測信号を重畳して復号画像を生成する復号画像信号重畳ステップとを備える。
【００１５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、画像信号を効率良く復号することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態の画像符号化装置の構成を示すブロック図である。
【図２】実施の形態の画像復号装置の構成を示すブロック図である。
【図３】画像の色差フォーマットを説明する図である。
【図４】ＡＶＣ／Ｈ．２６４方式のイントラ予測モードを切り替える単位を説明する図である。
【図５】ＡＶＣ／Ｈ．２６４方式のインター予測する単位を説明する図である。
【図６】本実施例で規定するツリーブロック、及び符号化ブロックを説明する図である。
【図７】本実施例で規定する分割モードを説明する図である。
【図８】本実施例で規定するイントラ予測モードの値と予測方向を説明する図である。
【図９】本実施例で規定するブロックの位置を説明するための一例の図である。
【図１０】本実施例で規定するシーケンス全体の符号化に関する情報を符号化するヘッダとなるシーケンス・パラメータ・セットで色差フォーマット情報を符号化する際の、シンタックスの定義の一例を説明する図である。
【図１１】本実施例で規定する変換ブロックの形状を説明する図である。
【図１２】本実施例で規定する輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【図１３】本実施例で規定する輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【図１４】本実施例で規定する輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【図１５】本実施例で規定する色差フォーマットが４：２：０での色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【図１６】本実施例で規定する色差フォーマットが４：２：２での色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【図１７】本実施例で規定する色差フォーマットが４：２：２での色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。
【発明を実施するための形態】
【００１８】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形に分割したブロック単位で、符号化においては既に符号化および復号済み、復号においては復号済み（以下復号済みとする）の周囲のブロックの画素値から予測を行うイントラ予測、及び既に復号済みのピクチャから動き補償によるインター予測を用いて符号量を削減する。
【００１９】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００２０】
（色差フォーマット）
実施の形態の説明で符号化及び復号の対象とする画像の色差フォーマットは、ＡＶＣ／Ｈ．２６４方式でも対象とされているモノクロ、４：２：０、４：２：２、４：４：４とし、輝度信号と色差信号をセットにして符号化、及び復号する。ただし、色差信号に関する説明に関しては、モノクロの場合の説明を省略する。なお、４：４：４で輝度信号と色差信号を独立に符号化する方法に関しては本実施例ではモノクロとみなすこととする。
【００２１】
（ツリーブロック、符号化ブロックについて）
実施の形態では、図６に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を再帰的に４分割（縦横に２分割ずつ）して、小さなサイズのブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００２２】
図６においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに再帰的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００２３】
実施の形態の説明においては、色差フォーマットが４：２：０で、ツリーブロックのサイズを輝度信号で６４×６４画素、色差信号で３２×３２画素と設定し、最小の符号化ブロックのサイズを輝度信号で８×８画素、色差信号で４×４画素と設定する。図６では、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素となり、符号化ブロックＢのサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素となり、符号化ブロックＣのサイズは輝度信号で１６×１６画素、色差信号で８×８画素となり、符号化ブロックＤのサイズは輝度信号で８×８画素、色差信号で４×４画素となる。なお、色差フォーマットが４：４：４の場合、各符号化ブロックの輝度信号と色差信号のサイズが等しくなる。色差フォーマットが４：２：２の場合、符号化ブロックＡのサイズは色差信号で３２×６４画素となり、符号化ブロックＢのサイズは色差信号で１６×３２画素となり、符号化ブロックＣのサイズは色差信号で８×１６画素となり、最小の符号化ブロックである符号化ブロックＤのサイズは色差信号で４×８画素となる。
【００２４】
（予測モードについて）
符号化ブロック単位で、符号化／復号対象ピクチャ内の符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）の周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び符号化／復号済みのピクチャの画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。
【００２５】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この必要に応じて分割されたブロックを予測ブロックと定義する。図７に示すように、符号化ブロックの輝度信号の分割方法に応じて８種類の分割モード（PartMode）を定義する。
【００２６】
図７（ａ）に示す符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなした分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）と定義する。図７（ｂ）、（ｃ）、（ｄ）に示す符号化ブロックの輝度信号を上下に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれ２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）と定義する。ただし、２Ｎ×Ｎ分割（PART_2NxN）は上下に１：１の比率で分割した分割モードであり、２Ｎ×ｎＵ分割（PART_2NxnU）は上下に１：３の比率で分割した分割モードであり、２Ｎ×ｎＤ分割（PART_2NxnD）は上下に３：１の比率で分割した分割モードである。図７（ｅ）、（ｆ）、（ｇ）に示す符号化ブロックの輝度信号を左右に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）と定義する。ただし、Ｎ×２Ｎ分割（PART_Nx2N）は左右に１：１の比率で分割した分割モードであり、ｎＬ×２Ｎ分割（PART_nLx2N）は左右に１：３の比率で分割した分割モードであり、ｎＲ×２Ｎ分割（PART_nRx2N）は左右に３：１の比率で分割した分割モードである。図７（ｈ）に示す符号化ブロックの輝度信号を上下左右に４分割して、４つの予測ブロックとした分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。
【００２７】
なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００２８】
符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図７の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図７（ｂ）、（ｃ）、（ｄ）に示す２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図７（ｅ）、（ｆ）、（ｇ）に示すＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図７（ｈ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。
【００２９】
予測モード（PredMode）がインター予測（MODE_INTER）では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）を定義する。最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００３０】
予測モード（PredMode）がイントラ予測（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ（本実施例は輝度信号で８×８画素）以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）だけを定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００３１】
（イントラ予測、イントラ予測モードについて）
イントラ予測では同じピクチャ内の周囲の復号済みのブロックの画素の値から処理対象ブロックの画素の値を予測する。本実施例の符号化装置及び復号装置では３４通りのイントラ予測モードから選択して、イントラ予測する。図８は本実施例で規定するイントラ予測モードの値と予測方向を説明図である。実線の矢印の指し示す方向はイントラ予測の予測方向、すなわちイントラ予測で参照する方向を示し、隣接するブロックの矢印の指し示す方向の復号済みの画素を参照して矢印の始点の画素のイントラ予測を行う。番号はイントラ予測モードの値を示す。イントラ予測モード（intraPredMode）は、上の復号済みのブロックから垂直方向に予測する垂直予測（イントラ予測モードintraPredMode=0）、左の復号済みのブロックから水平方向に予測する水平予測（イントラ予測モードintraPredMode=1）、周囲の復号済みのブロックから平均値を算出することにより予測する平均値予測（イントラ予測モードintraPredMode=2）、周囲の復号済みのブロックから斜め４５度の角度で予測する平均値予測（intraPredMode=3）に加えて、周囲の復号済みのブロックから様々な角度で斜め方向に予測する３０通りの角度予測（イントラ予測モードintraPredMode=4…33）を定義する。
【００３２】
イントラ予測モードは、輝度信号、色差信号それぞれに用意し、輝度信号用のイントラ予測モードをイントラ輝度予測モード、色差信号用のイントラ予測モードをイントラ色差予測モードと定義する。イントラ輝度予測モードの符号化、および復号においては、周辺のブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で周辺のブロックのイントラ輝度予測モードから予測できると判断された場合は参照するブロックを特定する情報を伝送し、周辺のブロックのイントラ輝度予測モードから予測するよりもイントラ輝度予測モードに別の値を設定した方が良いと判断された場合に、さらにイントラ輝度予測モードの値を符号化、または復号する仕組みを用いる。周辺のブロックのイントラ輝度予測モードから符号化・復号対象ブロックのイントラ輝度予測モードを予測することにより、伝送する符号量を削減できる。一方、イントラ色差予測モードの符号化、および復号においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側でイントラ輝度予測モードから予測できると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断した場合に、イントラ色差予測モードの値を符号化、または復号する仕組みを用いる。イントラ輝度予測モードからイントラ色差予測モードを予測することにより、伝送する符号量を削減できる。
【００３３】
（変換ブロック）
従来と同様に、本実施の形態でもＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）等の、離散信号を周波数領域へ変換する直交変換とその逆変換を用いて、符号量の削減を図る。符号化ブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じて符号化ブロック内の輝度信号、及び色差信号を後述する規則に従って分割して、小さなブロック単位で、変換、または逆変換を行うことができる。この必要に応じて分割された直交変換または逆直交変換の対象となるブロックを変換ブロックと定義する。
【００３４】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号のピクチャの一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。図９は色差フォーマットが４：２：０での本実施例で規定するブロックの位置の説明をするための一例の図である。図９の×は画像のピクチャ平面上での輝度信号の画素の位置を示し、○は色差信号の画素の位置を示す。図９の点線の四角形は８×８画素の輝度信号のブロックＥであると同時に、４×４画素の色差信号のブロックＦでもある。▲は点線で示される８×８画素の輝度信号のブロックＥの一番左上の輝度信号の画素の位置である。したがって、▲は点線で示される８×８画素の輝度信号のブロックＥの位置となり、▲で示される画素の輝度信号の座標を点線で示される８×８画素の輝度信号のブロックＥの座標となる。同様に、▲は点線で示される４×４画素の色差信号のブロックＦの領域に含まれる一番左上の輝度信号の画素の位置でもある。したがって、▲は点線で示される４×４画素の色差信号のブロックＦの位置ともなり、▲で示される画素の輝度ｆ信号の座標を点線で示される４×４画素の色差信号のブロックＦの座標となる。実施の形態においては、色差フォーマットの種類やブロックの形状、大きさにかかわらず、定義した輝度信号のブロックの座標と色差信号のブロックの座標のｘ成分とｙ成分の値が共に同一の場合にだけ、これらのブロックは同じ位置にあると定義する。
【００３５】
図１は実施の形態に係る画像符号化装置の構成を示すブロックである。実施の形態の画像符号化装置は、色差フォーマット設定部１０１、画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、符号化方法決定部１０５、残差信号生成部１０６、直交変換・量子化部１０７、逆量子化・逆直交変換部１０８、復号画像信号重畳部１０９、復号画像メモリ１１１、第１の符号化ビット列生成部１１２、第２の符号化ビット列生成部１１３、第３の符号化ビット列生成部１１４、符号化ビット列多重化部１１５を備える。
【００３６】
色差フォーマット設定部１０１では符号化対象の画像信号の色差フォーマットを設定する。色差フォーマット設定部１０１に供給される符号化画像信号から色差フォーマットを判断して色差フォーマットを設定してもよいし、外部から設定してもよい。輝度信号のみ、４：２：０、４：２：２、または４：４：４と設定された色差フォーマットの情報は第１の符号化ビット列生成部１１２に供給されるとともに、第２の符号化ビット列生成部１１３に供給されて、色差フォーマットに基づいた符号化処理が行われる。なお、図示していないが、図１の画像メモリ１０２、イントラ予測部１０３、インター予測部１０４、符号化方法決定部１０５、残差信号生成部１０６、直交変換・量子化部１０７、逆量子化・逆直交変換部１０８、復号画像信号重畳部１０９、第３の符号化ビット列生成部１１４でもこの設定された色差フォーマットに基づいて符号化処理が行われ、符号化情報格納メモリ１１０、復号画像メモリ１１１では、この設定された色差フォーマットに基づいて管理される。
【００３７】
画像メモリ１０２では、時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０２に格納された符号化対象の画像信号は符号化順序に並べ替えられて、設定に応じた複数の組み合わせでそれぞれの符号化ブロック単位に分割され、さらに、それぞれの予測ブロック単位に分割されて、イントラ予測部１０３、インター予測部１０４、残差信号生成部１０６に供給される。
【００３８】
イントラ予測部１０３は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた予測ブロック単位で、復号画像メモリ１１１に格納された復号済みの画像信号から符号化対象の予測ブロックの輝度信号、色差信号それぞれについて複数のイントラ輝度予測モード、及びイントラ色差予測モードに応じたそれぞれのイントラ予測を行い、イントラ予測信号を得る。なお、イントラ色差予測モードは色差フォーマットに応じてイントラ輝度予測モードから予測される値、または、代表的なイントラ予測モードである０（水平方向）、１（垂直方向）、２（平均値）、３（斜め４５度）に限り選択する。
【００３９】
予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のイントラ予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のイントラ予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのイントラ予測の候補として、選択されたイントラ予測モードに対応するイントラ予測情報、イントラ予測信号、及びイントラ予測の評価値を符号化方法決定部１０５に供給する。
【００４０】
インター予測部１０４は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた単位、即ち予測ブロック単位で、復号画像メモリ１１１に格納された復号済みの画像信号から複数のインター予測モード（Ｌ０予測、Ｌ１予測、両予測）、及び参照画像に応じたそれぞれのインター予測を行い、インター予測信号を得る。その際、動きベクトル探索を行い、探索された動きベクトルに応じてインター予測を行う。なお、両予測の場合は、２つのインター予測信号を画素毎に平均、または重み付け加算することにより、両予測のインター予測を行う。予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のインター予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のインター予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのインター予測の候補として、選択されたインター予測モードに対応するインター予測情報、インター予測信号、及びインター予測の評価値を符号化方法決定部１０５に供給する。
【００４１】
符号化方法決定部１０５は複数の符号化ブロック単位におけるそれぞれの予測ブロック毎に選択されたイントラ予測情報に対応するイントラ予測評価値及びインター予測情報に対応するインター予測評価値に基づき、最適な符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）を決定し、決定に応じたイントラ予測情報、またはインター予測情報を含む符号化情報を第２の符号化ビット列生成部１１３に供給するとともに、符号化情報格納メモリ１１０に格納し、決定に応じたイントラ予測またはインター予測された予測信号を残差信号生成部１０６、及び復号画像信号重畳部１０９に供給する。
【００４２】
残差信号生成部１０６は、符号化する画像信号からイントラ予測またはインター予測された予測信号を画素毎に減じて残差信号を生成し、直交変換・量子化部１０７に供給する。
【００４３】
直交変換・量子化部１０７は、供給される残差信号に対して量子化パラメータに応じてＤＣＴやＤＳＴ等の周波数領域に変換する直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３の符号化ビット列生成部１１４、及び逆量子化・逆直交変換部１０８に供給する。
【００４４】
第１の符号化ビット列生成部１１２は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値を算出し、算出した各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第１の符号化ビット列を生成し、符号化された第１の符号化ビット列を符号化ビット列多重化部１１５に供給する。色差フォーマットに関するシンタックス要素の値も第１の符号化ビット列生成部１１２で算出される。色差フォーマット設定部１０１から供給される色差フォーマット情報から色差フォーマットに関するシンタックス要素を算出する。図１０は本実施例で規定するシーケンス全体の符号化に関する情報を符号化するヘッダとなるシーケンス・パラメータ・セットで色差フォーマット情報を符号化する際の、シンタックスの定義の一例である。シンタックス要素chroma_format_idcは色差フォーマットの種類を示す。シンタックス要素chroma_format_idcの意味は値が０はモノクロ、１は４：２：０、２は４：２：２、３は４：４：４を表す。また、シンタックス要素separate_colour_plane_flagの意味は輝度信号と色差信号が別々に符号化されるかどうかを表し、separate_colour_plane_flagの値が０の場合、輝度信号に２つの色差信号が対応付けられて符号化されることを表す。シンタックス要素chroma_format_idcの値が１の場合、輝度信号と２つの色差信号が別々に符号化されることを表す。シンタックス要素chroma_format_idcの値が３、即ち色差フォーマットが４：４：４の場合のみ、chroma_format_idcの値を０または１に設定することができ、それ以外の色差フォーマットでは、常にシンタックス要素separate_colour_plane_flagの値が０として、符号化される。
【００４５】
第２の符号化ビット列生成部１１３は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、符号化ブロック単位の符号化情報に加えて、予測ブロック毎に符号化方法決定部１０５によって決定された符号化情報に関するシンタックス要素の値を算出する。具体的には、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）等の符号化ブロック単位の符号化情報に加えて、予測ブロック単位の符号化情報に関するシンタックス要素の値を算出する。予測モード（PredMode）がイントラ予測の場合、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに関するシンタックス要素の値を算出し、予測モード（PredMode）がインター予測の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報に関するシンタックス要素の値を算出する。算出された各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第２の符号化ビット列を生成し、符号化された第２の符号化ビット列を符号化ビット列多重化部１１５に供給する。
【００４６】
第３の符号化ビット列生成部１１４は、直交変換及び量子化された残差信号を規定のシンタックス規則に従って可変長符号化、算術符号化等によるエントロピー符号化を行い、第３の符号化ビット列を生成して、第３の符号化ビット列を符号化ビット列多重化部１１５に供給する。
【００４７】
符号化ビット列多重化部１１５で、第１の符号化ビット列と第２の符号化ビット列、及び第３の符号化ビット列を規定のシンタックス規則に従って多重化してビットストリームを生成し、多重化されたビットストリームを出力する。
【００４８】
逆量子化・逆直交変換部１０８は、直交変換・量子化部１０７から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１０９に供給する。復号画像信号重畳部１０９は、符号化方法決定部１０５による決定に応じてイントラ予測またはインター予測された予測信号と逆量子化・逆直交変換部１０８で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１１に格納する。なお、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ１１１に格納されることもある。
【００４９】
図２は図１の画像符号化装置に対応した実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、符号化ビット列分離部２０１、第１の符号化ビット列復号部２０２、第２の符号化ビット列復号部２０３、第３の符号化ビット列復号部２０４、色差フォーマット管理部２０５、イントラ予測部２０６、インター予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、復号画像メモリ２１１、およびスイッチ２１２、２１３を備える。
【００５０】
符号化ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、シーケンス、ピクチャ、及びスライス単位の符号化情報を示す第１の符号化ビット列が第１の符号化ビット列復号部２０２に供給され、符号化ブロック単位の符号化情報を含む第２の符号化ビット列が第２の符号化ビット列復号部２０３に供給され、直交変換及び量子化された残差信号を含む第３の符号化ビット列が第３の符号化ビット列復号部２０４に供給される。
【００５１】
第１の符号化ビット列復号部２０２は、シンタックス規則に従って、供給された第１の符号化ビット列をエントロピー復号して、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、復号されたシーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値から、シーケンス、ピクチャ、及びスライス単位の符号化情報を算出する。第１の符号化ビット列復号部２０２は符号化側の第１の符号化ビット列生成部１１２に対応する符号化ビット列復号部であり、第１の符号化ビット列生成部１１２で符号化されたシーケンス、ピクチャ、及びスライス単位の符号化情報を含む符号化ビット列からそれぞれの符号化情報に戻す機能を有する。第１の符号化ビット列生成部１１２で符号化された色差フォーマット情報は第１の符号化ビット列復号部２０２で第２の符号化ビット列をエントロピー復号することにより得られる色差フォーマット情報に関するシンタックス要素の値から算出する。図１０に示すシンタックス規則、及びセマンティクス規則に従って、シンタックス要素chroma_format_idcの値から色差フォーマットの種類を特定し、シンタックス要素chroma_format_idcの値が０はモノクロ、１は４：２：０、２は４：２：２、３は４：４：４となる。さらに、シンタックス要素chroma_format_idcの値が３の時にはシンタックス要素separate_colour_plane_flagを復号して、輝度信号と色差信号が別々に符号化されているかどうかを判別する。算出された色差フォーマット情報は色差フォーマット管理部２０５に供給される。
【００５２】
色差フォーマット管理部２０５は、供給された色差フォーマット情報を管理する。供給された色差フォーマット情報は第２の符号化ビット列復号部２０３に供給され、色差フォーマット情報に基づいた符号化ブロック、及び予測ブロックの符号化情報の算出処理が行われる。なお、図に明示していないが、第３の符号化ビット列復号部２０４、図２のイントラ予測部２０６、インター予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９でもこの色差フォーマット情報に基づいた復号処理が行われ、符号化情報格納メモリ２１０、復号画像メモリ２１１ではこの色差フォーマット情報に基づいて管理される。
【００５３】
第２の符号化ビット列復号部２０３は、シンタックス規則に従って、供給された第１の符号化ビット列をエントロピー復号して、符号化ブロック、及び予測ブロック単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、供給された符号化ブロック単位、及び予測ブロック単位の符号化情報に関するシンタックス要素の値から、符号化ブロック単位、及び予測ブロック単位の符号化情報を算出する。第２の符号化ビット列復号部２０３は符号化側の第２の符号化ビット列生成部１１３に対応する符号化情報算出部であり、第２の符号化ビット列生成部１１３で符号化された符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ビット列からそれぞれの符号化情報に戻す機能を有する。具体的には、第２の符号化ビット列を規定のシンタックス規則に従って復号することにより得られる各シンタックス要素から、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）に加えて、予測モード（PredMode）がイントラ予測の場合、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードを得る。一方、予測モード（PredMode）がインター予測の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報を得る。予測モード（PredMode）がイントラ予測の場合、スイッチ２１２を通じて、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードをイントラ予測部２０６に供給し、予測モード（PredMode）がインター予測の場合、スイッチ２１２を通じて、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報をインター予測部２０７に供給する。
【００５４】
第３の符号化ビット列復号部２０４は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０８に供給する。
【００５５】
イントラ予測部２０６は、供給されるイントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに応じて復号画像メモリ２１１に格納されている復号済みの周辺ブロックからイントラ予測により予測画像信号を生成し、スイッチ２１３を介して、予測画像信号を復号画像信号重畳部２０９に供給する。また、本実施の形態ではイントラ輝度予測モードの値からイントラ色差予測モードの値を予測する際に、色差フォーマットに応じてイントラ色差予測モードの導出方法が異なる。この場合、色差フォーマットに応じて異なる方法により導出されたイントラ予測モードを用いてイントラ予測を行う。
【００５６】
インター予測部２０７は、供給されるインター予測モード、参照ピクチャを特定する情報、動きベクトル等のインター予測情報を用いて復号画像メモリ２１１に格納されている復号済みの参照ピクチャから動き補償を用いたインター予測により予測画像信号を生成し、スイッチ２１３を介して、予測画像信号を復号画像信号重畳部２０９に供給する。なお、両予測の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を乗算して重畳し、最終的な予測画像信号を生成する。
【００５７】
逆量子化・逆直交変換部２０８は、第３の符号化ビット列復号部２０４で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００５８】
復号画像信号重畳部２０９は、イントラ予測部２０６、またはインター予測部２０７で予測された予測画像信号と、逆量子化・逆直交変換部２０８により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１１に格納する。復号画像メモリ２１１に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１１に格納されることもある。復号画像メモリ２１１に格納された復号画像信号は、出力順で出力される。
【００５９】
次に、実施の形態のポイントである符号化ブロックの変換ブロックへの分割について詳細に説明する。
【００６０】
本実施の形態においては、図１１に示すように、３種類の変換ブロックの形状を定義する。図１１（ａ）に示す幅と高さが等しい正方形の変換ブロックは符号化の対象となる信号の水平方向と垂直方向の相関性が等価である場合に用いることで符号化効率を向上させることができる。図１１（ｂ）に示す幅対高さの比率が４対１の横に長い長方形の変換ブロックは水平方向の相関性が高く、垂直方向の相関性が低い場合に用いることで符号化効率を向上させることができる。図１１（ｃ）に示す幅対高さの比率が１対４の縦に長い長方形の変換ブロックは垂直方向の相関性が高く、水平方向の相関性が低い場合に用いることで符号化効率を向上させることができる。
【００６１】
変換ブロックの一辺のサイズは２のべき乗とする。さらに、本実施の形態においては変換ブロックの最小サイズと最大サイズを定義する。まず、本実施例における直交変換の最小サイズについて説明する。画像符号化においては、低周波数成分の画質劣化は目立ちやすいが、高周波数成分の画質劣化は目立ちにくいという特性を利用して、低周波数成分よりも高周波数成分を粗く量子化することで、符号量を削減する。しかし、２×２変換は充分に周波数成分に分けることが困難なため、符号量の削減効果が低い。また、イントラ予測、変換、量子化のそれぞれの処理単位が小さくしすぎると対応する処理単位の数が増大するため処理が複雑になる。そこで、本実施例においては、直交変換の一方向の最小サイズを４画素とし、変換ブロックの最小サイズを４×４画素とする。次に、本実施例における直交変換の最大サイズについて説明する。直交変換の最大サイズを大きくするとハードウェアに実装する際の回路規模が大きくなってしまう。そこで、本実施例においては、直交変換の一方向の最大サイズを３２画素とし、変換ブロックの最大サイズを３２×３２画素とする。符号化の対象となる信号の相関性が高い場合には大きなサイズで直交変換を行い、符号化の対象となる信号の相関性が低い場合には小さなサイズで直交変換を行うことで符号化効率を向上させることができる。
【００６２】
なお、シーケンス単位、ピクチャ単位、またはスライス単位で、変換ブロックの最小サイズ（または最大サイズ）を示すシンタックス要素、及び変換ブロックの最小サイズと最大サイズの差分を示すシンタックス要素を設定して、符号化側の第１の符号化ビット列生成部１１２で符号化し、復号側の第１の符号化ビット列復号部２０２で復号側で復号することにより、変換ブロックの最小サイズと最大サイズを判別する。例えば、変換ブロックの最小サイズを示すシンタックス要素の値が０では直交変換の最小単位は４画素を示し、値が１では直交変換の最小単位は８画素を示し、値が２では直交変換の最小単位は１６画素を示し、値が３では直交変換の最小単位は３２画素を示すものとする。また、変換ブロックの最小サイズと最大サイズの差分を示すシンタックス要素の値が０では最小サイズと最大サイズが等しいものとし、値が１では最小サイズと最大サイズが１段階異なるものとし（例えば、最小サイズが４画素の場合は最大サイズは８画素、最小サイズが８画素の場合は最大サイズは１６画素）、値が２では最小サイズと最大サイズが２段階異なるものとし（例えば、最小サイズが４画素の場合は最大サイズは１６画素、最小サイズが８画素の場合は最大サイズは３２画素）、値が３では最小サイズと最大サイズが３段階異なるものとする（例えば、最小サイズが４画素の場合は最大サイズは３２画素）。
本実施の形態においては、最小サイズを４×４画素、最大サイズを３２×３２画素とするので、図１１（ａ）に示す正方形の変換ブロックのサイズは３２×３２画素、１６×１６画素、８×８画素、および４×４画素を用いる。また、図１１（ｂ）に示す横に長い長方形の変換ブロック、及び図１１（ｃ）に示す縦に長い長方形の変換ブロックについては、短い辺のサイズが変換ブロックの最小サイズと同じか大きいものとし、長い辺のサイズが変換ブロックの最大サイズと同じか小さいものとする。本実施の形態においては、最小サイズを４×４画素、最大サイズを３２×３２画素とするので、横に長い長方形の変換ブロックの最小サイズは１６×４画素、最大サイズは３２×８画素である。また、縦に長い長方形の変換ブロックの最小サイズは４×１６画素、最大サイズは８×３２画素である。以上の様に規定することで、変換ブロックの最小サイズ（または最大サイズ）を示すシンタックス要素、及び変換ブロックの最小サイズと最大サイズの差分を示すシンタックス要素の２つの情報を符号化および復号するだけで、図１１（ａ）に示す正方形の変換ブロック、図１１（ｂ）に示す横に長い長方形の変換ブロック、及び図１１（ｃ）に示す縦に長い長方形の変換ブロックのそれぞれの形状の変換ブロックの最小サイズと最大サイズを設定することができるので、変換ブロックの最小サイズと最大サイズを符号化するための符号量を削減することができる。
【００６３】
そこで、本実施の形態においては、符号化ブロック内の信号の空間方向の相関性に応じて、符号化ブロック単位で符号化ブロックを変換ブロックに分割する方法を示す変数TransformSpritDirectionを定義する。変数TransformSpritDirectionの値が０は、横に長い長方形の変換ブロック単位で直交変換するための分割方法を示し、変数TransformSpritDirectionの値が１は、縦に長い長方形の変換ブロック単位で直交変換するための分割方法を示し、変数TransformSpritDirectionの値が２は、幅と高さが等しい正方形の変換ブロック単位で直交変換するための分割方法を示す。
【００６４】
変数TransformSpritDirectionは符号化ブロック毎に変数TransformSpritDirectionを示すシンタックス要素を定義してビットストリーム内に符号化することで明示的に設定してもよいし、ビットストリーム内に符号化せずに符号化側、復号側双方で導出することにより暗黙的に設定してもよい。明示的に設定する方法では、符号化側で、適した変数TransformSpritDirectionの値を決定して符号化し、復号側では変数TransformSpritDirectionを示すシンタックス要素を復号して変数TransformSpritDirectionの値を取得する。暗黙的に設定する方法では、分割モード（PartMode）に応じて暗黙的に設定する。分割モード（PartMode）が図７（ｂ）、（ｃ）、（ｄ）に示す２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）の際には、水平方向に相関性が高い可能性が高いので、変数TransformSpritDirectionを０に設定する。分割モード（PartMode）が図７（ｅ）、（ｆ）、（ｇ）に示すＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）の際には垂直方向に相関性が高い可能性が高いので、変数TransformSpritDirectionを１に設定する。分割モード（PartMode）が図７（ａ）に示す２Ｎ×２Ｎ分割（PART_2Nx2N）、図７（ｈ）に示すＮ×Ｎ分割（PART_NxN）の際には、変数TransformSpritDirectionを２に設定する。
【００６５】
本実施の形態においては、空間方向の相関性に応じて、符号化ブロックを変換ブロックに分割する方法を示す変数TransformSpritDirectionに応じて、符号化ブロック内の輝度信号、および色差信号をそれぞれ変換ブロックに分割する。輝度信号、および色差信号は変数TransformSpritDirectionと後述するフラグsplit_transform_flagの値に応じて、分割されたブロックをさらに再帰的に分割して、より小さなサイズの変換ブロックにすることができる。変数TransformSpritDirectionに応じた符号化ブロックの変換ブロックへの再帰的な分割方法について、図１２、図１３、図１４を用いて、詳細に説明する。
【００６６】
図１２は変数TransformSpritDirectionの値が２の際の輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。変数TransformSpritDirectionの値が２の際には、符号化ブロックを必要に応じて再帰的に上下左右に４分割する。符号化ブロックを４分割するかどうかは符号化ブロック毎に符号化側で決定して分割するか否かを示すフラグsplit_transform_flagに値を設定して第２の符号化ビット列生成部１１３で符号化し、復号側では第２の符号化ビット列復号部２０３でこのフラグsplit_transform_flagを復号して符号化ブロックを４分割するかどうかを判断する。分割しない場合はフラグsplit_transform_flagの値が０となり、輝度信号の符号化ブロックがそのまま変換ブロックとなる。分割する場合はフラグsplit_transform_flagの値が１となり、符号化ブロックが上下左右に四分割される。上下左右に四分割されてできたそれぞれのブロックについて、さらにそのブロックを４分割するかどうかは分割されてできたそれぞれのブロック毎に符号化側で決定して分割するか否かを示すフラグsplit_transform_flagに値を設定して符号化し、復号側でこのフラグsplit_transform_flagを復号してそれぞれのブロックを４分割するかどうかを判断する。分割しない場合はフラグsplit_transform_flagの値が０となり、そのブロックが変換ブロックとなる。分割する場合はフラグsplit_transform_flagの値が１となり、ブロックがさらに上下左右に四分割される。ただし、分割後のブロックが最小サイズ（本実施の形態においては４×４画素）より小さくなる場合にはそれ以上分割しない。その場合、フラグsplit_transform_flagはビットストリーム内には符号化せずに、符号化側復号側双方で０に設定する。
【００６７】
図１３は変数TransformSpritDirectionの値が０の際の輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。変数TransformSpritDirectionの値が０の際には、まず符号化ブロックを左右方向に並ぶ４つの横に長い長方形のブロックに分割する。左右に四分割されてできたそれぞれのブロックについて、さらにそのブロックを上下左右に４分割するかどうかは分割されてできたそれぞれのブロック毎に符号化側で決定して分割するか否かを示すフラグsplit_transform_flagに値を設定して第２の符号化ビット列生成部１１３で符号化し、復号側では第２の符号化ビット列復号部２０３でこのフラグsplit_transform_flagを復号してブロックを上下左右に４分割するかどうかを判断する。分割しない場合はフラグsplit_transform_flagの値が０となり、そのブロックが変換ブロックとなる。分割する場合はフラグsplit_transform_flagの値が１となり、ブロックがさらに上下左右に四分割される。ただし、分割後のブロックが最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合にはそれ以上分割しない。フラグsplit_transform_flagはビットストリーム内には符号化せずに、符号化側復号側双方で０に設定する。
【００６８】
図１４は変数TransformSpritDirectionの値が１の際の輝度信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。変数TransformSpritDirectionの値が１の際には、まず符号化ブロックを上下方向に並ぶ４つの縦に長い長方形のブロックに分割する。上下に四分割されてできたそれぞれのブロックについて、さらにそのブロックを上下左右に４分割するかどうかは分割されてできたそれぞれのブロック毎に符号化側で決定して分割するか否かを示すフラグsplit_transform_flagに値を設定して第２の符号化ビット列生成部１１３で符号化し、復号側では第２の符号化ビット列復号部２０３でこのフラグsplit_transform_flagを復号してブロックを上下左右に４分割するかどうかを判断する。分割しない場合はフラグsplit_transform_flagの値が０となり、そのブロックが変換ブロックとなる。分割する場合はフラグsplit_transform_flagの値が１となり、ブロックがさらに上下左右に四分割される。ただし、分割後のブロックが最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合にはそれ以上分割しない。フラグsplit_transform_flagはビットストリーム内には符号化せずに、符号化側復号側双方で０に設定する。
【００６９】
なお、符号化ブロックが設定された変換ブロックの最大サイズよりも大きい場合、最大サイズに達するまで符号化ブロックを再帰的に上下左右に４分割してから変数TransformSpritDirectionの値に応じて図１２、図１３、図１４を用いて説明した処理を行う。
【００７０】
次に、色差信号の変換ブロックへの分割方法について説明する。色差信号においても変数TransformSpritDirectionに応じて、符号化ブロックを分割する。ただし、輝度信号のようにフラグsplit_transform_flagを用いて分割するか否かを適応的に切り替えるのではなく、変数TransformSpritDirectionに応じて分割方法を決める。色差信号は輝度信号に比べて空間方向の相関性が高いため、分割するか否かを適応的に切り替えずに分割方法を決めても符号化効率はほとんど低下しないため実装の簡略化を図ることができる。また、符号化側で変換ブロックの分割を決定する際に、輝度と色差を一緒に考慮して分割するか否かを決定する必要がなくなり、処理量が削減できる。なお、色差信号においても輝度信号と同様に変数TransformSpritDirection及びフラグsplit_transform_flagを用いて、符号化ブロックを分割するようにしてもよい。変数TransformSpritDirectionに応じた色差信号の符号化ブロックの変換ブロックへの分割方法について、図１５、図１６、図１７を用いて、詳細に説明する。
【００７１】
まず、色差フォーマットが４：２：０の場合について説明する。図１５は色差フォーマットが４：２：０での色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。図１５（ａ）は変数TransformSpritDirectionの値が２の際の色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。色差フォーマットが４：２：０で変数TransformSpritDirectionの値が２の際には、色差信号の符号化ブロックを分割せず、色差信号の符号化ブロックをそのまま変換ブロックとする。分割モード（PartMode）がＮ×Ｎ分割（PART_NxN）の際には、色差信号の符号化ブロックを上下左右に四分割して、色差信号の正方形の変換ブロックとすることもできる。また、フラグsplit_transform_flagを用いる場合は、その値が１のときに、色差信号の符号化ブロックを上下左右に四分割して、色差信号の正方形の変換ブロックとする処理を行う。ただし、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においては４×４画素）より小さくなる場合には分割しない。
【００７２】
図１５（ｂ）は変数TransformSpritDirectionの値が０の際の色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。色差フォーマットが４：２：０で変数TransformSpritDirectionの値が０の際には、色差信号の符号化ブロックを上下方向に並ぶ４つの幅対高さの比率が４対１の横に長い長方形のブロックに分割する。ただし、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。
【００７３】
図１５（ｃ）は変数TransformSpritDirectionの値が１の際の色差信号の符号化ブロックの変換ブロックへの分割方法を説明する図である。色差フォーマットが４：２：０で変数TransformSpritDirectionの値が１の際には、色差信号の符号化ブロックを左右方向に並ぶ４つの幅対高さの比率が１対４の縦に長い長方形のブロックに分割し、変換ブロックとする。ただし、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。
【００７４】
続いて、色差フォーマットが４：２：２の場合について説明する。図１６は色差フォーマットが４：２：２での色差信号の符号化ブロックの分割方法を説明する図である。図１６（ａ）は変数TransformSpritDirectionの値が２の際の色差信号の符号化ブロックの分割方法を説明する図である。色差フォーマットが４：２：２で変数TransformSpritDirectionの値が２の際には、色差信号の符号化ブロックを上下に並ぶ２つの正方形のブロックに分割し、変換ブロックとする。正方形の変換ブロックに分割することで、輝度信号や色差フォーマットが４：２：０での色差信号で用いる変換ブロックと同じ形状、サイズの変換ブロック単位で直交変換を行うことができる。分割モード（PartMode）がＮ×Ｎ分割（PART_NxN）の際には、色差信号の符号化ブロックを上下左右に四分割して得られる色差信号の幅対高さの比率が１対２の縦に長い長方形のブロックをさらに上下に並ぶ２つの正方形のブロックに分割し、変換ブロックとすることもできる。また、フラグsplit_transform_flagを用いる場合は、その値が１のときに、色差信号の符号化ブロックを上下左右に四分割して得られる色差信号の幅対高さの比率が１対２の縦に長い長方形のブロックをさらに上下に並ぶ２つの正方形のブロックに分割し、変換ブロックとすることもできる。ただし、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。なお、図１７（ａ）に示すように、分割せずに幅対高さの比率が１対２の縦に長い長方形の変換ブロック単位の直交変換処理を用意して、色差信号の符号化ブロックをそのまま変換ブロックとすることもできる。また、分割モード（PartMode）がＮ×Ｎ分割（PART_NxN）の際には、色差信号の符号化ブロックを上下左右に四分割して、色差信号の幅対高さの比率が１対２の縦に長い長方形の変換ブロックとすることもできる。また、フラグsplit_transform_flagを用いる場合は、その値が１のときに、色差信号の符号化ブロックを上下左右に四分割して、色差信号の幅対高さの比率が１対２の縦に長い長方形の変換ブロックとする処理を行う。ただし、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。
【００７５】
図１６（ｂ）は変数TransformSpritDirectionの値が０の際の色差信号の符号化ブロックの分割方法を説明する図である。色差フォーマットが４：２：２で変数TransformSpritDirectionの値が０の際にも、色差信号の符号化ブロックを上下に並ぶ２つの正方形のブロックに分割し、変換ブロックとする。正方形の変換ブロックに分割することで、輝度信号や色差フォーマットが４：２：０での色差信号で用いる変換ブロックと同じ形状、サイズの変換ブロック単位で直交変換を行うことができる。なお、色差フォーマットが４：２：２では、正方形の変換ブロック単位で、直交変換を行うことにより、垂直方向よりも水平方向の相関性が高い場合に符号化効率を向上させることができる。なぜなら、色差フォーマットが４：２：２では、輝度信号に対して色差信号は水平方向に１／２で標本化（サンプリング）されているからである。なお、図１７（ｂ）に示すように、幅対高さの比率が２対１の横に長い長方形の変換ブロック単位の直交変換処理を用意して、色差信号の符号化ブロックを上下方向に並ぶ４つの横に長い長方形のブロックに分割し、変換ブロックとすることもできる。フラグsplit_transform_flagを用いる場合は、その値が１のときに、この処理を行う。ただし、図１６（ｂ）、図１７（ｂ）共に、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。
【００７６】
図１６（ｃ）は変数TransformSpritDirectionの値が１の際の色差信号の符号化ブロックの分割方法を説明する図である。色差フォーマットが４：２：２で変数TransformSpritDirectionの値が１の際には、色差信号の符号化ブロックを左右に並ぶ２つの幅対高さの比率が１対４の縦に長い長方形のブロックに分割し、変換ブロックとする。幅対高さの比率が１対４の縦に長い長方形の変換ブロックに分割することで、輝度信号や色差フォーマットが４：２：０での色差信号で用いる変換ブロックと同じ形状、サイズの変換ブロック単位で直交変換を行うことができる。なお、縦に長い長方形の変換ブロック単位で、直交変換を行うことにより、水平方向よりも垂直方向の相関性が高い場合に符号化効率を向上させることができる。なお、図１７（ｃ）に示すように、幅対高さの比率が１対８の縦に長い長方形の変換ブロック単位の直交変換処理を用意して、色差信号の符号化ブロックを左右方向に並ぶ４つの縦に長い長方形のブロックに分割し、変換ブロックとすることもできる。フラグsplit_transform_flagを用いる場合は、その値が１のときに、この処理を行う。ただし、図１６（ｃ）、図１７（ｃ）共に、分割後のブロックが設定された変換ブロックの最小サイズ（本実施の形態においてはブロックのいずれか小さい方の辺のサイズが４画素）より小さくなる場合には分割しない。
【００７７】
なお、符号化ブロックが設定された変換ブロックの最大サイズよりも大きい場合、最大サイズに達するまで符号化ブロックを再帰的に上下左右に４分割してから変数TransformSpritDirectionの値および色差フォーマットに応じて図１５、図１６、図１７を用いて説明した処理を行う。また、上述の実施の形態においては、変数TransformSpritDirectionによって３種類の分割方法を切り替えるものとして説明した。一方で、これら３種類の分割方法のうちの１つだけを用いて処理するようにしてもよい。例えば、TransformSpritDirectionの値が２の分割方法だけで実現するようにしてもよい。この場合、変数TransformSpritDirectionを符号化、および復号せず、前記TransformSpritDirectionの値が２の処理を行う。
【００７８】
以上述べた符号化ブロックの変換ブロックへの分割処理は、符号化側では、図１の符号化方法決定部１０５で符号化方法を決定する過程で実施される。復号側では図２の逆量子化・逆直交変換部２０８で実施される。符号化側では符号化方法決定部１０５で符号化ブロックの変換ブロックへの分割方法を決定して、その決定に応じた分割方法で符号化ブロックを変換ブロックに分割して、各変換ブロックの形状、サイズ、位置を導出し、直交変換・量子化部１０７で変換ブロック単位で直交変換および量子化を行い、逆量子化・逆直交変換部１０８で逆量子化および逆直交変換を行う。一方、復号側では逆量子化・逆直交変換部２０８で符号化ブロックの変換ブロックへの分割処理により各変換ブロックの形状、サイズ、位置を導出し、導出される変換ブロック単位で逆量子化および逆直交変換を行う。
【００７９】
以上述べた実施の形態の画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【００８０】
画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する画像受信装置とが設けられる。
【００８１】
画像送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
【００８２】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【００８３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００８４】
１０１  色差フォーマット設定部、  １０２  画像メモリ、  １０３  イントラ予測部、  １０４  インター予測部、  １０５  符号化方法決定部、  １０６  残差信号生成部、  １０７  直交変換・量子化部、  １０８  逆量子化・逆直交変換部、  １０９  復号画像信号重畳部、  １１０  符号化情報格納メモリ、  １１１  復号画像メモリ、  １１２  第１の符号化ビット列生成部、  １１３  第２の符号化ビット列生成部、  １１４  第３の符号化ビット列生成部、  １１５  符号化ビット列多重化部、  ２０１  符号化ビット列分離部、  ２０２  第１の符号化ビット列復号部、  ２０３  第２の符号化ビット列復号部、  ２０４  第３の符号化ビット列復号部、  ２０５  色差フォーマット管理部、  ２０６  イントラ予測部、  ２０７  インター予測部、  ２０８  逆量子化・逆直交変換部、  ２０９  復号画像信号重畳部、  ２１０  符号化情報格納メモリ、  ２１１  復号画像メモリ、  ２１２  スイッチ、  ２１３  スイッチ。
【図１】
2013168932.tif 000003
【図２】
2013168932.tif 000004
【図３】
2013168932.tif 000005
【図４】
2013168932.tif 000006
【図５】
2013168932.tif 000007
【図６】
2013168932.tif 000008
【図７】
2013168932.tif 000009
【図８】
2013168932.tif 000010
【図９】
2013168932.tif 000011
【図１０】
2013168932.tif 000012
【図１１】
2013168932.tif 000013
【図１２】
2013168932.tif 000014
【図１３】
2013168932.tif 000015
【図１４】
2013168932.tif 000016
【図１５】
2013168932.tif 000017
【図１６】
2013168932.tif 000018
【図１７】
2013168932.tif 000019