(57)【要約】【課題】  入力画像信号の色成分の解像度及び色空間に基づいて、効率よく画像内符号化を行う。【解決手段】  画像情報符号化装置１０において、イントラ予測部２３は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測画像を生成する際のブロックサイズを適応的に変更する。また、直交変換部１４、量子化部１５においても、クロマフォーマット信号及び色空間信号に応じて直交変換手法、量子化手法を変更する。可逆符号化部１６は、このクロマフォーマット信号及び色空間信号を符号化し、画像圧縮情報に含める。【選択図】  図１
2010104027.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、
色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、
上記画像内予測手段によって生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換手段と、
上記変換手段による変換に応じて量子化手法を適応的に変更し、上記変換手段によって生成された変換係数を量子化する量子化手段と、
上記量子化手段によって量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化手段と
を備えることを特徴とする画像情報符号化装置。
【請求項２】
上記変換手段は、上記所定のブロックサイズ単位で整数変換した後のＤＣ成分のみを集めて構成されたブロックをさらに整数変換することを特徴とする請求項１記載の画像情報符号化装置。
【請求項３】
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項２記載の画像情報符号化装置。
【請求項４】
上記画像内予測手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、８×８画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
【請求項５】
上記画像内予測手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、８×８画素のブロックを縦方向に並べた８×１６画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
【請求項６】
上記画像内予測手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、８×８画素のブロックを縦横方向に並べた１６×１６画素単位で上記予測画像を生成することを特徴とする請求項３記載の画像情報符号化装置。
【請求項７】
上記変換手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された２×２画素単位のブロックをさらに整数変換することを特徴とする請求項４記載の画像情報符号化装置。
【請求項８】
上記２×２画素単位のブロックの各係数をｆdc２ｘ２としたとき、該ブロックの整数変換後の各係数ｆdc'２ｘ２は、
【数１】
2010104027.tif 000050
で表されることを特徴とする請求項７記載の画像情報符号化装置。
【請求項９】
上記変換手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された２×４画素単位のブロックをさらに整数変換することを特徴とする請求項５記載の画像情報符号化装置。
【請求項１０】
上記２×４画素単位のブロックの各係数をｆdc２ｘ４としたとき、該ブロックの整数変換後の各係数ｆdc'２ｘ４は、
【数２】
2010104027.tif 000051
で表されることを特徴とする請求項９記載の画像情報符号化装置。
【請求項１１】
上記ｆdc２ｘ４とｆdc'２ｘ４との関係を、
【数３】
2010104027.tif 000052
と近似することを特徴とする請求項１０記載の画像情報符号化装置。
【請求項１２】
上記変換手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、上記差分信号を４×４画素単位で整数変換し、変換後のＤＣ成分を集めて構成された４×４画素単位のブロックをさらに整数変換することを特徴とする請求項６記載の画像情報符号化装置。
【請求項１３】
上記４×４画素単位のブロックの各係数をｆdc４ｘ４としたとき、該ブロックの整数変換後の各係数ｆdc'４ｘ４は、
【数４】
2010104027.tif 000053
で表されることを特徴とする請求項１２記載の画像情報符号化装置。
【請求項１４】
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、
色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、
上記画像内予測工程にて生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換工程と、
上記変換工程における変換に応じて量子化手法を適応的に変更し、上記変換工程にて生成された変換係数を量子化する量子化工程と、
上記量子化工程にて量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化工程と
を有することを特徴とする画像情報符号化方法。
【請求項１５】
上記変換工程では、上記所定のブロックサイズ単位で整数変換した後のＤＣ成分のみを集めて構成されたブロックをさらに整数変換することを特徴とする請求項１４記載の画像情報符号化方法。
【請求項１６】
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項１５記載の画像情報符号化方法。
【請求項１７】
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、
量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号手段と、
上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号手段によって復号された上記変換係数を逆量子化する逆量子化手段と、
上記逆量子化されたブロックを整数変換する逆変換手段と、
上記逆変換手段からの出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測手段と
を備えることを特徴とする画像情報復号装置。
【請求項１８】
上記逆変換手段は、上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換することを特徴とする請求項１７記載の画像情報復号装置。
【請求項１９】
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項１８記載の画像情報復号装置。
【請求項２０】
上記逆変換手段は、上記クロマフォーマット信号が４：２：０フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記逆量子化された２×２画素単位のブロックを整数変換し、変換後の各係数を８×８画素のブロックを構成する４つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
【請求項２１】
上記逆変換手段は、上記クロマフォーマット信号が４：２：２フォーマット、上記色空間信号がＹＣｂＣｒである場合には、上記逆量子化された２×４画素単位のブロックを整数変換し、変換後の各係数を８×１６画素のブロックを構成する８つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
【請求項２２】
上記変換手段は、上記クロマフォーマット信号が４：４：４フォーマット、上記色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺである場合には、上記逆量子化された４×４画素単位のブロックを整数変換し、変換後の各係数を１６×１６画素のブロックを構成する１６つの４×４画素単位のブロックの各ＤＣ係数としてさらに整数変換することを特徴とする請求項１９記載の画像情報復号装置。
【請求項２３】
入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、
量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号工程と、
上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号工程にて復号された上記変換係数を逆量子化する逆量子化工程と、
上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換する逆変換工程と、
上記逆変換工程の出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測工程と
を有することを特徴とする画像信号復号方法。
【請求項２４】
上記逆変換工程では、上記逆量子化されたブロックを整数変換し、この各係数を所定のブロックサイズのブロックの各ＤＣ成分として、上記所定のブロックサイズ単位でさらに整数変換することを特徴とする請求項２３記載の画像情報復号方法。
【請求項２５】
上記クロマフォーマット信号は、４：２：０フォーマット、４：２：２フォーマット及び４：４：４フォーマットを少なくとも含み、上記色空間信号は、ＹＣｂＣｒ、ＲＧＢ及びＸＹＺを少なくとも含むことを特徴とする請求項２４記載の画像情報復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘ等のように、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とによって圧縮された画像圧縮情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き予測・補償とにより圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、Ｈ.２６４（ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６４は、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６４をベースに、Ｈ．２６４ではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ（Joint Video Team）によって行われている。
【０００６】
ここで、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する画像情報符号化装置の概略構成を図９に示す。図９に示すように、画像情報符号化装置１００は、Ａ／Ｄ（Analogue/Digital）変換部１０１と、画像並び替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、加算器１１０と、フレームメモリ１１１と、動き予測・補償部１１２と、イントラ予測部１１３と、レート制御部１１４とにより構成されている。
【０００７】
図９において、Ａ／Ｄ変換部１０１は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ１０２は、当該画像情報符号化装置１００から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ１０２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１０４に供給する。直交変換部１０４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１０５に供給する。量子化部１０５は、直交変換部１０４から供給された変換係数に対して量子化処理を施す。
【０００８】
可逆符号化部１０６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１０７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【０００９】
量子化部１０５の挙動は、レート制御部１１４によって制御される。また、量子化部１０５は、量子化後の変換係数を逆量子化部１０８に供給し、逆量子化部１０８は、その変換係数を逆量子化する。逆直交変換部１０９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ１１１に供給して蓄積させる。
【００１０】
一方、画像並び替えバッファ１０２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部１１２に供給する。動き予測・補償部１１２は、同時に参照される画像情報をフレームメモリ１１１より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部１１２は、この参照画像情報を加算器１０３に供給し、加算器１０３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部１１２は、同時に動きベクトル情報を可逆符号化部１０６に供給する。
【００１１】
可逆符号化部１０６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００１２】
ここで、上述したＪＶＴで標準化が行われている符号化方式（以下、JVT Codecという。）では、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部１０８及び逆直交変換部１０９は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器１１０は、逆直交変換部１０９の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ１１１に供給して蓄積させる。イントラ予測部１１３は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ１１１に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部１０６において可逆符号化処理を施し、画像圧縮情報に含めて出力する。
【００１３】
続いて、上述した画像情報符号化装置１００に対応する画像情報復号装置の概略構成を図１０に示す。図１０に示すように、画像情報復号装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画像並び替えバッファ１２６と、Ｄ／Ａ（Digital/Analogue）変換部１２７と、動き予測・補償部１２８と、フレームメモリ１２９と、イントラ予測部１３０とにより構成されている。
【００１４】
図１０において、蓄積バッファ１２１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部１２２に転送する。可逆復号部１２２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化部１２３に供給する。また、可逆復号部１２２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部１２８に供給する。
【００１５】
逆量子化部１２３は、可逆復号部１２２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００１６】
ここで、当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ１２６に格納され、Ｄ／Ａ変換部１２７におけるＤ／Ａ変換処理の後に出力される。
【００１７】
一方、当該フレームがインター符号化されたものである場合には、動き予測・補償部１２８は、可逆復号処理が施された動きベクトル情報とフレームメモリ１２９に格納された画像情報とに基づいて参照画像を生成し、加算器１２５に供給する。加算器１２５は、この参照画像と逆直交変換部１２４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００１８】
なお、JVT Codecではイントラ予測符号化が採用されているため、当該フレームがイントラ符号化されたものである場合には、イントラ予測部１３０は、フレームメモリ１２９から画像を読みだし、可逆復号部１２２において可逆復号処理が施されたイントラ予測モードに従って予測画像を生成する。加算器１２５は、逆直交変換部１２４の出力とこの予測画像とを加算する。
【００１９】
以上説明した画像情報符号化装置１００及び画像情報復号装置１２０については、例えば下記特許文献１、２等に記載されている。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００１−１９９８１８号公報
【特許文献２】特開２００２−２０９５３号公報
【発明の概要】
【発明が解決しようとする課題】
【００２１】
ところで、JVT Codec（H.264｜MPEG-4 AVC）では、上述したように、イントラ符号化を行う際に、ブロックの周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。
【００２２】
ここで、輝度成分に関しては、４×４画素ブロック単位に予測を行うイントラ４×４予測モードと１６×１６画素ブロック（マクロブロック）単位で予測を行うイントラ１６×１６予測モードとの２つの予測方式が用いられている。
【００２３】
一方、色差成分に関しては、Ｃｂ，Ｃｒそれぞれの８×８ブロック単位で予測を行う。この予測符号化の方法は、イントラ１６×１６予測モードと同様であり、当該予測モードを８×８ブロック単位に変更したものである。色差のイントラ予測符号化における予測モードを図１１に示す。図１１に示すように、JVT Codecでは、
(a) Vertical mode（mode=0）
(b) Horizontal mode（mode=1）
(c) DC mode（mode=2）
(d) Plane Prediction mode（mode=3）
の４つの予測モードが定義されており、最も予測残差の少ない予測モードに従って予測画像が生成される。以下、この４つの予測モードにおける予測画像の生成手法について説明する。
【００２４】
(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素（４：２：０フォーマットの場合、上のマクロブロック）をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（１）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
【００２５】
【数１】
2010104027.tif 000003
【００２６】
(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素（４：２：０フォーマットの場合、左のマクロブロック）をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]とすると、以下の式（２）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
【００２７】
【数２】
2010104027.tif 000004
【００２８】
(c) DC mode（mode=2）
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値１２８が予測信号として用いられる。
【００２９】
すなわち、ｘ，ｙ＝０..３の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（３）〜（６）に従って生成される。
【００３０】
【数３】
2010104027.tif 000005
【００３１】
同様に、ｘ＝４..７、ｙ＝０..３の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（７）〜（９）に従って生成される。
【００３２】
【数４】
2010104027.tif 000006
【００３３】
同様に、ｘ＝０..３、ｙ＝４..７の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（１０）〜（１２）に従って生成される。
【００３４】
【数５】
2010104027.tif 000007
【００３５】
同様に、ｘ，ｙ＝４..７の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（１３）〜（１６）に従って生成される。
【００３６】
【数６】
2010104027.tif 000008
【００３７】
(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素（４：２：０フォーマットの場合、左のマクロブロック）と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（１７）のように表される。ここで、式（１７）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。
【００３８】
【数７】
2010104027.tif 000009
【００３９】
以上のように、４つの予測モードの何れかによって色差成分のイントラ予測を行って予測画像を生成した後、加算器１０３において現在の画素ブロックとこの予測画像との差分信号が生成される。直交変換部１０４は、この８×８ブロックの差分信号に対して４×４画素ブロック単位で４×４整数変換を適用する。現在の画素ブロックから予測画像を引いた差分信号をＦ４ｘ４とすると、４×４整数変換は、以下の式（１８）のように表される。
【００４０】
【数８】
2010104027.tif 000010
【００４１】
さらにJVT Codecでは、４×４整数変換した後、図１２に示すように、８×８ブロック中の４つの４×４ブロックの（０，０）係数（ＤＣ係数）を集めて２×２ブロックを構成し、この２×２ブロックに対して２×２アダマール変換を適応する。これは、色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う４×４ブロック間の（０，０）係数の間にまだ相関が残っているためである。この相関を利用してより符号化効率を高めるため、４×４ブロックの（０，０）係数のみを集めて２×２ブロックを構成し、２×２アダマール変換を適用する。２×２のクロマＤＣブロックをｆdc２ｘ２とすると、２×２アダマール変換後のクロマＤＣブロックｆdc'２ｘ２は、以下の式（１９）のように表される。
【００４２】
【数９】
2010104027.tif 000011
【００４３】
整数変換の後、各係数は量子化される。輝度の量子化係数を求めるためのパラメータをＱＰｙとすると、色差の量子化係数を求めるためのパラメータＱＰｃは、以下のようにして算出される。
【００４４】
すなわち、先ず画像圧縮情報中に符号化されるＱＰｙ（０から５１の値をとる）及び色差の量子化係数のオフセット値chroma_qp_offsetを用いて、下記の式（２０）に従ってパラメータＱＰｉを計算する。但し、ＱＰｉは０から５１の範囲にクリッピングされる。
【００４５】
【数１０】
2010104027.tif 000012
【００４６】
そして、このＱＰｉを用いて以下の表１に示すテーブルから色差のパラメータＱＰｃを求める。
【００４７】
【表１】
2010104027.tif 000013
【００４８】
ここで、量子化前の各ＡＣ係数の値をｆとし、量子化後の各ＡＣ係数の値をｆ’とすると、量子化後の係数の値は以下の式（２１）で表される。
【００４９】
【数１１】
2010104027.tif 000014
【００５０】
一方、量子化前の各ＤＣ係数の値をｆdcとし、量子化後の各ＤＣ係数の値をｆdc’とすると、量子化後の係数の値は以下の式（２２）で表される。なお、式（２２）におけるｒは、丸め処理のための定数である。
【００５１】
【数１２】
2010104027.tif 000015
【００５２】
また、ＡＣ係数の逆量子化は、逆量子化後のＡＣ係数をｆ”とすると、以下の式（２３）で表される。
【００５３】
【数１３】
2010104027.tif 000016
【００５４】
一方、ＤＣ係数の逆量子化は、逆量子化後のＤＣ係数をｆdc”とすると、ＱＰｃが６以上である場合には、以下の式（２４）で表され、ＱＰｃが６未満である場合には、以下の式（２５）で表される。
【００５５】
【数１４】
2010104027.tif 000017
【００５６】
以上のようにして、JVT Codecではイントラ予測符号化が行われているが、上記手法を用いても、色差のイントラ予測符号化はブロックサイズが小さいため、輝度と比べると符号化効率がよくないという問題があった。
【００５７】
また、上記手法は、４：２：０フォーマット、ＹＣｂＣｒ色空間のみにしか対応しておらず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合には符号化することができないという問題があった。
【００５８】
本発明は、このような従来の実情に鑑みて提案されたものであり、４：２：２フォーマット，４：４：４フォーマット, ＲＧＢ色空間、ＸＹＺ色空間等の画像であっても、より効率よく符号化することを可能にする画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００５９】
上述した目的を達成するために、本発明に係る画像情報符号化装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化装置において、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、上記画像内予測手段によって生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換手段と、上記変換手段による変換に応じて量子化手法を適応的に変更し、上記変換手段によって生成された変換係数を量子化する量子化手段と、上記量子化手段によって量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化手段とを備える。
【００６０】
また、上述した目的を達成するために、本発明に係る画像情報符号化方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行う画像情報符号化方法において、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号に基づき、ブロックサイズを適応的に変更して、色信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、上記画像内予測工程にて生成された予測画像と原画像との差分信号を所定のブロックサイズ単位で整数変換する変換工程と、上記変換工程における変換に応じて量子化手法を適応的に変更し、上記変換工程にて生成された変換係数を量子化する量子化工程と、上記量子化工程にて量子化された上記変換係数と、上記クロマフォーマット信号及び上記色空間信号とを符号化する符号化工程とを有する。
【００６１】
このような画像情報符号化装置及びその方法では、入力画像信号を画像内予測符号化する際に、色成分の解像度が例えば４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間が例えばＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測画像を生成する際のブロックサイズを適応的に変更する。さらに、この画像情報符号化装置及びその方法では、量子化された変換係数と共に、上記クロマフォーマット信号及び上記色空間信号を符号化する。
【００６２】
また、上述した目的を達成するために、本発明に係る画像情報復号装置は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号手段と、上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号手段によって復号された上記変換係数を逆量子化する逆量子化手段と、上記逆量子化されたブロックを整数変換する逆変換手段と、上記逆変換手段からの出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測手段とを備える。
【００６３】
また、上述した目的を達成するために、本発明に係る画像情報復号方法は、入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、量子化され符号化された変換係数と、色信号の解像度を示すクロマフォーマット信号及び色空間を示す色空間信号とを復号する復号工程と、上記クロマフォーマット信号及び上記色空間信号に応じて逆量子化手法を適応的に変更し、上記復号工程にて復号された上記変換係数を逆量子化する逆量子化工程と、上記逆量子化されたブロックを整数変換する逆変換工程と、上記逆変換工程の出力信号を用いて、上記クロマフォーマット信号及び上記色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する画像内予測工程とを有する。
【００６４】
このような画像情報復号装置及びその方法では、色成分の解像度が例えば４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間が例えばＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号を復号し、このクロマフォーマット信号及び色空間信号に応じたブロックサイズで、色信号を画像内予測復号する際の予測画像を生成する。
【発明の効果】
【００６５】
本発明に係る画像情報符号化装置及びその方法、並びに画像情報復号装置及びその方法によれば、４：２：０フォーマット、ＹＣｂＣｒ色空間の場合のみならず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合にも、画像内予測によって、効率よく符号化、復号することができる。
【図面の簡単な説明】
【００６６】
【図１】本実施の形態における画像情報符号化装置の概略構成を説明する図である。
【図２】同画像情報符号化装置におけるイントラ予測部の構成の一例を示す図である。
【図３】同画像情報符号化装置における直交変換部の構成の一例を示す図である。
【図４】縦方向に連続する２つの８×８ブロック中の８つの４×４ブロックのＤＣ係数を集めて２×４ブロックを構成する様子を示す図である。
【図５】同画像情報符号化装置における量子化部の構成の一例を示す図である。
【図６】同画像情報符号化装置における逆量子化部の構成の一例を示す図である。
【図７】同画像情報符号化装置における逆直交変換部の構成の一例を示す図である。
【図８】本実施の形態における画像情報復号装置の概略構成を説明する図である。
【図９】離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とにより画像圧縮を実現する従来の画像情報符号化装置の概略構成を説明する図である。
【図１０】同画像情報符号化装置に対応する従来の画像情報復号装置の概略構成を説明する図である。
【図１１】JVT Codec における４つのイントラ予測モードを説明する図である。
【図１２】８×８ブロック中の４つの４×４ブロックのＤＣ係数を集めて２×２ブロックを構成する様子を示す図である。
【発明を実施するための形態】
【００６７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明するが、本発明はこの実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００６８】
（１）画像情報符号化装置の構成及び動作
先ず、本実施の形態における画像情報符号化装置の概略構成を図１に示す。図１に示すように、画像情報符号化装置１０は、Ａ／Ｄ（Analogue/Digital）変換部１１と、画像並び替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、可逆符号化部１６と、蓄積バッファ１７と、逆量子化部１８と、逆直交変換部１９と、加算器２０と、フレームメモリ２１と、動き予測・補償部２２と、イントラ予測部２３と、レート制御部２４とにより構成されている。
【００６９】
図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画像並び替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画像並び替えバッファ１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１５に供給する。量子化部１５は、直交変換部１４から供給された変換係数に対して量子化処理を施す。
【００７０】
可逆符号化部１６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【００７１】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の変換係数を逆量子化部１８に供給し、逆量子化部１８は、その変換係数を逆量子化する。逆直交変換部１９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２１に供給して蓄積させる。
【００７２】
一方、画像並び替えバッファ１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測・補償部２２に供給する。動き予測・補償部２２は、同時に参照される画像情報をフレームメモリ２１より取り出し、動き予測・補償処理を施して参照画像情報を生成する。動き予測・補償部２２は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２２は、同時に動きベクトル情報を可逆符号化部１６に供給する。
【００７３】
可逆符号化部１６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００７４】
ここで、上述したJVT Codecでは、イントラ符号化を行う際に、ブロック周辺の画素から予測画像を生成してその差分を符号化するというイントラ予測符号化が採用されている。すなわち、イントラ符号化が行われる画像（Ｉピクチャ、Ｉスライス、イントラマクロブロックなど）に関しては、符号化する画素ブロックの近傍の既に符号化が終了した画素値から予測画像を生成し、その予測画像との差分が符号化される。逆量子化部１８及び逆直交変換部１９は、イントラ符号化された画素をそれぞれ逆量子化及び逆直交変換し、加算器２０は、逆直交変換部１９の出力と当該画素ブロックを符号化する際に使用された予測画像とを加算し、その加算値をフレームメモリ２１に供給して蓄積させる。イントラ予測部２３は、イントラ符号化される画素ブロックの場合には、既に符号化が終了しフレームメモリ２１に蓄積されている近傍画素を読み出し、予測画像を生成する。このとき、予測画像の生成に用いたイントラ予測モードについても可逆符号化部１６において可逆符号化処理を施し、画像圧縮情報に含めて出力する。
【００７５】
（２）画像情報符号化装置における本発明の適用部分
（２−１）イントラ予測部
イントラ予測部２３の構成の一例を図２に示す。イントラ予測部２３は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、予測の手法を切り替える。なお、クロマフォーマット信号及び色空間信号は、予め外部のユーザ等によって設定され、画像情報符号化装置１０に供給される。
【００７６】
図２に示すイントラ予測部２３において、クロマフォーマット信号及び色空間信号は、スイッチ３０，３２に供給される。スイッチ３０，３２では、クロマフォーマット信号及び色空間信号に基づき、イントラ予測器３１ａ，３１ｂ，３１ｃの何れかを選択し、フレームメモリ２１から読み出した画像信号を選択したイントラ予測器に供給し、選択したイントラ予測器からの予測画像を出力する。スイッチ３０，３２は、同一のイントラ予測器を選択する。なお、この図２では、３種類のイントラ予測器３１ａ，３１ｂ，３１ｃの何れかを選択するものとして説明するが、このイントラ予測器の数、すなわち予測の方式の数は、任意に設定することができる。
【００７７】
（２−１−１）
先ず、イントラ予測器３１ａの動作を説明する。このイントラ予測器３１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対し、８×８ブロックを単位として予測を行う。なお、イントラ予測器３１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
【００７８】
（２−１−２）
次に、イントラ予測器３１ｂの動作を説明する。イントラ予測器３１ｂにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の４つの予測モードが存在する。このイントラ予測器３１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対し、マクロブロック中の連続する縦方向の２つの８×８ブロックをまとめて８×１６ブロックを構成し、この８×１６ブロックを単位として予測を行う。以下、このイントラ予測器３１ｂにおける、４つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
【００７９】
(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像ｐｒｅｄｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（２６）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
【００８０】
【数１５】
2010104027.tif 000018
【００８１】
(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predｃは、隣接する左側のブロックの画素をｐ[−１， ｙ]とすると、以下の式（２７）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
【００８２】
【数１６】
2010104027.tif 000019
【００８３】
(c) DC mode（mode=2）
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値１２８が予測信号として用いられる。
【００８４】
すなわち、ｘ，ｙ＝０..３の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（２８）〜（３１）に従って生成される。
【００８５】
【数１７】
2010104027.tif 000020
【００８６】
同様に、ｘ＝４..７、ｙ＝０..３の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝０..３）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（３２）〜（３４）に従って生成される。
【００８７】
【数１８】
2010104027.tif 000021
【００８８】
同様に、ｘ＝０..３、ｙ＝４..７の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（３５）〜（３７）に従って生成される。
【００８９】
【数１９】
2010104027.tif 000022
【００９０】
同様に、ｘ，ｙ＝４..７の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝４..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（３８）〜（４１）に従って生成される。
【００９１】
【数２０】
2010104027.tif 000023
【００９２】
同様に、ｘ＝０..３、ｙ＝８..１１の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝８..１１）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（４２）〜（４４）に従って生成される。
【００９３】
【数２１】
2010104027.tif 000024
【００９４】
同様に、ｘ＝４..７、ｙ＝８..１１の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝８..１１）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（４５）〜（４８）に従って生成される。
【００９５】
【数２２】
2010104027.tif 000025
【００９６】
同様に、ｘ＝０..３、ｙ＝１２..１５の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..３、ｙ＝１２..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（４９）〜（５１）に従って生成される。
【００９７】
【数２３】
2010104027.tif 000026
【００９８】
同様に、ｘ＝４..７、ｙ＝１２..１５の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝４..７、ｙ＝１２..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（５２）〜（５５）に従って生成される。
【００９９】
【数２４】
2010104027.tif 000027
【０１００】
ここで、上述した予測方法では、単純に上側のブロックの８画素と左側のブロックの１６画素との平均値を予測画像としているため、２４での割り算を行う必要があり、演算量が多くなるという問題がある。そこで、以下のように予測方法を変形し、１６（＝２４）での割り算を行うようにすることで、演算量を削減することができる。
【０１０１】
すなわち、ｘ，ｙ＝０..７の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..７）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（５６）〜（５９）に従って生成される。
【０１０２】
【数２５】
2010104027.tif 000028
【０１０３】
同様に、ｘ＝０..７、ｙ＝８..１５の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ＝０..７、ｙ＝８..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[−１，ｙ]が存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の３つの場合において、それぞれ以下の式（６０）〜（６２）に従って生成される。
【０１０４】
【数２６】
2010104027.tif 000029
【０１０５】
(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（６３）のように表される。ここで、式（６３）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。
【０１０６】
【数２７】
2010104027.tif 000030
【０１０７】
（２−１−３）
続いて、イントラ予測器３１ｃの動作を説明する。イントラ予測器３１ｃにおいてもイントラ色差予測モードには、Vertical mode、Horizontal mode、DC mode、Plane prediction mode の４つの予測モードが存在する。このイントラ予測器３１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対し、マクロブロック中の連続する縦横方向の４つの８×８ブロックをまとめて１６×１６ブロックを構成し、この１６×１６ブロックを単位として予測を行う。以下、このイントラ予測器３１ｃにおける、４つの予測モードのそれぞれに従った予測画像の生成手法について説明する。
【０１０８】
(a) Vertical mode（mode=0）
Vertical mode においては、色差ブロックの隣接する上側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差の予測画像ｐｒｅｄｃは、隣接する上側のブロックの画素をｐ[ｘ，−１]とすると、以下の式（６４）のように表される。なお、このモードは隣接する上側のブロックが存在する場合にのみ用いることが可能である。
【０１０９】
【数２８】
2010104027.tif 000031
【０１１０】
(b) Horizontal mode（mode=1）
Horizontal mode においては、色差ブロックの隣接する左側のブロックの画素をコピーして当該ブロックの予測画像とする。この場合の色差ブロックの予測画像predｃは、隣接する左側のブロックの画素をｐ[−１， ｙ]とすると、以下の式（６５）のように表される。なお、このモードは隣接する左側のブロックが存在する場合のみ用いることが可能である。
【０１１１】
【数２９】
2010104027.tif 000032
【０１１２】
(c) DC mode（mode=2）
DC mode においては、色差ブロックの隣接する上側及び左側のブロックの画素を用いてその平均値を予測画像とする。但し、隣接する画素が存在しない場合には、値１２８が予測信号として用いられる。
【０１１３】
すなわち、ｘ，ｙ＝０..１５の場合、予測画像predｃ[ｘ，ｙ]は、隣接する上側の画素ｐ[ｘ，−１]及び左側の画素ｐ[−１，ｙ]（但し、ｘ，ｙ＝０..１５）を用いて生成される。より詳しくは、（ｉ）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在する場合、（ii）画素ｐ[ｘ，−１]が存在し、画素ｐ[−１，ｙ]が存在しない場合、（iii）画素ｐ[ｘ，−１]が存在せず、画素ｐ[−１，ｙ]が存在する場合、（iv）画素ｐ[ｘ，−１]及び画素ｐ[−１，ｙ]が共に存在しない場合、の４つの場合において、それぞれ以下の式（６６）〜（６９）に従って生成される。
【０１１４】
【数３０】
2010104027.tif 000033
【０１１５】
(d) Plane Prediction mode（mode=3）
Plane Prediction mode においては、色差ブロックの隣接する左側のブロックの画素と上側のブロックの画素から予測画像を平面近似して当該ブロックの予測画像とする。この場合の色差の予測画像predｃは、隣接する左側のブロックの画素をｐ[−１，ｙ]、上側のブロックをｐ[ｘ，−１]とすると、以下の式（７０）のように表される。ここで、式（７０）におけるClip1は、０から２５５の範囲にクリッピングすることを示す。
【０１１６】
【数３１】
2010104027.tif 000034
【０１１７】
（２−２）直交変換部
クロマフォーマット信号及び色空間信号は、直交変換部１４にも供給される。
直交変換部１４の構成の一例を図３に示す。直交変換部１４は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、直交変換の方式を切り替える。
【０１１８】
図３に示す直交変換部１４において、クロマフォーマット信号及び色空間信号は、スイッチ４０，４２に供給される。スイッチ４０，４２では、クロマフォーマット信号及び色空間信号に基づき、直交変換器４１ａ，４１ｂ，４１ｃの何れかを選択し、加算器１３からの出力を選択した直交変換器に供給し、選択した直交変換器からの信号を出力する。スイッチ４０，４２は、同一の直交変換器を選択する。なお、この図３では、３種類の直交変換器４１ａ，４１ｂ，４１ｃの何れかを選択するものとして説明するが、この直交変換器の数、すなわち直交変換の方式の数は、任意に設定することができる。
【０１１９】
（２−２−１）
先ず、直交変換器４１ａの動作を説明する。この直交変換器４１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して直交変換を行う。なお、直交変換器４１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
【０１２０】
（２−２−２）
次に、直交変換器４１ｂの動作を説明する。この直交変換器４１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して直交変換を行う。
【０１２１】
より詳しくは、色差のイントラ予測を行った後、８×８ブロック中の４×４画素ブロック単位で４×４整数変換を適用する。当該画素ブロックから予測画像を引いた差分信号をｆ４ｘ４とすると、４×４直交変換は、以下の式（７１）のように表される。
【０１２２】
【数３２】
2010104027.tif 000035
【０１２３】
４×４整数変換した後、図４に示すように、縦方向に連続する２つの８×８ブロック中の８つの４×４ブロックの（０，０）係数を集めて２×４ブロックを構成し、この２×４ブロックに対して２×４変換を適応する。これは色差で用いられているイントラ予測の効率がそれ程高くなく、隣り合う４×４ブロック間の（０，０）係数の間にまだ相関が残っているためである。この相関を相関を利用してより符号化効率を高めるため、４×４ブロックの（０，０）係数のみを集めて２×４ブロックを構成し、２×４変換を適用する。２×４のクロマＤＣのブロックをｆ２ｘ４とすると、このクロマＤＣブロックに対する変換は、以下の式（７２）のように表される。
【０１２４】
【数３３】
2010104027.tif 000036
【０１２５】
（２−２−３）
続いて、直交変換器４１ｃの動作を説明する。この直交変換器４１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して直交変換を行う。
【０１２６】
より詳しくは、４：４：４フォーマット、ＹＣｂＣｒ、ＲＧＢ、ＸＹＺを示す色差を４×４整数変換した後、輝度と同様にしてマクロブロック中の１６個の（０，０）係数を集めて４×４ＤＣブロックを構成し、４×４変換を適用する。この変換は、以下の式（７３）のように表される。
【０１２７】
【数３４】
2010104027.tif 000037
【０１２８】
（２−３）量子化部
クロマフォーマット信号及び色空間信号は、量子化部１５にも供給される。
量子化部１５の構成の一例を図５に示す。量子化部１５は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、量子化の方式を切り替える。
【０１２９】
図５に示す量子化部１５において、クロマフォーマット信号及び色空間信号は、スイッチ５０，５２に供給される。スイッチ５０，５２では、クロマフォーマット信号及び色空間信号に基づき、量子化器５１ａ，５１ｂ，５１ｃの何れかを選択し、直交変換部１４からの出力を選択した量子化器に供給し、選択した量子化器からの信号を出力する。スイッチ５０，５２は、同一の量子化器を選択する。なお、この図５では、３種類の量子化器５１ａ，５１ｂ，５１ｃの何れかを選択するものとして説明するが、この量子化器の数、すなわち量子化の方式の数は、任意に設定することができる。
【０１３０】
（２−３−１）
先ず、量子化器５１ａの動作を説明する。この量子化器５１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して量子化を行う。なお、量子化器５１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
【０１３１】
（２−３−２）
次に、量子化器５１ｂの動作を説明する。この量子化器５１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して量子化を行う。
【０１３２】
ここで、４：２：０フォーマットの場合におけるクロマＤＣの変換に用いられるアダマール変換は、以下の式（７４）のように表される。
【０１３３】
【数３５】
2010104027.tif 000038
【０１３４】
一方、４：２：２フォーマットの場合におけるクロマＤＣの変換に用いられる２×４変換は、以下の式（７５）のように表される。
【０１３５】
【数３６】
2010104027.tif 000039
【０１３６】
したがって、４：２：０フォーマットでの変換による正規化係数は１／２であるのに対し、４：２：２フォーマットでの変換による正規化係数は１／２√２となる。しかしながら、この場合には実数演算が入ってしまうため、以下の式（７６）で示すように簡略化する。
【０１３７】
【数３７】
2010104027.tif 000040
【０１３８】
この正規化係数は、量子化の際のスケールと一緒に計算されているため、４：２：２フォーマットの変換の場合、量子化方法を以下のように変更する必要がある。
【０１３９】
量子化後のＤＣ係数をＱｆ’［ｉｊ］とすると、２×４クロマＤＣブロックの量子化後の係数値は、例えば以下の式（７７）で与えられる。ここで、式（７７）におけるｒは、丸め処理を変更するためのパラメータである。なお、ＡＣ係数に対する量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。
【０１４０】
【数３８】
2010104027.tif 000041
【０１４１】
（２−３−３）
続いて、量子化器５１ｃの動作を説明する。この量子化器５１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して量子化を行う。
【０１４２】
ここで、クロマＤＣの変換に用いられるアダマール変換は、以下の式（７８）のように表される。したがって、この場合、変換の正規化係数は１／４となる。
【０１４３】
【数３９】
2010104027.tif 000042
【０１４４】
量子化後のＤＣ係数をＱｆ’［ｉｊ］とすると、４×４クロマＤＣブロックの量子化後の係数値は、例えば以下の式（７９）で与えられる。ここで、式（７９）におけるｒは、丸め処理を変更するためのパラメータである。
【０１４５】
【数４０】
2010104027.tif 000043
【０１４６】
（２−４）逆量子化部
クロマフォーマット信号及び色空間信号は、逆量子化部１８にも供給される。
逆量子化部１８の構成の一例を図６に示す。逆量子化部１８は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、逆量子化の方式を切り替える。
【０１４７】
図６に示す逆量子化部１８において、クロマフォーマット信号及び色空間信号は、スイッチ６０，６２に供給される。スイッチ６０，６２では、クロマフォーマット信号及び色空間信号に基づき、逆量子化器６１ａ，６１ｂ，６１ｃの何れかを選択し、量子化部１５からの出力を選択した逆量子化器に供給し、選択した逆量子化器からの信号を出力する。スイッチ６０，６２は、同一の逆量子化器を選択する。なお、この図６では、３種類の逆量子化器６１ａ，６１ｂ，６１ｃの何れかを選択するものとして説明するが、この逆量子化器の数、すなわち逆量子化の方式の数は、任意に設定することができる。
【０１４８】
（２−４−１）
先ず、逆量子化器６１ａの動作を説明する。この逆量子化器６１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆量子化を行う。なお、逆量子化器６１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
【０１４９】
（２−４−２）
次に、逆量子化器６１ｂの動作を説明する。この逆量子化器６１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆量子化を行う。
【０１５０】
より詳しくは、逆量子化後のＤＣ係数をｆdc”とすると、２×２クロマＤＣブロックの逆量子化後の係数値は、ＱＰｃが６以上である場合には以下の式（８０）で表され、ＱＰｃが６未満である場合には、以下の式（８１）で表される。なお、ＡＣ係数に対する逆量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。
【０１５１】
【数４１】
2010104027.tif 000044
【０１５２】
（２−４−３）
次に、逆量子化器６１ｃの動作を説明する。この逆量子化器６１ｃでは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して逆量子化を行う。
【０１５３】
より詳しくは、逆量子化後のＤＣ係数をｆdc”とすると、４×４クロマＤＣブロックの逆量子化後の係数値は、ＱＰｃが６以上である場合には以下の式（８２）で表され、ＱＰｃが６未満である場合には、以下の式（８３）で表される。なお、ＡＣ係数に対する逆量子化は４：２：０フォーマットの場合と同様であるため、説明を省略する。
【０１５４】
【数４２】
2010104027.tif 000045
【０１５５】
（２−５）逆直交変換部
クロマフォーマット信号及び色空間信号は、逆直交変換部１９にも供給される。
逆直交変換部１９の構成の一例を図７に示す。逆直交変換部１９は、色成分の解像度が４：２：０フォーマット、４：２：２フォーマット、４：４：４フォーマット等の何れであるかを示すクロマフォーマット信号、及び色空間がＹＣｂＣｒ、ＲＧＢ、ＸＹＺ等の何れであるかを示す色空間信号に基づいて、逆直交変換の方式を切り替える。
【０１５６】
図７に示す逆直交変換部１９において、クロマフォーマット信号及び色空間信号は、スイッチ７０，７２に供給される。スイッチ７０，７２では、クロマフォーマット信号及び色空間信号に基づき、逆直交変換器７１ａ，７１ｂ，７１ｃの何れかを選択し、逆量子化部１８からの出力を選択した逆直交変換器に供給し、選択した逆直交変換器からの信号を出力する。スイッチ７０，７２は、同一の逆直交変換器を選択する。なお、この図７では、３種類の逆直交変換器７１ａ，７１ｂ，７１ｃの何れかを選択するものとして説明するが、この逆直交変換器の数、すなわち逆直交変換の方式の数は、任意に設定することができる。
【０１５７】
（２−５−１）
先ず、逆直交変換器７１ａの動作を説明する。この逆直交変換器７１ａでは、クロマフォーマット信号が４：２：０フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆直交変換を行う。なお、逆直交変換器７１ａの動作は、前述した従来例と同様であるため、詳細な説明を省略する。
【０１５８】
（２−５−２）
次に、逆直交変換器７１ｂの動作を説明する。この逆直交変換器７１ｂでは、クロマフォーマット信号が４：２：２フォーマットを示し、色空間信号がＹＣｂＣｒを示す画像信号に対して逆直交変換を行う。
【０１５９】
より詳しくは、２×４ＤＣブロックに対して２×４逆変換を適用する。逆変換後の２×４のクロマＤＣブロックをｆdc２ｘ４'''とすると、このクロマＤＣブロックに対する逆変換は、以下の式（８４）のように表される。
【０１６０】
【数４３】
2010104027.tif 000046
【０１６１】
このクロマＤＣ係数を図４に示したような４×４ブロックの（０，０）係数とし、各４×４ブロックの逆変換を行う。逆変換されたクロマＤＣであるｆdc２ｘ４'''を（０，０）係数とする４×４ブロックの各係数をＦ'４ｘ４とし、逆変換後の４×４ブロックに復号差分信号をＦ''４ｘ４とすると、逆変換は、以下の式（８５）のように表される。
【０１６２】
【数４４】
2010104027.tif 000047
【０１６３】
（２−５−３）
続いて、逆直交変換器７１ｃの動作を説明する。この逆直交変換器７１ｃは、クロマフォーマット信号が４：４：４フォーマットを示し、色空間信号がＹＣｂＣｒ、ＲＧＢ又はＸＹＺを示す画像信号に対して逆直交変換を行う。
【０１６４】
より詳しくは、４×４ＤＣブロックに対して４×４逆変換を適用する。逆変換後の４×４のクロマＤＣブロックをｆdc４ｘ４'''とすると、このクロマＤＣブロックに対する逆変換は、以下の式（８６）のように表される。
【０１６５】
【数４５】
2010104027.tif 000048
【０１６６】
このクロマＤＣ係数をＡＣ係数の４×４ブロックの（０，０）係数とし、各４×４ブロックの逆変換を行う。逆変換されたクロマＤＣであるｆdc４ｘ４'''を（０，０）係数とする４×４ブロックの各係数をＦ'４ｘ４とし、逆変換後の４×４ブロックに復号差分信号をＦ''４ｘ４とすると、逆変換は、以下の式（８７）のように表される。
【０１６７】
【数４６】
2010104027.tif 000049
【０１６８】
（２−６）その他のブロック
クロマフォーマット信号及び色空間信号は、可逆符号化部１６にも供給されて可変長符号化又は算術符号化され、画像圧縮情報に含められて出力される。
【０１６９】
このクロマフォーマット信号及び色空間信号は、例えば以下のようなシンタクスで符号化される。
seq_parameter_set_rbsp() {
:
chroma_format_idc              u(2)
color_space_idc              u(2)
:
}
ここで、u(2)として符号化されるシンタクスは、例えば「００１ｘ１ｘ０」という可変長符号で符号化される。このうち、ｘ１，ｘ０が符号化されるシンタクスの２ビットに相当する。
【０１７０】
（３）画像情報復号装置の構成及び動作
上述した画像情報符号化装置１０に対応する画像情報復号装置の概略構成を図８に示す。図８に示すように、画像情報復号装置８０は、蓄積バッファ８１と、可逆復号部８２と、逆量子化部８３と、逆直交変換部８４と、加算器８５と、画像並び替えバッファ８６と、Ｄ／Ａ（Digital/Analogue）変換部８７と、動き予測・補償部８８と、フレームメモリ８９と、イントラ予測部９０とにより構成されている。
【０１７１】
図８において、入力となる画像圧縮情報は、先ず蓄積バッファ８１に格納された後、可逆復号部８２に転送される。可逆復号部８２は、定められた画像圧縮情報のフォーマットに基づき、可変長復号又は算術復号等の処理を行う。また可逆復号部８２は、当該フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報をも復号し、その情報を動き予測・補償部８８へ転送する。さらに可逆復号部８２は、クロマフォーマット信号及び色空間信号を復号し、逆量子化部８３、逆直交変換部８４及びイントラ予測部９０に供給する。
【０１７２】
可逆復号部８２の出力となる量子化された変換係数は、逆量子化部８３に供給され、ここで変換係数として出力される。逆直交変換部８４は、変換係数は、定められた画像圧縮情報のフォーマットに基づき、逆離散コサイン変換又は逆カルーネン・レーベ変換等の可逆変換を施す。当該フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画像並び替えバッファ８６に格納され、Ｄ／Ａ変換処理の後に出力される。
【０１７３】
ここで、当該フレーム又はマクロブロックがイントラ符号化されたものである場合、可逆復号部８２で復号されたクロマフォーマット信号及び色空間信号に基づいて、上述と同様の逆量子化方法、逆直交変換方法、イントラ予測方法を用いて復号する。
【０１７４】
一方、当該フレームがインター符号化されたものである場合には、可逆復号処理が施された動きベクトル情報、及びフレームメモリ８９に格納された画像情報を元に参照画像が生成され、この参照画像と逆直交変換部８４の出力とが加算器８５において合成される。その他の処理はイントラ符号化されたフレームと同様であるため、説明を省略する。
【産業上の利用可能性】
【０１７５】
入力画像信号が４：２：０フォーマット、ＹＣｂＣｒ色空間の場合のみならず、４：２：２フォーマット、４：４：４フォーマット、ＲＧＢ色空間、ＸＹＺ色空間等の場合にも、画像内予測符号化を用いて、効率よく符号化することができる。
【符号の説明】
【０１７６】
１０  画像情報符号化装置、１１  Ａ／Ｄ変換部、１２  画像並び替えバッファ、１３  加算器、１４  直交変換部、１５  量子化部、１６  可逆符号化部、１７  蓄積バッファ、１８  逆量子化部、１９  逆直交変換部、２０  加算器、２１  フレームメモリ、２２  動き予測・補償部、２３  イントラ予測部、２４  レート制御部、８０  画像情報復号装置、８１  蓄積バッファ、８２  可逆復号部、８３  逆量子化部、８４  逆直交変換部、８５  加算器、８６  画像並び替えバッファ、８７  Ｄ／Ａ変換部、８８  動き予測・補償部、８９  フレームメモリ、９０  イントラ予測部
【図１】
2010104027.tif 000054
【図２】
2010104027.tif 000055
【図３】
2010104027.tif 000056
【図４】
2010104027.tif 000057
【図５】
2010104027.tif 000058
【図６】
2010104027.tif 000059
【図７】
2010104027.tif 000060
【図８】
2010104027.tif 000061
【図９】
2010104027.tif 000062
【図１０】
2010104027.tif 000063
【図１１】
2010104027.tif 000064
【図１２】
2010104027.tif 000065
【手続補正書】
【提出日】平成22年1月22日(2010.1.22)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘ等のように、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き予測・補償とによって圧縮された画像圧縮情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報の符号化装置及びその方法に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
本発明は、このような従来の実情に鑑みて提案されたものであり、４：２：２フォーマット，４：４：４フォーマット, ＲＧＢ色空間、ＸＹＺ色空間等の画像であっても、より効率よく符号化することを可能にする画像情報の符号化装置及びその方法を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
上述した目的を達成するために、本発明に係る符号化装置は、画像信号を符号化する符号化装置において、上記画像信号の色差信号の解像度を示すクロマフォーマット信号が４：４：４フォーマットである場合に、８×８画素のブロックを縦横方向に並べた１６×１６画素ブロック単位で上記色差信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、上記画像内予測手段によって生成された予測画像と原画像との差分信号に対して４×４画素ブロック単位で整数精度直交変換された４×４ブロックのＤＣ成分のみを集めて４×４ブロックのクロマＤＣブロックを構成し、構成されたクロマＤＣブロックに対して４×４ブロック単位で直交変換する変換手段とを備える。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
また、上述した目的を達成するために、本発明に係る符号化方法は、画像信号を符号化する符号化方法において、上記画像信号の色差信号の解像度を示すクロマフォーマット信号が４：４：４フォーマットである場合に、８×８画素のブロックを縦横方向に並べた１６×１６画素ブロック単位で上記色差信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、上記画像内予測工程にて生成された予測画像と原画像との差分信号に対して４×４画素ブロック単位で整数精度直交変換された４×４ブロックのＤＣ成分のみを集めて４×４ブロックのクロマＤＣブロックを構成し、構成されたクロマＤＣブロックに対して４×４ブロック単位で直交変換する変換工程とを有する。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像信号を符号化する符号化装置において、
上記画像信号の色差信号の解像度を示すクロマフォーマット信号が４：４：４フォーマットである場合に、８×８画素のブロックを縦横方向に並べた１６×１６画素ブロック単位で上記色差信号を画像内予測符号化する際の予測画像を生成する画像内予測手段と、
上記画像内予測手段によって生成された予測画像と原画像との差分信号に対して４×４画素ブロック単位で整数精度直交変換された４×４ブロックのＤＣ成分のみを集めて４×４ブロックのクロマＤＣブロックを構成し、構成されたクロマＤＣブロックに対して４×４ブロック単位で直交変換する変換手段と
を備える符号化装置。
【請求項２】
上記変換手段は、上記差分信号に対して４×４画素ブロック単位で整数精度離散コサイン変換された４×４ブロックのＤＣ成分のみを集めて４×４のクロマＤＣブロックを構成し、構成された４×４のクロマＤＣブロックに対して４×４ブロック単位で離散アダマール変換する請求項１記載の符号化装置。
【請求項３】
上記４×４のクロマＤＣブロックの各係数をｆdc４ｘ４とした場合に、上記離散アダマール変換された各係数ｆdc'４ｘ４は、
【数１】
2010104027.tif 000066
で表される請求項２記載の符号化装置。
【請求項４】
画像信号を符号化する符号化方法において、
上記画像信号の色差信号の解像度を示すクロマフォーマット信号が４：４：４フォーマットである場合に、８×８画素のブロックを縦横方向に並べた１６×１６画素ブロック単位で上記色差信号を画像内予測符号化する際の予測画像を生成する画像内予測工程と、
上記画像内予測工程にて生成された予測画像と原画像との差分信号に対して４×４画素ブロック単位で整数精度直交変換された４×４ブロックのＤＣ成分のみを集めて４×４ブロックのクロマＤＣブロックを構成し、構成されたクロマＤＣブロックに対して４×４ブロック単位で直交変換する変換工程と
を有する符号化方法。