(57)【要約】【課題】符号化効率の向上させることのできる画像符号化装置を得る。【解決手段】予測画像変換量子化部２０２は、画像縮小部２０１の縮小画像から第一の画面内予測データを求め、予測画像逆量子化逆変換部２０３は、第一の画面内予測データから局所復号予測画像を出力する。予測画像拡大部２０４は、局所復号予測画像を拡大し第一の画面内予測画像を生成する。差分画像生成部１０２は、ブロック画像と第一の画面内予測画像の差分画像を出力する。差分変換量子化部１０３は、差分画像を、変換ブロックサイズ出力部２０７からの変換ブロックサイズに基づいて周波数変換すると共に、量子化し変換係数を出力する。エントロピー符号化部１０４は、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力する。【選択図】図１
2011223317.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力し、複数のブロックに分割しブロック画像を出力するブロック分割部と、
前記ブロック画像を入力し、第一の画面内予測画像を生成すると共に当該第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、
前記ブロック画像と前記第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、
前記差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化部と、
前記第一の画面内予測データと前記変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部とを備え、
前記第一の画面内予測部は、
前記ブロック画像を縮小し縮小画像を出力する画像縮小部と、
前記縮小画像を周波数変換及び量子化し、前記第一の画面内予測データを出力する予測画像変換量子化部と、
前記第一の画面内予測データを逆量子化及び逆周波数変換し、局所復号予測画像を出力する予測画像逆量子化逆変換部と、
前記局所復号予測画像を拡大し、前記第一の画面内予測画像を生成する予測画像拡大部と、
前記差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部とを備えたことを特徴とする画像符号化装置。
【請求項２】
エントロピー符号化部は、変換ブロックサイズをエントロピー符号化しビットストリームとして出力することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
変換ブロックサイズ出力部は、変換ブロックサイズを差分画像量子化パラメータに基づいて決定することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
変換ブロックサイズ出力部は、差分画像量子化パラメータが大きい値である場合には大きい値とし、当該差分画像量子化パラメータが小さい値である場合には小さい値とするよう、前記差分画像量子化パラメータの大小関係と同等の大小関係となる変換ブロックサイズを出力することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
第一の画面内予測部は、縮小後のブロックサイズである縮小ブロックサイズを出力する縮小ブロックサイズ選択部を備え、変換ブロックサイズ出力部は、前記縮小ブロックサイズに基づいて変換ブロックサイズを決定することを特徴とする請求項１記載の画像符号化装置。
【請求項６】
ビットストリームをエントロピー復号し、変換係数及び第一の画面内予測データを出力するエントロピー復号部と、
前記変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化部と、
前記第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成部と、
前記差分復号画像と前記第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算部とを備え、
前記第一の画面内予測画像生成部は、
前記第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換部と、
前記復号予測画像を拡大し、前記第一の画面内予測画像を生成する予測画像拡大部と、
前記差分逆変換逆量子化部における逆周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部とを備えたことを特徴とする画像復号装置。
【請求項７】
ビットストリームをエントロピー復号し、変換係数、変換ブロックサイズ及び第一の画面内予測データを出力するエントロピー復号部と、
前記変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に、前記変換ブロックサイズに基づいて逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化部と、
前記第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成部と、
前記差分復号画像と前記第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算部とを備え、
前記第一の画面内予測画像生成部は、
前記第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換部と、
前記復号予測画像を拡大し、前記第一の画面内予測画像を生成する予測画像拡大部とを備えたことを特徴とする画像復号装置。
【請求項８】
変換ブロックサイズ出力部は、変換ブロックサイズを差分画像量子化パラメータに基づいて決定することを特徴とする請求項６記載の画像復号装置。
【請求項９】
変換ブロックサイズ出力部は、差分画像量子化パラメータが大きい値である場合には大きい値とし、当該差分画像量子化パラメータが小さい値である場合には小さい値とするよう、前記差分画像量子化パラメータの大小関係と同等の大小関係となる変換ブロックサイズを出力することを特徴とする請求項６記載の画像復号装置。
【請求項１０】
第一の画面内予測画像生成部は、縮小後のブロックサイズである縮小ブロックサイズを出力する縮小ブロックサイズ選択部を備え、変換ブロックサイズ出力部は、前記縮小ブロックサイズに基づいて変換ブロックサイズを決定することを特徴とする請求項６記載の画像復号装置。
【請求項１１】
画像データを入力し、複数のブロックに分割しブロック画像を出力するブロック分割ステップと、
前記ブロック画像を入力し、第一の画面内予測画像を生成すると共に当該第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測ステップと、
前記ブロック画像と前記第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成ステップと、
前記差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化ステップと、
前記第一の画面内予測データと前記変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化ステップとを備え、
前記第一の画面内予測ステップは、
前記ブロック画像を縮小し縮小画像を出力する画像縮小ステップと、
前記縮小画像を周波数変換及び量子化し、前記第一の画面内予測データを出力する予測画像変換量子化ステップと、
前記第一の画面内予測データを逆量子化及び逆周波数変換し、局所復号予測画像を出力する予測画像逆量子化逆変換ステップと、
前記局所復号予測画像を拡大し、前記第一の画面内予測画像を生成する予測画像拡大ステップと、
前記差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力ステップとを備えたことを特徴とする画像符号化方法。
【請求項１２】
ビットストリームをエントロピー復号し、変換係数及び第一の画面内予測データを出力するエントロピー復号ステップと、
前記変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化ステップと、
前記第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成ステップと、
前記差分復号画像と前記第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算ステップとを備え、
前記第一の画面内予測画像生成ステップは、
前記第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換ステップと、
前記復号予測画像を拡大し、前記第一の画面内予測画像を生成する予測画像拡大ステップと、
前記差分逆変換逆量子化ステップにおける逆周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力ステップとを備えたことを特徴とする画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を圧縮符号化して伝送するに際して、画面内予測を行う画像符号化装置、画像符号化方法及び圧縮されたデータを復号する画像復号装置、画像復号方法に関するものである。
【背景技術】
【０００２】
例えば、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって勧告されているＨ．２６４動画像符号化方式では、画面内予測を行うことによってフレーム内の冗長性を取り除き、予測誤差信号を圧縮符号化している。従来、このような圧縮符号化する符号化装置及びこれを復号する復号装置として例えば特許文献１に示すような装置があった。
【０００３】
このような従来の画像符号化装置では、入力画像から符号化ビットストリームを生成するために、先ず、入力画像は画像分割部によって所定の符号化単位であるマクロブロックサイズの入力画像であるマクロブロック入力画像に分割され、マクロブロック単位に処理が行われる。マクロブロック入力画像は減算部によってイントラ予測部で生成される予測画像が減算され、その結果として得られる差分画像信号が出力される。差分画像信号は周波数変換部に入力され、周波数変換が施されることにより周波数ごとの振幅を表す変換係数に変換され、量子化部に出力される。量子化部において変換係数は量子化され、量子化変換係数が出力される。出力された量子化変換係数は、エントロピー符号化部においてエントロピー符号化され、符号化ビットストリームとして出力される。また、量子化変換係数は逆量子化部にも入力される。逆量子化部では量子化変換係数が逆量子化されて、復号変換係数が出力される。復号変換係数は逆周波数変換部によって逆周波数変換されることにより、復号差分画像を得る。この復号差分画像は加算部において予測画像が加算され、局所復号画像としてフレームメモリに格納される。フレームメモリに格納された局所復号画像は予測部において予測画像を生成するために用いられる。
【０００４】
予測部で行われるＨ．２６４の画面内予測方法では、符号化対象となるブロックに隣接する符号化済ブロックの局所復号画像を直線的に伸長することによって予測画像が生成される。この際、予測方向はイントラ４×４予測モード及びイントラ８×８予測モードでは８種類の方向と、周辺画素の平均値を用いて予測を行うＤＣ予測の計９種類の中から最適なものを選択する。イントラ１６×１６予測モードでは水平方向、垂直方向、斜め方向及びＤＣ予測の計４種類の中から最適なものを選択する。
選択した予測モード及び予測方向はそれぞれエントロピー符号化部においてエントロピー符号化され、符号化ビットストリームに多重化される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第０８／０７２５００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の画像符号化装置では、上述したように、Ｈ．２６４のフレーム内予測では、符号化対象ブロックの周辺の局所復号画像を直線的に伸長することにより予測画像を生成するため、周辺局所復号画像の変化がそのまま直線エッジ状に形成された予測画像が生成される。従って、この直線エッジ状の予測画像と実際の入力画像のエッジが一致しない場合には予測誤差信号に直線エッジを付加することになり、符号化効率の低下を招く。即ち、従来のフレーム内予測では特定の方向にエッジを持つ映像に対しては予測効率がよく、その他の方向にエッジを持つ映像に対しては予測効率が悪くなるという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることのできる画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像符号化装置は、画像データを入力し、複数のブロックに分割しブロック画像を出力するブロック分割部と、ブロック画像を入力し、第一の画面内予測画像を生成すると共に第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、ブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化部と、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部とを備え、第一の画面内予測部は、ブロック画像を縮小し縮小画像を出力する画像縮小部と、縮小画像を周波数変換及び量子化し、第一の画面内予測データを出力する予測画像変換量子化部と、第一の画面内予測データを逆量子化及び逆周波数変換し、局所復号予測画像を出力する予測画像逆量子化逆変換部と、局所復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大部と、差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部とを備えたものである。
【発明の効果】
【０００９】
この発明の画像符号化装置は、ブロック画像を入力し、第一の画面内予測画像を生成すると共に第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、ブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化部とを備え、第一の画面内予測部は、差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部を備えたので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像符号化装置の動作を示すフローチャートである。
【図３】本発明の実施の形態１に係る画像符号化装置の第一のイントラ予測部の動作を示すフローチャートである。
【図４】本発明の実施の形態１に係る画像符号化装置の変形例を示すブロック図である。
【図５】本発明の実施の形態１に係る画像符号化装置のビットストリームの構成を示す説明図である。
【図６】本発明の実施の形態２に係る画像復号装置の構成を示すブロック図である。
【図７】本発明の実施の形態２に係る画像復号装置の動作を示すフローチャートである。
【図８】本発明の実施の形態２に係る画像復号装置の第一のイントラ予測画像生成部の動作を示すフローチャートである。
【図９】本発明の実施の形態２に係る画像復号装置の変形例を示すブロック図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置を示す構成図である。
図１は、実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。画像符号化装置１００は、ブロック分割部１０１と、第一のイントラ予測部（第一の画面内予測部）２００と、差分画像生成部１０２と、差分変換量子化部１０３と、エントロピー符号化部１０４と、差分逆変換逆量子化部１０５と、加算部１０６と、ループフィルタ部１０７と、局所復号画像格納部１０８と、動き補償予測部１０９と、予測手法決定部１１０とを備えている。
【００１２】
ブロック分割部１０１は、原画像として動画像を入力し、その動画像をブロック単位に分割して、分割後の各ブロックの画像（以下、ブロック画像と称する）を差分画像生成部１０２、第一のイントラ予測部２００および動き補償予測部１０９に出力する。この際、ブロックのサイズは例えば１６画素×１６画素の固定サイズでもよいし、６４画素×６４画素、３２画素×３２画素、１６画素×１６画素の中から適応的に選択されたサイズであってもよい。第一のイントラ予測部２００は、フレーム内予測を実施することで、ブロック予測画像を生成し予測手法決定部１１０に出力すると共に、予測画像に関する情報を予測画像変換係数としてエントロピー符号化部１０４に出力する。動き補償予測部１０９は、局所復号画像格納部１０８に格納された局所復号画像と入力されたブロック画像を用いて動き補償予測を行うことによってフレーム間予測を実施することで、インター予測画像を生成し予測手法決定部１１０に出力すると共に、動きベクトルや参照した局所復号画像を特定する情報などを動き情報としてエントロピー符号化部１０４に出力する。
【００１３】
予測手法決定部１１０は、第一のイントラ予測部２００によるフレーム内予測と動き補償予測部１０９によるフレーム間予測による予測性能あるいは符号化性能を比較し、最適な予測手法を決定し決定された手法によるブロック予測画像を生成し差分画像生成部１０２および加算部１０６に出力すると共に選択された予測手法をブロックモードとしてエントロピー符号化部に出力する。差分画像生成部１０２は、ブロック分割部１０１からのブロック画像と、予測手法決定部１１０からのブロック予測画像との差分をとり、差分ブロック画像として差分変換量子化部１０３に出力する。差分変換量子化部１０３は、差分画像生成部１０２からの差分ブロック画像に対して、入力される変換ブロックサイズ情報によって特定される変換ブロックサイズ単位にＤＣＴなどの直交変換を行うと共に、発生した直交変換係数を、入力される差分画像量子化パラメータによって決定される量子化ステップサイズに応じて量子化し、量子化係数をエントロピー符号化部１０４および差分逆変換逆量子化部１０５に出力する。エントロピー符号化部１０４は、予測画像変換係数、動き情報、ブロックモード、量子化係数および差分画像量子化パラメータを可変長符号化や算術符号化などによってエントロピー符号化し、ビットストリームとして外部に出力する。
【００１４】
差分逆変換逆量子化部１０５は、量子化係数を差分画像量子化パラメータによって決定される量子化ステップサイズに応じて逆量子化し、逆量子化直交変換係数を得ると共に、発生した逆量子化直交変換係数を逆直交変換し、局所復号差分ブロック画像を加算部１０６に出力する。加算部１０６は、ブロック予測画像と局所復号差分ブロック画像を加算することにより局所復号ブロック画像をループフィルタ部１０７に出力する。ループフィルタ部１０７は、局所復号ブロック画像および局所復号画像格納部１０８に格納されている局所復号画像を用いて局所復号ブロック画像および局所復号画像に対して、例えばＨ．２６４で用いられているデブロッキングフィルタ処理などのフィルタリング処理を行い、結果を局所復号画像として局所復号画像格納部１０８に出力する。局所復号画像格納部１０８は、局所復号画像を１枚または複数枚格納し、予測画像生成のために用いる。
【００１５】
図１に示す通り、第一のイントラ予測部２００は、画像縮小部２０１、予測画像変換量子化部２０２、予測画像逆量子化逆変換部２０３、予測画像拡大部２０４、縮小ブロックサイズ選択部２０５、縮小画像量子化パラメータ出力部２０６、変換ブロックサイズ出力部２０７から構成されている。画像縮小部２０１は、入力されたブロック画像を縮小ブロックサイズ選択部２０５から出力される縮小ブロックサイズ情報に基づいた縮小率で縮小し、縮小画像を予測画像変換量子化部２０２に出力する。画像縮小の方法は、例えば２×２画素、４×４画素あるいは８×８画素毎の画素値の平均値を縮小画像の画素値とする方法や、ローパスフィルタを掛けた後にサブサンプリングする方法など、入力された画像を縮小し低解像度の画像を生成する手法であればいかなる方法でもよい。予測画像変換量子化部２０２は、画像縮小部２０１から入力された縮小画像に対してＤＣＴなどの直交変換を行うと共に、発生した直交変換係数を、縮小画像量子化パラメータ出力部２０６より出力される縮小画像量子化パラメータに基づいて量子化し、予測画像変換係数としてエントロピー符号化部１０４および予測画像逆量子化逆変換部２０３に出力する。予測画像逆量子化逆変換部２０３は、予測画像変換量子化部２０２から入力された予測画像変換係数に対して予測画像変換量子化部２０２の逆処理となる逆量子化及び逆直交変換を行うことによって局所復号縮小画像を生成し予測画像拡大部２０４に出力する。予測画像拡大部２０４では、予測画像逆量子化逆変換部２０３から入力された局所復号縮小画像に対して解像度を向上させる処理が行われ、ブロック画像と同じサイズになるよう拡大され、第一のイントラ予測画像として予測手法決定部１１０に出力される。ここでは、例えば、内挿処理によって拡大してもよいし、その他いかなる手法であっても入力される画像の解像度を向上させる処理であれば、処理内容を特に限定しない。
【００１６】
縮小ブロックサイズ選択部２０５は、画像縮小部２０１における縮小後のブロックサイズを特定する縮小ブロックサイズを決定し画像縮小部２０１に出力する。縮小ブロックサイズは例えば入力されたブロック画像のサイズの１／２や１／４、１／８など、ブロック画像より小さいサイズであればいかなるサイズであってもよい。例えば複数の縮小ブロックサイズを試行することにより予測誤差や符号化性能を評価して縮小ブロックサイズを決定することができる。このようにすれば、最適な縮小サイズを選ぶことができ効率よく符号化することができる。この場合、縮小ブロックサイズはエントロピー符号化部１０４にも出力され、エントロピー符号化するよう構成する。
あるいは、縮小画像量子化パラメータが大きいときには量子化により高周波成分が削減されやすく小さいブロックに縮小しても予測誤差が発生しにくいと考えられることから、縮小画像量子化パラメータが大きいときには小さいブロックに縮小し、縮小画像量子化パラメータが小さいときには大きいブロックに縮小するよう決定するよう構成してもよい。このようにすれば、適切な縮小サイズを選択できると共に縮小サイズを伝送する必要がないため符号量を削減することができる。差分画像量子化パラメータが大きいときには小さいブロックに縮小し、差分画像量子化パラメータが小さいときには大きいブロックに縮小するよう決定するよう構成しても同様の理由により同様の効果が得られる。
【００１７】
また、解像度が高い映像では局所的に雑音以外の高周波成分が少ないため小さいブロックに縮小しても予測誤差が発生しにくいと想定できることから、小さいブロックに縮小し、解像度が低い映像では逆に大きいブロックに縮小するよう構成してもよい。このようにしても、適切な縮小サイズを選択できると共に縮小サイズを伝送する必要がないため符号量を削減することができる。
あるいは、スライス単位またはピクチャ単位、シーケンス単位で最適な縮小ブロックサイズを決定し、縮小ブロックサイズをヘッダ情報としてエントロピー符号化するよう構成してもよい。この場合、最適な縮小ブロックサイズを少ない符号量で決定することができるため、効率よい符号化が実現できる。
【００１８】
縮小画像量子化パラメータ出力部２０６は、予測画像変換量子化部２０２における量子化および予測画像逆量子化逆変換部２０３における逆量子化を行う際に用いる縮小画像量子化パラメータを決定し予測画像変換量子化部２０２に出力する。第一のイントラ予測部２００における最適な縮小画像量子化パラメータは、差分ブロック画像を差分変換量子化部１０３で量子化する際に用いる差分画像量子化パラメータの値によって異なる値となることが実験により確認されている。差分画像量子化パラメータが大きい値である場合には差分ブロック画像は粗い量子化が行われるため最終的に得られる復号画像は低周波成分が支配的である画像となる。従って、縮小画像量子化パラメータをＢＰＰ＿ＱＰ、差分画像量子化パラメータをＱＰとした場合、ＢＰＰ＿ＱＰはＱＰに連動させて設定することにより、最適な符号化性能を得ることができる。この際、例えば、予め、縮小画像量子化パラメータＢＰＰ＿ＱＰと差分画像量子化パラメータＱＰとの関係を記したテーブルを設け、このテーブルを参照して差分画像量子化パラメータＱＰから得られる値を縮小画像量子化パラメータＢＰＰ＿ＱＰとしてもよいし、以下の数式（１）によって得られるＢＰＰ＿ＱＰを予測量子化ステップサイズとしてもよい。
ＢＰＰ＿ＱＰ＝２７（ＱＰ≦４１）
ＱＰ−１５（ＱＰ＞４１）                      （１）
【００１９】
ここで挙げた一例において、数字および数式自体はこれに限定されるものではなく、符号化性能が最大となるＢＰＰ＿ＱＰとＱＰの組み合わせを学習させておき、それに基づいてテーブルまたは数式を作成することにより同様の効果が得られる。また、入力信号の特性に応じてブロックごとにＱＰに対する最適なＢＰＰ＿ＱＰが異なるため、別の手段としてＢＰＰ＿ＱＰの値をＱＰと同様の手法でエントロピー符号化することにより最適なＢＰＰ＿ＱＰを決定し出力するようにしてもよい。例えば隣接するブロックにおけるＢＰＰ＿ＱＰの値から符号化対象となるブロックにおけるＢＰＰ＿ＱＰの値の差分値を符号化するよう構成することができる。
【００２０】
変換ブロックサイズ出力部２０７は、差分変換量子化部１０３および差分逆変換逆量子化部１０５における直交変換・逆変換の単位となる変換ブロックサイズを決定し差分変換量子化部１０３および差分逆変換逆量子化部１０５に出力する。画像信号に高周波成分が多く含まれている場合、より決め細やかに画像信号を表現することができるよう差分ブロック画像を例えば４×４画素単位あるいは８×８画素単位に分割し、それぞれの単位で直交変換を行うことにより適切に信号を表現ができるため高性能な符号化を実現できる。逆に高周波成分が少ない場合には、変換ブロックのエントロピー符号化におけるオーバヘッドが大きくなるため、例えば１６×１６画素単位などの大きいブロック単位で直交変換を行うことにより高性能な符号化を実現できる。従って、変換ブロックサイズ出力部２０７では、各変換ブロックサイズでの符号化性能を比較することにより最適な変換ブロックサイズを決定し出力するよう構成することにより高性能な符号化を実現することができる。
【００２１】
あるいは、差分画像量子化パラメータが大きい値である場合には粗い量子化が行われるため高周波成分が出にくいことから、大きい変換ブロックサイズで符号化するよう構成し、差分画像量子化パラメータが小さい値である場合には逆に小さい変換ブロックサイズで符号化するよう構成してもよい。この場合には一つまたは複数の閾値を用いて差分画像量子化パラメータに応じて複数の変換ブロックサイズから最適なものを選択できるようにすることで変換ブロックサイズをエントロピー符号化せずに符号化を行うことも可能である。また、縮小ブロックサイズとして小さい値が選択されている場合、符号化対象となるブロック画像に高周波成分が少ないケースであると考えられるため、縮小ブロックサイズが小さい値である場合には変換ブロックサイズとして大きい値を用い、逆に縮小ブロックサイズが大きい値である場合には変換ブロックサイズとして小さい値を用いるよう構成しても同様に高性能な符号化が実現できる。
【００２２】
次に、本実施の形態１に係る画像符号化装置１００の動作について説明する。図２は画像符号化装置１００の処理を示すフローチャートであり、各ステップ番号の数値は、その処理を行うブロックの符号に対応している。
先ず、動画像が画像符号化装置１００に入力されると、動画像はブロック分割部１０１においてブロック単位に分割され、分割後の各ブロック画像が出力される（ステップＳＴ１０１）。次に、各ブロック画像は第一のイントラ予測部２００においてフレーム内予測が実施され、第一のイントラ予測画像が出力されると共に、予測画像に関する情報が予測画像変換係数として出力される（ステップＳＴ２００）。また、ブロック画像が動き補償予測部１０９に入力されると局所復号画像格納部１０８より入力される局所復号画像を用いて動き補償予測が実施されることによりインター予測画像が生成され出力されると共に、動きベクトルや参照した局所復号画像を特定する情報などが動き情報として出力される（ステップＳＴ１０９）。
【００２３】
こうして得られた第一のイントラ予測画像およびインター予測画像が予測手法決定部１１０に入力されると、予測手法決定部１１０では、第一のイントラ予測部２００によるフレーム内予測と、動き補償予測部１０９によるフレーム間予測による予測性能あるいは符号化性能とが比較されて最適な予測手法が決定され、決定された手法による予測画像がブロック予測画像として出力されると共に選択された予測手法がブロックモードとして出力される（ステップＳＴ１１０）。出力されたブロック予測画像は差分画像生成部１０２においてブロック分割部１０１からのブロック画像との差分演算が行われ、結果として差分ブロック画像が出力される（ステップＳＴ１０２）。この差分ブロック画像は差分変換量子化部１０３において、変換ブロックサイズ出力部２０７から入力される変換ブロックサイズ情報によって特定される変換ブロックサイズ単位にＤＣＴなどの直交変換が行われると共に、発生した直交変換係数が、入力される差分画像量子化パラメータによって決定される量子化ステップサイズに応じて量子化され、量子化係数が出力される（ステップＳＴ１０３）。
【００２４】
以上の処理によって生成された予測画像変換係数、動き情報、ブロックモード、量子化係数、差分画像量子化パラメータ及び変換ブロックサイズは、エントロピー符号化部１０４によって可変長符号化あるいは算術符号化などのエントロピー符号化が行われ、ビットストリームとして出力される（ステップＳＴ１０４）。
【００２５】
一方、量子化係数は差分逆変換逆量子化部１０５に入力され、差分画像量子化パラメータによって決定される量子化ステップサイズに応じて逆量子化されて逆量子化直交変換係数が得られると共に、発生した逆量子化直交変換係数が逆直交変換され、局所復号差分ブロック画像が出力される（ステップＳＴ１０５）。こうして得られた局所復号差分ブロック画像は加算部１０６においてブロック予測画像と加算されることにより局所復号ブロック画像が生成され出力される（ステップＳＴ１０６）。生成された局所復号ブロック画像がループフィルタ部１０７に入力されると、局所復号画像格納部１０８に格納されている局所復号画像を用いて局所復号ブロック画像および局所復号画像に対して、例えばＨ．２６４で用いられているデブロッキングフィルタ処理などのフィルタリング処理が行われ、結果が局所復号画像として出力される（ステップＳＴ１０７）。こうして得られた局所復号画像は局所復号画像格納部１０８に格納され、予測画像生成のために用いられる（ステップＳＴ１０８）。
【００２６】
図３は第一のイントラ予測部２００の動作の詳細を示すフローチャートであり、この図においても、各ステップ番号の数値は、その処理を行うブロックの符号に対応している。
先ず、縮小ブロックサイズ選択部２０５において、画像縮小部２０１における縮小後のブロックサイズを特定する縮小ブロックサイズが決定され出力される（ステップＳＴ２０５）。また、縮小画像量子化パラメータ出力部２０６において、予測画像変換量子化部２０２における量子化および予測画像逆量子化逆変換部２０３における逆量子化を行う際に用いる縮小画像量子化パラメータが決定され出力される（ステップＳＴ２０６）。さらに、変換ブロックサイズ出力部２０７において、差分変換量子化部１０３および差分逆変換逆量子化部１０５における直交変換・逆変換の単位となる変換ブロックサイズが決定され出力される（ステップＳＴ２０７）。
【００２７】
第一のイントラ予測部２００に入力されたブロック画像は画像縮小部２０１に入力されると、縮小ブロックサイズ選択部２０５から出力される縮小ブロックサイズ情報に基づいた縮小率で縮小され、縮小画像が出力される（ステップＳＴ２０１）。続いて縮小画像が予測画像変換量子化部２０２に入力されると、入力された縮小画像に対してＤＣＴなどの直交変換が行われると共に、発生した直交変換係数が縮小画像量子化パラメータ出力部２０６より出力される縮小画像量子化パラメータに基づいて量子化され、予測画像変換係数として出力される（ステップＳＴ２０２）。予測画像変換係数は、予測画像逆量子化逆変換部２０３において、予測画像変換量子化部２０２の逆処理となる逆量子化及び逆直交変換が行われることによって局所復号縮小画像が生成され出力される（ステップＳＴ２０３）。局所復号縮小画像は予測画像拡大部２０４に入力され、解像度を向上させる処理が行われてブロック画像と同じサイズになるよう拡大され、第一のイントラ予測画像として出力される（ステップＳＴ２０４）。
【００２８】
なお、予測手法決定部１１０において動き補償予測部１０９からのブロック予測画像が選択された場合には変換ブロックサイズとして予め設定された値を用いることにより符号化するように構成してもよいし、変換ブロックサイズをエントロピー符号化することにより符号化するよう構成してもよい。
【００２９】
上記の説明では、縮小画像量子化パラメータ、縮小ブロックサイズ、変換ブロックサイズをそれぞれ選択できるよう構成したが、これらに予め設定された値を用いるよう構成しても、縮小画像を符号化処理し拡大することによってブロック予測画像を得ることによりブロック画像の大まかな構造を適切に予測することができるため、高性能な符号化処理を行うことができる。当然、縮小画像量子化パラメータ、縮小ブロックサイズ、変換ブロックサイズのうちいずれか一つあるいは複数のみを可変とするよう構成しても同様の効果が得られる。また、動き補償予測を行わないよう構成することにより静止画像に対する符号化処理として本手法を適用しても同様の効果が得られる。
【００３０】
なお、図４に示すように例えば従来のＨ．２６４符号化方式によるイントラ予測を行う第二のイントラ予測部２００ａを備えるよう画像符号化装置１００ａを構成し、第一のイントラ予測と第二のイントラ予測のうち最適な予測モードを選択するよう構成すれば、さらに高性能な符号化が実現できる。ここで、図４において、第二のイントラ予測部２００ａを付加した以外の構成については図１と同様であるため、その説明は省略する。
【００３１】
次に、画像符号化装置１００で符号化されるビットストリームについて説明する。
入力画像は、上述した処理に基づいて図１の画像符号化装置１００で符号化され、複数のブロックを束ねたブロック、さらにブロックを複数束ねた単位（以下、スライスと呼ぶ）でビットストリームとして出力される。図５に、ビットストリームのデータ配列を示す。ビットストリームは、フレーム中に含まれるブロック数分の符号化データが集められたものとして構成され、ブロックはスライス単位にユニット化される。同一フレームに属するブロックが共通パラメータとして参照するピクチャレベルヘッダが用意され、このピクチャレベルヘッダには、ブロックサイズ情報が格納される。ブロックサイズがピクチャレベルより上位のシーケンス単位で固定化されるのであれば、ブロックサイズ情報をシーケンスレベルヘッダに多重するように構成してもよい。
【００３２】
各スライスはそれぞれスライスヘッダから始まり、続いてスライス内の各ブロックの符号化データが配列される。図５の例では、第２スライスにＫ個のブロックが含まれることを示す。ブロックデータは、ブロックヘッダと量子化係数から構成され、ブロックヘッダにはブロック内のブロックモード、動き情報、差分画像量子化パラメータ、予測画像変換係数、縮小画像量子化パラメータ、縮小ブロックサイズおよび変換ブロックサイズが配列される。なお、ブロックを階層的に構成したマクロブロックとして構成しても本発明の効果が得られる。
【００３３】
以上のように、実施の形態１の画像符号化装置によれば、画像データを入力し、複数のブロックに分割しブロック画像を出力するブロック分割部と、ブロック画像を入力し、第一の画面内予測画像を生成すると共に第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、ブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化部と、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部とを備え、第一の画面内予測部は、ブロック画像を縮小し縮小画像を出力する画像縮小部と、縮小画像を周波数変換及び量子化し、第一の画面内予測データを出力する予測画像変換量子化部と、第一の画面内予測データを逆量子化及び逆周波数変換し、局所復号予測画像を出力する予測画像逆量子化逆変換部と、局所復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大部と、差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部とを備えたので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることができる。
【００３４】
また、実施の形態１の画像符号化装置によれば、エントロピー符号化部は、変換ブロックサイズをエントロピー符号化しビットストリームとして出力するようにしたので、最適な変換ブロックサイズを選ぶことができ効率よく符号化することができる。
【００３５】
また、実施の形態１の画像符号化装置によれば、変換ブロックサイズ出力部は、変換ブロックサイズを差分画像量子化パラメータに基づいて決定するようにしたので、変換ブロックサイズを一意に決定することができる。
【００３６】
また、実施の形態１の画像符号化装置によれば、変換ブロックサイズ出力部は、差分画像量子化パラメータが大きい値である場合には大きい値とし、差分画像量子化パラメータが小さい値である場合には小さい値とするよう、差分画像量子化パラメータの大小関係と同等の大小関係となる変換ブロックサイズを出力するようにしたので、適切な変換ブロックサイズを決定することができると共に変換ブロックサイズを伝送する必要がないため符号量を削減することができる。
【００３７】
また、実施の形態１の画像符号化装置によれば、第一の画面内予測部は、縮小後のブロックサイズである縮小ブロックサイズを出力する縮小ブロックサイズ選択部を備え、変換ブロックサイズ出力部は、縮小ブロックサイズに基づいて変換ブロックサイズを決定する
ようにしたので、変換ブロックサイズを一意に決定することができる。
【００３８】
また、実施の形態１の画像符号化方法によれば、画像データを入力し、複数のブロックに分割しブロック画像を出力するブロック分割ステップと、ブロック画像を入力し、第一の画面内予測画像を生成すると共に第一の画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測ステップと、ブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成ステップと、差分画像を周波数変換し、得られた差分画像変換係数を予め決定された差分画像量子化パラメータに基づいて量子化し変換係数を出力する差分変換量子化ステップと、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化ステップとを備え、第一の画面内予測ステップは、ブロック画像を縮小し縮小画像を出力する画像縮小ステップと、縮小画像を周波数変換及び量子化し、第一の画面内予測データを出力する予測画像変換量子化ステップと、第一の画面内予測データを逆量子化及び逆周波数変換し、局所復号予測画像を出力する予測画像逆量子化逆変換ステップと、局所復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大ステップと、差分変換量子化部における周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力ステップとを備えたので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることができる。
【００３９】
実施の形態２．
図６は、実施の形態２に係る画像復号装置３００の構成を示すブロック図である。画像復号装置３００は、実施の形態１に係る画像符号化装置１００で生成されるビットストリームを好適に復号し、結果得られる復号画像を出力する装置で、エントロピー復号部３０４と、第一のイントラ予測画像生成部（第一の画面内予測画像生成部）４００と、差分逆変換逆量子化部３０５と、加算部３０６と、ループフィルタ部３０７と、局所復号画像格納部３０８と、動き補償部３０９と、予測手法判定部３１０および予測切り替えスイッチ３１１とを備えている。ここで、エントロピー復号部３０４〜予測手法判定部３１０及び第一のイントラ予測画像生成部４００は、それぞれ図１に示した画像符号化装置１００におけるエントロピー符号化部１０４〜予測手法決定部１１０及び第一のイントラ予測部２００に対応する復号装置のブロックである。
【００４０】
エントロピー復号部３０４は、入力されるビットストリームを可変長復号や算術復号などによってエントロピー復号し、予測画像変換係数、動き情報、ブロックモード、量子化係数および差分画像量子化パラメータとしてそれぞれ、第一のイントラ予測画像生成部４００、動き補償部３０９、予測手法判定部３１０、差分逆変換逆量子化部３０５に出力する。差分逆変換逆量子化部３０５は、量子化係数を差分画像量子化パラメータによって決定される量子化ステップサイズに応じて逆量子化し逆量子化直交変換係数を得ると共に、発生した逆量子化直交変換係数を逆直交変換し、局所復号差分ブロック画像を加算部３０６に出力する。第一のイントラ予測画像生成部４００は、予測画像変換係数に基づいてイントラ予測を行うことによって第一のイントラ予測画像を生成し加算部３０６に出力する。動き補償部３０９は、局所復号画像格納部３０８に格納された局所復号画像と入力された動き情報を用いて動き補償を行うことによってインター予測画像を生成し加算部３０６に出力する。予測手法判定部３１０は、ブロックモードに応じて、第一のイントラ予測画像生成部４００による第一のイントラ予測画像か動き補償部３０９によるインター予測画像かのいずれを出力するかを判定し、予測切り替えスイッチ３１１を切り替える。
【００４１】
予測切り替えスイッチ３１１は、予測手法判定部３１０によってブロックモードが第一のイントラ予測を行うモードであると判定された場合には、エントロピー復号部３０４からの出力を第一のイントラ予測画像生成部４００に接続すると共に、第一のイントラ予測画像生成部４００によって生成された予測画像をブロック予測画像として加算部３０６に出力するよう接続し、逆に、ブロックモードが動き補償を行うモードであると判定された場合にはエントロピー復号部３０４からの出力を動き補償部３０９に接続すると共に、動き補償部３０９によって生成された予測画像をブロック予測画像として加算部３０６に出力するよう接続する。加算部３０６は、ブロック予測画像と局所復号差分ブロック画像を加算することにより局所復号ブロック画像をループフィルタ部に出力する。ループフィルタ部３０７は、局所復号ブロック画像および局所復号画像格納部３０８に格納されている局所復号画像を用いて局所復号ブロック画像および局所復号画像に対してフィルタリング処理を行い、結果を局所復号画像として外部および局所復号画像格納部３０８に出力する。局所復号画像格納部３０８は局所復号画像を１枚または複数枚格納し、予測画像生成のために用いる。
【００４２】
図６に示す通り、第一のイントラ予測画像生成部４００は、予測画像逆量子化逆変換部４０３、予測画像拡大部４０４、縮小ブロックサイズ選択部４０５、縮小画像量子化パラメータ出力部４０６、変換ブロックサイズ出力部４０７から構成されている。これら予測画像逆量子化逆変換部４０３〜変換ブロックサイズ出力部４０７は、図１に示した画像符号化装置１００における予測画像逆量子化逆変換部２０３〜変換ブロックサイズ出力部２０７に相当する復号装置の構成である。
【００４３】
予測画像逆量子化逆変換部４０３は、エントロピー復号部３０４より入力された予測画像変換係数に対して縮小画像量子化パラメータ出力部４０６より入力される縮小画像量子化パラメータに基づいて逆量子化及び逆直交変換を行うことによって局所復号縮小画像を生成し予測画像拡大部４０４に出力する。予測画像拡大部４０４では、入力された前記局所復号縮小画像に対して縮小ブロックサイズ選択部４０５より入力される縮小ブロックサイズからブロック画像と同じサイズになるよう解像度を向上させる処理を行い、第一のイントラ予測画像として加算部３０６に出力される。縮小ブロックサイズ選択部４０５は、予測画像拡大部４０４における拡大前のブロックサイズを特定する縮小ブロックサイズを予測画像拡大部４０４に出力する。
【００４４】
ここでは縮小ブロックサイズは、実施の形態１による画像符号化装置１００で決定された値が再現されるよう動作する。例えば、実施の形態１による画像符号化装置１００において、複数の縮小ブロックサイズを試行することにより予測誤差や符号化性能を評価して縮小ブロックサイズを決定した場合にはブロックごとにエントロピー符号化された縮小ブロックサイズをエントロピー復号して得られる値がエントロピー復号部３０４より予測画像拡大部４０４に直接出力されるため、縮小ブロックサイズ選択部４０５は不要である。あるいは、平坦な領域では画像の高周波成分が少ないことから小さいブロックに縮小しても予測誤差が発生しにくいと考えられることから、縮小画像量子化パラメータが大きいときには小さいブロックに縮小し、縮小画像量子化パラメータが小さいときには大きいブロックに縮小するよう決定するよう画像符号化装置１００を構成した場合には、同様の処理により得られる縮小ブロックサイズが出力される。あるいは、差分画像量子化パラメータが大きいときには小さいブロックに縮小し、差分画像量子化パラメータが小さいときには大きいブロックに縮小するよう決定するよう画像符号化装置１００を構成した場合には、同様の処理により得られる縮小ブロックサイズが出力される。
【００４５】
また、解像度が高い映像では局所的に雑音以外の高周波成分が少ないと想定できることから、小さいブロックに縮小し、解像度が低い映像では逆に大きいブロックに縮小するよう画像符号化装置１００を構成した場合には、同様の処理により得られる縮小ブロックサイズが出力される。あるいは、スライス単位またはピクチャ単位、シーケンス単位で最適な縮小ブロックサイズを決定し、縮小ブロックサイズをヘッダ情報としてエントロピー符号化するよう画像符号化装置１００を構成した場合には、ヘッダ情報をエントロピー復号して得られる値がエントロピー復号部３０４より予測画像拡大部４０４に直接出力されるため、縮小ブロックサイズ選択部４０５は不要である。
【００４６】
縮小画像量子化パラメータ出力部４０６は、予測画像逆量子化逆変換部４０３における逆量子化を行う際に用いる縮小画像量子化パラメータを予測画像逆量子化逆変換部４０３に出力する。ここでは縮小画像量子化パラメータは実施の形態１による画像符号化装置１００で決定された値が再現されるよう動作する。画像符号化装置１００において、縮小画像量子化パラメータをＢＰＰ＿ＱＰ、差分画像量子化パラメータをＱＰとした場合、テーブルや数式によりＢＰＰ＿ＱＰをＱＰに連動させて設定するよう構成した場合には、同様のテーブルや数式を用いることによってＢＰＰ＿ＱＰが決定され、縮小画像量子化パラメータとして出力される。また、画像符号化装置１００において、ＢＰＰ＿ＱＰの値をＱＰと同様の手法でエントロピー符号化するよう構成した場合には、エントロピー復号して得られる値がエントロピー復号部３０４より予測画像逆量子化逆変換部４０３に直接出力されるため、縮小画像量子化パラメータ出力部４０６は不要である。
【００４７】
変換ブロックサイズ出力部４０７は、差分逆変換逆量子化部３０５における逆直交変換の単位となる変換ブロックサイズを差分逆変換逆量子化部３０５に出力する。ここでは変換ブロックサイズは実施の形態１による画像符号化装置１００で決定された値が再現されるよう動作する。画像符号化装置１００において、各変換ブロックサイズでの符号化性能を比較することにより最適な変換ブロックサイズを決定し出力するよう構成した場合には、エントロピー復号して得られる値がエントロピー復号部３０４より差分逆変換逆量子化部３０５に直接出力されるため、変換ブロックサイズ出力部４０７は不要である。
【００４８】
また、差分画像量子化パラメータが大きい値である場合には粗い量子化が行われるため高周波成分が出にくいことから、大きい変換ブロックサイズで符号化するよう構成し、差分画像量子化パラメータが小さい値である場合には逆に小さい変換ブロックサイズで符号化するために一つまたは複数の閾値を用いて差分画像量子化パラメータに応じて複数の変換ブロックサイズから最適なものを選択できるようにすることで変換ブロックサイズをエントロピー符号化せずに符号化を行うよう画像符号化装置１００を構成した場合には、同様の処理により得られる変換ブロックサイズが出力される。
【００４９】
また、縮小ブロックサイズとして小さい値が選択されている場合、符号化対象となるブロック画像に高周波成分が少ないケースであると考えられるため、縮小ブロックサイズが小さい値である場合には変換ブロックサイズとして大きい値を用い、逆に縮小ブロックサイズが大きい値である場合には変換ブロックサイズとして小さい値を用いるよう画像符号化装置１００を構成した場合には、同様の処理により得られる変換ブロックサイズが出力される。
【００５０】
次に、実施の形態２に係る画像復号装置３００の動作について説明する。図７は画像復号装置３００の処理を示すフローチャートであり、各ステップ番号の数値は、その処理を行う機能部の符号に対応している。
先ず、ビットストリームが画像復号装置３００に入力されると、ビットストリームはエントロピー復号部３０４によって可変長復号あるいは算術復号などのエントロピー復号が行われ、予測画像変換係数、動き情報、ブロックモード、量子化係数および差分画像量子化パラメータが出力される（ステップＳＴ３０４）。差分逆変換逆量子化部３０５では、量子化係数を差分画像量子化パラメータによって決定される量子化ステップサイズに応じて逆量子化し逆量子化直交変換係数を得ると共に、発生した逆量子化直交変換係数が逆直交変換され、局所復号差分ブロック画像が出力される（ステップＳＴ３０５）。
【００５１】
また、予測手法判定部３１０では、ブロックモードに応じて第一のイントラ予測画像生成部４００による第一のイントラ予測画像か動き補償部３０９によるインター予測画像のいずれを出力するかが判定され、予測切り替えスイッチ３１１が切り替えられる（ステップＳＴ３１０）。ブロックモードが第一のイントラ予測画像であった場合、第一のイントラ予測画像生成部４００では、予測画像変換係数に基づいてイントラ予測を行うことによって第一のイントラ予測画像が生成され出力される（ステップＳＴ４００）。一方、ブロックモードがインター予測画像であった場合、動き補償部３０９では、局所復号画像格納部３０８に格納された局所復号画像と入力された動き情報を用いて動き補償を行うことによってインター予測画像が生成され出力される（ステップＳＴ３０９）。
【００５２】
こうして得られたブロック予測画像が加算部３０６に入力されると、局所復号差分ブロック画像が加算されることにより、局所復号ブロック画像が出力される（ステップＳＴ３０６）。ループフィルタ部３０７では、局所復号ブロック画像および局所復号画像格納部１０８に格納されている局所復号画像を用いて局所復号ブロック画像および局所復号画像に対してフィルタリング処理が行われ、結果が局所復号画像として出力される（ステップＳＴ３０７）。局所復号画像格納部３０８では、局所復号画像が１枚または複数枚格納され、予測画像生成のために用いられる（ステップＳＴ３０８）。
【００５３】
図８は第一のイントラ予測画像生成部４００の動作の詳細を示すフローチャートであり、この図においても、各ステップ番号の数値は、その処理を行う機能部の符号に対応している。
縮小ブロックサイズ選択部４０５では、予測画像拡大部４０４における拡大前のブロックサイズを特定する縮小ブロックサイズが出力される（ステップＳＴ４０５）。また、縮小画像量子化パラメータ出力部４０６では、予測画像逆量子化逆変換部４０３における逆量子化を行う際に用いる縮小画像量子化パラメータが出力される（ステップＳＴ４０６）。さらに、変換ブロックサイズ出力部４０７では、差分逆変換逆量子化部３０５における逆直交変換の単位となる変換ブロックサイズが出力される（ステップＳＴ４０７）。予測画像逆量子化逆変換部４０３では、エントロピー復号部３０４より入力された予測画像変換係数に対して縮小画像量子化パラメータ出力部４０６より入力される縮小画像量子化パラメータに基づいて逆量子化及び逆直交変換が行われることによって局所復号縮小画像が生成され出力される（ステップＳＴ４０３）。予測画像拡大部４０４では、入力された局所復号縮小画像に対して縮小ブロックサイズ選択部４０５より入力される縮小ブロックサイズからブロック画像と同じサイズになるよう解像度を向上させる処理が行われ、第一のイントラ予測画像として出力される（ステップＳＴ４０４）。
【００５４】
尚、画像符号化装置として、図４に示したように、例えば従来のＨ．２６４符号化方式によるイントラ予測を行う第二のイントラ予測部２００ａを備えるよう構成した場合には、図９に示すように、Ｈ．２６４符号化方式に対応したイントラ予測画像生成を行う第二のイントラ予測画像生成部４００ａを設け、ブロックモードに応じて予測手法判定部３１０が第二のイントラ予測をも選択可能とすることにより好適に復号することができる。なお、図９に示す画像復号装置３００ａにおいて、第二のイントラ予測画像生成部４００ａが付加されている以外の構成については、図６に示した画像復号装置３００と同様であるため、ここでの説明は省略する。
【００５５】
以上のように、実施の形態２の画像復号装置によれば、ビットストリームをエントロピー復号し、変換係数及び第一の画面内予測データを出力するエントロピー復号部と、変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化部と、第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成部と、差分復号画像と第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算部とを備え、第一の画面内予測画像生成部は、第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換部と、復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大部と、差分逆変換逆量子化部における逆周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力部とを備えたので、実施の形態１の画像符号化装置により生成される符号化画像ビットストリームを好適に復号することができる。
【００５６】
また、実施の形態２の画像復号装置によれば、ビットストリームをエントロピー復号し、変換係数、変換ブロックサイズ及び第一の画面内予測データを出力するエントロピー復号部と、変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に、変換ブロックサイズに基づいて逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化部と、第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成部と、差分復号画像と第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算部とを備え、第一の画面内予測画像生成部は、第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換部と、復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大部とを備えたので、符号化画像ビットストリームを効率よく復号することができると共に、復号装置として変換ブロックサイズを生成する必要がなく、構成の簡素化を図ることができる。
【００５７】
また、実施の形態２の画像復号装置によれば、変換ブロックサイズ出力部は、変換ブロックサイズを差分画像量子化パラメータに基づいて決定するようにしたので、適切な変換ブロックサイズを一意に決定することができる。
【００５８】
また、実施の形態２の画像復号装置によれば、変換ブロックサイズ出力部は、差分画像量子化パラメータが大きい値である場合には大きい値とし、差分画像量子化パラメータが小さい値である場合には小さい値とするよう、差分画像量子化パラメータの大小関係と同等の大小関係となる変換ブロックサイズを出力するようにしたので、適切な変換ブロックサイズを一意に決定することができる。
【００５９】
また、実施の形態２の画像復号方法によれば、ビットストリームをエントロピー復号し、変換係数及び第一の画面内予測データを出力するエントロピー復号ステップと、変換係数を、予め決定された差分画像量子化パラメータに基づいて逆量子化すると共に逆周波数変換し、差分復号画像を出力する差分逆変換逆量子化ステップと、第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成ステップと、差分復号画像と第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算ステップとを備え、第一の画面内予測画像生成ステップは、第一の画面内予測データを逆量子化及び逆周波数変換し、復号予測画像を出力する予測画像逆量子化逆変換ステップと、復号予測画像を拡大し、第一の画面内予測画像を生成する予測画像拡大ステップと、差分逆変換逆量子化ステップにおける逆周波数変換の単位である変換ブロックサイズを出力する変換ブロックサイズ出力ステップとを備えたので、実施の形態１の画像符号化装置により生成される符号化画像ビットストリームを好適に復号することができる。
【符号の説明】
【００６０】
１００，１００ａ  画像符号化装置、１０１  ブロック分割部、１０２  差分画像生成部、１０３  差分変換量子化部、１０４  エントロピー符号化部、１０５  差分逆変換逆量子化部、１０６  加算部、１０７  ループフィルタ部、１０８  局所復号画像格納部、１０９  動き補償予測部、１１０  予測手法決定部、２００  第一のイントラ予測部、２００ａ  第二のイントラ予測部、２０１  画像縮小部、２０２  予測画像変換量子化部、２０３  予測画像逆量子化逆変換部、２０４  予測画像拡大部、２０５  縮小ブロックサイズ選択部、２０６  縮小画像量子化パラメータ出力部、２０７  変換ブロックサイズ出力部、３００，３００ａ  画像復号装置、３０４  エントロピー復号部、３０５  差分逆変換逆量子化部、３０６  加算部、３０７  ループフィルタ部、３０８  局所復号画像格納部、３０９  動き補償部、３１０  予測手法判定部、３１１  予測切り替えスイッチ、４００  第一のイントラ予測画像生成部、４００ａ  第二のイントラ予測画像生成部、４０３  予測画像逆量子化逆変換部、４０４  予測画像拡大部、４０５  縮小ブロックサイズ選択部、４０６  縮小画像量子化パラメータ出力部、４０７  変換ブロックサイズ出力部。
【図１】
2011223317.tif 000003
【図２】
2011223317.tif 000004
【図３】
2011223317.tif 000005
【図４】
2011223317.tif 000006
【図５】
2011223317.tif 000007
【図６】
2011223317.tif 000008
【図７】
2011223317.tif 000009
【図８】
2011223317.tif 000010
【図９】
2011223317.tif 000011