(57)【要約】  画像縮小部２０１はマクロブロック画像の縮小画像を出力し、予測画像変換量子化部２０２は、縮小画像を周波数変換と量子化し第一の画面内予測データを出力する。予測画像逆量子化逆変換部２０３は、第一の画面内予測データを逆量子化と逆周波数変換し局部復号予測画像を出力し、予測画像拡大部２０４は、局部復号予測画像を拡大し第一の画面内予測画像を生成する。原画差分算出部１０２は、マクロブロック画像と第一の画面内予測画像の差分画像を出力する。差分変換量子化部１０３は、差分画像を周波数変換と量子化し変換係数を出力する。エントロピー符号化部１０４は、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力する。
2011064932.tif 000002
【特許請求の範囲】
【請求項１】
１フレームの画像データを入力し、複数のブロックに分割しマクロブロック画像を出力するブロック分割部と、
前記マクロブロック画像を入力し、第一の画面内予測画像を生成すると共に画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、
前記マクロブロック画像と前記第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、
前記差分画像を周波数変換及び量子化し変換係数を出力する差分変換量子化部と、
前記第一の画面内予測データと前記変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部とを備え、
前記第一の画面内予測部は、
前記マクロブロック画像を縮小し縮小画像を出力する画像縮小部と、
前記縮小画像を周波数変換及び量子化し第一の画面内予測データを出力する予測画像変換量子化部と、
前記第一の画面内予測データを逆量子化及び逆周波数変換し局部復号予測画像を出力する予測画像逆量子化変換部と、
前記局部復号予測画像を拡大し第一の画面内予測画像を生成する予測画像拡大部とを備えたことを特徴とする画像符号化装置。
【請求項２】
変換係数を入力し逆量子化及び逆周波数変換を行い差分局部復号画像を出力する差分逆量子化逆変換部と、
第一の画面内予測画像と前記差分局部復号画像を加算し局部復号画像を出力する差分局部復号加算部と、
前記局部復号画像を格納するフレームメモリとを備え、
第一の画面内予測部は、
前記フレームメモリに格納された前記局部復号画像を用いて処理対象領域の周辺領域の画素値から前記処理対象領域の画素値の平均値を予測し、予測平均画素値として出力する平均画素値予測部と、
縮小画像の各画素値から前記予測平均画素値を減算し平均値除去縮小画像を出力する平均値除去部と、
予測画像逆量子化逆変換部の出力と前記予測平均画素値を加算し局部復号予測画像を出力する平均値加算部とを有し、
かつ、
前記予測画像変換量子化部は前記平均値除去縮小画像を周波数変換及び量子化し第一の画面内予測データを出力すると共に、前記予測画像逆量子化逆変換部は前記第一の画面内予測データを逆量子化及び逆周波数変換し平均値除去局部復号予測画像として出力することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
フレームメモリに格納された局部復号画像を用いて処理対象領域の周辺領域の画素値から当該処理対象領域の画素値を予測し、第二の画面内予測画像を出力すると共に、予測画像を再構成するための情報を第二の画面内予測データとして出力する第二の画面内予測部と、
第一の画面内予測画像と前記第二の画面内予測画像を比較して予測効率の高い予測画像を選択し、画面内予測画像として出力すると共に、いずれの予測画像を選択したかを示す予測タイプ情報を出力する予測画像選択部とを備え、
エントロピー符号化部は、前記第二の画面内予測データと前記予測タイプ情報をエントロピー符号化することを特徴とする請求項２記載の画像符号化装置。
【請求項４】
第一の画面内予測部は、
第一の画面内予測データの直流成分であるＤＣ成分を局部復号ＤＣ成分として格納するＤＣ成分記憶バッファと、
ＤＣ成分記憶バッファに記憶されている局部復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データのＤＣ成分から予測値を減じた後、第一の画面内予測データ差分値として出力するＤＣ成分予測部とを備え、
エントロピー符号化部は、前記第一の画面内予測データの代わりに前記第一の画面内予測データ差分値をエントロピー符号化することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
ビットストリームをエントロピー復号し変換係数及び第一の画面内予測データを出力するエントロピー復号部と、
前記変換係数を逆量子化及び逆周波数変換し差分復号画像を出力する差分逆量子化逆変換部と、
前記第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の画面内予測画像生成部と、
前記差分復号画像と前記第一の画面内予測画像とを加算し復号画像を出力する差分復号画像加算部とを備え、
前記第一の画面内予測画像生成部は、
前記第一の画面内予測データを逆量子化及び逆周波数変換し復号予測画像を出力する予測画像逆量子化逆変換部と、
前記復号予測画像を拡大し前記第一の画面内予測画像を生成する予測画像拡大部とを備えたことを特徴とする画像復号装置。
【請求項６】
復号画像を格納するフレームメモリを備え、
前記第一の画面内予測画像生成部は、
前記フレームメモリに格納された前記復号画像を用いて処理対象領域の周辺領域の画素値から当該処理対象領域の画素値の平均値を予測し予測平均画素値として出力する平均画素値予測部と、
予測画像逆量子化逆変換部の出力と前記予測平均画素値とを加算し復号予測画像を出力する平均値加算部とを有し、
前記予測画像逆量子化変換部は、第一の画面内予測データを逆量子化及び逆周波数変換し平均値除去復号予測画像を出力することを特徴とする請求項５記載の画像復号装置。
【請求項７】
エントロピー復号部は、第二の画面内予測データと予測タイプ情報をエントロピー復号すると共に、
前記第二の画面内予測データに基づいてフレームメモリに格納された復号画像を用いて処理対象領域の周辺領域の画素値から当該処理対象領域の画素値を予測し第二の画面内予測画像を出力する第二の画面内予測画像生成部と、
前記予測タイプ情報に基づいて第一の画面内予測画像と第二の画面内予測画像のいずれか一つを選択し出力する予測画像選択部とを備えたことを特徴とする請求項６記載の画像復号装置。
【請求項８】
第一の画面内予測画像生成部は、
復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データ差分値のＤＣ成分に予測値を加えた後、第一の画面内予測データとして出力するＤＣ成分予測部と、
前記第一の画面内予測データの直流成分であるＤＣ成分を前記復号ＤＣ成分として格納するＤＣ成分記憶バッファとを備え、
前記エントロピー復号部は、前記第一の画面内予測データの代わりに前記第一の画面内予測データ差分値をエントロピー復号結果として出力することを特徴とする請求項５記載の画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を圧縮符号化して伝送するに際して、画面内予測を行う画像符号化装置及び圧縮されたデータを復号する画像復号装置に関するものである。
【背景技術】
【０００２】
例えば、ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）によって勧告されているＨ．２６４動画像符号化方式では、画面内予測を行うことによってフレーム内の冗長性を取り除き、予測誤差信号を圧縮符号化している。従来、このような圧縮符号化する符号化装置及びこれを復号する復号装置として例えば特許文献１に示すような装置があった。【０００３】
このような従来の画像符号化装置では、入力画像から符号化ビットストリームを生成するために、先ず、入力画像は画像分割部によって所定の符号化単位であるマクロブロックサイズの入力画像であるマクロブロック入力画像に分割され、マクロブロック単位に処理が行われる。マクロブロック入力画像は減算部によってイントラ予測部で生成される予測画像が減算され、その結果として得られる差分画像信号が出力される。差分画像信号は周波数変換部に入力され、周波数変換が施されることにより周波数ごとの振幅を表す変換係数に変換され、量子化部に出力される。量子化部において変換係数は量子化され、量子化変換係数が出力される。出力された量子化変換係数は、エントロピー符号化部においてエントロピー符号化され、符号化ビットストリームとして出力される。また、量子化変換係数は逆量子化部にも入力される。逆量子化部では量子化変換係数が逆量子化されて、復号変換係数が出力される。復号変換係数は逆周波数変換部によって逆周波数変換されることにより、復号差分画像を得る。この復号差分画像は加算部において予測画像が加算され、局部復号画像としてフレームメモリに格納される。フレームメモリに格納された局部復号画像は予測部において予測画像を生成するために用いられる。【０００４】
予測部で行われるＨ．２６４の画面内予測方法では、符号化対象となるブロックに隣接する符号化済ブロックの局部復号画像を直線的に伸長することによって予測画像が生成される。この際、予測方向はイントラ４×４予測モード及びイントラ８×８予測モードでは８種類の方向と、周辺画素の平均値を用いて予測を行うＤＣ予測の計９種類の中から最適なものを選択する。イントラ１６×１６予測モードでは水平方向、垂直方向、斜め方向及びＤＣ予測の計４種類の中から最適なものを選択する。
選択した予測モード及び予測方向はそれぞれエントロピー符号化部においてエントロピー符号化され、符号化ビットストリームに多重化される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第０８／０７２５００号公報
【０００６】
しかしながら、従来の画像符号化装置では、上述したように、Ｈ．２６４のフレーム内予測では、符号化対象ブロックの周辺の局部復号画像を直線的に伸長することにより予測画像を生成するため、周辺局部復号画像の変化がそのまま直線エッジ状に形成された予測画像が生成される。従って、この直線エッジ状の予測画像と実際の入力画像のエッジが一致しない場合には予測誤差信号に直線エッジを付加することになり、符号化効率の低下を招く。即ち、従来のフレーム内予測では特定の方向にエッジを持つ映像に対しては予測効率がよく、その他の方向にエッジを持つ映像に対しては予測効率が悪くなるという課題があった。【０００７】
この発明は上記のような課題を解決するためになされたもので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることのできる画像符号化装置を得ることを目的とする。
【発明の概要】
【０００８】
この発明に係る画像符号化装置は、１フレームの画像データを入力し、複数のブロックに分割しマクロブロック画像を出力するブロック分割部と、マクロブロック画像を入力し、第一の画面内予測画像を生成すると共に画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一の画面内予測部と、マクロブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する差分画像生成部と、差分画像を周波数変換及び量子化し変換係数を出力する差分変換量子化部と、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部とを備え、第一の画面内予測部は、マクロブロック画像を縮小し縮小画像を出力する画像縮小部と、縮小画像を周波数変換及び量子化し第一の画面内予測データを出力する予測画像変換量子化部と、第一の画面内予測データを逆量子化及び逆周波数変換し局部復号予測画像を出力する予測画像逆量子化変換部と、局部復号予測画像を拡大し第一の画面内予測画像を生成する予測画像拡大部とを備えたものである。これにより、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像符号化装置の動作を示すフローチャートである。
【図３】本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【図４】本発明の実施の形態２に係る画像符号化装置の動作を示すフローチャートである。
【図５】本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。
【図６】本発明の実施の形態３に係る画像符号化装置の動作を示すフローチャートである。
【図７】本発明の実施の形態４に係る画像符号化装置の構成を示すブロック図である。
【図８】本発明の実施の形態４に係る画像符号化装置の動作を示すフローチャートである。
【図９】本発明の実施の形態５に係る画像符号化装置の構成を示すブロック図である。
【図１０】本発明の実施の形態５に係る画像符号化装置の動作を示すフローチャートである。
【図１１】本発明の実施の形態６に係る画像復号装置の構成を示すブロック図である。
【図１２】本発明の実施の形態６に係る画像復号装置の動作を示すフローチャートである。
【図１３】本発明の実施の形態７に係る画像復号装置の構成を示すブロック図である。
【図１４】本発明の実施の形態７に係る画像復号装置の動作を示すフローチャートである。
【図１５】本発明の実施の形態８に係る画像復号装置の構成を示すブロック図である。
【図１６】本発明の実施の形態８に係る画像復号装置の動作を示すフローチャートである。
【図１７】本発明の実施の形態９に係る画像復号装置の構成を示すブロック図である。
【図１８】本発明の実施の形態９に係る画像復号装置の動作を示すフローチャートである。
【図１９】本発明の実施の形態１０に係る画像復号装置の構成を示すブロック図である。
【図２０】本発明の実施の形態１０に係る画像復号装置の動作を示すフローチャートである。
【図２１】本発明の実施の形態４に係る画像符号化装置のイントラ予測タイプ情報の説明図である。
【図２２】本発明の実施の形態４に係る画像符号化装置のイントラ予測タイプ情報の他の例を示す説明図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による画像符号化装置を示す構成図である。
図１に示す画像符号化装置１００は、ブロック分割部１０１と、第一のイントラ予測部（第一の画面内予測部）２００と、原画差分算出部１０２と、差分変換量子化部１０３と、エントロピー符号化部１０４とを備えている。
ブロック分割部１０１は、原画像として動画像を入力し、その動画像をマクロブロック単位に分割して、分割後の各マクロブロックの画像（以下、マクロブロック画像と称する）を出力する。第一のイントラ予測部２００は、フレーム内予測を実施することで、第一のイントラ予測画像を生成すると共に、予測画像に関する情報を予測画像変換係数として出力する。原画差分算出部１０２は、ブロック分割部１０１からのマクロブロック画像と、第一のイントラ予測部２００からの第一のイントラ予測画像との差分をとり、差分マクロブロック画像として出力する。差分変換量子化部１０３は、原画差分算出部１０２からの差分マクロブロック画像に対してＤＣＴなどの直交変換を行うと共に、発生した直交変換係数を量子化し、量子化係数を出力する。エントロピー符号化部１０４は、予測画像変換係数及び量子化係数を可変長符号化や算術符号化などによってエントロピー符号化し、ビットストリームとして出力する。
【００１１】
第一のイントラ予測部２００は、画像縮小部２０１、予測画像変換量子化部２０２、予測画像逆量子化逆変換部２０３、予測画像拡大部２０４から構成されている。
画像縮小部２０１は、入力されたマクロブロック画像を縮小し、縮小画像を出力する。画像縮小の方法は、例えば４×４画素毎の画素値の平均値を縮小画像の画素値とする方法や、ローパスフィルタを掛けた後にサブサンプリングする方法など、いかなる方法でもよい。縮小率についても後述する予測画像拡大部２０４での拡大率の逆数であればよい。予測画像変換量子化部２０２は、入力された縮小画像に対してＤＣＴなどの直交変換を行うと共に、発生した直交変換係数を量子化し、予測画像変換係数として出力する。予測画像逆量子化逆変換部２０３は、入力された予測画像変換係数に対して予測画像変換量子化部２０２の逆処理となる逆量子化及び逆直交変換を行うことによって局部復号縮小画像を生成し出力する。予測画像拡大部２０４では、入力された局部復号縮小画像に対して解像度を向上させる処理が行われ、マクロブロック画像と同じサイズになるよう拡大され、第一のイントラ予測画像として出力される。ここでは、例えば、内挿処理によって拡大してもよいし、その他いかなる手法であっても入力される画像の解像度を向上させる処理であれば、処理内容を特に限定しない。
【００１２】
尚、上記の説明では４×４画素に縮小する場合について述べたが、画像縮小部２０１で１画素に縮小し、画像拡大部２０４で元のサイズに戻すよう構成してもよい。この場合、例えばブロック右下の画素を縮小画像とすることができ、拡大時には周辺ブロックの局部復号画像を用いて内挿することにより拡大するよう構成しても同様の効果が得られる。また、縮小画像については直交変換や量子化を行わずに直接画素値を符号化するか、画素値をＤＣ予測してその差分値を符号化するよう構成してもよい。
【００１３】
次に、本実施の形態に係る画像符号化装置１００の動作について説明する。
図２は、画像符号化装置１００の処理を示すフローチャートである。
先ず、動画像が画像符号化装置１００に入力されると、動画像はブロック分割部１０１においてマクロブロック単位に分割され、分割後の各マクロブロック画像が出力される（ステップＳＴ１０１）。次に、各マクロブロック画像は第一のイントラ予測部２００においてフレーム内予測が実施され、第一のイントラ予測画像が出力されると共に、予測画像に関する情報が予測画像変換係数として出力される（ステップＳＴ２００）。次いで、マクロブロック画像及び第一のイントラ予測画像は原画差分算出部１０２に入力されると、差分値が算出され、差分マクロブロック画像として出力される（ステップＳＴ１０２）。次いで、差分マクロブロック画像は、差分変換量子化部１０３においてＤＣＴなどの直交変換が行われると共に発生した直交変換係数が量子化され、量子化係数が出力される（ステップＳＴ１０３）。更に、量子化係数及び予測画像変換係数はエントロピー符号化部１０４においてエントロピー符号化され、ビットストリームが出力される（ステップＳＴ１０４）。
【００１４】
次に、ステップＳＴ２００の詳細を説明する。
先ず、入力されたマクロブロック画像は画像縮小部２０１によって画像が縮小処理され、縮小画像が出力される（ステップＳＴ２０１）。この縮小画像は、予測画像変換量子化部２０２においてＤＣＴなどの直交変換が行われると共に発生した直交変換係数が量子化され、予測画像変換係数として出力される（ステップＳＴ２０２）。この予測画像変換係数は、予測画像逆量子化逆変換部２０３によってステップＳＴ１０３の逆処理となる逆量子化及び逆直交変換が行われ、局部復号縮小画像が出力される（ステップＳＴ２０３）。局部復号縮小画像は、予測画像拡大部２０４に入力されると、解像度を向上させる処理が行われ、マクロブロック画像と同じサイズになるように拡大されて第一のイントラ予測画像として出力される（ステップＳＴ２０４）。
【００１５】
このように、本実施の形態に係る画像符号化装置１００では、イントラ予測を行う際に画像の縮小・変換・量子化・逆量子化・逆変換・画像の拡大を行うことによって、周辺ブロックのエッジの状態に依存しないマクロブロック画像の予測画像を生成することができると共に、縮小画像の量子化変換係数で予測画像を表現できるため予測画像を再現するために要するビット数を少なく抑えることができる。従って、安定して符号化効率の高いフレーム内符号化を実現することができる。
【００１６】
尚、画像符号化装置１００における各部の構成要素はハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアとを組み合わせたモジュールであってもよい。また、直交変換の処理は特に限定されず、ＤＣＴ、ＤＳＴ（Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散サイン変換）、ＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ：離散フーリエ変換）、ウェーブレット変換、整数変換処理等が行われてもよい。
【００１７】
以上のように、実施の形態１の画像符号化装置によれば、１フレームの画像データを入力し、複数のブロックに分割しマクロブロック画像を出力するブロック分割部１０１と、マクロブロック画像を入力し、第一の画面内予測画像を生成すると共に画面内予測画像を再構成するための情報である第一の画面内予測データを出力する第一のイントラ予測部（第一の画面内予測部）２００と、マクロブロック画像と第一の画面内予測画像の差分演算を行い差分画像を出力する原画差分算出部１０２と、差分画像を周波数変換及び量子化し変換係数を出力する差分変換量子化部１０３と、第一の画面内予測データと変換係数をエントロピー符号化しビットストリームを出力するエントロピー符号化部１０４とを備え、第一のイントラ予測部２００は、マクロブロック画像を縮小し縮小画像を出力する画像縮小部２０１と、縮小画像を周波数変換及び量子化し第一の画面内予測データを出力する予測画像変換量子化部２０２と、第一の画面内予測データを逆量子化及び逆周波数変換し局部復号予測画像を出力する予測画像逆量子化逆変換部２０３と、局部復号予測画像を拡大し第一の画面内予測画像を生成する予測画像拡大部２０４とを備えたので、入力画像のテクスチャによらず安定して効率のよい予測を行い、符号化効率を向上させることができる。
【００１８】
実施の形態２．
図３は、実施の形態２に係る画像符号化装置１００ａの構成を示すブロック図である。
画像符号化装置１００ａは、第一の画面内予測部として、ＤＣ成分予測イントラ予測部２００ａを用いて構成されている。これ以外の構成は、実施の形態１の画像符号化装置１００と同様であるため、以下、実施の形態１の画像符号化装置１００との相違点について説明する。
【００１９】
ＤＣ成分予測イントラ予測部２００ａは、実施の形態１における第一のイントラ予測部２００の構成に加えて、ＤＣ成分予測部２０５及びＤＣ成分記憶バッファ２０６を備える点でのみ異なる。ＤＣ成分予測部２０５は、入力された予測画像変換係数のうち、その直流成分をＤＣ成分記憶バッファ２０６に出力すると共に、隣接するブロックの直流成分をＤＣ成分記憶バッファ２０６から読み出し、ＤＣ成分の予測値を生成して予測画像変換係数の直流成分から減算してＤＣ差分係数を得るものである。そして、得られたＤＣ差分係数及びその他の交流成分をＤＣ差分予測画像変換係数としてエントロピー符号化部１０４に出力するよう構成されている。ＤＣ成分記憶バッファ２０６は、予測画像変換係数の直流成分を格納するためのバッファである。
【００２０】
次に、実施の形態２に係る画像符号化装置１００ａの動作について説明する。
図４は、実施の形態２の画像符号化装置１００ａの動作を示すフローチャートである。尚、動作中、実施の形態１と異なるのは、ＤＣ成分予測イントラ予測部２００ａに関する動作（ステップＳＴ２００ａ）のみであるため、このステップＳＴ２００ａについて説明する。
ステップＳＴ２０３における予測画像変換係数逆量子化・逆変換までの処理及びステップＳＴ２０４の画像拡大処理は実施の形態１と同様である。ステップＳＴ２０２において出力された予測画像変換係数は、ＤＣ成分予測部２０５に入力されると、先ず直流成分のみが抽出され、ＤＣ成分記憶バッファ２０６に格納される（ステップＳＴ２１１）。次に、ＤＣ成分記憶バッファ２０６から隣接するブロックの直流成分が読み出され、ＤＣ成分の予測値が生成されて予測画像変換係数の直流成分から減算されＤＣ差分係数が得られる。得られたＤＣ差分係数及びその他の交流成分はＤＣ差分予測画像変換係数としてエントロピー符号化部１０４に出力される（ステップＳＴ２１２）。
【００２１】
このように、実施の形態２に係る画像符号化装置１００ａでは、予測画像変換係数のＤＣ成分を隣接するブロックにおけるＤＣ成分から予測し、予測残差をエントロピー符号化するよう構成した。一般的に画像データは空間方向に相関性が高いため、ＤＣ成分の予測残差の振幅は一般的にはＤＣ成分そのものよりも小さくなる。従って、ＤＣ成分の予測残差のエントロピー符号化を行うことにより、より圧縮効率の高い映像符号化が実現できる。
【００２２】
以上のように、実施の形態２の画像符号化装置１００ａによれば、ＤＣ成分予測イントラ予測部（第一の画面内予測部）２００ａは、第一の画面内予測データの直流成分であるＤＣ成分を局部復号ＤＣ成分として格納するＤＣ成分記憶バッファ２０６と、ＤＣ成分記憶バッファ２０６に記憶されている局部復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データのＤＣ成分から予測値を減じた後、第一の画面内予測データ差分値として出力するＤＣ成分予測部２０５とを備え、エントロピー符号化部１０４は、第一の画面内予測データの代わりに第一の画面内予測データ差分値をエントロピー符号化するようにしたので、より圧縮効率の高い映像符号化を実現することができる。
【００２３】
実施の形態３．
図５は、実施の形態３の画像符号化装置１００ｂの構成を示すブロック図である。
画像符号化装置１００ｂは、第一の画面内予測部として、平均画素予測イントラ予測部２００ｂを用いて構成されており、更に、差分逆量子化逆変換部１０５、差分画像加算部１０６、フレームメモリ１０７を備える。これ以外の構成は図１に示した実施の形態１の構成と同様であるため、相違部分についてのみ説明する。
【００２４】
差分逆量子化逆変換部１０５は、差分変換量子化部１０３から出力される量子化係数に対して差分変換量子化部１０３の逆処理となる逆量子化及び逆直交変換を行い、局部復号差分画像を出力する。差分画像加算部１０６は、局部復号差分画像と第一のイントラ予測画像を加算することにより局部復号画像を生成し出力する。フレームメモリ１０７は局部復号画像を格納するためのバッファである。
【００２５】
平均画素予測イントラ予測部２００ｂは、実施の形態１の第一のイントラ予測部２００の構成に加えて、平均画素値予測部２０７、平均画素値減算部２０８、平均画素値加算部２０９を備える点でのみ異なる。平均画素値予測部２０７は、隣接するブロックの局部復号画像データをフレームメモリ１０７から読み出し、隣接するブロックの画素平均値を算出して平均画素値として出力する。隣接するブロックの画素平均値として、上および左に隣接する画素の平均値を用いてもよいし、さらに処理対象ブロック左上ブロックの最右下画素を加えた平均値としてもよい。あるいは上および左に隣接するブロック全体の平均値を用いてもよいし、処理対象ブロック近傍の所定の画素数以内の距離にある画素の平均値を用いてもよい。つまり、処理対象ブロック近傍の局部復号画像データの画素値の平均値であればいかなる手段で算出しても同様の効果を得られる。平均画素値減算部２０８は、画像縮小部２０１から出力される縮小画像の各画素値から平均画素値予測部２０７より出力される平均画素値を減算し、その結果を差分縮小画像として予測画像変換量子化部２０２に出力する。平均画素値加算部２０９は、予測画像逆量子化逆変換部２０３から出力される局部復号縮小画像に対して平均画素値予測部２０７より出力される平均画素値を加算し、その結果を局部復号縮小画像として予測画像拡大部２０４に出力する。
【００２６】
次に、実施の形態３に係る画像符号化装置１００ｂの動作について説明する。
図６は、実施の形態３の画像符号化装置１００ｂの動作を示すフローチャートである。
先ず、動画像が画像符号化装置１００ｂに入力されると、動画像はブロック分割部１０１においてマクロブロック単位に分割され、分割後の各マクロブロック画像が出力される（ステップＳＴ１０１）。各マクロブロック画像はフレームメモリ１０７に保存された周辺ブロックの局部復号画像データを用いて平均画素予測イントラ予測部２００ｂにおいてフレーム内予測が実施され、第一のイントラ予測画像が出力されると共に、予測画像に関する情報が予測画像変換係数として出力される（ステップＳＴ２００ｂ）。
【００２７】
マクロブロック画像及び第一のイントラ予測画像は原画差分算出部１０２に入力されると、差分値が算出され、差分マクロブロック画像として出力される（ステップＳＴ１０２）。差分マクロブロック画像は、差分変換量子化部１０３においてＤＣＴなどの直交変換が行われると共に発生した直交変換係数が量子化され、量子化係数が出力される（ステップＳＴ１０３）。量子化係数及び予測画像変換係数はエントロピー符号化部１０４においてエントロピー符号化され、ビットストリームが出力される（ステップＳＴ１０４）。量子化係数は差分逆量子化逆変換部１０５において差分変換量子化部１０３の逆処理となる逆量子化及び逆直交変換が行われ、局部復号差分画像として出力される（ステップＳＴ１１１）。この局部復号差分画像とステップＳＴ２００ｂで生成された第一のイントラ予測画像は、差分画像加算部１０６において加算され局部復号画像として出力される（ステップＳＴ１１２）。局部復号画像はフレームメモリ１０７に格納される（ステップＳＴ１１３）。
【００２８】
次に、ステップＳＴ２００ｂの詳細について説明する。尚、ステップＳＴ２００ｂにおけるステップＳＴ２０１〜ＳＴ２０４は、実施の形態１，２と同様の処理である。
先ず、入力されたマクロブロック画像は画像縮小部２０１によって画像が縮小処理され、縮小画像が出力される（ステップＳＴ２０１）。一方、平均画素値予測部２０７では、隣接するブロックの局部復号画像データをフレームメモリ１０７から読み出し、隣接するブロックの画素平均値が算出されて平均画素値として出力される（ステップＳＴ２２１）。平均画素値減算部２０８では、縮小画像の各画素値から平均画素値が減算され、その結果が差分縮小画像として予測画像変換量子化部２０２に出力される（ステップＳＴ２２２）。差分縮小画像は予測画像変換量子化部２０２においてＤＣＴなどの直交変換が行われると共に発生した直交変換係数が量子化され、予測画像変換係数として出力される（ステップＳＴ２０２）。予測画像変換係数は予測画像逆量子化逆変換部２０３によってステップＳＴ２０２の逆処理となる逆量子化及び逆直交変換が行われ、局部復号差分縮小画像が出力される（ステップＳＴ２０３）。局部復号差分縮小画像は平均画素値加算部２０９において平均画素値が加算され、局部復号縮小画像として出力される（ステップＳＴ２２３）。局部復号縮小画像は予測画像拡大部２０４に入力されると、解像度を向上させる処理が行われ、マクロブロック画像と同じサイズになるように拡大されて第一のイントラ予測画像として出力される（ステップＳＴ２０４）。
【００２９】
このように、実施の形態３に係る画像符号化装置１００ｂでは、縮小画像の各画素値を隣接するブロックにおける画素値の平均値から予測し、予測残差を変換・量子化処理するよう構成した。一般的に画像データは空間方向に相関性が高いため、予測残差信号は予測前の信号に比べエネルギーが小さくなるため、量子化変換係数のエントロピーも小さくなる。従って、このようにして得られた信号のエントロピー符号化を行うことにより、より圧縮効率の高い映像符号化が実現できる。尚、実施の形態３では縮小画像の各画素値から平均画素値を減算するよう構成したが、処理の順序を入れ替え、マクロブロック画像から平均画素値を減算した後に縮小画像を生成しても同様の効果が得られる。この場合には局部復号縮小画像に平均画素値を加算する代わりに、局部復号縮小画像を予測画像拡大部２０４で拡大した後に平均画素値を加算することにより好適に符号化できる。
【００３０】
以上のように、実施の形態３の画像符号化装置１００ｂによれば、変換係数を入力し逆量子化及び逆周波数変換を行い差分局部復号画像を出力する差分逆量子化逆変換部１０５と、第一の画面内予測画像と差分局部復号画像を加算し局部復号画像を出力する差分画像加算部１０６と、局部復号画像を格納するフレームメモリ１０７とを備え、平均画素予測イントラ予測部（第一の画面内予測部）２００ｂは、フレームメモリ１０７に格納された局部復号画像を用いて処理対象領域の周辺領域の画素値から処理対象領域の画素値の平均値を予測し、予測平均画素値として出力する平均画素値予測部２０７と、縮小画像の各画素値から予測平均画素値を減算し平均値除去縮小画像を出力する平均画素値減算部２０８と、予測画像逆量子化逆変換部２０３の出力と予測平均画素値を加算し局部復号予測画像を出力する平均画素値加算部２０９とを有し、かつ、予測画像変換量子化部２０２は平均値除去縮小画像を周波数変換及び量子化し第一の画面内予測データを出力すると共に、予測画像逆量子化逆変換部２０３は第一の画面内予測データを逆量子化及び逆周波数変換し平均値除去局部復号予測画像として出力するようにしたので、より圧縮効率の高い映像符号化を実現することができる。
【００３１】
実施の形態４．
図７は、実施の形態４に係る画像符号化装置１００ｃの構成を示すブロック図である。
画像符号化装置１００ｃは、上述した実施の形態３の画像符号化装置１００ｂにおける平均画素予測イントラ予測部２００ｂに加えて、第二のイントラ予測部（第二の画面内予測部）１０８もイントラ予測手段として選択できる機能を備えたものである。平均画素予測イントラ予測部２００ｂの構成は実施の形態３と同様であるため、これとは異なる構成について以下説明する。
【００３２】
第二のイントラ予測部１０８は、例えば従来のＨ．２６４におけるイントラ予測のように符号化済の周辺ブロックの画素値を伸長することにより第二のイントラ予測画像を生成し出力すると共に、予測方向などの情報をイントラ予測モードとしてエントロピー符号化部１０４に出力する。イントラ予測切り替えスイッチ（予測画像選択部）１０９は、入力される第一のイントラ予測画像と第二のイントラ予測画像をマクロブロック画像と比較し、予測効率の高い方を選択してイントラ予測画像として出力すると共に、いずれの予測画像を選択したかを示すフラグをイントラ予測タイプ情報としてエントロピー符号化部１０４に出力するよう構成されている。
【００３３】
次に、実施の形態４の画像符号化装置１００ｃの動作について説明する。
図８は、実施の形態４の画像符号化装置１００ｃの動作を示すフローチャートである。尚、ステップＳＴ１０１、ステップＳＴ２００ｂ、ステップＳＴ１０２〜ＳＴ１０４及びステップＳＴ１１１〜ＳＴ１１３の動作は実施の形態３と同様であるため、これらの処理についてはその説明を省略する。
【００３４】
ブロック分割部１０１から出力されたマクロブロック画像が第二のイントラ予測部１０８に入力されると、第二のイントラ予測部１０８では、例えば従来のＨ．２６４におけるイントラ予測が行われ、第二のイントラ予測画像が出力されると共に、予測方向などの情報がイントラ予測モードとしてエントロピー符号化部１０４に出力される（ステップＳＴ１２１）。第一及び第二のイントラ予測画像が生成されると、イントラ予測切り替えスイッチ１０９では、入力された予測画像とマクロブロック画像が比較され、予測効率の高い方が選択されてイントラ予測画像として出力されると共に、いずれの予測画像が選択されたかを示すフラグがイントラ予測タイプ情報としてエントロピー符号化部１０４に出力される（ステップＳＴ１２２）。イントラ予測タイプ情報としては図２１に示すように複数のイントラ予測タイプの一つとして第一のイントラ予測部を定義してもよいし、図２２のように第一のイントラ予測部と第二のイントラ予測部を識別するフラグを定義してもよい。
【００３５】
このように実施の形態４に係る画像符号化装置１００ｃでは、平均画素予測イントラ予測に加え、従来の周辺画素伸長によるイントラ予測も選択できるようにしたため、特定の方向のエッジを持つ映像に対して予測効率のよい周辺画素伸長によるイントラ予測によってより効果的に予測できると共に、その他のエッジなどを持つ映像に対しては平均画素予測イントラ予測によって効果的に予測できるため、より圧縮効率の高い映像符号化が実現できる。
【００３６】
以上のように、実施の形態４の画像符号化装置１００ｃによれば、フレームメモリ１０７に格納された局部復号画像を用いて処理対象領域の周辺領域の画素値から処理対象領域の画素値を予測し、第二の画面内予測画像を出力すると共に、予測画像を再構成するための情報を第二の画面内予測データとして出力する第二のイントラ予測部（第二の画面内予測部）１０８と、第一の画面内予測画像と第二の画面内予測画像を比較して予測効率の高い予測画像を選択し、画面内予測画像として出力すると共に、いずれの予測画像を選択したかを示す予測タイプ情報を出力するイントラ予測切り替えスイッチ（予測画像選択部）１０９とを備え、エントロピー符号化部１０４は、第二の画面内予測データと予測タイプ情報をエントロピー符号化するようにしたので、より圧縮効率の高い映像符号化を実現することができる。
【００３７】
実施の形態５．
図９は、実施の形態５に係る画像符号化装置１００ｄの構成を示すブロック図である。
実施の形態５の画像符号化装置１００ｄは、第一の画面内予測部として、切り替えイントラ予測部２００ｃを備えている。この切り替えイントラ予測部２００ｃは、実施の形態４における平均画素予測イントラ予測部２００ｂの構成に加えて、実施の形態２におけるＤＣ成分予測部２０５及びＤＣ成分記憶バッファ２０６を備えている。その他の構成は実施の形態４と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００３８】
次に、実施の形態５の画像符号化装置１００ｄの動作について説明する。
図１０は、実施の形態５の画像符号化装置１００ｄの動作を示すフローチャートである。実施の形態４と異なるのはステップＳＴ２００ｃの処理のみであるため、異なる処理についてのみ説明する。
ステップＳＴ２０２の予測画像変換・量子化処理において出力された予測画像変換係数はＤＣ成分予測部２０５に入力されると、先ず直流成分のみが抽出され、ＤＣ成分記憶バッファ２０６に格納される（ステップＳＴ２１１）。次に、ＤＣ成分記憶バッファ２０６から隣接するブロックの直流成分が読み出され、ＤＣ成分の予測値が生成されて予測画像変換係数の直流成分から減算されＤＣ差分係数が得られる。得られたＤＣ差分係数及びその他の交流成分はＤＣ差分予測画像変換係数としてエントロピー符号化部１０４に出力される（ステップＳＴ２１２）。
【００３９】
このように、実施の形態５に係る画像符号化装置１００ｄでは、第二のイントラ予測が選択された場合には平均画素値予測を、切り替えイントラ予測が選択された場合にはＤＣ成分予測を行うことによって発生する係数のエントロピーを小さく抑えることにより、より圧縮効率の高い映像符号化が実現できる。
【００４０】
尚、実施の形態５では、ＤＣ成分予測部２０５とＤＣ成分記憶バッファ２０６の構成を実施の形態４の構成に対して適用したが、実施の形態３の構成に対して適用してもよい。
【００４１】
以上のように、実施の形態５の画像符号化装置１００ｄによれば、実施の形態４の構成に加えて、切り替えイントラ予測部（第一の画面内予測部）２００ｃは、第一の画面内予測データの直流成分であるＤＣ成分を局部復号ＤＣ成分として格納するＤＣ成分記憶バッファ２０６と、ＤＣ成分記憶バッファ２０６に記憶されている局部復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データのＤＣ成分から予測値を減じた後、第一の画面内予測データ差分値として出力するＤＣ成分予測部２０５とを備え、エントロピー符号化部１０４は、第一の画面内予測データの代わりに第一の画面内予測データ差分値をエントロピー符号化するようにしたので、より圧縮効率の高い映像符号化を実現することができる。
【００４２】
実施の形態６．
実施の形態６〜１０は、実施の形態１〜５の画像符号化装置に対応した画像復号装置に関するものである。
図１１は、実施の形態６の画像復号装置３００の構成を示すブロック図である。
画像復号装置３００は、エントロピー復号部３０１と、差分逆量子化逆変換部３０２と、第一の予測画像生成部（第一の画面内予測画像生成部）４００と、差分画像加算部３０３から構成される。
エントロピー復号部３０１は、入力されるビットストリームをエントロピー復号し、結果として得られる予測画像変換係数及び量子化係数を出力する。差分逆量子化逆変換部３０２は、量子化係数に対して画像符号化装置における差分変換量子化部１０３の逆処理となる逆量子化及び逆直交変換を行い、局部復号差分画像を出力する。第一の予測画像生成部４００は、入力される予測画像変換係数に基づいて予測画像を生成し、第一のイントラ予測画像として出力する。差分画像加算部３０３は、局部復号差分画像と第一のイントラ予測画像を加算し復号画像として出力する。
【００４３】
第一の予測画像生成部４００は、より詳細には、予測画像逆量子化逆変換部４０１及び予測画像拡大部４０２から構成される。予測画像逆量子化逆変換部４０１は、入力された予測画像変換係数に対して予測画像変換量子化部２０２の逆処理となる逆量子化及び逆直交変換を行うことによって局部復号縮小画像を生成し出力する。予測画像拡大部４０２は、入力された局部復号縮小画像に対して解像度を向上させる処理が行われ、マクロブロック画像と同じサイズになるよう拡大し、第一のイントラ予測画像として出力する。
【００４４】
次に、実施の形態６に係る画像復号装置３００の動作について説明する。
図１２は、実施の形態６に係る画像復号装置３００の処理を示すフローチャートである。
先ず、ビットストリームが画像復号装置３００に入力されると、ビットストリームはエントロピー復号部３０１においてエントロピー復号され、結果として予測画像変換係数及び量子化係数が出力される（ステップＳＴ３０１）。量子化係数は差分逆量子化逆変換部３０２において逆量子化ならびに逆変換処理が行われ、局部復号差分画像が出力される（ステップＳＴ３０２）。一方、予測画像変換係数が第一の予測画像生成部４００に入力されると予測画像が生成され、第一のイントラ予測画像として出力される（ステップＳＴ４００）。こうして得られた局部復号差分画像と第一のイントラ予測画像は差分画像加算部３０３において加算され、復号画像として出力される（ステップＳＴ３０３）。
【００４５】
ステップＳＴ４００は、より詳細には、入力された予測画像変換係数は予測画像逆量子化逆変換部４０１において、逆量子化ならびに逆変換処理が行われ、その結果局部復号縮小画像が出力される（ステップＳＴ４０１）。局部復号縮小画像は予測画像拡大部４０２において解像度を向上させる処理が行われ、第一のイントラ予測画像として出力される（ステップＳＴ４０２）。
【００４６】
このように、実施の形態６に係る画像復号装置３００では、実施の形態１に係る画像符号化装置１００の逆処理を行うよう構成したので、実施の形態１に係る画像符号化装置１００によって生成されるビットストリームを好適に復号し、復号画像を得ることができる。また、局部復号画像を予測画像生成に用いないため、復号画像を生成することなく縮小画像を生成することができ、サムネイル画像などを少ない演算量で生成することができる。
【００４７】
以上のように、実施の形態６の画像復号装置３００によれば、ビットストリームをエントロピー復号し変換係数及び第一の画面内予測データを出力するエントロピー復号部３０１と、変換係数を逆量子化及び逆周波数変換し差分復号画像を出力する差分逆量子化逆変換部３０２と、第一の画面内予測データに基づいて第一の画面内予測画像を再構築し出力する第一の予測画像生成部（第一の画面内予測画像生成部）４００と、差分復号画像と第一の画面内予測画像とを加算し復号画像を出力する差分画像加算部３０３とを備え、第一の画面内予測画像生成部４００は、第一の画面内予測データを逆量子化及び逆周波数変換し復号予測画像を出力する予測画像逆量子化逆変換部４０１と、復号予測画像を拡大し第一の画面内予測画像を生成する予測画像拡大部４０２とを備えたので、符号化画像ビットストリームを効率よく復号することができ、かつ、サムネイル画像などを少ない演算量で生成することができる。
【００４８】
実施の形態７．
図１３は、実施の形態７に係る画像復号装置３００ａの構成を示すブロック図である。
画像復号装置３００ａは、第一の画面内予測画像生成部として、ＤＣ成分予測イントラ予測画像生成部４００ａを備えている。このＤＣ成分予測イントラ予測画像生成部４００ａは、実施の形態６の第一の予測画像生成部４００に代わるもので、予測画像逆量子化逆変換部４０１と予測画像拡大部４０２に加えて、ＤＣ成分予測部４０３及びＤＣ成分記憶バッファ４０４を備えている。ＤＣ成分予測部４０３は、格納されている隣接するブロックの直流成分をＤＣ成分記憶バッファ４０４から読み出し、ＤＣ成分の予測値を生成して予測画像変換係数の直流成分に加算してＤＣ係数を得る。得られたＤＣ係数及びその他の交流成分を予測画像変換係数として予測画像逆量子化逆変換部４０１に出力すると共にＤＣ係数をＤＣ成分記憶バッファ４０４に格納する。ＤＣ成分記憶バッファ４０４は、予測画像変換係数の直流成分を格納するためのバッファである。
【００４９】
次に、実施の形態７に係る画像復号装置３００ａの処理について説明する。
図１４は、実施の形態７に係る画像復号装置３００ａの動作を示すフローチャートである。
実施の形態７における実施の形態６との相違点は、第一の予測画像生成部４００に関する処理（ステップＳＴ４００ａ）のみであるため、このステップＳＴ４００ａについてのみ説明する。
ステップＳＴ３０１において出力された予測画像変換係数はＤＣ成分予測部４０３に入力されると、先ず、ＤＣ成分記憶バッファ４０４から隣接するブロックの直流成分が読み出され、ＤＣ成分の予測値が生成されて予測画像変換係数の直流成分と加算されＤＣ係数が得られる。得られたＤＣ係数及びその他の交流成分は予測画像変換係数として予測画像逆量子化逆変換部４０１に出力される（ステップＳＴ４１１）。また、得られたＤＣ係数については、ＤＣ成分記憶バッファ４０４に格納される（ステップＳＴ４１２）。その後のステップＳＴ４０１，ＳＴ４０２は、実施の形態６と同様である。
【００５０】
このように、実施の形態７に係る画像復号装置３００ａでは、実施の形態２に係る画像符号化装置１００ａの逆処理を行うよう構成したので、実施の形態２に係る画像符号化装置１００ａによって生成されるビットストリームを好適に復号し、復号画像を得ることができる。
【００５１】
以上のように、実施の形態７の画像復号装置３００ａによれば、ＤＣ成分予測イントラ予測画像生成部（第一の画面内予測画像生成部）４００ａは、復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データ差分値のＤＣ成分に予測値を加えた後、第一の画面内予測データとして出力するＤＣ成分予測部４０３と、第一の画面内予測データの直流成分であるＤＣ成分を復号ＤＣ成分として格納するＤＣ成分記憶バッファ４０４とを備え、エントロピー復号部３０１は、第一の画面内予測データの代わりに第一の画面内予測データ差分値をエントロピー復号結果として出力するようにしたので、符号化画像ビットストリームを効率よく復号し、復号画像を得ることができる。
【００５２】
実施の形態８．
図１５は、実施の形態８に係る画像復号装置３００ｂの構成を示すブロック図である。
画像復号装置３００ｂは、第一の画面内予測画像生成部として、平均画素予測イントラ予測画像生成部４００ｂを用いて構成されており、更に、フレームメモリ３０４を備えている。これ以外の構成は実施の形態６、７と同様である。
【００５３】
フレームメモリ３０４は、復号画像を格納するためのバッファである。平均画素予測イントラ予測画像生成部４００ｂは、実施の形態６における第一の予測画像生成部４００の構成に加えて、平均画素値予測部４０５及び平均画素値加算部４０６を備えている。平均画素値予測部４０５は、隣接するブロックの復号画像データをフレームメモリ３０４から読み出し、隣接するブロックの画素平均値を算出して平均画素値として出力する。平均画素値加算部４０６は、予測画像逆量子化逆変換部４０１から出力される局部復号縮小画像に対して平均画素値予測部４０５より出力される平均画素値を加算し、その結果を局部復号縮小画像として予測画像拡大部４０２に出力する。当然符号化装置において平均画素値が予測画像拡大部で局部復号縮小画像を拡大した後に加算されるよう構成した場合には、復号装置でも同様の順序で復号処理を行うことにより好適に復号可能となる。
【００５４】
次に、実施の形態８に係る画像復号装置３００ｂの処理について説明する。
図１６は、実施の形態８に係る画像復号装置３００ｂの処理を示すフローチャートである。
先ず、ビットストリームが画像復号装置３００ｂに入力されると、ビットストリームはエントロピー復号部３０１においてエントロピー復号され、結果として予測画像変換係数及び量子化係数が出力される（ステップＳＴ３０１）。量子化係数は差分逆量子化逆変換部３０２において逆量子化ならびに逆変換処理が行われ、局部復号差分画像が出力される（ステップＳＴ３０２）。一方、予測画像変換係数が平均画素予測イントラ予測画像生成部４００ｂに入力されると、フレームメモリ３０４に格納されている復号画像に基づいて予測画像が生成され、第一のイントラ予測画像として出力される（ステップＳＴ４００ｂ）。こうして得られた局部復号差分画像と第一のイントラ予測画像は差分画像加算部３０３において加算され、復号画像として出力される（ステップＳＴ３０３）。復号画像はフレームメモリ３０４に格納され、イントラ予測画像生成に利用される（ステップＳＴ３１１）。
【００５５】
ステップＳＴ４００ｂは、より詳細には、入力された予測画像変換係数は予測画像逆量子化逆変換部４０１において逆量子化ならびに逆変換処理が行われ、その結果局部復号縮小画像が出力される（ステップＳＴ４０１）。一方、平均画素値予測部４０５には復号済の周辺ブロックの画素値データが入力され、それらの平均値を算出することにより平均画素値として出力される（ステップＳＴ４２１）。平均画素値と局部復号縮小画像は平均画素値加算部４０６において加算され、局部復号縮小画像が出力される（ステップＳＴ４２２）。局部復号縮小画像は予測画像拡大部４０２において解像度を向上させる処理が行われ、第一のイントラ予測画像として出力される（ステップＳＴ４０２）。
【００５６】
このように、実施の形態８に係る画像復号装置３００ｂでは、実施の形態３に係る画像符号化装置１００ｂの逆処理を行うよう構成したので、実施の形態３に係る画像符号化装置１００ｂによって生成されるビットストリームを好適に復号し、復号画像を得ることができる。
【００５７】
以上のように、実施の形態８の画像復号装置３００ｂによれば、復号画像を格納するフレームメモリ３０４を備え、平均画素予測イントラ予測画像生成部（第一の画面内予測画像生成部）４００ｂは、フレームメモリ３０４に格納された復号画像を用いて処理対象領域の周辺領域の画素値から処理対象領域の画素値の平均値を予測し予測平均画素値として出力する平均画素値予測部４０５と、予測画像逆量子化逆変換部４０１の出力と予測平均画素値とを加算し復号予測画像を出力する平均画素値加算部４０６とを有し、予測画像逆量子化逆変換部４０１は、第一の画面内予測データを逆量子化及び逆周波数変換し平均値除去復号予測画像を出力するようにしたので、符号化画像ビットストリームを効率よく復号し、復号画像を得ることができる。
【００５８】
実施の形態９．
図１７は、実施の形態９に係る画像復号装置３００ｃの構成を示すブロック図である。
画像復号装置３００ｃは、上述した実施の形態８の画像復号装置３００ｂにおける平均画素予測イントラ予測画像生成部４００ｂに加えて、第二の予測画像生成部（第二の画面内予測画像生成部）３０５もイントラ予測画像生成手段として選択できる機能を備えたものである。平均画素予測イントラ予測画像生成部４００ｂの構成は実施の形態８と同様であるため、これとは異なる構成について以下説明する。
【００５９】
第二の予測画像生成部３０５は、例えばエントロピー復号部３０１によってエントロピー復号されたイントラ予測モードに基づいて予測方向などの情報を得、Ｈ．２６４におけるイントラ予測のように符号化済の周辺ブロックの画素値を伸長することにより第二のイントラ予測画像を生成し出力する。イントラ予測切り替えスイッチ（予測画像選択部）３０６は、入力される第一のイントラ予測画像と第二のイントラ予測画像をエントロピー復号部３０１によってエントロピー復号されたいずれの予測画像を選択したかを示すフラグであるイントラ予測タイプ情報に基づいて選択し、イントラ予測画像として出力する。
【００６０】
次に、実施の形態９の画像復号装置３００ｃの動作について説明する。
図１８は、実施の形態９の画像復号装置３００ｃの動作を示すフローチャートである。
エントロピー復号された情報としていずれの予測画像を選択したかを示すフラグであるイントラ予測タイプ情報がイントラ予測切り替えスイッチ３０６に入力され、イントラ予測タイプ情報が第二のイントラ予測画像を選択することを意味する場合、第二のイントラ予測画像生成が行われ、そうでない場合には平均画素予測イントラ予測画像生成が行われるように切り替え処理が行われる（ステップＳＴ３２１）。
【００６１】
エントロピー復号部３０１によってエントロピー復号されたイントラ予測モードに基づいて第二の予測画像生成部３０５では、予測方向などの情報を得、Ｈ．２６４におけるイントラ予測のように符号化済の周辺ブロックの画素値を伸長することにより第二のイントラ予測画像が生成され出力される（ステップＳＴ３２２）。これ以外の動作については、実施の形態８と同様であるため、ここでの説明は省略する。
【００６２】
このように、実施の形態９に係る画像復号装置３００ｃでは、実施の形態４に係る画像符号化装置１００ｃの逆処理を行うよう構成したので、実施の形態４に係る画像符号化装置１００ｃによって生成されるビットストリームを好適に復号し、復号画像を得ることができる。
【００６３】
以上のように、実施の形態９の画像復号装置３００ｃによれば、エントロピー復号部３０１は、第二の画面内予測データと予測タイプ情報をエントロピー復号すると共に、第二の画面内予測データに基づいてフレームメモリ３０４に格納された復号画像を用いて処理対象領域の周辺領域の画素値から処理対象領域の画素値を予測し第二の画面内予測画像を出力する第二の予測画像生成部（第二の画面内予測画像生成部）３０５と、予測タイプ情報に基づいて第一の画面内予測画像と第二の画面内予測画像のいずれか一つを選択し出力するイントラ予測切り替えスイッチ（予測画像選択部）３０６とを備えたので、符号化画像ビットストリームを効率よく復号し、復号画像を得ることができる。
【００６４】
実施の形態１０．
図１９は、実施の形態１０に係る画像復号装置３００ｄの構成を示すブロック図である。
実施の形態１０の画像復号装置３００ｄは、第一の画面内予測画像生成部として、切り替えイントラ予測画像生成部４００ｃを備えている。この切り替えイントラ予測画像生成部４００ｃは、実施の形態９における平均画素予測イントラ予測画像生成部４００ｂの構成に加えて、実施の形態７におけるＤＣ成分予測部４０３とＤＣ成分記憶バッファ４０４とを備えたものである。その他の構成は実施の形態９と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００６５】
次に、実施の形態１０の画像復号装置３００ｄの動作について説明する。
図２０は、実施の形態１０の画像復号装置３００ｄの動作を示すフローチャートである。実施の形態９と異なるのはステップＳＴ４００ｃの処理のみであるため、異なる処理についてのみ説明する。
ステップＳＴ３０１において出力された予測画像変換係数はＤＣ成分予測部４０３に入力されると、先ず、ＤＣ成分記憶バッファ４０４から隣接するブロックの直流成分が読み出され、ＤＣ成分の予測値が生成されて予測画像変換係数の直流成分と加算されＤＣ係数が得られる。得られたＤＣ係数及びその他の交流成分は予測画像変換係数として予測画像逆量子化逆変換部４０１に出力される（ステップＳＴ４１１）。また、得られたＤＣ係数については、ＤＣ成分記憶バッファ４０４に格納される（ステップＳＴ４１２）。これ以外の処理については実施の形態９と同様である。
【００６６】
このように、実施の形態１０に係る画像復号装置３００ｄでは、実施の形態５に係る画像符号化装置１００ｄの逆処理を行うよう構成したので、実施の形態５に係る画像符号化装置１００ｄによって生成されるビットストリームを好適に復号し、復号画像を得ることができる。
【００６７】
尚、実施の形態１０では、ＤＣ成分予測部４０３とＤＣ成分記憶バッファ４０４の構成を実施の形態９の構成に対して適用したが、実施の形態８の構成に対して適用してもよい。
【００６８】
以上のように、実施の形態１０の画像復号装置によれば、実施の形態９の構成に加えて、切り替えイントラ予測画像生成部（第一の画面内予測画像生成部）４００ｃは、復号ＤＣ成分に基づいてＤＣ成分の予測値を算出し、第一の画面内予測データ差分値のＤＣ成分に予測値を加えた後、第一の画面内予測データとして出力するＤＣ成分予測部４０３と、第一の画面内予測データの直流成分であるＤＣ成分を復号ＤＣ成分として格納するＤＣ成分記憶バッファ４０４とを備え、エントロピー復号部３０１は、第一の画面内予測データの代わりに第一の画面内予測データ差分値をエントロピー復号結果として出力するようにしたので、符号化画像ビットストリームを効率よく復号し、復号画像を得ることができる。
【産業上の利用可能性】
【００６９】
以上のように、この発明に係る画像符号化装置及び画像復号装置は、画像を圧縮符号化して伝送する際に画面内予測を行い、また、圧縮されたデータを復号するものであり、例えば、Ｈ．２６４符号化方式を用いた際の符号化及び復号するのに適している。
【図１】
2011064932.tif 000003
【図２】
2011064932.tif 000004
【図３】
2011064932.tif 000005
【図４】
2011064932.tif 000006
【図５】
2011064932.tif 000007
【図６】
2011064932.tif 000008
【図７】
2011064932.tif 000009
【図８】
2011064932.tif 000010
【図９】
2011064932.tif 000011
【図１０】
2011064932.tif 000012
【図１１】
2011064932.tif 000013
【図１２】
2011064932.tif 000014
【図１３】
2011064932.tif 000015
【図１４】
2011064932.tif 000016
【図１５】
2011064932.tif 000017
【図１６】
2011064932.tif 000018
【図１７】
2011064932.tif 000019
【図１８】
2011064932.tif 000020
【図１９】
2011064932.tif 000021
【図２０】
2011064932.tif 000022
【図２１】
2011064932.tif 000023
【図２２】
2011064932.tif 000024
【国際調査報告】
2011064932.tif 000025
2011064932.tif 000026