(57)【要約】【課題】画素領域のフレーム内予測を用いる動画像符号化方式において、逆変換リサイズ適用時に生じる画質劣化を抑制して簡易デコードを行う動画像復号装置を提供する。【解決手段】動画像の各ピクチャを所定単位のブロックに分割してフレーム内予測を行う符号化方式で符号化された動画像データを復号して縮小画像を生成する場合、前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号部と、前記ブロックの予測残差の変換係数の低周波成分を逆変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換部と、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成部と、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成する合成部と、を備えている。【選択図】図６
2010246021.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号装置であって、
前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号部と、
前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換部と、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成部と、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成部と、を備え、
前記フレーム内予測画像生成部は、復号済みのブロックの参照画素群の復号画像を記憶する第２記憶部と、前記フレーム内予測情報と、前記第２記憶部に記憶された予測対象のブロックに隣接する復号済みブロックの参照画素群の復号画像とに基づいて、前記予測対象のブロックの予測画像を生成するフレーム内予測部と、前記予測残差の変換係数を逆直交変換し、所定箇所の参照画素群の残差画像を生成する部分逆変換部と、前記フレーム内予測部からの予測画像と前記部分逆変換部からの前記所定箇所の参照画素群の残差画像とから、前記所定箇所の参照画素群の復号画像を生成し、前記第２記憶部に記憶する第２合成部と、前記フレーム内予測部により生成された予測画像を所定の縮小解像度に変換する解像度変換部と、を備えることを特徴とする動画像復号装置。
【請求項２】
複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号装置であって、
前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号部と、前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換部と、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成部と、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成部と、を備え、
前記フレーム内予測画像生成部は、前記マクロブロックに含まれる前記ブロックの変換係数を記憶する第２記憶部と、前記フレーム内予測情報に基づき、前記ブロックに隣接する復号済みブロックの参照画素群を前記第１記憶部から読み出し、所定の縮小解像度の参照画素群を拡大処理して元の解像度の参照画素群を取得する選択部と、前記ブロックに隣接する復号済みブロックの高周波成分の変換係数を前記第２記憶部から読み出して部分逆変換を実行し、元の解像度の参照画素群の残差画像を生成する部分逆変換部と、前記選択部で拡大処理した参照画素群に、前記部分逆変換部で生成した高周波成分の残差画像を加算し、フレーム内予測を行って前記ブロックの予測画像を生成するフレーム内予測部と、前記フレーム内予測部により生成された予測画像を所定の縮小解像度に変換する解像度変換部と、を備えることを特徴とする動画像復号装置。
【請求項３】
複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号方法であって、
前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号ステップと、前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換ステップと、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成ステップと、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成ステップと、を備え、
前記フレーム内予測画像生成ステップは、前記フレーム内予測情報と、復号済みのブロックの参照画素群の復号画像を記憶する第２記憶部に記憶された予測対象のブロックに隣接する復号済みブロックの参照画素群の復号画像とに基づいて、前記予測対象のブロックの予測画像を生成するフレーム内予測ステップと、前記予測残差の変換係数を逆直交変換し、所定箇所の参照画素群の残差画像を生成する部分逆変換ステップと、前記フレーム内予測ステップからの予測画像と前記部分逆変換ステップからの前記所定箇所の参照画素群の残差画像とから、前記所定箇所の参照画素群の復号画像を生成し、前記第２記憶部に記憶する第２合成ステップと、前記フレーム内予測ステップにより生成された予測画像を所定の縮小解像度に変換する解像度変換ステップと、を備えることを特徴とする動画像復号方法。
【請求項４】
複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号方法であって、
前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号ステップと、前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換ステップと、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成ステップと、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成ステップと、を備え、
前記フレーム内予測画像生成ステップは、前記フレーム内予測情報に基づき、前記ブロックに隣接する復号済みブロックの参照画素群を前記第１記憶部から読み出し、所定の縮小解像度の参照画素群を拡大処理して元の解像度の参照画素群を取得する選択ステップと、前記ブロックに隣接する復号済みブロックの高周波成分の変換係数を、前記マクロブロックに含まれる前記ブロックの変換係数を記憶する第２記憶部から読み出して部分逆変換を実行し、元の解像度の参照画素群の残差画像を生成する部分逆変換ステップと、前記選択ステップで拡大処理した参照画素群に、前記部分逆変換ステップで生成した高周波成分の残差画像を加算し、フレーム内予測を行って前記ブロックの予測画像を生成するフレーム内予測ステップと、前記フレーム内予測ステップにより生成された予測画像を所定の縮小解像度に変換する解像度変換ステップと、を備えることを特徴とする動画像復号方法。
【請求項５】
コンピュータを、請求項１または２に記載の動画像復号装置の各処理部として機能させるための動画像復号プログラム。
【請求項６】
請求項５に記載の動画像復号プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮符号化された動画像を復号して縮小画像を生成する動画像復号装置、動画像復号方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
動画像符号化技術は、現在、身近にある多くの映像装置に応用されている。応用の対象は、例えば、映画などの映像コンテンツを気軽に楽しむためのＤＶＤから、テレビ放送などの映像コンテンツを記録するためのハードディスクレコーダ、デジタルテレビ放送規格、デジタルビデオカメラ、画像処理の可能な携帯電話まであり、非常に幅広く利用されている。
【０００３】
動画像符号化技術の標準方式には、動き補償と離散コサイン変換（または、ＤＣＴ：Discrete Cosine Transform）をベースとしたＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４があり、更に技術を発展させたＨ．２６４／ＡＶＣがある。
【０００４】
これら動画像符号化方式で圧縮符号化された動画像を復号する方法として、規格準拠の復号方法（以降、フルデコードと呼ぶ）の一部処理を省略し、動画像を高速に復号する技術（以降、規格準拠から一部の処理を省略した復号方法を簡易デコードと呼ぶ）が提案されている。
【０００５】
特許文献１には、簡易デコードの一つとして、変換係数のうち高域成分を破棄し、残りの低周波成分と同サイズの逆変換を行い、処理画素数を削減することで高速に復号する動画像復号装置が開示されている。以降、変換係数のブロックサイズを変更して、逆変換処理を行うことを逆変換リサイズと呼ぶことにする。
【０００６】
以下、特許文献１記載の動画像復号装置について説明する。
図１６は、特許文献１記載の動画像復号装置の構成を示すブロック図である。同図において、動画像復号装置１６００は、入力符号化データを復号する可変長復号部１６０１、可変長復号部１６０１で可変長復号された変換係数から低周波成分の係数のみで逆量子化を行う逆量子化部１６０２、逆量子化部１６０２で逆量子化された変換係数を残差画像へ変換する簡易逆変換部１６０３、生成された復号画像を蓄積するフレームメモリ１６０７、可変長復号された動きベクトル等のフレーム間予測情報と、フレームメモリ１６０７に蓄積された復号済みの動画像とを基にフレーム間予測を行って予測画像を生成するフレーム間予測部１６０６、可変長復号部１６０１で復号されたイントラマクロブロック／インターマクロブロックの切り替え情報（以降、マクロブロックタイプと呼ぶ）をもとに、簡易逆変換部１６０３で生成された残差画像の出力先を切り替える出力切替スイッチ１６０４、予測画像と残差画像とを合成する合成部１６０５を備えている。
【０００７】
以下、動画像復号装置１６００のより詳細な復号の動作について説明する。
まず、可変長復号部１６０１は、入力した符号化データを可変長復号し、８×８のブロックに対する変換係数、１６×１６のマクロブロックに対するフレーム間予測情報（動きベクトル）、マクロブロックタイプおよびその他の符号化情報を得る。
さらに、後段の逆量子化部１６０２、簡易逆変換部１６０３では、変換係数のうち一部の係数のみが選択され使用されるため、選択されない係数は可変長復号部１６０１で破棄される。
【０００８】
特許文献１では、１/４サイズの縮小画像を生成するため、図１７に示すように、８×８のブロック内の６４個の変換係数１７０１から、低周波側の４個の変換係数１７０２が選択される。次に、逆量子化された変換係数は簡易逆変換部１６０３に渡され、２×２の逆変換が施され、図１７に示すように、２×２の復号された残差画像１７０３が生成され、出力切替スイッチ１６０４に出力される。
【０００９】
一般に、Ｎ×Ｎの変換係数（ＤＣＴ係数）より、Ｓ×Ｓの画像を生成する場合は、Ｎ×Ｎの変換係数の低周波側のＳ×Ｓ個の変換係数を抽出し、式（１）に示すように抽出した変換係数にＳ×Ｓの逆変換を施し、その後、得た各画素の値をＳ／Ｎ倍すればよい。
【００１０】
【数１】
2010246021.tif 000003
【００１１】
尚、式（１）中のＹＳは、Ｓ行Ｓ列（Ｓ×Ｓ）の画像を、ＣＳはＳ点の１次元逆変換行列を、ＣＴは行列Ｃの転置を表している。また、ＸＳはＮ×Ｎの変換係数のうち低周波側のＳ×Ｓの変換係数を表している。
【００１２】
出力切替スイッチ１６０４において、入力された残差画像は、可変長復号部１６０１より入力されたマクロブロックタイプがイントラマクロブロックであればデータ線１６１０を経て、フレームメモリ１６０７に復号画像として蓄積される。
【００１３】
一方、マクロブロックタイプがインターマクロブロックであれば、残差画像は、データ線１６２０を経て、合成部１６０５へ出力される。
その後、可変長復号部１６０１で取り出された１／２画素精度の動きベクトルを、フレーム間予測部１６０６において１／８画素精度の動きベクトルとして扱かい、動きベクトルとフレームメモリ１６０７に蓄積された動画像より、フレーム間予測を行い予測画像が生成される。
【００１４】
そして、合成部１６０５において、フレーム間予測部１６０６で生成された予測画像と、簡易逆変換部１６０３で生成された残差画像とが合成されて復号画像が生成され、フレームメモリ１６０７に記憶される。
【００１５】
以上説明したように特許文献１では、ＭＰＥＧ−２規格準拠の動画像復号装置において、逆変換リサイズを適用して処理画素数を削減することにより高速に復号する簡易デコードを実現している。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２００８−１８２３４９号公報
【非特許文献】
【００１７】
【非特許文献１】ISO/IEC 14496-10:2004 Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【００１８】
ところで、Ｈ．２６４では、ＭＰＥＧ−２と比較して、符号化効率を向上させるために、新たな符号化ツールとしてブロック間の画素相関を利用したフレーム内予測が用いられている（非特許文献１参照）。
【００１９】
Ｈ．２６４のように画素領域のフレーム内予測を用いる動画像符号化方式に逆変換リサイズを適用しようとすると、縮小時の各フレーム内予測で用いる参照画素群の高周波成分が失われ、且つ参照画素群のサンプル位置が縮小時の復号対象ブロックから離れているため、フレーム内予測で生成した予測画像の精度が低下する問題がある。
更に、精度の低下した予測画像と残差画像とを合成すると予測誤差が生じ、復号画像に画質劣化を招く問題がある。
【００２０】
以下では、Ｈ．２６４の４×４輝度フレーム内予測を例にして、画素領域のフレーム内予測を用いる動画像符号化方式に逆変換リサイズを適用しようとする場合に発生する問題について説明する。
【００２１】
図１８は、Ｈ．２６４の規格準拠の４×４輝度フレーム内予測の復号処理順序と、予測に用いる画素群を表す図である。４×４輝度フレーム内予測では、図１８（Ａ）に示すマクロブロックは、０〜１５で示したブロックの順序に復号処理が行われる。
【００２２】
例えば、図１８（Ａ）に示す１２番目のブロック（ブロック１２）を復号する場合は、ブロック１２に隣接する下記の復号済みの画素（Ａ〜Ｍで示した参照画素群）の値から、復号対象ブロック内の４×４画素の値の予測を行う。
【００２３】
・上ブロック（ブロック６）の中の４画素（Ａ，Ｂ，Ｃ，Ｄ）
・右上のブロック（ブロック７）の中の４画素（Ｅ，Ｆ，Ｇ，Ｈ）
・左ブロック（ブロック９）の中の４画素（Ｉ，Ｊ，Ｋ，Ｌ）
・左上ブロック（ブロック３）の中の１画素（Ｍ）
【００２４】
また、復号対象ブロック（ブロック１２）の右端、下端にある画素（ａ〜ｇ）は、予測画像と残差画像とが合成された後、後続のブロック（図１８（Ａ）のマクロブロックではブロック１３、１４、１５）の参照画素群として利用される。
【００２５】
一方、図１９は、逆変換リサイズにより１／２縮小時の４×４輝度フレーム内予測を表す図である。１／２縮小時では、図１８（Ａ）のマクロブロックのブロック１２を復号するとき、復号対象ブロックに隣接する下記の復号済みの画素の値から、復号対象ブロック内の２×２画素の値を予測することになる。
【００２６】
・上ブロック（ブロック６）の中の２画素（Ａ'，Ｂ'）
・右上ブロック（ブロック７）の中の２画素（Ｃ'，Ｄ'）
・左ブロック（ブロック９）の中の２画素（Ｅ'，Ｆ'）
・左上ブロック（ブロック３）の中の１画素（Ｇ'）
【００２７】
ここで、図２０（Ａ）に示すように、元解像度の参照画素群（Ａ〜Ｍ）とその周辺の画素において、エッジのような急激な画素値の変化がある場合を仮定する。図２０（Ａ）中では、このエッジを濃淡画像で表している。
【００２８】
このとき、図１９に示す１／２縮小時の参照画素群（Ａ'〜Ｇ'）は、逆変換リサイズにより、変換係数の低周波成分のみで復号されるため、急激な画素値の変化に追従できずに、図２０（Ｂ）に示すように、中間の画素値で再現される場合がある。その結果、縮小後の参照画素群によって生成された復号対象ブロックの予測画像には誤差が生じる。
また、図１９中の１／２縮小時の復号対象ブロックの右端と下端にある画素（ａ'〜ｃ'）は、後続のブロックの参照画素群として利用されるため、予測画像に生じた誤差が後続のブロックに伝播することになる。
【００２９】
例えば、図２１（Ａ）に示す１６×１６ブロックサイズの斜め縞模様の画像をＨ．２６４の４×４輝度フレーム内予測で符号化した符号化データをフルデコードすると図２１（Ｂ）のように復号できるが、特許文献１によって１／２縮小時の復号した出力画像は図２１（Ｃ）のようになる。図２１（Ｃ）の出力画像には誤差が生じており、図２１（Ｂ）と比較してブロックの右下ほど、著しく画質劣化していることが明らかである。
【００３０】
特に、ピクチャ内の全マクロブロックがイントラマクロブロックであるＩピクチャでは、画質劣化の生じた復号画像を後続ブロックのフレーム内予測で参照画素群として用いるため、さらに予測誤差が累積し画質劣化が著しくなる。
【００３１】
さらに、フレーム間予測を用いるインターマクロブロックを主体に構成されるＰピクチャおよびＢピクチャでは、Ｉピクチャを参照して予測画像を生成する場合があるため、予測誤差は後続のフレームへ伝播し、復号画像に致命的な画質劣化を招くことになる。
【００３２】
本発明は、以上のような実情を考慮してなされたものであって、画素領域のフレーム内予測を用いる動画像符号化方式において、逆変換リサイズ適用時に生じる画質劣化を抑制して簡易デコードを行う動画像復号装置、動画像復号方法、プログラムおよび記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００３３】
上記の課題を解決するため、本発明の動画像復号装置は、複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号装置であって、前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号部と、前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換部と、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成部と、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成部と、を備えている。
【００３４】
前記フレーム内予測画像生成部は、次のいずれかの構成を有している。
（１）復号済みのブロックの参照画素群の復号画像を記憶する第２記憶部と、前記フレーム内予測情報と、前記第２記憶部に記憶された予測対象のブロックに隣接する復号済みブロックの参照画素群の復号画像とに基づいて、前記予測対象のブロックの予測画像を生成するフレーム内予測部と、前記予測残差の変換係数を逆直交変換し、所定箇所の参照画素群の残差画像を生成する部分逆変換部と、前記フレーム内予測部からの予測画像と前記部分逆変換部からの前記所定箇所の参照画素群の残差画像とから、前記所定箇所の参照画素群の復号画像を生成し、前記第２記憶部に記憶する第２合成部と、前記フレーム内予測部により生成された予測画像を所定の縮小解像度に変換する解像度変換部と、を備えている。
【００３５】
（２）前記マクロブロックに含まれる前記ブロックの変換係数を記憶する第２記憶部と、前記フレーム内予測情報に基づき、前記ブロックに隣接する復号済みブロックの参照画素群を前記第１記憶部から読み出し、所定の縮小解像度の参照画素群を拡大処理して元の解像度の参照画素群の残差画像を取得する選択部と、前記ブロックに隣接する復号済みブロックの高周波成分の変換係数を前記第２記憶部から読み出して部分逆変換を実行し、元の解像度の参照画素群の残差画像を生成する部分逆変換部と、前記選択部で拡大処理した参照画素群に、前記部分逆変換部で生成した高周波成分の残差画像を加算し、フレーム内予測を行って前記ブロックの予測画像を生成するフレーム内予測部と、前記フレーム内予測部により生成された予測画像を所定の縮小解像度に変換する解像度変換部と、を備えている。
【００３６】
さらに、本発明の動画像復号方法は、複数のピクチャからなる動画像の各ピクチャを所定単位のブロックに分割し、各ブロック毎のフレーム内予測を行う動画像符号化方式による符号化データを復号し、符号化された動画像の縮小画像を生成する動画像復号方法であって、前記ブロック毎のフレーム内予測情報と予測残差の変換係数を復号する復号ステップと、前記ブロックの予測残差の変換係数の低周波成分を逆直交変換して、所定の縮小解像度の予測残差画像を生成する簡易逆変換ステップと、前記フレーム内予測情報に基づいて、所定の縮小解像度の予測画像を生成するフレーム内予測画像生成ステップと、前記所定の縮小解像度の予測残差画像と前記所定の縮小解像度の予測画像とから、所定の縮小解像度の復号画像を生成し、第１記憶部に記憶する第１合成ステップと、を備えている。
【００３７】
前記フレーム内予測画像生成ステップは、次のいずれかの構成を有している。
（１）前記フレーム内予測情報と、復号済みのブロックの参照画素群の復号画像を記憶する第２記憶部に記憶された予測対象のブロックに隣接する復号済みブロックの参照画素群の復号画像とに基づいて、前記予測対象のブロックの予測画像を生成するフレーム内予測ステップと、前記予測残差の変換係数を逆直交変換し、所定箇所の参照画素群の残差画像を生成する部分逆変換ステップと、前記フレーム内予測ステップからの予測画像と前記部分逆変換ステップからの前記所定箇所の参照画素群の残差画像とから、前記所定箇所の参照画素群の復号画像を生成し、前記第２記憶部に記憶する第２合成ステップと、前記フレーム内予測ステップにより生成された予測画像を所定の縮小解像度に変換する解像度変換ステップと、を備えている。
【００３８】
（２）前記フレーム内予測情報に基づき、前記ブロックに隣接する復号済みブロックの参照画素群の復号画像を前記第１記憶部から読み出し、所定の縮小解像度の参照画素群を拡大処理して元の解像度の参照画素群を取得する選択ステップと、前記ブロックに隣接する復号済みブロックの高周波成分の変換係数を、前記マクロブロックに含まれる前記ブロックの変換係数を記憶する第２記憶部から読み出して部分逆変換を実行し、元の解像度の参照画素群の残差画像を生成する部分逆変換ステップと、前記選択ステップで拡大処理した参照画素群に、前記部分逆変換ステップで生成した高周波成分の残差画像を加算し、フレーム内予測を行って前記ブロックの予測画像を生成するフレーム内予測ステップと、前記フレーム内予測ステップにより生成された予測画像を所定の縮小解像度に変換する解像度変換ステップと、を備えている。
【００３９】
また、上述した構成の動画像復号装置の復号部、簡易逆変換部、フレーム内予測画像生成部、第１合成部、フレーム内予測部、部分逆変換部、第２合成部、解像度変換部、選択部としてコンピュータを機能させるためのプログラムを作成し、コンピュータ読み取り可能な記録媒体に記録しておき、このプログラムをコンピュータで実行することによっても上記課題を解決することができる。
【発明の効果】
【００４０】
本発明によれば、画素領域におけるフレーム内予測を用いる動画像符号化方式へ逆変換リサイズを適用時に生じる画質劣化を抑制した簡易デコード処理を実現できる。
【図面の簡単な説明】
【００４１】
【図１】実施形態１に係る動画像復号装置の構成を示すブロック図である。
【図２】動画像復号装置におけるマクロブロック単位の復号処理手順を示すフローチャートである。
【図３】Ｈ．２６４におけるマクロブロック内の予測ブロックと変換ブロックの関係を示す図である。
【図４Ａ】Ｈ．２６４におけるフレーム内予測の予測方法ごとの予測モードを表わす図である。
【図４Ｂ】Ｈ．２６４におけるフレーム内予測の予測方法ごとの予測モードを表わす図である。
【図５】簡易逆変換処理に用いる変換係数（変換ブロックサイズ４×４の場合）の例である。
【図６】実施形態１のフレーム内予測画像生成部の構成を示すブロック図である。
【図７】実施形態１に係るフレーム内予測画像生成部の処理手順を示すフローチャートである。
【図８】部分逆変換で計算される予測残差の位置を示す図である。
【図９】各フレーム内予測において変換ブロックに適用する逆変換（式の番号）を示す図である。
【図１０】実施形態１における１／２縮小時の４×４輝度フレーム内予測を表す図である。
【図１１】図２１（Ａ）の斜め縞模様の原画像をＨ．２６４により符号化した符号化データ（４×４輝度フレーム内予測時）を実施形態１および実施形態２を用いて復号した出力画像である。
【図１２】実施形態２に係るフレーム内予測画像生成部の構成を示すブロック図である。
【図１３】実施形態２に係るフレーム内予測画像生成部の処理手順を示すフローチャートである。
【図１４】実施形態２に係るフレーム内予測画像生成部の動作を説明する図である。
【図１５】変換ブロックサイズ４×４において処理対象となる変換係数の高周波成分例である。
【図１６】従来技術に係る動画像復号装置の構成を示すブロック図である。
【図１７】従来技術に係る動画像復号装置の変換係数領域での縮小処理を説明する図である。
【図１８】Ｈ．２６４に係る４×４輝度フレーム内予測および復号順序を説明する図である。
【図１９】従来技術に係る１／２縮小時における４×４輝度フレーム内予測を説明する図である。
【図２０】従来技術に係る１／２縮小時における４×４輝度フレーム内予測の参照画素群を説明する図である。
【図２１】斜め縞模様の原画像をフルデコードしたときの出力画像、および、従来技術で簡易デコードしたときの出力画像である。
【発明を実施するための形態】
【００４２】
以下、図面を参照して本発明の好適な実施形態について説明する。以下の説明において同一の符号を付した部分は同一物を表すものとする。
【００４３】
＜実施形態１＞
本発明に係る動画像復号装置の実施形態１について説明する。
図１は、本発明の実施形態１に係る動画像復号装置の構成を表わすブロック図である。
同図において、動画像復号装置１００は、入力符号化データを復号する可変長復号部１０１、可変長復号部１０１で可変長復号された変換係数を逆量子化する逆量子化部１０２、逆量子化部１０２で逆量子化された変換係数を逆変換により縮小解像度の残差画像へ変換する簡易逆変換部１０３、逆量子化部１０２で逆量子化された変換係数と、フレーム内予測情報とを基にフレーム内予測を行って縮小解像度の予測画像を生成するフレーム内予測画像生成部１０５、生成された復号画像を蓄積するフレームメモリ（第１記憶部）１０８、可変長復号されたフレーム間予測情報と、フレームメモリ１０８に蓄積された復号画像を基にフレーム間予測を行って縮小解像度の予測画像を生成するフレーム間予測部１０７、可変長復号部１０１で復号されたマクロブロックタイプを基に、第１合成部１０４へ入力する予測画像の入力元をフレーム内予測画像生成部１０５またはフレーム間予測部１０７に切り替える入力切替スイッチ１０６、予測画像と残差画像とを合成する第１合成部１０４、第１合成部１０４で合成された合成画像にブロックノイズ等の符号化ノイズ除去のためのフィルタ処理を行うフィルタ処理部１０９を備えている。
【００４４】
以下、動画像復号装置１００の動作について説明する。
図２は、動画像復号装置１００におけるマクロブロック単位の復号処理手順を示すフローチャートである。
可変長復号部１０１は、Ｎ×Ｎブロックサイズの復号対象マクロブロックの符号化データを入力すると、この符号化データを可変長復号し、復号対象マクロブロックのマクロブロックタイプ、マクロブロックを構成する各変換ブロックの変換係数、各予測ブロックのフレーム間予測情報またはフレーム内予測情報等の符号化情報を得る（ステップＳ１０１）。
【００４５】
ここで、「変換ブロック」とは直交変換が適用される処理単位であり、「予測ブロック」とはフレーム内予測やフレーム間予測により予測画像が生成される処理単位である。例えば、Ｈ．２６４の場合、マクロブロックとフレーム内予測における予測ブロックと変換ブロックの関係は表１および図３に示すようになっている。
また、予測は、例えば、輝度信号に関する場合には、１６×１６画素（Ｎ＝１６）のマクロブロックで行われ、色差信号に関する場合には、８×８画素（Ｎ＝８）のマクロブロックサイズで行われる。
【００４６】
【表１】
2010246021.tif 000004
【００４７】
図３に示すように、例えば、４×４輝度フレーム内予測の場合、予測ブロックと変換ブロックのサイズは同一であるので１マクロブロック中に１６個の予測ブロックと１６個の変換ブロックが存在する。８×８輝度フレーム内予測の場合、予測ブロックと変換ブロックのサイズは同一であるので１マクロブロック中に４個の予測ブロックと４個の変換ブロックが存在する。１６×１６輝度フレーム内予測の場合、１マクロブロック中に１個の予測ブロックと１６個の変換ブロックが存在する。８×８色差フレーム内予測の場合、１マクロブロック中に１個の予測ブロックと４個の変換ブロックが存在する。
【００４８】
また、「フレーム内予測情報」とは、上記の４つの予測方法のうちいずれの予測方法でフレーム内予測を行うのかを示す予測方法の種別コードと、この予測方法のうちいずれの予測方向で参照画素群から予測画像を生成するのかを示す予測モードのことである。
【００４９】
図４Ａ、図４Ｂは、Ｈ．２６４におけるフレーム内予測の予測方法および予測モードの種類を示す図であり、太い実線で囲った部分が現在の予測対象となっている予測ブロックであり、それ以外の画素は参照画素群である。参照画素群は、現在の予測ブロックに隣接し、既に復号が終了した画素の集合である。矢印は、予測方向を表わしている。
【００５０】
フレーム内予測の予測方法の種類としては、（Ａ）４×４輝度フレーム内予測、（Ｂ）８×８輝度フレーム内予測、（Ｃ）１６×１６輝度フレーム内予測、（Ｄ）８×８色差フレーム内予測の４つの予測方法がある。
さらに、４つの予測方法について参照画素群から予測画像を生成するための予測モードが定義されている。
【００５１】
４×４輝度フレーム内予測および８×８輝度フレーム内予測には、９つの予測モード（モード０：垂直予測、モード１：水平予測、モード２：ＤＣ（平均値）予測、モード３：斜め左下予測、モード４：斜め右下予測、モード５：垂直右予測、モード６：水平下予測、モード７：垂直左予測、モード８：水平上予測）がある。
１６×１６輝度フレーム内予測には、４つの予測モード（モード０：垂直予測、モード１：水平予測、モード２：ＤＣ（平均値）予測、モード３：平面予測）がある。
また、８×８色差フレーム内予測には、４つの予測モード（モード０：ＤＣ（平均値）予測、モード１：水平予測、モード２：垂直予測、モード３：平面予測）がある。
【００５２】
次に、可変長復号部１０１より入力された各変換ブロックの変換係数（Ｍ×Ｍブロックサイズ）は、逆量子化部１０２で逆量子化が施され、後述するように簡易逆変換部１０３で簡易逆変換が施され、１／Ｓへ縮小された(Ｍ/Ｓ)×(Ｍ/Ｓ)ブロックサイズの残差画像が生成され、第１合成部１０４に出力される（ステップＳ１０２）。尚、ステップＳ１０２の処理はマクロブロックを構成するすべての変換ブロックに対して実施される。
【００５３】
続いて、可変長復号部１０１により得られたマクロブロックタイプがイントラマクロブロックであれば（ステップＳ１０３においてＹＥＳの場合）、入力切替スイッチ１０６は、第１合成部１０４への予測画像の入力先をフレーム内予測画像生成部１０５に切り替える。
【００５４】
次に、フレーム内予測画像生成部１０５では、後述するように、可変長復号部１０１により得られた変換係数と、各予測ブロックのフレーム内予測情報とに基づき、各予測ブロックの１／Ｓに縮小された予測画像が生成され、縮小後の予測画像は入力切替スイッチ１０６を経て第１合成部１０４へ出力される（ステップＳ１０４）。
【００５５】
その後、第１合成部１０４において、フレーム内予測画像生成部１０５から入力された予測画像と、簡易逆変換部１０３より入力された残差画像との合成画像が生成され、フィルタ処理部１０９へ出力される（ステップＳ１０５）。尚、ステップＳ１０４とＳ１０５の処理は、マクロブロックを構成するすべての予測ブロックに対して実施される。
【００５６】
一方、可変長復号部１０１により得られたマクロブロックタイプがインターマクロブロックであれば（ステップＳ１０３においてＮＯの場合）、入力切替スイッチ１０６は、第１合成部１０４への予測画像の入力先をフレーム間予測部１０７に切り替える。
【００５７】
フレーム間予測部１０７では、後述するように、可変長復号部１０１により得られた各予測ブロックのフレーム間予測情報と、フレームメモリ１０８に蓄積されている復号済みの動画像に基づき、フレーム間予測が実行され、各予測ブロックの１／Ｓ縮小された予測画像が生成され、生成された予測画像は入力切替スイッチ１０６を経て第１合成部１０４へ出力される（ステップＳ１０６）。
【００５８】
その後、第１合成部１０４において、フレーム間予測部１０７から入力された予測画像と、簡易逆変換部１０３より入力された残差画像との合成画像が生成され、フィルタ処理部１０９へ出力される（ステップＳ１０７）。尚、ステップＳ１０６とＳ１０７の処理は、マクロブロックを構成するすべての予測ブロックに対して実施される。
【００５９】
フィルタ処理部１０９では、入力された合成画像の符号化ノイズを除去するために、所定のフィルタ処理が施され、フィルタ処理後の復号画像が生成され（ステップＳ１０８）、復号画像は、フレームメモリ１０８に蓄積される（ステップＳ１０９）。
【００６０】
以上がマクロブロック単位の処理である。動画像復号装置１００では、動画像を構成する全ての復号対象ブロックに対して、上記処理（ステップＳ１０１〜Ｓ１０９）が実施される。
【００６１】
次に、簡易逆変換部１０３について説明する。
簡易逆変換部１０３は、入力されたＮ×Ｎブロックの変換係数から、所定の低周波側の変換係数を抽出し、抽出した変換係数に対して所定のＳ×Ｓブロックへの逆変換を施し、Ｓ／Ｎに縮小したＳ×Ｓブロックの残差画像を生成する。
【００６２】
以下、動画像符号化方式をＨ.２６４とした場合において、４×４ブロックの逆変換処理について説明する。
簡易逆変換部１０３は、１／２縮小する場合、図５（Ａ）の４×４ブロックの変換係数のうち、図５（Ｂ）に示す左上のＤＣ成分を含む低周波４成分を用いて、式（２）で定義される２×２の逆変換を施すことにより１／２縮小の残差画像を生成する。
【００６３】
【数２】
2010246021.tif 000005
【００６４】
尚、ｙ００，ｙ０１，ｙ１０，ｙ１１は算出された残差画像、ｘ００，ｘ０１，ｘ１０，ｘ１１は４×４ブロックの変換係数のうちＤＣ成分を含む低周波４成分、Ｅ２は２×２ブロックの単位行列、Ａは量子化パラメータＱＰにより定まる所定のスケーリングパラメータを表わす。
また、「>>」は右算術シフト演算を示し、「Ｒ>>ｑ」は整数Ｒをｑビット右に算術シフトする演算子、即ち、Ｒを２ｑで除算した商と同じである。
また、「%」は剰余演算を示し、「<<」は左シフト演算を示し、「Ｒ<<ｑ」は整数Ｒをｑビット左にシフトする演算子、即ち、Ｒに２ｑを乗算した値と同じである。
【００６５】
また、簡易逆変換部１０３は、１／４縮小する場合、図５（Ａ）の４×４ブロックの変換係数のうち、図５（Ｃ）に示す左上のＤＣ成分のみを用いて、式（３）で定義される１×１の逆変換を施すことにより１／４縮小の残差画像を生成する。
【００６６】
【数３】
2010246021.tif 000006
【００６７】
尚、ｙ００は算出された残差画像、ｘ００はＤＣ成分、Ａは量子化パラメータにより定まる所定のスケーリングパラメータを表わす。
【００６８】
以上のように、簡易逆変換部１０３は、４×４ブロック単位の逆変換処理を、２×２ブロック、あるいは、１×１ブロックに簡略化し、復号する画素数を減らすことで処理量を削減することができる。
【００６９】
次に、フレーム間予測部１０７について説明する。
動画像符号化方式をＨ.２６４とした場合、輝度成分の動きベクトルの精度は１／４画素精度であるため、逆変換リサイズにより画像サイズを１／２または１／４に縮小するとき、動きベクトルの精度を、それぞれ１／８画素精度または１／１６画素精度として扱うことになる。このため、フレーム間予測部１０７は、上記の動きベクトルの精度の条件下で、復号済みの縮小動画像をもとにフレーム間予測を行う。このときの補間法としては、バイリニアフィルタ、バイキュービックフィルタ、Ｌａｎｃｚｏｓフィルタなどがある。
【００７０】
次に、フレーム内予測画像生成部１０５について説明する。
図６は、フレーム内予測画像生成部１０５の構成を示すブロック図である。同図において、フレーム内予測画像生成部１０５は、逆量子化部１０２より入力された変換係数を逆変換し、後続の予測ブロックのフレーム内予測で利用される参照画素群のための残差画像を生成する部分逆変換部１２１、可変長復号部１０１で可変長復号された各予測ブロックに関するフレーム内予測情報と、メモリ１２４に蓄積された参照画素群とに基づきフレーム内予測を行って各予測ブロックの予測画像を生成するフレーム内予測部１２２、フレーム内予測部１２２からの予測画像と部分逆変換部１２１からの残差画像とを合成し、後続の予測ブロックのフレーム内予測で利用される参照画素群の復号画像を生成する第２合成部１２３、第２合成部１２３で合成された参照画素群を蓄積するメモリ（第２記憶部）１２４、フレーム内予測部１２２で生成された予測画像を所定のブロックサイズへ解像度変換を行う解像度変換部１２５を備えている。
【００７１】
次に、フレーム内予測画像生成部１０５の動作について説明する。
図７は、フレーム内予測画像生成部１０５における１予測ブロックを処理する手順を示すフローチャートである。下記のステップＳ２０１〜Ｓ２０５の処理をマクロブロック内に存在する予測ブロック数だけ繰り返し実行することによって、１つのマクロブロックが処理される。
【００７２】
フレーム内予測部１２２において、可変長復号部１０１により得られたフレーム内予測情報と、メモリ１２４に蓄積された処理対象の予測ブロックのフレーム内予測に利用する参照画素群に基づいてフレーム内予測を行い、Ｍ×Ｍブロックの予測画像が生成される（ステップＳ２０１）。生成された予測画像は、予測画像生成のために解像度変換部１２５へ出力されるとともに、メモリ１２４内の参照画素群を更新するために第２合成部１２３に出力される。
【００７３】
ここで、メモリ１２４には以下の示す参照画素群が記憶されている。以下、フレーム内予測の予測方法の種類を４×４輝度フレーム内予測としたとき、現在の復号対象の予測ブロックの左上隅を［０，０］とし、[ｘ,ｙ]のサンプル位置にある画素をｐ[ｘ,y]で表わすものとする。
メモリ１２４には、予測ブロックの左に隣接するブロックの４画素（ｐ［−１,０］〜ｐ［−１，３]）、上に隣接するブロックの４画素（ｐ［０，−１］〜ｐ［３，−１］）、右上に隣接するブロックの４画素（ｐ［４，−１］〜ｐ［７，−１］）、および左上に隣接するブロックの１画素（ｐ［−１，−１］）が記憶されている。尚、フレーム内で最初に処理される予測ブロックのための参照画素群に対しては初期値が適用される。
【００７４】
この参照画素群の初期値には、各動画像符号化方式で定められた所定の値（１２８）が用いられる。Ｈ．２６４の場合、フレーム内で最初に処理される予測ブロックは、固定の予測値（ＤＣ予測）を用いるため、必ずしも参照画素群の初期値を設定しておく必要はない。
【００７５】
次に、解像度変換部１２５では、フレーム内予測部１２２で生成された現在の復号対象の予測ブロックの予測画像から、１／Ｓ縮小された予測画像が生成されて出力される（ステップＳ２０２）。この縮小は、画素領域における操作として一般的に知られている、バイキュービック（双三次補間）、バイリニア（双線形補間）、ニアレストネイバー（単純間引き）を用いて行う。
【００７６】
一方、予測ブロック（Ｍ×Ｍブロックサイズ）に含まれる各変換ブロック（Ｌ×Ｌブロックサイズ）の変換係数は、部分逆変換部１２１で所定の部分逆変換が施され、第２合成部１２３へ出力される（ステップＳ２０３）。この処理結果は、後続の予測ブロックに用いる参照画素群に係る予測残差に相当する。ステップＳ２０３の処理は、予測ブロックを構成する全変換ブロックに対して実施される。
【００７７】
ここで、変換対象となる変換ブロックおよび適用する部分逆変換は、フレーム内予測情報と、マクロブロック中の変換ブロックの位置に応じて定まる。以降の説明では変換ブロックサイズが４×４の場合について説明する。
４×４の変換ブロック内で、部分逆変換時に復元対象となる画素群の予測残差の抽出方法は下記の３通りである（図８）。
【００７８】
（１）４×４ブロック内の右端の４画素８０１を取り出す場合：
図８（Ａ）に示すように、４×４の変換係数（Ｘ００〜Ｘ３３）より、４×４ブロック内の右端の４画素８０１の予測残差（ｙ０３，ｙ１３，ｙ２３，ｙ３３）を算出する。逆変換の方法は、式（４）、式（５）で表される。
【００７９】
【数４】
2010246021.tif 000007
【００８０】
式（４）の右辺の変数（ｅ０，ｅ１，ｅ２，ｅ３）は、式（５）に示すように横方向の変換係数（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）、(ｉ＝０，１，２，３)と、１次元４点逆離散コサイン変換の基底ベクトル（１，−１，１，−１／２）との内積によって得られる。
予測残差ｙ０３，ｙ１３，ｙ２３，ｙ３３は、変数（ｅ０，ｅ１，ｅ２，ｅ３）に対して、縦方向に１次元４点逆離散コサイン変換を施すことで得られる。尚、式（４）中の演算子「//」は、除算してゼロ方向に丸める演算を表す。
【００８１】
（２）４×４ブロック内の下端の４画素８０２を取り出す場合：
図８（Ｂ）に示すように、４×４の変換係数（Ｘ００〜Ｘ３３）より、４×４ブロック内の下端の４画素８０２の予測残差（ｙ３０，ｙ３１，ｙ３２，ｙ３３）を抽出する逆変換の方法は、式（６）、式（７）で表される。
【００８２】
【数５】
2010246021.tif 000008
【００８３】
式（６）の右辺の変数（ｅ4，ｅ５，ｅ６，ｅ７)は、縦方向の変換係数（Ｘ0ｊ，Ｘ１ｊ，Ｘ２ｊ，Ｘ３ｊ）、（ｊ＝０，１，２，３）と、１次元４点逆離散コサイン変換の基底ベクトル（１,−１,１,−１／２）との内積によって得られる。
予測残差ｙ３０，ｙ３１，ｙ３２，ｙ３３は、変数（ｅ4，ｅ５，ｅ６，ｅ７)に対して横方向に１次元４点逆離散コサイン変換を施すことで得られる。
【００８４】
（３）４×４ブロック内の右端および下端の７画素８０３を取り出す場合：
図８（Ｃ）に示すように、４×４の変換係数より、４×４ブロック内の右端および下端の７画素８０３の予測残差（ｙ０３，ｙ１３，ｙ２３，ｙ３３，ｙ３０，ｙ３１，ｙ３２）を抽出する逆変換の方法は、式（８）、式（９）で表される。
【００８５】
【数６】
2010246021.tif 000009
【００８６】
式（８）は、式（４）〜式（７）をまとめることによって得られる。尚、予測残差ｙ３３は、変数（ｅ０，ｅ１，ｅ２，ｅ３）、または、変数（ｅ４，ｅ５，ｅ６，ｅ７）に対して、１次元４点逆離散コサイン変換を施すことで得られる。式（８）では、変数（ｅ０，ｅ１，ｅ２，ｅ３)から取得する場合であるが、変数（ｅ４，ｅ５，ｅ６，ｅ７）から求める場合も同様にして求めることができる。
【００８７】
また、これらの式は、変換ブロックサイズが８×８の場合における部分逆変換についても容易に拡張できる。
以上のように部分逆変換では、復号対象部分の予測残差のみを復元することで、逆変換の処理量を削減するようにしている。
【００８８】
次に、予測ブロック中のどの変換ブロックに対して上記のいずれの式を適用するかについて説明する。
図９は、１マクロブロック単位において、予測ブロックにいずれの式を適用するかを示す図である。ここで、０〜３の番号は、式（４）から（９）までの式のうち、いずれの式を適用するかを示す。番号と演算式の対応を表２に示す。尚、図９（Ｂ）〜（Ｃ）中の斜線部の変換ブロックは、後続の予測ブロックのフレーム内予測に利用される画素群が含まれず、逆変換を行わない変換ブロックであることを表わしている。
【００８９】
【表２】
2010246021.tif 000010
【００９０】
図７に戻って、第２合成部１２３において、フレーム内予測部１２２で予測された予測画像と、部分逆変換部１２１で求められた残差画像とが合成されて、後続の予測ブロックのフレーム内予測に用いる画素群の復号画像が生成され（ステップＳ２０４）、メモリ１２４に蓄積される（ステップＳ２０５）。
【００９１】
以上のように、本実施形態によれば、縮小解像度の予測画像生成時に用いる参照画素群の高周波成分を損なわないため、フレーム内予測画像の精度を向上させることができる。
例えば、１／２縮小時の４×４輝度フレーム内予測では、図１０に示すように、復号対象ブロックの予測に用いる参照画素群として、元解像度の参照画素群と同じサンプル位置にある画素群（Ａ'〜Ｍ'）を、部分逆変換により高周波成分を損失させずに復元することが可能である。特に、Ｉピクチャにおいて、縮小解像度の復号画像を、後続の予測ブロックのフレーム内予測に利用しないため、画質劣化が後続の予測ブロックへ伝播することがない。
【００９２】
図１１（Ａ）は、実施形態１において、簡易逆変換の代わりに、逆離散コサイン変換後にバイリニアフィルタで縮小解像度の残差画像を生成し、この残差画像とフレーム内予測画像生成部１０５により生成された予測画像を合成した復号画像の出力画像である。
図２１（Ｃ）の従来技術の出力画像では、ブロックの右下ほど画質劣化が著しくなっていたが、図１１（Ａ）の出力画像では、従来技術に見られる後続の予測ブロックへの画質劣化がないことがわかる。
また、部分逆変換では、参照画素群のみの残差画像を抽出できるため、復号対象ブロック全体の残差画像を生成する必要がなく、縮小解像度の予測画像生成時の処理量の増加を抑制することができる。
【００９３】
＜実施形態２＞
本実施形態２の動画像復号装置の構成は、フレームメモリ１０８からフレーム内予測画像生成部１０５へ参照画素群のデータを供給するように接続する点を除き、上記の実施形態１と同じであるから、説明を省略する。本実施形態２では、上記の実施形態１のフレーム内予測画像生成部１０５を別構成としているので、この構成について以下に説明する。
【００９４】
図１２は、実施形態２に係るフレーム内予測画像生成部１０５の構成を示すブロック図である。同図において、フレーム内予測画像生成部１０５は、逆量子化された各変換ブロックの変換係数を一時的に記憶するメモリ（第２記憶部）１３１と、逆量子化された変換係数を逆変換し、予測画像を補うための高周波成分を生成する部分逆変換部１３２と、可変長復号部１０１で取り出されたフレーム内予測情報と、現在の復号対象である予測ブロックの周辺画素に相当する参照画素群とに基づきフレーム内予測を行い、各予測ブロックの予測画像を生成するフレーム内予測部１３３と、フレーム内予測部１３３で生成された予測画像を所定のブロックサイズへ解像度変換を行う解像度変換部１２５を備えている。
【００９５】
次に、フレーム内予測画像生成部１０５の動作について説明する。
図１３は、フレーム内予測画像生成部１０５における１予測ブロックを処理する手順を示すフローチャートである。下記のステップＳ３０１〜Ｓ３０６の処理をマクロブロック内に存在する予測ブロック数だけ繰り返し実行することによって、１つのマクロブロックが処理される。
【００９６】
フレーム内予測部１３３において、可変長復号部１０１により得られたフレーム内予測情報に基づいて、復号対象の予測ブロックの周辺に存在する参照画素群をフレームメモリ１０８から読み出し、読み出した画素が所定のスケールで縮小されているため、元のサイズに拡大処理を施す（ステップＳ３０１）。尚、フレーム内予測情報と参照画素群の関係は図４と同様である。
【００９７】
例えば、図１４を用いて、１／２縮小における４×４輝度フレーム内予測の場合について説明する。同図において、参照画素Ｉ〜VIIは、１／２縮小における復号対象の予測ブロック１４０１に隣接する周辺ブロック（左ブロック１４０３、左上ブロック１４０２、上ブロック１４０４、右上ブロック１４０５）のうち、予測ブロック１４０１のフレーム内予測に用いる画素群を表わす。
【００９８】
各参照画素と周辺ブロック中の画素の対応関係は下記の通りである。
・参照画素Ｉ（図１４のＭ'）：左上ブロック１４０２の右下画素
・参照画素II（図１４のＩ'）：左ブロック１４０３の右上画素
・参照画素III（図１４のＫ'）：左ブロック１４０３の右下画素
・参照画素IV（図１４のＡ'）：上ブロック１４０４の左下画素
・参照画素Ｖ（図１４のＣ'）：上ブロック１４０４の右下画素
・参照画素VI（図１４のＥ'）：右上ブロック１４０５の左下画素
・参照画素VII（図１４のＧ'）：右上ブロック１４０５の右下画素
【００９９】
ステップＳ３０１で、復号対象の予測ブロック１４０１の周辺ブロック１４０２〜１４０５より、フレーム内予測情報に基づき参照画素群Ｉ〜VIIが選択されたとする。
すると、フレーム内予測部１３３では、選択された参照画素群Ｉ〜VIIより、元解像度におけるフレーム内予測を行うのに必要となる参照画素群Ｉ、II、II'、III、III'、IV、IV'、Ｖ、Ｖ'、VI、VI'、VII、VII'が生成される。
【０１００】
ここで、参照画素群Ｉ、II、III、IV、Ｖ、VI、VIIは、それぞれ図１０における参照画素群Ｍ'、Ｉ'、Ｋ'、Ａ'、Ｃ'、Ｅ'、Ｇ'の位置の参照画素群として扱われる。また、元解像度の参照画素群のうち欠落している画素Ｊ'(II')、Ｌ'（III'）、Ｂ'(IV')、Ｄ'（Ｖ'）、Ｆ'(VI')、Ｈ'(VII')は、参照画素群Ｉ〜VIIを基にニアレストネイバー、線形補間、３次補間等の内挿方法を適用することにより拡大処理される。尚、この時点で復元された元解像度の参照画素群Ｉ、II、II'、III、III'、IV、IV'、Ｖ、Ｖ'、VI、VI'、VII、VII'にはまだ逆変換リサイズにより失われた高周波成分は復元されていない。
【０１０１】
次に、部分逆変換部１３２により、復号対象予測ブロックの参照画素群を含む周辺ブロック毎の変換係数の高周波成分の変換係数をメモリ１３１から読み出し、参照画素群（Ｉ、II、II'、III、III'、IV、IV'、Ｖ、Ｖ'、VI、VI'、VII、VII'）と同位置にある画素に関して、高周波成分のみを有する残差画像を生成する（ステップＳ３０２）。
【０１０２】
ここで、変換係数の高周波成分とは、変換係数のうち、簡易逆変換部１０３において処理の対象とした低周波成分を除いたものである。
例えば、４×４の変換ブロックにおいて、１／２縮小の場合、式（２）より、低周波成分はＸ００、Ｘ０１、Ｘ１０、Ｘ１１となるため、高周波成分は、図１５（Ａ）に示すように、残りのＸ０２、Ｘ０３、Ｘ１２、Ｘ１３、Ｘ２０、Ｘ２１、Ｘ２２、Ｘ２３、Ｘ３０、Ｘ３１、Ｘ３２、Ｘ３３となる。
また、４×４の変換ブロックにおいて、１／４縮小の場合、式（３）より、低周波成分はＸ００となるため、高周波成分は、図１５（Ｂ）に示すように、残りのＸ０１、Ｘ０２、Ｘ０３、Ｘ１０、Ｘ１１、Ｘ１２、Ｘ１３、Ｘ２０、Ｘ２１、Ｘ２２、Ｘ２３、Ｘ３０、Ｘ３１、Ｘ３２、Ｘ３３となる。
【０１０３】
また、メモリ１３１には、復号対象のマクロブロック（イントラマクロブロック、インターマクロブロックの両方が対象）に含まれる各変換ブロックの変換係数が一時的に記憶されており、後続の予測ブロックの参照画素群の高周波成分の復元に利用されなくなる時点で破棄される。
【０１０４】
例えば、図１４において、予測ブロック１４０１の復号処理が完了し、右隣のブロック１４１２の復号処理へ移るときに、予測ブロック１４０１の復号処理時に利用された左上ブロック１４０２の変換係数は、ブロック１４１２以降のブロックの復号処理に利用されないため破棄され、復号処理を完了した予測ブロック１４０１の変換係数が新たにメモリ１３１に記憶される。
いる。
【０１０５】
上記の部分逆変換部１３２では、図１４における元解像度の参照画素群Ｉ〜VII、II'、III'、IV'、Ｖ'、VI'、VII'と同位置の残差画像が生成される。
図１４において、ブロック１４０３に含まれる元解像度の参照画素II、II'、III、III'の高周波成分の予測残差を抽出する場合は、メモリ１３１に記憶されたブロック１４０３の高周波成分の変換係数に対して、図８（Ａ）に示すように、ブロック１４０３の右端４画素を取り出す部分逆変換を実行する。
【０１０６】
また、ブロック１４０４に含まれる参照画素IV、IV'、Ｖ、Ｖ'の高周波成分の予測残差を抽出する場合は、メモリ１３１に記憶されたブロック１４０４の高周波成分の変換係数に対して、図８（Ｂ）に示すように、ブロック１４０４の下端４画素を取り出す部分逆変換を実行する。ブロック１４０５に含まれる参照画素VI、VI'、VII、VII'の高周波成分の予測残差を取り出す場合も同様にして実行する。
【０１０７】
また、ブロック１４０２に含まれる参照画素群Ｉの高周波成分の予測残差を抽出する場合は、メモリ１３１に記憶されたブロック１４０２の高周波成分の変換係数に対して、図８（Ａ）、（Ｂ）、（Ｃ）に示すいずれかの部分逆変換を実行すればよい。
【０１０８】
尚、上記の部分逆変換では、抽出対象の画素の高周波成分のみを有する残差画像を必要とするため、部分逆変換を行う式（５）、（７）、（９）における低周波成分の変換係数の値をゼロとして計算する。例えば、１／２縮小の場合、低周波４成分Ｘ００、Ｘ０１、Ｘ１０、Ｘ１１の係数の値をゼロとする。また、１／４縮小の場合は、低周波成分Ｘ００の係数の値をゼロとする。
【０１０９】
次に、ステップＳ３０１において拡大処理をした後の参照画素群に、ステップＳ３０２にて算出した高周波成分を加算する（ステップＳ３０３）。ここで、部分逆変換部１３２で算出された高周波成分がフレーム内予測部１３３に入力され、参照画素群に加算されることで、元解像度の参照画素群（Ｉ、II、II'、III、III'、IV、IV'、Ｖ、Ｖ'、VI、VI'、VII、VII'）の高周波成分が復元される。
【０１１０】
次に、図７のステップＳ２０１と同様にして、フレーム内予測部１３３により復号対象の予測ブロックの予測画像が生成され（ステップＳ３０４）、図７のステップＳ２０２と同様にして、解像度変換部１２５により縮小処理が施される（ステップＳ３０５）。
【０１１１】
最後に、次の予測ブロックの処理のためにメモリ１３１の内容を更新すると共に、入力された変換係数を、後続の予測ブロックの処理では使用されない周辺ブロックのものと置き換える（ステップＳ３０６）。
【０１１２】
以上のように、本実施形態２によれば、縮小解像度の予測画像生成時に用いる参照画素群を、高周波成分の損失を抑制しつつ復元することが可能であるため、フレーム内予測画像の精度を向上させることができる。
図１１（Ｂ）は、実施形態２において、簡易逆変換の代わりに、逆離散コサイン変換後にバイリニアフィルタで縮小解像度の残差画像を生成し、この残差画像とフレーム内予測画像生成部１０５により生成された予測画像を合成した復号画像の出力画像である。
図２１（Ｃ）の従来技術の出力画像では、ブロックの右下ほど画質劣化が著しくなるが、図１１（Ｂ）の本実施形態２の出力画像では、従来技術に見られる後続の予測ブロックへの画質劣化が少ないことがわかる。
【０１１３】
また、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲内で各種の変形、修正が可能であるのは勿論である。
例えば、上述した動画像復号装置の機能（可変長復号部、逆量子化部、簡易逆変換部、出力切替スイッチ、フレーム内予測画像生成部、フレーム間予測部、合成部、フィルタ処理部、部分逆変換部、フレーム内予測部、解像度変換部）をハードウェア的に実現することは勿論として、該機能を実現するコンピュータプログラムを装置に備えられた磁気ディスク、半導体メモリ、その他の記録媒体に格納しておき、該記録媒体からコンピュータプログラムを読み取って装置に登載されたコンピュータで実行することにより、上述した各機能が実現できる。
【産業上の利用可能性】
【０１１４】
本発明の動画像復号装置は、次世代テレビジョンやモバイル端末機器での簡易動画再生技術に適用可能である。
【符号の説明】
【０１１５】
１００…動画像復号装置、１０１…可変長復号部、１０２…逆量子化部、１０３…簡易逆変換部、１０４…第１合成部、１０５…フレーム内予測画像生成部、１０６…入力切替スイッチ、１０７…フレーム間予測部、１０８…フレームメモリ（第１記憶部）、１０９…フィルタ処理部、１２１…部分逆変換部、１２２…フレーム内予測部、１２３…第２合成部、１２４…メモリ（第２記憶部）、１２５…解像度変換部、１３１…メモリ（第２記憶部）、１３２…部分逆変換部、１３３…フレーム内予測部、１６００…動画像復号装置、１６０１…可変長復号部、１６０２…逆量子化部、１６０３…簡易逆変換部、１６０４…出力切替スイッチ、１６０５…合成部、１６０６…フレーム間予測部、１６０７…フレームメモリ、１６１０，１６２０…データ線。
【図１】
2010246021.tif 000011
【図２】
2010246021.tif 000012
【図３】
2010246021.tif 000013
【図４Ａ】
2010246021.tif 000014
【図４Ｂ】
2010246021.tif 000015
【図５】
2010246021.tif 000016
【図６】
2010246021.tif 000017
【図７】
2010246021.tif 000018
【図８】
2010246021.tif 000019
【図９】
2010246021.tif 000020
【図１０】
2010246021.tif 000021
【図１１】
2010246021.tif 000022
【図１２】
2010246021.tif 000023
【図１３】
2010246021.tif 000024
【図１４】
2010246021.tif 000025
【図１５】
2010246021.tif 000026
【図１６】
2010246021.tif 000027
【図１７】
2010246021.tif 000028
【図１８】
2010246021.tif 000029
【図１９】
2010246021.tif 000030
【図２０】
2010246021.tif 000031
【図２１】
2010246021.tif 000032