(57)【要約】【課題】動画像符号化データの復号時のメモリバンド幅を削減しつつ、参照画像の生成過程で圧縮を用いた場合に発生する歪の時間方向への伝播を最小限に抑える。【解決手段】動画像復号装置は、動画像符号化データ１００を復号して復号画像信号を生成する復号部１０１〜１０４、復号画像信号を圧縮して圧縮画像信号を生成する圧縮器１１５、復号画像信号を記憶する第１のメモリ１１３、圧縮画像信号を記憶する第２のメモリ１１４、メモリ１１４から圧縮画像信号を読み込んで圧縮伸張画像信号を生成する伸張器１１７、のフレーム単位の符号化タイプやブロック単位の予測モードに応じてメモリ１１３から読み込まれる復号画像信号及び伸張器１１７から出力される圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器１２０、及び選択された参照画像信号に対し動き補償を行って予測画像信号を生成する動き補償部１０６を有する。【選択図】  図１
2007266970.tif 000002
【特許請求の範囲】
【請求項１】
動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成するステップと；
前記復号画像信号を圧縮して圧縮画像信号を生成するステップと；
前記復号画像信号を第１のメモリに記憶するステップと；
前記圧縮画像信号を第２のメモリに記憶するステップと；
前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成するステップと；
前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択するステップと；
前記参照画像信号に対し動き補償を行って前記予測画像信号を生成するステップと；を具備する動画像復号方法。
【請求項２】
動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する復号部と；
前記復号画像信号を圧縮して圧縮画像信号を生成する圧縮器と；
前記復号画像信号を記憶する第１のメモリと；
前記圧縮画像信号を記憶する第２のメモリと；
前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する伸張器と；
前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器と；
前記選択された参照画像信号に対し動き補償を行って前記予測画像信号を生成する動き補償部と；を具備する動画像復号装置。
【請求項３】
前記参照画像選択器は、前記フレーム単位の符号化タイプが前記復号部により生成される復号画像信号が前記参照画像信号として用いられるタイプのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記フレーム単位の符号化タイプが前記復号部により生成される復号画像信号が前記参照画像信号として用いられないタイプのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
【請求項４】
前記フレーム単位の符号化タイプはＩピクチャ、Ｐピクチャ及びＢピクチャのいずれかを表し、前記参照画像選択器は前記復号部により生成される復号画像信号が前記Ｐピクチャのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記復号部により生成される復号画像信号が前記Ｂピクチャのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
【請求項５】
前記参照画像選択器は、前記ブロック単位の予測モードが前記動き補償部において前記参照画像信号の単一ブロックから前記予測画像信号が生成される第１モードのときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記動き補償部において前記参照画像信号の複数ブロックの平均値または線形和により前記予測画像信号が生成される第２モードのときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
【請求項６】
前記ブロック単位の予測モードは、Ｂピクチャの予測画素ブロックが前方予測画素ブロック、後方予測画素ブロック及び双方向予測画素ブロックのいずれかであるかを表し、前記参照画像選択器は前記ブロック単位の予測モードが前記前方予測画素ブロックまたは後方予測画素ブロックを表すときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記双方向予測画素ブロックを表すときは、前記圧縮伸張画像信号を選択する請求項２に記載の動画像復号装置。
【請求項７】
前記ブロック単位の予測モードは、少なくともＰピクチャの予測画素ブロックが単一の参照画像を用いた前方予測画素ブロック及び複数の参照画像を用いたデュアルプライム予測画素ブロックのいずれかであるかを表し、前記参照画像選択器は前記ブロック単位の予測モードが前記単一の参照画像を用いた前方予測画素ブロックを表すときは、前記第１のメモリから読み込まれた復号画像信号を選択し、前記ブロック単位の予測モードが前記デュアルプライム予測画素ブロックを表すときは、前記圧縮伸張画像信号中の二つの参照ブロックを選択する請求項２に記載の動画像復号装置。
【請求項８】
前記圧縮伸張画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
【請求項９】
前記第１のメモリから読み込まれる復号画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
【請求項１０】
前記圧縮伸張画像信号と前記第１のメモリから読み込まれる復号画像信号のいずれかを選択する表示用選択器と、該表示用選択器により選択された画像信号を処理して動画像の表示のための再生画像信号を生成する処理部をさらに具備する請求項２に記載の動画像復号装置。
【請求項１１】
前記復号画像信号に含まれる符号化ノイズを除去するノイズ除去部をさらに具備し、前記圧縮器は前記符号化ノイズが除去された後の復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
【請求項１２】
前記圧縮器は、帯域制限フィルタ及びサブサンプリングによって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
【請求項１３】
前記圧縮器は、アダマール変換及び非線形量子化によって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
【請求項１４】
前記圧縮器は、前記復号画像信号中の輝度信号に対してはアダマール変換及び非線形量子化によって前記復号画像信号を圧縮し、前記復号画像信号中の色差信号に対しては帯域制限フィルタ及びサブサンプリングによって前記復号画像信号を圧縮するように構成される請求項２に記載の動画像復号装置。
【請求項１５】
動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する処理と；
前記復号画像信号を圧縮して圧縮画像信号を生成する処理と；
前記復号画像信号を第１のメモリに記憶する処理と；
前記圧縮画像信号を第２のメモリに記憶する処理と；
前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する処理と；
前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する処理と；
前記参照画像信号に対し動き補償を行って前記予測画像信号を生成する処理と；を含む動画像復号処理をコンピュータに行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号方法及び装置に関する。
【背景技術】
【０００２】
MPEG-2 (ISO/IEC 13818-2|ITU-T Rec. H.262), MPEG-4 (ISO/IEC 14496-2), あるいはH.264 (ITU-T Rec. H.264|ISO/IEC 14496-10) などの動画像符号化国際標準方式では、フレーム間もしくはフィールド間のインター予測符号化が採用されている。インター予測符号化方式に基づく動画像符号化データの復号処理においては、画像メモリに記憶された複数フレームの参照画像を用いて動き補償を行うことにより予測画像が生成される。
【０００３】
参照画像を記憶する画像メモリとしては、ＤＲＡＭのような外部メモリ、または復号ＬＳＩに内蔵される内部メモリが用いられる。予測画像の生成に際しては、画像メモリに対して頻繁にメモリアクセスが発生し、高帯域なメモリバンド幅を必要とする。メモリバンド幅を高めるためには、データビット幅の増大によるＬＳＩのピン数の増加や外部メモリ個数の増加、あるいは動作周波数の引き上げが必要となり、結果として実装コストを増加させる。
【０００４】
メモリアクセスの頻度を低減する、すなわちメモリバンド幅を削減するために、復号画像を圧縮して画像メモリに記憶する手法が提案されている。この手法においては、画像メモリに記憶された復号画像は参照画像あるいは表示用の再生画像として使用されるときに読み込まれ、伸張される。例えば、特許文献１及び特許文献２によると、復号画像はフィルタリングにより縮小画像とされてから画像メモリに記憶される。参照画像は、画像メモリから読み込まれる縮小画像を拡大することによって生成される。
【０００５】
特許文献３によると、復号処理は動画像符号化データの低域成分のみを用いて縮小画像ベースで行われる。参照画像は、復号画像をアダマール変換及び量子化により圧縮することにより生成され、画像メモリに記憶される。復号時には、画像メモリから読み込まれる圧縮された参照画像が逆量子化及び逆アダマール変換により伸張される。
【特許文献１】特開２０００−５０２７２号公報
【特許文献２】特開２０００−７８５６８号公報
【特許文献３】特開２０００−０４４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１、２あるいは３に記載されたメモリバンド幅削減手法では、いずれも参照画像生成のために復号画像に対してフィルタリング、あるいはアダマール変換及び量子化といった、非可逆な圧縮及び伸張の処理が施される。このため、復号処理における圧縮歪が参照画像に重畳される。ＭＰＥＧのような動画像符号化方式では、参照画像の歪は次の復号画像に重畳され、歪の重畳された復号画像はさらに次の参照画像として用いられる。このように復号時に発生する歪は時間的に累積され、再生画像において大きなノイズとして知覚される。
【０００７】
本発明では、復号時のメモリバンド幅を削減しつつ、参照画像の生成過程で圧縮を用いた場合に発生する歪の時間方向への伝播を最小限に抑え、再生画像の大きな画質劣化を防止する動画像復号方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成するステップと；前記復号画像信号を圧縮して圧縮画像信号を生成するステップと；前記復号画像信号を第１のメモリに記憶するステップと；前記圧縮画像信号を第２のメモリに記憶するステップと；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成するステップと；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択するステップと；前記参照画像信号に対し動き補償を行って前記予測画像信号を生成するステップと；を具備する動画像復号方法が提供される。
【０００９】
本発明の他の態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する復号部と；前記復号画像信号を圧縮して圧縮画像信号を生成する圧縮器と；前記復号画像信号を記憶する第１のメモリと；前記圧縮画像信号を記憶する第２のメモリと；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する伸張器と；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する参照画像選択器と；前記選択された参照画像信号に対し動き補償を行って前記予測画像信号を生成する動き補償部と；を具備する動画像復号装置が提供される。
【００１０】
本発明のさらに別の態様によると、動画像信号に対する予測画像信号を用いて動画像符号化データを復号して復号画像信号を生成する処理と；前記復号画像信号を圧縮して圧縮画像信号を生成する処理と；前記復号画像信号を第１のメモリに記憶する処理と；前記圧縮画像信号を第２のメモリに記憶する処理と；前記第２のメモリから前記圧縮画像信号を読み込んで伸張し、圧縮伸張画像信号を生成する処理と；前記動画像符号化データのフレーム単位の符号化タイプ及びブロック単位の予測モードの少なくとも一方に応じて前記第１のメモリから読み込まれた復号画像信号及び前記圧縮伸張画像信号のいずれかを参照画像信号として選択する処理と；前記参照画像信号に対し動き補償を行って前記予測画像信号を生成する処理と；を含む動画像復号処理をコンピュータに行わせるためのプログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、復号画像信号と復号画像信号を圧縮した圧縮画像信号の両方をメモリに記憶し、復号時に参照画像信号の生成のために適応的に読み込む画像信号を選択することで、復号時のメモリバンド幅を削減しつつ、復号で発生する歪の時間方向への伝播を最小限に抑えて再生画像の大きな画質劣化を防ぐことが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態について説明する。  
（第１の実施形態）  
図１は、本発明の第１の実施形態に従う動画像復号装置の構成を示している。動画像復号装置には、ＭＰＥＧ−２のような動き補償予測符号化方式によって動画像を符号化して得られる動画像符号化データ１００（例えばＭＰＥＧ−２ビットストリーム）が入力される。動画像符号化データ１００は、まず可変長復号器１０１によって可変長復号、すなわち可変長符号を復号する処理が行われる。可変長復号器１０１は、量子化された直交変換係数（例えばＤＣＴ係数）及び符号化モード情報１１９を生成する。
【００１３】
符号化モード情報１１９は、動画像符号化データの符号化タイプ、すなわちピクチャ単位の符号化タイプ（符号化ピクチャタイプ）、画素ブロック単位（例えばマクロブロック単位）の符号化タイプ（符号化マクロブロックタイプ）、あるいは画素ブロック単位の予測モードなどを表す情報を含む。量子化された直交変換係数は、逆量子化器１０２によって逆量子化される。逆量子化された直交変換係数は、逆直交変換器１０３によって逆直交変換され、これによって予測残差信号が生成される。
【００１４】
加算器１０４では、逆直交変換器１０３から出力される予測残差信号と動き補償部１０６から出力される予測画像信号１０７とが画素ブロック単位で加算されることにより、画素ブロック単位の復号画像信号１０８が生成される。画素ブロックとは、複数の画素を含む２次元または１次元のブロックである。復号画像信号１０８は、外部メモリ１１２内の第１フレームメモリ１１３に書き込まれる。復号画像信号１０８は、さらに圧縮器１１５により圧縮される。圧縮器１１５により生成される圧縮画像信号は、第２フレームメモリ１１４に書き込まれる。第１フレームメモリ１１３及び第２フレームメモリ１１４は、図１の例では外部メモリ１１２（復号ＬＳＩの外部にあるＤＲＡＭのようなメモリ）内に設けられているが、内部メモリ（復号ＬＳＩに内蔵されるメモリ）内にあってもよい。
【００１５】
参照画像選択器１２０は、可変長復号器１０１から出力される符号化モード情報１１９（符号化ピクチャタイプ、符号化マクロブロックタイプ、あるいは画素ブロック単位の予測モード）に応じて復号モードを選択し、選択した復号モードに適した参照画像信号の選択を行う。すなわち、参照画像選択器１２０は選択した復号モードに応じて、第１フレームメモリ１１３から読み込まれる復号画像信号か、あるいは第２フレームメモリ１１４から読み込まれる圧縮画像信号を第１伸張器１１６により伸張して得られる画像信号（以下、圧縮伸張画像信号）のいずれかを参照画像信号として選択する。復号モードの選択方法については、後に詳しく説明する。参照画像選択器１２０によって選択された参照画像信号は、動き補償部１０６に入力される。
【００１６】
第２フレームメモリ１１４から読み込まれる圧縮画像信号は、第２伸張器１１７により伸張される。第２伸張器１１７から出力される画像信号は、復号画像信号を圧縮器１１５により圧縮した後に第２フレームメモリ１１４を介して第２伸張器１１７により伸張した信号であるため、圧縮伸張画像信号という。圧縮伸張画像信号は、バックエンド処理部１０５へ供給される。バックエンド処理部１０５では、入力される圧縮伸張画像信号に対してスケーリング、エッジエンハンス及び色補正などの後処理を行い、表示のための画像信号（再生画像信号という）１１０を出力する。再生画像信号１１０は図示しない表示部へ供給され、ここで動画像（映像）の表示が行われる。
【００１７】
一般に、動画像復号処理では（ａ）画像メモリへの復号画像信号の書き込み、（ｂ）表示すなわち再生画像信号の生成のための、画像メモリからの復号画像信号の読み込み、及び（ｃ）予測画像信号生成のための、画像メモリからの参照画像信号の読み込みが必要とされる。従って、画像メモリに対する単位時間当たりのデータ転送量、すなわちメモリバンド幅が非常に高くなる。特に、高精細フレーム(high-definition television: HDTV)のような画素レートの高い映像信号の動画像符号化データを復号する場合、非常に高いメモリバンド幅が要求される。
【００１８】
通常は、高いメモリバンド幅に対応するため、複数の画像メモリを並列に配置することで同時に転送するデータのビット幅を大きくし、且つ高速の転送が可能なメモリ素子を用いる。このため、画像メモリのコストが動画像復号装置の実装コストに大きく影響する。動き補償予測によって符号化された動画像データを復号する場合、参照画像信号の読み込みに際しては、画像メモリ内の動きベクトルで指し示される位置の画素ブロックに対するランダムアクセスが必要となる。従って、メモリアクセスのオーバヘッドが大きく、特に高いバンド幅が要求される。一方、画像メモリへの復号画像信号の書き込みは画素ブロック単位で連続的に行われ、また画像メモリからの表示のための復号画像信号の読み込みはライン単位で連続的に行われる。従って、復号画像信号の書き込み／読み込みのためのメモリアクセスのオーバヘッドは小さい。
【００１９】
本発明の第１の実施形態では、大きなメモリバンド幅を必要とする、予測画像信号の生成のために外部メモリ１１２から参照画像信号を読み込む際のデータ転送量を削減することにより、全体のメモリバンド幅を削減し、もって復号装置のコストを低減する。すなわち、第１の実施形態によると図１に示されるように外部メモリ１１２内に通常の復号画像信号を一時記憶する第１フレームメモリ１１３に加えて、圧縮器１１５により圧縮した復号画像信号を一時記憶する第２フレームメモリ１１４が設けられる。
【００２０】
参照画像選択器１２０においては、参照画像信号を得るために（ａ）外部メモリ１１２から画像信号を読み込む際、第１フレームメモリ１１３に記憶されている非圧縮の復号画像信号を読み込むか、あるいは（ｂ）第２フレームメモリ１１４に記憶されている圧縮画像信号を読み込んで伸張器１１６により伸張するかが、符号化ピクチャタイプ、符号化マクロブロックタイプあるいは予測モードを表す符号化モード情報に応じた復号モードに従って適応的に選択される。これにより、常に非圧縮の復号画像信号を画像メモリから読み込んで参照画像信号を生成する通常の動画像復号化装置に比較して、外部メモリ１１２から画像信号を読み込む際のメモリバンド幅が効率的に削減される。
【００２１】
一方、復号画像信号を圧縮して画像メモリに一時記憶し、画像メモリから読み込まれた復号画像信号を伸張して参照画像信号を生成すると、参照画像信号の歪みが時間的に累積され、再生画像信号に大きなノイズが重畳される。本発明の第１の実施形態によると、このような問題点も解決される。
【００２２】
以下、図２乃至図５を用いて本発明の第１の実施形態に従う動画像復号装置の動作を通常の動画像復号装置あるいは、先の特許文献１、２あるいは３に記載されたような、メモリバンド幅を削減させた比較例に従う動画像復号装置の動作と対比して説明する。
【００２３】
図２は、ＭＰＥＧ−２など動き補償予測フレーム間符号化の予測構造を示している。図２中のＩ０，Ｐ１，・・・は動画像符号化データの各符号化画像のフレームを示しており、矢印は参照画像から符号化画像へのフレーム間予測の関係を示している。Ｉはフレーム内符号化画像（Ｉピクチャ）、Pは前方予測符号化画像（Ｐピクチャ）、そしてＢは双方向予測符号化画像（Ｂピクチャ）をそれぞれ示している。Ｉ，Ｐ，Ｂに付加されている数字は、表示フレーム順序を示している。前述した符号化ピクチャタイプは、符号化画像がＩピクチャ、Ｐピクチャ及びＢピクチャのいずれかを表す。
【００２４】
通常の動画像復号装置では、まずＩ０ピクチャが復号され、Ｉ０ピクチャの復号画像を参照画像として用いてＰ３ピクチャが復号される。さらにＩ０ピクチャ及びＰ３ピクチャの復号画像を参照画像として用いて、Ｂ１ピクチャ及びＢ２ピクチャの復号が行われる。次に、Ｐ３ピクチャの復号画像を参照画像として用いてＰ６ピクチャの復号が行われる。このようにして順次復号が行われる。
【００２５】
図３は、比較例に従う動画像復号装置の復号動作を示している。各ピクチャの復号の順序は、図２と同様である。まず、Ｉ０ピクチャの復号が行われ、Ｉ０ピクチャの復号画像に対して非可逆な圧縮伸張処理が施されることによって、圧縮伸張画像４００が生成される。圧縮伸張画像４００には、非可逆な圧縮処理に起因して発生する圧縮ノイズ（図中の記号＊によって表される）が重畳される。Ｐ３ピクチャは圧縮伸張画像４００を参照画像として用いて復号されるので、圧縮伸張画像４００に重畳されているノイズがそのままＰ３ピクチャの復号画像にも重畳される。Ｐ３ピクチャの復号画像に対して非可逆な圧縮伸張処理が施され、圧縮伸張画像４０１が生成される。圧縮伸張画像４０１には、さらなる非可逆な圧縮処理により圧縮ノイズが重畳される。
【００２６】
次に、圧縮伸張画像４００及び４０１を参照画像として用いてＢ１ピクチャ及びＢ２ピクチャの復号が行われる。Ｂ１ピクチャ及びＢ２ピクチャの復号画像には、圧縮伸張画像４００及び４０１の持つ圧縮ノイズが重畳される。但し、Ｂピクチャの双方向予測では、２つの参照画像の平均値を予測画像とするため、参照画像の平均化処理により参照画像の圧縮に起因するランダムな圧縮ノイズは軽減される。次に、圧縮伸張画像４０１を用いてＰ６ピクチャの復号が行われ、さらにＰ６ピクチャの復号画像に非可逆な圧縮処理が施されて圧縮伸張画像４０２が生成される。圧縮伸張画像４０２には、さらなる非可逆な圧縮処理より累積的に圧縮ノイズが重畳される。
【００２７】
このように図３に示した比較例に従う復号処理では、参照画像の圧縮処理による圧縮ノイズがフレーム間予測符号化の構造に従って時間的に累積する。さらに、累積した圧縮ノイズは表示に供される復号画像にも累積的に重畳されるため、再生画像信号に大きな画質劣化が発生する。
【００２８】
図４は、図１に示した本発明の第１の実施形態に従う動画像復号装置の復号動作を示している。各ピクチャの復号の順序は図１及び図２と同様である。まず、図２と同様にＩ０ピクチャの復号が行われ、Ｉ０ピクチャの復号画像に対して非可逆な圧縮処理が施された後、第２フレームメモリに一時保存され、さらに伸張処理が施されることによって圧縮伸張画像４１０が生成される。非可逆な圧縮処理により、圧縮伸張画像４１０には圧縮ノイズ（図中の記号＊によって表される）が重畳される。Ｐ３ピクチャは、圧縮伸張画像４１０ではなく、Ｉ０ピクチャの非圧縮の復号画像を参照画像として用いて復号処理が行われるため、Ｐ３ピクチャの復号画像には参照画像の圧縮による圧縮ノイズは重畳されない。
【００２９】
次に、Ｐ３ピクチャの復号画像に対して非可逆な圧縮処理が施され、圧縮伸張画像４１１が生成される。圧縮伸張画像４１１には、非可逆な圧縮処理により圧縮ノイズが重畳される。次に、圧縮伸張画像４１０及び４１１を参照画像として用いてＢ１ピクチャ及びＢ２ピクチャの復号が行われる。Ｂ１ピクチャ及びＢ２ピクチャの復号画像には、圧縮伸張画像４１０及び４１１の圧縮ノイズが重畳される。但し、Ｂピクチャの双方向予測では２つの参照画像の平均値を予測画像とするため、参照画像の平均化処理により、参照画像の圧縮に起因するランダムな圧縮ノイズは軽減される。次に、Ｐ３ピクチャの非圧縮の復号画像を参照画像として用いて、Ｐ６ピクチャの復号が行われる。
【００３０】
このように本発明の第１の実施形態に従う動画像復号装置では、復号画像が参照画像として用いられるＰピクチャは、非圧縮の復号画像（例えば、Ｉ０ピクチャの復号画像）を参照画像として用いて復号されるため、参照画像の圧縮処理に起因する圧縮ノイズの累積が起こらない。一方、復号画像が参照画像として用いられないＢピクチャは、圧縮伸張画像を参照画像として用いて復号されるため、画像の読み込みに伴うメモリバンド幅を低減することができる。Ｂピクチャの復号画像は参照画像として用いられないため、参照画像の圧縮ノイズの時間方向への累積は発生せず、画質劣化を大きくすることはない。Ｂピクチャの双方向予測では２つの参照画像のための読み込みが必要となり、Ｐピクチャよりも高いメモリバンド幅を必要とするが、圧縮伸張画像を参照画像として用いることで効果的にピークのメモリバンド幅の削減を行うことが可能となる。
【００３１】
図５は、図１に示した本発明の第１の実施形態に従う動画像復号装置の他の復号動作例を示している。まず、Ｉ０ピクチャの復号画像に対して圧縮４３０が行われ、圧縮画像４２０が生成される。次に、図４と同様にＩ０ピクチャの非圧縮の復号画像を参照画像として用いてＰ３ピクチャの復号が行われる。Ｐ３ピクチャの復号画像は圧縮され、圧縮画像４２３が生成される。次に、Ｉ０ピクチャ及びＰ３ピクチャの非圧縮の復号画像と、これらをそれぞれ圧縮処理した圧縮画像４２０及び４２３を用いてＢ１ピクチャの復号が行われる。
【００３２】
Ｂピクチャにおいては、前方参照フレーム（ここではＩ０ピクチャ）のみから予測を行う前方予測画素ブロックｆｗと、後方参照フレーム（ここではＰ３ピクチャ）のみから予測を行う後方予測画素ブロックｂｗ、及び双方向の参照フレーム（ここではＩ０ピクチャ及びＰ３ピクチャ）の予測画像の平均値で予測を行う双方向予測画素ブロックｂｉが混在する。言い換えれば、ＢピクチャにはＢピクチャの予測画素ブロックが前方予測画素ブロック、後方予測画素ブロック及び双方向予測画素ブロックのいずれかであるかを表す画素ブロック単位の予測モードが用意されている。
【００３３】
図５の復号動作例では、前方予測画素ブロックｆｗはＩ０ピクチャの非圧縮の復号画像を参照画像として用いて復号され、後方予測画素ブロックｂｗはＰ３ピクチャの非圧縮の復号画像を参照画像として用いて復号される。このように前方予測画素ブロックあるいは後方予測画素ブロックでは、復号に一つの参照画像しか必要としないため、高いメモリバンド幅を必要としない。従って、上記のように圧縮ノイズのない非圧縮の復号画像を参照画像として用いることにより、前方予測画素ブロック及び後方予測画素ブロックに対応する復号画像の劣化が防止される。
【００３４】
一方、双方向予測画素ブロックｂｉに対しては、圧縮画像４２０及び４２３を外部メモリから読み込み、それぞれに伸張４３１及び４３２を施して得られる２つの圧縮伸張画像を参照画像として用いて、当該２つの参照画像の平均値により予測画像が生成される。一般に２つの参照画像が必要となる双方向予測画素ブロックでは、高いメモリバンド幅が要求される。これに対して、図５の復号動作例では外部メモリに圧縮画像を記憶しておき、これを読み込みかつ伸張して得られる圧縮伸張画像を参照画像として用いて予測画像信号を生成することで、メモリバンド幅を低減することができる。さらに、双方向予測画素ブロックに対しては、２つの参照画像の平均値により予測画像が生成されるため、参照画像の圧縮ノイズは平均化処理により低減され、画質劣化は大きくならない。
【００３５】
このようにＢピクチャの双方向予測画素ブロックについてのみ、圧縮伸張画像を参照画像として用いた動き補償予測により復号を行うことにより、ピークのメモリバンド幅を低減できる。また、圧縮伸張画像を用いることによる復号画像の画質劣化を最小限に抑えることができる。
【００３６】
参照画像として用いられないＢ１ピクチャの復号画像は圧縮処理が施され、圧縮画像４２１として外部メモリに記憶される。参照画像として用いられるＩピクチャ及びＰピクチャの復号画像に関しては、非圧縮の復号画像信号と圧縮画像信号の双方が外部メモリに一時記憶されるのに対して、Ｂピクチャの復号画像に関しては圧縮画像信号のみが外部メモリに一時記憶される。Ｂ２ピクチャについては、Ｂ１ピクチャと同様に復号処理が行われる。次に、Ｐ４ピクチャの復号が行われる。Ｐ４ピクチャは、表示順でＰ３ピクチャに連続する。
【００３７】
ＭＰＥＧ−２方式では、時間的にＩまたはＰピクチャと連続するＰピクチャに対して、１つ参照画素ブロックを用いる前方予測画素ブロックに加えて、２つの参照画素ブロックの平均値を予測画像とするデュアルプライム(dual-prime)予測と呼ばれる予測モードのブロック（デュアルプライム予測画素ブロックという）を選択することが可能である。言い換えれば、時間的にＩまたはＰピクチャと連続するＰピクチャには、少なくとも予測画素ブロックが単一の参照画像を用いた前方予測画素ブロック及び複数の参照画像を用いたデュアルプライム予測画素ブロックのいずれかであるかを表す画素ブロック単位の予測モードが用意されている。デュアルプライム予測では、Ｂピクチャの双方向予測と同様に、２つの参照画像の読み込みが必要となり、高いメモリバンド幅が要求される。
【００３８】
図５の復号動作例に従うと、時間方向に連続する２つのＰピクチャ（例えば、Ｐ３ピクチャ及びＰ４ピクチャ）の後方側のＰピクチャ（ここではＰ４ピクチャ）において、前方予測画素ブロックｆｗは非圧縮の参照画像（ここではＰ３ピクチャ）を用いて復号される。デュアルプライム予測画素ブロックに対しては、外部メモリに記憶された圧縮画像４２３中の２つの参照ブロックが読み込まれ、それぞれに伸張処理４３３及び４３４が施される。伸張後の２つの参照ブロックの平均値から予測画像が生成されることによって、ピークのメモリバンド幅が削減される。デュアルプライム予測では、Ｂピクチャの双方向予測と同様に、２つの参照画像の平均値または線形和で予測画像を生成するため、圧縮画像の圧縮ノイズは平均化により低減され、画質劣化も最小限に抑えられる。Ｐ４ピクチャの復号画像に対して圧縮処理４３５が施されることにより圧縮画像４２４が生成され、画像４２４が外部メモリに記憶される。
【００３９】
復号画像は、符号化順序から表示順序へと並べ替えが行われて表示される。図５の復号動作例では、外部メモリ１１２に記憶された圧縮画像４２０，４２１，４２３及び４２４は表示順に読み込まれ、それぞれ伸張器１１７により伸張された後、バックエンド処理部１０５を経て表示部に送られ、動画像が表示される。このように動画像の表示に圧縮伸張画像を用いることで、表示のための外部メモリ１１２からの復号画像の読み込みデータ量が削減され、メモリバンド幅を低減することができる。また、Ｂピクチャは参照画像として用いられないため、圧縮画像のみを外部メモリ１１２に一時記憶すればよく、外部メモリ１１２への画像の書き込みデータ量を削減することが可能となる。
【００４０】
以上まとめると、本発明の第１の実施形態では以下の利点がある。  
（１）外部メモリ１１２からの画像のランダム読み込みに際して、特に高いメモリバンド幅が要求される、２つの参照画像を用いる予測画素ブロックの復号、及び参照画像として用いられないＢピクチャの復号時には圧縮画像を読み込む。これによって、画像のランダム読み込み時のメモリバンド幅を大幅に削減できる。
【００４１】
（２）外部メモリ１１２への復号画像の書き込みに際しては、参照画像として用いられないＢピクチャについては復号画像を圧縮してから書き込みを行うことにより、メモリバンド幅を削減することができる。
【００４２】
（３）動画像の表示のために外部メモリ１１２から復号画像を読み込む際には、圧縮された復号画像（圧縮画像）を読み込み、それを伸張した後に再生画像信号を生成することにより、メモリバンド幅を削減することができる。
【００４３】
（４）参照画像として用いられるＩピクチャ及びＰピクチャの復号画像を外部メモリ１１２に書き込む際には、通常の非圧縮の復号画像に加えて圧縮された復号画像も書き込む必要があるため、メモリバンド幅が増加する。しかし、復号画像の書き込みは連続したアドレスについて行われるため、メモリアクセスのオーバヘッドは参照画像のための読み込みに比べて十分小さく、また他のメモリバンド幅削減効果に比較してメモリバンド幅の増加量は小さい。
【００４４】
このように復号処理におけるトータルのメモリバンド幅は、通常の動画像復号装置に比べて大幅に削減される。すなわち、本発明の第１の実施形態によれば、外部メモリに対するメモリバンド幅の削減により、外部メモリのビット幅や外部メモリの個数を削減でき、外部メモリの動作クロックを削減することも可能となる。従って、画質劣化を最小限に抑えつつ、動画像復号装置の低コスト化や低消費電力化を実現することが可能となる。
【００４５】
（復号モードの選択方法について）  
本発明の実施形態では、後述するように参照画像を非圧縮の復号画像と圧縮画像のどちらかから選択することと、表示に供される復号画像を非圧縮の復号画像と圧縮された復号画像のどちらかから選択することが可能である。なお、参照画像及び表示のための再生画像共に非圧縮の復号画像を用いた場合は、通常の復号と同様となる。
【００４６】
以下の説明では、非圧縮の復号画像を参照画像及び再生画像に用いる通常の復号モードを“フルデコード”と呼ぶ。また、圧縮伸張画像を参照画像として用いる復号モードを“圧縮参照デコード”と呼び、非圧縮の復号画像を参照画像として用いる復号モードを“フル参照デコード”と呼ぶ。以下、本発明の実施形態における種々の復号モード選択方法について説明する。
【００４７】
（第１の復号モード選択方法）  
図６は、第１の復号モード選択方法の処理手順を示している。第１の復号モード選択方法では、符号化された動画像シーケンス単位で復号モードを選択する。まず、符号化された動画像シーケンスのフレームレートと画像サイズの情報を読み込む（ステップＳ１００）。フレームレートと画像サイズとを乗算して、単位時間当たりの画素数である画素レート(pixel per second: PPS)を計算する（ステップＳ１０１）。ステップＳ１０１で計算された画素レートと閾値ＴＨ１を比較し（ステップＳ１０２）、画素レートがＴＨ１を下回ればフルデコードモードを選択し（ステップＳ１０３）、画素レートがＴＨ１以上の場合は圧縮参照モードを選択する（ステップＳ１０４）。外部メモリ１１２のメモリバンド幅は通常、画素レートと比例関係にあると仮定できる。閾値ＴＨ１を復号装置がフルデコードモードで処理できる最大の画素レートか、あるいはそれ以下の値に設定することで、画質劣化を最小限に抑えた最適な復号モードを選択することが可能となる。
【００４８】
（第２の復号モード選択方法）  
次に、図７を参照して本発明の実施形態に従う第２の復号モード選択方法を説明する。第２の復号モード選択方法では、第１の復号モード選択方法と同様に、符号化された動画像シーケンス単位で動作モードを選択する。まず、第１の復号モード選択方法と同様に、符号化された動画像シーケンスのフレームレートと画像サイズの情報を読み込み（ステップＳ１１０）、それらを乗算して画素レート（pixel per second（ＰＰＳ）を計算する（ステップＳ１１１）。ステップＳ１１１で計算された画素レートと第１閾値ＴＨ１を比較し（ステップＳ１１２）、画素レートがＴＨ１を下回れば、フルデコードモードを選択する（ステップＳ１１３）。
【００４９】
次に、画素レートがＴＨ１以上の場合は、画素レートと第２閾値ＴＨ２を比較する（ステップＳ１１４）。画素レートがＴＨ２を下回る場合は、参照画像に対しては圧縮・非圧縮切替モード、再生画像に対しては非圧縮モードをそれぞれ選択する（ステップＳ１１５）。圧縮・非圧縮モードでは、第１フレームメモリ１１３から読み出される非圧縮の復号画像と、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像のいずれかを適応的に切り替える。非圧縮モードでは、非圧縮の復号画像を選択する（ステップＳ１１５）。
【００５０】
一方、画素レートがＴＨ２以上の場合は、参照画像に対してはステップＳ１１５と同様に圧縮・非圧縮モードを選択し、再生画像に対して圧縮伸張画像を用いる圧縮モードを選択する（ステップＳ１１７）。閾値ＴＨ２は閾値ＴＨ１より大きな値であり、復号装置がステップＳ１１５の処理により正しく復号動作することが可能となるように、すなわちメモリバンド幅の不足が発生しないように設定される。
【００５１】
同一画素レートの動画像符号化データに対して、復号処理で必要となるメモリバンド幅は、ステップＳ１１７、ステップＳ１１５、ステップＳ１１３の順に高くなる。従って、第２の復号モード選択方法を用いることで、入力される動画像符号化データの画素レートに応じて最も画質劣化の少ない最適な復号モードを選択することが可能となる。
【００５２】
（第３の復号モード選択方法）  
次に、図８を用いて本発明の実施形態に従う第３の復号モード選択方法について説明する。図８のフローチャートでは、図７に対して画素レートと第３の閾値ＴＨ３との比較を行うステップＳ１１６が付加されている。ステップＳ１１６において画素レートがＴＨ３を上回る場合は、参照画像及び再生画像に対して常に圧縮モードを選択する（ステップＳ１１９）。すなわち、ステップＳ１１９では第２フレームメモリ１１４から参照画像生成のための読み込み及び再生画像生成のための読み込みを行い、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を用いて参照画像及び再生画像を生成する。
【００５３】
一方、ステップＳ１１６において画素レートがＴＨ３以下の場合は、参照画像に対してはステップＳ１１５と同様に圧縮・非圧縮モードを選択し、再生画像に対して圧縮伸張画像を用いる圧縮モードを選択する（ステップＳ１１７）。図８中の他の処理は、図７と同様である。閾値ＴＨ３は閾値ＴＨ２より大きな値であり、ステップＳ１１７で復号が可能な最大の画素レートから決定される。
【００５４】
同一画素レートの動画像符号化データに対して、復号処理で必要となるメモリバンド幅はステップＳ１１９、ステップＳ１１７、ステップＳ１１５及びステップＳ１１３の順に高くなる。従って、第３の復号モード選択方法を用いることにより、入力される動画像符号化データに対して、画素レートに応じて最も画質劣化の少ない最適な復号モードを選択することが可能となる。
【００５５】
（第４の復号モード選択方法）  
次に、図９を用いて本発明の実施形態に従う第４の復号モード選択方法について説明する。第４の復号モード選択方法では、動画像符号化データ１００の符号化ピクチャ単位で動作モードを選択する。復号を開始すると（ステップＳ１２０）、まず符号化ピクチャ毎のヘッダ情報（ピクチャヘッダ情報）の読み込みを行う（ステップＳ１２１）。ピクチャヘッダ情報に従って、該符号化ピクチャが参照ピクチャか否か（参照ピクチャとして用いられるインター符号化ピクチャか否か）の判定を行う（ステップＳ１２２）。例えば、動画像符号化データ１００の符号化方式がＭＰＥＧ−２の場合を例にとると、ステップＳ１２２ではピクチャヘッダ情報を解析することにより、ピクチャヘッダのシンタックスエレメントである符号化タイプ（“picture_coding_type”）を調べる。この符号化タイプがBピクチャであれば “Ｎｏ”、すなわち符号化ピクチャが参照ピクチャでないと判定し、ＩピクチャまたはＰピクチャであれば“Ｙｅｓ”、すなわち符号化ピクチャが参照ピクチャであると判定する。
【００５６】
一方、動画像符号化データ１００の符号化方式がＨ．２６４であれば、ステップＳ１２２ではＨ．２６４規格で規定されるＮＡＬユニットシンタックスの“nal_ref_idc”を参照する。“nal_ref_idc”の値が０の場合は参照ピクチャとはならないため、ステップＳ１２２では“Ｎｏ”、すなわち符号化ピクチャが参照ピクチャでないと判定し、“nal_ref_idc”の値が非ゼロの場合は参照ピクチャとなるため、ステップＳ１２２は“Ｙｅｓ”すなわち符号化ピクチャが参照ピクチャであると判定する。
【００５７】
ステップＳ１２２で“Ｙｅｓ”が選択された符号化ピクチャは、フル参照デコードモード（ステップＳ１２３）により復号され、ステップＳ１２３で“Ｎｏ”が選択された符号化ピクチャは、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を参照画像とする圧縮参照デコードモード（ステップＳ１２４）により復号される。
【００５８】
次に、復号の継続の有無をチェックする（ステップＳ１２５）。継続して復号を行う場合は、次のピクチャの復号処理を行うためにステップＳ１２１に戻り、復号を停止する場合はステップＳ１２６で復号を終了する。
【００５９】
このように第４の復号モード選択方法によると、参照画像として用いられる符号化ピクチャに対しては通常のフル参照デコードを行うことで、参照画像の圧縮による圧縮ノイズの時間方向の伝播を防ぐことができる。一方、参照画像として用いられない符号化ピクチャに対しては、圧縮伸張画像を参照画像として用いることで、参照画像のための画像読み込みのメモリバンド幅が削減される。従って、復号画像の画質劣化を抑えつつ、メモリバンド幅が効率的に削減することができる。
【００６０】
（第５の復号モード選択方法）  
次に、図１０を用いて本発明の実施形態に従う第５の復号モード選択方法について説明する。第５の復号モード選択方法では、第４の復号モード選択方法と同様に、符号化ピクチャ単位で復号モードを選択する。第４の復号モード選択方法では、図９に示したようにフル参照デコード（ステップＳ１２３）と圧縮参照フレームメモリを用いた圧縮参照デコード（ステップＳ１２４）との選択を、復号対象の符号化ピクチャが参照ピクチャとして用いられるか否かをステップＳ１２２で判定することによって行う。
【００６１】
これに対し、第５の復号モード選択方法においては、外部メモリ１１２に対するメモリアクセスの負荷を計測し（ステップＳ１４０）、計測された負荷が所定値を超える過負荷となっているか否かを調べる（ステップＳ１４１）。この結果、過負荷の場合には圧縮参照デコードモードを選択し（ステップＳ１２４）、負荷が所定値を下回る場合は通常のフル参照デコードモードを選択する（ステップＳ１２３）。
【００６２】
このように第４の復号モードの選択方法によると、外部メモリ１１２に対するアクセスの負荷に応じて最適な復号モードを選択できる。従って、復号処理による画質劣化を最小限に抑えつつ、メモリアクセスの過負荷による復号の破綻を防ぐことか可能となる。
【００６３】
（第６の復号モード選択方法）  
次に、図１１を参照して本発明の実施形態に従う第６の復号モード選択方法について説明する。第６の復号モード選択方法では、符号化された画素ブロック単位で復号モードを選択する。１つの符号化ピクチャのデコードが開始されると（ステップＳ１３０）、まず符号化単位であるマクロブロックのヘッダ情報の読み込みを行う（ステップＳ１３１）。読み込んだヘッダ情報に従って、復号対象の画素ブロックに対する予測モードが「複数参照予測モード」、すなわち複数の参照画像を用いて予測画像信号を生成するモードか否かを判定する（ステップＳ１３２）。具体的には、複数参照予測モードでは複数の参照画像の平均値あるいは線形和によって予測画像信号を生成する。
【００６４】
ステップＳ１３２において予測モードが複数参照予測モードと判定された場合は、第２フレームメモリ１１４から読み出される圧縮された復号画像を伸張して得られる圧縮伸張画像を参照画像とする圧縮参照デコードモードで復号を行う（ステップＳ１３３）。一方、ステップＳ１３２において複数参照予測モードでないと判定された場合、言い換えれば単一の参照画像を用いて予測画像信号を生成する単一参照予測モードと判定された場合は、通常のフル参照デコードモードで復号を行う（ステップＳ１３４）。このような復号の処理を符号化ピクチャ内の全てのマクロブロックについて行い（ステップＳ１３５）、符号化ピクチャ内の全てのマクロブロックの復号が終了したら、該符号化ピクチャの復号を終了する（ステップＳ１３６）。
【００６５】
複数参照予測モードが適用される画素ブロックでは、参照画像の読み込みのためにより高いメモリバンド幅が要求される。これに対し、単一参照予測モードでは必要なメモリバンド幅は小さい。第６の復号モード選択方法によれば、符号化画素ブロック単位でフレーム間予測モードの違いに応じて、メモリバンド幅が高くなる複数参照予測モードでは、圧縮参照デコードモードで復号を行い、単一参照予測モードでは非圧縮デコードモードで復号を行う。これによってピークのメモリバンド幅を削減しつつ、再生画像の画質劣化を最小限に抑えることができる。
【００６６】
（第７の復号モード選択方法）  
次に、図１２を用いて本発明の実施形態に従う第７の復号モード選択方法について述べる。第７の復号モード選択方法は、第６の復号モード選択方法と同様に、符号化された画素ブロック単位で動作モードを選択する。第６の復号モードの選択方法では、図１１に示したようにフル参照デコードモード（ステップＳ１３４）と圧縮参照フレームメモリを用いた圧縮参照デコードモード（ステップＳ１３３）との選択を各画素ブロック（マクロブロック）の予測モードによって選択している（ステップＳ１３２）。
【００６７】
これに対して、第７の復号モード選択方法では、外部メモリ１１２に対するメモリアクセスの負荷を計測し（ステップＳ１４２）、計測された負荷が所定値を超える過負荷となっているか否かを調べる（ステップＳ１４３）。この結果、過負荷の場合には圧縮参照デコードモードを選択し（ステップＳ１３３）、負荷が所定値を下回る場合は通常のフル参照デコードモードを選択する（ステップＳ１３４）。このような復号モードの選択を画素単位で、ステップＳ１３５において全てのマクロブロック（ＭＢ）のデコードが終了したと判断されるまで行う。
【００６８】
このように第７の復号モード選択方法によれば、メモリアクセスの負荷に応じて画素ブロック単位に最適な復号モードを選択できるので、復号処理による画質劣化を最小限に抑えつつ、メモリアクセスの過負荷による復号の破綻を防ぐことが可能となる。
【００６９】
（フル参照デコード処理）  
次に、図１３を用いて図６乃至図１２中に示したフル参照デコード（ステップＳ１０３，Ｓ１１３，Ｓ１２３及びＳ１３４）の処理の詳細について説明する。図１３は、マクロブロック単位のフル参照デコード処理のフローを示している。
【００７０】
各符号化マクロブロックの復号が開始されると（ステップＳ１５０)、符号化マクロブロックデータのエントロピー符号の復号を行い、量子化された直交変換係数、予測モード及び動きベクトルの情報を生成する（ステップＳ１５１）。ステップＳ１５１で生成された直交変換係数に対して逆量子化（ステップＳ１５２）及び逆直交変換（ステップＳ１５４）を順次行い、予測残差信号Ｅを生成する。一方、ステップＳ１５１で生成される予測モードや動きベクトルの情報に基づいて参照画像信号の読み込みを行い（ステップＳ１５３）、予測モードに応じて予測画像Ｐを生成する（ステップＳ１５５）。予測残差信号Ｅと生成された予測画像Ｐを加算し、復号画像を生成する（ステップＳ１５６）。生成された復号画像は、第１フレームメモリ１１３に書き込まれる（ステップＳ１５７）、また圧縮処理（ステップＳ１５８）を経て第２フレームメモリ１１４に書き込まれる（ステップＳ１５９）。フレームメモリ１１３及び１１４への書き込みは、符号化ピクチャのピクチャタイプに応じて以下のルールによって行われる。
【００７１】
（ルール１）参照画像として用いられる符号化ピクチャ（ＭＰＥＧ−２の場合はＩピクチャ及びＰピクチャ）：非圧縮の復号画像を第１フレームメモリ１１３に書き込み、圧縮伸張復号画像を第２フレームメモリ１１４に書き込む。
【００７２】
（ルール２）参照画像として用いられない符号化ピクチャ（ＭＰＥＧ−２の場合はＢピクチャ）：圧縮伸張画像を表示のための再生画像信号に用いる場合は、第２フレームメモリ１１４への圧縮画像の書き込み（ステップＳ１５９）のみを行い、第１フレームメモリ１１３への非圧縮の復号画像の書き込み（ステップＳ１５７）は行わない。
【００７３】
非圧縮の復号画像を表示のための再生画像に用いる場合は、復号画像の圧縮（ステップＳ１５８）及び第２フレームメモリ１１４への圧縮画像の書き込み（ステップＳ１５９）は行わず、第１フレームメモリ１１３への非圧縮の復号画像の書き込み（ステップＳ１５７）のみ行う。
【００７４】
（圧縮参照デコード処理）  
次に、図１４を参照して図６乃至図１２中に示した圧縮参照デコード（ステップＳ１０４，Ｓ１１５，Ｓ１１７，Ｓ１１９，Ｓ１２４及びＳ１３３）の処理の詳細について説明する。図１４は、マクロブロック単位の圧縮参照デコード処理のフローを示している。
【００７５】
図１４において、予測残差信号Ｅを生成するまでの過程は図１３のフルデコードの処理と同様である。一方、予測画像Ｐの生成は以下に示すように圧縮伸張画像を参照画像として用いて行われる。エントロピー復号処理（ステップＳ１５１）で生成された予測モード及び動きベクトルの情報に基づいて第２フレームメモリ１１４から圧縮画像を読み込み（ステップＳ１６０）、読み込まれた圧縮画像の伸張を行い（ステップＳ１６１）、これによって得られる圧縮伸張画像を参照画像として用いて予測画像Ｐの生成を行う（ステップＳ１５５）。
【００７６】
このようにして生成された予測残差信号Ｅと予測画像Ｐを加算することで、復号画像を生成する（ステップＳ１５６）。復号画像のフレームメモリ１１３及び１１４への書き込みは、図１３のフル参照デコードと同様にルール１及び２に従って行われる。
【００７７】
次に、本発明の実施形態に従う動画像復号装置における復号画像の圧縮伸張処理の具体例について説明する。  
（圧縮伸張処理の第１の具体例）  
図１５及び図１６は、復号画像の圧縮伸張処理の第１の具体例を示している。第１の圧縮伸張方法では、復号画像信号５００が４×４や８×８の２次元ブロック単位、あるいは４×１や８×１の１次元ブロック単位で図１５に示される圧縮器（図１中の圧縮器１１５に相当）に入力される。図１５の圧縮器では、入力されるブロック毎にアダマール変換器５０１によりアダマール変換を行い、それによって生成される変換係数に対して非線形量子化器５０２により非線形量子化を施すことでデータ量を圧縮する。非線形量子化が施された変換係数５０３の情報は、第２フレームメモリ１１４に圧縮画像信号として記憶される。
【００７８】
一方、図１６に示される伸張器には圧縮画像信号５１０、すなわち非線形量子化された変換係数が第２フレームメモリ１１４から読み込まれる。伸張器に入力された圧縮画像信号５１０に対して、まず非線形逆量子化器５１１により非線形逆量子化が施され、非線形逆量子化後の変換係数に対して逆アダマール変換器５１２によって逆アダマール変換が施されることにより、伸張された画像信号５１３（圧縮伸張画像信号）が生成される。
【００７９】
（伸張処理の変形例）  
図１７は、図１６に示した伸張処理の変形例を示しており、逆アダマール変換器５１２の後段にローパスフィルタ５２０が配置される。圧縮伸張処理の第１の具体例では、量子化処理が用いられるため、伸張された画像信号５１３は圧縮器に入力される復号画像信号５００に圧縮ノイズが重畳された信号となる。第１の圧縮伸張処理は画素ブロック単位のアダマール変換及び非線形量子化の基づいているため、圧縮ノイズは画素ブロック単位のノイズとなる。画素ブロック単位のノイズは、圧縮伸張画像に対して画素ブロック境界でのステップ状の非連続を発生させる。このステップ状の圧縮ノイズを除去するためには、圧縮伸張画像に対してローパスフィルタ処理を施すことが有効である。
【００８０】
図１７に示す例では、非線形逆量子化及び逆アダマール変換により得られた圧縮伸張画像５１３からローパスフィルタ５２０によりステップ状ノイズで発生する高周波成分を除去することで、圧縮伸張で生じる圧縮歪を低減し、主観的に画質劣化の少ない画像を再生することを可能とする。
【００８１】
図１に示した動画像復号装置において、第２フレームメモリ１１４に一時記憶されている圧縮画像信号を予測画像生成のための参照画像として読み込んで伸張する伸張器１１６には、図１６に示したローパスフィルタのない伸張器が好適である。一方、第２フレームメモリ１１４に一時記憶されている圧縮画像信号を表示のために読み込んで伸張する伸張器１１７には、図１７に示したローパスフィルタ５２０を含む伸張器が好適である。すなわち、主観画質に影響する表示のための再生画像に対しては、ローパスフィルタ５２０で圧縮ノイズの除去を行い、参照画像として読み込む場合はローパスフィルタを省くことで復号処理の演算量またはハードウエアコストを低減する。これによって表示される再生画像の主観画質を向上しつつ、復号処理の演算量またはハードウエアコスト最小限に抑えることが可能となる。
【００８２】
（圧縮伸張処理の第２の具体例）  
図１８及び図１９は、復号画像の圧縮伸張処理の第２の具体例を示している。第２の圧縮伸張方法では、図１８に示される圧縮器（図１中の圧縮器１１５に相当）において復号画像信号５３０に対してまず２次元または１次元のローパスィルタ５３１により２次元または１次元の帯域制限が施される。この後、サブサンプリング部５３２により水平または垂直の一方または両方の画素間引きが行われることにより縮小処理が行われ、圧縮画像５３３が生成される。
【００８３】
一方、図１９に示される伸張器には、縮小処理による圧縮画像５４０が入力される。圧縮画像信号５４０に対してオーバーサンプリング部５４１及びローパスフィルタ５４２による画素補充によって拡大処理が行われ、伸張された画像信号５４３（圧縮伸張画像信号）が生成される。
【００８４】
（圧縮伸張処理の第３の具体例）  
次に、図２０及び図２１を用いて復号画像の圧縮伸張処理の第３の具体例について説明する。圧縮伸張処理の第３の具体例では、復号画像信号のうち輝度信号については４点の１次元アダマール変換を行い、直流成分については線形量子化、交流成分については非線形量子化を行うことで、データ量を１／２に圧縮する。色差信号については、水平方向に２画素ずつ平均化することで、水平画素数を１／２にサブサンプリングしてデータ量を１／２に圧縮する。
【００８５】
図２０に示される圧縮器では、復号画像信号中の輝度信号は各画素が８ビットで構成され、水平方向に連続する４画素が４×１アダマール変換器６００に入力される。アダマール変換器６００からは、アダマール変換によって生成される１０ビットのアダマール変換係数が出力される。数式（１）は、４×１アダマール変換器６００の演算を表している。
【数１】
2007266970.tif 000003
【００８６】
ここで、Ｙ0, Ｙ1, Ｙ2及びＹ3は入力画素信号であり、ｙ’0, ｙ’1, ｙ’2及びｙ’3は出力されるアダマール変換係数を示している。
【００８７】
アダマール変換係数のうち、最高周波数成分であるｙ’3は破棄され、y’0， y’1及び y’2はビットシフタ６０１により２ビットシフトされ、８ビットの信号に線形量子化される。８ビットの信号に量子化されたアダマール変換係数の直流成分ｙ’0は、多重化器６０４を経てそのまま出力される。アダマール変換係数の中域周波数成分であるｙ’1及びｙ’2はそれぞれビットシフタ６０１により８ビットの信号に量子化された後、非線形量子化テーブル６０２及び６０３により５ビット及び３ビットの信号にそれぞれ量子化される。８ビットの信号に量子化された直流成分と５ビット及び３ビットの信号に量子化された中域周波数成分は、多重化器６０４によりビット多重されることによって１６ビットの信号として出力される。上記の処理により、復号画像信号の輝度成分は４画素×８ビットの３２ビットの信号から１６ビットの信号に変換され、データ量が１／２圧縮される。
【００８８】
復号画像信号中の色差信号は、それぞれ８ビットのＣｂ信号及びＣｒ信号によって構成される。Ｃｂ信号及びＣｒ信号は、水平２画素単位でサブサンプル部６０５に入力され、２画素の平均値が計算されて出力される。これによりＣｂ信号及びＣｒ信号のそれぞれの水平２画素単位の平均値は８ビットに丸められ、多重化器６０６によってＣｂ信号及びＣｒ信号合わせて１６ビットにビット多重されて出力される。上記の処理により、色差信号は水平１／２サブランプル処理が行われる結果、データ量が１／２に圧縮される。
【００８９】
このように図２０の圧縮器では、輝度信号についてはアダマール変換により圧縮すべき復号画像信号の１／２以上の周波数成分を保持しつつ、信号分布に最適化した非線形量子化により圧縮ノイズを抑えて１／２にデータを削減する。一方、色差信号については、高周波成分は重要度が低いことを利用して簡単な演算により水平１／２サブサンプリングを行うことにより、低コストでデータ量を１／２にする。従って、画質劣化を抑えつつ、少ない演算量またはハードウエアコストで復号画像の圧縮を実現することが可能となる。
【００９０】
図２１は、図２０の圧縮器により圧縮された復号画像信号の伸張処理を行う伸張器を示している。図２１の伸張器では、輝度信号については４画素毎に１６ビットに圧縮された信号がビット分離部７０４に入力される。ビット分離部７０４では輝度信号の直流成分に相当する８ビットの信号、中域周波数成分に相当する５ビット及び３ビットの信号が分離される。中域周波数成分の２つの信号は、非線形逆量子化テーブル７０２及び７０３によりそれぞれ逆量子化される。直流成分及び逆量子化された中域周波数成分は、４×１逆アダマール変換器７００に入力される。逆アダマール変換器７００には、さらに最高周波数成分に相当する係数として０が入力される。逆アダマール変換器７００により４×１逆アダマール変換が行われ、輝度信号は４画素単位に伸張された復号画像信号が出力される。
【００９１】
一方、色差信号については、Ｃｂ信号及びＣｒ信号それぞれ２画素ずつが圧縮され多重化された１６ビットの信号がビット分離部７０６に入力される。ビット分離部７０６から各々８ビットのＣｂ信号及びＣｒ信号が出力される。各々８ビットのＣｂ信号及びＣｒ信号は、アップサンプル部７０５によりそれぞれ水平２画素の信号にアップサンプリングすなわちダブリングされ、それぞれ２画素のデータとして出力される。
このように図２１の伸張器では、輝度信号については非線形逆量子化及び逆アダマール逆変換により、圧縮前の復号画像信号の１／２以上の周波数成分の再現が可能である。色差信号については、画素の２重化という非常に簡単な処理で伸張を行うことができる。従って、画質劣化を抑えつつ、少ない演算量またはハードウエアコストで、圧縮された復号画像の伸張を実現することが可能となる。
【００９２】
（第２の実施形態）  
図２２は、本発明の第２の実施形態に従う動画像復号装置を示している。図１に示した本発明の第１の実施形態では、復号画像の表示のために第２フレームメモリ１１４に記憶されている圧縮画像信号を読み込み、それを第２伸張器１１７により伸張した後にバックエンド処理部１０５に送って再生画像信号１１０を生成している。これに対し、第２の実施形態では図２２に示すように、圧縮画像信号が記憶されている第２フレームメモリ１１４からでなく、非圧縮の復号画像信号が記憶されている第１フレームメモリ１１３から復号画像信号１０９を読み込み、画像信号１０９をバックエンド処理部１０５へ供給している。そのため、図１における第２伸張器１１７は不要となる。
【００９３】
このように非圧縮の復号画像信号を表示系のバックエンド処理部１０５に供給することにより、圧縮ノイズが軽減された、より画質劣化の少ない映像を表示することが可能となる。第２の実施形態では、第１の実施形態に比べて表示のための復号画像信号１０９の読み込みデータ転送量が増加し、またＢピクチャの復号画像を非圧縮の状態で第１フレームメモリ１１３に書き込む必要があるため、必要なメモリバンド幅は増加する。しかし、第１の実施形態と同様に、一般に高いメモリバンド幅が要求される参照画像信号の読み込みに関しては、第２フレームメモリ１１４に記憶された圧縮画像信号を利用することが可能であるため、メモリバンド幅の大幅な削減効果がある。従って、通常の復号装置に比べてトータルのメモリバンド幅を削減できる。
【００９４】
（第３の実施形態）  
図２３は、本発明の第３の実施形態に従う動画像復号装置を示している。これまでの説明から明らかなように、第１の実施形態と第２の実施形態とでは、再生画像信号１１０の品質、すなわち表示画像の画質とメモリバンド幅削減量とのトレードオフが存在する。そこで、第３の実施形態では再生画像信号の生成法に関して、第１及び第２の実施形態に示した手法を適応的に選択可能としている。
【００９５】
図２３によると、第１フレームメモリ１１３から読み出される非圧縮の復号画像信号と、第２フレームメモリ１１４から読み出され第２伸張器１１７によって伸張された圧縮伸張画像信号とを切り替えて選択的にバックエンド処理部１０５に供給する切替器１２１が追加されている。このような構成に基づき、例えばメモリバンド幅の削減量を重視する場合は第２伸張器１１７からの圧縮伸張画像信号をバックエンド処理部１０５に供給し、表示画像の画質を優先させたい場合は非圧縮の復号画像信号をバックエンド処理部１０５に供給するように切替器１２１を動作させればよい。
【００９６】
（第４の実施形態）  
図２４に示される本発明の第４の実施形態に従う動画像復号装置では、加算器１０４と圧縮器１１５との間にノイズ除去部３０１が挿入されている。加算器１０４の出力である復号画像信号１０８に対して、ノイズ除去部３０１によりノイズ除去が施され、ノイズ除去後の復号画像信号が圧縮器１１５により圧縮されて第２フレームメモリ１１４に記憶される。
【００９７】
第４の実施形態によると、これまでの実施形態と同様に、外部メモリに対するメモリバンド幅が削減される。ノイズ除去部３０１は、ＭＰＥＧ−２などで圧縮された動画像符号化データ１００のブロック歪やモスキートノイズなどの、圧縮方式固有の符号化歪を除去する目的で挿入されており、可変長復号器１０１によって生成される量子化ステップ幅や符号化モードなどの情報３００を用いて適応的にノイズ除去を行う。
【００９８】
通常の動画像復号化装置では、符号化時とは異なるノイズ除去処理を復号ループ内に入れると、参照画像の符号化時と復号時との不整合が発生し、復号画像に歪が生じる。一方、第４の実施形態では圧縮処理を行わない非圧縮の復号画像信号に対してはノイズ除去を行わず、圧縮されて第１フレームメモリ１１３に記憶される復号画像信号に対してのみノイズ除去を施す。これにより非圧縮の復号画像信号を参照画像信号として用いた復号処理では、符号化と復号との不整合が発生しない。圧縮画像信号を参照画像信号として用いた復号処理では、動画像符号化データ１００のノイズ除去に加えて、圧縮ノイズの低減が可能となる。さらに、ノイズ除去が施された復号画像信号について圧縮及び伸張を施した画像信号がバックエンド処理部１０５を経て表示系に供給されるため、トータルのメモリバンド幅を削減しつつ、ノイズの低減された高画質な映像を再生することが可能となる。
【００９９】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の実施形態に従う動画像復号装置の構成を示すブロック図
【図２】動き補償予測フレーム間符号化の予測構造を示す図
【図３】メモリバンド幅削減が可能な比較例の動画像復号装置の復号動作を示す図
【図４】本発明の第１の実施形態における復号動作例を示す図
【図５】本発明の第１の実施形態における他の復号動作例を示す図
【図６】本発明の実施形態における第１の復号モード選択方法を説明するためのフローチャート
【図７】本発明の実施形態における第２の復号モード選択方法を説明するためのフローチャート
【図８】本発明の実施形態における第３の復号モード選択方法を説明するためのフローチャート
【図９】本発明の実施形態における第４の復号モード選択方法を説明するためのフローチャート
【図１０】本発明の実施形態における第５の復号モード選択方法を説明するためのフローチャート
【図１１】本発明の実施形態における第６の復号モード選択方法を説明するためのフローチャート
【図１２】本発明の実施形態における第７の復号モード選択方法を説明するためのフローチャート
【図１３】非圧縮画像を用いたマクロブロック単位のデコード処理の手順を示すフローチャート
【図１４】圧縮画像を用いたマクロブロック単位のデコード処理の手順を示すフローチャート
【図１５】復号画像のための圧縮器の第１の例を示すブロック図
【図１６】復号画像のための伸張器の第１の例を示すブロック図
【図１７】図１６の伸張器を変形した例を示すブロック図
【図１８】復号画像のための圧縮器の第２の例を示すブロック図
【図１９】復号画像のための伸張器の第２の例を示すブロック図
【図２０】復号画像のための圧縮器の第３の例を示すブロック図
【図２１】復号画像のための伸張器の第３の例を示すブロック図
【図２２】本発明の第２の実施形態に従う動画像復号装置の構成を示すブロック図
【図２３】本発明の第３の実施形態に従う動画像復号装置の構成を示すブロック図
【図２４】本発明の第４の実施形態に従う動画像復号装置の構成を示すブロック図
【符号の説明】
【０１０１】
１００・・・動画像符号化データ
１０１・・・可変長復号器
１０２・・・逆量子化器
１０３・・・逆直交変換器
１０４・・・加算器
１０５・・・バックエンド処理部
１０６・・・動き補償器
１１１・・・非圧縮画像信号
１１２・・・外部メモリ
１１３・・・第１フレームメモリ
１１４・・・第２フレームメモリ
１１５・・・圧縮器
１１６・・・伸張器
１１７・・・伸張器
１１８・・・圧縮画像信号
１１９・・・符号化モード情報
１２０・・・参照画像選択器
３００・・・符号化モード情報
３０１・・・ノイズ除去部
５０１・・・アダマール変換器
５０２・・・非線形量子化器
５１１・・・非線形逆量子化器
５１２・・・逆アダマール変換器
５２０・・・ローパスフィルタ
５３１・・・ローパスフィルタ
５３２・・・サブサンプリング部
５４１・・・オーバーサンプリング部
５４２・・・ローパスフィルタ
６００・・・４×１アダマール変換器
６０１・・・ビットシフタ
６０２・・・非線形量子化テーブル
６０３・・・非線形量子化テーブル
６０４・・・ビット多重化部
６０５・・・サブサンプル部
６０６・・・ビット多重化部
７００・・・４×１逆アダマール変換器
７０２・・・非線形逆量子化テーブル
７０３・・・非線形逆量子化テーブル
７０４・・・ビット分離部
７０５・・・アップサンプリング部
７０６・・・ビット分離部
【図１】
2007266970.tif 000004
【図２】
2007266970.tif 000005
【図３】
2007266970.tif 000006
【図４】
2007266970.tif 000007
【図５】
2007266970.tif 000008
【図６】
2007266970.tif 000009
【図７】
2007266970.tif 000010
【図８】
2007266970.tif 000011
【図９】
2007266970.tif 000012
【図１０】
2007266970.tif 000013
【図１１】
2007266970.tif 000014
【図１２】
2007266970.tif 000015
【図１３】
2007266970.tif 000016
【図１４】
2007266970.tif 000017
【図１５】
2007266970.tif 000018
【図１６】
2007266970.tif 000019
【図１７】
2007266970.tif 000020
【図１８】
2007266970.tif 000021
【図１９】
2007266970.tif 000022
【図２０】
2007266970.tif 000023
【図２１】
2007266970.tif 000024
【図２２】
2007266970.tif 000025
【図２３】
2007266970.tif 000026
【図２４】
2007266970.tif 000027