(57)【特許請求の範囲】
【請求項１】
一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化装置であって、
該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化する復号化部と、
該復号化部からの該画面内予測復号化対象画素の復号画素による復号ブロックが供給される画像補正部と、
該画像補正部から出力される該復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成する画面内予測部と、
該画像補正部から出力される該復号ブロックと該復号化部から出力される該画面間復号化対象画素の復号画素による復号ブロックとによる画像データの画像サイズを縮小する画像縮小部と、
該画像サイズが縮小された画像データを保持する記憶部と、
該記憶部から読み出した該画像データを元の画像サイズに伸張する画像伸張部と、
該画像伸張部からの画像データから該画面間予測復号化対象画素を復号するための該参照画素を作成する動き補償部と
を備え、
該画像補正部は、該復号化部から供給される該画面内予測符号化モードの復号ブロックのうちの、Ｐ，Ｂスライスに属し、かつ画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、
該画像補正部の該補正対象の復号ブロックは、画面間予測復号化に用いる画面間予測復号化参照画面での該補正対象ブロックに対応する参照画面対象ブロックと、該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、
該画像補正部は、該参照画面対象ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して、該補正対象の復号ブロックの該画像補正を行なうことを特徴とする画像復号化装置。
【請求項２】
一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化装置であって、
該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化する復号化部と、
該復号化部からの該画面内予測復号化対象画素の復号画素による復号ブロックが供給される画像補正部と、
該画像補正部から出力される該復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成する画面内予測部と、
該画像補正部から出力される該復号ブロックと該復号化部から出力される該画面間復号化対象画素の復号画素による復号ブロックとによる画像データの画像サイズを縮小する画像縮小部と、
該画像サイズが縮小された画像データを保持する記憶部と、
該記憶部から読み出した該画像データを元の画像サイズに伸張する画像伸張部と、
該画像伸張部からの画像データから該画面間予測復号化対象画素を復号するための該参照画素を作成する動き補償部と
を備え、
該画像補正部は、該復号化部から供給される該画面内予測符号化モードの復号ブロックのうちの、Ｐ，Ｂスライスに属し、かつ画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、
該画像補正部の該補正対象の復号ブロックは、該補正対象の復号ブロックの時間的に先行する隣接ブロックと、該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、
該画像補正部は、該隣接ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して該補正対象の復号ブロックの該画像補正を行なうことを特徴とする画像復号化装置。
【請求項３】
一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化方法であって、
該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化処理し、
復号化処理された該画面内予測符号化モードによるブロックの復号ブロックのうち、Ｐ，Ｂスライスに属し、かつ復号処理された画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、
画面内予測符号化モードによるブロックの復号化処理された復号ブロック，画面内予測符号化モードによるブロックの画像補正されたされた復号ブロック及び画面間予測符号化モードによるブロックの復号化処理された復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成し、
該画面内予測符号化で符号化されたブロックの復号化された復号ブロックや該画面間予測符号化で符号化されたブロックの復号化された復号ブロックを、画面サイズを縮小して記憶部に記憶し、該記憶部から読み出した該復号ブロックを元の画像サイズに伸張し、元の画像サイズに伸張した該復号ブロックの画素を該画面間予測符号化モードによる該ブロックの画素を復号する参照画素とし、
該画像補正の該補正対象の復号ブロックは、画面間予測復号化に用いる画面間予測復号化参照画面での該補正対象ブロックに対応する参照画面対象ブロックと、該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、
該参照画面対象ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して、該補正対象の復号ブロックの該画像補正を行なうことを特徴とする画像復号化方法。
【請求項４】
一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化方法であって、
該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化処理し、
復号化処理された該画面内予測符号化モードによるブロックの復号ブロックのうち、Ｐ，Ｂスライスに属し、かつ復号処理された画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、
画面内予測符号化モードによるブロックの復号化処理された復号ブロック，画面内予測符号化モードによるブロックの画像補正されたされた復号ブロック及び画面間予測符号化モードによるブロックの復号化処理された復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成し、
該画面内予測符号化で符号化されたブロックの復号化された復号ブロックや該画面間予測符号化で符号化されたブロックの復号化された復号ブロックを、画面サイズを縮小して記憶部に記憶し、該記憶部から読み出した該復号ブロックを元の画像サイズに伸張し、元の画像サイズに伸張した該復号ブロックの画素を該画面間予測符号化モードによる該ブロックの画素を復号する参照画素とし、
該画像補正の該補正対象の復号ブロックは、該補正対象の復号ブロックの時間的に先行する隣接ブロックと、該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、
該隣接ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して該補正対象の復号ブロックの該画像補正を行なうことを特徴とする画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化された動画像データを復号化する画像復号化装置及び画像復号化プログラムに係り、特に、H.264/AVC(Advanced Video Coding）規格に基づいて圧縮符号化された動画像データを復号化する画像復号化装置及び画像復号化方法に関する。
【背景技術】
【０００２】
ＴＶ信号などの動画像データを高能率に符号化して記録あるいは伝送する手法として、MPEG(Moving Picture Experts Group）方式などの符号化方式が策定され、MPEG-1規格やMPEG-2規格，MPEG-4規格などとして国際標準の符号化方式が定められている。また、さらに圧縮率を向上させる方式として、H.264/AVC規格などが定められている。
【０００３】
一般に、動画像符号化では、符号化対象フレームをそのフレーム内の情報のみから符号化を行なう画面内予測符号化モードと、前後のフレームとの相関を利用してフレーム間差分の符号化を行なう画面間予測符号化モードとの２つの符号化モードが適応的に用いられる。
【０００４】
H.264/AVC規格では、MPEG-2規格などと同様の階層からなるデータ構造をなしているが、画面内予測符号化モードと画面間予測符号化モードとの２つの符号化モードを切り替える単位として、スライスが用いられる。MPEG-2規格などでは、符号化モードを切り替える単位がピクチャ（フレーム）としているのに対し、H.264/AVC規格では、この画面の次の下位階層のスライスとするものである。なお、以下では、１フレームの画面を、MPEG-2などでの「ピクチャ」と区別するために、「画面」ということにする。
【０００５】
上記のように、スライスが予測符号化モードを切り替える単位となるが、画面内予測符号化モードが設定されるスライスをＩ(Intra 符号化）スライスといい、時間軸上で過去の画面からの予測（前方予測）を用いて符号化する画面間予測符号化モードが設定されるスライスをＰ(Predictive符号化）スライスといい、過去の画面からの予測（前方予測）あるいは未来の画面からの予測（後方予測）を用いて符号化する画面間予測符号化モードが設定されるスライスをＢ(Bidirectionally Predictive符号化）スライスという。なお、Ｉ，Ｐ，Ｂスライスというスライスの別を、以下、スライスの種別という。
【０００６】
図６は１画面のスライスによるデータ構造を模式的に示す図であって、H.264/AVC規格では、図示するように、１画面が複数のスライスに分割され、夫々のスライスはＩ，Ｐ，Ｂスライスのいずれかである。
【０００７】
これらＩ，Ｐ，Ｂスライスのいずれも、スライスの下位階層のブロックであるＭＢ（マクロブロック）を単位として（即ち、ＭＢ毎に）符号化が行なわれるが、ＭＢでの選択可能な予測符号化モードは、スライスに設定される予測符号化モード毎に、即ち、Ｉ，Ｐ，Ｂスライス毎に異なる。具体的には、ＩスライスのＭＢでは、画面内予測符号化モードのみが選択可能である（即ち、画面内予測符号化モードでのみ、符号化が行なわれる）。ＰスライスのＭＢでは、画面内予測符号化と画面間予測符号化（前方予測のみ）が選択可能である（即ち、ＭＢに応じて画面内予測符号化モードと前方予測による画面間予測符号化モードとのいずれかを選択できる）。ＢスライスのＭＢでは、画面内予測符号化及び画面間予測符号化（前方予測と後方予測）が選択可能である（即ち、ＭＢに応じて画面内予測符号化モードと前方及び後方予測による画面間予測符号化モードとのいずれかを選択できる）。
【０００８】
即ち、Ｐ，ＢスライスのＭＢは、前方予測による画面間予測符号化モード，前方予測と後方予測による画面間予測符号化モードによって符号化が行なわれるものであるが、また、画面内予測符号化モードによっても符号化が行なわれるのである。
【０００９】
なお、H.264/AVC規格では、スライス毎に異なる予測符号化モードを混在させることも可能である。しかしながら、以下の説明では、本発明を明示的に表現することを目的として、１画面中のスライス種別を１種類として説明する。従って、以下では、１画面がＩ，Ｐ，Ｂスライスのいずれか１種類の、即ち、同じスライス種別のスライスからなるものとする。
【００１０】
動画像符号化では、可変長符号化や離散コサイン変換(DCT)などの直交変換，変換係数の量子化，動き補償予測などの手法により、高い圧縮率を実現する。しかしながら、これらは複雑なアルゴリズムを採用しているために、実時間で処理するには、多大なデータ処理能力とメモリ容量が必要である。例えば、動画像復号化において、上記の動き補償予測によって過去及び未来の画面から双方向の予測を行なうためには、最低でも、２枚の参照フレーム・メモリと１枚の復号用フレーム・メモリとを必要とする。これは、標準解像度(SDTV)の映像信号の場合で約1.6MByte、高解像度(HDTV)の映像信号の場合で約9.4Mbyteのフレーム・メモリ容量となる。
【００１１】
このように動画像復号化において、多大なメモリ容量が必要となる問題を解決する手法の１つとして、復号化した画像データを圧縮してメモリに格納し、参照画像としてメモリから読み出す際に、これを伸張することでメモリサイズを削減する手法が提案されている（例えば、特許文献１参照）。
【特許文献１】特開２０００−５０２７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ところで、H.264/AVC規格で符号化された画像データを復号する際に、上記特許文献１に従って参照画像を圧縮・伸張すると、画面内の画面間予測符号化された部分内に存在する画面内予測符号化されたブロックで、周りの画面間予測符号化された部分に比べて大きな画質劣化が発生し、画面内でこれが目立って表示されることがある。以下、この点について説明する。
【００１３】
H.264/AVC規格では、従来のMPEG-2規格やMPEG-4規格などの符号化方式と比較して、様々な符号化ツールが新規に導入されている。そのうちの１つである画面内予測符号化では、この画面内予測符号化の対象となるブロック（以下、画面内予測符号化対象ブロックという）に隣接する既に符号化されたブロックを復号し、この復号ブロックでの所定の画素を用いて予測値を生成し、画面内予測符号化対象ブロックの画素（以下、画面内予測符号化画素という）毎にその画素値と予測値の差分を求めてこれを符号化する手法である。H.264/AVC規格における画面内予測符号化には、予測符号化の対象となるブロックサイズを決める符号化モードと予測の方向を決める予測モードとの２つのパラメータがあり、符号化モードには、Intra_4×4モード，Intra_8×8モード及びIntra_16×16モードの３種類のイントラ符号化モードがある。
【００１４】
ＭＢは１６×１６画素からなるブロックであって、これを４×４画素のサイズの１６個のブロックに分割し、これらブロック毎に画面内予測符号化する符号化モードがIntra_4×4モードであり、８×８画素のサイズの４個のブロックに分割し、これらブロック毎に画面内予測符号化するモードがIntra_8×8モードであり、１６×１６画素のサイズのＭＢを画面内予測符号化対象ブロックとして画面内予測符号化するモードがIntra_16×16モードである。ＭＢ毎に、これらイントラ符号化モードの１つが選択される。
【００１５】
予測の方向とは、画面内予測符号化対象ブロックでの、このブロックに隣接する復号化されたブロックでの予測値を求める画素からの画面内予測符号化の対象となる画素（即ち、符号化対象画素）の配列方向をいう。この予測の方向は、上記のイントラ符号化モードに応ずるが、複数個の予測方向が用意されており、そのいずれかを選択することができる。この予測方向に応じて画面内予測符号化対象画素と予測値との差分の求め方（これをイントラ予測モードという）が異なる。
【００１６】
図７はイントラ符号化モードに対する予測モード（イントラ予測モード）を示す図であって、図示するように、Intra_4×4モードでは、イントラ予測モード０〜８の９種類のイントラ予測モードが決められており、そのいずれかを選択できる。Intra_8×8モードでも、イントラ予測モード０〜８の９種類のイントラ予測モードが決められており、Intra_16×16モードでは、イントラ予測モード０〜３の４種類のイントラ予測モードが決められていて、それらのうちの１つを選択できる。
【００１７】
図８はIntra_4×4モードでのイントラ予測モードを示す図であって、同図（ａ）がイントラ予測モード０を示すものであり、以下、同図（ｂ），（ｃ），（ｄ），……，（ｉ）は夫々イントラ予測モード１，２，３，……，８を示している。
【００１８】
図８（ａ）〜（ｉ）において、白丸印○は画面内予測符号化対象ブロック（ここでは、単に符号化対象ブロックという）での画素（即ち、画面内予測符号化対象画素：ここでは、単に符号化対象画素という）を示し、４行×４列の配列をなしている。図８（ａ）では、説明の都合上、各符号化対象画素に、その配列順に左上隅から右下隅まで横方向に１，２，３，……，１６の符号をつけている。黒丸印●は符号化対象画素１，２，……の符号化のための予測値を求めるための他のブロック（以下、周辺ブロックという）の画素（以下、予測値画素という）を示すものであって、各予測値画素に符号Ａ，Ｂ，Ｃ，……を付すとともに、図８（ａ）に周辺ブロックを明示し、予測値画素Ａ，Ｂ，Ｃ，……がどの周辺ブロックに属するかを明確にしている。即ち、
予測値画素Ａ〜Ｄ：符号化対象ブロックの上側の隣接ブロックＢＲUの最も下
側に水平方向に配列された４個の画素
予測値画素Ｅ〜Ｈ：符号化対象ブロックの左側に隣接ブロックＢＲLの最も右
側に垂直方向に配列された４個の画素
予測値画素Ｉ：符号化対象ブロックの左上角側の隣接ブロックＢＲULの右
下隅の画素
である。かかる予測値画素Ａ，Ｂ，Ｃ，……と周辺ブロックとの関係は、図８（ｂ）〜（ｉ）についても同様である。
【００１９】
図８（ａ），（ｂ），（ｄ）〜（ｉ）において、矢印で示す方向は予測の方向を示すものであり、予測値画素を用いて求めた予測値は、この予測値を求めるのに用いた予測値画素からこの予測方向に配列される符号化対象画素を符号化するのに用いる。
【００２０】
図８（ａ）に示すイントラ予測モード０を例にして説明すると、予測方向は下方向であり、この場合には、符号化対象ブロックから見て上側隣接ブロックＢＲUの画素Ａ，Ｂ，Ｃ，Ｄが予測値画素となる。そして、予測方向からして、予測値画素Ａの画素値がこの予測値画素Ａの下方向に配列される符号化対象画素１，５，９，１３の予測値（これを予測値Ａとする）となり、これら符号化対象画素１，５，９，１３毎に、その画素値とこの予測値Ａとの差分が求められて符号化される。
【００２１】
同様にして、予測値画素Ｂの画素値がその下方に配列される符号化対象画素２，６，１０，１４の予測値Ｂとなり、予測値画素Ｃの画素値がその下方に配列される符号化対象画素３，７，１１，１５の予測値Ｃとなり、予測値画素Ｄの画素値がその下方に配列される符号化対象画素４，８，１２，１６の予測値Ｃとなって、夫々符号化対象画素とその予測値との差分が求められ、その差分がＤＣＴ変換，量子化，可変長符号化によって符号化されるのである。
【００２２】
図８（ｂ）〜（ｉ）に示すイントラ予測モード１〜８についても同様であり、予測方向を示す図示の矢印の線に沿って、その矢印を発する隣接ブロックの画素の画素値から符号化対象画素の予測値が生成される。
【００２３】
なお、図８（ｃ）に示すイントラ予測モード２では、全ての符号化対象画素の予測値を、この符号化対象ブロックに隣接する画素Ａ〜Ｈを予測値画素として、それらの平均画素値とする。
【００２４】
以上のように、符号化対象ブロックの上辺，左辺及び左上隅に隣接する隣接ブロックの画素を予測値画素とし、かかる予測値画素の画素値から予測値を所定の計算式でもって求め、かかる予測値と符号化対象ブロックでの符号化対象画素の画素値との差分を求め、この差分値を符号化する。
【００２５】
Intra_8×8モード（図７）でも、１ブロックを８×８画素として、図８に示すIntra_4×4モードと同様の９種類のイントラ予測モードから選択可能とする。
【００２６】
Intra_16×16モード（図７）は、符号化対象ブロックを１６×１６画素のＭＢを符号化対象ブロックとするものであって、図９に示す４種類のイントラ予測モード０〜３から選択可能としている。これらイントラ予測モード０〜３も、図８のイントラ予測モードと同様、符号化対象ブロックの符号化対象画素毎に、符号化対象ブロックの周辺ブロックの画素から求めた予測値と予測方向に配列される符号化対象画素の画素値との差分を求め、その差分を符号化する。
【００２７】
なお、図９（ａ）に示すイントラ予測モード０は、図８（ａ）に示すイントラ予測モード０と同様にして、上側の隣接ブロックの最も下側の列に配列される画素を予測値画素とし、その画素値を予測画素値とし、その予測値画素から下方の予測方向に配列される符号化対象画素の画素値との差分を求めるものである。また、図９（ｂ）に示すイントラ予測モード１は図８（ｂ）に示すイントラ予測モード１と同様であり、図９（ｃ）に示すイントラ予測モード２は図８（ｃ）に示すイントラ予測モード２と同様である。図９（ｄ）に示すイントラ予測モード３も、予測方向が傾斜しているものであって、予測値や符号化対象画素の符号化処理は上記と同様である。
【００２８】
画像復号化装置は、このように予測値との差分が符号化された各画素を元の画素値の画素に復号するものである。
【００２９】
図１０は画面間予測符号化モードが用いられたスライス（即ち、ＰスライスまたはＢスライス）からなる１つの画面での画面内予測符号化されたＭＢの復号動作例を示す図である。
【００３０】
図１０（ａ）は、例えば、Ｐスライスからなる１画面を示すものであって、この画面中の縦２ＭＢ×横２ＭＢからなるエリアＥＲを拡大して示したものが図１０（ｂ）である。
【００３１】
図１０（ｂ）において、左上の１６×１６画素からなるＭＢをＭＢ−０、右上のＭＢをＭＢ−１、左下のＭＢ−２、右下のＭＢをＭＢ−３とする。「インター予測」として示すＭＢ−０〜ＭＢ−２は画面間予測符号化されたものが復号されたブロックであり、「イントラ予測」として示すＭＢ−３は、例えば、図９（ａ）で示すイントラ予測モード０で画面内予測符号化モードで符号化されたものとする。従って、図１０（ｂ）は、……，ＭＢ−０，ＭＢ−１，……の順で復号されて、……，ＭＢ−２が復号され、次に、ＭＢ−３が復号される状態にあるものとする。復号された画面間予測符号化ブロックを、以下、画面間予測復号ブロックといい、画面内予測復号化の対象となるＭＢ−３を、以下、画面内予測復号化対象ブロックという。
【００３２】
そして、このときの画面内予測復号化対象ブロックとしてのＭＢ−３では、その画素（画面内予測復号化対象画素）が図９（ａ）に示すイントラ予測モード０で予測値との差分が符号化されたものであって、ここでは、ＭＢ−３の各画素が可変長復号，逆量子化，ＩＤＣＴ変換されて、その画素値が予測値との差分値で表わされているものとする。
【００３３】
そこで、画面内予測復号化対象ブロックであるＭＢ−３では、既に復号された画面間予測復号ブロックとしてのＭＢ−１の最も下側の画素の画素値を参照値として、これをＭＢ−３の該当する画面内予測復号化対象画素での上記の差分で表わされる画素値に加算して、元の画素値を復元する。このように、画素値を画面内予測復号化対象ブロックでの参照値とする画素を、以下、参照画素といい、この参照画素を含む復号されたブロックを、以下、参照ブロックという。
【００３４】
図１１は図１０（ｂ）のＭＢ−３の部分を拡大して示す図であり、白丸が画面内予測復号化対象画素であって、かかる１６×１６個の画面内予測復号化対象画素からなる部分が図１０（ｂ）での画面内予測復号化対象ブロックとしてのＭＢ−３である。また、黒丸で示す画素Ａ，Ｂ，Ｃ，……はこのＭＢ−３に対する参照画素であり、これらは図１０（ｂ）での参照ブロックとしてのＭＢ−１の最も下側に配列されいするものである。さらに、参照画素Ａ，Ｂ，Ｃ，……からの矢印は、画面内予測復号化対象ブロックの復号化の予測方向を示すものであり、これは符号化のときの予測方向と一致する。
【００３５】
図１１において、この場合の予測方向は、参照画素Ａ，Ｂ，Ｃ，……からの矢印で示す下向きの方向であり、このため、参照画素Ａから下方向に配列されるＭＢ−３の１６個の復号化対象画素の上記差分で表わされる画素値に、この参照値としての参照画素Ａの画素値を加算することにより、これら１６個の復号化対象画素の画素値が元の符号化前の画素値に復元されることになる。
【００３６】
以下同様にして、参照画素Ｂから下方向に配列される１６個の復号化対象画素についても、この参照画素Ｂの画素値を参照値とすることにより、元の画素値が復元され、参照画素Ｃから下方向に配列される１６個の復号化対象画素についても、この参照画素Ｃの画素値を参照値とすることにより、元の画素値が復元され、このようにして、画面内予測復号化対象ブロックであるＭＢ−３での全ての復号化対象画素の画素値が元の値に復元されることになる。
【００３７】
このことは、符号化に際し、図９（ｂ）〜（ｄ）に示されるイントラ予測モードを用いた画面内予測復号化対象ブロックについても、符号化の際に予測値として用いて予測値画素に相当する画素（参照画素）から上記の予測値を再現する参照値を取得し、これを用いて画面内予測復号化対象ブロックでの復号化対象画素の画素値を元の値に復元することができる。また、図８に示すIntra_4×4モードのイントラ予測モードが用いられたものであるときも、Intra_8×8モードのイントラ予測モードが用いられたものであるときも、同様である。
【００３８】
このようにして、H.264/AVC規格で符号化された画像データは復号されるのであるが、画面間予測符号化ブロックを復号するための参照ブロックを確保するために、復号された画面がメモリに蓄積されて保存される。そして、復号対象となる画面間予測符号化ブロックを復号する際には、これの参照ブロックとなるブロックを含む復号画面がメモリから読み出され、このブロックが画面間予測復号化対象ブロックの参照ブロックとして用いられる。
【００３９】
本発明における画像復号装置では、かかる復号画面のメモリへの蓄積について、メモリの容量を削減するために、ダウンデコード機能を備えている。このダウンデコード機能とは、復号画面をメモリへ書き込む際には、この復号画面を画素の間引き処理してその画面サイズを縮小（圧縮：ダウンコンバート）し、メモリから復号画面を読み出すときには、画素補間処理によって元の画面サイズに戻す（アップコンバートする）ものである。これにより、ダウンデコード機能を備えない画像復号化装置よりも容量が小さいメモリを用いることができる。
【００４０】
しかしながら、このように復号画面をダウンデコードすると、間引きされ、補間されて復元された画素は正確には元の画素値を持つことができず、誤差を含む画素値となる。従って、図１１において、画面内予測復号化対象ブロックであるＭＢ−３に対する参照ブロックとなるＭＢ−１の各画素は誤差を含む画素値を有することになり、このＭＢ−１での参照画素Ａ，Ｂ，Ｃ，……は誤差を含んだものとなる。そこで、かかる誤差を含んだ参照画素Ａ，Ｂ，Ｃ，……による参照値でもってＭＢ−３の画面内予測復号化対象画素の画素値を復元すると、それら復元された画素値に誤差が含まれることになり、ＭＢ−３のブロック全体に空間方向に誤差の影響が波及することになる。
【００４１】
画面内予測符号化されたブロックの参照ブロックとなる画面間予測復号化ブロックでは、上記ダウンデコード機能によりダウンコンバート・アップコンバートが行なわれたことにより、時間軸方向のドリフト誤差が生ずる。
【００４２】
さらに、画面内予測復号化対象ブロックの参照画素となる画面間予測復号ブロックの復号された画素にかかる重畳されたドリフト誤差が含まれると、かかる画面間予測復号ブロックの所定の画素を参照画素して復号される画面内予測復号化対象ブロックでは、ブロック内の空間方向に同様の誤差が波及することになり、他のブロックと比べて、さらに画質劣化が大きくなるものである。
【００４３】
以上のように、画面間予測復号化した画面に対して上記のダウンデコードすることにより、このダウンデコードのためのメモリのサイズを削減する従来の画像復号化装置では、画面内予測符号化されたブロックを復号する際、参照画素に含まれる上記の重畳された誤差がこの画面内予測復号化対象ブロックで空間方向に伝播するが、従来、この点については考慮されていなかった。このため、復号された画面内での画面間予測復号化ブロックの間に存在する画面内予測復号化ブロックの部分の画質劣化が他の部分よりも大きくなり、主観上の画質劣化が目に付きやすいという問題があった。
【００４４】
本発明は、かかる問題に鑑みてなされたものであって、その目的は、画面内の画面間予測復号された部分の間に存在する画面内予測復号されたブロックでの画質劣化を軽減することができるようにした画像復号化装置及び画像復号化方法を提供することにある。
【課題を解決するための手段】
【００４５】
上記目的を達成するために、本発明は、一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化装置であって、該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化する復号化部と、
該復号化部からの該画面内予測復号化対象画素の復号画素による復号ブロックが供給される画像補正部と、該画像補正部から出力される該復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成する画面内予測部と、該画像補正部から出力される該復号ブロックと該復号化部から出力される該画面間復号化対象画素の復号画素による復号ブロックとによる画像データの画像サイズを縮小する画像縮小部と、該画像サイズが縮小された画像データを保持する記憶部と、該記憶部から読み出した該画像データを元の画像サイズに伸張する画像伸張部と、該画像伸張部からの画像データから該画面間予測復号化対象画素を復号するための該参照画素を作成する動き補償部とを備え、該画像補正部は、該復号化部から供給される該画面内予測符号化モードの復号ブロックのうちの、Ｐ，Ｂスライスに属し、かつ画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、該画像補正部の該補正対象の復号ブロックは、画面間予測復号化に用いる画面間予測復号化参照画面での該補正対象ブロックに対応する参照画面対象ブロックと、該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、該画像補正部は、該参照画面対象ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該参照画面対象ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して、該補正対象の復号ブロックの該画像補正を行なうことを特徴とするものである。
【００４９】
上記目的を達成するために、本発明は、一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化装置であって、該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化する復号化部と、該復号化部からの該画面内予測復号化対象画素の復号画素による復号ブロックが供給される画像補正部と、該画像補正部から出力される該復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成する画面内予測部と、該画像補正部から出力される該復号ブロックと該復号化部から出力される該画面間復号化対象画素の復号画素による復号ブロックとによる画像データの画像サイズを縮小する画像縮小部と、該画像サイズが縮小された画像データを保持する記憶部と、該記憶部から読み出した該画像データを元の画像サイズに伸張する画像伸張部と、該画像伸張部からの画像データから該画面間予測復号化対象画素を復号するための該参照画素を作成する動き補償部とを備え、該画像補正部は、該復号化部から供給される該画面内予測符号化モードの復号ブロックのうちの、Ｐ，Ｂスライスに属し、かつ画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、該画像補正部の該補正対象の復号ブロックは、該補正対象の復号ブロックの時間的に先行する隣接ブロックと、該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、該画像補正部は、該隣接ブロックの画素の画素値の平均値と該補正対象の復号ブロックの画素の画素値の平均値との差に該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、該ドリフト誤差として、該復号ブロックの各画素に加算して該補正対象の復号ブロックの該画像補正を行なうことを特徴とするものである。
【００５０】
上記目的を達成するために、本発明は、一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化方法であって、該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化処理し、復号化処理された該画面内予測符号化モードによるブロックの復号ブロックのうち、Ｐ，Ｂスライスに属し、かつ復号処理された画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、画面内予測符号化モードによるブロックの復号化処理された復号ブロック，画面内予測符号化モードによるブロックの画像補正されたされた復号ブロック及び画面間予測符号化モードによるブロックの復号化処理された復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成し、該画面内予測符号化で符号化されたブロックの復号化された復号ブロックや該画面間予測符号化で符号化されたブロックの復号化された復号ブロックを、画面サイズを縮小して記憶部に記憶し、該記憶部から読み出した該復号ブロックを元の画像サイズに伸張し、元の画像サイズに伸張した該復号ブロックの画素を該画面間予測符号化モードによる該ブロックの画素を復号する参照画素とし、画像補正の補正対象の復号ブロックが、画面間予測復号化に用いる画面間予測復号化参照画面での補正対象ブロックに対応する参照画面対象ブロックと、補正対象の復号ブロックと参照画面対象ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ復号ブロックであり、参照画面対象ブロックの画素の画素値の平均値と補正対象の復号ブロックの画素の画素値の平均値との差に補正対象の復号ブロックと参照画面対象ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、ドリフト誤差として、復号ブロックの各画素に加算して、補正対象の復号ブロックの画像補正を行なうことを特徴とするものである。
【００５４】
上記目的を達成するために、本発明は、一画面が符号化単位としての画面内予測符号化モードで符号化された所定個数の画素からなる画面内予測符号化モードによるブロックからなるＩスライスと符号化単位としての画面内予測符号化で符号化された該所定個数の画素からなる画面内予測符号化モードによるブロックと符号化単位としての画面間予測符号化で符号化された該所定個数の画素からなる画面間予測符号化モードによるブロックとからなるＰ，Ｂスライスとからなる符号化された画像データを復号化処理する画像復号化方法であって、該Ｉ，Ｐ，Ｂスライスでの該画面内予測符号化モードによるブロックの画素を、画面内予測復号化対象画素として、該ブロックと同じ画面内の該ブロックに隣接する他のブロックの画素を参照画素として用いて復号化し、かつ、該Ｐ，Ｂスライスでの該画面間予測符号化モードによる該ブロックの画素を、画面間復号化対象画素として、該ブロックを含む画面に先行もしくは後続する他の画面での該ブロックに該当する位置の他のブロックの画素を参照画素として用いて復号化処理し、復号化処理された該画面内予測符号化モードによるブロックの復号ブロックのうち、Ｐ，Ｂスライスに属し、かつ復号処理された画面間予測符号化モードの復号ブロックの画素を参照画素として復号された画面内予測符号化モードの復号ブロックを補正対象の復号ブロックとし、該補正対象の復号ブロックに対して、画面間予測符号化モードの復号ブロックの画素を参照画素として復号したことによる時間軸方向のドリフト誤差を取り除く画像補正を行ない、画面内予測符号化モードによるブロックの復号化処理された復号ブロック，画面内予測符号化モードによるブロックの画像補正されたされた復号ブロック及び画面間予測符号化モードによるブロックの復号化処理された復号ブロックの画像データから該画面内復号化対象画素を復号するための該参照画素を生成し、該画面内予測符号化で符号化されたブロックの復号化された復号ブロックや該画面間予測符号化で符号化されたブロックの復号化された復号ブロックを、画面サイズを縮小して記憶部に記憶し、該記憶部から読み出した該復号ブロックを元の画像サイズに伸張し、元の画像サイズに伸張した該復号ブロックの画素を該画面間予測符号化モードによる該ブロックの画素を復号する参照画素とし、該画像補正の該補正対象の復号ブロックは、該補正対象の復号ブロックの時間的に先行する隣接ブロックと、該補正対象の復号ブロックと該隣接ブロックとの画素値の差分絶対値和の平均値が予め設定された閾値以下であって、相関があり、かつアクティビティが所定の閾値以下で画質劣化が目立つ該復号ブロックであり、隣接ブロックの画素の画素値の平均値と補正対象の復号ブロックの画素の画素値の平均値との差に補正対象の復号ブロックと隣接ブロックとの画素値の差分絶対値和の平均値に応じた係数を乗算した値を、ドリフト誤差として、復号ブロックの各画素に加算して前記補正対象の復号ブロックの画像補正を行なうことを特徴とするものである。
【発明の効果】
【００５５】
本発明によると、画面内予測符号化されたブロックの復号ブロックが画像補正されるものであるから、該復号ブロックが画面間予測符号化されたブロックを復号化してこれを参照ブロックとして用いて復号されたことによる画像劣化が補正され、復号された画面での該復号ブロックによる主観上の画質劣化を軽減することができる。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施形態を図面を用いて説明する。
【００５７】
図１は本発明による画像復号化装置及び画像復号化方法の第１の実施形態を示す構成ブロック図であって、１は復号化部（一点鎖線が囲んだ部分）、２は可変長復号化部、３は逆量子化部、４はＩＤＣＴ（Inverse Discrete Cosine Transform：２次元の逆離散コサイン変換）部、５，６は可算器、７は画像補正部、８は記憶部、９は画面内予測部、１０は動き補償部、１１はデブロッキングフィルタ部、１２は画像縮小部、１３は記憶部、１４は画像伸張部である。
【００５８】
同図において、この第１の実施形態の画像復号化装置は、復号化部１、画像補正部７、画像縮小部１２、記憶部１３及び画像伸張部１４を備えている。また、復号化部１は、可変長復号化部２、逆量子化部３、ＩＤＣＴ部４、加算器５，６、記憶部８、デブロッキングフィルタ部１１、画面内予測部９及び動き補償部１０を備える。なお、これら各部は、ハードウェアによって構成されてもよいし、ソフトウェアによって構成されていてもよい。また、ハードウェアとソフトウェアを組み合わせたモジュールであってもよい。
【００５９】
ここで、復号化部１と画像縮小部１２，記憶部１３，画像伸張部１４とは従来のダウンデコード機能による画像復号化装置と同様の構成をなすものであり、この第１の実施形態は、かかる構成に画像補正部７を付加したものである。なお、画像縮小部１２，記憶部１３，画像伸張部１４は、画像復号化装置に上記のダウンデコード機能を持たせるものである。
【００６０】
次に、この第１の実施形態の動作について説明する。
【００６１】
入力された画像データは、図示しない画像符号化装置において、図８，図９で説明したように画面内または画面間予測符号化された後、ブロック毎にＤＣＴ（Discrete Cosine Transform：２次元の離散コサイン変換）され、そのＤＣＴ係数が量子化部で量子化され、さらに、可変長符号化部で可変長符号に変換されて圧縮符号化されている。この入力画像データは、図示しない処理部で処理された後、可変長復号化部２に供給されて可変長復号化され、さらに、逆量子化部３に供給されてＤＣＴ係数からなる画像データが得られる。この画像データは、ＩＤＣＴ部４に供給され、画像符号化装置での符号化単位となるブロック単位で、供給されたＤＣＴ係数を用い、逆ＤＣＴ変換されることにより、画面内予測符号化モードによるＩスライスや画面間予測符号化モードによるＰ，Ｂスライスからなる画面の画像データが得られる。
【００６２】
ここで、画面間予測符号化モードによるＰ，Ｂスライスは、先に説明したように、画面内予測符号化モードによって符号化されたブロックと画面間予測符号化モードによって符号化されたブロックとが混在するものであり、ＩＤＣＴ部４で逆ＤＣＴ変換の単位となる画面内予測符号化モードで符号化されたブロックは、図８，図９で説明したように、元の画素値と予測値との差分値を画素値とする画素（差分値画素）からなるブロックである。
【００６３】
ＩＤＣＴ部４で逆ＤＣＴ変換された画面内予測符号化モードによる符号化ブロックは、加算器５に供給され、逆ＤＣＴ変換された画面間予測符号化による符号化ブロックは、加算部６に供給される。
【００６４】
加算器５では、上記の画面内予測復号化対象ブロックとしての画面内予測符号化による符号化ブロックでの各差分値画素（即ち、上記の画面内予測復号化対象画素）に画面内予測部９で生成される該当の参照画素が加算され、元の画素値の画素からなる復号ブロックが得られる。この場合の参照画素と符号化ブロックでの差分値画素の加算処理は、図１１で説明したものであり、参照画素に対して予測方向に配列される差分値画素が加算処理されることになる。加算器５で生成された復号ブロックは、画像補正部７で後述する補正処理がなされた後、記憶部８に供給されて記憶される。
【００６５】
また、加算部６では、画面間予測符号化による符号化ブロックでの各差分値（過去または未来の画面での該当する予測値との差分値）に動き補償部１０で生成される該当の参照画像が加算され、元の画素値の画素からなる復号ブロックが得られる。加算部６で生成された復号ブロックは、記憶部８に供給されて記憶される。
【００６６】
記憶部８は、ＩＤＣＴ部４から加算部５に画面内予測符号化による符号化ブロックの差分値画素が供給されたとき、これに該当する参照画素を得ることができるようにするために設けられたものであって、復号ブロックは、その画素が画面内予測符号化による符号化ブロックの差分値画素に対する参照画素として使用されなくなるまで、この記憶部８に記憶されている。画面内予測部９は、ＩＤＣＴ部４から加算部５に画面内予測符号化による符号化ブロックの差分値画素が供給されるようになると、かかる差分値画素に対する参照画素となる画素を含む復号ブロックを、上記の参照ブロックとして、記憶部８から読み取り、かかる参照画素となる画素を基に加算部５に供給される差分値画素の参照値を作成し、加算部５に供給する。これにより、差分値画素の画素値にこれに該当する参照値が加算され、元の画素値に復元した画素が得られる。
【００６７】
例えば、図１１に示す復号化処理を行なう場合、画面内予測符号化による符号化ブロックであるＭＢ−３が画面内予測復号化対象ブロックとして、その差分値画素が加算部５に供給されると、これに対する参照画素となる画素Ａ，Ｂ，Ｃ，……を含む画面間予測復号化された復号ブロックＭＢ−１が記憶部８から読み出され、画面内予測部９に供給されてその画素Ａ，Ｂ，Ｃ，……から参照値が作成されて加算される。勿論、図８，図９で示すように符号化された場合でも、同様にして、予測値を形成した予測値画素を参照値画素とする。
【００６８】
このようにして、画面内予測符号化モードによる符号化ブロックは復号され、復号ブロックとして記憶部８に記憶される。なお、画面間予測符号化モードによる符号化ブロックの復号ブロックも記憶部８に記憶するのは、この復号ブロックも、他の画面内予測符号化モードによる符号化ブロックに対する参照ブロックとなり得るものである。例えば、図１０（ｂ）において、ＭＢ−１は画面間予測符号化モードによって符号化されたブロックであるが、ＭＢ−３の復号に対する参照ブロックとなるため、記憶部８に記憶される。
【００６９】
記憶部８からは、また、画面内予測符号化による復号ブロックに参照ブロックとして使用されないブロックや参照ブロックとして使用されなくなったブロックが読み出され、デブロッキングフィルタ部１１に供給する。このデブロッキングフィルタ部１１は、ブロック毎に区切って符号化，復号化したことによるブロック間の色や輝度の違いといったブロック歪を軽減し、ブロック間で画像が滑らかにつながるようにフィルタ処理を行なうものであり、上記の画面内予測符号化と同様、H.264/AVC規格で新たに追加された符号化ツールの１つである。
【００７０】
デブロッキングフィルタ部１１でフィルタ処理をされた各ブロックの画像データは画像縮小部１２に供給され、画素の間引き処理が行なわれて予め設定された画像サイズが下位レベルの所定フォーマットに変換（ダウンコンバート）されて、記憶部１３に格納される。この記憶部１３で、各ブロックが１画面を構成する配列で記憶される。また、記憶部１３から画面の画像データが読み出され、画像伸張部１４で各ブロック毎に画素補間処理が行なわれて（アップコンバート）元のフォーマットに変換される。画像伸張部１４から出力された画像データは復号画像として出力されるとともに、画面間予測符号化ブロックの参照ブロックを形成するために、動き補償部１０に供給される。
【００７１】
次に、画像補正部７について説明する。
【００７２】
図２は画像補正部７の処理動作の一具体例を示すフローチャートである。
【００７３】
図１において、上記のように、画面内予測符号化された画面内予測復号化対象ブロックの画面内予測復号化対象画素（差分値画素）は加算器５に供給され、その画素値（差分値）が画面内予測部９から供給される参照値と加算されて、元の画素値の画素からなる復号ブロックが得られる。画像補正部７では、加算部５から供給される復号ブロックについて、この復号ブロックがＩスライスに属するものであるのか否かを判定し（図２のＳ１０１）、Ｉスライスに属するものであるときには（図２のＳ１０１で“ＹＥＳ”）、処理を終了してこのＩスライスのブロックを記憶部８に送り、次のスライスの処理まで待機する。これは、Ｉスライスの場合には、上記のように、各ブロックが画面内予測符号化モードのみで符号化され、また、これを復号する場合には、同じＩスライスの画面内予測復号されたブロックを、ダウンデコードなしに、参照ブロックとして復号するものであるから、画質劣化がなく、従って、画像補正する必要がないためである。
【００７４】
加算部５から供給される復号ブロックがＰスライスまたはＢスライスでのブロックである場合には（図２のＳ１０１で“ＮＯ”）、次に、加算部５からの復号ブロックに対する参照ブロックが適正なブロックであるか否かの判定を行なう（図２のＳ１０２）。これは、加算部５から供給される復号ブロックのＰまたはＢスライスを含む画面をＰ1（以下、これを復号化対象画面という）とし、この復号化対象画面Ｐ1のＰまたはＢスライスでの画面間予測符号化されたブロックに対して参照ブロックとなるブロックを含む過去または未来の画面をＰ2（以下、これを画面間予測復号化参照画面という）とすると、これら画面Ｐ1，Ｐ2間に、例えば、シーン（場面）チェンジなどで画像に大きな変化があるような場合、加算部５から供給される復号ブロックに対して画像補正を行なうため、参照ブロックとすることは適正ではない、とするものである。
【００７５】
かかる判定をするために、復号化対象画面Ｐ1での加算部５から供給される復号ブロックの画素の画素値をDECij（但し、この復号ブロックのサイズをｍ画素×ｎ画素として、ｉ＝１，２，……，ｍ、ｊ＝１，２，……，ｎ）とし、画面間予測復号化参照画面Ｐ2での、復号ブロックの復号化対象画面Ｐ1での空間位置に対応する空間位置にあり、この復号ブロックと同じサイズのブロック（以下、参照画面対象ブロックという）の画素の画素値をREFTMPijとすると、これら画素値の差分絶対値和(Sum of Absolute Difference:SAD)の平均値、即ち、
【数１】
0004774315.tif 000002
【００７６】
を求め、この平均値DIFF(DECij，REFTMPij）が予め設定された閾値TH_tmpを超えるか否かでもって、かかる判定を行なう。即ち、この平均値DIFF(DECij，REFTMPij）が閾値TH_tmpを超える場合には（図２のＳ１０２の“ＮＯ”）、上記画面Ｐ1，Ｐ2間に相関性がないと判定し、処理を終了してこの復号化対象画面Ｐ1の加算部５から供給された復号ブロックを記憶部８に送り、次に加算部５から復号ブロックが供給されるまで待機する。また、平均値DIFF(DECij，REFTMPij）が閾値TH_tmp以下の場合には（図２のＳ１０２の“ＹＥＳ”）、図２の次のＳ１０３に進む。
【００７７】
なお、Ｓ１０２でこのように復号ブロック毎に判定するのは、シーンチェンジばかりでなく、部分的に画面Ｐ1，Ｐ2間で相関がない場合もあり、このような場合には、相関がない部分だけ画像補正部７での処理を行なわないようにするものであり、相関がある部分での復号ブロックについては、復号の際の参照画素は適正なものとして、画像補正部７で補正処理を行なう候補とするものである。
【００７８】
上記平均値DIFF(DECij，REFTMPij）が閾値TH_tmp以下となる（図２のＳ１０２の“ＹＥＳ”）加算部５からの復号ブロックは、次に、画像のエッジや煩雑な模様のようなものがないほぼ均一な情報内容のブロックであるか否かの判定が行なわれる（図２のＳ１０３）。
【００７９】
かかる判定は、復号ブロックのアクティビティを求めて評価するものであり、このアクティビティは、復号ブロックの画素の画素値をDECijとして、次の評価式ACT(DECij)、即ち、
【数２】
0004774315.tif 000003
【００８０】
から求められる。ここで、DECaveはｍ×ｎ画素からなる復号ブロックの平均画素値であり、評価式ACT(DECij)で算出されるアクティビティは、復号ブロックの画素値DECijとその平均画素値DECaveとの２乗誤差和(Sum of Square Difference:SSD)の平均値である。
【００８１】
図２のＳ１０３は、このアクティビティACT(DECij)と予め設定された閾値TH_actとを比較し、アクティビティACT(DECij)がこの閾値TH_actを超えた場合には、ほぼ均一な情報内容でない復号ブロックであると判定し（図２のＳ１０３の“ＮＯ”）、処理を終了してこの復号ブロックを記憶部８に送り、加算部５から次の復号ブロックが供給されるまで待機する。アクティビティACT(DECij)がこの閾値TH_act以下である場合には、ほぼ均一な情報内容の復号ブロックであると判定し（図２のＳ１０３の“ＹＥＳ”）、この復号ブロックの画像補正が行なわれる（図２のＳ１０４）。
【００８２】
以上のようにして、画像補正部７では、加算部５から供給される画面内予測符号化ブロックの復号ブロックは、Ｉスライスに属しておらず（図２のＳ１０１）、この復号ブロックとこの復号ブロックが属するＰまたはＢスライスを含む復号対象画面での画面間予測復号の際に参照ブロックとなる画面（即ち、画面間予測復号化参照画面）において、上記復号ブロックでの空間位置に対応するブロックとの間で相関性があって（図２のＳ１０２）、かつほぼ均一な情報内容であるとき（図２のＳ１０３）、図２のＳ１０４により、画面間予測復号された参照ブロックのドリフト誤差を取り除く画像補正が行なわれるものである。
【００８３】
図２のＳ１０４の画像補正は、画面間予測符号化参照画面での、この復号ブロックの空間位置に対応する画素の画素値を用いて復号ブロックでの各画素の画素値を補正するものである。
【００８４】
この画像補正は、次の数３、即ち、
【数３】
0004774315.tif 000004
【００８５】
ここで、数３での右辺第２項の括弧内は、参照画面対象ブロックでの画素値REFTMPijの平均値と復号ブロックの画素値DECijの平均値との差（平均誤差）であり、この平均誤差に重み付け係数αを乗算した値を、上記のドリフト誤差として、復号ブロックの各画素DECijに加算して画像補正を行なうものである。
【００８６】
図３は数３での重み付け係数αの設定を示す説明図であって、横軸は上記数１で示す復号対象画面の復号ブロックと画面間予測復号化参照画面の参照画面対象ブロックとの相関を示す上記数１の評価式DIFF(DECij，REFTMPij）の値を表わし、縦軸は重み付け係数αを表わす。
【００８７】
同図において、重み付け係数αは、図２のＳ１０２で用いる評価式DIFF(DECij，REFTMPij）の値に応じたものであり、評価式DIFF(DECij，REFTMPij）の演算結果の値が大きいほど重み付け係数αが大きく設定される。その結果として、復号ブロックでの画素値DECijと対応する参照画面対象ブロックでの画素値REFTMPijとの差が大きいほど、強い画像補正が行なわれ、これら画素値DECij，REFTMPijとの差が小さくするように補正制御される。
【００８８】
以上のように、この第１の実施形態では、画面間予測符号化されたスライス中の画面内予測符号化されたブロックの復号化されたブロック（即ち、復号ブロック）に対して、この復号ブロックを含む画面（復号対象画面）で画面間予測復号化に用いた画面（即ち、画面間予測復号化参照画面）での上記復号ブロックに対応した空間位置にあるブロック（即ち、参照画面対象ブロック）に基づいて画像補正を行なうものであるから、この復号ブロックでの主観上の画質劣化を軽減することができる。
【００８９】
なお、かかる画像補正に対し、復号ブロックがＩスライスに属する場合、復号ブロックと参照画面対象ブロックとの画素値の差分が予め定めた閾値より大きい場合及び復号ブロックのアクティビティが予め定めた閾値より大きい場合には、画像補正を行なわない条件を設けることにより、例えば、シーンチェンジなどによって復号ブロックと参照画面対象ブロックとで画像が大きく異なる場合や、復号ブロックでの空間周波数が高く、画質劣化が目立ちにくい場合には、画像補正の対象から外し、画質劣化が目立ちやすい領域についてのみ、画像補正を適用することができるものである。
【００９０】
次に、本発明による画像復号化装置及び画像復号化方法の第２の実施形態について説明するが、その構成は図１と同様であり、その説明を省略する。
【００９１】
図４はこの第２の実施形態での画像補正部７（図１）の動作の一具体例を示すフローチャートである。
【００９２】
上記第１の実施形態では、画像補正部７での図２に示す画像補正では、画像補正対象となる復号ブロックの判定及び画像処理に、この復号ブロックを含む画面（復号対象画面）に対して、その画面間予測符号化ブロックの参照ブロックとなるブロックを含む過去もしくは未来の画面（即ち、画面間予測符号化参照画面）のブロックを用いたが、この第２の実施形態では、この復号ブロックを含む画面でのブロック、具体的には、この復号ブロックに隣接する左側のブロック（例えば、図１０における復号ブロックとしてのＭＢ−３に対するＭＢ−２）を用いるものである。以下、図１及び図４を用いてこの第２の実施形態での画像補正部７の動作を説明する。これ以外の第２の実施形態の動作は、第１の実施形態と同様であり、その説明を省略する。
【００９３】
図１において、上記の第１の実施形態と同様にして、加算器５から画像補正部７に復号ブロックが供給されると、画像補正部７では、まず、この復号ブロックがＩスライスに属するものであるのか否かを判定し（図４のＳ２０１）、Ｉスライスに属するものであるときには（図４のＳ２０１で“ＹＥＳ”）、処理を終了してこのＩスライスのブロックを記憶部８に送り、次のスライスの処理まで待機する。加算部５から供給される復号ブロックがＰスライスまたはＢスライスでのブロックである場合には（図４のＳ２０１で“ＮＯ”）、加算部５からの復号ブロックよりも時間的に先行するブロック、即ち、復号ブロックに対して左側に隣接するブロック（以下、左側隣接ブロックという）とこの復号ブロックとの相関性を判定する（図４のＳ２０２）。この判定は、これらブロック間で画像内容に大きな変化があると、復号ブロックにドリフト誤差が混入しても、画像としては格別目立つことがなく、このような復号ブロックに対しては、画像補正をしなくてもよいようにするものである。
【００９４】
かかる判定をするために、加算部５から供給される復号ブロックの画素の画素値を、第１の実施形態と同様、DECij（但し、この復号ブロックのサイズをｍ画素×ｎ画素として、ｉ＝１，２，……，ｍ、ｊ＝１，２，……，ｎ）とし、これに隣接する左側隣接ブロックでの画素の画素値をREFTSPijとすると、これら画素値の差分絶対値和(Sum of Absolute Difference:SAD)の平均値、即ち、
【数４】
0004774315.tif 000005
【００９５】
を求め、この平均値DIFF(DECij，REFTSPij）が予め設定された閾値TH_spを超えるか否かでもって、かかる判定を行なう。即ち、この平均値DIFF(DECij，REFTSPij）が閾値TH_spを超える場合には（図４のＳ２０２の“ＮＯ”）、復号ブロックと左側隣接ブロックとの間に相関性がないと判定し、処理を終了してこの復号ブロックを記憶部８に送り、次に加算部５から次の復号ブロックが供給されるまで待機する。また、平均値DIFF(DECij，REFTSPij）が閾値TH_sp以下の場合には（図４のＳ２０２の“ＹＥＳ”）、図４の次のＳ２０３に進む。
【００９６】
図４のＳ２０３は、第１の実施形態に対する図２のＳ１０３と同様、画像のエッジや煩雑な模様のようなものがないほぼ均一な情報内容のブロックであるか否かの判定が行なわれるものである。
【００９７】
このＳ２０３でのかかる判定は、復号ブロックのアクティビティを求めて評価するものであり、このアクティビティは、上記のように、復号ブロックの画素の画素値をDECijとして、次の評価式ACT(DECij)、即ち、
【数５】
0004774315.tif 000006
【００９８】
から求められる。この数５は、第１の実施形態での数２と同じである。
【００９９】
図４のＳ２０３では、図２でのＳ１０３と同様、このアクティビティACT(DECij)と予め設定された閾値TH_actとを比較し、アクティビティACT(DECij)がこの閾値TH_actを超えた場合には、ほぼ均一な情報内容でない復号ブロックであると判定し（図４のＳ２０３の“ＮＯ”）、処理を終了してこの復号ブロックを記憶部８に送り、加算部５から次の復号ブロックが供給されるまで待機する。アクティビティACT(DECij)がこの閾値TH_act以下である場合には、ほぼ均一な情報内容の復号ブロックであると判定し（図４のＳ２０３の“ＹＥＳ”）、この復号ブロックの画像補正が行なわれる（図４のＳ２０４）。
【０１００】
以上のようにして、第２実施形態での画像補正部７においても、加算部５から供給される画面内予測符号化ブロックの復号ブロックは、Ｉスライスに属しておらず（図４のＳ２０１）、この復号ブロックがその左側隣接ブロックとの間で相関性があって（図４のＳ２０２）、かつほぼ均一な情報内容であるとき（図４のＳ２０３）、図４のＳ２０４により、画面間予測復号された参照ブロックのドリフト誤差を取り除く画像補正が行なわれるものである。
【０１０１】
図４のＳ２０４の画像補正は、復号ブロックの左側隣接ブロックの画素の画素値を用いて参照ブロックでのドリフト誤差を近似し、これでもって復号ブロックでの各画素の画素値を補正するものである。
【０１０２】
この画像補正は、次の数６、即ち、
【数６】
0004774315.tif 000007
【０１０３】
ここで、数６での右辺第２項の括弧内は、左側隣接ブロックでの画素値REFTSPijの平均値と復号ブロックの画素値DECijの平均値との差（平均誤差）であり、この平均誤差に重み付け係数βを乗算した値を、上記のドリフト誤差として、復号ブロックの各画素DECijに加算して画像補正を行なうものである。
【０１０４】
図５は数６での重み付け係数βの設定を示す説明図であって、横軸は上記数４で示す復号ブロックと左側隣接ブロックとの相関を示す上記数４の評価式DIFF(DECij，REFTSPij）の値を表わし、縦軸は重み付け係数βを表わす。
【０１０５】
同図において、重み付け係数βは、図４のＳ２０２で用いる評価式DIFF(DECij，REFTSPij）の値に応じたものであり、評価式DIFF(DECij，REFTSPij）の演算結果の値が大きいほど重み付け係数βが大きく設定される。その結果として、復号ブロックでの画素値DECijと対応する左側隣接ブロックでの画素値REFTSPijとの差が大きいほど、強い画像補正が行なわれ、これら画素値DECij，REFTSPijとの差が小さくするように補正制御される。
【０１０６】
以上のように、この第２の実施形態でも、画面間予測符号化されたスライス中の画面内予測符号化されたブロックの復号化されたブロック（即ち、復号ブロック）に対して、これと左側で隣接するブロック（即ち、左側隣接ブロック）に基づいて画像補正を行なうものであるから、この復号ブロックでのドラフト誤差が低減されて主観上の画質劣化を軽減することができる。
【０１０７】
なお、かかる画像補正は、復号ブロックがＩスライスに属する場合、復号ブロックと左側隣接ブロックとの画素値の差分が予め定めた閾値より大きい場合及び復号ブロックのアクティビティが予め定めた閾値より大きい場合には、画像補正を行なわない条件を設けることにより、例えば、絵柄によって復号ブロックと左側隣接ブロックとで画像が大きく異なる場合や、復号ブロックでの空間周波数が高く、画質劣化が目立ちにくい場合には、画像補正の対象から外し、画質劣化が目立ちやすい領域についてのみ、適用することができるものである。
【０１０８】
また、この第２の実施形態では、復号ブロックを画像補正するために、その左側隣接ブロックを利用したが、上側隣接ブロック（例えば、図１０におけるＭＢ−１）を利用するようにしてもよい。また、左側隣接ブロックと上側隣接ブロックとを利用可能とし、そのうちで数４で示す評価式DIFF(DECij，REFTSPij）の演算結果の値が小さい方の隣接ブロックを利用するようにしてもよい。
【０１０９】
さらに、第１，第２の実施形態での画像補正部７の処理を組み合わせることにより、時間方向のブロック（即ち、画面間予測復号化参照画面の参照画面対象ブロック）あるいは空間方向のブロック（即ち、復号ブロックの隣接ブロック）のいずれかのブロックを利用して復号ブロックの画像補正を行なってもよく、同様の効果を得ることが可能である。
【０１１０】
なお、本発明による画像復号化装置及び画像復号化方法は、ＤＶＤプレーヤなどの画像記録再生装置やテレビジョン受像機，画像情報の受信を行なう携帯電話などの携帯端末などに適用可能である。例えば、ＤＶＤプレーヤなどの画像記録再生装置が装備されたビデオカメラにおいては、H.264/AVC規格に基づく符号化装置と本発明による復号化装置が設けることが可能である。この場合、撮影された画像データが装着されたＤＶＤにH.264/AVC規格に基づいて圧縮符号化されて記録され、このＤＶＤから読み出される圧縮符号化された画像データは、本発明による復号化装置によって復号される。
【図面の簡単な説明】
【０１１１】
【図１】本発明による画像復号化装置及び画像復号化方法の第１の実施形態を示す構成ブロック図である。
【図２】図１における画像補正部の処理動作の一具体例を示すを示すフローチャートである。
【図３】図２のＳ１０４での補正処理を示す数３での重み付け係数重み付け係数αの設定の一具体例の説明図である。
【図４】本発明による画像復号化装置及び画像復号化方法の第２の実施形態の画像補正処理を示すフローチャートである。
【図５】本発明による画像復号化装置及び画像復号化方法の第２の実施形態の重み付け係数βの設定の一具体例の説明図である。
【図６】１画面のスライスによるデータ構造を模式的に示す図である。
【図７】H.264/AVC規格における画面内予測符号化での符号化モードと予測モードの一覧を示す図である。
【図８】図７におけるIntra4×4モードでのイントラ予測モードを具体的に示す図である。
【図９】図７におけるIntra16×16モードでのイントラ予測モードを具体的に示す図である。
【図１０】画面間予測符号化ブロックを予測ブロックとした画面内予測符号化ブロックの復号動作の一具体例を示す図である。
【図１１】図１０（ｂ）のＭＢ−３の部分を拡大して示す図である。
【符号の説明】
【０１１２】
１  復号化部
２  可変長復号化部
３  逆量子化部
４  ＩＤＣＴ部
５，６  可算器
７  画像補正部
８  記憶部
９  画面内予測部
１０  動き補償部
１１  デブロッキングフィルタ部
１２  画像縮小部
１３  画像記憶部
１４  画像伸張部
【図１】
0004774315.tif 000008
【図２】
0004774315.tif 000009
【図３】
0004774315.tif 000010
【図４】
0004774315.tif 000011
【図５】
0004774315.tif 000012
【図６】
0004774315.tif 000013
【図７】
0004774315.tif 000014
【図８】
0004774315.tif 000015
【図９】
0004774315.tif 000016
【図１０】
0004774315.tif 000017
【図１１】
0004774315.tif 000018