(57)【要約】【課題】  少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供する。【解決手段】  符号化ストリームを入力し、符号化ストリームに含まれる復号化対象ブロックの予測モードを判別し、判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて復号化対象ブロックの予測誤差の推定指標値を算出し、算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定し、決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する。【選択図】  図１３
2012124542.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを入力するステップと、
前記符号化ストリームに含まれる復号化対象ブロックの予測モードを判別するステップと、
前記判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて前記復号化対象ブロックの予測誤差の推定指標値を算出する予測誤差推定指標値算出ステップと、
前記予測誤差推定指標値算出ステップにおいて算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定する復号化テーブル決定ステップと、
前記復号化テーブル決定ステップで決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、該可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と前記判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する復号画像生成ステップとを備えることを特徴とする動画像復号化方法。
【請求項２】
前記判別した予測モードが画面間予測モードである場合に、前記予測誤差推定指標値算出ステップは、復号化対象画像中の復号化対象ブロックに隣接するブロックに属する画素と、前記復号化対象画像とは異なるブロックであって、前記復号化対象ブロックについての動きベクトルが示す参照画像中の参照ブロックに隣接するブロックに属する画素との画素値の差分値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項１に記載の動画像復号化方法。
【請求項３】
前記差分値を前記復号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項２に記載の動画像復号化方法。
【請求項４】
前記判別した予測モードが画面内予測モードである場合に、前記復号化対象ブロックの前記画面内予測モードの種類に応じて、前記復号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項１に記載の動画像復号化方法。
【請求項５】
前記差分値を前記復号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項４に記載の動画像復号化方法。
【請求項６】
画面内予測モードまたは画面間予測モードにより符号化対象画像中の符号化対象画像ブロックについての予測画像を生成して、前記符号化対象画像ブロックの画像と前記予測画像との予測差分を生成する予測処理ステップと、
前記予測処理ステップで生成した予測差分に周波数変換処理と量子化処理とを行い量子化データを生成する周波数変換・量子化ステップと、
前記予測処理ステップにおける予測モードに対応する算出方式により、既に符号化済みの画像に基づいて符号化対象ブロックの予測誤差の推定指標値を算出する予測誤差推定指標値算出ステップと、
前記予測誤差推定指標値算出ステップにおいて算出した推定指標値に基づいて、複数の符号化テーブルから、可変長符号化処理に用いる符号化テーブルを決定する符号化テーブル決定ステップと、
前記符号化テーブル決定ステップで決定した符号化テーブルを用いて、前記周波数変換・量子化ステップで生成した量子化データを可変長符号化して符号化ストリームに含める符号化ストリーム生成ステップとを備える特徴とする動画像符号化方法。
【請求項７】
前記予測処理ステップにおける予測モードが画面間予測モードである場合に、前記予測誤差推定指標値算出ステップは、符号化対象画像中の符号化対象ブロックに隣接するブロックに属する画素と、前記符号化対象画像とは異なるブロックであって、前記符号化対象ブロックについての動きベクトルが示す参照画像中の参照ブロックに隣接するブロックに属する画素との画素値の差分値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項６に記載の動画像符号化方法。
【請求項８】
前記差分値を前記符号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項７に記載の動画像符号化方法。
【請求項９】
前記予測処理ステップにおける予測モードが画面内予測モードである場合に、前記符号化対象ブロックの前記画面内予測モードの種類に応じて、前記符号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項６に記載の動画像符号化方法。
【請求項１０】
前記差分値を前記符号化対象ブロックの量子化ステップ値で除算した値に基づいて、前記符号化対象ブロックの予測誤差の推定指標値を算出することを特徴とする請求項９に記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像を符号化する動画像符号化技術、符号化された動画像を復号化する動画像復号化技術に関する。
【背景技術】
【０００２】
大容量の動画像情報をデジタルデータ化して記録、伝達する手法として、MPEG (Moving Picture Experts Group)方式等の符号化方式が策定され、MPEG-1規格、MPEG-2規格、MPEG-4規格、H.264/AVC(Advanced Video Coding)規格等として国際標準の符号化方式となっている。これらの方式はデジタル衛星放送やDVD、携帯電話やデジタルカメラなどにおける符号化方式として採用され、現在ますます利用の範囲が広がり、身近なものとなってきている。
【０００３】
これらの規格では、符号化処理が完了した画像情報を利用して符号化対象画像をブロック単位で予測し、原画像との予測差分を可変長符号化することによって、符号量を減らしている。
【０００４】
特にH.264/AVCでは、符号化対象ブロックの周辺画素を利用する画面内予測符号化方式と、符号化対象ブロックの前後の画面の画素を利用する画面間予測符号化方式とを採用して予測差分のみを符号化する。
【０００５】
しかし、上記可変長符号化における符号表は、予測差分が小さくなることを想定して作成されているため、予測精度が低いと予測誤差が大きくなり、符号量が膨大になるといった課題があった。
【０００６】
この課題を解決する試みとして特許文献１の段落０００７には、「符号化対象ブロックの周辺に位置する符号化済ブロック中に含まれる０以外の係数の個数に基づいて、前記符号化対象ブロック中に含まれる０以外の係数の個数の予測値を算出する予測ステップと、前記予測ステップにより算出された前記予測値に基づいて可変長符号化用のテーブルを選択するテーブル選択ステップと、前記テーブル選択ステップにより選択された前記可変長符号化用のテーブルを参照して、前記符号化対象ブロック中に含まれる０以外の係数の個数に対して可変長符号化を行う可変長符号化ステップとを含む」ように構成することが記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１９３７２５
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１開示の技術は「直交変換を適用したブロック中に含まれる０以外の係数の個数」について高効率化な可変長符号化処理を図るものであって、その他の種類の係数について高効率化な可変長符号化処理を行うことはできないという課題があった。
【０００９】
本発明は上記課題を鑑みてなされたものであり、その目的は、少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一実施の形態は、たとえば、符号化ストリームを入力し、符号化ストリームに含まれる復号化対象ブロックの予測モードを判別し、判別した予測モードに対応する算出方式により、既に復号化済みの画像に基づいて復号化対象ブロックの予測誤差の推定指標値を算出し、算出した推定指標値に基づいて、複数の復号化テーブルから、可変長復号化処理に用いる復号化テーブルを決定し、決定した復号化テーブルに基づいて符号化ストリームのデータに可変長復号化処理を行い、可変長復号化処理を行ったデータに逆量子化処理及び逆周波数変換処理を行って予測差分を復号し、復号した予測差分と判別した予測モードによる予測処理により生成した予測画像とに基づいて復号画像を生成する。
【発明の効果】
【００１１】
本発明によれば、少ない符号量で高画質の映像を提供する動画像符号化技術および動画像復号化技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る画像符号化装置のブロック図の一例
【図２】実施例１に係る可変長符号化部のブロック図の一例
【図３】実施例１に係る画像復号化装置のブロック図の一例
【図４】実施例１に係る可変長復号化部のブロック図の一例
【図５】実施例１に係る画面間予測の一例の概念的な説明図
【図６】実施例１に係る画面内予測の一例の概念的な説明図
【図７】H.264規格の可変長符号化の概念的な説明図
【図８】実施例１に係る画面間予測向けの予測誤差推定指標値算出処理の一例の概念的な説明図
【図９】実施例１に係る画面間予測向けの予測誤差推定指標値算出処理の一例の説明図
【図１０】実施例２に係る画面間予測向けの予測誤差推定指標値算出処理の一例の説明図
【図１１】実施例１に係る画面内予測向けの予測誤差推定指標値算出処理の一例の説明図
【図１２】実施例２に係る画面内予測向けの予測誤差推定指標値算出処理の一例の説明図
【図１３】実施例１に係る符号化・復号化テーブルの決定方法の一例の説明図
【図１４】実施例１に係る画像符号化方法の流れ図の一例
【図１５】実施例１に係る画像復号化方法の流れ図の一例
【図１６】実施例１に係る可変長符号化方法の流れ図の一例
【図１７】実施例１に係る可変長復号化方法の流れ図の一例
【図１８】実施例１に係る符号化テーブルの一例の説明図
【発明を実施するための形態】
【００１３】
以下、本発明の実施例を、図面を参照して説明する。
【実施例１】
【００１４】
図1は実施例１における動画像符号化装置の一例を示したものである。動画像符号化装置は、入力された原画像(101)を保持する入力画像メモリ(102)と、入力画像を小領域に分割するブロック分割部(103)と、ブロック単位で画面内予測を行って予測画像を生成する画面内予測部(105)と、対象ブロックについての動き探索を行って動きベクトルを算出し、当該動きベクトルに基づいて画面間予測処理により予測画像を生成する画面間予測部(106)と、画像の性質に合った予測モード(予測方法およびブロックサイズ)を決定して、決定した予測モードの予測画像を出力するモード決定部(107)と、入力画像から決定した予測モードの予測画像を減算して予測差分を生成する減算部(108)と、予測差分に対して符号化を行う周波数変換部(109)および量子化部(110)と、可変長符号化処理を行う可変長符号化部(111)と、周波数変換及び量子化した予測差分を復号化する逆量子化処理部(112)および逆周波数変換部(113)と、復号化された予測差分と決定した予測モードの予測画像を用いて復号化画像を生成する加算部(114)と、後の予測処理に用いるための復号化画像を保持する参照画像メモリ(104)を有する。以下、各部の詳細な動作について説明する。
【００１５】
入力画像メモリ(102)は原画像(101)の中から一枚の画像を符号化対象画像として保持する。ブロック分割部(103)は、原画像を複数のブロックに分割して、画面内予測部(105)、および画面間予測部(106)に出力する。画面間予測部(106)は、参照画像メモリ(117)に格納されている復号化済み画像を用いて、動き探索により対象ブロックの動きベクトルを算出し、ブロック単位で画面間予測処理を実行する。
【００１６】
ここで、画面間予測部(106)による画面間予測処理の詳細について図５を用いて説明する。画面間予測部(106)では、符号化対象画像に対してラスタースキャンの順序に従ってブロック単位による符号化を行う。画面間予測を行う際には、符号化対象画像(503)と同じ映像(501)に含まれる符号化済みの画像の復号画像を参照画像(502)とし、対象画像中の対象ブロック(504)と相関の高い参照ブロック(予測画像)(505)を参照画像中から探索する動き探索を行う。探索結果として動きベクトルを算出し、対象ブロック(504)の符号化に用いる予測画像(505)を決定する。
【００１７】
図１において、画面間予測部(106)は、当該動きベクトルを可変長符号化部(111)に出力し、対象ブロックについての予測画像をモード決定部(107)に出力する。
【００１８】
また、画面内予測部(105)は、ブロック単位で画面内予測処理を実行する。画面内予測部(105)による画面内予測処理の詳細について図６を用いて説明する。画面内予測部(105)では、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みのブロックの復号化画像を用いて予測を行う。特に、予測にはこれらのブロックに含まれる13個の画素を参照画素として利用し、予測方向ベクトルを傾きとする同一直線上の画素はすべて同一画素から予測する(601)。さらに、予測方向については、説明(602)に示すように、縦、横、斜めなど、8種類の予測方向候補の中から最適なものをブロック単位で選択する。すなわち、画面内予測処理における予測とは、符号化対象ブロックの予測画像を、隣接する符号化済みのブロックの画素の画素値を選択した予測方向上の画素にコピーすることにより生成することである。また、上記の8種類の方向に沿った予測の他に、上記13個の画素を参照画素のうち対象ブロックの上または左に隣接するブロックに属する8個の画素の画素値の平均値によって符号化対象ブロックに含まれるすべての画素を予測する「DC予測」も利用可能である(602)。この場合、予測画像のすべての画素値が、上記8個の画素の画素値の平均値となる。
【００１９】
図１において、画面内予測部(105)は、画面内予測処理において用いた予測方法の種類の情報（例えば、予測方向またはＤＣ予測などの画面内予測モードの種類を示す情報）を可変長符号化部(111)に出力し、対象ブロックについての予測画像をモード決定部(107)に出力する。
【００２０】
次に、図１において、モード決定部(107)は画面内予測処理または画面間予測処理の結果に基づいて最適な予測モードを決定する。減算部(108)では、原画像の対象ブロック画像から決定した予測モードの予測画像を減算して予測差分を生成し、周波数変換部(109)に出力する。周波数変換部(109)は、取得した予測差分に対してDCT(Discrete Cosine Transformation：離散コサイン変換)などの周波数変換処理を行う。続いて、量子化処理部(110)が量子化処理を行って、可変長符号化処理部(111)および逆量子化処理部(112)に出力する。さらに可変長符号化処理部(111)は、対象ブロックの周辺ブロックの画素の画素値に基づいて予測誤差推定指標値を算出し、当該予測誤差推定指標値に基づいて符号化テーブルを決定する。次に、決定した符号化テーブルを用いて、量子化された予測差分情報、画面内予測処理で用いた予測方向や画面間予測処理で用いた動きベクトルなど、復号化に必要な情報を可変長符号化して符号化ストリームを生成する。当該可変長符号化処理部(111)の処理の詳細については後述する。
【００２１】
また、逆量子化処理部(112)は、予測差分情報の量子化された周波数変換係数に対して、逆量子化処理を行い、逆周波数変換部(113)では、IDCT(Inverse DCT：逆DCT)などの逆周波数変換処理を行い、予測差分を生成して加算部(114)に出力する。続いて、加算部(114)は、予測差分を決定した予測モードの予測画像に加算して、復号化画像を生成する。生成された復号化画像は参照画像メモリ(104)に格納される。
【００２２】
次に、可変長符号化処理部(111)の処理の詳細について、従来のH.264規格の可変長符号化処理と比較して説明する。
【００２３】
まず、図７を用いてH.264規格の可変長符号化処理(CAVLC)について説明する。H.264/AVCでは、符号化対象ブロックについて、画面間予測処理または画面内予測処理により生成した予測差分に周波数変換処理（ＤＣＴ変換等）と量子化処理を行った係数値をジグザグスキャンによって1次元配列に変換とする。次に、当該1次元配列に含まれる(１)〜(６)に示す6種類の情報について、例えば図示する特性を有する符号化テーブルを用いて可変長符号化する。
【００２４】
これに対し、本実施例における動画像符号化装置の可変長符号化部(111)の詳細な構成の一例を図２に示す。可変長符号化部(111)は、例えば、予測誤差推定指標値算出部(201)と、テーブル決定部(202)と、符号化部(203)とを有する。予測誤差推定指標値算出部(201)は、参照画像メモリ(104)から符号化対象ブロックに隣接する符号化済みの周辺ブロックの画素値を取得し、符号化対象ブロックについての予測誤差の推定指標値を算出する。なお、予測誤差推定指標値算出部(201)は、モード決定部(107)から決定した予測モードの情報を取得し、決定した予測モードが画面内予測モードか、画面間予測モードかによって、予測誤差推定指標値算出処理の種類を切り替える。当該予測誤差推定指標値算出処理は、画面内予測部(105)から上述の予測方法の種類の情報を取得し、画面間予測部(106)から上述の動きベクトルを取得して行うが、それぞれの予測モードに応じた予測誤差推定指標値算出処理の詳細については後述する。テーブル決定部(202)は、予測誤差推定指標値算出部(201)が算出した予測誤差推定指標値に基づいて、予め保持している複数の符号化テーブルのうちから可変長符号化処理に用いる符号化テーブルを決定する。符号化部(203)は、決定した符号化テーブルを用いて、量子化処理部(110)から取得した量子化後の係数について可変長符号化処理を行う。なお、符号化部(203)は、画面内予測部(105)から上述の予測方法の種類の情報を取得し、画面間予測部(106)から上述の動きベクトルを取得するが、これらについては、テーブル決定部(202)で決定した符号化テーブル以外の符号化テーブルや、その他の符号化方法によって符号化して構わない。
【００２５】
ここで、図１３及び図１８を用いて、上述の可変長符号化部(111)による、符号化テーブルの決定方法の一例について説明する。
【００２６】
まず、可変長符号化部(111)は、例えば、図示しない記憶部などに予め、図１８に示すような特性の異なる複数の符号化テーブルを保持している。ここで、図１８のテーブルＡは、量子化済みの予測差分の係数値が小さい場合には符号長が比較的小さいが、係数値が大きい場合には、符号長が比較的大きくなる特性を有するテーブルである。これに対し、テーブルＣは、係数値が大きくても符号長は比較的大きくならないが、係数値が小さい場合にも符号長が比較的小さくならない特性を有するテーブルである。テーブルＢは、テーブルＡとテーブルＣの間の特性を有するテーブルである。
【００２７】
ここで、テーブル決定部(202)は、例えば、予測誤差推定指標値算出部(201)の算出した予測誤差推定指標値をＸとして、Ｘが所定の閾値Ｓ1以下の場合、図１３のテーブルＡを選択する。この場合、符号化部(203)の符号化処理においてテーブルＡを用いることにより、テーブルＢ、Ｃを用いた場合よりも符号長を小さくすることが可能となり符号量を低減できる。
【００２８】
また、テーブル決定部(202)は、Ｘが所定の閾値Ｓ２より大きい場合、図１３のテーブルＣを選択する。この場合、符号化部(203)の符号化処理においてテーブルＣを用いることにより、テーブルＡ、Ｂを用いた場合よりも符号長を小さくすることが可能となり、符号量を低減できる。
【００２９】
同様に、テーブル決定部(202)は、Ｘが所定の閾値Ｓ１より大きく、閾値Ｓ２以下である場合は図１３のテーブルＢを選択する。この場合、符号化部(203)の符号化処理においてテーブルＢを用いることにより、テーブルＡ、Ｃを用いた場合よりも符号長を小さくすることが可能となり、符号量を低減できる。
【００３０】
なお、上記の手順で選択したテーブルは、予測誤差に関する情報であればどのようなものに対しても適応することができるが、例えば、図７の（１）から（６）に示す6項目のうち(２)DCT係数値などに適用すると、特に、可変長の低減、符号量の低減に効果的である。
【００３１】
次に、上記の符号化テーブルの決定に用いる予測誤差推定指標値の算出方法について説明する。
【００３２】
まず、予測誤差推定指標値算出部(201)は、上述のとおり、モード決定部(107)から決定した予測モードの情報を取得し、決定した予測モードが画面内予測モードか、画面間予測モードかによって、予測誤差推定指標値算出処理の種類を切り替える。
【００３３】
ここで、決定した予測モードが画面間予測の場合は、図８及び図９に示す画面間予測向けの予測誤差推定指標値算出処理を行う。以下、図８及び図９について説明する。
【００３４】
図８に示すように、画面間予測向けの予測誤差推定指標値算出処理は、対象ブロック(801)の周辺ブロックに属する符号化済みの画素領域と、予測画像(802)のの周辺ブロックに属する符号化済みの画素領域との差分値を予測誤差推定指標値として算出する。当該算出処理の具体例を図９に示す。
【００３５】
図９は本実施例に係る画面間予測向け予測誤差推定指標値算出処理の一例を示したものである。一般に画像の空間方向の相関は高い。すなわち対象ブロックと対象領域の周辺領域とは似ている。そのため、対象ブロックの周辺領域と動き探索により求められた参照ブロックの周辺領域の画像を比較することにより、対象ブロックと参照ブロックの画像の相関の推定、すなわち予測誤差の大きさの指標値を推定することが可能である。
【００３６】
例えば、図９の例では、符号化対象ブロックの左、左上、上、右上に隣接する符号化済みブロック中の領域の復号化画像と、予測画像の左、左上、上、右上に隣接する符号化済みブロック中の領域の復号化画像との差分値を用いて予測誤差の推定値とする。
【００３７】
ここで、隣接ブロック中の左、左上、上、右上に位置する、対象ブロックよりも先に符号化された符号化済み領域を用いる理由は、復号側で同様の予測誤差推定指標値算出処理を行う際に、対象ブロックよりも先に復号化されている画素でなければ、用いることができないからである。
【００３８】
ここで、図9の例では、当該予測誤差の推定値の算出において、対象画像中おいて、対象ブロックの左に隣接するブロックの右端に位置する画素と対象ブロックの左上、上、右上に隣接するブロックの下端の画素とを含む１３個の画素を周辺領域画素とする。また、参照画像において、上記１３個の周辺領域画素に対応する位置にある画素を周辺領域画素とする。上記の対象画像中の周辺領域画素と参照画像中の周辺領域画素の対応する各画素の差分を周辺領域画素中のすべての画素について合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(901)により求める値Errorを予測誤差推定指標値とする。なお、量子化ステップ値は、量子化処理部(110)から取得すればよい。
【００３９】
なお、図９の例では上記周辺領域の差分値を算出する際、周辺領域画素として１画素幅領域分の１３画素しか用いていないが、複数画素幅の領域の画素（例えば、2ライン分では28画素）を周辺領域画素とすることも可能である。
【００４０】
また、図９の例では、対象ブロックに左、左上、上、右上に隣接する符号化済みブロック内の一部の画素を周辺領域画素としている。しかし、周辺領域画素を構成する画素は、対象ブロックよりも先に符号化されるブロックであって対象ブロックの辺または角に接するブロックに属する画素であれば、いずれの画素を組み合わせてもかまわない。
【００４１】
例えば、対象ブロックに左、上、右上に隣接する３つのブロックに属する画素、例えば、図９の１３個の画素から画素Ａを除いた１２個の画素を用いても良い。
【００４２】
以上説明した画面間予測向け予測誤差推定指標値算出処理によれば、画像の空間方向の相関が高いことを用いて、予測誤差の大きさを推定する指標値を算出することができる。
【００４３】
次に、モード決定部(107)が決定した予測モードが画面内予測の場合、予測誤差推定指標値算出部(201)は、図１１に示す画面内予測向けの予測誤差推定指標値算出処理を行う。以下、図１１について説明する。
【００４４】
図１１は本実施例による画面内予測向け予測誤差推定指標値算出処理の動作について、その一例を示したものである。図１１の例では、対象画像中おいて、対象ブロックの左に隣接するブロックの右端に位置する画素と対象ブロックの左上、上、右上に隣接するブロックに属する画素を用いて、予測誤差推定指標値を算出する。このとき、画面内予測処理において用いた画面内予測モード（予測方向）に応じて、予測誤差推定指標値の算出方法を変更する。
【００４５】
例えば、図６に示す予測方向のうち、画面内予測モード０（画面下方向への予測方向）の場合は、対象ブロックの上に隣接する上隣接ブロックの下端２列の画素を用いる。当該２列の画素のうち、画面内予測モード０と同じ方向（画面下方向への予測方向）に並ぶ２つの画素をペアとし、ペアとなる画素の差分を算出する。次に、例えば、対象ブロックと上隣接ブロックとの境界方向に配列する複数の画素のペアの各差分を合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1101) により求める値Errorを予測誤差推定指標値とする。ここで、当該算出に用いる画素のペアは、例えば、図１１にＡ−Ａ’、Ｂ−Ｂ’、Ｃ−Ｃ’として示すように３組のペアでも良いが、１〜４組のいずれでもかまわない。
【００４６】
また、例えば、図６に示す予測方向のうち、画面内予測モード１（画面右方向への予測方向）の場合は、対象ブロックの左に隣接する左隣接ブロックの右端２列の画素を用いる。当該２列の画素のうち、画面内予測モード１と同じ方向（画面右方向への予測方向）に並ぶ２つの画素をペアとし、ペアとなる画素の差分を算出する。次に、例えば、対象ブロックと左隣接ブロックとの境界方向に配列する複数の画素のペアの各差分を合計した値Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1102)により求める値Errorを予測誤差推定指標値とする。ここで、当該算出に用いる画素のペアは、例えば、図１１にＤ−Ｄ’、Ｅ−Ｅ’、Ｆ−Ｆ’として示すように３組のペアでも良いが、１〜４組のいずれでもかまわない。
【００４７】
以上説明した画面内予測モード０や画面内予測モード１の予測誤差推定指標値によれば、対象ブロックの周辺領域の予測方向に応じた所定の画素のペアの画素値の差分に基づいて、対象ブロックの予測誤差の推定指標値を決定することができる。
【００４８】
また、例えば、図６に示す画面内予測モードのうち画面内予測モード２〜８の場合は、図１１に示すように、対象ブロックに左、上に隣接する符号化済みブロック内のうち図示するような２列（上隣接ブロックでは下２列、左隣接ブロックでは、右２列）の画素を用いて、当該２列の画素のうち、対象ブロックから遠い列の画素の画素値の合計と対象ブロックに近い列の画素の合計との差分Ｎを、対象ブロックの量子化ステップ値で除算し、所定の係数α(αは０より大きい)を乗じて所定の値βを加算する式(1103)により求める値Errorを予測誤差推定指標値とする。
【００４９】
以上説明した予測モード２〜８の予測誤差推定指標値によれば、対象ブロックの周辺領域の所定の画素のペアの画素値の差分に基づいて、対象ブロックの予測誤差の推定指標値を決定することができる。
【００５０】
すなわち、以上説明した画面内予測向け予測誤差推定指標値算出処理では、復号化対象ブロックの画面内予測モードの種類に応じて、復号化対象ブロックに隣接するブロックに属する画素のうちから二つの画素群を決定し、各画素群に属する画素値の和の算出し、両者の画素群間の画素値の和の差に基づいて、前記復号化対象ブロックの予測誤差の推定指標値を算出する。
【００５１】
なお、上記の画面内予測向け予測誤差推定指標値算出処理において、各予測モードにおいて用いる周辺領域の画素の数が異なる場合に、予測誤差推定指標値Errorの算出結果にて用いた周辺領域の画素の数で除算して正規化すれば、画素数の差の影響を調整することが可能となる。
【００５２】
以上説明した実施例１の可変長符号化部(111)及びこれを有する動画像符号化装置によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて符号化テーブルを切替えることにより、符号量を削減することが可能となる。特に、図７の(3)非０以外の係数の個数、以外の項目についても高効率化な可変長符号化処理を行うことが可能となる。
【００５３】
次に、図３を用いて実施例１に係る動画像復号化装置の一例について説明する。動画像復号化装置は、例えば図1に示す動画像符号化装置によって生成された符号化ストリーム(301)に対して可変長符号化の逆処理、画面間予測に用いる動きベクトルや画面内予測に用いる画面内予測方法の種類情報（画面内予測モード情報）の復号化処理を行う可変長復号化部(302)と、可変長復号化部(302)からの出力に逆量子化処理を行う逆量子化処理部(303)と、逆量子化処理部(303)からの出力に逆周波数変換処理を行って予測差分を復号する逆周波数変換部(304)と、可変長復号化部(302)から出力される動きベクトルと参照画像メモリ(308)に格納される復号済み画像を用いて予測画像を生成する画面間予測を行う画面間予測部(305)と、可変長復号化部(302)から出力される画面内予測モード情報と参照画像メモリ(308)に格納される復号済み画像を用いて予測画像を生成する画面内予測を行う画面内予測部(306)と、画面間予測部(305)または画面内予測部(306)が生成した予測画像と、逆周波数変換部(304)から出力される予測差分とを加算して復号画像を生成する加算部(307)と、生成した復号化画像を記憶する参照画像メモリ(308)を有する。
【００５４】
ここで、画面間予測部(305)による画面間予測処理の詳細について、図５を用いて説明する。画面間予測部(305)は、復号化対象画像に対してラスタースキャンの順序に従ってブロック単位による復号化を行う。画面間予測を行う際には、復号化対象画像(503)中の対象ブロック(504)についての動きベクトルを可変長復号化部(302)から取得し、当該動きベクトルに基づいて復号化済みの参照画像の中の参照ブロック(予測画像)(505)を特定し、復号化に用いる予測画像を決定する。
【００５５】
また、画面内予測部(306)による画面内予測処理の詳細について、図６を用いて説明する。画面内予測部(306)は、対象ブロックについての画面内予測モード情報を可変長復号化部(302)から取得し、当該画面内予測モード情報に基づいて、画面間予測方法の種類（予測方向を用いた予測またはＤＣ予測）を特定し、特定した予測方法により、符号化時と同様の予測を行って予測画像を生成する。
【００５６】
次に、図４を用いて、可変長復号化部(302)の詳細について説明する。可変長復号化部(302)は予測誤差推定指標値算出部(401)と、テーブル決定部(402)と、符号化部(403)とを有する。
【００５７】
予測誤差推定指標値算出部(401)は、可変長復号化部(302)に入力された符号化ストリームの復号化対象ブロックが画面内予測ブロックか画面間予測ブロックかを判定する。
【００５８】
ここで、復号化対象ブロックが画面間予測ブロックであれば、符号化ストリームに含まれる復号化対象ブロックの動きベクトル情報と、参照画像メモリ(308)から取得する復号化済みの参照画像とを用いて、符号化側と同様に図８、図９で説明した予測誤差推定指標値算出処理を行う。
【００５９】
ここで、復号化対象ブロックが画面内予測ブロックであれば、符号化ストリームに含まれる復号化対象ブロックの復号化対象ブロックの画面内予測方法の種類情報（画面内予測モード情報）と、参照画像メモリ(308)から取得する復号化済みの周辺領域の画素とを用いて、符号化側と同様に図１１で説明した予測誤差推定指標値算出処理を行う。
【００６０】
テーブル決定部(402)は、予測誤差推定指標値算出部(401)の算出した予測誤差推定指標値に基づいて、可変長復号化処理に用いる復号化テーブルを決定する。当該テーブル決定部(402)は、既に図１３及び図１８を用いて説明した符号化側の処理と同様であるので、説明を省略する。なお、図１８のテーブルは、符号化時は符号化テーブル、復号化時は復号化テーブルと称するが、両者は同じテーブルである。
【００６１】
復号化部(403)は、決定した符号化テーブルを用いて、符号化ストリームに含まれる符号化係数データに可変長符号化処理を行う。可変長符号化処理により生じた量子化係数は逆量子化部(303)に出力する。また、復号化部(403)は、符号化ストリームから復号した動きベクトルを画面間予測部(306)へ、符号化ストリームから復号した画面内予測方法の種類の情報を画面内予測部(306)へ出力する。
【００６２】
以上説明した実施例１の可変長復号化部(302)及びこれを有する動画像復号化装置によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて復号化テーブルを切替えることにより、符号化側で選択した符号化テーブルに対応した可変長復号処理を行うことが可能となり、より符号量の小さい符号化ストリームを好適に復号することが可能となる。特に、図７の(3)非０以外の係数の個数、以外の項目についても高効率化な可変長符号化処理を行うことが可能となる。
【００６３】
図１４は、実施例１の動画像符号化方法における1フレームの符号化処理手順について示している。まず、符号化対象となるフレーム内に存在するすべてのブロックに対して(1401)、以下の処理を行う。すなわち、該当ブロックに対して、すべての予測モード(予測方法とブロックサイズの組み合わせ)に対して(1402)、予測処理を実行する。次に、予測処理を行う予測モードを判別する(1403)。判別結果が、画面内予測モードであれば画面内予測処理を行う(1404)。当該画面内予測の一例は図６にて説明したとおりである。また、判別結果が、画面間予測モードであれば画面間予測処理を行う(1405)。当該画面間予測の一例は図５にて説明したとおりである。画面内予測処理、画面間予測処理のいずれにおいても予測画像を生成し、対象ブロック画像と予測画像との予測差分の計算を行う。続いて、当該予測差分に対して周波数変換処理(1410)、量子化処理(1411)、および可変長符号化処理(1412)を行い、各予測モードの画質歪と符号量を計算する。以上の処理をすべての予測モードに対して終了すれば、以上の結果に基づいて最も符号化効率の良いモードを決定し(1413)、決定した予測モードの可変長符号化済みデータを符号化ストリームに含める。なお、多数の予測モードの中から最も符号化効率の高いものを選択する際には、例えば画質歪みと符号量の関係から最適な予測モードを決定するRD-Optimization方式を利用することによって、効率良く符号化できる。RD-Optimization方式の詳細については下記参考文献１を参照のこと。
［参考文献１］G. Sullivan and T.Wiegand :“Rate-Distortion Optimization for Video Compression”, IEEE Signal Processing Magazine, vol.15, no.6, pp.74-90, 1998. 
続いて、決定された予測モードの量子化済みの周波数変換係数について、逆量子化処理(1414)と逆周波数変換処理(1415)を施して予測差分を復号化し、決定された予測モードの予測画像と加算して復号化画像を生成して参照画像メモリに格納する(1416)。以上の処理をすべてのブロックに対して完了すれば、画像1フレーム分の符号化は終了する(1417)。
【００６４】
次に、図１６を用いて図１４に示す可変長符号化処理(1412)の詳細な手順を説明する。まず、図１４の可変長符号化処理(1412)を行う際の予測モードを判別する(1601)。判別結果が画面内予測であれば画面内予測処理向けの予測誤差推定指標値算出処理を行う(1602)。当該画面内予測処理向け予測誤差推定指標値算出処理の一例は図１１にて説明したとおりである。また、判別結果が画面間予測であれば画面間予測処理向けの予測誤差推定指標値算出処理を行う(1603)。当該画面間予測処理向けの予測誤差推定指標値算出処理の一例は図８及び図９にて説明したとおりである。次に、テーブル決定処理(1604)にて符号化テーブルを決定する。当該テーブル決定処理は、図１３及び図１８において説明したとおりである。続いて、決定した符号化テーブルを用いて係数符号化(1605)を行い、可変長符号化処理を終了する(1606)。
【００６５】
以上説明した実施例１の実施例１の動画像符号化方法によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて符号化テーブルを切替えることにより、符号量を削減する動画像符号化方法を実現できる。
【００６６】
図１５は、実施例１の動画像復号化方法における1フレームの復号化処理手順について示している。まず、1フレーム内のすべてのブロックに対して、以下の処理を行う(1501)。すなわち、入力ストリームに対して可変長復号化処理(1502)を行い、逆量子化処理(1503)および逆周波数変換処理(1504)を行い予測差分を復号化する。続いて、復号化対象ブロックの予測モードを判別する(1505)。判別結果が、画面内予測であれば画面内予測処理を行う(1506)。当該画面内予測の一例は図６にて説明したとおりである。また、判別結果が、画面間予測であれば画面間予測処理を行う(1507)。当該画面間予測の一例は図５にて説明したとおりである。以上の処理をフレーム中のすべてのブロックに対して完了すれば、画像1フレーム分の復号化が終了する(1508)。
【００６７】
次に、図１７を用いて、図15に示す可変長復号化処理(1502)の詳細な手順を説明する。まず、図１４の可変長復号化処理(1502)を行う際の予測モードを判別する(1701)。判別結果が画面内予測であれば画面内予測処理向けの予測誤差推定指標値算出処理を行う(1702)。当該画面内予測処理向け予測誤差推定指標値算出処理の一例は図１１にて説明したとおりである。また、判別結果が画面間予測であれば画面間予測処理向けの予測誤差推定指標値算出処理を行う(1703)。当該画面間予測処理向けの予測誤差推定指標値算出処理の一例は図８及び図９にて説明したとおりである。次に、テーブル決定処理(1704)にて復号化テーブルを決定する。当該テーブル決定処理は、図１３及び図１８において説明したとおりである。続いて、決定した復号化テーブルを用いて係数符号化(1705)を行い、可変長符号化処理を終了する(1706)。
【００６８】
以上説明した実施例１の動画像復号化方法によれば、対象ブロックの周辺領域の画素の情報に基づいて、対象ブロックの予測誤差を推定する指標値を算出し、これに基づいて復号化テーブルを切替えることにより、符号化側で選択した符号化テーブルに対応した可変長復号処理を行うことが可能となり、より符号量の小さい符号化ストリームを好適に復号することが可能となる。
【００６９】
以上説明した実施例１では、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation：離散サイン変換)、WT(Wavelet Transformation：ウェーブレット変換)、DFT(Discrete Fourier Transformation：離散フーリエ変換)、KLT(Karhunen-Loeve Transformation：カルーネン-レーブ変換)など、画素間相関除去に利用する直交変換であればいずれの変換処理でも構わない。周波数変換を行わずに予測差分そのものに対して符号化を行っても構わない。
【００７０】
また、実施例１では、画面内予測と画面間予測を行う場合を例として周辺領域の情報より対象ブロックの予測精度を見積もる方法を示したが、例えば画面間予測に関する特別な方式であるスキップモードやダイレクトモードなど、その他の予測方法についても同様に本発明を利用することができる。すなわち、対象ブロックに対して行う予測と同様の手順で周辺領域に対して予測を施すことにより予測誤差を見積もることができれば、どのような予測方法に対して本発明を適用してもよい。
【００７１】
以上説明した実施例１に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置によれば、符号化対象ブロックの符号化済み周辺領域から予測精度を推定し、予測誤差推定値の大きさに基づいて、符号化テーブルを切り替えることにより、符号化時の符号量を低減し、圧縮効率を向上できる。これにより、少ない符号量で高画質の映像を提供することが可能となる。
【実施例２】
【００７２】
次に、本発明の実施例２について説明する。
【００７３】
本発明の実施例２に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置は、実施例１に係る画面間予測処理向け予測誤差推定指標値算出処理と画面内予測処理向け予測誤差推定指標値算出処理とを、それぞれ図１０、図１２に示す処理に変更したものである。その他の動作、構成については、実施例１と同様であるので説明を省略する。
【００７４】
まず、図１０を用いて実施例２に係る画面間予測処理向け予測誤差推定指標値算出処理
について説明する。実施例２では、符号化・復号化対象ブロックの左、上、左上、右上に隣接する符号化・復号化済みのブロックのいずれかの復号化画像と、参照画像の予測画像の左、上に隣接する符号化済みのブロックの対応するブロックの復号化画像との差分値を算出し、差分値ブロックを生成する。次に、上記差分値ブロックにDCT変換またはアダマール変換などの周波数変換を行う。当該変換処理により生成した係数値の合計Ｓ’を、対象ブロックの量子化ステップ値で除算し、所定の係数γ(γは０より大きい)を乗じて所定の値δを加算する式(1001) により求める値Errorを予測誤差推定指標値とする。
【００７５】
なお、上述のＳ’の算出では、ブロック内のすべての係数値を用いてもよいが、演算簡易化のために、低周波成分のみを用いて、式(1002)により算出した値Errorを予測誤差推定指標値としてもよい。
【００７６】
なお、図１０の例では、符号化・復号化対象ブロックおよび参照ブロックに上方向に隣接するブロックのみを用いる例を示したが、対象ブロックよりも先に符号化、復号化される隣接ブロック（左、上、左上、右上隣接ブロック）であれば、いずれでもよい。また、これらのブロックのうち複数のブロックのＳ’の結果を加算または平均した値をＳ’としてもよい。この場合、いずれのブロックを用いるか、加算を行うのか平均を行うのかの各方式は符号化側と復号化側で対応する方式を行えば、符号化側と復号化側で対応するテーブルを選択することが可能となり、好適な符号化・復号化処理を行うことができる。
【００７７】
次に、図１２を用いて実施例２に係る画面内予測処理向け予測誤差推定指標値算出処理
について説明する。実施例２では、符号化・復号化対象ブロックの左、上、左上、右上に隣接する符号化・復号化済みのブロックのいずれかの復号化画像において、隣接する画素(図１２であれば、画素aと画素a’)との差分を算出し、当該差分をブロック内の各位置の画素について算出することにより、差分値ブロックＳを生成する。次に、上記差分値ブロックにDCT変換またはアダマール変換などの周波数変換を行う。当該変換処理により生成した係数値の合計Ｓ’を、対象ブロックの量子化ステップ値で除算し、所定の係数γ(γは０より大きい)を乗じて所定の値δを加算する式(1201) により求める値Errorを予測誤差推定指標値とする。
【００７８】
なお、上記差分値ブロックＳは、隣接ブロックの隣接画素間の画素値の差分を用いているため、元の隣接ブロックよりも小さいブロックとなる。例えば、元の隣接ブロックが１６×１６画素である場合には差分値ブロックＳは最大でも１６×１５画素となる。しかし、DCT変換またはアダマール変換などの周波数変換を行う際に正方形ブロックとする必要が生じるため、１画素列を減らし、１５×１５画素の正方形ブロックとしたのち処理を行う。すなわち、差分値ブロックＳの生成は、隣接ブロックの一部の隣接画素間の画素値の差分を用いて正方形の差分値ブロックを生成することにより行う。
【００７９】
なお、図１２の例では、符号化・復号化対象ブロックおよび参照ブロックに上方向に隣接するブロックのみを用いる例を示したが、対象ブロックよりも先に符号化、復号化される隣接ブロック（左、上、左上、右上隣接ブロック）であれば、いずれでもよい。また、これらのブロックのうち複数のブロックのＳ’の結果を加算または平均した値をＳ’としてもよい。この場合、いずれのブロックを用いるか、加算を行うのか平均を行うのかの各方式は符号化側と復号化側で対応する方式を行えば、符号化側と復号化側で対応するテーブルを選択することが可能となり、好適な符号化・復号化処理を行うことができる。
【００８０】
さらに、図１１に示す実施例１の画面内予測処理向け予測誤差推定指標値算出処理と同様に、差分を算出する画素の組み合わせの方向(図１２の例では上下方向)を、当該対象ブロックの予測方向に応じて変更してもよい。例えば、画面内予測モード０の場合は、図１２の例のように、上隣接ブロックを用いて、上下方向に隣接した画素の差分値を用いればよい。また、例えば、画面内予測モード１の場合は、左隣接ブロックを用いて、左右方向に隣接した画素の差分値を用いればよい。また、例えば、画面内予測モード２〜８の場合は、左、上、左上、右上隣接ブロックのうちの複数のブロックを用いて、左隣接ブロックについては左右方向に隣接した画素の差分値を用い、上、左上、右上隣接ブロックについては、上下方向に隣接した画素の差分値を用いればよい。
【００８１】
なお、Ｓ’の算出では、ブロック内のすべての係数値を用いてもよいが、演算簡易化のために、低周波成分のみを用いて、式(1202)により算出した値Errorを予測誤差推定指標値としてもよい。
【００８２】
このように、予測誤差推定指標値の算出処理に周波数変換処理を含めることにより、実施例１の予測誤差推定指標値算出処理に比べて、符号化・復号化テーブルの切替に適した精度のよい指標値を算出することが可能となる。
【００８３】
以上説明した実施例２に係る動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置によれば、より精度の高い予測誤差推定指標値を用いることが可能となり、実施例１よりもさらに少ない符号量で高画質の映像を提供することが可能となる。
【符号の説明】
【００８４】
１０２…入力画像メモリ、１０３…ブロック分割部、１０４…参照画像メモリ、１０５…画面間予測部、１０６…画面内予測部、１０７…モード決定部、１０８…減算部、１０９…周波数変換部、１１０…量子化部、１１１…可変長符号化部、１１２…逆量子化部、１１３…逆周波数変換部、１１４…加算部、２０１…予測誤差推定指標値算出部、２０２…テーブル決定部、２０３…符号化部、３０２…可変長復号化部、３０３…逆量子化処理部、３０４…逆周波数変換部、３０５…画面間予測部、３０６…画面内予測部、３０７…加算部、３０８…参照画像メモリ、４０１…予測誤差推定指標値算出部、４０２…テーブル決定部、４０３…復号化部
【図１】
2012124542.tif 000003
【図２】
2012124542.tif 000004
【図３】
2012124542.tif 000005
【図４】
2012124542.tif 000006
【図５】
2012124542.tif 000007
【図６】
2012124542.tif 000008
【図７】
2012124542.tif 000009
【図８】
2012124542.tif 000010
【図９】
2012124542.tif 000011
【図１０】
2012124542.tif 000012
【図１１】
2012124542.tif 000013
【図１２】
2012124542.tif 000014
【図１３】
2012124542.tif 000015
【図１４】
2012124542.tif 000016
【図１５】
2012124542.tif 000017
【図１６】
2012124542.tif 000018
【図１７】
2012124542.tif 000019
【図１８】
2012124542.tif 000020