(57)【要約】【課題】複数の色成分の逆量子化および逆変換を並列に行うことができるようにする。【解決手段】動画像復号装置１は、逆色空間変換部１２および色空間変換行列導出部１８を備える。色空間変換行列導出部１８は、復号対象ブロックの予測モードがインター予測である場合に、インター予測画像ＳＩＧ６の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列ＳＩＧ１１を導出する。逆色空間変換部１２は、復号対象ブロックの予測モードがインター予測である場合に、エントロピー復号の結果に基づいて逆色空間変換行列ＳＩＧ１１および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する。【選択図】図１
2015139089.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分を有する動画像を復号する動画像復号装置であって、
復号対象ブロックの予測モードがフレーム間予測である場合に、フレーム間予測画像の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する色空間変換行列導出手段と、
復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する逆色空間変換手段と、を備えることを特徴とする動画像復号装置。
【請求項２】
前記逆色空間変換手段は、前記エントロピー復号の結果として、復号対象ブロックの予測モードと、逆変換種別と、を用いることを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
前記逆色空間変換手段は、前記エントロピー復号の結果として、復号対象ブロックの予測モードと、逆変換種別と、係数レベルの有無と、を用いることを特徴とする請求項１に記載の動画像復号装置。
【請求項４】
前記逆色空間変換手段は、
復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、の全てを満たしている場合には、前記逆色空間変換行列を選択し、
復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、のうち少なくとも１つを満たしていない場合には、前記単位行列を選択することを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
前記色空間変換行列導出手段は、復号対象ブロックのフレーム間予測画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記逆色空間変換行列を導出し、
前記逆色空間変換手段は、変換係数レベルの色成分ごとの変換係数レベルの数を、これら色成分のそれぞれの変換係数レベルの数のうち最も多いものに揃えた後に、前記逆色空間変換行列および前記単位行列のうち選択した行列を変換係数レベルに適用することを特徴とする請求項１から４のいずれかに記載の動画像復号装置。
【請求項６】
前記逆色空間変換手段は、
入力画素のビット深度に適応させた固定小数点で逆平方根の計算を行う逆平方根計算手段と、
入力画素のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする請求項１から５のいずれかに記載の動画像復号装置。
【請求項７】
前記逆平方根計算手段は、逆平方根算出アルゴリズムの繰り返し回数を２回として、前記逆平方根の計算を行い、
前記ヤコビ計算手段は、ヤコビ特異値分解アルゴリズムの繰り返し回数を、色成分の数の階乗に比例する数として、前記ヤコビ固有値計算法による計算を行うことを特徴とする請求項６に記載の動画像復号装置。
【請求項８】
前記逆色空間変換手段は、エントロピー復号により得られた逆量子化係数が色成分間で異なる場合に、いずれかひとつの逆量子化係数に合わせて残りの変換係数レベルを再量子化したものに、前記選択した行列を適用することを特徴とする請求項１から７のいずれかに記載の動画像復号装置。
【請求項９】
前記逆色空間変換手段は、
エントロピー復号により得られた逆量子化係数のうちいずれかひとつを基準として、エントロピー復号により得られた逆量子化係数のうち前記基準とした逆量子化係数を除くものの組み合わせと、再量子化する係数と、が予め定められたテーブルを有しており、
エントロピー復号により得られた逆量子化係数のうち前記基準とした逆量子化係数を除くものの組み合わせと、前記テーブルと、に基づいて、再量子化する係数を求め、求めた係数と、前記基準とした逆量子係数に対応する変換係数レベルを除く変換係数レベルと、の乗算により再量子化することを特徴とする請求項８に記載の動画像復号装置。
【請求項１０】
色空間変換行列導出手段および逆色空間変換手段を備え、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法であって、
前記色空間変換行列導出手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、フレーム間予測画像の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する第１のステップと、
前記逆色空間変換手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する第２のステップと、を備えることを特徴とする動画像復号方法。
【請求項１１】
色空間変換行列導出手段および逆色空間変換手段を備え、複数の色成分を有する動画像を復号する動画像復号装置における動画像復号方法を、コンピュータに実行させるためのプログラムであって、
前記色空間変換行列導出手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、フレーム間予測画像の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する第１のステップと、
前記逆色空間変換手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する第２のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置、動画像復号方法、およびプログラムに関する。
【背景技術】
【０００２】
イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、を用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。
【０００３】
以下に、上述の動画像符号化方式に対応する従来例に係る動画像符号化装置について説明する。従来例に係る動画像符号化装置は、まず、入力画像をブロックに分割して、ブロック単位で、入力画像と、イントラ予測画像またはインター予測画像と、の誤差（残差）信号を変換および量子化して量子化係数レベルを生成する。次に、生成した量子化係数レベルをサイド情報とともにエントロピー符号化して、ビットストリームを生成する。
【０００４】
さらに、上述の動画像符号化装置は、量子化係数レベルを逆量子化および逆変換して誤差（残差）信号を生成し、イントラ予測画像またはインター予測画像と合算してフィルタ前ローカル復号画像を生成する。フィルタ前ローカル復号画像は、イントラ予測に利用される。また、フィルタ前ローカル復号画像にインループフィルタ（例えばデブロックフィルタなど）を適用してフィルタ後ローカル復号画像を生成し、フレームバッファに蓄積しておく。フィルタ後ローカル復号画像は、適宜、インター予測に利用される。
【０００５】
上述の動画像符号化方式に対応する従来例に係る動画像復号装置は、上述の従来例に係る動画像符号化装置で行われる手順と逆の手順により、ビットストリームから出力画像を得る。
【０００６】
HEVC  Version  １では、ＹＵＶ４：２：０色形式が対象となっており、HEVC  Version  ２では、ＹＵＶ４：２：２色形式、ＹＵＶ４：４：４色形式、ＲＧＢ４：４：４色形式などに色形式の対象を拡張したRange  Extensionsが検討されている。また、４：４：４色形式では、Ｕ／ＶやＢ／Ｒのように、色差成分の画素数が４：２：０色形式の場合と比べて４倍になるので、符号化効率を改善するための手法が検討されている。この手法のひとつとして、非特許文献２には、イントラ予測残差信号およびインター予測残差信号を対象として、色成分間の相関を無相関化する変換行列をブロックごとに導出し、この変換行列を残差信号に適用して、符号化効率を改善する適応色空間変換を伴う符号化・復号方式が示されている。
【０００７】
上述の変換行列は、例えば非特許文献３、４に示されている手法により、以下のようにして求められる。まず、イントラ予測時においては、フィルタ前ローカル復号画像から生成される予測対象ブロックの上部および左部を参照画素とし、インター予測時においては、フィルタ後ローカル復号画像から生成される予測対象ブロックのインター予測画像を参照画素とする。次に、参照画素のうち２のべき乗個の画素に対して共分散行列Ｃｏｖを求める。次に、以下の数式（１）に示すように、求めた共分散行列Ｃｏｖを特異値分解して、３行３列の無相関化行列を導出する。
【０００８】
【数１】
2015139089.tif 000003
【０００９】
なお、数式（１）において、ＴＣは、無相関化行列を示し、ＴＣ＊は、ＴＣの随伴行列を示し、Σは、対角成分に特異値を有する行列を示す。
【００１０】
また、入力画像から再構成画像（上述のフィルタ前ローカル復号画像またはフィルタ後ローカル復号画像）を生成する過程を、以下の数式（２）に示す。
【００１１】
【数２】
2015139089.tif 000004
【００１２】
なお、数式（２）において、ＴＳは、ＤＣＴやＤＳＴなどの空間変換行列を示し、Ｑは、量子化を示す。また、Ｏｒｇは、入力画像を示し、Ｐｒｅｄは、イントラ予測画像またはインター予測画像を示し、Ｒｅｃは、再構成画像を示す。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】ITU-T  Recommendation  H.265,  "High  Efficiency  Video  Coding"
【非特許文献２】JCTVC-L0371,  AHG7:  In-loop  color-space  transformation  of  residual  signals  for  range  extensions
【非特許文献３】河村圭，吉野知伸，内藤整，“HEVCレンジ拡張におけるRGB色空間ループ内無相関化方式，”画像符号化シンポジウム2013（PCSJ2013），P-2-11，Nov.2013．
【非特許文献４】K.  Kawamura,  H.  Kato,  and  S.  Naito,  “In-loop  colour-space-transformation  coding  based  on  integered  SVD  for  HEVC  Range  Extensions,”  Picture  Coding  Symposium  2013,  WP.9,  Dec.  2013.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかし、上述の手法では、複数の色成分の逆量子化および逆変換を並列に行うことができなかった。また、イントラ予測における変換行列の導出において、ブロックごとに全ての色成分の復号が完了している必要があるため、色成分間で処理を同期させる回数が多くなってしまい、複数の色成分の逆量子化および逆変換を並列に行うことを阻害していた。
【００１５】
そこで、本発明は、上述の課題を鑑みてなされたものであり、複数の色成分の逆量子化および逆変換を並列に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【００１６】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、複数の色成分を有する動画像を復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）であって、復号対象ブロックの予測モードがフレーム間予測（例えば、後述のインター予測に相当）である場合に、フレーム間予測画像（例えば、図１のインター予測画像ＳＩＧ６に相当）の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する色空間変換行列導出手段（例えば、図１の色空間変換行列導出部１８に相当）と、復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する逆色空間変換手段（例えば、図１の逆色空間変換部１２に相当）と、を備えることを特徴とする動画像復号装置を提案している。
【００１７】
この発明によれば、逆色空間変換手段により、逆色空間変換行列または単位行列を変換係数レベルに適用することとした。このため、逆量子化および逆変換を行うよりも前に、逆色空間変換を行って色成分間の相関を無相関化することができる。したがって、複数の色成分の逆量子化および逆変換を並列に行うことができる。
【００１８】
また、この発明によれば、復号対象ブロックの予測モードがフレーム間予測である場合に、色空間変換行列導出手段により逆色空間変換行列を導出し、逆色空間変換手段により逆色空間変換行列または単位行列を変換係数レベルに適用することとした。このため、参照されるフレームにおいて全ての色成分の復号が完了していればよいので、色成分間で処理を同期させる回数を減少させることができ、複数の色成分の逆量子化および逆変換を並列に行うこと阻害する要因を減らすことができる。
【００１９】
（２）  本発明は、（１）の動画像復号装置について、前記逆色空間変換手段は、前記エントロピー復号の結果として、復号対象ブロックの予測モード（例えば、後述のインター予測やイントラ予測に相当）と、逆変換種別（例えば、後述の変換基底種別に相当）と、を用いることを特徴とする動画像復号装置を提案している。
【００２０】
この発明によれば、（１）の動画像復号装置において、逆色空間変換手段により、エントロピー復号の結果として、復号対象ブロックの予測モードと、逆変換種別と、を用いることとした。このため、変換係数レベルに適用する行列を、色空間変換行列導出手段により導出された逆色空間変換行列および単位行列の中から、復号対象ブロックの予測モードおよび逆変換種別に基づいて１つ選択することができる。
【００２１】
（３）  本発明は、（１）の動画像復号装置について、前記逆色空間変換手段は、前記エントロピー復号の結果として、復号対象ブロックの予測モード（例えば、後述のインター予測やイントラ予測に相当）と、逆変換種別（例えば、後述の変換基底種別に相当）と、係数レベルの有無（例えば、後述の係数レベルが存在しているか否かに相当）と、を用いることを特徴とする動画像復号装置を提案している。
【００２２】
この発明によれば、（１）の動画像復号装置において、逆色空間変換手段は、エントロピー復号の結果として、復号対象ブロックの予測モードと、逆変換種別と、係数レベルの有無と、を用いることとした。このため、変換係数レベルに適用する行列を、色空間変換行列導出手段により導出された逆色空間変換行列および単位行列の中から、復号対象ブロックの予測モードと逆変換種別と係数レベルの有無とに基づいて１つ選択することができる。
【００２３】
（４）  本発明は、（３）の動画像復号装置について、前記逆色空間変換手段は、復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、の全てを満たしている場合には、前記逆色空間変換行列を選択し、復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、のうち少なくとも１つを満たしていない場合には、前記単位行列を選択することを特徴とする動画像復号装置を提案している。
【００２４】
この発明によれば、（３）の動画像復号装置において、復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、の全てを満たしている場合には、変換係数レベルに適用する行列として逆色空間変換行列を選択し、復号対象ブロックの予測モードがインター予測であることと、逆変換種別が全ての色成分において一致することと、係数レベルが存在していることと、のうち少なくとも１つを満たしていない場合には、変換係数レベルに適用する行列として単位行列を選択することができる。
【００２５】
（５）  本発明は、（１）から（４）のいずれかの動画像復号装置について、前記色空間変換行列導出手段は、復号対象ブロックのフレーム間予測画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、前記逆色空間変換行列を導出し、前記逆色空間変換手段は、変換係数レベルの色成分ごとの変換係数レベルの数を、これら色成分のそれぞれの変換係数レベルの数のうち最も多いものに揃えた後に、前記逆色空間変換行列および前記単位行列のうち選択した行列を変換係数レベルに適用することを特徴とする動画像復号装置を提案している。
【００２６】
この発明によれば、（１）から（４）のいずれかの動画像復号装置において、色空間変換行列導出手段により、復号対象ブロックのフレーム間予測画像の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、逆色空間変換行列を導出することとした。また、逆色空間変換手段により、変換係数レベルの色成分ごとの変換係数レベルの数を、これら色成分のそれぞれの変換係数レベルの数のうち最も多いものに揃えた後に、逆色空間変換行列および単位行列のうち選択した行列を変換係数レベルに適用することとした。このため、復号対象ブロックのフレーム間予測画像の色成分ごとの色空間解像度が互いに異なっている場合であっても、上述した効果と同様の効果を奏することができる。
【００２７】
（６）  本発明は、（１）から（５）のいずれかの動画像復号装置について、前記逆色空間変換手段は、入力画素のビット深度に適応させた固定小数点で逆平方根の計算を行う逆平方根計算手段と、入力画素のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を備えることを特徴とする動画像復号装置を提案している。
【００２８】
この発明によれば、（１）から（５）のいずれかの動画像復号装置において、逆色空間変換手段に、入力画素のビット深度に適応させた固定小数点で逆平方根の計算を行う逆平方根計算手段と、入力画素のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算手段と、を設けることとした。このため、小数点演算が不要になるので、逆色空間変換手段のハードウェア化を容易化することができる。
【００２９】
（７）  本発明は、（６）の動画像復号装置について、前記逆平方根計算手段は、逆平方根算出アルゴリズムの繰り返し回数を２回として、前記逆平方根の計算を行い、前記ヤコビ計算手段は、ヤコビ特異値分解アルゴリズムの繰り返し回数を、色成分の数の階乗に比例する数として、前記ヤコビ固有値計算法による計算を行うことを特徴とする動画像復号装置を提案している。
【００３０】
この発明によれば、（６）の動画像復号装置において、平方根計算手段により、逆平方根算出アルゴリズムの繰り返し回数を２回として、逆平方根の計算を行い、ヤコビ計算手段により、ヤコビ特異値分解アルゴリズムの繰り返し回数を、色成分の数の階乗に比例する数として、ヤコビ固有値計算法による計算を行うことができる。
【００３１】
（８）  本発明は、（１）から（７）のいずれかの動画像復号装置について、前記逆色空間変換手段は、エントロピー復号により得られた逆量子化係数が色成分間で異なる場合に、いずれかひとつの逆量子化係数に合わせて残りの変換係数レベルを再量子化したものに、前記選択した行列を適用することを特徴とする動画像復号装置を提案している。
【００３２】
この発明によれば、（１）から（７）のいずれかの動画像復号装置において、逆色空間変換手段により、エントロピー復号により得られた逆量子化係数が色成分間で異なる場合に、いずれかひとつの逆量子化係数に合わせて残りの変換係数レベルを再量子化したものに、逆色空間変換行列または単位行列を適用することができる。
【００３３】
（９）  本発明は、（８）の動画像復号装置について、前記逆色空間変換手段は、エントロピー復号により得られた逆量子化係数のうちいずれかひとつを基準として、エントロピー復号により得られた逆量子化係数のうち前記基準とした逆量子化係数を除くものの組み合わせと、再量子化する係数と、が予め定められたテーブルを有しており、エントロピー復号により得られた逆量子化係数のうち前記基準とした逆量子化係数を除くものの組み合わせと、前記テーブルと、に基づいて、再量子化する係数を求め、求めた係数と、前記基準とした逆量子係数に対応する変換係数レベルを除く変換係数レベルと、の乗算により再量子化することを特徴とする動画像復号装置を提案している。
【００３４】
この発明によれば、（８）の動画像復号装置において、逆色空間変換手段に、エントロピー復号により得られた逆量子化係数のうちいずれかひとつを基準として、エントロピー復号により得られた逆量子化係数のうち基準とした逆量子化係数を除くものの組み合わせと、再量子化する係数と、が予め定められたテーブルを設けることとした。また、逆色空間変換手段により、エントロピー復号により得られた逆量子化係数のうち基準とした逆量子化係数を除くものの組み合わせと、テーブルと、に基づいて、再量子化する係数を求め、求めた係数と、基準とした逆量子係数に対応する変換係数レベルを除く変換係数レベルと、の乗算により再量子化することとした。このため、簡易な処理で再量子化する係数を求めることができるので、再量子化の処理負荷を軽減することができる。
【００３５】
（１０）  本発明は、色空間変換行列導出手段（例えば、図１の色空間変換行列導出部１８に相当）および逆色空間変換手段（例えば、図１の逆色空間変換部１２に相当）を備え、複数の色成分を有する動画像を復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）における動画像復号方法であって、前記色空間変換行列導出手段が、復号対象ブロックの予測モードがフレーム間予測（例えば、後述のインター予測に相当）である場合に、フレーム間予測画像の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する第１のステップと、前記逆色空間変換手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する第２のステップと、を備えることを特徴とする動画像復号方法を提案している。
【００３６】
この発明によれば、逆色空間変換行列または単位行列を変換係数レベルに適用することとしたので、複数の色成分の逆量子化および逆変換を並列に行うことができる。
【００３７】
また、この発明によれば、復号対象ブロックの予測モードがフレーム間予測である場合に、逆色空間変換行列を導出し、逆色空間変換行列または単位行列を変換係数レベルに適用することとしたので、複数の色成分の逆量子化および逆変換を並列に行うこと阻害する要因を減らすことができる。
【００３８】
（１１）  本発明は、色空間変換行列導出手段（例えば、図１の色空間変換行列導出部１８に相当）および逆色空間変換手段（例えば、図１の逆色空間変換部１２に相当）を備え、複数の色成分を有する動画像を復号する動画像復号装置（例えば、図１の動画像復号装置１に相当）における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記色空間変換行列導出手段が、復号対象ブロックの予測モードがフレーム間予測（例えば、後述のインター予測に相当）である場合に、フレーム間予測画像の画素を参照画素とし、色成分間の相関を無相関化する逆色空間変換行列を導出する第１のステップと、前記逆色空間変換手段が、復号対象ブロックの予測モードがフレーム間予測である場合に、エントロピー復号の結果に基づいて前記逆色空間変換行列および単位行列のうち一方を選択し、選択した行列を変換係数レベルに適用する第２のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００３９】
この発明によれば、コンピュータを用いてプログラムを実行することで、逆色空間変換行列または単位行列を変換係数レベルに適用することとしたので、複数の色成分の逆量子化および逆変換を並列に行うことができる。
【００４０】
また、この発明によれば、コンピュータを用いてプログラムを実行することで、復号対象ブロックの予測モードがフレーム間予測である場合に、逆色空間変換行列を導出し、逆色空間変換行列または単位行列を変換係数レベルに適用することとしたので、複数の色成分の逆量子化および逆変換を並列に行うこと阻害する要因を減らすことができる。
【発明の効果】
【００４１】
本発明によれば、複数の色成分の逆量子化および逆変換を並列に行うことができるようにすることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係る動画像復号装置のブロック図である。
【発明を実施するための形態】
【００４３】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００４４】
［動画像復号装置１の構成および動作］
図１は、本発明の一実施形態に係る動画像復号装置１のブロック図である。動画像復号装置１は、ＹＵＶ４：４：４色形式の画像を予め符号化して生成されたビットストリームＳＩＧ１を復号して、出力画像ＳＩＧ１２を得る。この動画像復号装置１は、エントロピー復号部１１、逆色空間変換部１２、逆量子化・逆変換部１３、インター予測部１４、イントラ予測部１５、インループフィルタ１６、フレームバッファ１７、および色空間変換行列導出部１８を備える。
【００４５】
エントロピー復号部１１は、ビットストリームＳＩＧ１を入力とする。このエントロピー復号部１１は、ビットストリームＳＩＧ１をエントロピー復号して、変換係数レベルや、イントラ予測やインター予測といったブロック種別（予測モード）や、予測に用いるサイド情報などを復号し、復号信号ＳＩＧ２として出力する。
【００４６】
逆色空間変換部１２は、復号信号ＳＩＧ２と、後述の逆色空間変換行列ＳＩＧ１１と、を入力とする。この逆色空間変換部１２は、復号信号ＳＩＧ２に基づいて、復号対象ブロックの予測モードがインター予測であることと、変換基底種別（ＤＣＴ、ＤＳＴ、Transform  skippingなど）がＹＵＶの全ての色成分において一致することと、係数レベルが存在していること（言い換えると、係数レベルがゼロではなく、有意であること）と、の全てを満たすか否かを判別する。上述の３つを全て満たすと判別した場合には、逆色空間変換行列ＳＩＧ１１を変換係数レベルに適用し、出力画像ＳＩＧ１２の色空間における変換係数レベルＳＩＧ３として出力する。一方、上述の３つのうち少なくとも１つを満たさないと判別した場合には、単位行列を変換係数レベルに適用し、出力画像ＳＩＧ１２の色空間における変換係数レベルＳＩＧ３として出力する。
【００４７】
なお、イントラ予測では、復号対象フレームにおいて、ブロックごとに全ての色成分の復号が完了している必要があるので、色成分間で処理を同期させる回数が多くなってしまう。そこで、逆色空間変換部１２は、逆色空間変換行列ＳＩＧ１１を変換係数レベルに適用する条件として、上述のように、復号対象ブロックの予測モードがインター予測であることを定めている。これによれば、色成分間で処理を同期させる回数が、ブロック単位からフレーム単位に緩和されるので、色成分間で処理を同期させる回数を減少させることができ、複数の色成分の逆量子化および逆変換を並列に行うこと阻害する要因を減らすことができる。
【００４８】
また、全ての色成分のうち少なくとも２つの色成分の間で変換基底種別が異なっていると、色成分間で予測残差変換係数レベルの性質が異なるために相関がなくなってしまい、色空間変換による符号化性能の向上を実現することができない。そこで、逆色空間変換部１２は、逆色空間変換行列ＳＩＧ１１を変換係数レベルに適用する条件として、上述のように、変換基底種別がＹＵＶの全ての色成分において一致することを定めている。
【００４９】
なお、復号対象ブロックの予測モードがインター予測であり、変換基底種別がＹＵＶの全ての色成分において一致しているが、係数レベルが存在しない場合には、特に処理が発生しないため、複数の色成分の逆量子化および逆変換を並列に行うことを阻害しない。
【００５０】
逆量子化・逆変換部１３は、変換係数レベルＳＩＧ３を入力とする。この逆量子化・逆変換部１３は、変換係数レベルＳＩＧ３に対して逆量子化処理を施し、その結果に対して逆変換処理を施して、残差信号ＳＩＧ４として出力する。
【００５１】
インター予測部１４は、後述のフィルタ後ローカル復号画像ＳＩＧ１０を入力とする。このインター予測部１４は、フィルタ後ローカル復号画像ＳＩＧ１０を用いてインター予測処理を行って、インター予測画像ＳＩＧ６として出力する。
【００５２】
イントラ予測部１５は、後述のフィルタ前ローカル復号画像ＳＩＧ５を入力とする。このイントラ予測部１５は、フィルタ前ローカル復号画像ＳＩＧ５を用いてイントラ予測処理を行って、イントラ予測画像ＳＩＧ７として出力する。
【００５３】
インループフィルタ１６は、フィルタ前ローカル復号画像ＳＩＧ５を入力とする.フィルタ前ローカル復号画像ＳＩＧ５とは、残差信号ＳＩＧ４と予測画像ＳＩＧ８とを加算したものであり、予測画像ＳＩＧ８とは、インター予測画像ＳＩＧ６またはイントラ予測画像ＳＩＧ７のことである。インループフィルタ１６は、フィルタ前ローカル復号画像ＳＩＧ５に対して、デブロックフィルタやサンプル適応オフセットフィルタを適用して、フィルタ後ローカル復号画像ＳＩＧ９として出力する。
【００５４】
フレームバッファ１７は、フィルタ後ローカル復号画像ＳＩＧ９を入力とする。このフレームバッファ１７は、入力されたフィルタ後ローカル復号画像ＳＩＧ９を蓄積し、適宜、フィルタ後ローカル復号画像ＳＩＧ１０としてインター予測部１４に供給するとともに、蓄積したフィルタ後ローカル復号画像ＳＩＧ９を表示順に並び替えて出力画像ＳＩＧ１２として出力する。
【００５５】
色空間変換行列導出部１８は、インター予測画像ＳＩＧ６を入力とする。この色空間変換行列導出部１８は、インター予測画像ＳＩＧ６の画素を参照画素とし、色成分間の相関を無相関化する色空間変換行列を導出し、逆色空間変換行列ＳＩＧ１１として出力する。
【００５６】
以上の動画像復号装置１によれば、以下の効果を奏することができる。
【００５７】
動画像復号装置１は、逆色空間変換部１２により、逆色空間変換行列ＳＩＧ１１または単位行列を変換係数レベルに適用する。このため、逆量子化・逆変換部１３による逆量子化および逆変換の処理よりも前に、逆色空間変換を行って色成分間の相関を無相関化することができる。したがって、複数の色成分の逆量子化および逆変換を並列に行うことができる。
【００５８】
また、動画像復号装置１では、色空間変換行列導出部１８は、逆色空間変換行列ＳＩＧ１１の導出をインター予測画像ＳＩＧ６を用いて行い、逆色空間変換部１２は、変換係数レベルに対する逆色空間変換行列ＳＩＧ１１の適用を、復号対象ブロックの予測モードがインター予測である場合に行う。このため、参照されるフレームにおいて全ての色成分の復号が完了していればよいので、色成分間で処理を同期させる回数を減少させることができ、複数の色成分の逆量子化および逆変換を並列に行うこと阻害する要因を減らすことができる。
【００５９】
また、動画像復号装置１は、復号対象ブロックの予測モードがインター予測であることと、変換基底種別が全ての色成分において一致することと、係数レベルが存在していることと、の全てを満たしている場合には、変換係数レベルに適用する行列として逆色空間変換行列ＳＩＧ１１を選択し、復号対象ブロックの予測モードがインター予測であることと、変換基底種別が全ての色成分において一致することと、係数レベルが存在していることと、のうち少なくとも１つを満たしていない場合には、変換係数レベルに適用する行列として単位行列を選択することができる。
【００６０】
なお、本発明の動画像復号装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像復号装置１に読み込ませ、実行することによって、本発明を実現できる。
【００６１】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像復号装置１に設けられたプロセッサによって行われる。
【００６２】
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像復号装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００６３】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像復号装置１にすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００６４】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【００６５】
例えば、上述の実施形態において、逆色空間変換部１２は、復号対象ブロックの予測モードがインター予測であることと、変換基底種別がＹＵＶの全ての色成分において一致することと、係数レベルが存在していることと、のうち、全てを満たす場合には、逆色空間変換行列ＳＩＧ１１を変換係数レベルに適用し、少なくとも１つを満たさない場合には、単位行列を変換係数レベルに適用することとした。しかし、これに限らず、例えば、復号対象ブロックの予測モードがインター予測であることと、変換基底種別がＹＵＶの全ての色成分において一致することと、のうち、どちらも満たす場合には、逆色空間変換行列ＳＩＧ１１を変換係数レベルに適用し、少なくともいずれかを満たさない場合には、単位行列を変換係数レベルに適用することとしてもよい。
【００６６】
また、上述の実施形態において、色空間変換行列導出部１８は、復号対象ブロックのインター予測画像ＳＩＧ６の色成分ごとの色空間解像度を、これら色成分のそれぞれの色空間解像度のうち最も高いものに揃えた後に、逆色空間変換行列ＳＩＧ１１を導出し、逆色空間変換部１２は、変換係数レベルの色成分ごとの変換係数レベルの数を、これら色成分のそれぞれの変換係数レベルの数のうち最も多いものに揃えた後に、逆色空間変換行列ＳＩＧ１１または単位行列を変換係数レベルに適用するものとしてもよい。これによれば、復号対象ブロックのインター予測画像ＳＩＧ６の色成分ごとの色空間解像度が互いに異なっている場合、例えばビットストリームＳＩＧ１がＹＵＶ４：２：２色形式やＹＵＶ４：２：０色形式の画像を予め符号化して生成されたものであっても、動画像復号装置１を適用することができる。
【００６７】
また、上述の実施形態において、逆色空間変換部１２に、入力画素のビット深度に適応させた固定小数点で逆平方根の計算を行う逆平方根計算部と、入力画素のビット深度に適応させた固定小数点でヤコビ固有値計算法による計算を行うヤコビ計算部と、を設けてもよい。これによれば、小数点演算が不要になるので、逆色空間変換部１２のハードウェア化を容易化することができる。また、この場合には、逆平方根計算部は、逆平方根算出アルゴリズムの繰り返し回数を２回として、逆平方根の計算を行い、ヤコビ計算部は、ヤコビ特異値分解アルゴリズムの繰り返し回数を、色成分の数の階乗に比例する数として、ヤコビ固有値計算法による計算を行うものとしてもよい。
【００６８】
また、上述の実施形態において、逆色空間変換部１２は、エントロピー復号部１１により得られた逆量子化係数が色成分間で異なる場合に、いずれかひとつの逆量子化係数に合わせて残りの変換係数レベルを再量子化したものに、逆色空間変換行列ＳＩＧ１１または単位行列を適用するものとしてもよい。また、この場合には、逆色空間変換部１２に、エントロピー復号部１１により得られた逆量子化係数のうちいずれかひとつを基準として、エントロピー復号部１１により得られた逆量子化係数のうち基準とした逆量子化係数を除くものの組み合わせと、再量子化する係数と、が予め定められたテーブルを設け、逆色空間変換部１２は、エントロピー復号部１１により得られた逆量子化係数のうち基準とした逆量子化係数を除くものの組み合わせと、テーブルと、に基づいて、再量子化する係数を求め、求めた係数と、基準とした逆量子係数に対応する変換係数レベルを除く変換係数レベルと、の乗算により再量子化するものとしてもよい。
【符号の説明】
【００６９】
１・・・動画像復号装置
１１・・・エントロピー復号部
１２・・・逆色空間変換部
１３・・・逆量子化・逆変換部
１４・・・インター予測部
１５・・・イントラ予測部
１６・・・インループフィルタ
１７・・・フレームバッファ
１８・・・色空間変換行列導出部
【図１】
2015139089.tif 000005