(57)【要約】【課題】ＨＥＶＣイントラ予測に適応可能な計算複雑度の小さいレート歪コスト推定装置の提供。【解決手段】符号化画像のビットコストを推定演算するレート推定手段と、歪み量を量子化係数画像に基づき推定演算する歪み推定手段とを備え、レート推定手段は、符号化画像のヘッダ部を除く符号化係数部分のビット数の推定値Ｂｃｏｅｆを算出する係数レート演算手段を備え、該係数レート演算手段は、量子化係数画像の各量子化係数ｑｉ，ｊに対し、推定値Ｂｃｏｅｆを次式により演算する。【数１】2015043524.tif 000032【選択図】図２
2015043524.tif 000002
【特許請求の範囲】
【請求項１】
オリジナルの入力画素ブロックの予測符号化によって得られる残差画素ブロックを変換符号化し量子化して得られた量子化変換係数からなる量子化係数画素ブロックに対し、レート歪コストを推定演算するレート歪コスト推定装置であって、
前記量子化係数画素ブロックを記憶する符号化画素記憶手段と、
前記符号化画素記憶手段に記憶された前記量子化係数画素ブロックをエントロピ符号化して得られる符号化画素ブロックのビットコストを、当該量子化係数画素ブロックに基づき推定演算するレート推定手段と、
前記量子化係数画素ブロックを逆量子化及び逆変換し前記予測画像を加算することで再構成して得られる再構成画素ブロックとオリジナルの前記入力画素ブロックとの間の歪み量を、前記符号化画素記憶手段から読み出される前記量子化係数画素ブロックに基づき推定演算する歪み推定手段と、
前記レート推定手段が算出するレート推定値に所定の定数を掛けた値と、前記歪み推定手段が算出する歪み量推定値との和であるレート歪コストを算出するレート歪コスト演算手段と、を備え、
前記レート推定手段は、
前記符号化画素ブロックのヘッダ部のビット数の推定値Ｂｈｄｒを算出するヘッダレート演算手段と、
前記符号化画素ブロックのヘッダ部を除く符号化係数部分のビット数の推定値Ｂｃｏｅｆを算出する係数レート演算手段と、
前記ヘッダレート演算手段が算出する前記推定値Ｂｈｄｒ及び前記係数レート演算手段が算出する前記推定値Ｂｃｏｅｆの和であるレート推定値Ｂｍｏｄｅを算出する全レート演算手段と、を備え、
前記係数レート演算手段は、当該量子化係数画素ブロックの前記各量子化係数ｑｉ，ｊに対し、前記推定値Ｂｃｏｅｆを次式により演算することを特徴とするレート歪コスト推定装置。
【数１】
2015043524.tif 000029
【請求項２】
前記歪み推定手段は、
前記残差画素ブロックを変換符号化して得られる各変換係数ｙｉ，ｊをスケーリングしたスケーリング変換係数ｓｉ，ｊを算出する変換係数スケーリング手段と、
前記スケーリング変換係数ｓｉ，ｊ，前記量子化係数ｑｉ，ｊ，及び所定の量子化パラメータ及び画素ブロックのサイズに対して予め定められているビットシフト数iQBitsに対し、（数２）によりスケーリングされた量子化歪みの推定値Ｄｑｓを算出する量子化歪み推定手段と、
前記量子化歪みの推定値Ｄｑｓから、（数３）により前記入力画素ブロックの全体の歪み量Ｄを算出する全歪み推定手段と、を備えたことを特徴とする請求項１記載のレート歪コスト推定装置。
【数２】
2015043524.tif 000030
【数３】
2015043524.tif 000031
【請求項３】
コンピュータに読み込ませて実行することにより、当該コンピュータを請求項１又は２記載のレート歪コスト推定装置として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像圧縮において、主にイントラ予測の予測モードの選択を行う際の選定基準等として使用されるレート歪コストを推定する技術に関する。
【背景技術】
【０００２】
高効率映像符号化（High Efficiency Video Coding :ＨＥＶＣ）は、ＪＣＴ−ＶＣにより制定された現在最新の映像符号化規格である（非特許文献１）。ＨＥＶＣでは、可変サイズの符号化ユニット（Coding Unit：ＣＵ）、予測ユニット（Prediction Unit：ＰＵ）、及び変換ユニット（Transform Unit：ＴＵ）を用いたフレキシブルな四分木符号化構造（quadra-tree coding structure）が新たに採用された。また、イントラ予測においても幾つかの新しい特徴がある。符号化ユニットのサイズは、６４×６４画素から８×８画素まで変化させることができ、また３３種類の方向性予測にＤＣ予測、Planer予測を加えた最大３５種類の予測モードが定義されている。レート歪最適化（rate-distortion optimization：ＲＤＯ）の結果であるレート歪Lagrangeコスト（以下「ＲＤコスト」という。）は、上記ＣＵ，ＰＵ，ＴＵの最適な予測モード及び最適なサイズを選ぶための選定基準となる。ＨＥＶＣは、１世代前の映像符号化規格であるＨ．２６４／ＡＶＣに比べて遥かに多くの予測モードがあるため、圧縮率のＲＤＯに対する依存性はより大きくなる。また、ＨＥＶＣでは、従来のRDO-offモードは、十分な圧縮性能が得られないという理由で、ＨＥＶＣテストモデル（ＨＭ）には含まれていない。従って、ＨＥＶＣエンコーダでは、計算複雑度の大きいＲＤＯの逐次処理を高速に実行するためのアルゴリズムとハードウェア実装が極めて重要である。特に、イントラ予測では、隣接するブロック間の相関が大きく、ＲＤコスト計算が頻繁に実行されるため、インター予測よりもＲＤＯが重要である。そこで、効率的にＲＤコストを計算するアルゴリズムとできるだけ簡略化されたＲＤＯ構造が不可欠となる。
【０００３】
従来のＨ．２６４／ＡＶＣにおいては、計算複雑度の小さいアルゴリズムを用いてレート及び歪みを推定することで、ＲＤＯ計算を簡素化するのを試みた研究が幾つか公開されている。非特許文献２では、符号化係数の分布モデルとして一般化されたGaussian分布を使用したレート推定器が開示されている。非特許文献３では、前記符号化係数の分布モデルとして、Cauchy密度関数を使用することが提案されている。非特許文献４では、レート制御のためにＳＡＴＤ（Sum of absolute transformed differences）モデルを採用した例が開示されている。非特許文献５では、係数のｌ１ノルムと変換領域での歪みを使用した、効率的なＲＤコストの推定手法が開示されている。また、非特許文献６では、変換係数の非ゼロ係数の座標を、レート推定のモデル化に役立てる手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−５２３９１１公報
【特許文献２】特開２００７−１７４６４９公報
【特許文献３】特開２０１０−５３９７５０公報
【特許文献４】特開２０１１−５０９６４２公報
【非特許文献】
【０００５】
【非特許文献１】G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, and T. Wiegand, "Overview of the high efficiency video coding (hevc) standard," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 22, no. 12, pp. 1649 -1668, Dec. 2012.
【非特許文献２】Xin Zhao, Jun Sun, Siwei Ma, and Wen Gao, "Novel statistical modeling, analysis and implementation of rate-distortion estimation for h.264/avc coders," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 20, no. 5, pp. 647 -660, May 2010.
【非特許文献３】N. Kamaci, Y. Altunbasak, and R.M. Mersereau,  "Frame bit allocation for the h.264/avc video coder via cauchy-density-based rate and distortion models," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 15, no. 8, pp. 994 - 1006, Aug. 2005.
【非特許文献４】Do-Kyoung Kwon, Mei-Yin Shen, and C.-CJ. Kuo, "Rate control for h.264 video with enhanced rate and distortion models," Circuits and Systems for Video Technology, IEEE Transactions on, vol. 17, no. 5, pp. 517-529, May 2007.
【非特許文献５】Yu-Kuang Tu, Jar-Ferr Yang, and Ming-Ting Sun, "Efficient rate-distortion estimation for h.264/avc coders,"  Circuits and Systems for Video Technology, IEEE Transactions on, vol. 16, no. 5, pp. 600 - 611, May 2006.
【非特許文献６】Qiang Wang, D. Zhao, Wen Gao, and Siwei Ma, "Low complexity rdo mode decision based on a fast coding-bits estimation model for h.264/avc," in Circuits and Systems, 2005. ISCAS 2005. IEEE International Symposium on, May 2005, pp. 3467 - 3470 Vol. 4.
【非特許文献７】JCT-VC, "High efficiency video coding (hevc) test model 8 encoder description," JCTVC-J1002, Jul. 2012.
【非特許文献８】JCT-VC, "High efficiency video coding (hevc) text specification draft 8," JCTVC-J1003A7, Jul. 2012.
【非特許文献９】D. Bardone, E.S.G. Carotti, and J.C. De Martin, "Adaptive golomb codes for level binarization in the h.264/avc frext lossless mode," in Signal Processing and Information Technology, 2008. ISSPIT 2008. IEEE International Symposium on, Dec. 2008, pp. 287 -291.
【非特許文献１０】JCT-VC, "Common test conditions and software reference configurations," JCTVC-E700, Jan. 2011.
【非特許文献１１】G.A.F. Seber and C.J. Wild, Nonlinear Regression, Wiley Series in Probability and Statistics. Wiley, 2003.
【非特許文献１２】G. BJONTEGARD, "Calculation of average psnr differences between rd-curves," ITU-T VCEG-M33, Apr. 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来公知の手法は、何れも、主として４×４画素サイズのＴＵを前提としているものである。それに対して、ＨＥＶＣでは、ＴＵのサイズは４×４画素から３２×３２画素まで採り得るため、上記従来の手法を直接ＨＥＶＣに適用することはできない。
【０００７】
そこで、本発明の目的は、ＨＥＶＣイントラ予測に適応可能な、計算複雑度の小さいレート歪コスト推定装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係るレート歪コスト推定装置の第１の構成は、オリジナルの入力画素ブロックの予測符号化によって得られる残差画素ブロックを変換符号化し量子化して得られた量子化変換係数からなる量子化係数画素ブロックに対し、レート歪コストを推定演算するレート歪コスト推定装置であって、
前記量子化係数画素ブロックを記憶する符号化画素記憶手段と、
前記符号化画素記憶手段に記憶された前記量子化係数画素ブロックをエントロピ符号化して得られる符号化画素ブロックのビットコストを、当該量子化係数画素ブロックに基づき推定演算するレート推定手段と、
前記量子化係数画素ブロックを逆量子化及び逆変換し前記予測画像を加算することで再構成して得られる再構成画素ブロックとオリジナルの前記入力画素ブロックとの間の歪み量を、前記符号化画素記憶手段から読み出される前記量子化係数画素ブロックに基づき推定演算する歪み推定手段と、
前記レート推定手段が算出するレート推定値に所定の定数を掛けた値と、前記歪み推定手段が算出する歪み量推定値との和であるレート歪コストを算出するレート歪コスト演算手段と、を備え、
前記レート推定手段は、
前記符号化画素ブロックのヘッダ部のビット数の推定値Ｂｈｄｒを算出するヘッダレート演算手段と、
前記符号化画素ブロックのヘッダ部を除く符号化係数部分のビット数の推定値Ｂｃｏｅｆを算出する係数レート演算手段と、
前記ヘッダレート演算手段が算出する前記推定値Ｂｈｄｒ及び前記係数レート演算手段が算出する前記推定値Ｂｃｏｅｆの和であるレート推定値Ｂｍｏｄｅを算出する全レート演算手段と、を備え、
前記係数レート演算手段は、当該量子化係数画素ブロックの前記各量子化係数ｑｉ，ｊに対し、前記推定値Ｂｃｏｅｆを次式により演算することを特徴とする。
【０００９】
【数１】
2015043524.tif 000003
【００１０】
この構成によれば、符号化画像の符号化係数部分のレートの推定演算において、エントロピ符号化を行うことなくレートの推定値Ｂｃｏｅｆを算出するため、ＲＤコスト計算の時間を大幅に削減することが可能となる。ハードウェア実装に不親和なエントロピ符号化を行わないため、ハードウェア実装におけるデータ依存性を軽減させることができる。
【００１１】
尚、本発明に係るレート歪コスト推定装置は、ＨＥＶＣに限らず、Ｈ．２６４／ＡＶＣや他の方式の映像シーケンスの符号化方式に対しても適用することが出来る。また、イントラ予測におけるレート歪コスト計算に限らす、インター予測や他のモードのフィルタに対しても適用することが出来る。
【００１２】
また、本発明に係るレート歪コスト推定装置の第２の構成は、前記第１の構成に於いて、前記歪み推定手段は、
前記残差画素ブロックを変換符号化して得られる各変換係数ｙｉ，ｊをスケーリングしたスケーリング変換係数ｓｉ，ｊを算出する変換係数スケーリング手段と、
前記スケーリング変換係数ｓｉ，ｊ，前記量子化係数ｑｉ，ｊ，及び所定の量子化パラメータ及び画素ブロックのサイズに対して予め定められているビットシフト数iQBitsに対し、（数２）によりスケーリングされた量子化歪みの推定値Ｄｑｓを算出する量子化歪み推定手段と、
前記量子化歪みの推定値Ｄｑｓから、（数３）により前記入力画素ブロックの全体の歪み量Ｄを算出する全歪み推定手段と、を備えたことを特徴とする。
【００１３】
【数２】
2015043524.tif 000004
【００１４】
【数３】
2015043524.tif 000005
【００１５】
この構成により、入力画素ブロックの全体の歪み量Ｄを算出する過程において、従来歪み量の計算に必要であった、量子化係数画像の逆量子化、逆変換、再構成といった処理を省略することができるため、ＲＤコスト計算の時間を大幅に削減することが可能となる。また、ハードウェア実装に不親和な再構成を含むモジュールを省略することができ、ハードウェア実装におけるデータ依存性を軽減させることができる。
【００１６】
また、本発明に係るプログラムは、コンピュータに読み込ませて実行することにより、当該コンピュータを前記第１又は２の構成のレート歪コスト推定装置として機能させることを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明のレート歪コスト推定装置によれば、イントラ予測において、適切なレート推定モデルと歪み推定モデルに基づき、許容できる範囲内の画質劣化・ビットレート増加で、ＲＤコスト計算の時間を大幅に削減することが可能となる。
【００１８】
また、ハードウェア実装においては、本発明のレート歪コスト推定装置を用いることにより、ＲＤコスト計算においてハードウェア実装に不親和なエントロピ符号化及び再構成を含むモジュールを省略することができ、ハードウェア実装におけるデータ依存性を軽減させることができる。
【００１９】
尚、本発明のレート歪コスト推定装置は、インター予測に対しても適用することができ、他のモードのフィルタ・アルゴリズムとともに動作させることができる。
【図面の簡単な説明】
【００２０】
【図１】通常のＲＤＯに基づくレート歪コスト計算装置の構成を表すブロック図である。
【図２】本発明に係るレート歪コスト推定装置の構成を表すブロック図である。
【図３】図１のレート歪コスト計算装置１００で計算される実際の符号化ビットコストＢcoefとθ＝１の場合の推定ビット消費量Ｅposとの関係を示す図である。
【図４】実際の符号化ビットコストＢcoefと推定符号化ビットコストＢ^coefとの関係を示す図である。
【図５】全体の歪みＤとスケーリングされた量子化歪みＤｑｓとの関係を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００２２】
（１）全体構成
まず、従来のレート歪コスト計算装置について説明する。図１に、通常のＲＤＯに基づくレート歪コスト計算装置の構成を示す。図１において、破線の領域はレート歪コスト計算部１００を示す。灰色の幅広線は、レート及び歪み計算により遅延する部分を示している。図１のレート歪コスト計算装置では、イントラ予測におけるレート歪コストの計算を行う。
【００２３】
イントラ予測器１０２は、フレームメモリ１０１に記憶されたオリジナル画素は、指定されたＰＵサイズ及び予測モードによりイントラ予測を行い、ＰＵ内の各画素に対する残差を計算し残差画素記憶部１０３に格納する。
【００２４】
レート歪コスト計算部１００において、まず、変換部１０４は、残差画素記憶部１０３に格納されたＰＵ内の残差に対し変換（ＤＣＴ等）を行い、変換係数ｙｉｊを算出する。次に、量子化部１０５は変換係数ｙｉｊを量子化し、量子化変換係数ｑｉｊを算出し、符号化画素記憶部１０６に格納する。
【００２５】
レートの計算は、エントロピ符号化部１０７が符号化画素記憶部１０６に格納された量子化変換係数ｑｉｊをエントロピ符号化し、得られた符号列のビットサイズ（符号化ビットコスト）Ｂmodeをレート計算部１０８が計算することによって実行される。
【００２６】
一方、歪みの計算は、まず逆量子化部１０９が符号化画素記憶部１０６に格納された量子化変換係数ｑｉｊを逆量子化し、変換係数ｙ~ｉｊを算出する（ここで、記号「~」は直前の記号の上にティルド記号が付されることを表す。以下同じ）。変換係数ｙ~ｉｊは量子化誤差による歪みを含んでいる。次いで、逆変換部１１０が変換係数ｙ~ｉｊを逆変換して残差を算出し、再構成部１１１が当該残差に予測値を加算することにより再構成画素を算出して再構成画素記憶部１１２に格納する。そして、減算器１１３はそれぞれのオリジナル画素に対して、再構成画素記憶部１１２に格納された対応する再構成画素を減算し誤差を算出して歪み計算部１１４に出力する。歪み計算部１１４は、減算器１１３が出力する残差の二乗誤差を加算し、ＰＵ全体の歪みの二乗誤差和ＳＳＥが算出される。
【００２７】
最後に、レート歪計算部１１５は、符号化ビットコストＢmodeに所定のLagrange係数λmodeを掛けた値と歪みの二乗誤差和ＳＳＥとを加算してレート歪Ｊmodeを算出する。
【００２８】
ＨＥＶＣのイントラ予測では、ＰＵのサイズは６４×６４画素から４×４画素まで変化し得る。各サイズのＰＵについて３５種類の予測モードについてレート歪Ｊmodeを計算することで、レート歪が小さくなる幾つかの候補予測モードが選択される（非特許文献７参照）。そして、選択された候補予測モードの其々に対し次式で算出されるＲＤコストＪmodeを算出し、ＲＤコストＪmodeが最小となる予測モードを最適な予測モードとされる（非特許文献７参照）。
【００２９】
【数４】
2015043524.tif 000006
【００３０】
ここで、ＳＳＥはオリジナル画素と再構成画素との二乗差の和（sum of square error）、ＢmodeはＣＡＢＡＣによるすべてのブロックの符号化ビットコストである。このＲＤコストＪmodeは、ＣＵサイズ、ＰＵサイズ、及びＴＵサイズを決定する際の基準でもある。
【００３１】
表１に、ＰＵの各サイズに対するフルＲＤＯの候補予測モードの数を示す。候補予測モードは、上側及び左側のブロックの予測モードから算出される場合もあるので、候補予測モードの数は変化する。表１の通り、ＲＤコストの計算を行う少数の候補予測モードのみが選出されるが、依然としてレート歪最適化プロセスは、大きな計算複雑度となる。
【００３２】
【表１】
2015043524.tif 000007
【００３３】
そこで、本発明では図１のレート歪コスト計算を簡略化し計算複雑度を減少させる。図１において、変換部１０４，量子化部１０５，逆量子化部１０９，及び逆変換部１１０を含む一連のモジュールは、強いデータ依存性を示すが、ハードウェア実装においては並列化及びパイプライン化は比較的容易である。一方、エントロピ符号化部１０７は、変換係数がシーケンシャルに処理されるため、ハードウェア実装には不利である。
【００３４】
図２に、本発明に係るレート歪コスト推定装置の構成を表すブロック図を示す。図２において、フレームメモリ１０１、イントラ予測器１０２、残差画素記憶部１０３、変換部１０４、量子化部１０５、及びレート歪計算部１１５は、図１の同符号の構成要素と同じものである。本発明に係るレート歪コスト推定装置１は、エントロピ符号化部１０７，レート計算部１０８に代えて簡易レート推定器２を備え、逆量子化部１０９，逆変換部１１０，再構成部１１１，再構成画素記憶部１１２，減算器１１３，歪み計算部１１４に代えて低複雑度歪み推定器３を備えた点が特徴である。簡易レート推定器２は、符号化画素のエントロピ符号化演算を行うことなく符号化ビットコストの推定演算を行うモジュールである。また、低複雑度歪み推定器３は、符号化画素の逆量子化・逆変換・再構成といった一連の復号演算を行うことなく歪み値の推定演算を行うモジュールである。レート歪計算部１１５は、簡易レート推定器２により算出される符号化ビットコストの推定値Ｂ^（ここで、記号「^」は直前の記号の上にハット記号が付されることを表す。以下同じ）と、低複雑度歪み推定器３により算出される歪みの二乗和の推定値Ｄ^とから、次式によってレート歪Ｊ^の推定値を算出する。
【００３５】
【数５】
2015043524.tif 000008
【００３６】
これによって、ＲＤＯの演算処理は簡易化され、ブロック間のデータ依存性が緩和され、ハードウェア実装において非常に大きな利便性がもたらされることになる。以下、簡易レート推定器２及び低複雑度歪み推定器３の詳細について説明する。
【００３７】
（２）簡易レート推定器２
（２．１）変換係数のレート
符号化ビットコストＢmodeは、次式の通り、ヘッダのビット数Ｂhdrと係数のビット数Ｂcoefに分割できる。
【００３８】
【数６】
2015043524.tif 000009
量子化変換係数ｑｉｊ（ｉ，ｊ＝０，…，Ｎ−１）のｌｐノルムＥは次式により定義される。ここで、ＮはＰＵの一辺の画素数である。
【００３９】
【数７】
2015043524.tif 000010
【００４０】
ＨＥＶＣの規格書である非特許文献８で規定されている残差符号化構文によれば、係数ビットは、非ゼロ・マップ（nonzero map），１以上マップ（greater-than-one map），サイン（sign），残余レベル（remaining lavel）などから符号化される。特に重要なのは、残余レベルの二値化の際にGolomb-Rice法を用いることであり、高周波側の係数から低周波側の係数までスキャンするときにRiceパラメータｃＲＰを増加させることができる。二値化のプレフィックス部分は、トランケーティド・ライス二値化処理（Truncated Rice binarization process）を実行することにより導出され、そのビン数は、
【００４１】
【数８】
2015043524.tif 000011
である。サフィックス部分はｋ次の指数ゴロム（Exponential Golomb：EGk）二値化処理を用いて導出され、そのビン数は
【００４２】
【数９】
2015043524.tif 000012
である（非特許文献９参照）。ここで、ｋ＝ｃＲＰ＋１である。
【００４３】
これらの方法に基づき、小さな残余レベルは、低い周波数位置において高い周波数位置よりも長いビンに符号化され、大きな残余レベルは、低い周波数位置において高い周波数位置よりも短いビンに符号化されるであろうと推定される。
【００４４】
そこで、まず、式（５）に非ゼロ係数の位置情報を追加することにより、ビット消費量Ｅposを次式のようにモデル化する。
【００４５】
【数１０】
2015043524.tif 000013
【００４６】
ここで、θは位置情報に関するバランス・パラメータ（フィッティング・パラメータ）である。計算量を抑えるため、ここではｐ＝１を選択する。また、実際の画像では変換係数はＤＣ及び低周波側に集中しており、高周波側の係数の絶対値｜ｑｉｊ｜の殆どが０又は１である。従って、式（８）の｜ｑｉｊ｜は１で近似する。従って、ビット消費量Ｅposは次のように簡素化される。
【００４７】
【数１１】
2015043524.tif 000014
【００４８】
図３は、図１のレート歪コスト計算装置１００で計算される実際の符号化ビットコストＢcoefとθ＝１の場合の推定ビット消費量Ｅposとの関係を示す図である。実際の符号化ビットコストＢcoefと推定ビット消費量Ｅpos（θ＝１）との間には強い相関があるが、両者は完全に線形な関係ではない。また、異なるＴＵサイズに対する符号化ビットコストをどのようにして推定するかが問題である。図３の観測結果に基づき、異なるＴＵサイズに対する変換係数の符号化ビットコストＢ^coefの推定値を次式によって近似する。
【００４９】
【数１２】
2015043524.tif 000015
【００５０】
ここで、α，β，θはモデル・パラメータ（フィッティング・パラメータ）であり、ＴＵサイズＮ及び量子化パラメータＱＰに依存して変化する。図２の簡易レート推定器２では、テスト・シーケンスを用いたトレーニングにより、予めモデル・パラメータα（ＱＰ，Ｎ），β（ＱＰ，Ｎ），θ（ＱＰ，Ｎ）を学習設定しておき、実際の映像では、これらのモデル・パラメータを用いて式（１０）を計算することにより、変換係数の符号化ビットコストＢ^coefの推定を行う。
【００５１】
図４は、実際の符号化ビットコストＢcoefと推定符号化ビットコストＢ^coefとの関係を示す図である。図４から、実際の符号化ビットコストＢcoefと推定符号化ビットコストＢ^coefとはほぼ線形関係であることが分かり、式（１０）によるレート推定が比較的正確であることが実証されている。
【００５２】
図２の簡易レート推定器２を使用することにより、ＲＤコスト計算のためのエントロピ符号化部１０７は省略される。また、式（１０）による推定演算は、ルックアップテーブルを用いて演算することができるためハードウェア実装は容易にできる。また、各ブロックにおいて推定符号化ビットコストＢ^coefを１回だけ計算するため、計算複雑度の増加は僅かである。
【００５３】
（２．２）ヘッダのレート
通常、イントラ予測においては、エントロピ符号化後のヘッダービットのビット数は符号化された量子化変換係数のビット数に比べて遥かに小さい。ＨＥＶＣ規格書である非特許文献８によれば、イントラ予測のヘッダービットは、主として、予測モード、パーティション・サイズ、変換ユニット分割等に関する情報を含んでいる。予測モードは、隣接するブロックから予測された予測モードに基づいて符号化される。ヘッダービットのビット数の計算はさほど複雑ではないため、ＨＥＶＣテストモデルで使用されている方法をそのまま使用することができる。
【００５４】
（２．３）全体のレート
簡易レート推定器２は、ＨＥＶＣテストモデルで使用されている方法により算出されるヘッダービットのビット数Ｂｈｄｒと、上述の推定符号化ビットコストＢ^coefとを加え（式（４）参照）、全体のレートの推定値Ｂmode^を算出する。
【００５５】
（３）低複雑度歪み推定器３
（３．１）歪みの原因
上記（１）項（式（２）参照）で説明したように、歪みはオリジナル画素と再構成画素との間のＳＳＥ（sum of square error）によって計測される。再構成画素の計算の元となるデータは、イントラ予測器１０２→残差画素記憶部１０３→変換部１０４→量子化部１０５→符号化画素記憶部１０６→逆量子化部１０９→逆変換部１１０→再構成部１１１の各モジュールを通って流れる（図１参照）。順方向変換において、Ｎ行Ｎ列（ＮはＴＵサイズ）の変換係数行列Ｙ＝（ｙｉｊ）は、Ｎ行Ｎ列の残差サンプル行列Ｘ＝（ｘｉｊ）から次式によって算出される。
【００５６】
【数１３】
2015043524.tif 000016
【００５７】
ここで、Ｃｆは変換行列（ＤＣＴ等）、Ｅｆはスケーリング行列である。Ｈ．２６４／ＡＶＣやＨＥＶＣでは、変換行列Ｃｆとして、ＤＣＴをベースにして規定変換を整数のみで構成した整数変換が採用されている。整数変換は、ＤＣＴと略同等の性能を持つが、直交性を持たないため逆変換において歪みを生じる。この、変換／逆変換によって生じる歪みを変換歪みＤＴと定義する。
【００５８】
一方、逆量子化部１０９においては、変換係数ｙｉｊは、よりビット数の小さい量子化係数ｑｉｊへとスケーリングされる。例えば、ＨＥＶＣでは、次式の整数演算とシフト演算によって量子化が行われる。
【００５９】
【数１４】
2015043524.tif 000017
【００６０】
ここで、QPは量子化パラメータ、QStepは量子化ステップ、ＮはＴＵサイズ、BitDepthは画素階調、iQBitsは量子化パラメータQP及びＴＵサイズに関するビットシフト数である。また、ｍｉｊは重み付け量子化係数、f(QP％6)は量子化ステップによる量子化を実現するための乗算係数（スケーリング・パラメータ）であり、それぞれテーブルにより与えられる。量子化においては、右ビットシフト操作による小数部の切り捨て（床関数演算）が行われるため、量子化による歪みが生じる。この量子化歪みをＤＱと定義する。
【００６１】
また、変換係数の値が所定のレンジを越えた場合には、各係数は所定の最大値にクリッピングされる。このクリッピングによって生じるクリッピング歪みをＤＣと定義する。
【００６２】
従って、全体の歪みＤは、ＤＴ，ＤＱ，ＤＣが相互作用した結果であり、次式のように定式化される。
【００６３】
【数１５】
2015043524.tif 000018
【００６４】
ここで、関数Ｇは相殺項も含むため、全体の歪みＤはＤＴ，ＤＱ，ＤＣの単純な和とはならない。非特許文献５によれば、変換ドメイン歪み（transform domain distortion）は、実空間ドメイン歪み（actual spatial-domain distortion）Ｄに近似する。即ち、量子化歪みＤＱが全体の歪みＤの大部分を占める。
【００６５】
（３．２）ブロックレベル歪み推定
式（１２ａ）より、量子化演算は、次式のように定式化できる。
【００６６】
【数１６】
2015043524.tif 000019
【００６７】
ここで、ｓｉｊはスケーリングされた変換係数である。「≫」は右ビットシフト演算子である。ＨＥＶＣにおいては、デフォルトの量子化モジュール（量子化部１０５）は、レート歪み最適化量子化（Rate Distortion Optimized Quantization：ＲＤＯＱ）である（非特許文献７）。ＲＤＯＱにおいて、量子化レベルは、計算される各コストにより３つの候補量子化値の中から選択される。３つの候補量子化値とは０，lijfloor，lijceilである。ここで、lijfloor，lijceilは次式で定義される。
【００６８】
【数１７】
2015043524.tif 000020
【００６９】
従って、変換係数ｙｉｊから量子化歪みＤＱを推定するのは妥当ではない。そこで、スケーリングされた変換係数ｓｉｊと量子化係数ｑｉｊとの差ｄｑｓijを次式により計算する。
【００７０】
【数１８】
2015043524.tif 000021
【００７１】
「≪」は左ビットシフト演算子である。これにより、全体のスケーリングされた量子化歪みＤｑｓは次式のように算出できる。
【００７２】
【数１９】
2015043524.tif 000022
【００７３】
図５は、全体の歪みＤとスケーリングされた量子化歪みＤｑｓとの関係を示す図である。図５より、全体の歪みＤとスケーリングされた量子化歪みＤｑｓとは強い線形性を有することが分かる。
【００７４】
一方、逆量子化は、次式のように定式化される。
【００７５】
【数２０】
2015043524.tif 000023
【００７６】
ここで、scaleは量子化手順におけるスケーリング・パラメータf(QP％6)と相関のあるスケーリング・パラメータ、iAddはオフセット、iShiftはＴＵサイズと関係するビットシフト数である。そこで、量子化歪みＤＱの推定値ＤＱ^を次式によりモデル化する。
【００７７】
【数２１】
2015043524.tif 000024
【００７８】
ここで、ηはスケーリング・パラメータscaleに起因するパラメータ、ｋはビットシフト数iShiftに起因するパラメータ、ＮはＴＵサイズである。従って、最終的に全体の歪みＤの推定値Ｄ^は次式により近似される。
【００７９】
【数２２】
2015043524.tif 000025
【００８０】
ここで、μ（ＱＰ）は量子化パラメータＱＰに依存するモデル・パラメータ（フィッティング・パラメータ）である。テスト・シーケンスを用いた学習によって適切なμ（ＱＰ）を予め設定しておくことにより、低複雑度歪み推定器３は、式（２０）を演算することによって全体の歪みＤを正確に推定することができる。
【００８１】
低複雑度歪み推定器３を用いることにより、ＲＤコスト計算において、図１の逆量子化部１０９、逆変換部１１０、再構成部１１１、再構成画素記憶部１１２、減算器１１３は省略することができる。従って、画素の再構成は、最適な予測モードに対してのみ行えばよいことになる。従って、ＲＤコスト計算における計算複雑度は大幅に低減される。また、ハードウェア実装においては、低複雑度歪み推定器３を用いることによりデータ依存性が隠遮される。
【００８２】
尚、以上に説明したレート歪コスト推定装置１は、映像処理用のＶＬＳＩなどに回路的に組み込んで使用するＩＰコアの形態として実現することを想定して説明したが、本発明はハードウェア構成によって実現したものに限らず、プログラムとしてソフトウェア的に構成し、コンピュータに読み込ませて実行し当該コンピュータを本発明のレート歪コスト推定装置１として機能させるように構成することもできる。また、ＦＰＧＡ等の再構成可能論理回路用の論理回路構成情報用プログラムとして構成し、当該プログラムによって当該再構成可能論理回路を本発明のレート歪コスト推定装置１として機能させるように構成することもできる。さらには、これらのプログラムを記録媒体に記憶させた形態として提供し、又はネットワークを介して提供することもできる。
【００８３】
（４）実験結果
最後に、本実施例に係るレート歪コスト推定装置１により、実際の映像シーケンスを使用してレート歪コスト計算を演算する実験を行った結果について説明する。
【００８４】
（４．１）モデル・パラメータのトレーニング
まず、テスト・シーケンス（非特許文献１０）を用いて、４つの量子化パラメータＱＰ（＝２２，２７，３２，３７）に対し、式（１０）及び式（２０）のモデル・パラメータα，β，θ，μを得る。式（１０）のレート推定におけるモデル・パラメータα（QP,N），β（QP,N），θ（QP,N）は、最小二乗法に基づく非線形回帰アルゴリズムであるLevenberg-Marquardtアルゴリズム（非特許文献１１）によってトレーニング（学習）した。また、式（２０）の歪み推定におけるモデル・パラメータμ（QP）は、通常の単純な線形回帰法によって計算した。
【００８５】
モデル・パラメータのトレーニング（学習）には、２つのテスト・シーケンスを使用した。表２，表３に示したクラスＡ，Ｂの高解像度シーケンスにおいて、無作為に選択されたシーケンスBQTerraceによって１組のモデル・パラメータを得た。また、クラスＣ，Ｄ，Ｅの低解像度シーケンスにおいて、無作為に選択されたシーケンスBasketballPassによって１組のモデル・パラメータを得た。
【００８６】
【表２】
2015043524.tif 000026
【００８７】
【表３】
2015043524.tif 000027
【００８８】
（４．２）本発明のレート歪コスト推定装置１の性能
本実施例のレート歪コスト推定装置１を、ＪＴＣ−ＶＣ  ＨＭ−８．０（HEVC reference tool）に組み込んだ。本実験において、非特許文献１０にリストアップされたすべてのテスト・シーケンスについて、量子化パラメータＱＰを２２，２７，３２，３７として、オール・イントラのコンフィギュレーションによりエンコードした。符号化効率及び計算複雑度を、本実施例に係るレート歪コスト推定装置１とＨＭ−８．０とで比較した。符号化効率は、Bjonteegaard法（非特許文献１２）を用いて、ビットレート差及びＰＳＮＲ差により測定した。計算複雑度の減少は、次式で定義されるＲＤコスト計算の時間減少率ΔＴＲＤＯにより測定した。
【００８９】
【数２３】
2015043524.tif 000028
【００９０】
表２に、レート歪み最適化量子化（ＲＤＯＱ）を用いた場合の各テスト・シーケンスに対するＲＤコスト計算の実験結果を示す。この実験において、ＲＤＯＱのコンフィギュレーションはオンとされている。本実施例のレート歪コスト推定装置１は、平均の画質劣化（BD-psnr）が０．１０７ｄＢであるのに対し、平均のビットレート（BD-rate）が１．９３％増加した。これは、許容できる範囲であり、レート歪コスト推定装置１のＲＤコスト推定演算が比較的正確に行われたことが実証された。そして、ＲＤコスト計算の時間は、約３４％節約された。
【００９１】
表３に、従来型の量子化法を用いた場合の各テスト・シーケンスに対するＲＤコスト計算の実験結果を示す。この実験においては、ＲＤＯＱのコンフィギュレーションはオフとされている。本実施例のレート歪コスト推定装置１は、平均の画質劣化（BD-psnr）が０．１０９ｄＢであるのに対し、平均のビットレート（BD-rate）が１．９７％増加した。そして、ＲＤコスト計算時間は、約４４％節約された。このケースでは、表２のケースよりも多くのＲＤコスト計算時間を節約することができている。これは、従来型の量子化法の計算複雑度はＲＤＯＱよりも遥かに小さいためである。
【００９２】
本実施例のレート歪コスト推定装置１のハードウェア実装に対する寄与は、ＲＤコスト計算時間減少率ΔＴＲＤＯに対する寄与よりも更に大きい。なぜなら、本実施例のレート歪コスト推定装置１において、パイプラインにおいて長い待ち時間を生じるエントロピ符号化及び再構成を含む、ハードウェア実装に不親和なモジュールが省略されるからである。
【符号の説明】
【００９３】
１  レート歪コスト推定装置
２  簡易レート推定器
３  低複雑度歪み推定器
１００  レート歪コスト計算部
１０１  フレームメモリ
１０２  イントラ予測器
１０３  残差画素記憶部
１０４  変換部
１０５  量子化部
１０６  符号化画素記憶部
１０７  エントロピ符号化部
１０８  レート計算部
１０９  逆量子化部
１１０  逆変換部
１１１  再構成部
１１２  再構成画素記憶部
１１３  減算器
１１４  歪み計算部
１１５  レート歪計算部
【図１】
2015043524.tif 000033
【図２】
2015043524.tif 000034
【図３】
2015043524.tif 000035
【図４】
2015043524.tif 000036
【図５】
2015043524.tif 000037