(57)【要約】  再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置は、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する符号化コスト決定部１１と、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する子ノード符号化コスト決定部１２と、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する代表子ノード選択部１３と、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する正規化部１４と、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する分割決定部１５とを備える。
2014045515.tif 000002
【特許請求の範囲】
【請求項１】
再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、
処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する手段と、
処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する手段と、
処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する手段と、
前記選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する手段と、
前記正規化したノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する手段とを備えた
ことを特徴とする映像符号化装置。
【請求項２】
前記代表子ノードを選択する手段が、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択する
請求項１記載の映像符号化装置。
【請求項３】
処理対象ノードに対応するノード画像ブロックの大きさに応じて、前記代表子ノード数を調整する
請求項２記載の映像符号化装置。
【請求項４】
再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化方法であって、
処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定し、
処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定し、
処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択し、
選択された１つ以上の代表子ノード数に基づいてノード符号化コストを正規化し、
正規化されたノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する
ことを特徴とする映像符号化方法。
【請求項５】
前記代表子ノードを選択する際、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択する
請求項４記載の映像符号化方法。
【請求項６】
処理対象ノードに対応するノード画像ブロックの大きさに応じて、代表子ノード数を調整する
請求項５記載の映像符号化方法。
【請求項７】
再帰的クアッドツリー構造に基づいた映像符号化を行うコンピュータに適用される映像符号化プログラムであって、
前記コンピュータに、
処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する処理、
処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する処理、
処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する処理、
前記選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する処理、および、
前記正規化したノード符号化コストと前記代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する処理
を実行させるための映像符号化プログラム。
【請求項８】
コンピュータに、
前記代表子ノードを選択する処理で、子ノード符号化コストが小さい順に１以上４以下の個数の代表子ノードを選択させる
請求項７記載の映像符号化プログラム。
【請求項９】
コンピュータに、
処理対象ノードに対応するノード画像ブロックの大きさに応じて、代表子ノード数を調整させる
請求項８記載の映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、HEVCなどの再帰的クアッドツリー構造に基づいた映像符号化方式のクアッドツリー構造決定技術であって、例えば映像符号化装置に好適に適用される。
【背景技術】
【０００２】
非特許文献１の記載に基づいた映像符号化方式は、ディジタル化された映像の各フレームを符号化ツリーユニット（CTU ：Coding Tree Unit）に分割し、ラスタスキャン順に各CTU を符号化する。各CTU は、クアッドツリー構造で、符号化ユニット（CU：Coding Unit ）に分割されて符号化される。各CUは、予測ユニット（PU：Prediction Unit ）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU：Transform Unit）に分割されて周波数変換される。【０００３】
CUは、イントラ予測／フレーム間予測の符号化単位である。以下では、イントラ予測およびフレーム間予測を説明する。【０００４】
イントラ予測は、符号化対象フレームの再構築画像から生成する予測である。非特許文献１には、図６に示す３３種類の角度イントラ予測などが定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を図６に示す３３種類の方向のいずれかに外挿して、イントラ予測信号が生成される。以後、イントラ予測に用いられるCUをイントラCUと呼ぶ。【０００５】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図７は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、インター予測を用いるCUをインターCUと呼ぶ。【０００６】
なお、イントラCUのみで符号化されたフレームはＩフレーム（もしくはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（もしくはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（もしくはＢピクチャ）と呼ばれる。【０００７】
以上で、イントラ予測およびフレーム間予測の説明を終了する。【０００８】
次に、図８を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００９】
図８に示す映像符号化装置は、周波数変換／量子化器101 、エントロピー符号化器102 、逆周波数変換／逆量子化器103 、バッファ104 、予測器105 、および推定器106 を備える。【００１０】
図９は、フレームの空間解像度がCIF （CIF ：Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。また、図１０は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。【００１１】
CTU8のクアッドツリー構造は、64x64 領域を分割することを示すCUDepth=0 のcu_split_flag=1 、最初の３つの32x32 CU（CU0, CU1、およびCU2 ）を分割しないことを示す３つのCUDepth=1 のcu_split_flag=0 、最後の32x32 CUを分割することを示すCUDepth=1 のcu_split_flag=1 、最初の３つの16x16 CU（CU3, CU4, およびCU5 ）を分割しないことを示す３つのCUDepth=2 のcu_split_flag=0 、最後の16x16 CUを分割することを示すCUDepth=2 のcu_split_flag=1 、すべての8x8 CU（CU6, CU7, CU8 、およびCU9 ）を分割しないことを示す４つのCUDepth=3 のcu_split_flag=0 で表現できる。【００１２】
図１１は、CUのPU分割形状を示す説明図である。CUがイントラ予測の場合、正方形のPU分割を選択できる（ただし、CUが最小サイズよりも大きい場合、2Nx2N のみを選択できる）。CUがインター予測の場合、CUが８よりも大きい場合、NxN 以外のPU分割を選択できる（ただし、CUが８の場合、2Nx2N 、2NxN、およびNx2Nのいずれかのみを選択できる）。【００１３】
図１２は、CUのTU分割例を示す説明図である。上段は、イントラ予測2Nx2N PUのCUのTU分割例を示す。CUがイントラ予測の場合、クアッドツリーの根（Root）をPUに配置し、予測誤差をクアッドツリー構造で表現する。下段は、インター予測 2NxN PUのCUのTU分割例を示す。CUがインター予測の場合、クアッドツリーの根（Root）をCUに配置し、予測誤差をクアッドツリー構造で表現する。【００１４】
推定器106 は、CTU 毎に、符号化コストを最小とするCUクアッドツリー構造／PU分割形状／TUクアッドツリー構造を決定する。【００１５】
以下では、非特許文献２に記載されたCUクアッドツリー構造／PU分割形状決定プロセスを説明する。【００１６】
非特許文献２の4.8.3 Intra/Inter/PCM mode decisionには、CUレベルモード決定プロセスが開示されている。CUレベルモード決定プロセスは、CUのPU分割形状およびイントラ予測／インター予測を決定するプロセスである。また、上記箇所には、CUクアッドツリーのデプス（CUDepth ）毎にCUレベルモード決定プロセスを再帰的に実行する、CUクアッドツリー構造決定プロセスが開示されている。【００１７】
まず、CUレベルモード決定プロセスを説明する。インター予測のPU分割形状候補の集合InterCandidate、イントラ予測のPU分割形状候補の集合IntraCandidate、あるモード（mode）の２乗誤差和（SSE ：Sum of Square Error ）符号化コストJSSE(mode)を以下のように定義する。【００１８】
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN }.
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN}.
JSSE(mode) = DSSE(mode) + λmode・Rmode (mode)
λmode = 2(QP-12)/3【００１９】
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いた再構築画像信号との２乗誤差和、modeを用いて符号化したCUのビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。【００２０】
CUレベルモード決定プロセスでは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。定式的には、CUレベルモード決定プロセスを以下のように表現できる。【００２１】
【数１】
2014045515.tif 000003
【００２２】
PUCandidate = { InterCandidate, IntraCandidate }【００２３】
以上で、CUレベルモード決定プロセスの説明を終了する。続いて、CUクアッドツリー構造決定プロセスを説明する。【００２４】
CUDepth のCU（以後、ノードと呼ぶ）のSSE 符号化コストは、そのCUのbestPUmodeのSSE 符号化コストである。つまり、ノードSSE 符号化コストJSSE(node, CUDepth) を以下のように定義する。【００２５】
【数２】
2014045515.tif 000004
【００２６】
CUDepth のCUのi 番目(1≦i ≦4)の子CU（以後、子ノードやリーフなどと呼ぶ）のSSE 符号化コストは、CUDepth+1 のCUのSSE 符号化コストである。つまり、i 番目のリーフSSE 符号化コストJSSE(leaf(i), CUDepth)を以下で定義する。【００２７】
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)【００２８】
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを子CUに分割するか否かを決定できる。JSSE(node, CUDepth) が以下に示す式１の値よりも大きい場合、CUを子CUに分割すると決定する（cu_split_flag=1 とする）。【００２９】
【数３】
2014045515.tif 000005
【００３０】
そうでない場合（JSSE(node, CUDepth)が上記に示す式１の値以下の場合)、CUを子CUに分割しないと決定する（cu_split_flag=0 とする）。【００３１】
CUクアッドツリー構造決定プロセスでは、上述した比較をCUDepth 毎に再帰的に実行し、CTU のクアッドツリー構造を決定する（つまり、CUDepth 毎にリーフのcu_split_flag を決定する）。【００３２】
以上で、CUクアッドツリー構造決定プロセスの説明を終了する。【００３３】
なお、TUクアッドツリー構造は、上述したCUクアッドツリー構造決定プロセスと同様のプロセスによって決定できる。【００３４】
予測器105 は、推定器106 が決定したCUクアッドツリー構造およびPU形状に基づいて、CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはインター予測に基づいて生成される。【００３５】
周波数変換／量子化器101 は、推定器106 が決定したTUクアッドツリー構造に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００３６】
さらに、周波数変換／量子化器101 は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。【００３７】
エントロピー符号化器102 は、CTU のクアッドツリー構造を示すcu_split_flag 、予測パラメータ、および変換量子化値をエントロピー符号化する。【００３８】
逆周波数変換／逆量子化器103 は、変換量子化値を逆量子化する。さらに、逆周波数変換／逆量子化器103 は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ104 に供給される。【００３９】
バッファ104 は、再構築画像を格納する。【００４０】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
【先行技術文献】
【非特許文献】
【００４１】
【非特許文献１】High efficiency video coding (HEVC) text specification draft 7, JCTVC-I1003_d9, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April-7 May 2012.
【非特許文献２】HM7: High Efficiency Video Coding (HEVC) Test Model 7 Encoder Description, JCTVC-I1002, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April-7 May 2012.
【発明の概要】
【発明が解決しようとする課題】
【００４２】
ノードCUの予測誤差に局所的に大きな値が含まれる場合、周波数変換と量子化によってノードCU全体の再構築画像（2Nx2N サイズ）に量子化雑音が拡散してリンギングノイズが発生することが知られている。【００４３】
あるノードCUのSSE 符号化コストJSSE(node, CUDepth) とそのリーフCUのSSE 符号化コストの和（上記に示す式１参照。）を単純に比較する技術は、局所的に大きな予測誤差を考慮しないでCUクアッドツリー構造を決定するため、誤って非分割を多く選択し、リンギングノイズを発生させる。【００４４】
リンギングノイズ発生は、SSE 符号化コストの代わりに、再構築画像を用いない以下に示すSAD 符号化コストJSAD(mode)やSATD符号化コストJSATD(mode)を利用した場合に、より顕著になる。【００４５】
JSAD(mode) = DSAD(mode) + λmotion・Rmotion(mode)
JSATD(mode) = DSATD(mode) + λmotion・Rmotion(mode)
λmotion = 2(QP-12)/6【００４６】
ただし、DSAD(mode)、Rmode(mode)、DSATD(mode) は、それぞれ、CUの入力画像信号とmodeを用いた予測信号との絶対誤差和（SAD ：Sum of Absolute Difference）、modeを用いて符号化したCUのヘッダビット数（変換量子化値のビット数を含まない）、CUの入力画像信号とmodeを用いた予測信号との絶対誤差アダマール変換和（SATD:Sum of Absolute Hadamard Transformed Difference ）を示す。【００４７】
本発明は、リンギングノイズ発生を防止できる映像符号化装置、映像符号化方法および映像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００４８】
本発明による映像符号化装置は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する手段と、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する手段と、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する手段と、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する手段と、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する手段とを備えたことを特徴とする。【００４９】
本発明による映像符号化方法は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化方法であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定し、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定し、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択し、選択された１つ以上の代表子ノード数に基づいてノード符号化コストを正規化し、正規化されたノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定することを特徴とする。【００５０】
本発明による映像符号化プログラムは、再帰的クアッドツリー構造に基づいた映像符号化を行うコンピュータに適用される映像符号化プログラムであって、コンピュータに、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する処理、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する処理、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する処理、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する処理、および、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する処理を実行させることを特徴とする。
【発明の効果】
【００５１】
本発明によれば、処理対象ノードの４つの子ノードの代表子ノードの符号化コストと、代表子ノード数に基づいて正規化された処理対象ノードの符号化コストとを比較して、処理対象ノードの分割／非分割を決定する。処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、代表子ノードの符号化コスト和は正規化された符号化コストよりも小さくなる。すなわち、処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、処理対象ノードの分割を選択する。本発明を用いた映像符号化装置は、局所的に大きな予測誤差を考慮してCUクアッドツリー構造を決定するため、リンギングノイズ発生を防止できる。
【図面の簡単な説明】
【００５２】
【図１】本発明による映像符号化装置の一実施形態を示すブロック図である。
【図２】本発明の推定器の構成例を示す説明図である。
【図３】本発明の推定器の動作例を示す説明図である。
【図４】本発明によるプログラムを用いた情報処理システムの例を示すブロック図である。
【図５】本発明による映像符号化装置の主要部を示すブロック図である。
【図６】３３種類の角度イントラ予測の例を示す説明図である。
【図７】フレーム間予測の例を示す説明図である。
【図８】一般的な映像符号化装置の構成を示す説明図である。
【図９】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図１０】クアッドツリー構造を示す説明図である。
【図１１】CUのPU分割形状を示す説明図である。
【図１２】CUのTU分割例を示す説明図である。
【発明を実施するための形態】
【００５３】
図１を参照して、ディジタル化された映像の各フレームを入力画像としてビットストリームを出力する本実施形態の映像符号化装置の構成と動作を説明する。
【００５４】
図１に示す映像符号化装置は、図６に示された映像符号化装置と同様に、周波数変換／量子化器101 、エントロピー符号化器102 、逆周波数変換／逆量子化器103 、バッファ104 、および予測器105を備える。さらに、本実施形態の映像符号化装置は、推定器1060を備える。
【００５５】
図２を参照して、本発明の特徴を示す推定器1060の構成および動作を説明する。
【００５６】
推定器1060は、ノードコスト計算器10601、第１リーフコスト計算器10602 、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 、代表リーフ選択器10606 、ノードコスト正規化器10607 、および、ノード分割判定器10608 によって構成される。推定器1060は、CTU のCUクアッドツリー構造／PU分割形状を決定する。
【００５７】
ノードコスト計算器10601 は、現在のCUDepth のCUに対して、上述したSATD符号化コストJSATD(mode) を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。定式的には以下のように示される。
【００５８】
【数４】
2014045515.tif 000006
【００５９】
さらに、ノードコスト計算器10601 は、CUのSATD符号化コストJSATD(node, CUDepth)にbestPUmodeのSATD符号化コストを設定する。定式的には以下のように示される。
【００６０】
【数５】
2014045515.tif 000007
【００６１】
なお、CUのi 番目(1≦i ≦4)の子CU（以後、子ノードやリーフなどと呼ぶ）のSATD符号化コストは、CUDepth+1 のCUのSATD符号化コストである。i 番目(1≦i ≦4)のリーフCUのSATD符号化コストJSATD(leaf(i), CUDepth) を以下のように定義する。
【００６２】
JSATD(leaf(i), CUDepth) = JSATD(node, CUDepth+1)
【００６３】
第１リーフコスト計算器10602 は、CUの最初のリーフ(i=1) のSATD符号化コストJSATD(leaf(1), CUDepth) を計算する。すなわち、CUの最初のリーフ(i=1) に対して、SATD符号化コストJSATD(mode) を最小とするPU分割形状およびイントラ予測／インター予測bestPUmodeを選択する。
【００６４】
同様に、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 は、それぞれ、CUの第２リーフ(i=2) 、第３リーフ(i=3) 、第４リーフ(i=4) のSATD符号化コストJSATD(leaf(i), CUDepth) を計算する。
【００６５】
例を用いて、ノードとリーフの関係（CUと子CUの関係）を補足する。CTU サイズを64と仮定すると、CUDepth=0 のノードの最初のリーフは、64x64 画像ブロック内の左上32x32 画像ブロックに対応する。同様に、CUDepth=0 のノードの第２リーフ、第３リーフ、第４リーフは、それぞれ、64x64 画像ブロック内の右上32x32 画像ブロック、左下32x32 画像ブロック、右下32x32 画像ブロックに対応する。
【００６６】
代表リーフ選択器10606 は、各リーフのSATD符号化コストJSATD(leaf(i), CUDepth) に基づいて、K 個(1≦K ≦4)の代表リーフを選択する。具体的には、代表リーフ選択器10606 は、SATD符号化コストが小さい順で第L 番目(1≦L ＜4)から第M 番目(L＜M ≦4)のリーフを代表リーフとして選択する。以後の説明のために、小さい順でソートされたSATD符号化コストをJ'SATD(leaf(i), CUDepth)と定義する。
【００６７】
さらに、代表リーフ選択器10606 は、代表リーフ個数K と代表リーフのJ'SATD(leaf(i), CUDepth)  (L≦i ≦M)をノードコスト正規化器10607 とノード分割判定器10608 にそれぞれ供給する。
【００６８】
ノードコスト正規化器10607 は、ノードコスト計算器10601 から供給されるノードSATD符号化コストJSATD(node, CUDepth) を代表リーフ個数K で正規化する。以後の説明のために、正規化されたノードSATD符号化コストをJ'SATD(node, CUDepth)と定義する。定式的には以下のように示される。
【００６９】
J'SATD(leaf(i), CUDepth) = JSATD(leaf(i), CUDepth) / K
【００７０】
ノード分割判定器10608 は、正規化されたノードSATD符号化コストと代表リーフのSATD符号化コストを比較して、現在のCUDepth のCUを分割するか否かを決定する（cu_split_flag を決定する）。具体的には、ノード分割判定器10608 は、J'SATD(node, CUDepth) が以下に示す式２の値よりも大きい場合、CUを分割すると決定する（cu_split_flag=1 ）。
【００７１】
【数６】
2014045515.tif 000008
【００７２】
そうでない場合（J'SATD(node, CUDepth) が上記に示す式２の値以下の場合）、ノード分割判定器10608 は、CUを分割しないと決定する（cu_split_flag=0 ）。
【００７３】
推定器1060は、上述した比較をCUDepth 毎に再帰的に実行し、CTU のCUクアッドツリー構造／PU分割形状を決定する。
【００７４】
続いて、図３を参照して、推定器1060の動作を説明する。
【００７５】
ステップS101にて、ノードコスト計算器10601 は、現在のCUDepth のCUのSATD符号化コストJSATD(node, CUDepth)を計算する。
【００７６】
ステップS102にて、第１リーフコスト計算器10602 、第２リーフコスト計算器10603 、第３リーフコスト計算器10604 、第４リーフコスト計算器10605 は、CUの子CU（リーフ）のSATD符号化コストJSATD(leaf(i), CUDepth) (1≦i ≦4)をそれぞれ計算する。
【００７７】
ステップS103にて、代表リーフ選択器10606 は、各リーフのSATD符号化コストJSATD(leaf(i), CUDepth) (1≦i ≦4)に基づいて、K 個(1≦K ≦4)の代表リーフを選択する。
【００７８】
ステップS104にて、ノード分割判定器10608 は、代表リーフのSATD符号化コストの和（上記に示す式２参照。）を計算する。
【００７９】
ステップS105にて、ノードコスト正規化器10607 は、代表リーフ個数K に基づいて正規化ノードSATD符号化コストJ'SATD(node, CUDepth) を計算する。
【００８０】
ステップS106にて、ノード分割判定器10608 は、J'SATD(node, CUDepth) が上記に示す式２の値よりも大きいか否かを判断する。大きい場合、ステップS107に進む。そうでない場合、ステップS108に進む。
【００８１】
ステップS107にて、ノードコスト正規化器10607 は、現在のCUDepth のCUを分割すると決定し（cu_split_flag=1 ）、現在のCUDepth のCUに対する分割／非分割決定を終了する。
【００８２】
ステップS108にて、ノードコスト正規化器10607 は、現在のCUDepth のCUを分割しないと決定し（cu_split_flag=0 ）、現在のCUDepth のCUに対する分割／非分割決定を終了する。
【００８３】
以上で、発明の特徴を示す推定器1060の構成および動作の説明を終了する。
【００８４】
上述した本実施形態の推定器1060は、処理対象ノードの４つの子ノード（リーフ）の代表子ノード（代表リーフ）の符号化コストと、代表子ノード数に基づいて正規化された処理対象ノードの符号化コストとを比較して、処理対象ノードの分割／非分割を決定する。処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、代表リーフの符号化コスト和（上記に示す式２参照。）は正規化された符号化コスト（J'SATD(node, CUDepth) ）よりも小さくなる。すなわち、処理対象ノードの予測誤差に局所的に大きな値が含まれている場合、処理対象ノードの分割を選択する（cu_split_flag=1 を選択する）。本実施形態の映像符号化装置は、局所的に大きな予測誤差を考慮してCUクアッドツリー構造を決定するため、リンギングノイズ発生を防止できる。
【００８５】
なお、上述した実施形態において、CUサイズ(2Nx2N) とは関係なく、SATD符号化コストJSATD(mode) の計算に用いるアダマール変換のブロックサイズを8x8 もしくは4x4 に固定しても同等の効果が得られることは言うまでもない。
【００８６】
また、上述した実施形態において、SATD符号化コストJSATD(mode) の代わりに、SAD 符号化コストJSAD(mode)やSSE 符号化コストJSSE(mode)を用いても同等の効果が得られることは言うまでもない。
【００８７】
また、上述した実施形態において、代表リーフの個数K を現在のCUDepth のCUの大きさによって変えてもよい。例えば、より大きなCUほどリンギングノイズが目立つことを考慮して、所定サイズよりも大きなCUにおいてはK=1 （L=1 およびM=1 ）、所定サイズよりも小さなCUにおいてはK=3 （L=1 およびM=3 ）としてもよい。なお、K=1 （L=1 およびM=1 ）は、代表リーフ選択器10606 が、最小のリーフ符号化コストに関連づけられたリーフを選択することと等価であることは言うまでもない。
【００８８】
また、上述した推定器1060のCUクアッドツリー構造決定をTUクアッドツリー構造決定に用いることによって、局所的に大きな予測誤差を考慮してTUクアッドツリー構造を決定できることは言うまでもない。
【００８９】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【００９０】
図４に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003及びビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【００９１】
図４に示された情報処理システムにおいて、プログラムメモリ1002には、図１に示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図１に示された映像符号化装置の機能を実現する。
【００９２】
図５は、本発明による映像符号化装置の主要部を示すブロック図である。図５に示すように、本発明による映像符号化装置は、再帰的クアッドツリー構造に基づいた映像符号化を行う映像符号化装置であって、処理対象ノードに対応するノード画像ブロックのノード符号化コストを決定する符号化コスト決定部１１と、処理対象ノードの４つの子ノードに対応する子ノード画像ブロックそれぞれの子ノード符号化コストを決定する子ノード符号化コスト決定部１２と、処理対象ノードの４つの子ノードから１つ以上の代表子ノードを選択する代表子ノード選択部１３と、選択した１つ以上の代表子ノード数に基づいてノード符号化コストを正規化する正規化部１４と、正規化したノード符号化コストと代表子ノードの子ノード符号化コストを比較して、処理対象ノードを分割するか否かを決定する分割決定部１５とを備える。
【００９３】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９４】
この出願は、２０１２年９月１８日に出願された日本特許出願２０１２−２０３８７９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００９５】
１１    符号化コスト決定部
１２    子ノード符号化コスト決定部
１３    代表子ノード選択部
１４    正規化部
１５    分割決定部
１０１  周波数変換／量子化器
１０２  エントロピー符号化器
１０３  逆周波数変換／逆量子化器
１０４  バッファ
１０５  予測器
１０６，１０６０  推定器
１０６０１  ノードコスト計算器
１０６０２  第１リーフコスト計算器
１０６０３  第２リーフコスト計算器
１０６０４  第３リーフコスト計算器
１０６０５  第４リーフコスト計算器
１０６０６  代表リーフ選択器
１０６０７  ノードコスト正規化器
１０６０８  ノード分割判定器
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2014045515.tif 000009
【図２】
2014045515.tif 000010
【図３】
2014045515.tif 000011
【図４】
2014045515.tif 000012
【図５】
2014045515.tif 000013
【図６】
2014045515.tif 000014
【図７】
2014045515.tif 000015
【図８】
2014045515.tif 000016
【図９】
2014045515.tif 000017
【図１０】
2014045515.tif 000018
【図１１】
2014045515.tif 000019
【図１２】
2014045515.tif 000020
【国際調査報告】
2014045515.tif 000021
2014045515.tif 000022
2014045515.tif 000023