(57)【要約】  映像符号化装置は、インター予測を用いて映像符号化を行う映像符号化装置であって、所定の最小インターＰＵサイズ（ＰＡ）と、符号化対象ＣＵのＣＵサイズ（ＰＢ）とに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段１１を備える。映像復号装置は、所定の最小インターＰＵサイズ（ＰＡ）と、復号対象ＣＵのサイズ（ＰＢ）とに基づいて復号対象ＣＵのインターＰＵパーティションを制御する復号制御手段を備える。
2012096147.tif 000002
【特許請求の範囲】
【請求項１】
インター予測を用いて映像符号化を行う映像符号化装置であって、
所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段を備えることを特徴とする映像符号化装置。
【請求項２】
前記所定の最小インターＰＵサイズをビットストリームに多重化する多重化手段を備える請求項１記載の映像符号化装置。
【請求項３】
エントロピー符号化手段を備え、
前記符号化制御手段は、符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときに、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化させる請求項１又は請求項２記載の映像符号化装置。
【請求項４】
エントロピー符号化手段を備え、
前記符号化制御手段は、符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときには、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させず、該符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズより大きいときに、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させる請求項１又は請求項２記載の映像符号化装置。
【請求項５】
インター予測を用いて映像復号を行う映像復号装置であって、
所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御する復号制御手段を備えることを特徴とする映像復号装置。
【請求項６】
ビットストリームに多重化された最小インターＰＵサイズを多重化解除する多重化解除手段を備える請求項５記載の映像復号装置。
【請求項７】
エントロピー復号手段を備え、
前記復号制御手段は、復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、前記エントロピー復号手段に、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときに、前記エントロピー復号手段に、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定させる請求項５又は請求項６記載の映像復号装置。
【請求項８】
エントロピー復号手段を備え、
前記復号制御手段は、復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させる請求項５又は請求項６記載の映像復号装置。
【請求項９】
前記復号制御手段は、復号ＣＵのインターＰＵサイズが最小インターＰＵサイズ未満であるときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する請求項５又は請求項６記載の映像復号装置。
【請求項１０】
インター予測を用いて映像符号化を行う映像符号化方法であって、
所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする映像符号化方法。
【請求項１１】
前記所定の最小インターＰＵサイズをビットストリームに多重化する請求項１０記載の映像符号化方法。
【請求項１２】
符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化する請求項１０又は請求項１１記載の映像符号化方法。
【請求項１３】
符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときには、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化せず、該符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズより大きいときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させる請求項１１又は請求項１２記載の映像符号化方法。
【請求項１４】
インター予測を用いて映像復号を行う映像復号方法であって、
所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御することを特徴とする映像復号方法。
【請求項１５】
ビットストリームに多重化された最小インターＰＵサイズを多重化解除する請求項１４記載の映像復号方法。
【請求項１６】
復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号せず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときに、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定する請求項１４又は請求項１５記載の映像復号方法。
【請求項１７】
復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する請求項１４又は請求項１５記載の映像復号方法。
【請求項１８】
復号ＣＵのインターＰＵサイズが最小インターＰＵサイズ未満であるときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する請求項１４又は請求項１５記載の映像復号方法。
【請求項１９】
インター予測を用いて映像符号化を行うコンピュータに、
所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させるための映像符号化プログラム。
【請求項２０】
コンピュータに、前記所定の最小インターＰＵサイズをビットストリームに多重化する処理を実行させる請求項１９記載の映像符号化プログラム。
【請求項２１】
コンピュータに、符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化する処理を実行させる請求項１９又は請求項２０記載の映像符号化プログラム。
【請求項２２】
コンピュータに、符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときには、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化する処理を実行させず、該符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズより大きいときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させる処理を実行させる請求項１９又は請求項２０記載の映像符号化プログラム。
【請求項２３】
インター予測を用いて映像復号を行うコンピュータに、
所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御する処理を実行させるための映像復号プログラム。
【請求項２４】
コンピュータに、ビットストリームに多重化された最小インターＰＵサイズを多重化解除する処理を実行させる請求項２３記載の映像復号プログラム。
【請求項２５】
コンピュータに、復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときに、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定する処理を実行させる請求項２３又は請求項２４記載の映像復号プログラム。
【請求項２６】
コンピュータに、復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させる請求項２３又は請求項２４記載の映像復号プログラム。
【請求項２７】
コンピュータに、復号ＣＵのインターＰＵサイズが最小インターＰＵサイズ未満であるときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する処理を実行させる請求項２３又は請求項２４記載の映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層構造の符号化ユニットを用いる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１は、一般的な映像符号化方式及び映像復号方式を開示している。【０００３】
非特許文献１に記載されている映像符号化装置は、図１５に示すように構成される。以下、図１５に示される映像符号化装置を一般的な映像符号化装置と呼ぶ。【０００４】
図１５を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。【０００５】
図１５に示された映像符号化装置は、変換／量子化器１０１、エントロピー符号化器１０２、逆変換／逆量子化器１０３、バッファ１０４、予測器１０５、多重化器１０６、及び符号化制御器１０８を備える。【０００６】
図１５に示す映像符号化装置は、フレームをマクロブロック（ＭＢ：Macro Block ）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。【０００７】
図１６は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各装置の動作を説明する。【０００８】
ブロックに分割された入力映像は、予測器１０５から供給される予測信号が減じられて、予測誤差画像となり、変換／量子化器１０１に入力される。予測信号には、イントラ予測信号とインター予測信号の２種類がある。なお、インター予測信号を、フレーム間予測信号とも呼ぶ。【０００９】
それぞれの予測信号を説明する。イントラ予測信号は、バッファ１０４に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。【００１０】
非特許文献１の8.3.1 Intra_４×４ prediction process for luma samples、8.3.2 Intra_８×８ prediction process for luma samples、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、３種類のブロックサイズのイントラ予測Intra_４×４、Intra_８×８、Intra_１６×１６がある。【００１１】
Intra_４×４とIntra_８×８は、図１７の（ａ）と（ｃ）を参照すると、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。【００１２】
Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素として、図１７の（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１７の（ｃ）の右矢印の下に記載のローパスフィルタ（１／２，１／４，１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１７の（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。【００１３】
一方、Intra_１６×１６は、図１８の（ａ）を参照すると、１６×１６ブロックサイズのイントラ予測であることが分かる。図１７の場合と同様に図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築ピクチャの画像の周辺画素をそのまま参照画素として、図１８の（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。【００１４】
以下、イントラ予測信号を用いて符号化されるＭＢ及びブロックをそれぞれイントラＭＢ及びイントラブロックと呼ぶ。イントラ予測のブロックサイズをイントラ予測ブロックサイズと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。なお、イントラ予測ブロックサイズ及びイントラ予測方向は、イントラ予測に関する予測パラメータである。【００１５】
インター予測信号は、バッファ１０４に格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、インター予測信号を用いて符号化されるＭＢ及びブロックをそれぞれインターＭＢ及びインターブロックと呼ぶ。インター予測のブロックサイズ（インター予測ブロックサイズ）として、例えば、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。【００１６】
図１９は、１６×１６のブロックサイズを例にしたインター予測の例を示す説明図である。図１９に示す動きベクトルＭＶ＝（mvx，mvy）は、符号化対象ブロックに対する参照ピクチャのインター予測ブロック（インター予測信号）の平行移動量を示す、インター予測の予測パラメータである。ＡＶＣでは、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向を表すインター予測の方向に加えて、符号化対象ブロックのインター予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもインター予測の予測パラメータである。ＡＶＣでは、バッファ１０４に格納された複数枚の参照ピクチャをインター予測に利用できるからである。【００１７】
ＡＶＣのインター予測では、１／４画素精度で動きベクトルを求めることができる。図２０は、動き補償予測における輝度信号の補間処理を示す説明図である。図２０において、Ａは整数画素位置の画素信号、ｂ、ｃ、ｄは１／２画素精度の小数画素位置の画素信号、ｅ１、ｅ２、ｅ３は１／４画素精度の小数画素位置の画素信号を表わす。画素信号ｂは、水平方向の整数画素位置の画素に対して６タップのフィルタを適用して生成される。同様に、画素信号ｃは、垂直方向の整数画素位置の画素に対して６タップのフィルタを適用して生成される。画素信号ｄは、水平または垂直方向の１／２画素精度の小数画素位置の画素に対して６タップのフィルタを適用して生成される。６タップのフィルタ係数は[1, -5, 20, 20, -5, 1]/32 で表される。画素信号ｅ１、ｅ２、及び、ｅ３は、それぞれ、近傍の整数画素位置または小数画素画素位置の画素に対して２タップフィルタ[1, 1]/2を適用して生成される。【００１８】
イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。インター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向が過去のインター予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向が未来のインター予測を後方向予測、過去と未来を含む参照ピクチャを同時に２枚用いるインター予測を双方向予測とそれぞれ呼ぶ。なお、インター予測の方向（インター予測方向）は、インター予測の予測パラメータである。【００１９】
予測器１０５は、符号化制御器１０８の指示に応じて、入力映像の信号と予測信号とを比較して、予測誤差画像ブロックのエネルギーが最小となる予測パラメータを決定する。符号化制御器１０８は、決定した予測パラメータをエントロピー符号化器１０２に供給する。【００２０】
変換／量子化器１０１は、予測信号が減じられた画像（予測誤差画像）を周波数変換し、周波数変換係数を得る。【００２１】
さらに、変換／量子化器１０１は、所定の量子化ステップ幅Ｑs で、周波数変換係数を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。【００２２】
エントロピー符号化器１０２は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータは、上述した予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ＭＢ及びブロックの予測に関連した情報である。【００２３】
逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。【００２４】
バッファ１０４は、供給される再構築画像を格納する。１フレーム分の再構築画像を再構築ピクチャと呼ぶ。【００２５】
多重化器１０６は、エントロピー符号化器１０２の出力データ、及び符号化パラメータを多重化して出力する。【００２６】
上述した動作に基づいて、映像符号化装置における多重化器１０６は、ビットストリームを生成する。【００２７】
非特許文献１に記載されている映像復号装置は、図２１に示すように構成される。以下、図２１に示される映像復号装置を一般的な映像復号装置と呼ぶ。【００２８】
図２１を参照して、ビットストリームを入力として復号された映像フレームを出力する、一般的な映像復号装置の構成と動作を説明する。【００２９】
図２１に示された映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、及びバッファ２０５を備える。【００３０】
多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化された映像ビットストリームを抽出する。【００３１】
エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、ＭＢ及びブロックの予測パラメータ及び変換量子化値をエントロピー復号し、逆変換／逆量子化器２０３及び予測器２０４に供給する。【００３２】
逆変換／逆量子化器２０３は、量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。【００３３】
逆周波数変換後、予測器２０４は、エントロピー復号したＭＢ及びブロックの予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。【００３４】
予測信号生成後、逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築画像としてバッファ２０５に供給される。【００３５】
そして、バッファ２０５に格納された再構築ピクチャがデコード画像（デコード映像）として出力される。【００３６】
上述した動作に基づいて、一般的な映像復号装置はデコード画像を生成する。
【先行技術文献】
【非特許文献】
【００３７】
【非特許文献１】ISO/IEC 14496-10 Advanced Video Coding
【非特許文献２】"Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
【発明の概要】
【発明が解決しようとする課題】
【００３８】
ところで、非特許文献２はTest Model under Consideration方式（ＴＭｕＣ方式）を開示している。ＴＭｕＣ方式は、非特許文献１に開示された方式とは異なり、図２２に示す階層構造の符号化ユニット（Coding Tree Block （ＣＴＢ））を用いる。本明細書において、ＣＴＢのブロックをCoding Unit （ＣＵ：符号化ユニット）と呼ぶ。【００３９】
なお、最大のＣＵをLargest Coding Unit （ＬＣＵ）、最小のＣＵをSmallest Coding Unit（ＳＣＵ）と呼ぶ。また、ＴＭｕＣ方式においては、ＣＵに対する予測ユニットとしてPrediction Unit （ＰＵ）という概念（図２３参照）が導入されている。ＰＵは予測の基本単位であり、図２３に示される｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の８種類のＰＵパーティションタイプが定義されている。インター予測が用いられるＰＵをインターＰＵ、イントラ予測が用いられるＰＵをイントラＰＵと呼ぶ。インター予測が用いられるＰＵパーティションをインターＰＵパーティション、イントラ予測が用いられるＰＵパーティションをイントラＰＵパーティションと呼ぶ。イントラＰＵパーティションは図２３に示された形状のうち２Ｎ×２Ｎ、及びＮ×Ｎの正方形のみがサポートされている。以下、ＣＵ及びＰＵの１辺の長さをそれぞれＣＵサイズ及びＰＵサイズと呼ぶ。【００４０】
また、ＴＭｕＣ方式では小数精度の予測画像を求めるために最大で１２タップのフィルタを用いることができる。画素位置とフィルタの係数の関係は以下のとおりである。【００４１】
【表１】
2012096147.tif 000003
【００４２】
画素位置について、図２４を用いて説明する。図２４において、Ａ、Ｅが整数画素位置の画素であるとする。このとき、ｂが１／４画素位置の画素、ｃが１／２画素位置の画素、ｄが３／４画素位置の画素である。垂直方向も同様となる。【００４３】
図２０に示す画素ｂまたは画素ｃは、水平または垂直方向の１／２画素位置用フィルタを１回適用することによって生成される。画素ｅ１は１／４画素位置用のフィルタを１回適用することによって生成される。【００４４】
図２５を参照して、画素ｅ２や画素ｅ３のように、その画素位置が水平垂直両方とも小数精度位置であり、そのうち少なくともどちらかが１／４画素位置である場合の小数画素生成の例を説明する。図２５において、画素Ａが整数画素位置の画素、画素ｃが求めたい小数画素位置の画素であるとする。このとき、まず、画素ｂが垂直方向の１／４画素位置用フィルタを適用することによって生成される。続いて、画素ｃが、小数画素ｂに対して、水平方向の３／４画素位置用フィルタを適用することによって生成される。なお、非特許文献２の8.3 Interpolation Methods には、小数画素生成のより詳細な説明が記載されている。【００４５】
ＴＭｕＣ方式ではすべての階層のＣＵのＰＵヘッダでＰＵパーティションタイプを示すシンタクス（非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、イントラ予測の場合はintra_split_flag、インター予測の場合はinter_partitioning_idc）を出力ビットストリームに埋め込む。以後、intra_split_flagシンタクスをイントラＰＵパーティションタイプシンタクス、inter_partitioning_idcシンタクスをインターＰＵパーティションタイプシンタクスと呼ぶ。【００４６】
それぞれのＬＣＵ内に小さいサイズのＣＵが多く存在するとき、ビットストリームに含まれるインターＰＵパーティションタイプシンタクスのビット数の率が高くなり、圧縮映像の品質が低下する課題がある。【００４７】
また、ＴＭｕＣ方式ではインターＰＵパーティションのサイズが小さいほど、参照ピクチャに対するメモリアクセスが増加し、メモリ帯域を圧迫する課題がある。特に、ＴＭｕＣ方式では１２タップのフィルタを用いて小数画素を生成するため、メモリ帯域をより圧迫する。【００４８】
図２６は、１２タップフィルタを用いるときのメモリアクセス領域を説明するための説明図である。図２６（Ａ）はＮ×ＮのＰＵパーティションタイプが選択されたときの、１つのインターＰＵパーティションのメモリアクセス領域、図２６（Ｂ）は２Ｎ×２ＮのインターＰＵパーティションタイプが選択されたときのメモリアクセス領域を表わす。【００４９】
Ｎ×Ｎが選択されたとき、図２６（Ａ）における破線で囲まれたサイズのメモリアクセスを０，１，２，３のインターＰＵパーティションごとに計４回行うため、メモリアクセス量は、４（Ｎ＋１１）２＝４Ｎ２＋８８Ｎ＋４８４に参照ピクチャのビット量を乗算した値になる。２Ｎ×２ＮのインターＰＵパーティションのメモリアクセス量が（２Ｎ＋１１）２＝４Ｎ２＋４４Ｎ＋１２１に参照ピクチャのビット量を乗算した値であることから、Ｎ×ＮのインターＰＵパーティションのメモリアクセス量は２Ｎ×２Ｎのメモリアクセス量よりも大きくなる。【００５０】
例えば、Ｎ＝４、片方向予測、画素値のビット精度が８ｂｉｔのときの８×８ ＣＵにおけるインターＰＵのメモリアクセス量を考える。２Ｎ×２ＮのインターＰＵパーティションにおけるメモリアクセス量は１９×１９×１×８ｂｉｔ ＝ ２８８８ｂｉｔであるのに対し、Ｎ×ＮのインターＰＵパーティションにおけるメモリアクセス量は１５×１５×４×８ｂｉｔ ＝７２００ｂｉｔとなり、約２．５倍のメモリアクセス量となる。【００５１】
さらに、ＬＣＵ単位では、ＬＣＵのブロックサイズが１２８×１２８のとき、ＬＣＵを１個のインターＰＵパーティションで予測するときのメモリアクセス量は１３９×１３９×１×８ｂｉｔ＝１５４５６８ｂｉｔであるのに対して、ＬＣＵを全て４×４インターＰＵパーティションで予測するとき（すなわち、ＬＣＵを１０２４個のインターＰＵパーティションで予測するとき）のメモリアクセス量は１５×１５×１０２４×８ｂｉｔ＝１８４３２００ｂｉｔとなり、約１２倍のメモリアクセス量となる。【００５２】
本発明は、所定面積当たりのメモリ帯域を削減することを目的とする。
【課題を解決するための手段】
【００５３】
本発明による映像符号化装置は、インター予測を用いて映像符号化を行う映像符号化装置であって、所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段を備えることを特徴とする。【００５４】
本発明による映像復号装置は、インター予測を用いて映像復号を行う映像復号装置であって、所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御する復号制御手段を備えることを特徴とする。【００５５】
本発明による映像符号化方法は、インター予測を用いて映像符号化を行う映像符号化方法であって、所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする。【００５６】
本発明による映像復号方法は、インター予測を用いて映像復号を行う映像復号方法であって、所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御することを特徴とする。【００５７】
本発明による映像符号化プログラムは、インター予測を用いて映像符号化を行うコンピュータに、所定の最小インターＰＵサイズと、符号化対象ＣＵのＣＵサイズとに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させることを特徴とする。【００５８】
本発明による映像復号プログラムは、インター予測を用いて映像復号を行うコンピュータに、所定の最小インターＰＵサイズと、復号対象ＣＵのサイズとに基づいて復号対象ＣＵのインターＰＵパーティションを制御する処理を実行させることを特徴とする。
【発明の効果】
【００５９】
本発明によれば、小さなインターＰＵパーティションの使用を制限してメモリ帯域を削減できる。
【図面の簡単な説明】
【００６０】
【図１】第１の実施形態の映像符号化装置のブロック図である。
【図２】ＰＵパーティションタイプの候補の決定処理を示すフローチャートである。
【図３】シーケンスパラメータセットにおける最小インターＰＵサイズに関する情報を示すリストの説明図である。
【図４】ＰＵヘッダ書き込みの動作を示すフローチャートである。
【図５】ＰＵシンタクスにおけるinter_partitioning_idcシンタクスに関する情報を示すリストの説明図である。
【図６】第２の実施形態の映像復号装置のブロック図である。
【図７】ＰＵヘッダ読み込みの動作を示すフローチャートである。
【図８】ピクチャパラメータセットにおける最小インターＰＵサイズに関する情報を示すリストの説明図である。
【図９】スライスヘッダにおける最小インターＰＵサイズに関する情報を示すリストの説明図である。
【図１０】第４の実施形態の映像復号装置のブロック図である。
【図１１】エラー検出の動作を示すフローチャートである。
【図１２】本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図１３】本発明による映像符号化装置の主要部を示すブロック図である。
【図１４】本発明による映像復号装置の主要部を示すブロック図である。
【図１５】一般的な映像符号化装置のブロック図である。
【図１６】ブロック分割の例を示す説明図である。
【図１７】Intra_４×４とIntra_８×８のイントラ予測を説明するための説明図である。
【図１８】Intra_１６×１６のイントラ予測を説明するための説明図である。
【図１９】インター予測の例を示す説明図である。
【図２０】動き補償予測における輝度信号の補間処理を示す説明図である。
【図２１】一般的な映像復号装置のブロック図である。
【図２２】ＣＴＢを説明するための説明図である。
【図２３】ＰＵを説明するための説明図である。
【図２４】小数画素位置を説明するための説明図である。
【図２５】ＴＭｕＣ方式の１２タップフィルタを用いた小数画素生成方法を説明するための説明図である。
【図２６】１２タップフィルタを用いて小数画素を生成するときのメモリアクセス範囲を説明するための説明図である。
【発明を実施するための形態】
【００６１】
上述した一般的技術の課題を解決するために、本発明では、階層構造の符号化ユニットを用いることを特徴とする映像符号化において、ＣＵのdepth （すなわち、ＣＵサイズ）に基づいてインターＰＵパーティションを制限することで課題を解決する。本発明の一例では、２Ｎ×２Ｎ以外のインターＰＵパーティションが使用可能なＣＵサイズを制限することによって課題を解決する。本発明の別の一例では、ＰＵヘッダのインターＰＵパーティションタイプシンタクス伝送を制限することによって課題を解決する。本発明の上記の例によって、ビットストリームに含まれるインターＰＵパーティションタイプシンタクスのビット数の率が低く抑えて圧縮映像の品質を向上させつつ、メモリ帯域を抑制できる。
【００６２】
実施形態１．
第１の実施形態では、外部設定される所定の最小インターＰＵサイズに基づいてインターＰＵパーティションタイプを制御する符号化制御手段、及び、最小インターＰＵサイズに関する情報を映像復号装置にシグナリングするための、最小インターＰＵサイズに関する情報をビットストリームに埋め込む手段を備える映像符号化装置を示す。
【００６３】
本実施形態では、利用可能なＣＵサイズを１２８，６４，３２，１６，８（つまり、ＬＣＵサイズが１２８、ＳＣＵサイズが８である）、最小インターＰＵサイズ（minInterPredUnitSize）を８とする。
【００６４】
さらに、本実施形態では、最小インターＰＵサイズに関する情報（min_inter_pred_unit_hierarchy_depth ）として、最小インターＰＵサイズ（８）をＳＣＵサイズ（８）で割った値の”２”を底とするlog （対数）とする。よって、本実施形態では、ビットストリームに多重化されるmin_inter_pred_unit_hierarchy_depthの値は、０（＝log ２（８／８））となる。
【００６５】
図１に示すように、本実施形態の映像符号化装置は、図１５に示された一般的な映像符号化装置と同様に、変換／量子化器１０１、エントロピー符号化器１０２、逆変換／逆量子化器１０３、バッファ１０４、予測器１０５、多重化器１０６、及び符号化制御器１０７を備える。
【００６６】
図１に示す本実施形態の映像符号化装置では、図１５に示す映像符号化装置とは異なり、minInterPredUnitSizeより大きいＣＵサイズでインターＰＵパーティションタイプシンタクスを伝送するために、minInterPredUnitSizeが符号化制御器１０７に供給されている。さらに、minInterPredUnitSizeを映像復号装置にシグナリングするために、minInterPredUnitSizeが多重化器１０６にも供給されている。
【００６７】
符号化制御器１０７は、符号化歪み（入力信号と再構築ピクチャの誤差画像のエネルギー）と発生ビット量から計算されるコスト（Rate-Distortion コスト：R-D コスト）を予測器１０５に計算させる。符号化制御器１０７は、R-D コストが最小となる、ＣＵ分割形状（図２２に示したように、split_coding_unit_flagによって決定する分割形状）、及び、各ＣＵの予測パラメータを決定する。符号化制御器１０７は、決定したsplit_coding_unit_flag及び各ＣＵの予測パラメータを予測器１０５及びエントロピー符号化器１０２に供給する。予測パラメータは、予測モード（pred_mode ）、イントラＰＵパーティションタイプ（intra_split_flag）、イントラ予測方向、インターＰＵパーティションタイプ（inter_partitioning_idc）、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。
【００６８】
ただし、本実施形態の符号化制御器１０７は、一例として、minInterPredUnitSizeより大きいＣＵサイズのＣＵに対して、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測の｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の計１０種類から選択する。符号化制御器１０７は、minInterPredUnitSizeと等しいＣＵサイズのＣＵに対して、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測の｛２Ｎ×２Ｎ｝の計３種類から選択する。符号化制御器１０７は、minInterPredUnitSize未満のＣＵサイズのＣＵに対して、予測パラメータとして最適なＰＵパーティションタイプをイントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝の計２種類から選択する。
【００６９】
図２は、ＰＵパーティションタイプの候補の決定に関する本実施形態の符号化制御器１０７の動作を示すフローチャートである。
【００７０】
図２に示すように、符号化制御器１０７は、ステップＳ１０１で、符号化対象ＣＵのＣＵサイズがminInterPredUnitSizeより大きいと判定したとき、ステップＳ１０２で、ＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝とインター予測｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の計１０種類に設定し、ステップＳ１０６でR-D コストに基づいて予測パラメータを決定する。
【００７１】
ステップＳ１０１で符号化制御器１０７が符号化対象ＣＵのＣＵサイズがminInterPredUnitSize以下であると判定したとき、ステップＳ１０３に進む。
【００７２】
符号化制御器１０７は、ステップＳ１０３で符号化対象ＣＵのＣＵサイズがminInterPredUnitSizeと等しいと判定したとき、ステップＳ１０４で、ＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝とインター予測で｛２Ｎ×２Ｎ｝の計３種類に設定し、ステップＳ１０６でR-D コストに基づいて予測パラメータを決定する。
【００７３】
符号化制御器１０７は、ステップＳ１０３で符号化対象ＣＵのＣＵサイズがminInterPredUnitSize未満であると判定したとき、ステップＳ１０５で、ＰＵパーティションタイプの候補をイントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝の計２種類と設定し、ステップＳ１０６でR-D コストに基づいて予測パラメータとして最適なＰＵパーティションタイプを決定する。
【００７４】
予測器１０５は、符号化制御器１０７が決定した各ＣＵの予測パラメータに対応する予測信号を選定する。
【００７５】
符号化制御器１０７が決定した形状の各ＣＵの入力映像は、予測器１０５から供給される予測信号が減じられて予測誤差画像となり、変換／量子化器１０１に入力される。
【００７６】
変換／量子化器１０１は、予測誤差画像を周波数変換し、周波数変換係数を得る。
【００７７】
さらに、変換／量子化器１０１は、量子化ステップ幅Ｑs で、周波数変換係数を量子化し、変換量子化値を得る。
【００７８】
エントロピー符号化器１０２は、符号化制御器１０７から供給されるsplit_coding_unit_flag（図２２参照）、予測パラメータ、及び変換／量子化器１０１から供給される変換量子化値をエントロピー符号化する。
【００７９】
逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。
【００８０】
多重化器１０６は、最小インターＰＵサイズに関する情報（min_inter_pred_unit_hierarchy_depth ）、及びエントロピー符号化器１０３の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、多重化器１０６は、図３に示すリストに表されるように、シーケンスパラメータセットのlog2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続させて、min_inter_pred_unit_hierarchy_depth シンタクス（minInterPredUnitSizeをＳＣＵサイズで割った値の”２”を底とするlog （対数）、本実施形態では０）を多重化する。ただし、log2_min_coding_unit_size_minus3シンタクス及びmax_coding_unit_hierarchy_depth シンタクスは、それぞれ、ＳＣＵサイズ（minCodingUnitSize ）及びＬＣＵサイズ（maxCodingUnitSize ）を決定するための情報である。minCodingUnitSize とmaxCodingUnitSize は、それぞれ、以下のように計算される。
【００８１】
minCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３）
【００８２】
maxCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth ）
【００８３】
また、min_inter_pred_unit_hierarchy_depth シンタクスとminCodingUnitSize には以下の関係がある。
【００８４】
min_inter_pred_unit_hierarchy_depth ＝log ２（minInterPredUnitSize /minCodingUnitSize ）
【００８５】
上述した動作に基づいて、発明の映像符号化装置はビットストリームを生成する。
【００８６】
本実施形態の映像符号化装置は、最小インターＰＵサイズ未満のインターＰＵが出現しないように、所定の最小インターＰＵサイズ、及び、符号化対象ＣＵのＣＵサイズに基づいて符号化対象ＣＵのインターＰＵパーティションを制御する。
【００８７】
最小インターＰＵサイズ未満のインターＰＵが出現しないようにすることによって、メモリ帯域が削減される。また、最小インターＰＵサイズ未満のインターＰＵが出現しないようにすることによって、シグナリングされるインターＰＵパーティションタイプシンタクスの個数が削減されるので、ビットストリームに占めるＰＵヘッダの符号量の割合が小さくなり映像の品質が改善する。
【００８８】
本実施形態の映像符号化装置における符号化制御手段は、外部設定される所定の最小インターＰＵサイズに基づいてインターＰＵパーティションを制御する。一例として、２Ｎ×２Ｎ以外のインターＰＵパーティションタイプを、所定のサイズより大きなＣＵサイズのＣＵでのみ使用するように制御する。よって、２Ｎ×２ＮのインターＰＵパーティションの発生確率が増加し、エントロピーが減少するため、エントロピー符号化の効率が上がる。よって、メモリ帯域を削減しつつ圧縮映像の品質を保持できる。
【００８９】
また、本実施形態の映像符号化装置は、映像復号についても同様にインターＰＵパーティションタイプシンタクスをビットストリームから読み出せるように、外部設定される所定の最小インターＰＵサイズに関する情報をビットストリームに埋め込む手段を備える。よって、映像復号装置に所定のサイズがシグナリングされるようになり、映像符号化装置と映像復号装置の相互運用性を高めることができる。
【００９０】
実施形態２．
第２の実施形態の映像符号化装置は、外部設定される所定の最小インターＰＵサイズに基づいてインターＰＵパーティションタイプを制御し、かつ、上記の所定の最小インターＰＵサイズに基づいて、インターＰＵパーティションタイプシンタクスのエントロピー符号化を制御する符号化制御手段、及び、上記の最小インターＰＵサイズに関する情報を映像復号装置にシグナリングするための、最小インターＰＵサイズに関する情報をビットストリームに埋め込む手段を備える。
【００９１】
本実施形態では、インターＰＵパーティションタイプシンタクスを伝送するＣＵのＣＵサイズは、上記の最小インターＰＵサイズ（minInterPredUnitSize）より大きいとする。また、本実施形態では、利用可能なＣＵサイズを１２８，６４，３２，１６，８（つまり、ＬＣＵサイズが１２８、ＳＣＵサイズが８である）、minInterPredUnitSizeを８とする。よって、本実施形態では、インターＰＵパーティションタイプシンタクスをビットストリームに埋め込むＣＵサイズは１２８，６４，３２，１６になる。
【００９２】
さらに、本実施形態では、最小インターＰＵサイズに関する情報（min_inter_pred_unit_hierarchy_depth ）として、最小インターＰＵサイズ（８）をＳＣＵサイズ（８）で割った値の”２”を底とするlog （対数）とする。よって、本実施形態では、ビットストリームに多重化されるmin_inter_pred_unit_hierarchy_depth  の値は、０（＝log ２（８／８））となる。
【００９３】
本実施形態の映像符号化装置の構成は、図１に示された第１の実施形態の映像符号化装置の構成と同様である。
【００９４】
図１に示すように、本実施形態の映像符号化装置では、図１５に示す映像符号化装置とは異なり、minInterPredUnitSizeより大きいＣＵサイズでインターＰＵパーティションタイプシンタクスを伝送するためにminInterPredUnitSizeが符号化制御器１０７に供給されている。さらに、minInterPredUnitSizeを映像復号装置にシグナリングするために、minInterPredUnitSizeが多重化器１０６にも供給されている。
【００９５】
符号化制御器１０７は、符号化歪み（入力信号と再構築ピクチャの誤差画像のエネルギー）と発生ビット量から計算されるR-D コストを予測器１０５に計算させる。符号化制御器１０７は、R-D コストが最小となる、ＣＵ分割形状（図２２に示したように、split_coding_unit_flagによって決定する分割形状）、及び、各ＣＵの予測パラメータを決定する。符号化制御器１０７は、決定したsplit_coding_unit_flag及び各ＣＵの予測パラメータを予測器１０５及びエントロピー符号化器１０２に供給する。予測パラメータは、予測モード（pred_mode ）、イントラＰＵパーティションタイプ（intra_split_flag）、イントラ予測方向、インターＰＵパーティションタイプ（inter_partitioning_idc）、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。
【００９６】
本実施形態の符号化制御器１０７は、第１実施形態と同様に、minInterPredUnitSizeより大きいＣＵサイズのＣＵに対しては、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測の｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の計１０種類から選択する。符号化制御器１０７は、minInterPredUnitSizeと等しいＣＵサイズのＣＵに対して、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測の｛２Ｎ×２Ｎ｝の計３種類から選択する。符号化制御器１０７は、minInterPredUnitSize未満のＣＵサイズのＣＵに対して、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測の｛２Ｎ×２Ｎ、Ｎ×Ｎ｝から選択する。
【００９７】
ただし、本実施形態の符号化制御器１０７は、エントロピー符号化対象ＣＵの予測モードがインター予測であり、かつ、そのＣＵサイズがminInterPredUnitSize以下である場合は、inter_partitioning_idcをエントロピー符号化しないようにエントロピー符号化器１０２を制御する。
【００９８】
予測器１０５は、符号化制御器１０７が決定した各ＣＵの予測パラメータに対応する予測信号を選定する。
【００９９】
符号化制御器１０７が決定した形状の各ＣＵの入力映像は、予測器１０５から供給される予測信号が減じられて予測誤差画像となり、変換／量子化器１０１に入力される。
【０１００】
変換／量子化器１０１は、予測誤差画像を周波数変換し、周波数変換係数を得る。
【０１０１】
さらに、変換／量子化器１０１は、量子化ステップ幅Ｑs で、周波数変換係数を量子化し、変換量子化値を得る。
【０１０２】
エントロピー符号化器１０２は、符号化制御器１０７から供給されるsplit_coding_unit_flag（図２２参照）、予測パラメータ、及び変換／量子化器１０１から供給される変換量子化値をエントロピー符号化する。ただし、上述したように、本実施形態のエントロピー符号化器１０２は、エントロピー符号化対象ＣＵの予測モードがインター予測であり、かつ、そのＣＵサイズがminInterPredUnitSize以下である場合は、inter_partitioning_idcをエントロピー符号化しない。
【０１０３】
逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。
【０１０４】
多重化器１０６は、最小インターＰＵサイズに関する情報（min_inter_pred_unit_hierarchy_depth ）、及びエントロピー符号化器１０２の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、多重化器１０６は、図３に示すリストに表されるように、シーケンスパラメータセットのlog2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続させて、min_inter_pred_unit_hierarchy_depth シンタクス（minInterPredUnitSizeをＳＣＵサイズで割った値の”２”を底とするlog （対数）、本実施形態においては０）を多重化する。ただし、log2_min_coding_unit_size_minus3シンタクス及びmax_coding_unit_hierarchy_depth シンタクスは、それぞれ、ＳＣＵサイズ（minCodingUnitSize ）及びＬＣＵサイズ（maxCodingUnitSize ）を決定するための情報である。minCodingUnitSize とmaxCodingUnitSize は、それぞれ、以下のように計算される。
【０１０５】
minCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３）
【０１０６】
maxCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth ）
【０１０７】
また、min_inter_pred_unit_hierarchy_depth シンタクスとminCodingUnitSize には以下の関係がある。
【０１０８】
min_inter_pred_unit_hierarchy_depth ＝log ２（minInterPredUnitSize /minCodingUnitSize ）
【０１０９】
上述した動作に基づいて、本実施形態の映像符号化装置はビットストリームを生成する。
【０１１０】
次に、本実施形態の特徴であるインターＰＵパーティションタイプシンタクス書き込みの動作を図４のフローチャートを参照して説明する。
【０１１１】
図４に示すように、エントロピー符号化器１０２は、ステップＳ２０１で、split_coding_unit_flagをエントロピー符号化する。また、ステップＳ２０２で、エントロピー符号化器１０２は、予測モードをエントロピー符号化する。すなわち、pred_mode シンタクスをエントロピー符号化する。ステップＳ２０３で符号化対象ＣＵの予測モードがインター予測であると判定し、かつ、ステップＳ２０４でＣＵサイズがminInterPredUnitSize以下のサイズであると判定した場合には、符号化制御器１０７は、エントロピー符号化器１０２におけるinter_partitioning_idcシンタクスのエントロピー符号化をスキップするように制御する。なお、ステップＳ２０３で符号化対象ＣＵがイントラ予測であると判定した場合、又は、ステップＳ２０４でＣＵサイズがminInterPredUnitSizeより大きいと判定した場合には、ステップＳ２０５で、符号化制御器１０７は、エントロピー符号化器１０２が該符号化対象ＣＵのＰＵパーティションタイプ情報をエントロピー符号化するように制御する。
【０１１２】
なお、上述したpred_mode シンタクス、及びinter_partitioning_idcシンタクスは、非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、図５に示すリストに表されるようにシグナリングされる。" if（currPredUnitSize > minInterPredUnitSize ）" の条件によって、minInterPredUnitSizeより大きなサイズのＣＵのＰＵヘッダのみにおいて、inter_partitioning_idcシンタクスがシグナリングされることが、本実施形態の特徴である。
【０１１３】
本実施形態の映像符号化装置は、シグナリングされるインターＰＵパーティションタイプシンタクスの個数を削減するように、符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズ以下のときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させない。シグナリングされるインターＰＵパーティションタイプシンタクスの個数を削減することによって、ビットストリームを占めるPUヘッダの符号量の割合が小さくなるので、映像の品質がさらに改善する。
【０１１４】
また、本実施形態の映像符号化装置は、最小インターＰＵサイズ未満のインターＰＵが出現しないように、符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズを越えるときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化させる。最小インターＰＵサイズ未満のインターＰＵが出現しないことによって、メモリ帯域が削減される。
【０１１５】
実施形態３．
第３の実施形態の映像復号装置は、第２の実施形態の映像符号化装置が生成したビットストリームを復号する。
【０１１６】
本実施形態の映像復号装置は、ビットストリームに多重化された最小インターＰＵサイズ情報を多重化解除する手段、多重化解除した最小インターＰＵサイズ情報に基づいてインターＰＵパーティションタイプを読み出す所定のＣＵサイズを決定するＣＵサイズ決定手段、及び、ＣＵサイズ決定手段が決定したＣＵサイズでインターＰＵパーティションタイプをビットストリームから読み出す読み出し手段を備えることを特徴とする。
【０１１７】
図６に示すように、本実施形態の映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、バッファ２０５、及び復号制御器２０６を備える。
【０１１８】
多重化解除器２０１は、入力されるビットストリームを多重化解除して、最小インターＰＵサイズ情報、及びエントロピー符号化された映像ビットストリームを抽出する。多重化解除器２０１は、図３に示すリストに示されるように、シーケンスパラメータにおいて、log2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続するmin_inter_pred_unit_hierarchy_depth シンタクスを多重化解除する。さらに、多重化解除器２０１は、多重化解除したシンタクスの値を用いて、インターＰＵパーティションタイプシンタクス（inter_partitioning_idcシンタクス）が伝送される最小インターＰＵサイズ（minInterPredUnitSize）を以下のように決定する。
【０１１９】
minInterPredUnitSize＝１<<（log2_min_coding_unit_size_minus3＋３＋min_inter_pred_unit_hierarchy_depth ）
【０１２０】
すなわち、本実施形態の多重化解除器２０１は、多重化解除した最小インターＰＵサイズ情報に基づいてインターＰＵパーティションタイプシンタクスを読み出すＣＵサイズを決定する役割も担っている。
【０１２１】
さらに、多重化解除器２０１は、最小インターＰＵサイズを復号制御器２０６に供給する。
【０１２２】
エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、エントロピー復号したsplit_coding_unit_flag及び予測パラメータを復号制御器２０６に供給する。
【０１２３】
ただし、本実施形態の復号制御器２０６は、復号対象ＣＵの予測モードがインター予測であり、かつ、そのＣＵサイズがminInterPredUnitSizeであるときには、エントロピー復号器２０２に該復号対象ＣＵのインターＰＵパーティションタイプシンタクスのエントロピー復号をスキップさせる。さらに、該復号対象ＣＵのインターＰＵパーティションタイプを２Ｎ×２Ｎに設定する。なお、復号対象ＣＵのＣＵサイズがminInterPredUnitSize未満であるとき、そのＣＵの予測モードはイントラ予測としかならない。
【０１２４】
逆変換／逆量子化器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
【０１２５】
逆周波数変換後、予測器２０４は、復号制御器２０６から供給される予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。
【０１２６】
逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給される。
【０１２７】
そして、バッファ２０５に格納された再構築ピクチャがデコード画像として出力される。
【０１２８】
上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
【０１２９】
次に、本実施形態の特徴であるインターＰＵパーティションタイプシンタクス読み込みの動作を図７のフローチャートを参照して説明する。
【０１３０】
図７に示すように、エントロピー復号器２０２は、ステップＳ３０１で、split_coding_unit_flagをエントロピー復号してＣＵのサイズを確定する。 また、ステップＳ３０２で、エントロピー復号器２０２は、予測モードをエントロピー復号する。すなわち、エントロピー復号器２０２は、pred_mode シンタクスをエントロピー復号する。 また、ステップＳ３０３で、予測モードがインター予測であると判定し、かつ、ステップＳ３０４で、確定したＣＵサイズがminInterPredUnitSizeであると判定したとき、ステップＳ３０５で、復号制御器２０６は、エントロピー復号器２０２におけるインターＰＵパーティションタイプのエントロピー復号をスキップするように制御し、該ＣＵのＰＵパーティションタイプを２Ｎ×２Ｎと設定するように制御する（inter_partitioning_idc＝０とする）。 
【０１３１】
なお、ステップＳ３０３で、予測モードがイントラ予測であると判定した場合、又は、ステップＳ３０４で、確定したＣＵサイズがminInterPredUnitSizeより大きいと判定した場合、復号制御器２０６は、ステップＳ３０６で、エントロピー復号器２０２における該復号対象ＣＵのＰＵパーティションタイプのエントロピー復号をスキップしないように制御し、該ＣＵのＰＵパーティションタイプをエントロピー復号結果のＰＵパーティションタイプに設定する。
【０１３２】
また、第１の実施形態及び第２の実施形態の映像符号化装置は、第１の実施形態で利用された最小インターＰＵサイズ情報（min_inter_pred_unit_hierarchy_depth ）を、図８に示すリストや図９に示すリストに表されているように、ピクチャパラメータセットやスライスヘッダにおいて多重化できる。同様に、本実施形態の映像復号装置は、ピクチャパラメータセットやスライスヘッダからmin_inter_pred_unit_hierarchy_depth シンタクスを多重化解除できる。
【０１３３】
また、第１の実施形態及び第２の実施形態の映像符号化装置は、min_inter_pred_unit_hierarchy_depth シンタクスを、ＬＣＵサイズ（maxCodingUnitSize ）を最小インターＰＵサイズ（minInterPredUnitSize）で割った値の”２”を底とするlog （対数）としてもよい。すなわち、下式を用いてもよい。
【０１３４】
min_inter_pred_unit_hierarchy_depth ＝log ２（maxCodingUnitSize /minInterPredUnitSize ）
【０１３５】
この場合、本実施形態の映像復号装置は、最小インターＰＵサイズを、min_inter_pred_unit_hierarchy_depth シンタクスに基づいて以下のように計算できる。
【０１３６】
minInterPredUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth - min_inter_pred_unit_hierarchy_depth ）
【０１３７】
本実施形態の映像復号装置では、最小インターＰＵサイズ未満のインターＰＵが出現しないので、メモリ帯域が削減される。
【０１３８】
実施形態４．
第４の実施形態の映像復号装置は、第１の実施形態の映像符号化装置が生成したビットストリームを復号する。
【０１３９】
本実施形態の映像復号装置は、ビットストリームに多重化された最小インターＰＵサイズ情報を多重化解除する手段、及び、多重化解除した最小インターＰＵサイズ情報に基づいて復号対象ＣＵを含むビットストリームのアクセスユニットにおけるエラーを検出するエラー検出手段を備えることを特徴とする。アクセスユニットは、非特許文献１の3.1 access unit において定義されているように、１ピクチャ分の符号化データを格納する単位である。エラーは、所定面積あたりに許容する動きベクトルの本数に基づく制約に対する違反を意味する。
【０１４０】
図１０に示すように、本実施形態の映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、バッファ２０５、及びエラー検出器２０７を備える。
【０１４１】
多重化解除器２０１は第３の実施形態における多重化解除器２０１と同様に動作し、入力されるビットストリームを多重化解除して、最小インターＰＵサイズ情報、及びエントロピー符号化された映像ビットストリームを抽出する。さらに最小インターＰＵサイズを求めて、最小インターＰＵサイズをエラー検出器２０７に供給する。
【０１４２】
エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、エントロピー復号したsplit_coding_unit_flag及び予測パラメータをエラー検出器２０７に供給する。
【０１４３】
エラー検出器２０７は、多重化解除器２０１から供給される最小インターＰＵサイズに基づいて、エントロピー復号器２０２から供給される予測パラメータのエラー検出を行い、予測パラメータを予測器２０４に供給する。エラー検出の動作は後述される。なお、エラー検出器２０７は、第３の実施形態における復号制御器２０６の役割も果たす。
【０１４４】
逆変換／逆量子化器２０３は、第３の実施形態における逆変換／逆量子化器２０３と同様に動作する。
【０１４５】
予測器２０４は、エラー検出器２０７から供給される予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。
【０１４６】
バッファ２０５は、第３の実施形態におけるバッファ２０５と同様に動作する。
【０１４７】
上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
【０１４８】
図１１のフローチャートを参照して、復号対象ＣＵを含むビットストリームのアクセスユニットのエラーを検出する、本実施形態の映像復号装置のエラー検出動作を説明する。
【０１４９】
ステップＳ４０１で、エラー検出器２０７は、ＣＵサイズ、予測モード、ＰＵパーティションタイプを確定する。
【０１５０】
ステップＳ４０２で、エラー検出器２０７は、復号対象ＣＵのＰＵの予測モードを判定する。予測モードがイントラ予測である場合には、処理を終了する。予測モードがインター予測である場合、ステップＳ４０３に進む。
【０１５１】
ステップＳ４０３で、エラー検出器２０７は、復号対象ＣＵのＰＵサイズと最小インターＰＵサイズとを比較する。該復号対象ＣＵのＰＵサイズが最小インターＰＵサイズ以上の場合には、処理を終了する。該復号対象ＣＵのＰＵサイズが最小インターＰＵサイズ未満である場合には、ステップＳ４０４に進む。
【０１５２】
ステップＳ４０４で、エラー検出器２０７は、エラーがあると判断し、エラーを外部に通知する。例えば、エラーが発生した該復号対象ＣＵのアドレスを出力する。 
【０１５３】
以上の動作により、エラー検出器２０７は、復号対象ＣＵを含むビットストリームのアクセスユニットのエラーを検出する。
【０１５４】
なお、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１５５】
図１２に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１５６】
図１２に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図６、図１０のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図６、図１０のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【０１５７】
図１３は、本発明による映像符号化装置の主要部を示すブロック図である。図１３に示すように、本発明による映像符号化装置は、インター予測を用いて映像符号化を行う映像符号化装置であって、所定の最小インターＰＵサイズ（ＰＡ）と、符号化対象ＣＵのＣＵサイズ（ＰＢ）とに基づいて符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段１１（一例として、図１に示す符号化制御器１０７）を備える。
【０１５８】
図１４は、本発明による映像復号装置の主要部を示すブロック図である。図１４に示すように、本発明による映像復号装置は、インター予測を用いて映像復号を行う映像復号装置であって、所定の最小インターＰＵサイズ（ＰＡ）と、復号対象ＣＵのサイズ（ＰＢ）とに基づいて復号対象ＣＵのインターＰＵパーティションを制御する復号制御手段２１（一例として、図６及び図１０に示す復号制御器２０７）を備える。
【０１５９】
以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６０】
この出願は、２０１１年１月１３日に出願された日本特許出願２０１１−４９６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６１】
１１    符号化制御手段
２１    復号制御手段
１０１  変換／量子化器
１０２  エントロピー符号化器
１０３  逆変換／逆量子化器
１０４  バッファ
１０５  予測器
１０６  多重化器
１０７，１０８  符号化制御器
２０１  多重化解除器
２０２  エントロピー復号器
２０３  逆変換／逆量子化器
２０４  予測器
２０５  バッファ
２０６  復号制御部
２０７  エラー検出器
１００１  プロセッサ
１００２  プログラムメモリ
１００３  記憶媒体
１００４  記憶媒体
【図１】
2012096147.tif 000004
【図２】
2012096147.tif 000005
【図３】
2012096147.tif 000006
【図４】
2012096147.tif 000007
【図５】
2012096147.tif 000008
【図６】
2012096147.tif 000009
【図７】
2012096147.tif 000010
【図８】
2012096147.tif 000011
【図９】
2012096147.tif 000012
【図１０】
2012096147.tif 000013
【図１１】
2012096147.tif 000014
【図１２】
2012096147.tif 000015
【図１３】
2012096147.tif 000016
【図１４】
2012096147.tif 000017
【図１５】
2012096147.tif 000018
【図１６】
2012096147.tif 000019
【図１７】
2012096147.tif 000020
【図１８】
2012096147.tif 000021
【図１９】
2012096147.tif 000022
【図２０】
2012096147.tif 000023
【図２１】
2012096147.tif 000024
【図２２】
2012096147.tif 000025
【図２３】
2012096147.tif 000026
【図２４】
2012096147.tif 000027
【図２５】
2012096147.tif 000028
【図２６】
2012096147.tif 000029
【手続補正書】
【提出日】平成25年6月18日(2013.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】
エントロピー復号手段を備え、
前記復号制御手段は、復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、前記エントロピー復号手段に、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下でないときに、前記エントロピー復号手段に、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定させる請求項５又は請求項６記載の映像復号装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
エントロピー復号手段を備え、
前記復号制御手段は、復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させる請求項５又は請求項６記載の映像復号装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１３
【補正方法】変更
【補正の内容】
【請求項１３】
符号化対象ＣＵのＣＵサイズが前記所定の最小インターＰＵサイズ以下であるときには、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化せず、該符号化対象ＣＵのＣＵサイズが所定の最小インターＰＵサイズより大きいときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させる請求項１０又は請求項１１記載の映像符号化方法。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】
復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号せず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下でないときに、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定する請求項１４又は請求項１５記載の映像復号方法。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１７
【補正方法】変更
【補正の内容】
【請求項１７】
復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する請求項１４又は請求項１５記載の映像復号方法。
【手続補正６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２５
【補正方法】変更
【補正の内容】
【請求項２５】
コンピュータに、復号対象ＣＵのＰＵがインターＰＵであるが復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下であるときには、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させず、該復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズ以下でないときに、該復号対象ＣＵのインターＰＵパーティションタイプを所定のインターＰＵパーティションタイプに設定する処理を実行させる請求項２３又は請求項２４記載の映像復号プログラム。
【手続補正７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２６
【補正方法】変更
【補正の内容】
【請求項２６】
コンピュータに、復号対象ＣＵのＰＵがインターＰＵであり、かつ、復号対象ＣＵのＣＵサイズが前記最小インターＰＵサイズより大きいときに、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させる請求項２３又は請求項２４記載の映像復号プログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
図７に示すように、エントロピー復号器２０２は、ステップＳ３０１で、split_coding_unit_flagをエントロピー復号してＣＵのサイズを確定する。 また、ステップＳ３０２で、エントロピー復号器２０２は、予測モードをエントロピー復号する。すなわち、エントロピー復号器２０２は、pred_mode シンタクスをエントロピー復号する。また、ステップＳ３０３で、予測モードがインター予測であると判定し、かつ、ステップＳ３０４で、確定したＣＵサイズがminInterPredUnitSize以下であると判定したとき、ステップＳ３０５で、復号制御器２０６は、エントロピー復号器２０２におけるインターＰＵパーティションタイプのエントロピー復号をスキップするように制御し、該ＣＵのＰＵパーティションタイプを２Ｎ×２Ｎと設定するように制御する（inter_partitioning_idc＝０とする）。
【国際調査報告】
2012096147.tif 000030
2012096147.tif 000031