(57)【要約】  映像符号化装置は、画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化するが、PCM  データを効率よく伝送するために、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合には、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しない。
2014106878.tif 000002
【特許請求の範囲】
【請求項１】
画像ブロックを変換する変換手段と、
前記変換手段が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化手段と、
画像ブロックをPCM 符号化するPCM 符号化手段と、
画像ブロックごとに前記エントロピー符号化手段の出力データと前記PCM 符号化手段の出力データとのいずれかを選択する多重化データ選択手段と、
前記多重化データ選択手段が選択した画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する多重化手段とを備える映像符号化装置であって、
前記多重化手段は、前記符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しないことを特徴とする映像符号化装置。
【請求項２】
復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除手段と、
ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号手段と、
ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号手段と、
復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、前記符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、前記符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する復号制御手段とを備える
ことを特徴とする映像復号装置。
【請求項３】
画像ブロックを変換し、
変換された画像ブロックの変換データをエントロピー符号化し、
画像ブロックをPCM 符号化し、
画像ブロックごとにエントロピー符号化されたデータとPCM 符号化されたデータとのいずれかを選択し、
画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する映像符号化方法であって、
前記符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しないことを特徴とする映像符号化方法。
【請求項４】
復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除し、
ビットストリームに含まれる画像ブロックのPCM データをPCM 復号し、
ビットストリームに含まれる画像ブロックの変換データをエントロピー復号し、
復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、前記符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、前記符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する
ことを特徴とする映像復号方法。
【請求項５】
コンピュータに、
画像ブロックを変換する処理と、
変換された画像ブロックの変換データをエントロピー符号化する処理と、
画像ブロックをPCM 符号化する処理と、
画像ブロックごとにエントロピー符号化されたデータとPCM 符号化されたデータとのいずれかを選択する処理と、
画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する処理とを実行させるための映像符号化プログラムであって、
コンピュータに、前記符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化させない映像符号化プログラム。
【請求項６】
コンピュータに、
復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除する処理と、
ビットストリームに含まれる画像ブロックのPCM データをPCM 復号する処理と、
ビットストリームに含まれる画像ブロックの変換データをエントロピー復号する処理と、
復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、前記符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、前記符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する処理と
を実行させるための映像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化ツリーユニットを自動分割する映像符号化装置および映像復号装置に関する。
【背景技術】
【０００２】
非特許文献1 に記載された方式に基づいた映像符号化方式は、ディジタル化された映像の各フレームを符号化ツリーユニット（CTU ：Coding Tree Unit）に分割し、ラスタスキャン順に各CTUを符号化する。各CTU は、クアッドツリー構造で、符号化ユニット（CU：Coding Unit ）に分割されて符号化される。各CUは、予測ユニット（PU： Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。【０００３】
CUは、イントラ予測／フレーム間予測の符号化単位である。以下、イントラ予測およびフレーム間予測を説明する。【０００４】
イントラ予測は、符号化対象フレームの再構築画像から生成する予測である。非特許文献1 に記載された方式では、符号化対象ブロック周辺の再構築画素を外挿して、イントラ予測信号を生成する。以後、イントラ予測を用いるCUをイントラCUと呼ぶ。なお、非特許文献1 において、イントラCUのpred_mode_flagシンタクスの値は1 である。【０００５】
また、イントラ予測を用いないイントラCUをI_PCM （Intra Pulse Code Modulation ）CUと呼ぶ。I_PCM CUでは、CUの予測誤差を伝送する代わりに、CUの画像をそのまま伝送する。なお、非特許文献1 において、I_PCM CUのpcm_flagシンタクスの値は1 である。【０００６】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測とも呼ぶ。図10は、フレーム間予測の例を示す説明図である。動きベクトルMV＝（mvx, mvy）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、インター予測を用いるCUをインターCUと呼ぶ。なお、非特許文献1 において、インターCUのpred_mode_flagシンタクスの値は0 である。【０００７】
フレーム間予測を用いて、動きベクトルの差分情報およびCUの予測誤差を伝送しないインターCUをSkip CU と呼ぶ。非特許文献1 において、Skip CU のskip_flagシンタクスの値は1 である。【０００８】
上述した、イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【０００９】
以上で、イントラ予測およびフレーム間予測の説明を終了する。【００１０】
図11を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【００１１】
図11に示す映像符号化装置は、変換／量子化器102 、エントロピー符号化器103 、逆変換／逆量子化器104 、バッファ105 、予測器106 、PCM 符号化器107  、PCM 復号器108 、多重化データ選択器109 、多重化器110 、スイッチ121 、およびスイッチ122 を備える。【００１２】
図12に示すように、フレーム（Frame ）はLCU （Largest Coding Unit ）で構成される。LCU は、CU（Coding Unit ）で構成される。図12は、フレームの空間解像度がCIF（CIF: Common Intermediate Format）、CTUサイズが64の場合のフレームt のCTU分割例、および、フレームt のCTU8のCU分割例を示す説明図である。CTU8のクアッドツリー構造は、64×64領域を分割することを示すCUDepth=0 のcu_split_flag=1、最初の３つの32×32 CU （CU0 、 CU1  およびCU2  ）を分割しないことを示す３つのCUDepth=1 のcu_split_flag=0 、最後の32×32CUを分割することを示すCUDepth=1 のcu_split_flag=1 、最初の３つの16×16 CU（CU3 、 CU4 およびCU5 ）を分割しないことを示す３つのCUDepth=2 のcu_split_flag=0 、最後の16×16CUを分割することを示すCUDepth=2 のcu_split_flag=1 、全ての 8×8 CU （CU6 、 CU7 、 CU8 およびCU9）を分割しないことを示す４つのCUDepth=3 のcu_split_flag=0 で表現できる。【００１３】
図11に示す映像符号化装置は、LCU をラスタスキャン順で、LCU を構成するCUをゼットスキャン順で符号化する。CUの大きさは、64×64、32×32、16×16、8×8 のいずれかになる。最も小さいCUをSmallest Coding Unit（SCU ）と呼ぶ。【００１４】
変換／量子化器102 は、予測信号が減じられた画像（予測誤差画像）を周波数変換し、予測誤差画像の周波数変換係数を得る。【００１５】
さらに、変換／量子化器102 は、所定の量子化ステップ幅Qsで、周波数変換係数を量子化する。以下、量子化された周波数変換係数を係数量子化値、または、量子化レベル値と呼ぶ。【００１６】
エントロピー符号化器103 は、予測パラメータ、および、量子化レベル値をエントロピー符号化する。予測パラメータは、上述したCUの予測タイプ（イントラ予測、インター予測）、および、CUに含まれるPU（Prediction Unit ）の情報に関連した情報である。【００１７】
逆変換／逆量子化器104 は、量子化ステップ幅Qsで、量子化レベル値を逆量子化する。さらに、逆変換／逆量子化器104 は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ122 に供給される。【００１８】
多重化データ選択器109 は、符号化対象のCUに対応するエントロピー符号化器103 の入力データ量を監視する。CUの処理時間内でエントロピー符号化器103 がその入力データをエントロピー符号化可能な場合には、多重化データ選択器109 は、エントロピー符号化器103 の出力データを選択して、スイッチ121 を介して多重化器110 に供給させる。さらに、多重化データ選択器109 は、逆変換／逆量子化器104 の出力データを選択して、スイッチ122 を介してバッファ105 に供給させる。【００１９】
CUの処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器109 は、PCM 符号化器107 の出力データを選択して、スイッチ121 を介して多重化器110 に供給させる。さらに、多重化データ選択器109 は、PCM 復号器108 がPCM 符号化器107 の出力データをPCM 復号した出力データを選択して、スイッチ122 を介してバッファ105 に供給させる。【００２０】
バッファ105 は、スイッチ122 を介して供給される再構築画像を格納する。１フレーム分の再構築画像を再構築ピクチャと呼ぶ。【００２１】
多重化器110 は、エントロピー符号化器103 とPCM 符号化器107 の出力データを多重化して出力する。【００２２】
上述した動作に基づいて、映像符号化装置における多重化器110 は、ビットストリームを生成する。
【先行技術文献】
【非特許文献】
【００２３】
【非特許文献１】Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, and Thomas Wiegand," High Efficiency Video Coding (HEVC) text specification draft 9", JCTVC-K1003_v10, Joint Collaborative Team on Video Coding （JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Shanghai, CN, 10-19 October 2012
【発明の概要】
【発明が解決しようとする課題】
【００２４】
図11に示す映像符号化装置において、あるCUのブロックヘッダはエントロピー符号化される。すなわち、I_PCM CUのブロックヘッダ（I_PCM モードヘッダ）の伝送に際して、（pcm_flagをエントロピー符号化した後に）エントロピー符号化器103 の符号化エンジンの未出力シンボルの出力処理、および、符号化エンジンのリセット処理の２つの処理が要求される。なお、非特許文献1 の7.3.9.4 Coding quadtree syntaxおよび7.3.9.5 Coding unit syntaxから分かるように、I_PCM モードヘッダは、通常、CUの分割情報（cu_split_flag シンタクス）、CUの予測タイプ（skip_flag シンタクス、 pred_mode_flagシンタクスおよびpred_mode シンタクス，part_mode シンタクス）、PUのPCM フラグ（pcm_flagシンタクス）によって構成される。 【００２５】
図13を参照して、CTU内の符号化順で連続するI_PCM CUの符号化を説明する。図13(A) に示すように、符号化対象のCTU において、CTU内の符号化順で連続する0 ，1 ，2 および3 のCU（CU(0) ，CU(1) ，CU(2) およびCU(3) ）がI_PCM CUとであるとする。対応するCTU のビットストリームは、各CUのI_PCM モードヘッダの映像ビットストリーム、アラインメントデータ（pcm_alignment_zero_bit）、およびPCM データ（pcm_sample_luma/pcm_sample_chroma ）をインタリーブして構成する。すなわち、図13(A) に示すCTU のビットストリームは、CU(0) のcu_split_flag=1，cu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、CU(1) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、CU(2) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、ならびに、CU(3) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chromaによって構成される。なお、非特許文献1 の7.3.9.5 Coding unit syntaxのおよび7.3.9.7 PCM sample syntaxから分かるように、pcm_alignment_zero_bit、pcm_sample_luma 、および、pcm_sample_chroma は、非エントロピー符号化されるシンタクスである。【００２６】
CTU 内の符号化順で連続するI_PCM のCU(0) ，CU(1) ，CU(2) およびCU(3) は、それぞれのI_PCM モードヘッダに対してエントロピー符号化がなされるため、上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理を繰り返させる。ゆえに、CU(0) ，CU(1) ，CU(2) およびCU(3) がCTU 内の符号化順で連続するI_PCM であるにも関わらず、それぞれのCUのPCM データをビットストリームに多重化する前に、I_PCM モードヘッダに対する上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理の完了を待たなくてはならない。一般的な技術では、CTU 内の符号化順で連続するI_PCM CUのPCM データを効率よくビットストリームに多重化できない、つまり、CTU 内の符号化順で連続するI_PCM CUのPCM データを効率よく伝送できない課題がある。【００２７】
同様に、図13(B) に示すように、画像右境界の不完全CTU 内の符号化順で連続するI_PCM CUについても同様の問題がある。ただし、図13（B)において、”Infer ”は、cu_split_flag を伝送しないで、処理対象CUの位置（x0およびy0）とブロックサイズ（log2CbSize）、画像フレームのサイズ（横幅pic_width_in_luma_samples および縦幅pic_height_in_luma_samples）、および、最小CUサイズ（Log2MinCbSizeY）に基づいて、その値をデコーダに確定させることを示す（詳細は、非特許文献1 の7.3.9.5 Coding unit syntaxおよび7.4.9.4 Coding quadtree semantics を参照）。また、図13（B)において、”N ”は、該当位置にCUが存在しないため、冗長なcu_split_flag を伝送しないことを示す。【００２８】
図13(B) に示すCTU のビットストリームは、CU(0) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N ，pcm_flag=1，pcm_alignment_zero_bit， および pcm_sample_luma/pcm_sample_chroma、CU(1) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N ，pcm_flag=1，pcm_alignment_zero_bit および pcm_sample_luma/pcm_sample_chroma、CU(2) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N ，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、CU(3) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N ，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、CU(4) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1，pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chroma、ならびに、CU(5) のcu_split_flag=0，skip_flag=0，pred_mode_flag=1，part_mode=2Nx2N，pcm_flag=1, pcm_alignment_zero_bit，および pcm_sample_luma/pcm_sample_chromaによって構成される。【００２９】
本発明は、CTU 内の符号化順でI_PCM CUが連続して発生しても、それらのPCM データを効率よく伝送できるようにする映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム、および映像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３０】
本発明による映像符号化装置は、画像ブロックを変換する変換手段と、変換手段が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化手段と、画像ブロックをPCM 符号化するPCM 符号化手段と、画像ブロックごとにエントロピー符号化手段の出力データとPCM 符号化手段の出力データとのいずれかを選択する多重化データ選択手段と、多重化データ選択手段が選択した画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する多重化手段とを備え、多重化手段は、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しないことを特徴とする。【００３１】
本発明による映像復号装置は、復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除する多重化解除手段と、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号するPCM 復号手段と、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号するエントロピー復号手段と、復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する復号制御手段とを備えることを特徴とする。【００３２】
本発明による映像符号化方法は、画像ブロックを変換し、変換された画像ブロックの変換データをエントロピー符号化し、画像ブロックをPCM 符号化し、画像ブロックごとにエントロピー符号化されたデータとPCM 符号化されたデータとのいずれかを選択し、画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する映像符号化方法であって、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しないことを特徴とする。【００３３】
本発明による映像復号方法は、復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除し、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号し、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号し、復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定することを特徴とする。【００３４】
本発明による映像符号化プログラムは、コンピュータに、画像ブロックを変換する処理と、変換された画像ブロックの変換データをエントロピー符号化する処理と、画像ブロックをPCM 符号化する処理と、画像ブロックごとにエントロピー符号化されたデータとPCM 符号化されたデータとのいずれかを選択する処理と、画像ブロックの集合である符号化ツリーユニットの先頭にて、当該符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化する処理とを実行させるための映像符号化プログラムであって、コンピュータに、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化させないことを特徴とする。【００３５】
本発明による映像復号プログラムは、コンピュータに、復号対象とする符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像ブロックのPCM データをPCM 復号する処理と、ビットストリームに含まれる画像ブロックの変換データをエントロピー復号する処理と、復号対象とする符号化ツリーユニットのctu_pcm_flagシンタクスの値が1 である場合に、符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCM ブロックサイズに基づいて、符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する処理とを実行させることを特徴とする。
【発明の効果】
【００３６】
本発明によれば、CTU 内の全てのCUがI_PCM である場合に、それらのPCM データを効率よく伝送できる。
【図面の簡単な説明】
【００３７】
【図１】第１の実施形態の映像符号化装置を示すブロック図である。
【図２】I_PCM CUの符号化の説明図である。
【図３】第１の実施形態の映像符号化装置の動作を示すフローチャートである。
【図４】第２の実施形態の映像復号装置を示すブロック図である。
【図５】第２の実施形態の映像復号装置の動作を示すフローチャートである。
【図６】Coding tree unitシンタクスを表すリストの説明図である。
【図７】PCM quadtreeシンタクスを表すリストの説明図である。
【図８】PCM sampleシンタクスを表すリストの説明図である。
【図９】プログラムを用いた情報処理システムの例を示すブロック図である。
【図１０】フレーム間予測の例を示す説明図である。
【図１１】一般的な映像符号化装置を示すブロック図である。
【図１２】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図１３】I_PCM CUの符号化の説明図である。
【発明を実施するための形態】
【００３８】
実施形態１．
図1 は、第１の実施形態の映像符号化装置を示すブロック図である。本実施形態の映像符号化装置は、図11に示す映像符号化装置における多重化器110 に代えて、多重化器1100を備える。本実施形態における多重化器1100は、図11に示す多重化器110 とは異なり、符号化対象のCTU の全てのCUがI_PCM であるか否かを判断する全PCM 判断器1101を含む。なお、図1 には、全PCM 判断器1101が多重化器1100内に存在する例が示されているが、そのことは必須のことではない。全PCM 判断器1101は、多重化器1100以外の部分に設けられていてもよいし、図1 に示す各部と独立して設けられていてもよい。
【００３９】
本実施形態の映像符号化装置は、各CTU において伝送順で連続するI_PCM CUを対象として、それらを伝送するものとする。本実施形態でも、図２(A)（内容は図12（A）と同様）に示すように、符号化順で連続するCU(0) ，CU(1) ，CU(2) およびCU(3) がPCM 符号化されるブロックであるとする。
【００４０】
図2(A) に示すI_PCM CUを例にし、図3 のフローチャートを参照して映像符号化装置の動作を説明する。
【００４１】
本実施形態の映像符号化装置は、図3 のフローチャートに示すように動作する。すなわち、全PCM 判断器1101は、ステップS101で、符号化対象CTU の全てのCUがI_PCM であるか否かを判断する。全てのCUがI_PCM である場合、ctu_pcm_flagシンタクスを1 とする。そうでない場合、ctu_pcm_flagシンタクスを0 とする。図2(A) に示す例を用いる場合、ctu_pcm_flagの値は1 となる。その場合、エントロピー符号化器103 は、ステップS102 で、ctu_pcm_flag=1をエントロピー符号化する。さらに、エントロピー符号化器103 は、未だ出力されていないシンボルを出力する。なお、ctu_pcm_flagの値が0 の場合、図3 のフローチャートでは処理終了になるが、エントロピー符号化器103 がctu_pcm_flag=0をエントロピー符号化した後に、本実施形態の映像符号化装置は、一般的な映像符号化装置と同様に各CUを符号化する。
【００４２】
多重化器1100は、ステップS103で、処理対象CUの位置（x0, y0）とそのサイズ（log2CbSize）、画像フレームのサイズ（横幅pic_width_in_luma_samples および縦幅pic_height_in_luma_samples）、および、I_PCM CUの最大サイズ（Log2MaxIpcmCbSizeY、ただし、Log2MaxIpcmCbSizeYは最小CUサイズLog2MinCbSizeY以上とする）に基づいて、デコーダが決定する処理対象CUのcu_split_flag を計算する。つまり、多重化器1100は、以下のいずれか１つ以上の条件が満たされたときに、cu_split_flag=1 とする。すなわち、処理対象CUを分割する。
【００４３】
［条件］
１．x0  x0  +  (  1  <<  log2CbSize  )  >  pic_width_in_luma_sampl
２．y0  y0  +  (  <<  <<  log2CbSize  )  >  pic_height_in_luma_sampl 
３．log2CbSize > Log2MaxIpcmCbSizeY 
【００４４】
多重化器1100は、以上のいずれの条件も満たされない場合、cu_split_flag=0 とする。すなわち、処理対象CUを分割しない。
【００４５】
多重化器1100は、ステップS104で、cu_split_flag=0 か否かを判断する。cu_split_flag=0 の場合、ステップS105に進む。そうでない場合、CUを分割してステップS103に戻る。
【００４６】
多重化器1100は、ステップS105で、CU(n) のpcm_alignment_zero_bitを非エントロピー符号化する。
【００４７】
PCM 符号化器107は、ステップS106で、CU(n) のPCM データを非エントロピー符号化する。
【００４８】
多重化器1100は、ステップS107で、符号化対象CTUの全てのCUが符号化されたか否かを判断する。符号化対象CTUの全てのCUが符号化された場合、ステップS108に進む。そうでない場合、次処理対象CUの符号化のために、ステップS103に戻る。
【００４９】
エントロピー符号化器103 は、ステップS108で、その符号化エンジンをリセットする。そして、次のCTU の符号化に進む。
【００５０】
多重化器1100は、PCM 符号化器107 およびエントロピー符号化器103 が符号化したデータを多重したビットストリームを出力する。
【００５１】
以上で、本実施形態の映像符号化装置の動作説明を終了する。なお、多重化器1100は、多重化データ選択器109 が選択した画像ブロックの集合に相当する符号化ツリーユニットの先頭において、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックであるか否かを示すctu_pcm_flagシンタクスを多重化するが、符号化ツリーユニットに属する全ての画像ブロックがPCM ブロックである場合に、少なくとも符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを多重化しない。
【００５２】
上述した本実施形態の映像符号化装置の動作によって、符号化対象CTU の全てのCUがI_PCM である場合、連続するI_PCM CUのPCM データの間に、エントロピー符号化されるI_PCM モードヘッダが挿入されない。つまり、図2(A) に例示されるCTUのビットストリームは、ctu_pcm_flag=1、CU(0) のpcm_alignment_zero_bitおよびpcm_sample_luma/pcm_sample_chroma 、CU(1) のpcm_sample_luma/pcm_sample_chroma 、CU(2) のpcm_sample_luma/pcm_sample_chroma 、ならびに、CU(3) のpcm_sample_luma/pcm_sample_chroma によって構成される。なお、１つのPCM データのビット数は必ず8bitの倍数となるため、はじめにI_PCM CUを伝送した後に、後続するI_PCM CUの開始位置も必ず8bitの倍数となる。すなわち、後続するI_PCM CUの開始位置は、必ずバイトアラインされたアドレスとなる。ゆえに、CU(1) 、CU(2) 、CU(3) でpcm_alignment_zero_bitは伝送されない。
【００５３】
同様に、図2(B) に示すCTUのビットストリームは、ctu_pcm_flag=1、CU(0) のpcm_alignment_zero_bitおよびpcm_sample_luma/pcm_sample_chroma 、CU(1) のpcm_sample_luma/pcm_sample_chroma 、CU(2) のpcm_sample_luma/pcm_sample_chroma 、CU(3) のpcm_sample_luma/pcm_sample_chroma 、CU(4) のpcm_sample_luma/pcm_sample_chroma 、ならびに、CU(5) のpcm_sample_luma/pcm_sample_chroma で構成される。つまり、符号化対象CTU の全てのCUがI_PCM である場合、連続するI_PCM CUのPCM データの間に、エントロピー符号化されるI_PCM モードヘッダが挿入されない。
【００５４】
ゆえに、最初のI_PCM CUに後続するI_PCM CUのPCM データをビットストリームに多重化する際に、上述した符号化エンジンの未出力シンボルの出力処理およびそのリセット処理の完了を待つ必要がない。よって、本実施形態の映像符号化装置は、連続するI_PCM CUのPCM データを効率よくビットストリームに多重化できる。つまり、連続するI_PCM CUのPCM データを効率よく伝送できる。
【００５５】
実施形態２．
図4 は、第１の実施形態の映像符号化装置に対応する映像復号装置を示すブロック図である。本実施形態の映像復号装置は、多重化解除器201 、復号制御器202 、PCM 復号器203 、エントロピー復号器204 、逆変換／逆量子化器206 、予測器207 、バッファ208 、およびスイッチ221 とスイッチ222 を備える。
【００５６】
多重化解除器201 は、復号対象CTU の全てのCUがI_PCM であるか否かを判定する全PCM判断器2011を含む。なお、図4 には、全PCM判断器2011が多重化解除器201 内に存在する例が示されているが、そのことは必須のことではない。全PCM判断器2011は、多重化解除器201 の部分に設けられていてもよいし、図4 に示す各部と独立して設けられていてもよい。
【００５７】
多重化解除器201 は、入力されるビットストリームを多重化解除して、映像ビットストリームを抽出する。
【００５８】
復号対象CTU の映像ビットストリームをエントロピー復号したctu_pcm_flagが1 の場合（つまり、全PCM判断器2011が、復号対象CTU の全てのCUがI_PCM であると判定した場合）、復号制御器202 は、復号対象CTU の処理対象CUのcu_split_flag を計算する。具体的には、処理対象CUの位置（x0, y0）とそのサイズ（log2CbSize）、画像フレームのサイズ（横幅pic_width_in_luma_samples および縦幅pic_height_in_luma_samples ）、および、I_PCM CUの最大サイズ（Log2MaxIpcmCbSizeY、ただし、Log2MaxIpcmCbSizeYは最小CUサイズLog2MinCbSizeY以上とする）に基づいて、以下のいずれか１つ以上の条件が満たされたときに、cu_split_flag=1 とする。すなわち、処理対象CUを分割する。
【００５９】
［条件］
１．x0  x0  +  (  1  <<  log2CbSize  )  >  pic_width_in_luma_sampl
２．y0  y0  +  (  1<  <  log2CbSize  )  >  pic_height_in_luma_sampl 
３．log2CbSize > Log2MaxIpcmCbSizeY 
【００６０】
復号制御器202 は、以上のいずれの条件も満たされない場合、cu_split_flag=0 とする。すなわち、処理対象CUを分割しない。
【００６１】
さらに、復号制御器202 は、cu_split_flag=0 の場合、エントロピー復号器204 に現在復号するCUのCU／PUヘッダをエントロピー復号させないで、復号するI_PCM CUのpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出し、後続するPCM データをPCM 復号器203 に供給する。PCM 復号器203 は、スイッチ221 を介して供給されるPCM データを読み出してPCM 復号する。復号制御器202 は、スイッチ222 を切り替えて、PCM 復号器203 から供給される再構築画像をバッファ208 に供給させる。cu_split_flag=1 の場合、復号制御器202 は、復号対象CTU の次の処理対象CUの復号に進む。
【００６２】
復号対象CTU の映像ビットストリームをエントロピー復号したctu_pcm_flagが0 の場合、復号制御器202 は、エントロピー復号器204 に現在復号するCUのCU／PUヘッダをエントロピー復号させる。エントロピー復号器204 が1 の値を持つpcm_flagをエントロピー復号した場合、復号制御器202 は、復号するI_PCM CUのpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出し、後続するPCM データをPCM 復号器203 に供給する。PCM 復号器203 は、スイッチ221 を介して供給されるPCM データを読み出してPCM 復号する。復号制御器202 は、スイッチ222 を切り替えて、PCM 復号器203 から供給される再構築画像をバッファ208 に供給させる。 エントロピー復号器204 が0 の値を持つpcm_flagをエントロピー復号した場合、または、pcm_flagが存在しなかった場合、エントロピー復号器204 は、さらに、復号するCUの予測パラメータおよび量子化レベル値をエントロピー復号し、逆変換／逆量子化器206 および予測器207 に供給する。
【００６３】
逆変換／逆量子化器206 は、量子化レベル値を逆量子化し、さらに、逆量子化した周波数変換係数を逆周波数変換する。
【００６４】
逆周波数変換後、予測器207 は、エントロピー復号した予測パラメータに基づいて、バッファ208 に格納された再構築ピクチャの画像を用いて予測信号を生成する。予測信号生成後、逆変換／逆量子化器206 で逆周波数変換された再構築予測誤差画像は、予測器207 から供給される予測信号が加えられて、スイッチ222 に供給される。予測信号が加えられた後、復号制御器202 は、スイッチ222 を切り替えて、予測信号が加えられた再構築予測誤差画像を再構築画像としてバッファ208 に供給させる。そして、次のCUの復号に進む。
【００６５】
図5 のフローチャートを用いて、本実施形態の映像復号装置の動作を説明する。
【００６６】
全PCM判断器2011は、ステップS201で、復号対象CTU の全てのCUがI_PCM であるか否かを判定する。復号対象CTU の全てのCUがI_PCM である場合、ステップS202に進む。そうでない場合、図5 のフローチャートでは処理終了になるが、本実施形態の映像復号装置は、一般的な映像復号装置と同様に各CUを復号する。
【００６７】
復号制御器202 は、ステップS202で、復号するCU(n) のcu_split_flag を計算する。
【００６８】
復号制御器202 は、ステップS203で、計算したcu_split_flag が0 であるか否かを判断する。0 の場合、ステップS204に進む。そうでない場合（cu_split_flag が1 の場合）、復号対象CUを分割してステップS202に戻る。
【００６９】
復号制御器202 は、ステップS204で、復号するI_PCM のCU(n) のpcm_alignment_zero_bitシンタクスを映像ビットストリームから読み出す。なお、非エントロピー符号化されるpcm_alignment_zero_bitシンタクスの読み出しを、PCM 復号器203 が行ってもよい。
【００７０】
復号制御器202 は、ステップS205で、復号するI_PCM のCU(n) のPCM データを映像ビットストリームから読み出す。PCM 復号器203 は、CU(n) のPCM データを非エントロピー復号する。なお、非エントロピー復号されるPCM データの読み出しを、PCM 復号器203 が行ってもよい。そして、上述したようにPCM データに基づいてCU(n) の再構築画像が求められる。
【００７１】
復号制御器202 は、ステップS206で、復号対象CTU の全てのCUを復号したか否かを判断する。全てのCUを復号した場合、ステップS207に進む。そうでない場合、次のCUの復号のために、ステップS202に戻る。
【００７２】
エントロピー復号器204 は、ステップS207で、その復号エンジンをリセットする、そして、復号対象CTU 復号処理を終了する。
【００７３】
以上で、本実施形態の映像復号装置の動作説明を終了する。
【００７４】
上述した本実施形態の映像復号装置の動作によって、最初のI_PCM CUに後続するI_PCM CUのPCM データをビットストリームから読み出す際に、復号エンジンのリセット処理完了を待つ必要がない。ゆえに、本実施形態の映像復号装置は、連続するI_PCM CUのPCM データを効率よくビットストリームから読み出せる。つまり、連続するI_PCM CUのPCM データを効率よく受信できる。
【００７５】
なお、上記の各実施形態に対応する、Coding tree シンタクス、PCM quadtreeシンタクス、および、PCM sampleシンタクスを図6 、図7 、図8 のそれぞれに示す。図6 、図7 、図8 を参照すると、図6 より、ctu_pcm_flagシンタクスを伝送する様子が分かる。図7 より、符号化ツリーユニットの画像ブロックの位置、復号対象とする画像フレームのサイズ、および、最大PCMブロックサイズ（Log2MaxIpcmCbSizeY）に基づいて、符号化ツリーユニットの分割形状を示すcu_split_flag シンタクスを決定する様子が分かる。図8 よりpcm_alignment_zero_bitとPCM データ（pcm_sample_luma/ pcm_sample_chroma）を符号化する様子が分かる。つまり、連続するI_PCM CUのPCM データをビットストリームから読み出す際に、復号エンジンのリセット処理が不要であることが分かる。
【００７６】
なお、上記の各実施形態においては、CTU 内の全てのCUがI_PCM であるとしたが、CTU 内の全てのCUがSkipである場合にも本発明を適用できる。例えば、CTU 内の全てのCUがI_PCM であるか否かを判断する全PCM 判断器を、CTU 内の全てのCUがSkipであるか否かを判断する全Skip判断器に置き換え、さらに、全てのCUがSkipである場合、ctu_pcm シンタクスと同様に、ctu_skipシンタクスを符号化／復号するようにすればよい。また、ctu_skipフラグに後続させて、非特許文献1 の7.3.9.6 Prediction unit syntaxに記載されるmerge_idx を符号化／復号するようにすればよい。
【００７７】
また、上記の各実施形態をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【００７８】
図9 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備える。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【００７９】
図9 に示された情報処理システムにおいて、プログラムメモリ1002には、図1 、図4 のそれぞれに示された各ブロックの機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、図1 、図4 のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
【００８０】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００８１】
この出願は、２０１３年１月７日に出願された日本特許出願２０１３−０００２９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８２】
102     変換／量子化器
103     エントロピー符号化器
104     逆変換／逆量子化器
105     バッファ
106     予測器
107     ＰＣＭ符号化器
108     ＰＣＭ復号器
109     多重化データ選択器
110,1100     多重化器
1101    全PCM 判断器
121     スイッチ
122     スイッチ
201     多重化解除器
2011    全PCM 判断器
202     復号制御器
203     ＰＣＭ復号器
204     エントロピー復号器
206     逆変換／逆量子化器
207     予測器
208     バッファ
221     スイッチ
222     スイッチ
1001    プロセッサ
1002    プログラムメモリ
1003    記憶媒体
1004    記憶媒体
【図１】
2014106878.tif 000003
【図２】
2014106878.tif 000004
【図３】
2014106878.tif 000005
【図４】
2014106878.tif 000006
【図５】
2014106878.tif 000007
【図６】
2014106878.tif 000008
【図７】
2014106878.tif 000009
【図８】
2014106878.tif 000010
【図９】
2014106878.tif 000011
【図１０】
2014106878.tif 000012
【図１１】
2014106878.tif 000013
【図１２】
2014106878.tif 000014
【図１３】
2014106878.tif 000015
【国際調査報告】
2014106878.tif 000016
2014106878.tif 000017
2014106878.tif 000018
2014106878.tif 000019