(57)【要約】  映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11と、入力画像を格納するバッファ12と、第１の映像符号化部11が生成した第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合部13と、符号化データ変換／併合部13から供給される第２の符号化データに基づいて、バッファ12に格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する第２の映像符号化部14を備える。第１の映像符号化部11は、第２の映像符号化部14が扱う第２符号化処理に包含される第１符号化処理を扱う機能を有し、符号化データ変換／併合部13は、所定条件が成立すると、前記第２符号化処理おける周波数変換／量子化ブロックを統合する。
2015118835.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、
前記入力画像を格納するバッファと、
前記第１の映像符号化手段が生成した前記第１の符号化データを変換し、併合して第２の符号化データを生成する符号化データ変換／併合手段と、
前記符号化データ変換／併合手段から供給される前記第２の符号化データに基づいて、前記バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する第２の映像符号化手段とを備え、
前記第１の映像符号化手段は、前記第２の映像符号化手段が扱う第２符号化処理に包含される第１符号化処理を扱う機能を有し、
前記符号化データ変換／併合手段は、前記第１符号化処理による符号化データを前記第２符号化処理に対応する符号化データに変換し、当該変換の際に所定条件が成立すると、前記第２符号化処理おける周波数変換／量子化ブロックを統合する
ことを特徴とする映像符号化装置。
【請求項２】
所定条件は、第１の符号化データの周波数変換係数が全てゼロであることである
請求項１に記載の映像符号化装置。
【請求項３】
前記符号化データ変換／併合手段は、第２符号化処理に対応するブロックサイズを超えない範囲内で、前記第２符号化処理おける周波数変換／量子化ブロックを統合する
請求項１または請求項２に記載の映像符号化装置。
【請求項４】
前記符号化データ変換／併合手段は、第１の符号化データのH.264/AVC 規格によるcbp（符号化ブロックパターン）に基づいて、前記第１の符号化データの周波数変換係数が全てゼロであるか否かを判定する
請求項２または請求項３に記載の映像符号化装置。
【請求項５】
入力画像を符号化して第１の符号化データを生成し、
前記入力画像を格納するバッファに格納し、
前記第１の符号化データを変換した後に併合して第２の符号化データを生成し、
前記第１の符号化データを生成する手段が扱う第１符号化処理を包含する第２符号化処理を扱う機能を有する手段を用いて、前記第２の符号化データに基づいて、前記バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成し、
前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理に対応する符号化データに変換し、当該変換の際に所定条件が成立すると、前記第２符号化処理おける周波数変換／量子化ブロックを統合する
ことを特徴とする映像符号化方法。
【請求項６】
所定条件は、第１の符号化データの周波数変換係数が全てゼロであることである
請求項５に記載の映像符号化方法。
【請求項７】
第２符号化処理に対応するブロックサイズを超えない範囲内で、前記第２符号化処理おける周波数変換／量子化ブロックを統合する
請求項５または請求項６に記載の映像符号化方法。
【請求項８】
第１の符号化データのcbp（符号化ブロックパターン）に基づいて、前記第１の符号化データの周波数変換係数が全てゼロであるか否かを判定する
請求項６または請求項７に記載の映像符号化方法。
【請求項９】
コンピュータに、
入力画像を符号化して第１の符号化データを生成する符号化処理と、
前記入力画像を格納するバッファに格納する処理と、
前記第１の符号化データを変換した後に併合して第２の符号化データを生成する符号化処理と、
前記第１の符号化データを生成する処理で扱う第１符号化処理を包含する第２符号化処理を扱う処理によって、前記第２の符号化データに基づいて、前記バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する処理とを実行させ、
前記第２の符号化データを生成する際に、前記第１符号化処理による符号化データを前記第２符号化処理による符号化データに変換させ、当該変換の際に所定条件が成立すると、前記第２符号化処理おける周波数変換／量子化ブロックを統合させる
ための映像符号化プログラム。
【請求項１０】
所定条件は、第１の符号化データの周波数変換係数が全てゼロであることである
請求項９に記載の映像符号化プログラム。
【請求項１１】
コンピュータに、
第２符号化処理に対応するブロックサイズを超えない範囲内で、前記第２符号化処理おける周波数変換／量子化ブロックを統合させる
請求項９または請求項１０に記載の映像符号化プログラム。
【請求項１２】
コンピュータに、
第１の符号化データのcbp（符号化ブロックパターン）に基づいて、前記第１の符号化データの周波数変換係数が全てゼロであるか否かを判定させる
請求項１０または請求項１１に記載の映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。
【背景技術】
【０００２】
非特許文献１に基づいた映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一となる。【０００３】
CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測およびフレーム間予測を説明する。【０００４】
イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。非特許文献１では、図27に示す33種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図27に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。非特許文献１では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUという。【０００５】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測ともいう。図28は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUという。【０００６】
各CUがイントラCU／インターCUのいずれであるかは、非特許文献１に記載されるpred_mode_flagシンタクスによってシグナリングされる。【０００７】
イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【０００８】
図29を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００９】
図29に示す映像符号化装置は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、推定器1025、およびエントロピー符号化器1056を備える。【００１０】
図30は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図31は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献１に記載されるsplit_cu_flag シンタクスによってシグナリングされる。【００１１】
図32は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献１に記載されるpart_mode シンタクスによってシグナリングされる。【００１２】
図33は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root） はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献１に記載されるsplit_tu_flag シンタクスによってシグナリングされる。【００１３】
推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。【００１４】
非特許文献２は、ラグランジュ乗数λに基づいた符号化コストJ を最小とする、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどの決定方法を開示している。【００１５】
以下、非特許文献２の4.8.3 節 Intra/Inter/PCM mode decisionを参照して、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値の決定プロセスを簡単に説明する。【００１６】
同節には、CUのpred_mode_flagシンタクス値およびpart_mode シンタクス値を決定する、CUモード決定プロセスが開示されている。また、CUモード決定プロセスを再帰的に実行することによってsplit_cu_flag シンタクス値を決定するCU分割形状決定プロセスが開示されている。【００１７】
まず、CUモード決定プロセスを説明する。インター予測のPU分割形状候補の集合をInterCandidate、イントラ予測のPU分割形状候補の集合をIntraCandidate、ある符号化モード（mode）に対する２乗誤差和（SSE: Sum of Square Error）符号化コストJSSE(mode)を以下のように定義する。【００１８】
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN } 
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN} 
JSSE(mode) = DSSE(mode) + λmode・Rmode(mode)【００１９】
【数１】
2015118835.tif 000003
【００２０】
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いて符号化した際に得られる再構築画像信号との２乗誤差和、modeを用いて符号化した際に発生するCUビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。【００２１】
CUモード決定プロセスは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするpred_mode_flagシンタクスおよびpart_mode シンタクスの組であるbestPUmodeを選択する。定式的には、CUモード決定プロセスを以下で定義できる。【００２２】
【数２】
2015118835.tif 000004
【００２３】
PUCandidate = { InterCandidate, IntraCandidate } 【００２４】
次に、CU分割形状決定プロセスを説明する。【００２５】
図31に示されたように、あるCUDepth のCU （以下、ノードという）のSSE 符号化コストは、該ノードのbestPUmodeのSSE 符号化コストである。つまり、ノードのSSE 符号化コスト JSSE(node, CUDepth) を、以下のように定義できる。【００２６】
【数３】
2015118835.tif 000005
【００２７】
CUDepth のCUのｉ番目（１≦ｉ≦４）の子CU （以下、子ノードやリーフなどという）のSSE 符号化コストは、CUDepth+1のｉ番目のCUのSSE 符号化コストである。つまり、ｉ番目のリーフのSSE 符号化コストJSSE(leaf(i), CUDepth)は、以下のように定義できる。【００２８】
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)【００２９】
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを４つの子CUに分割するか否かを決定できる。JSSE(node, CUDepth)  が下記の（１）式の値よりも大きい場合、CUを４つの子CUに分割する（split_cu_flag=1 と決定する）。JSSE(node, CUDepth)  が（１）式の値以下の場合、CUを４つの子CUに分割しない（split_cu_flag=0 と決定する）。【００３０】
【数４】
2015118835.tif 000006
【００３１】
CUクアッドツリー構造決定プロセスは、上述した比較をCUDepth毎に再帰的に実行し、CTUのクアッドツリー構造を決定する。つまり、CUDepth毎にリーフのsplit_cu_flag を決定する。【００３２】
ラグランジュ乗数λに基づいた符号化コストJ を最小化することで、推定器1025は、同様に、split_tu_flag 、イントラ予測方向、動きベクトルなどを決定する。【００３３】
予測器1024は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【００３４】
周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００３５】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【００３６】
エントロピー符号化器1056は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。【００３７】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【００３８】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
【先行技術文献】
【特許文献】
【００３９】
【特許文献１】特開２０１２−１０４９４０号公報
【特許文献２】特開２００１−３５９１０４号公報
【非特許文献】
【００４０】
【非特許文献１】High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 14-23 January 2013
【非特許文献２】High efficiency video coding (HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012
【非特許文献３】ITU-T H.264 2011/06
【発明の概要】
【発明が解決しようとする課題】
【００４１】
split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどを決定する全ての映像符号化処理の負荷が特定の推定器に集中する。【００４２】
本発明は、映像符号化装置における処理負荷を分散することを目的とする。【００４３】
なお、特許文献１には、第１符号化部と第２符号化部とを備えた映像符号化装置が記載されている。また、特許文献２には、復号器と符号化器とを備えたトランスコーディング装置が記載されている。しかし、いずれの文献にも、映像符号化装置における負荷を分散するための技術は開示されていない。
【課題を解決するための手段】
【００４４】
本発明による映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、入力画像を格納するバッファと、第１の映像符号化手段が生成した第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合手段と、符号化データ変換／併合手段から供給される第２の符号化データに基づいて、バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する第２の映像符号化手段とを備え、第１の映像符号化手段は、第２の映像符号化手段が扱う第２符号化処理に包含される第１符号化処理を扱う機能を有し、符号化データ変換／併合手段は、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換し、当該変換の際に、所定条件が成立すると、第２符号化処理おける周波数変換／量子化ブロックを統合することを特徴とする。【００４５】
本発明による映像符号化方法は、入力画像を符号化して第１の符号化データを生成し、入力画像を格納するバッファに格納し、第１の符号化データを変換した後に併合して第２の符号化データを生成し、第１の符号化データを生成する手段が扱う第１符号化処理を包含する第２符号化処理を扱う機能を有する手段を用いて、第２の符号化データに基づいて、バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成し、第２の符号化データを生成する際に、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換し、当該変換の際に、所定条件が成立すると、第２符号化処理おける周波数変換／量子化ブロックを統合することを特徴とする。【００４６】
本発明による映像符号化プログラムは、コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、入力画像を格納するバッファに格納する処理と、第１の符号化データを変換した後に併合して第２の符号化データを生成する処理と、第１の符号化データを生成する処理で扱う第１符号化処理を包含する第２符号化処理を扱う処理によって、第２の符号化データに基づいて、バッファに格納された入力画像を符号化するシンタクス値を推定してそのビットストリームを生成する処理とを実行させ、第２の符号化データを生成する際に、第１符号化処理による符号化データを第２符号化処理による符号化データに変換させ、当該変換の際に、所定条件が成立すると、第２符号化処理おける周波数変換／量子化ブロックを統合させることを特徴とする。
【発明の効果】
【００４７】
本発明によれば、映像符号化処理の計算負荷が第１の映像符号化手段と第２の映像符号化手段とに分配されるので、負荷の集中を避けることができる。また、第２の映像符号化手段における符号化効率をより向上させることができる。
【図面の簡単な説明】
【００４８】
【図１】映像符号化装置の第１の実施形態を示すブロック図である。
【図２】AVC 符号化データを示す説明図である。
【図３】マクロブロック中のブロックアドレスのための説明図である。
【図４】予測の種類を説明するための説明図である。
【図５】予測の種類を説明するための説明図である。
【図６】AVC 方式のTreeの予測形状を示す説明図である。
【図７】HEVC符号化データであるHEVCCBを示す説明図である。
【図８】I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図９】P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図１０】B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図１１】HEVCCBの例を示す説明図である。
【図１２】HEVCCBの例を示す説明図である。
【図１３】TUの拡張例を示す説明図である。
【図１４】第１の実施形態の映像符号化装置の動作を示すフローチャートである。
【図１５】映像符号化装置の第２の実施形態を示すブロック図である。
【図１６】第２の実施形態の映像符号化装置の動作を示すフローチャートである。
【図１７】映像符号化装置の第３の実施形態を示すブロック図である。
【図１８】第３の実施形態の映像符号化装置の動作を示すフローチャートである。
【図１９】画面分割の例を示す説明図である。
【図２０】分割画面を並列処理する映像符号化装置を示すブロック図である。
【図２１】入力ビットストリームをトランスコードする映像符号化装置を示すブロック図である。
【図２２】本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図２３】本発明による映像符号化装置の主要部を示すブロック図である。
【図２４】本発明による他の映像符号化装置の主要部を示すブロック図である。
【図２５】本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。
【図２６】本発明による別の映像符号化装置の主要部を示すブロック図である。
【図２７】33種類の角度イントラ予測の例を示す説明図である。
【図２８】フレーム間予測の例を示す説明図である。
【図２９】一般的な映像符号化装置の構成を示す説明図である。
【図３０】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図３１】CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。
【図３２】CUのPU分割例を示す説明図である。
【図３３】CUのTU分割例を示す説明図である。
【発明を実施するための形態】
【００４９】
実施形態１．
図１は、本実施形態の映像符号化装置の構成を示すブロック図である。図1 に示す映像符号化装置において、前段映像符号化器102 が、16×16画素のLCU サイズのCTU と等価であるマクロブロックをサポートするAVC（Advanced Video Coding）映像符号化器であり、後段映像符号化器105が、16×16画素だけでなく32×32画素および64×64画素のCTU をサポートする、背景技術としてのHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる最大LCU サイズは、後段映像符号化器105 が対応できる最大LCUサイズ以下である。
【００５０】
本実施形態の映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。
【００５１】
サイズ拡張器101は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。
【００５２】
サイズ拡張器101 は、サイズ拡張された入力画像を前段映像符号化器102 およびバッファ103 に供給する。前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。
【００５３】
前段映像符号化器102 の構成と動作を説明する。
【００５４】
前段映像符号化器102 は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器（前段推定器）1025を備える。
【００５５】
推定器1025は、サイズ拡張された入力画像とバッファ1023に格納された再構築画像とを用いて、サイズ拡張された入力画像を構成する各マクロブロックのAVC 符号化データを決定する。本明細書において、AVC 符号化データ（AVCMB ）は、図2 に示される、マクロブロックに対応する16×16画素領域のDCT 係数を除く符号化データ（mb_type、sub_mb_type、ref_idx_l0、ref_idx_l1、mv_l0、mv_l1、intra_lumaNxN_pred、transform_size_8x8_flag、cbp ）を含む。ここで、mb_type  およびsub_mb_type  は、それぞれ、非特許文献３のTable 7-11、Table 7-13、Table 7-14で定義されるマクロブロックの符号化モード、および非特許文献３のTable 7-17およびTable 7-18で定義されるサブマクロブロックの符号化モードを示す。また、ref_idx_lx (x=0/1)、mv_lx 、intra_lumaNxN_pred、およびtransform_size_8x8_flag は、それぞれ、参照ピクチャリストx の参照ピクチャインデックス、参照ピクチャリストx の動きベクトル、輝度イントラ予測方向、および、マクロブロックが8×8DCT で符号化されたか否かのフラグを示す。また、cbp（Coded Block Pattern：符号化ブロックパターン ）は、マクロブロックに予測誤差の周波数変換係数が存在するか否か、すなわち周波数変換係数が全てゼロであるか否かのフラグを示す。
【００５６】
上述したように、マクロブロックが16×16画素であり、さらに、AVC 方式における最小処理単位が4×4画素であることに着目すると、各マクロブロックにおける各AVC 符号化データの位置は、マクロブロック中の16×16ブロックアドレスb8（0≦b8≦3）（図3 における上段）と、8×8ブロック中のブロックアドレスb4（0≦b4≦3）（図3 における下段）との組によって定義される。例えば、マクロブロック内で(x,y)=(4,4) の位置のintra_lumaNxN_predは、(b8,b4)=(0,3) となり、intra_lumaNxN_pred[0][3]に格納することができる。
【００５７】
推定器1025は、決定した各マクロブロックのAVC 符号化データを予測器1024および符号化データ変換器104 に出力する。
【００５８】
予測器1024は、推定器1025が決定したmb_type シンタクス値、sub_mb_type シンタクス値、ref_idx_l0シンタクス値、ref_idx_l1シンタクス値、mv_l0 シンタクス値、mv_l1 シンタクス値、および、intra_lumaNxN_predシンタクス値に基づいて、各マクロブロックのサイズ拡張された入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。
【００５９】
AVC 方式のイントラ予測については、非特許文献３に記載されているように、mb_type によって定義される、3 種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16 がある。
【００６０】
図4(a)，(c)を参照すると、Intra_4x4 とIntra_8x8 とはそれぞれ4×4ブロックサイズと8×8ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。
【００６１】
Intra_4x4 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図4(b)に示す9 種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_8x8 のイントラ予測では、図4(c)における右矢印の直下に記載されているローパスフィルタ（1/2 ，1/4 ，1/2 ）によって再構築画像の周辺画素が平滑化された画素を参照画素として図4(b)に示す9 種類の方向に参照画素を外挿して予測信号が形成される。
【００６２】
図5(a)を参照すると、Intra_16x16 は16×16ブロックサイズのイントラ予測であることがわかる。図4 に示された例と同様に、図5 において、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。Intra_16x16 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図5(b)に示す4 種類の方向に参照画素を外挿して予測信号が形成される。
【００６３】
AVC 方式のフレーム間予測については、図6 に記載されているように、mb_type によって定義される、16×16，16×8 ，8×16 Tree の予測形状がある。マクロブロックがTreeの場合、各8×8サブマクロブロックは、sub_mb_type によって定義される、8×8，8×4, 4×8，4×4のいずれかの予測形状となる。本明細書では、説明を簡略化するために、mb_type がTreeの場合（P_8x8またはB_8x8）の場合、各8×8サブマクロブロックは8×8だけに限定されるとする。
【００６４】
周波数変換／量子化器1021は、推定器1025が決定したmb_type シンタクス値およびtransform_size_8x8_flag シンタクス値に基づいて、サイズ拡張された入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。
【００６５】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。
【００６６】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。
【００６７】
上述した動作に基づいて、前段映像符号化器102はサイズ拡張された入力画像信号を符号化する。
【００６８】
符号化データ変換器104は、各マクロブロックのAVCMBを、図7 に示すマクロブロックに対応する16×16画素の領域のHEVC符号化データ（cu_size ，tu_size ，pred_mode_flag，part_mode ，ref_idx_l0，ref_idx_l1，mv_l0 ，mv_l1 ，intra_lumaNxN_pred，intra_chroma_pred ）であるHEVCCBに変換する。ただし、ここで、cu_size およびtu_size は、それぞれ、CUサイズおよびTUサイズを示す。
【００６９】
図8 〜図10において、V は垂直方向を意味し、H は水平方向を意味する。また、各行は、各々のmb_typeおよびintra_lumaNxN_predに対する変換ルールを示す。
【００７０】
HEVC方式において、LCUの最小サイズが16×16画素、SCUの最小サイズが8×8画素、最小処理単位が4×4画素であることに着目すると、16×16画素単位でHEVC符号化データを管理できる。各16×16画素におけるHEVC符号化データの位置は、AVC 符号化データと同様に、マクロブロック中の8×8ブロックアドレスb8（0≦b8≦3）と8×8ブロック中のブロックアドレスb4（0≦b4≦3）の組によって定義できる。
【００７１】
例えば、CUサイズが16の場合、各16×16画素におけるHEVC符号化データのcu_size[b8] （0≦b8≦3）は、すべて16となる。
【００７２】
図8 に示すI_SLICE マッピング、図9 に示すP_SLICE マッピング、および図10に示すB_SLICE マッピングのそれぞれは、符号化データ変換器104 による、各AVCMBをHEVCCBにマッピング（変換）するルールをピクチャタイプ別に示す。
【００７３】
続いて、符号化データ変換器104 は、図11に示される、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、ならびに、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、４個のHEVCCBのcu_size を32に更新する。
【００７４】
さらに、符号化データ変換器104 は、図12に示される、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、および、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。具体的には、１６個のHEVCCBのcu_size を64に更新する。
【００７５】
また、符号化データ変換器104 は、TUの統合も行う。AVCMBをHEVCCBに変換する際、符号化データ変換器104 は、HEVCCBのtu_size をAVCMBのtransform_size_8x8_flag に基づいて決定する。従って、HEVCCBのtu_size は、４または８となる。そのため、後段映像符号化器105 において、8×8よりも大きなTUを利用することができない。そこで、符号化データ変換器104 は、マクロブロック（16×16画素ブロック）に予測誤差の周波数変換係数が存在しない場合、つまり、AVCMBのcbp が0である場合、以下のようにTUを統合する。
【００７６】
まず、符号化データ変換器104 は、AVCMBのtransform_size_8x8_flag が0であって、AVCMBのcbp が0である場合には、図13(a)に示すようなTUの統合を行う。具体的には、HEVCCBのtu_size を4から16に更新する。また、AVCMBのtransform_size_8x8_flag が1であって、AVCMBのcbp が0である場合には、図13(b)に示すようなTUの統合を行う。具体的には、HEVCCBのtu_size を8から16に更新する。
【００７７】
このように、TUを統合することにより、周波数変換係数が存在しない、つまり予測誤差信号に急峻な変化がない符号化対象ブロックのtu_size が拡張され、後段映像符号化器105 において8×8よりも大きなTUを用いることが可能となる。よって、後段映像符号化器105 における符号化効率が向上する。
【００７８】
さらに、符号化データ変換器104 は、隣接する4個のAVCMBのcbp が0である場合には、図13(c)に示すように、当該AVCMBに対応するHEVCCBのtu_size を16から32に更新する。なお、HEVC方式におけるTUの最大サイズは32×32であるので、符号化データ変換器104 は、隣接する16個のAVCMBのすべてのcbp が0であっても、当該AVCMBに対応するHEVCCBのtu_size を32から64に更新しない。つまり、符号化データ変換器104 は、TUの統合において、tu_sizeを32より大きいサイズに更新しない。
【００７９】
後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。なお、本実施形態の後段映像符号化器105 は、入力画像src を、SCU の倍数ではなく、前段映像符号化器102 のマクロブロックサイズの倍数とする。画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるためである。
【００８０】
後段映像符号化器105 の構成と動作を説明する。
【００８１】
後段映像符号化器105 は、周波数変換／量子化器1051、逆量子化／逆周波数変換器1052、バッファ1053、予測器1054、推定器（後段推定器）1055、およびエントロピー符号化器1056を備える。
【００８２】
本実施形態の後段映像符号化器105 における推定器1055は、CTU 毎に、split_cu_flag を、HEVC符号化データのcu_size に従って確定できる。例えば、cu_size=64の場合、CUDepth=0 のsplit_cu_flag を0 にすればよい。同様に、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、CUのイントラ予測/インター予測およびPU分割形状を確定できる。もちろん、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、PUのイントラ予測方向、および動きベクトルなどを確定できる。また同様に、推定器1055は、CU 毎に、split_tu_flag を、HEVC符号化データのtu_size に従って確定できる。つまり、背景技術の推定器のように、ラグランジュ乗数λに基づいた符号化コストJ を最小とする符号化パラメータを網羅的に探索する必要がない。
【００８３】
予測器1054は、推定器1055が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはフレーム間予測に基づいて生成される。
【００８４】
周波数変換／量子化器1051は、推定器1055がHEVC符号化データのtu_size に従って確定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。
【００８５】
さらに、周波数変換／量子化器1051は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。
【００８６】
エントロピー符号化器1056は、推定器1055が確定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。
【００８７】
逆量子化／逆周波数変換器1052は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1052は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1053に供給される。バッファ1053は、再構築画像を格納する。
【００８８】
上述した動作に基づいて、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。
【００８９】
図14のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。
【００９０】
ステップS101において、サイズ拡張器101は、入力画像を前段映像符号化器102 のマクロブロックサイズである16の倍数にサイズ拡張する。
【００９１】
ステップS102において、前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。
【００９２】
ステップS103において、符号化データ変換器104 は、サイズ拡張された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。また、符号化データ変換器104 は、TUの統合を行う。
【００９３】
ステップS104において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【００９４】
上述した本実施形態の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。
【００９５】
なお、本実施形態では、前段映像符号化器102 をAVC 映像符号化器としたが、AVC 映像符号化器は一例である。前段映像符号化器102 は、16×16画素のCTUをサポートするHEVC映像符号化器であってもよい。その場合、符号化データ変換器104 は、上述したAVC 符号化データをHEVC符号化データに変換する処理をスキップすればよい。
【００９６】
また、本実施形態の符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 2N×N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32および2N×N に更新してもよい。
【００９７】
［32×32 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側２つのHEVCCB動き情報が同一である
・下側２つのHEVCCB動き情報が同一である
【００９８】
同様に、本実施形態の符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 N×2N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32およびN×2N に更新してもよい。
【００９９】
［32×32 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flag が0 である
・すべてのHEVCCB動き情報が同一でない
・左側２つのHEVCCB動き情報が同一である
・右側２つのHEVCCB動き情報が同一である
【０１００】
さらに、本実施形態の符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 2N×N 条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64および2N×N に更新してもよい。
【０１０１】
［64×64 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側8つのHEVCCB動き情報が同一である
・下側8つのHEVCCB動き情報が同一である
【０１０２】
同様に、本実施形態の符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 N×2N条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64およびN×2N に更新してもよい。
【０１０３】
［64×64 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・左側８つのHEVCCB動き情報が同一である
・右側８つのHEVCCB動き情報が同一である
【０１０４】
実施形態２．
図15は、前段映像符号化器102 が、4:2:0 8-bit の入力フォーマットをサポートする、AVC 映像符号化器であり、後段映像符号化器105 がHEVC映像符号化器である、4:2:0 10-bitの入力フォーマットをサポートする第２の実施形態の映像符号化装置の構成を示すブロック図である。
【０１０５】
本実施形態の映像符号化装置は、サイズ拡張器101 、画素ビット深度変換器106 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。
【０１０６】
サイズ拡張器101は、4:2:0 10-bitの入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088) となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す512 ）でもよい。
【０１０７】
画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。ビット深度変換において、LSB 2bitを右シフトで切り捨ててもよいし、四捨五入を用いて丸めてもよい。
【０１０８】
前段映像符号化器102 は、第１の実施形態の場合と同様に、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。
【０１０９】
符号化データ変換器104 は、画素ビット深度変換器106 から供給される16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換する。
【０１１０】
続いて、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0， ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。
【０１１１】
さらに、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0， ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。
【０１１２】
また、符号化データ変換器104 は、第１の実施形態の場合と同様に、TUの統合を行う。
【０１１３】
後段映像符号化器105 は、第１の実施形態の場合と同様に、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103から供給される16の倍数に拡張された4:2:0 10-bitの入力画像src をHEVC方式で符号化し、ビットストリームを出力する。
【０１１４】
図16のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。
【０１１５】
ステップS201において、画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。
【０１１６】
ステップS202において、前段映像符号化器102 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。
【０１１７】
ステップS203において、符号化データ変換器104 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、HEVCCBの併合を行う。また、符号化データ変換器104 は、TUの統合を行う。
【０１１８】
ステップS204において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される16の倍数に拡張された4:2:0 10-bitの入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１１９】
上述した動作に基づいて、本実施形態の映像符号化装置は4:2:0 10-bitの入力フォーマットに対するビットストリームを生成する。
【０１２０】
上述した本実施形態の映像符号化装置は、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。
【０１２１】
なお、本実施形態では、前段映像符号化器102 を4:2:0 8-bit の入力フォーマットをサポートするAVC 映像符号化器としたが、AVC 映像符号化器は一例である。前段映像符号化器102 は、4:2:0 8-bitの入力フォーマットをサポートするHEVC映像符号化器であってもよい。その場合、符号化データ変換器104 は、上述したAVC 符号化データをHEVC符号化データに変換する処理とHEVC符号化データに対する併合処理とをスキップすればよい。
【０１２２】
また、本実施形態では、画素ビット深度変換器106 は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された入力画像の画素ビット深度を低減したが、映像符号化装置に入力される入力画像の画素ビット深度を低減するようにしてもよい。その場合には、サイズ拡張器101 は設けられない。
【０１２３】
実施形態３．
図17は、HDTV（High Definition Television）規格の2160p （4K） の入力フォーマットをサポートする第３の実施形態の映像符号化装置の構成を示すブロック図である。第３の実施形態では、前段映像符号化器102 は、1080p （2K）の入力フォーマットをサポートするAVC 映像符号化器である。後段映像符号化器105 がHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる空間解像度は、後段映像符号化器105 における空間解像度未満である。
【０１２４】
本実施形態の映像符号化装置は、ダウンサンプリング器107 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。
【０１２５】
ダウンサンプリング器107 は、2160p の入力画像src （src_pic_width =3840, src_pic_height=2160 ）を1080p （src_pic_width =1920, src_pic_height=1080）に縮小する。さらに、ダウンサンプリング器107 は、1080p に縮小された入力画像の幅src_pic_width および高さsrc_pic_heightを16の倍数に拡張する。なお、拡張された領域の画素値は、1080p に縮小された入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 （入力画像が8-bit の場合））でもよい。
【０１２６】
前段映像符号化器102 は、第１の実施形態の場合と同様に、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。
【０１２７】
符号化データ変換器104 は、第１の実施形態の場合と同様に、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像の各マクロブロックのAVC 符号化データを変換し、HEVCCBに変換する。ただし、本実施形態の符号化データ変換器104は、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮し、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値と垂直成分の値とを２倍にする。
【０１２８】
続いて、符号化データ変換器104 は、第１の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮し、符号化データ変換器104 は、４個のHEVCCBのcu_size を64に更新する。
【０１２９】
また、符号化データ変換器104 は、第１の実施形態の場合と同様に、TUの統合を行う。ただし、本実施形態の符号化データ変換器104 は、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮し、AVCMBのcbp が0である場合、HEVCCBのtu_size を32に更新する。
【０１３０】
なお、HEVC方式におけるTUの最大サイズは32×32であるので、符号化データ変換器104 は、隣接するAVCMBのcbp が0であっても、HEVCCBのtu_size を32より大きいサイズに更新しない。
【０１３１】
後段映像符号化器105 は、第1実施形態の場合と同様に、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１３２】
図18のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。
【０１３３】
ステップS301において、ダウンサンプリング器107 は、2160p の入力画像を1080p に縮小し、1080p に縮小された入力画像の幅および高さを16の倍数にサイズ拡張する。
【０１３４】
ステップS302において、前段映像符号化器102 は、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。
【０１３５】
ステップS303において、符号化データ変換器104 は、ダウンサンプリング器107 から供給される1080p に縮小されて16の倍数に拡張された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換し、さらにHEVCCBの併合を行う。また、符号化データ変換器104 は、TUの統合を行う。
【０１３６】
ステップS304において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１３７】
上述した本実施形態の映像符号化装置は、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。
【０１３８】
なお、上述した本実施形態の後段映像符号化器105 は、動きベクトルの水平成分の値と垂直成分の値とが２倍になっていることを考慮し、HEVC符号化データの動きベクトルの周辺±1 の範囲の動きベクトルをさらに探索してもよい。
【０１３９】
また、本実施形態の後段映像符号化器105 は、画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるために、2160p の入力画像src をSCU の倍数ではなく前段映像符号化器102 のマクロブロックサイズの倍数（32の倍数）で符号化してもよい。
【０１４０】
本実施形態において、2160p  （4K） の入力フォーマットをサポートする映像符号化装置を例にしたが、同様の構成によって、4320p  （8K） の入力フォーマットをサポートすることも可能である。その場合、符号化データ変換器104 は、AVC 符号化データをHEVC符号化データに変換する際に、水平解像度および垂直解像度が４分の１になっていることを考慮し、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値および垂直成分の値を４倍にすればよい。また、1080p の16×16画素が、4320p の64×64画素に対応することを考慮し、上述したHEVC符号化データに対する併合処理をスキップすればよい。
【０１４１】
上記の各実施形態では、１つの前段映像符号化手段と１つの後段映像符号化手段との組を用いて入力画像を符号化した。しかし、例えば、図19に示すように入力画像を４つの画面に分割し、４つの前段映像符号化器と４つの後段映像符号化器を用いて、４つの各分割画面を並列処理する映像符号化装置に本発明を適用できる。
【０１４２】
図20は、分割画面を並列処理する映像符号化装置の構成例を示すブロック図である。図20に示す映像符号化装置は、入力画像を４つの画面に分割する画面分割器1081、各分割画面について符号化を行う前段映像符号化器102A ，102B ，102C ，102D 、バッファ103 、符号化データ変換器104 、バッファ103 から供給される入力画像を４つの画面に分割する画面分割器1082、各分割画面について符号化を行う後段映像符号化器105A ，105B ，105C ，105D 、および、後段映像符号化器105A ，105B ，105C ，105D からの符号化データを多重してビットストリームを出力する多重化器109 とを備える。
【０１４３】
前段映像符号化器102A ，102B ，102C ，102D の機能は、上記の各実施形態における前段映像符号化器102 の機能と同じである。後段映像符号化器105A ，105B ，105C ，105D の機能は、上記の各実施形態における後段映像符号化器105 の機能と同じである。
【０１４４】
バッファ103 および符号化データ変換器104 の機能は、上記の各実施形態での機能と同じである。ただし、本実施形態では、符号化データ変換器104 は、４つの前段映像符号化器102A ，102B ，102C ，102D が出力する符号化データの各々を変換して、後段映像符号化器105A ，105B ，105C ，105D に供給する。
【０１４５】
上述した実施形態では、後段映像符号化器105 は入力画像を符号化した。しかし、入力ビットストリームをトランスコードする映像符号化装置に本発明を適用できる。
【０１４６】
図21は、入力ビットストリームをトランスコードする映像符号化装置の構成例を示すブロック図である。図21に示すように、前段映像符号化器102 が映像復号器110 に置き換えられ、映像復号器110 がビットストリームを復号してバッファ103 に格納する復号画像を後段映像符号化器105 が符号化する。
【０１４７】
映像復号器110 は、ビットストリームに含まれる予測パラメータおよび変換量子化値をエントロピー復号して、逆量子化／逆周波数変換器1102および予測器1103に供給するエントロピー復号器1101を備える。逆量子化／逆周波数変換器1102は、変換量子化値を逆量子化し、逆量子化した周波数変換係数を逆周波数変換する。予測器1103は、エントロピー復号した予測パラメータに基づいて、バッファ103 に格納されている再構築画像を用いて予測信号を生成する。
【０１４８】
バッファ103 、符号化データ変換器104 および後段映像符号化器105 の機能は、上記の各実施形態での機能と同じである。
【０１４９】
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１５０】
図22に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１５１】
図22に示された情報処理システムにおいて、プログラムメモリ1002には、実施形態のそれぞれの図面に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の各実施形態に示された映像符号化装置の機能を実現する。
【０１５２】
図23は、本発明による映像符号化装置の主要部を示すブロック図である。図23に示すように、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11（一例として、図1 に示す前段映像符号化器102 ）と、入力画像を格納するバッファ12（一例として、図1 に示すバッファ1023）と、第１の映像符号化部11が生成した第１の符号化データを変換した後、併合して第２の符号化データを生成する符号化データ変換／併合部13（一例として、図1 に示す符号化データ変換器104 ）と、符号化データ変換／併合部13から供給される第２の符号化データに基づいて、バッファ12に格納された入力画像を符号化してビットストリームを生成する第２の映像符号化部14（一例として、図1 に示す後段映像符号化器105 ）を備える。第１の映像符号化部11は、第２の映像符号化部14が扱う第２符号化処理と異なる第１符号化処理を扱う機能を有し、符号化データ変換／併合部13は、第１符号化処理による符号化データを第２符号化処理に対応する符号化データに変換し、当該変換の際に、所定条件が成立すると、第２符号化処理おける周波数変換／量子化ブロック（一例として、TU ）を統合する。所定条件は、特に、第１の符号化データの周波数変換係数が全てゼロであることである。符号化データ変換／併合部13は、特に、第２符号化処理に対応するブロックサイズを超えない範囲内で、第２符号化処理おける周波数変換／量子化ブロックを統合する。符号化データ変換／併合部13は、特に、H.264/AVC 規格による第１の符号化データのcbp（符号化ブロックパターン）に基づいて、第１の符号化データの周波数変換係数が全てゼロであるか否かを判定する。
【０１５３】
図24は、本発明による他の映像符号化装置の主要部を示すブロック図である。図24に示すように、映像符号化装置は、入力画像のサイズを、第１の映像符号化部11が対応する最大CUサイズの倍数に拡張するサイズ拡張部15をさらに備え、第１の映像符号化部11は、サイズ拡張部15（一例として、図15に示すサイズ拡張器101 ）によってサイズ拡張された入力画像を符号化して第１の符号化データを生成し、バッファ12は、サイズ拡張部15によってサイズ拡張された入力画像を格納するように構成されていてもよい。なお、第１の映像符号化部11が対応する最大CUサイズは、第２の映像符号化部14が対応する最大CUサイズ以下である。
【０１５４】
図25は、本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。図25に示すように、映像符号化装置は、入力画像の画素ビット深度を低減する画素ビット深度変換部16をさらに備え、第１の映像符号化部11は、画素ビット深度変換部16によって画素ビット深度が低減された入力画像を符号化するように構成されていてもよい。なお、第１の映像符号化部11が対応する画素ビット深度は、第２の映像符号化部14が対応する画素ビット深度以下である。
【０１５５】
図26は、本発明による別の映像符号化装置の主要部を示すブロック図である。図26に示すように、映像符号化装置は、入力画像の空間解像度を低減するダウンサンプリング部17をさらに備え、第１の映像符号化部11は、ダウンサンプリング部17によって空間解像度が低減された入力画像を符号化して第１の符号化データを生成し、符号化データ変換／併合部13は、第１の映像符号化部11と第２の映像符号化部14が符号化するそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成するように構成されていてもよい。なお、第１の映像符号化部11が対応する空間解像度は、第２の映像符号化部14が対応する空間解像度以下である。
【０１５６】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１５７】
この出願は、２０１４年２月１０日に出願された日本特許出願２０１４−０２３０８８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１５８】
11  第１の映像符号化部
12，103，1023，1053  バッファ
13  符号化データ変換／併合部
14  第２の映像符号化部
15  サイズ拡張部
16  画素ビット深度変換部
17  ダウンサンプリング部
101  サイズ拡張器
102，102A，102B，102C，102D  前段映像符号化器
104  符号化データ変換器
105，105A，105B，105C，105D  後段映像符号化器
106  画素ビット深度変換器
107  ダウンサンプリング器
109  多重化器
110  映像復号器
1001  プロセッサ
1002  プログラムメモリ
1003，1004  記憶媒体
1021，1051  周波数変換／量子化器
1022，1052，1102  逆量子化／逆周波数変換器
1024，1054，1103  予測器
1025，1055  推定器
1056  エントロピー符号化器
1081，1082  画面分割器
1101  エントロピー復号器
【図１】
2015118835.tif 000007
【図２】
2015118835.tif 000008
【図３】
2015118835.tif 000009
【図４】
2015118835.tif 000010
【図５】
2015118835.tif 000011
【図６】
2015118835.tif 000012
【図７】
2015118835.tif 000013
【図８】
2015118835.tif 000014
【図９】
2015118835.tif 000015
【図１０】
2015118835.tif 000016
【図１１】
2015118835.tif 000017
【図１２】
2015118835.tif 000018
【図１３】
2015118835.tif 000019
【図１４】
2015118835.tif 000020
【図１５】
2015118835.tif 000021
【図１６】
2015118835.tif 000022
【図１７】
2015118835.tif 000023
【図１８】
2015118835.tif 000024
【図１９】
2015118835.tif 000025
【図２０】
2015118835.tif 000026
【図２１】
2015118835.tif 000027
【図２２】
2015118835.tif 000028
【図２３】
2015118835.tif 000029
【図２４】
2015118835.tif 000030
【図２５】
2015118835.tif 000031
【図２６】
2015118835.tif 000032
【図２７】
2015118835.tif 000033
【図２８】
2015118835.tif 000034
【図２９】
2015118835.tif 000035
【図３０】
2015118835.tif 000036
【図３１】
2015118835.tif 000037
【図３２】
2015118835.tif 000038
【図３３】
2015118835.tif 000039
【国際調査報告】
2015118835.tif 000040
2015118835.tif 000041
2015118835.tif 000042
2015118835.tif 000043