(57)【要約】  映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、入力画像を格納するバッファと、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、第１の映像符号化手段は、入力画像を複数の画像領域に分割する分割手段と、複数のブロックで構成された画像領域の各々に対応し、ブロック単位で符号化を行う少なくとも１個の符号化手段とを含み、符号化手段は、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う。
2015118841.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、
前記第１の映像符号化手段が生成した前記第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、
前記符号化データ変換手段から供給される前記第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、
前記第１の映像符号化手段は、
入力画像を複数の画像領域に分割する分割手段と、
複数のブロックで構成された前記画像領域の各々に対応し、ブロック単位で符号化を行う少なくとも１個の符号化手段とを含み、
前記符号化手段は、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う
ことを特徴とする映像符号化装置。
【請求項２】
前記符号化手段は、動きベクトルを決定するインター予測機能を有する
請求項１記載の映像符号化装置。
【請求項３】
同じブロックを符号化した複数の前記符号化手段による符号化データのいずれかを選択する選択手段をさらに備える
請求項１または請求項２記載の映像符号化装置。
【請求項４】
前記選択手段は、符号化ブロックの周囲のブロックのうち、単一の前記符号化手段で符号化されたブロックであり、かつ、前記符号化ブロックから最も近い位置にあるブロックを符号化対象とする前記符号化手段による符号化データを選択する
請求項３記載の映像符号化装置。
【請求項５】
入力画像を符号化して第１の符号化データを生成し、
前記第１の符号化データを変換して第２の符号化データを生成し、
前記第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、
前記第１の符号化データを生成するときに、
入力画像を複数の画像領域に分割し、
複数のブロックで構成された前記画像領域の各々について、ブロック単位で符号化処理を行い、
各々の画像領域の前記符号化処理を行うときに、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う
ことを特徴とする映像符号化方法。
【請求項６】
前記符号化処理において動きベクトルを決定するインター予測を行う
請求項５記載の映像符号化方法。
【請求項７】
同じブロックを符号化した複数の前記符号化処理による符号化データのいずれかを選択する
請求項５または請求項６記載の映像符号化方法。
【請求項８】
符号化ブロックの周囲のブロックのうち、単一の前記符号化処理で符号化されたブロックであり、かつ、前記符号化ブロックから最も近い位置にあるブロックを符号化対象とする前記符号化処理による符号化データを選択する
請求項７記載の映像符号化方法。
【請求項９】
コンピュータに、
入力画像を符号化して第１の符号化データを生成する処理と、
前記第１の符号化データを変換して第２の符号化データを生成する処理と、
前記第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、
前記第１の符号化データを生成するときに、
入力画像を複数の画像領域に分割する処理と、
複数のブロックで構成された前記画像領域の各々について、ブロック単位で符号化を行う符号化処理と、
各々の画像領域の前記符号化処理を行うときに、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う処理とを
実行させるための映像符号化プログラム。
【請求項１０】
コンピュータに、前記符号化処理において動きベクトルを決定するインター予測を実行させる
請求項９記載の映像符号化プログラム。
【請求項１１】
コンピュータに、同じブロックを符号化した複数の前記符号化処理による符号化データのいずれかを選択する処理を実行させる
請求項９または請求項１０記載の映像符号化プログラム。
【請求項１２】
コンピュータに、符号化ブロックの周囲のブロックのうち、単一の前記符号化処理で符号化されたブロックであり、かつ、前記符号化ブロックから最も近い位置にあるブロックを符号化対象とする前記符号化処理による符号化データを選択させる
請求項１１記載の映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。
【背景技術】
【０００２】
非特許文献１に基づいた映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一となる。【０００３】
CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、イントラ予測およびフレーム間予測を説明する。【０００４】
イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。非特許文献１では、図15に示す33種類の角度イントラ予測が定義されている。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図15に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。非特許文献１では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUという。【０００５】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測ともいう。図16は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUという。【０００６】
各CUがイントラCU／インターCUのいずれであるかは、非特許文献１に記載されるpred_mode_flagシンタクスによってシグナリングされる。【０００７】
イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【０００８】
図17を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【０００９】
図17に示す映像符号化装置は、周波数変換／量子化器1021、エントロピー符号化器1056、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器1025を備える。【００１０】
図18は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図19は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献１に記載されるsplit_cu_flag シンタクスによってシグナリングされる。【００１１】
図20は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献１に記載されるpart_mode シンタクスによってシグナリングされる。【００１２】
図21は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root） はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献１に記載されるsplit_tu_flag シンタクスによってシグナリングされる。【００１３】
推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。【００１４】
非特許文献２は、ラグランジュ乗数λに基づいた符号化コストJ を最小とする、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどの決定方法を開示している。【００１５】
以下、非特許文献２の4.8.3 節 Intra/Inter/PCM mode decisionを参照して、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値の決定プロセスを簡単に説明する。【００１６】
同節には、CUのpred_mode_flagシンタクス値およびpart_mode シンタクス値を決定する、CUモード決定プロセスが開示されている。また、CUモード決定プロセスを再帰的に実行することによってsplit_cu_flag シンタクス値を決定するCU分割形状決定プロセスが開示されている。【００１７】
まず、CUモード決定プロセスを説明する。インター予測のPU分割形状候補の集合をInterCandidate、イントラ予測のPU分割形状候補の集合をIntraCandidate、ある符号化モード（mode）に対する２乗誤差和（SSE: Sum of Square Error）符号化コストJSSE(mode)を以下のように定義する。【００１８】
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN } 
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN} 
JSSE(mode) = DSSE(mode) + λmode・Rmode(mode)【００１９】
【数１】
2015118841.tif 000003
【００２０】
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いて符号化した際に得られる再構築画像信号との２乗誤差和、modeを用いて符号化した際に発生するCUビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。【００２１】
CUモード決定プロセスは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするpred_mode_flagシンタクスおよびpart_mode シンタクスの組であるbestPUmodeを選択する。定式的には、CUモード決定プロセスを以下で定義できる。【００２２】
【数２】
2015118841.tif 000004
【００２３】
PUCandidate = { InterCandidate, IntraCandidate } 【００２４】
次に、CU分割形状決定プロセスを説明する。【００２５】
図19に示されたように、あるCUDepth のCU （以下、ノードという）のSSE 符号化コストは、該ノードのbestPUmodeのSSE 符号化コストである。つまり、ノードのSSE 符号化コスト JSSE(node, CUDepth) を、以下のように定義できる。【００２６】
【数３】
2015118841.tif 000005
【００２７】
CUDepth のCUのｉ番目（１≦ｉ≦４）の子CU （以下、子ノードやリーフなどという）のSSE 符号化コストは、CUDepth+1のｉ番目のCUのSSE 符号化コストである。つまり、ｉ番目のリーフのSSE 符号化コストJSSE(leaf(i), CUDepth)は、以下のように定義できる。【００２８】
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)【００２９】
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを４つの子CUに分割するか否かを決定できる。JSSE(node, CUDepth)  が下記の（１）式の値よりも大きい場合、CUを４つの子CUに分割する（split_cu_flag=1 と決定する）。JSSE(node, CUDepth)  が（１）式の値以下の場合、CUを４つの子CUに分割しない（split_cu_flag=0 と決定する）。【００３０】
【数４】
2015118841.tif 000006
【００３１】
CUクアッドツリー構造決定プロセスは、上述した比較をCUDepth毎に再帰的に実行し、CTUのクアッドツリー構造を決定する。つまり、CUDepth毎にリーフのsplit_cu_flag を決定する。【００３２】
ラグランジュ乗数λに基づいた符号化コストJ を最小化することで、推定器1025は、同様に、split_tu_flag 、イントラ予測方向、動きベクトルなどを決定する。【００３３】
予測器1024は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【００３４】
周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００３５】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【００３６】
エントロピー符号化器1056は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。【００３７】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【００３８】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。【００３９】
図17に示す映像符号化装置では、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどを決定する全ての映像符号化処理の負荷が特定の推定器に集中する。
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特開２０１２−１０４９４０号公報
【特許文献２】特開２００１−２８５８７６号公報
【特許文献３】特開２０１１−１８１９８０号公報
【非特許文献】
【００４１】
【非特許文献１】High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 14-23 January 2013
【非特許文献２】High efficiency video coding (HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012
【非特許文献３】ITU-T H.264 2011/06
【発明の概要】
【発明が解決しようとする課題】
【００４２】
本発明の発明者のうちの一部の者は、処理負荷を分散することができる映像符号化装置を提案した（特願２０１３−１８５９９４）。【００４３】
なお、特許文献１には、第１符号化部と第２符号化部とを備えた映像符号化装置が記載されている。しかし、特許文献１には、映像符号化装置における負荷を分散するための技術は開示されていない。また、特許文献２および特許文献３には、一画面を分割し、各々の分割画面（分割で得られた複数の画面の各々）を、対応する符号化器に入力し、各々の符号化器で生成されたビットストリームを統合する映像符号化装置が記載されている。特許文献２に記載された符号化器は、符号化の際に、分割の境界付近のマクロブロックについては、イントラブロックとして符号化し、境界から離れるにつれてイントラブロックの数を減らす。特許文献３に記載された符号化器は、復号側で非重複領域および重複領域の画像を復元する。しかし、特許文献２および特許文献３にも、映像符号化装置における負荷を分散するための技術は開示されていない。【００４４】
図22は、処理負荷を分散することができる映像符号化装置の一例を示すブロック図である。図22に示す映像符号化装置において、前段映像符号化器102 が、16×16画素のLCU サイズのCTU と等価であるマクロブロックをサポートするAVC（Advanced Video Coding）映像符号化器である。前段映像符号化器102 は、非特許文献３に記載されたH.264/AVC 規格にもとづく映像符号化器である。後段映像符号化器105が、16×16画素だけでなく32×32画素および64×64画素のCTU をサポートするHEVC映像符号化器である。後段映像符号化器105は、H.265/HEVC規格にもとづく映像符号化器である。つまり、前段映像符号化器102 が対応できる最大LCU サイズは、後段映像符号化器105 が対応できる最大LCUサイズ以下である。【００４５】
図22に示す映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。【００４６】
サイズ拡張器101は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。【００４７】
サイズ拡張器101 は、サイズ拡張された入力画像を前段映像符号化器102 およびバッファ103 に供給する。前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。【００４８】
前段映像符号化器102 の構成と動作を説明する。【００４９】
前段映像符号化器102 は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器（前段推定器）1025を備える。【００５０】
推定器1025は、サイズ拡張された入力画像とバッファ1023に格納された再構築画像とを用いて、サイズ拡張された入力画像を構成する各マクロブロックのAVC 符号化データを決定する。本明細書において、AVC 符号化データ（AVCMB ）は、図23に示される、マクロブロックに対応する16×16画素領域のDCT 係数を除く符号化データ（mb_type、sub_mb_type、ref_idx_l0、ref_idx_l1、mv_l0、mv_l1、intra_lumaNxN_pred、transform_size_8x8_flag ）を含む。ここで、mb_type  およびsub_mb_type  は、それぞれ、非特許文献３のTable 7-11、Table 7-13、Table 7-14で定義されるマクロブロックの符号化モード、および非特許文献３のTable 7-17およびTable 7-18で定義されるサブマクロブロックの符号化モードを示す。また、ref_idx_lx (x=0/1)、mv_lx 、intra_lumaNxN_pred、およびtransform_size_8x8_flag は、それぞれ、参照ピクチャリストx の参照ピクチャインデックス、参照ピクチャリストx の動きベクトル、輝度イントラ予測方向、および、マクロブロックが8×8DCT で符号化されたか否かのフラグを示す。【００５１】
上述したように、マクロブロックが16×16画素であり、さらに、AVC 方式における最小処理単位が4×4画素であることに着目すると、各マクロブロックにおける各AVC 符号化データの位置は、マクロブロック中の16×16ブロックアドレスb8（0≦b8≦3）（図24における上段）と、8×8ブロック中のブロックアドレスb4（0≦b4≦3）（図24における下段）との組によって定義される。例えば、マクロブロック内で(x,y)=(4,4) の位置のintra_lumaNxN_predは、(b8,b4)=(0,1) となり、intra_lumaNxN_pred[0][3]に格納することができる。【００５２】
推定器1025は、決定した各マクロブロックのAVC 符号化データを予測器1024および符号化データ変換器104 に出力する。【００５３】
予測器1024は、推定器1025が決定したmb_type シンタクス値、sub_mb_type シンタクス値、ref_idx_l0シンタクス値、ref_idx_l1シンタクス値、mv_l0 シンタクス値、mv_l1 シンタクス値、および、intra_lumaNxN_predシンタクス値に基づいて、各マクロブロックのサイズ拡張された入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【００５４】
AVC 方式のイントラ予測については、非特許文献３に記載されているように、mb_type によって定義される、3 種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16 がある。【００５５】
図25(a)，(c) を参照すると、Intra_4x4 とIntra_8x8 とはそれぞれ4×4ブロックサイズと8×8ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。【００５６】
Intra_4x4 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図25(b) に示す9 種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_8x8 のイントラ予測では、図25(c) における右矢印の直下に記載されているローパスフィルタ（1/2 ，1/4 ，1/2 ）によって再構築画像の周辺画素が平滑化された画素を参照画素として図25(b) に示す9 種類の方向に参照画素を外挿して予測信号が形成される。【００５７】
図26(a) を参照すると、Intra_16x16 は16×16ブロックサイズのイントラ予測であることがわかる。図25に示された例と同様に、図26において、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。Intra_16x16 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図26(b) に示す4 種類の方向に参照画素を外挿して予測信号が形成される。【００５８】
AVC 方式のフレーム間予測については、図27に記載されているように、mb_type によって定義される、16×16，16×8 ，8×16 Tree の予測形状がある。マクロブロックがTreeの場合、各8×8サブマクロブロックは、sub_mb_type によって定義される、8×8，8×4, 4×8，4×4のいずれかの予測形状となる。本明細書では、説明を簡略化するために、mb_type がTreeの場合（P_8x8またはB_8x8）の場合、各8×8サブマクロブロックは8×8だけに限定されるとする。【００５９】
周波数変換／量子化器1021は、推定器1025が決定したmb_type シンタクス値およびtransform_size_8x8_flag シンタクス値に基づいて、サイズ拡張された入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００６０】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【００６１】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【００６２】
上述した動作に基づいて、前段映像符号化器102はサイズ拡張された入力画像信号を符号化する。【００６３】
符号化データ変換器104は、各マクロブロックのAVCMBを、図28に示すマクロブロックに対応する16×16画素の領域のHEVC符号化データ（cu_size ，tu_size ，pred_mode_flag，part_mode ，ref_idx_l0，ref_idx_l1，mv_l0 ，mv_l1 ，intra_lumaNxN_pred，intra_chroma_pred ）であるHEVCCBに変換する。ただし、ここで、cu_size およびtu_size は、それぞれ、CUサイズおよびTUサイズを示す。【００６４】
図29は、I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図30は、P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図31は、B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図29〜図31において、V は垂直方向を意味し、H は水平方向を意味する。また、各行は、各々のmb_typeおよびintra_lumaNxN_predに対する変換ルールを示す。【００６５】
HEVC方式において、LCUの最小サイズが16×16画素、SCUの最小サイズが8×8画素、最小処理単位が4×4画素であることに着目すると、16×16画素単位でHEVC符号化データを管理できる。各16×16画素におけるHEVC符号化データの位置は、AVC 符号化データと同様に、マクロブロック中の8×8ブロックアドレスb8（0≦b8≦3）と8×8ブロック中のブロックアドレスb4（0≦b4≦3）の組によって定義できる。【００６６】
例えば、CUサイズが16の場合、各16×16画素におけるHEVC符号化データのcu_size[b8] （0≦b8≦3）は、すべて16となる。【００６７】
図29に示すI_SLICE マッピング、図30に示すP_SLICE マッピング、および図31に示すB_SLICE マッピングのそれぞれには、符号化データ変換器104 による、各AVCMBをHEVCCBにマッピング（変換）するルールがピクチャタイプ別に示されている。【００６８】
続いて、符号化データ変換器104 は、図32に示される、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、ならびに、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、４個のHEVCCBのcu_size を32に更新する。【００６９】
さらに、符号化データ変換器104 は、図33に示される、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、および、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。具体的には、１６個のHEVCCBのcu_size を64に更新する。【００７０】
後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。なお、後段映像符号化器105 は、入力画像src を、SCU の倍数ではなく、前段映像符号化器102 のマクロブロックサイズの倍数とする。画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるためである。【００７１】
後段映像符号化器105 の構成と動作を説明する。【００７２】
後段映像符号化器105 は、周波数変換／量子化器1051、逆量子化／逆周波数変換器1052、バッファ1053、予測器1054、推定器（後段推定器）1055、およびエントロピー符号化器1056を備える。【００７３】
後段映像符号化器105 における推定器1055は、CTU 毎に、split_cu_flag を、HEVC符号化データのcu_size に従って確定できる。例えば、cu_size=64の場合、CUDepth=0 のsplit_cu_flag を0 にすればよい。同様に、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、CUのイントラ予測／インター予測およびPU分割形状を確定できる。もちろん、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、PUのイントラ予測方向、および動きベクトルなどを確定できる。つまり、背景技術の推定器のように、ラグランジュ乗数λに基づいた符号化コストJ を最小とする符号化パラメータを網羅的に探索する必要がない。【００７４】
予測器1054は、推定器1055が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはフレーム間予測に基づいて生成される。【００７５】
周波数変換／量子化器1051は、推定器1055がHEVC符号化データのtu_size に従って確定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００７６】
さらに、周波数変換／量子化器1051は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。【００７７】
エントロピー符号化器1056は、推定器1055が確定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。【００７８】
逆量子化／逆周波数変換器1052は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1052は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1053に供給される。バッファ1053は、再構築画像を格納する。【００７９】
上述した動作に基づいて、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。【００８０】
図34のフローチャートを参照して、映像符号化装置の動作を説明する。【００８１】
ステップS101において、サイズ拡張器101は、入力画像を前段映像符号化器102 のマクロブロックサイズである16の倍数にサイズ拡張する。【００８２】
ステップS102において、前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。【００８３】
ステップS104において、符号化データ変換器104 は、サイズ拡張された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。【００８４】
ステップS105において、後段映像符号化器105 は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、ビットストリームを出力する。【００８５】
上記の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。【００８６】
なお、符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 2N×N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32および2N×N に更新してもよい。【００８７】
［32×32 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側２つのHEVCCB動き情報が同一である
・下側２つのHEVCCB動き情報が同一である【００８８】
また、符号化データ変換器104 は、隣接する４個のHEVCCBが以下に示す32×32 N×2N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32およびN×2N に更新してもよい。【００８９】
［32×32 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flag が0 である
・すべてのHEVCCB動き情報が同一でない
・左側２つのHEVCCB動き情報が同一である
・右側２つのHEVCCB動き情報が同一である【００９０】
さらに、符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 2N×N 条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64および2N×N に更新してもよい。【００９１】
［64×64 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側8つのHEVCCB動き情報が同一である
・下側8つのHEVCCB動き情報が同一である【００９２】
また、符号化データ変換器104 は、隣接する１６個のHEVCCBが以下に示す64×64 N×2N条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64およびN×2N に更新してもよい。【００９３】
［64×64 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・左側８つのHEVCCB動き情報が同一である
・右側８つのHEVCCB動き情報が同一である【００９４】
図22に示す映像符号化装置は、１つの前段映像符号化手段と１つの後段映像符号化手段との組を用いて入力画像を符号化した。しかし、例えば、図35に示すように入力画像を４つの画面に分割し、４つの前段映像符号化器と４つの後段映像符号化器とを用いて、４つの分割画面を並列処理する映像符号化装置に本発明を適用できる。【００９５】
図36は、分割画面を並列処理する映像符号化装置の構成例を示すブロック図である。図36に示す映像符号化装置は、入力画像を４つの画面に分割する画面分割器1081、各分割画面について符号化を行う前段映像符号化器102A,102B,102C,102D 、バッファ103 、符号化データ変換器104 、バッファ103 から供給される入力画像を４つの画面に分割する画面分割器1082、各分割画面について符号化を行う後段映像符号化器105A,105B,105C,105D 、および、後段映像符号化器105A,105B,105C,105D からの符号化データを多重してビットストリームを出力する多重化器109 とを備える。【００９６】
前段映像符号化器102A,102B,102C,102D の機能は、図22に示された前段映像符号化器102 の機能と同じである。後段映像符号化器105A,105B,105C,105D の機能は、図22に示された後段映像符号化器105 の機能と同じである。【００９７】
バッファ103 および符号化データ変換器104 の機能は、図22に示された映像符号化装置における機能と同じである。ただし、図36に示す映像符号化装置では、符号化データ変換器104 は、４つの前段映像符号化器102A,102B,102C,102D が出力する符号化データの各々を変換して、後段映像符号化器105A,105B,105C,105D に供給する。【００９８】
入力画像を複数の画面に分割し、複数の前段映像符号化器と複数の後段映像符号化器とを用いて複数の分割画面を並列処理する映像符号化装置は、高解像度の高精細画像を符号化する場合に特に効果を発揮する。例えば、１つの映像符号化器のみを用いたときに、要求される処理時間内で符号化処理を実行することが難しい場合に、複数の前段映像符号化器と複数の後段映像符号化器とが使用される。【００９９】
しかし、複数の前段映像符号化器と複数の後段映像符号化器とが使用される場合に、分割の境界において画質が劣化し、境界線が視認されるおそれがある。【０１００】
図37は、分割の境界において画質が劣化する理由を説明するための説明図である。図37(a) に示すように、１つの画面300 が４分割され、４つの分割画面301,302,303,304 が各々のコア（コアC1、コアC2、コアC3、コアC4）で符号化されるとする。すなわち、コアC1は、分割画面301 を符号化の対象とする。コアC2は、分割画面302 を符号化の対象とする。コアC3は、分割画面303 を符号化の対象とする。コアC4は、分割画面304 を符号化の対象とする。なお、コアC1、コアC2、コアC3およびコアC4は、図36に示された前段映像符号化器102A,102B,102C,102D に相当する。分割前の画面300 において、対象物310 が右から左に移動しているとする。【０１０１】
コアC1、コアC2、コアC3およびコアC4がインター予測を行う場合に、対象物310 が境界311,312（図37(a) における破線参照）を横切って移動するときに、例えば、境界311 の左側にあるマクロブロックについては境界311 の右側にある画像を参照しないと正確な動きベクトルが得られない。なお、図37において、矢印は動きベクトルを示す。【０１０２】
ところが、コアC1、コアC2、コアC3およびコアC4の各々は、分割画面301,302,303,304 の各々を対象として符号化を行っているので、境界311,312 を跨ぐ動きベクトルを生成することができない。その結果、隣接する２つの分割画面の境界311,312 の部分において画質が劣化してしまう。例えば、符号化された画像にもとづくビットストリームが復号されて得られた画像において、境界線が視認されるおそれがある。なお、図37(b) において、×印は、動きベクトル401 〜404 が境界311,312 を跨いでいることを示す。【０１０３】
図36に示された映像符号化装置では、AVC 符号化データ（AVCMB ）はHEVC符号化データ（HEVCCB）に変換されるが、動きベクトルの情報を含むAVCMB の情報は前段映像符号化器102A,102B,102C,102D に伝達されるので、前段映像符号化器102A,102B,102C,102D の出力データにおいても、分割画面の境界において画質が劣化しているおそれがある。【０１０４】
本発明は、処理負荷を分散しつつ、分割画面の境界において画質の劣化を防止する映像符号化装置、映像符号化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０１０５】
本発明による映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、第１の映像符号化手段は、入力画像を複数の画像領域に分割する分割手段と、複数のブロックで構成された画像領域の各々に対応し、ブロック単位で符号化を行う少なくとも１個の符号化手段とを含み、符号化手段は、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行うことを特徴とする。【０１０６】
本発明による映像符号化方法は、入力画像を符号化して第１の符号化データを生成し、第１の符号化データを変換して第２の符号化データを生成し、第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、第１の符号化データを生成するときに、入力画像を複数の画像領域に分割し、複数のブロックで構成された画像領域の各々について、ブロック単位で符号化処理を行い、各々の画像領域の符号化処理を行うときに、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行うことを特徴とする。【０１０７】
本発明による映像符号化プログラムは、コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、第１の符号化データを生成するときに、入力画像を複数の画像領域に分割する処理と、複数のブロックで構成された画像領域の各々について、ブロック単位で符号化を行う符号化処理と、各々の画像領域の符号化処理を行うときに、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う処理とを実行させることを特徴とする。
【発明の効果】
【０１０８】
本発明によれば、映像符号化処理の計算負荷が第１の映像符号化手段と第２の映像符号化手段とに分配されるので、負荷の集中を避けることができる。また、分割画面の境界において画質の劣化を防止することができる。
【図面の簡単な説明】
【０１０９】
【図１】一実施形態の映像符号化装置の処理の一例を説明するための説明図である。
【図２】一実施形態の映像符号化装置による効果を説明するための説明図である。
【図３】コアで符号化されるブロックの例を示す説明図である。
【図４】重複するマクロブロックの例を示す説明図である。
【図５】一実施形態の映像符号化装置の構成例を示すブロック図である。
【図６】一実施形態の映像符号化装置の動作を示すフローチャートである。
【図７】後段における画面分割の例を示す説明図である。
【図８】本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図９】映像符号化装置の主要部を示すブロック図である。
【図１０】映像符号化装置の他の例を示すブロック図である。
【図１１】映像符号化装置のさらに他の例を示すブロック図である。
【図１２】映像符号化装置の別の例を示すブロック図である。
【図１３】映像符号化装置のさらに別の例を示すブロック図である。
【図１４】映像符号化装置の一例を示すブロック図である。
【図１５】33種類の角度イントラ予測の例を示す説明図である。
【図１６】フレーム間予測の例を示す説明図である。
【図１７】一般的な映像符号化装置の構成を示す説明図である。
【図１８】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図１９】CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。
【図２０】CUのPU分割例を示す説明図である。
【図２１】CUのTU分割例を示す説明図である。
【図２２】映像符号化装置の構成例を示すブロック図である。
【図２３】AVC 符号化データを示す説明図である。
【図２４】マクロブロック中のブロックアドレスのための説明図である。
【図２５】予測の種類を説明するための説明図である。
【図２６】予測の種類を説明するための説明図である。
【図２７】AVC 方式のTreeの予測形状を示す説明図である。
【図２８】HEVC符号化データであるHEVCCBを示す説明図である。
【図２９】I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図３０】P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図３１】B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図３２】HEVCCBの例を示す説明図である。
【図３３】HEVCCBの例を示す説明図である。
【図３４】映像符号化装置の動作を示すフローチャートである。
【図３５】画面分割の例を示す説明図である。
【図３６】分割画面を並列処理する映像符号化装置を示すブロック図である。
【図３７】分割の境界において画質が劣化する理由を説明するための説明図である。
【発明を実施するための形態】
【０１１０】
以下、本発明の実施形態を図面を参照して説明する。
【０１１１】
図1 は、本発明による一実施形態の映像符号化装置の処理の一例を説明するための説明図である。図1(a)には、画面分割の一例が示されている。図1(a)に示す例では、１つの画面300 は、３×３（＝９）の等サイズの分割画面301 〜309 に分割されている。
【０１１２】
図1(b)〜(e) は、コアC1〜C9が符号化対象にする領域を説明するための説明図である。なお、本実施形態の映像符号化装置の構成は、図36に示された構成と同様である。コアC1〜C9は、図36に示された前段映像符号化器に相当する。ただし、図36には４つの前段映像符号化器102A,102B,102C,102D が示されているが、図1 には、９つのコアC1〜C9を使用することが例示されている。
【０１１３】
図1(b)〜(e) に示すように、コアC1,C3,C7,C9 は、左上、右上、左下、右下（図35参照）の領域の符号化処理を行う。コアC2,C8 は、中央上部、中央下部の領域の符号化処理を行う。コアC4,C6 は、中央左部、中央右部の領域の符号化処理を行う。コアC5は、中央部の領域の符号化処理を行う。なお、図1 は、コアC1〜C9の各々が対象とする領域における重複部分を説明するための図である。図1 には、領域の分け方の概念が示されている。
【０１１４】
図1 に示すように、分割の境界313,314,315,316 の近傍部分は、複数のコアの符号化対象になっている。
【０１１５】
図2 は、本実施形態の映像符号化装置による効果を説明するための説明図である。図2 において、矢印は、対象物310 の移動にもとづく動きベクトルの例を示す。図1 に示されたように、分割の境界313,314,315,316 の近傍部分は複数のコアの符号化対象であるから、後段の画面分割器1082（図36参照）で一画面が４分割される場合に、図2(b)に示すように、境界311,312 を跨ぐ動きベクトルが生成される。従って、分割画面の境界における画質の劣化が防止される。なお、図2(a)と図2(b)との間の矢印は、動きベクトルを含む情報（AVCMB ）が継承されることを示す。
【０１１６】
図3 は、コアで符号化されるブロックの例を示す説明図である。図3 には、コアC1とコアC2との関係が例示されている。図3 の上段において、各矩形は、H.264/AVC 方式（単に、AVC 方式ともいう。）での符号化単位であるマクロブロック（MB）を示す。そして、第１の斜線（左上から右下への斜線）が施された矩形は、コアC1で符号化されるMBを示す。第２の斜線（右上から左下への斜線）が施された矩形は、コアC2で符号化されるMBを示す。図3 に示すように、境界313 の両側にあるMBは、コアC1とコアC2の双方で符号化される。
【０１１７】
図4 は、重複するマクロブロックの例を示す説明図である。図4(a)に、９つのコアC1〜C9が例示されている。図4(b)には、H.264/AVC 方式での符号化単位であるマクロブロック（MB）B1 〜B41が例示されている。また、図4(b)に示すように、境界の両側にあるMB（図4(b)に示す例では、マクロブロックB3,B4,B12,B13,B19,B20,B23,B28,B29,B32,B39,B40 ）は、２つのコアで符号化される。また、２つの境界313,315 の交差点の近傍の４つのMB（図4(b)に示す例では、マクロブロックB21,B22,B30,B31 ）は、４つのコアで符号化される。いずれにせよ、境界の両側のMBは、複数のコアで符号化対象とされる。以下、符号化されるMBを符号化ブロックともいう。また、MBを、単に、ブロックということがある。
【０１１８】
図4(a)に示すように、各々の分割画面に対応するコアC1〜C9が設けられれている。図4(b)に示すように、各々のコアC1〜C9は、対応する分割画面における複数個のブロックの符号化に加えて、隣接する分割画面における、境界の近傍の１行のブロックと境界線の近傍の１列のブロックの符号化も行う。すなわち、境界を介して隣接する近傍分割画面における、境界の近傍のブロックの符号化も行う。
【０１１９】
複数のコアで符号化されるブロックがあるので、複数のコアの出力データをそのまま後段に伝達すると、１つの符号化ブロックについて複数の符号化データが伝達されることがある。そこで、本実施形態では、複数のコアで扱われる符号化ブロックについては、いずれか１つのコアから出力される符号化データを選択するように制御される。
【０１２０】
図4 (c)には、符号化データ（符号化結果）の選択の仕方の一例が示されている。図4(c)に示す例は、図4(b)に例示されたMBに対応している。
【０１２１】
図4(c)に示すように、符号化ブロックB1-B3,B10-B12,B19-B21 の符号化データとして、コアC1の出力データが選択される。符号化ブロックB4-B6,B13-B15,B22-B24 の符号化データとして、コアC2の出力データが選択される。符号化ブロックB28-B30,B37-B39,B46-B48 の符号化データとして、コアC4の出力データが選択される。符号化ブロックB31-B33,B40-B42,B49-B51 の符号化データとして、コアC5の出力データが選択される。なお、符号化ブロックB6-B9,B15-B18,B24-B27,B33-B36,B42-B51 は、図4(b)において省略されている。
【０１２２】
以下、図4(c)に例示されたような選択の仕方を選択規則という。選択規則を一般化すると、単一のコアで符号化されるブロックの符号化データについては、当然、それが選択される。また、複数のコアで符号化されるブロックの符号化データについては、符号化ブロックの周囲のブロックのうち、単一のコアで符号化されたブロックで、かつ、符号化ブロックから最も近い位置にあるブロックを符号化対象としたコアの出力データが選択される。
【０１２３】
例えば、符号化ブロックB19に着目すると、周囲のブロックのうち単一のコアで符号化されたブロックとして、ブロックB10,B11,B37,B38 があるが、そのうち、ブロックB10 またはブロックB11 が最も近い位置にあるブロックである。従って、符号化ブロックB19の符号化データとして、ブロックB10,B11 の符号化を行ったコアC1の出力データが選択される。
【０１２４】
符号化ブロックB21に着目すると、周囲のブロックのうち単一のコアで符号化されたブロックとして、ブロックB11,B14,B38,B41 があるが、そのうち、ブロックB11 が最も近い位置にあるブロックである。従って、符号化ブロックB21の符号化データとして、ブロックB11 の符号化を行ったコアC1の出力データが選択される。なお、図4(b)において、ブロックB21,B22,B30,B31 の各々について、条件を満たすブロックが、矢印の先にあるブロックB11,B14,B38,B41であることが示されている。
【０１２５】
符号化ブロックB39に着目すると、周囲のブロックのうち単一のコアで符号化されたブロックとして、ブロックB37,B38,B41 があるが、そのうち、ブロックB37,B38 が最も近い位置にあるブロックである。従って、符号化ブロックB39の符号化データとして、ブロックB37,B38 の符号化を行ったコアC4の出力データが選択される。
【０１２６】
図5 は、本実施形態の映像符号化装置の構成例を示すブロック図である。映像符号化装置は、入力画像を複数の画面に分割する画面分割器1081、各分割画面について符号化を行う前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102I（コアC1〜C9に相当）、バッファ103 、選択器111 、符号化データ変換器104 、バッファ103 から供給される入力画像を４つの画面に分割する画面分割器1082、各分割画面について符号化を行う後段映像符号化器105A,105B,105C,105D 、および、後段映像符号化器105A,105B,105C,105D からの符号化データを多重してビットストリームを出力する多重化器109 とを備える。
【０１２７】
前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iの機能は、図22に示された前段映像符号化器102 の機能と同じである。後段映像符号化器105A,105B,105C,105D の機能は、図22に示された後段映像符号化器105 の機能と同じである。
【０１２８】
バッファ103 および符号化データ変換器104 の機能は、図22に示された映像符号化装置における機能と同じである。ただし、図5 に示す映像符号化装置では、符号化データ変換器104 は、９つの前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iが出力する符号化データの各々を変換して、後段映像符号化器105A,105B,105C,105D に供給する。
【０１２９】
選択器111 は、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iが出力する符号化データのうち、複数のコアで符号化された符号化データについて、選択規則に従って、１つのコアの出力データを選択する。なお、選択器111 において、例えば、図4(c)に例示されたような選択規則が、あらかじめ、テーブル形式で、内蔵されている記憶部に記憶される。
【０１３０】
図6 のフローチャートを参照して、本実施形態の映像符号化装置の動作を説明する。
【０１３１】
ステップS100において、画面分割器1081は、入力画像を複数の分割画面に分割する。すなわち、画面分割器1081は、入力画像をＮ（Ｎ：２以上の自然数）個の画像領域に分割する。本実施形態では、Ｎ＝９である。
【０１３２】
ステップS102において、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iは、分割画面の画像を、並行して、AVC 方式で符号化する。
【０１３３】
ステップS103において、選択器111 は、選択規則に従って、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iが出力する符号化データのうちの１つの符号化データを選択して、符号化データ変換器104 に供給する。なお、選択器111 による選択処理は、図4(c)を参照して既に説明したとおりである。
【０１３４】
ステップS104において、符号化データ変換器104 は、選択器111 が出力した入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。
【０１３５】
ステップS105において、後段映像符号化器105A,105B,105C,105D は、符号化データ変換器104 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１３６】
上記の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器と後段映像符号化器とに分配され、映像符号化処理の負荷の集中が緩和される。
【０１３７】
さらに、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102I（コアC1〜C9）は、分割画面を構成する複数個のブロックの符号化に加えて、境界を介して隣接する近傍分割画面における境界の近傍のブロックの符号化も行うので、分割画面の境界を跨ぐ動きベクトルを生成できる。従って、分割画面の境界における画質の劣化が防止される。
【０１３８】
なお、本実施形態では、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102IをAVC 映像符号化器としたが、AVC 映像符号化器は一例である。前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iは、例えば、16×16画素のCTUをサポートするHEVC映像符号化器であってもよい。その場合、符号化データ変換器104 は、上述したAVC 符号化データをHEVC符号化データに変換する処理をスキップすればよい。
【０１３９】
上記の実施形態では、図5 に示すように、入力画像がそのまま画面分割器1081およびバッファ103 に入力されている。しかし、画面分割器1081およびバッファ103 の前段に、図22に示されたようなサイズ拡張器101 が設けられていてもよい。
【０１４０】
上述したように、サイズ拡張器101 は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。
【０１４１】
サイズ拡張器101 は、サイズ拡張された入力画像を画面分割器1081およびバッファ103 に供給する。
【０１４２】
また、サイズ拡張器101 に加えて、画素ビット深度変換器が設けられていてもよい。その場合、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。ビット深度変換において、LSB 2bitを右シフトで切り捨ててもよいし、四捨五入を用いて丸めてもよい。
【０１４３】
前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iは、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像（具体的には、画面分割器1081で生成される分割画面）をAVC 方式で符号化する。
【０１４４】
符号化データ変換器104 は、画素ビット深度変換器から供給される16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換する。
【０１４５】
なお、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された入力画像の画素ビット深度を低減したが、映像符号化装置に入力される入力画像の画素ビット深度を低減するようにしてもよい。その場合には、サイズ拡張器101 は設けられない。
【０１４６】
また、映像符号化装置は、ダウンサンプリング器を備えていてもよい。前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iは、1080p （2K）の入力フォーマットをサポートするAVC 映像符号化器である。後段映像符号化器はHEVC映像符号化器である。つまり、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iが対応できる空間解像度は、後段映像符号化器105A,105B,105C,105D における空間解像度未満である。
【０１４７】
ダウンサンプリング器は、2160p の入力画像src （src_pic_width =3840, src_pic_height=2160 ）を1080p （src_pic_width =1920, src_pic_height=1080）に縮小する。さらに、ダウンサンプリング器は、1080p に縮小された入力画像の幅src_pic_width および高さsrc_pic_heightを16の倍数に拡張する。なお、拡張された領域の画素値は、1080p に縮小された入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 （入力画像が8-bit の場合））でもよい。
【０１４８】
前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iは、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像（具体的には、画面分割器1081で生成される分割画面）をAVC 方式で符号化する。
【０１４９】
符号化データ変換器104 は、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像を構成する分割画面の各マクロブロックのAVC 符号化データを変換し、HEVCCBに変換する。ただし、符号化データ変換器104 は、前段映像符号化器102 への入力画像が後段映像符号化器105A,105B,105C,105D への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値と垂直成分の値とを２倍にする。
【０１５０】
続いて、符号化データ変換器104 は、上記の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102I への入力画像が後段映像符号化器105A,105B,105C,105D への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、符号化データ変換器104 は、４個のHEVCCBのcu_size を64に更新する。
【０１５１】
後段映像符号化器105A,105B,105C,105D は、上記の実施形態の場合と同様に、前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102Iから供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１５２】
映像符号化装置がダウンサンプリング器を含むように構成されている場合には、映像符号化装置は、HDTV（High Definition Television）規格の2160p （4K） の入力フォーマットをサポートすることができる。
【０１５３】
なお、上記の実施形態では、画面分割器1081が、一画面を４つまたは９つの分割画面に分割する場合を例にしたが、分割数は４または９に限定されず、２以上であればよい。
【０１５４】
また、上記の実施形態では、画面分割器1082が、一画面を４つの分割画面に分割する場合を例にしたが、分割数は４に限定されない。また、画面分割器1081の分割の仕方と画面分割器1082の分割の仕方とが異なっていてもよい。一例として、図7(a),(b)に示すように、前段の画面分割器1081が、上下および左右方向の分割を行い（図7(a)参照）、後段の画面分割器1082が、水平方向に分割するスライス分割を行ってもよい（図7(b)参照）。さらに、後段の画面分割器1082が、タイル数＝１（スライス数＝１と同じことになる。）で分割を行ってもよい（図7(c)参照）。なお、タイル数＝１は、画面分割が行われないことと同義である。なお、図7(a)と図7(b),(c)との間の矢印は、動きベクトルを含む情報（AVCMB ）が継承されることを示す。
【０１５５】
また、上記の実施形態では、Ｎ（Ｎ：２以上の自然数）個の分割画面に対してＮ個の前段映像符号化器が設けられているが、すなわち、各分割画面と各前段映像符号化器とは１：１に対応しているが、１つの分割画面に対して複数の前段映像符号化器が設けられていてもよいし、複数の分割画面に対して１つの前段映像符号化器が設けられていてもよい。
【０１５６】
また、上記の実施形態の映像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１５７】
図8 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１５８】
図8 に示された情報処理システムにおいて、プログラムメモリ1002には、図5 に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の実施形態の映像符号化装置の機能を実現する。
【０１５９】
図9 は、本発明による映像符号化装置の主要部を示すブロック図である。図9 に示すように、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11と、第１の映像符号化部11が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換部13（一例として、図5 に示す符号化データ変換器104 ）と、符号化データ変換部13から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化部14（一例として、図5 に示す後段映像符号化器105A,105B,105C,105D ）とを備え、第１の映像符号化部11は、入力画像を複数の画像領域に分割する分割部15（一例として、図5 に示す画面分割器1081）と、複数のブロックで構成された画像領域の各々に対応し、画像領域について、並行して、ブロック単位で符号化を行う少なくとも１個の符号化部161 〜16N （一例として、図5 に示す前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102I）とを含み、符号化部161 〜16N は、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行う。符号化部161 〜16N は、特に、動きベクトルを決定するインター予測機能を有する。
【０１６０】
図10は、本発明による他の映像符号化装置の主要部を示すブロック図である。図10に示す映像符号化装置は、図9 に示す映像符号化装置の構成に加えて、同じブロックを符号化した複数の符号化部による符号化データのいずれかを選択する選択部17（一例として、図5 に示す選択器111 ）をさらに備える。選択部17は、符号化ブロックの周囲のブロックのうち、単一の符号化部で符号化されたブロックであり、かつ、符号化ブロックから最も近い位置にあるブロックを符号化対象とする符号化部による符号化データを選択することが好ましい。
【０１６１】
図11は、本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。図11に示す映像符号化装置は、図9 または図10に示す映像符号化装置の構成に加えて、入力画像のサイズを、第１の映像符号化部11が対応する最大CUサイズの倍数に拡張するサイズ拡張部18をさらに備え、第１の映像符号化部11は、サイズ拡張部18によってサイズ拡張された入力画像を符号化して第１の符号化データを生成し、バッファ12は、サイズ拡張部18によってサイズ拡張された入力画像を格納する。
【０１６２】
図12は、本発明による別の映像符号化装置の主要部を示すブロック図である。図12に示す映像符号化装置は、図9 または図10に示す映像符号化装置の構成に加えて、入力画像の画素ビット深度を低減する画素ビット深度変換部19をさらに備え、第１の映像符号化部11は、画素ビット深度変換部19によって画素ビット深度が低減された入力画像を符号化する。なお、第１の映像符号化部11が対応する画素ビット深度は、第２の映像符号化部14が対応する画素ビット深度以下である。
【０１６３】
図13は、本発明による別の映像符号化装置の主要部を示すブロック図である。図13に示す映像符号化装置は、図9 または図10に示す映像符号化装置の構成に加えて、入力画像の空間解像度を低減するダウンサンプリング部20をさらに備え、第１の映像符号化部11は、ダウンサンプリング部20によって空間解像度が低減された入力画像を符号化して第１の符号化データを生成し、符号化データ変換部13は、第１の映像符号化部11と第２の映像符号化部14が符号化するそれぞれの映像の空間解像度比に基づいて、第２の符号化データを生成する。
【０１６４】
なお、上記の実施形態では、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備えた装置であるが、下記の付記１または付記２に示されるように、１つの映像符号化手段を備えた映像符号化装置に本発明を適用してもよい。
【０１６５】
（付記１）入力画像を複数の画像領域に分割する分割手段と、複数のブロックで構成された画像領域の各々に対応し、ブロック単位で符号化を行う符号化手段とを備え、前記符号化手段が、境界を介して隣接する画像領域における、境界の近傍のブロックの符号化も行い、同じブロックを符号化した複数の符号化手段による符号化データのいずれかを選択する選択手段をさらに備え、選択手段が、符号化ブロックの周囲のブロックのうち、単一の前記符号化手段で符号化されたブロックであり、かつ、符号化ブロックから最も近い位置にあるブロックを符号化対象とする前記符号化手段による符号化データを選択するように構成された映像符号化装置。
【０１６６】
（付記２）入力画像を複数の領域に分割する第１の分割手段と、前記画像領域内を複数のブロックに分割する第２の分割手段と、前記複数の画像領域から１つの画像領域を決定し、決定された前記画像領域内のブロックおよび境界を介して隣接する画像領域における境界近傍のブロックをブロック単位で符号化データに変換する符号化手段と、同一ブロックを符号化した複数の前記符号化手段による符号化データのいずれかを選択する選択手段とを含み、前記符号化手段は、全画像領域に対して符号化を行い、前記選択手段は、前記ブロックに複数の前記符号化データが存在する場合に、前記ブロックが存在する画像領域に対して符号化された前記符号化データを選択することを特徴とする映像符号化装置。
【０１６７】
図14は、付記１に示された映像符号化装置の構成の一例を示すブロック図である。図14に示す映像符号化装置は、入力画像を複数の画面に分割する画面分割器1081、各分割画面について符号化を行う前段映像符号化器102A,102B,102C,102D,102E,102F,102G,102H,102I（コアC1〜C9に相当）、選択器111 、符号化データ変換器104 、符号化データ変換器104 からの符号化データを多重してビットストリームを出力する多重化器109 とを備える。図14に示す映像符号化装置における各部の機能は、図5 に示された映像符号化装置における各部の機能と同じである。
【０１６８】
図14に示す構成では、画面分割器1082、および、各分割画面について符号化を行う後段映像符号化器105A,105B,105C,105D は設けられていない。すなわち、図14に示す映像符号化装置は、２段階（前段および後段）で符号化処理を実行せず、１段階で符号化処理を実行する映像符号化装置であるが、分割画面の境界において画質の劣化を防止することができる。
【０１６９】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１７０】
この出願は、２０１４年２月１０日に出願された日本特許出願２０１４−０２３０８９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１７１】
11  第１の映像符号化部
12,103，1023，1053  バッファ
13  符号化データ変換部
14  第２の映像符号化部
15  分割部
161 〜16N  符号化部
17  選択部
18  サイズ拡張部
19  画素ビット深度変換部
20  ダウンサンプリング部
101  サイズ拡張器
102  前段映像符号化器
102A，102B，102C，102D，102E，102F，102G，102H，102I  前段映像符号化器（コア）
104  符号化データ変換器
105 ，105A，105B，105C，105D  後段映像符号化器
109  多重化器
300  画面
301 〜309  分割画面
310  対象物
311 〜316  境界
401 〜404  動きベクトル
1001  プロセッサ
1002  プログラムメモリ
1003，1004  記憶媒体
1021，1051  周波数変換／量子化器
1022，1052  逆量子化／逆周波数変換器
1024，1054  予測器
1025，1055  推定器
1056  エントロピー符号化器
1081，1082  画面分割器
【図１】
2015118841.tif 000007
【図２】
2015118841.tif 000008
【図３】
2015118841.tif 000009
【図４】
2015118841.tif 000010
【図５】
2015118841.tif 000011
【図６】
2015118841.tif 000012
【図７】
2015118841.tif 000013
【図８】
2015118841.tif 000014
【図９】
2015118841.tif 000015
【図１０】
2015118841.tif 000016
【図１１】
2015118841.tif 000017
【図１２】
2015118841.tif 000018
【図１３】
2015118841.tif 000019
【図１４】
2015118841.tif 000020
【図１５】
2015118841.tif 000021
【図１６】
2015118841.tif 000022
【図１７】
2015118841.tif 000023
【図１８】
2015118841.tif 000024
【図１９】
2015118841.tif 000025
【図２０】
2015118841.tif 000026
【図２１】
2015118841.tif 000027
【図２２】
2015118841.tif 000028
【図２３】
2015118841.tif 000029
【図２４】
2015118841.tif 000030
【図２５】
2015118841.tif 000031
【図２６】
2015118841.tif 000032
【図２７】
2015118841.tif 000033
【図２８】
2015118841.tif 000034
【図２９】
2015118841.tif 000035
【図３０】
2015118841.tif 000036
【図３１】
2015118841.tif 000037
【図３２】
2015118841.tif 000038
【図３３】
2015118841.tif 000039
【図３４】
2015118841.tif 000040
【図３５】
2015118841.tif 000041
【図３６】
2015118841.tif 000042
【図３７】
2015118841.tif 000043
【国際調査報告】
2015118841.tif 000044
2015118841.tif 000045
2015118841.tif 000046
2015118841.tif 000047