(57)【要約】  映像符号化装置は、第１の映像符号化部11が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換部131 を備え、符号化データ変換部131 は、少なくとも、第１の映像符号化部11が使用不能であり、かつ、第２の映像符号化部14が使用可能なイントラ予測モードを発生するイントラ予測モードを発生する予測モード追加部1312と、予測モード追加部1312が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化部14が使用する予測モードを選択する予測モード選択部1313とを含む。
2015118826.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、
前記第１の映像符号化手段が生成した前記第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、
前記符号化データ変換手段から供給される前記第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、
前記符号化データ変換手段は、
少なくとも、前記第１の映像符号化手段が使用不能であり、かつ、前記第２の映像符号化手段が使用可能なイントラ予測モードを発生する予測モード発生部と、
前記予測モード発生部が発生した予測モードを評価し、評価結果に基づいて、前記第２の映像符号化手段が使用する予測モードを選択する予測モード選択部とを含む
ことを特徴とする映像符号化装置。
【請求項２】
第１の映像符号化手段は、H.264/AVC 規格に基づく符号化処理を実行し、
第２の映像符号化手段は、H.265/HEVC規格に基づく符号化処理を実行する
請求項１記載の映像符号化装置。
【請求項３】
前記予測モード発生部は、Planar予測モードを発生する
請求項２記載の映像符号化装置。
【請求項４】
前記予測モード発生部は、MPM に基づく予測モードを発生する
請求項２または請求項３記載の映像符号化装置。
【請求項５】
前記符号化データ変換手段は、前記第１の映像符号化手段によるイントラ予測モードを前記第２の映像符号化手段が使用するイントラ予測モードに変換する予測モード変換部を含み、
前記予測モード発生部は、前記予測モード変換部による変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項２から請求項４のうちのいずれか１項に記載の映像符号化装置。
【請求項６】
前記符号化データ変換手段は、前記予測モード発生部が発生した予測モードから所定の条件を満たす予測モードを削除する予測モード削除部を含む
請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置。
【請求項７】
入力画像を符号化して第１の符号化データを生成し、
前記第１の符号化データを変換して第２の符号化データを生成し、
前記第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生し、
発生された予測モードを評価し、評価結果に基づいて、前記第２の符号化データを生成する際に使用する予測モードを選択する
ことを特徴とする映像符号化方法。
【請求項８】
H.264/AVC 規格に基づく符号化処理を実行して前記第１の符号化データを生成し、
H.265/HEVC規格に基づく符号化処理を実行して前記第２の符号化データを生成する
請求項７記載の映像符号化方法。
【請求項９】
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、Planar予測モードを発生する
請求項８記載の映像符号化方法。
【請求項１０】
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、MPM に基づく予測モードを発生する
請求項８または請求項９記載の映像符号化方法。
【請求項１１】
前記第１の符号化データを変換するときに、前記第１の符号化データに関するイントラ予測モードを前記第２の符号化データに関するイントラ予測モードに変換し、
前記第２の符号化データを生成する際に使用可能なイントラ予測モードとして、変換後の予測モードの予測モード番号の近傍の予測モードを発生する
請求項８から請求項１０のうちのいずれか１項に記載の映像符号化方法。
【請求項１２】
発生した予測モードから所定の条件を満たす予測モードを削除する
請求項７から請求項１１のうちのいずれか１項に記載の映像符号化方法。
【請求項１３】
コンピュータに、
入力画像を符号化して第１の符号化データを生成する処理と、
前記第１の符号化データを変換して第２の符号化データを生成する処理と、
前記第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、
少なくとも、前記第１の符号化データを生成する際に使用不能であり、かつ、前記第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、
発生された予測モードを評価し、評価結果に基づいて、前記第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させる
ための映像符号化プログラム。
【請求項１４】
コンピュータに、発生した予測モードから所定の条件を満たす予測モードを削除する処理を実行させる
請求項１３記載の映像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化処理の計算負荷を分散する技術が適用された映像符号化装置に関する。
【背景技術】
【０００２】
映像情報を高い効率で伝送したり蓄積することを目的とした映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（AVC）規格（以下、H.264/AVC 規格という。）の符号化方式がある。非特許文献１に記載されている映像符号化方式では、フレームをマクロブロック（MB：Macro Block ）と呼ばれる16×16画素サイズのブロックに分割し、フレームの左上から順に各MBを符号化する。非特許文献１に記載されているAH.264/AVC 規格では、MBをさらに4×4画素サイズのブロックにブロック分割し、各4×4ブロックを符号化する。【０００３】
イントラ予測は、符号化対象フレームの再構築画像から予測画像を生成する予測である。イントラ予測信号は、現在のピクチャと表示時刻が同一である再構築ピクチャの画像（一般に、バッファに格納されている。）に基づいて生成される予測信号である。非特許文献１に記載されているように、イントラ予測については、３種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16がある。【０００４】
また、非特許文献２に基づいた映像符号化方式（H.265/HEVC方式）では、ディジタル化された映像の各フレームは符号化ツリーユニット（CTU:Coding Tree Unit）に分割され、ラスタスキャン順に各CTU が符号化される。各CTUは、クアッドツリー構造で、符号化ユニット（CU:Coding Unit）に分割されて符号化される。各CUは、予測ユニット（PU:Prediction Unit）に分割されて予測される。また、各CUの予測誤差は、クアッドツリー構造で、変換ユニット（TU: Transform Unit）に分割されて周波数変換される。以後、最も大きなサイズのCUを最大CU（LCU: Largest Coding Unit）、最も小さなサイズのCUを最小CU（SCU: Smallest Coding Unit ）という。なお、LCU サイズとCTU サイズは同一となる。【０００５】
CUは、イントラ予測またはフレーム間予測によって予測符号化される。以下、H.265/HEVC方式のイントラ予測およびフレーム間予測を説明する。【０００６】
非特許文献２では、図11に示す33種類の角度イントラ予測（方向性イントラ予測）が定義されている。図11において、矢印は予測方向を示す。角度イントラ予測は、符号化対象ブロック周辺の再構築画素を図11に示す33種類の方向のいずれかに外挿して、イントラ予測信号を生成する。なお、図11において、数字は、予測モード番号を示す。非特許文献２では、33種類の角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以後、イントラ予測に基づいて符号化されたCUをイントラCUという。【０００７】
フレーム間予測は、符号化対象フレームと表示時刻が異なる再構築フレーム（参照ピクチャ）の画像に基づく予測である。以下、フレーム間予測をインター予測ともいう。図12は、フレーム間予測の例を示す説明図である。動きベクトルMV＝(mvx, mvy)は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの平行移動量を示す。インター予測は、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号を生成する。以後、フレーム間予測に基づいて符号化されたCUをインターCUという。【０００８】
各CUがイントラCU／インターCUのいずれであるかは、非特許文献２に記載されるpred_mode_flagシンタクスによってシグナリングされる。【０００９】
イントラCUのみで符号化されたフレームはＩフレーム（またはＩピクチャ）と呼ばれる。イントラCUだけでなくインターCUも含めて符号化されたフレームはＰフレーム（またはＰピクチャ）と呼ばれる。ブロックのインター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターCUを含めて符号化されたフレームはＢフレーム（またはＢピクチャ）と呼ばれる。【００１０】
図13を参照して、ディジタル化された映像の各フレームの各CUを入力画像としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。【００１１】
図13に示す映像符号化装置は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、推定器1025、およびエントロピー符号化器1056を備える。【００１２】
図14は、フレームの空間解像度がCIF （CIF:Common Intermediate Format）、CTU サイズが64の場合のフレームt のCTU 分割例、および、フレームt に含まれる第８のCTU （CTU8）のCU分割例を示す説明図である。また、図15は、CTU8のCU分割例に対応する、クアッドツリー構造を示す説明図である。各CTU のクアッドツリー構造、すなわち、CU分割形状は、非特許文献２に記載されるsplit_cu_flag シンタクスによってシグナリングされる。【００１３】
図16は、CUのPU分割形状を示す説明図である。イントラCUの場合、正方形のPU分割を選択できる。インターCUの場合、正方形はもちろん長方形のPU分割も選択できる。各CUのPU分割形状は、非特許文献２に記載されるpart_mode シンタクスによってシグナリングされる。【００１４】
図17は、CUのTU分割例を示す説明図である。上段には、2N×2N PU 分割形状のイントラCUのTU分割例が示されている。イントラCUの場合、クアッドツリーの根（Root）はPUに配置され、各PUの予測誤差がクアッドツリー構造で表現される。下段には、2N×N PU分割形状のインターCUのTU分割例が示されている。インターCUの場合、クアッドツリーの根（Root） はCUに配置され、該CUの予測誤差がクアッドツリー構造で表現される。上述した予測誤差のクアッドツリー構造、すなわち、各CUのTU分割形状は、非特許文献２に記載されるsplit_tu_flag シンタクスによってシグナリングされる。【００１５】
推定器1025は、CTU 毎に、符号化コストを最小とする、CU分割形状を決定するsplit_cu_flag シンタクス値を決定する。推定器1025は、CU毎に、符号化コストを最小とする、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、PU分割形状を決定するpart_mode シンタクス値、および、TU分割形状を決定するsplit_tu_flag シンタクス値を決定する。推定器1025は、PU毎に、符号化コストを最小とする、イントラ予測方向、および、動きベクトルなどを決定する。【００１６】
非特許文献３は、ラグランジュ乗数λに基づいた符号化コストJ を最小とする、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどの決定方法を開示している。【００１７】
以下、非特許文献３の4.8.3 節 Intra/Inter/PCM mode decisionを参照して、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値の決定プロセスを簡単に説明する。【００１８】
同節には、CUのpred_mode_flagシンタクス値およびpart_mode シンタクス値を決定する、CUモード決定プロセスが開示されている。また、CUモード決定プロセスを再帰的に実行することによってsplit_cu_flag シンタクス値を決定するCU分割形状プロセスが開示されている。【００１９】
まず、CUモード決定プロセスを説明する。インター予測のPU分割形状候補の集合をInterCandidate、イントラ予測のPU分割形状候補の集合をIntraCandidate、ある符号化モード（mode）に対する２乗誤差和（SSE: Sum of Square Error）符号化コストJSSE(mode)を以下のように定義する。【００２０】
InterCandidate = { INTER_2Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxN, INTER_Nx2N, INTER_2NxnU, INTER_2NxnD, INTER_nLx2N, INTER_nRx2N, INTER_NxN } 
IntraCandidate = {INTRA_2Nx2N, INTRA_NxN} 
JSSE(mode) = DSSE(mode) + λmode・Rmode(mode)【００２１】
【数１】
2015118826.tif 000003
【００２２】
ただし、DSSE(mode)、Rmode(mode)、QPは、それぞれ、CUの入力画像信号とmodeを用いて符号化した際に得られる再構築画像信号との２乗誤差和、modeを用いて符号化した際に発生するCUビット数（後述する変換量子化値のビット数も含む）、量子化パラメータを示す。【００２３】
CUモード決定プロセスは、InterCandidateおよびIntraCandidateから、SSE 符号化コストJSSE(mode)を最小とするpred_mode_flagシンタクスおよびpart_mode シンタクスの組であるbestPUmodeを選択する。定式的には、CUモード決定プロセスを以下で定義できる。【００２４】
【数２】
2015118826.tif 000004
【００２５】
PUCandidate = { InterCandidate, IntraCandidate } 【００２６】
次に、CU分割形状決定プロセスを説明する。【００２７】
図15に示されたように、あるCUDepth のCU （以下、ノードという）のSSE 符号化コストは、該ノードのbestPUmodeのSSE 符号化コストである。つまり、ノードのSSE 符号化コスト JSSE(node, CUDepth) を、以下のように定義できる。【００２８】
【数３】
2015118826.tif 000005
【００２９】
CUDepth のCUのｉ番目（１≦ｉ≦４）の子CU （以下、子ノードやリーフなどという）のSSE 符号化コストは、CUDepth+1のｉ番目のCUのSSE 符号化コストである。つまり、ｉ番目のリーフのSSE 符号化コストJSSE(leaf(i), CUDepth)は、以下のように定義できる。【００３０】
JSSE(leaf(i), CUDepth) = JSSE(node, CUDepth+1)【００３１】
ノードのSSE 符号化コストがそのリーフのSSE 符号化コストの和よりも大きいか否かを比較することによって、CUを４つの子CUに分割するか否かを決定できる。JSSE(node, CUDepth)  が下記の（１）式の値よりも大きい場合、CUを４つの子CUに分割する（split_cu_flag=1 と決定する）。JSSE(node, CUDepth)  が（１）式の値以下の場合、CUを４つの子CUに分割しない（split_cu_flag=0 と決定する）。【００３２】
【数４】
2015118826.tif 000006
【００３３】
CUクアッドツリー構造決定プロセスは、上述した比較をCUDepth毎に再帰的に実行し、CTUのクアッドツリー構造を決定する。つまり、CUDepth毎にリーフのsplit_cu_flag を決定する。【００３４】
ラグランジュ乗数λに基づいた符号化コストJ を最小化することで、推定器1025は、同様に、split_tu_flag 、イントラ予測方向、動きベクトルなどを決定する。【００３５】
予測器1024は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【００３６】
周波数変換／量子化器1021は、推定器1025が決定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００３７】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【００３８】
エントロピー符号化器1056は、推定器1025が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および、変換量子化値をエントロピー符号化する。【００３９】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【００４０】
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。【００４１】
図13に示す映像符号化装置では、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および、動きベクトルなどを決定する全ての映像符号化処理の負荷が特定の推定器に集中する。
【先行技術文献】
【特許文献】
【００４２】
【特許文献１】特開２０１２−１０４９４０号公報
【非特許文献】
【００４３】
【非特許文献１】ITU-T H.264 2011/06
【非特許文献２】ITU-T 勧告 H.265 High efficiency video coding, April 2013
【非特許文献３】High efficiency video coding (HEVC) text specification draft 7 of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting: Geneva, CH, 27 April - 7 May 2012
【発明の概要】
【発明が解決しようとする課題】
【００４４】
本発明の発明者のうちの一部の者は、処理負荷を分散することができる映像符号化装置を提案した（特願２０１３−１８５９９４）。【００４５】
なお、特許文献１には、第１符号化部と第２符号化部とを備えた映像符号化装置が記載されている。しかし、特許文献１には、映像符号化装置における負荷を分散するための技術は開示されていない。【００４６】
図18は、処理負荷を分散することができる映像符号化装置の一例を示すブロック図である。図18に示す映像符号化装置において、前段映像符号化器102 が、16×16画素のLCU サイズのCTU と等価であるマクロブロックをサポートするAVC（Advanced Video Coding）映像符号化器である。前段映像符号化器102 は、非特許文献１に記載されたH.264/AVC 規格に基づく映像符号化器である。後段映像符号化器105が、16×16画素だけでなく32×32画素および64×64画素のCTU をサポートするHEVC映像符号化器である。すなわち、後段映像符号化器105は、H.265/HEVC規格に基づく映像符号化器である。つまり、前段映像符号化器102 が対応できる最大LCU サイズは、後段映像符号化器105 が対応できる最大LCUサイズ以下である。【００４７】
図18に示す映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器1040、および後段映像符号化器105 を備える。【００４８】
サイズ拡張器101は、入力画像src の幅src_pic_width および高さsrc_pic_heightを16の倍数にサイズ拡張する。例えば、(src_pic_width、src_pic_height) = (1920, 1080) の場合、拡張された入力画像の幅e_src_pic_width と高さe_src_pic_heightは、(e_src_pic_width、e_src_pic_height) = (1920, 1088)となる。なお、サイズ拡張された領域の画素値は、入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 ）でもよい。【００４９】
サイズ拡張器101 は、サイズ拡張された入力画像を前段映像符号化器102 およびバッファ103 に供給する。前段映像符号化器102 は、サイズ拡張された入力画像をH.264/AVC 方式で符号化する。【００５０】
前段映像符号化器102 の構成と動作を説明する。【００５１】
前段映像符号化器102 は、周波数変換／量子化器1021、逆量子化／逆周波数変換器1022、バッファ1023、予測器1024、および推定器（前段推定器）1025を備える。【００５２】
推定器1025は、サイズ拡張された入力画像とバッファ1023に格納された再構築画像とを用いて、サイズ拡張された入力画像を構成する各マクロブロックのAVC 符号化データを決定する。本明細書において、AVC 符号化データ（AVCMB ）は、図19に示される、マクロブロックに対応する16×16画素領域のDCT 係数を除く符号化データ（mb_type、sub_mb_type、ref_idx_l0、ref_idx_l1、mv_l0、mv_l1、intra_lumaNxN_pred、transform_size_8x8_flag ）を含む。ここで、mb_type  およびsub_mb_type  は、それぞれ、非特許文献１のTable 7-11、Table 7-13、Table 7-14で定義されるマクロブロックの符号化モード、および非特許文献１のTable 7-17およびTable 7-18で定義されるサブマクロブロックの符号化モードを示す。また、ref_idx_lx (x=0/1)、mv_lx 、intra_lumaNxN_pred、およびtransform_size_8x8_flag は、それぞれ、参照ピクチャリストx の参照ピクチャインデックス、参照ピクチャリストx の動きベクトル、輝度イントラ予測方向、および、マクロブロックが8×8DCT で符号化されたか否かのフラグを示す。【００５３】
上述したように、マクロブロックが16×16画素であり、さらに、AVC 方式における最小処理単位が4×4画素であることに着目すると、各マクロブロックにおける各AVC 符号化データの位置は、マクロブロック中の16×16ブロックアドレスb8（0≦b8≦3）（図20における上段）と、8×8ブロック中のブロックアドレスb4（0≦b4≦3）（図20における下段）との組によって定義される。例えば、マクロブロック内で(x,y)=(4,4) の位置のintra_lumaNxN_predは、(b8,b4)=(0,1) となり、intra_lumaNxN_pred[0][3]に格納することができる。【００５４】
推定器1025は、決定した各マクロブロックのAVC 符号化データを予測器1024および符号化データ変換器1040に出力する。【００５５】
予測器1024は、推定器1025が決定したmb_type シンタクス値、sub_mb_type シンタクス値、ref_idx_l0シンタクス値、ref_idx_l1シンタクス値、mv_l0 シンタクス値、mv_l1 シンタクス値、および、intra_lumaNxN_predシンタクス値に基づいて、各マクロブロックのサイズ拡張された入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはフレーム間予測に基づいて生成される。【００５６】
H.264/AVC 方式のイントラ予測については、非特許文献１に記載されているように、mb_type によって定義される、3 種類のブロックサイズのイントラ予測モードIntra_4x4 、Intra_8x8 、Intra_16x16 がある。【００５７】
図21(a)，(c) を参照すると、Intra_4x4 とIntra_8x8 とはそれぞれ4×4ブロックサイズと8×8ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。【００５８】
Intra_4x4 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図21(b) に示す9 種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_8x8 のイントラ予測では、図21(c) における右矢印の直下に記載されているローパスフィルタ（1/2 ，1/4 ，1/2 ）によって再構築画像の周辺画素が平滑化された画素を参照画素として図21(b) に示す9 種類の方向に参照画素を外挿して予測信号が形成される。図21(b) において、矢印は参照方向（予測方向とは逆）を示す。なお、図21(b) において、数字は、予測モード番号を示す。【００５９】
図22(a) を参照すると、Intra_16x16 は16×16ブロックサイズのイントラ予測であることがわかる。図21に示された例と同様に、図22において、図中の丸（〇）はイントラ予測の参照画素、つまり、バッファ1023に格納された再構築画像を示す。Intra_16x16 のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図22(b) に示す4 種類の方向に参照画素を外挿して予測信号が形成される。【００６０】
H.264/AVC 方式のフレーム間予測については、図23に記載されているように、mb_type によって定義される、16×16，16×8 ，8×16 Tree の予測形状がある。マクロブロックがTreeの場合、各8×8サブマクロブロックは、sub_mb_type によって定義される、8×8，8×4, 4×8，4×4のいずれかの予測形状となる。本明細書では、説明を簡略化するために、mb_type がTreeの場合（P_8x8またはB_8x8）の場合、各8×8サブマクロブロックは8×8だけに限定されるとする。【００６１】
周波数変換／量子化器1021は、推定器1025が決定したmb_type シンタクス値およびtransform_size_8x8_flag シンタクス値に基づいて、サイズ拡張された入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００６２】
さらに、周波数変換／量子化器1021は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値という。【００６３】
逆量子化／逆周波数変換器1022は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1022は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1023に供給される。バッファ1023は、再構築画像を格納する。【００６４】
上述した動作に基づいて、前段映像符号化器102はサイズ拡張された入力画像信号を符号化する。【００６５】
符号化データ変換器1040は、各マクロブロックのAVCMBを、図24に示すマクロブロックに対応する16×16画素の領域のHEVC符号化データ（cu_size ，tu_size ，pred_mode_flag，part_mode ，ref_idx_l0，ref_idx_l1，mv_l0 ，mv_l1 ，intra_lumaNxN_pred，intra_chroma_pred ）であるHEVCCBに変換する。ただし、ここで、cu_size およびtu_size は、それぞれ、CUサイズおよびTUサイズを示す。【００６６】
図25は、I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図26は、P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図27は、B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。図25〜図27において、V は垂直方向を意味し、H は水平方向を意味する。また、各行は、各々のmb_typeおよびintra_lumaNxN_predに対する変換ルールを示す。【００６７】
HEVC方式において、LCUの最小サイズが16×16画素、SCUの最小サイズが8×8画素、最小処理単位が4×4画素であることに着目すると、16×16画素単位でHEVC符号化データを管理できる。各16×16画素におけるHEVC符号化データの位置は、AVC 符号化データと同様に、マクロブロック中の8×8ブロックアドレスb8（0≦b8≦3）と8×8ブロック中のブロックアドレスb4（0≦b4≦3）の組によって定義できる。【００６８】
例えば、CUサイズが16の場合、各16×16画素におけるHEVC符号化データのcu_size[b8] （0≦b8≦3）は、すべて16となる。【００６９】
図25に示すI_SLICE マッピング、図26に示すP_SLICE マッピング、および図27に示すB_SLICE マッピングのそれぞれには、符号化データ変換器1040による、各AVCMBをHEVCCBにマッピング（変換）するルールがピクチャタイプ別に示されている。【００７０】
続いて、符号化データ変換器1040は、図28に示される、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、ならびに、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、４個のHEVCCBのcu_size を32に更新する。【００７１】
さらに、符号化データ変換器1040は、図29に示される、隣接する１６個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、および、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、１６個のHEVCCBを併合する。具体的には、１６個のHEVCCBのcu_size を64に更新する。【００７２】
後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。なお、後段映像符号化器105 は、入力画像src を、SCU の倍数ではなく、前段映像符号化器102 のマクロブロックサイズの倍数とする。画像境界に対する前段映像符号化器102 の符号化データの信頼度を高めるためである。【００７３】
後段映像符号化器105 の構成と動作を説明する。【００７４】
後段映像符号化器105 は、周波数変換／量子化器1051、逆量子化／逆周波数変換器1052、バッファ1053、予測器1054、推定器（後段推定器）1055、およびエントロピー符号化器1056を備える。【００７５】
後段映像符号化器105 における推定器1055は、CTU 毎に、split_cu_flag を、HEVC符号化データのcu_size に従って確定できる。例えば、cu_size=64の場合、CUDepth=0 のsplit_cu_flag を0 にすればよい。同様に、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、CUのイントラ予測／インター予測およびPU分割形状を確定できる。もちろん、HEVC符号化データのpred_mode_flagおよびpart_mode に従って、PUのイントラ予測方向、および動きベクトルなどを確定できる。つまり、背景技術の推定器のように、ラグランジュ乗数λに基づいた符号化コストJ を最小とする符号化パラメータを網羅的に探索する必要がない。【００７６】
予測器1054は、推定器1055が決定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各CUの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測もしくはフレーム間予測に基づいて生成される。【００７７】
周波数変換／量子化器1051は、推定器1055がHEVC符号化データのtu_size に従って確定したTU分割形状に基づいて、入力画像信号から予測信号を減じた予測誤差画像を周波数変換する。【００７８】
さらに、周波数変換／量子化器1051は、周波数変換した予測誤差画像（周波数変換係数）を量子化する。【００７９】
エントロピー符号化器1056は、推定器1055が確定したsplit_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向の差分情報、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。【００８０】
逆量子化／逆周波数変換器1052は、変換量子化値を逆量子化する。さらに、逆量子化／逆周波数変換器1052は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ1053に供給される。バッファ1053は、再構築画像を格納する。【００８１】
上述した動作に基づいて、後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、そのビットストリームを出力する。【００８２】
図30のフローチャートを参照して、映像符号化装置の動作を説明する。【００８３】
ステップS101において、サイズ拡張器101は、入力画像を前段映像符号化器102 のマクロブロックサイズである16の倍数にサイズ拡張する。【００８４】
ステップS102において、前段映像符号化器102 は、サイズ拡張された入力画像をAVC 方式で符号化する。【００８５】
ステップS103において、符号化データ変換器1040は、サイズ拡張された入力画像の各マクロブロックのAVCMB をHEVCCBに変換し、さらにHEVCCBの併合を行う。【００８６】
ステップS104において、後段映像符号化器105 は、符号化データ変換器1040から供給されるHEVC符号化データに基づいて、バッファ103 から供給されるサイズ拡張された入力画像をHEVC方式で符号化し、ビットストリームを出力する。【００８７】
上記の映像符号化装置において、split_cu_flag シンタクス値、pred_mode_flagシンタクス値、part_mode シンタクス値、split_tu_flag シンタクス値、イントラ予測方向、および動きベクトルなどを決定する映像符号化処理の負荷が前段映像符号化器102 と後段映像符号化器105 とに分配され、映像符号化処理の負荷の集中が緩和される。【００８８】
なお、符号化データ変換器1040は、隣接する４個のHEVCCBが以下に示す32×32 2N×N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32および2N×N に更新してもよい。【００８９】
［32×32 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側２つのHEVCCB動き情報が同一である
・下側２つのHEVCCB動き情報が同一である【００９０】
また、符号化データ変換器1040は、隣接する４個のHEVCCBが以下に示す32×32 N×2N条件を全て満たす場合、４個のHEVCCBのcu_size およびpart_mode をそれぞれ32およびN×2N に更新してもよい。【００９１】
［32×32 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flag が0 である
・すべてのHEVCCB動き情報が同一でない
・左側２つのHEVCCB動き情報が同一である
・右側２つのHEVCCB動き情報が同一である【００９２】
さらに、符号化データ変換器1040は、隣接する１６個のHEVCCBが以下に示す64×64 2N×N 条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64および2N×N に更新してもよい。【００９３】
［64×64 2N×N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・上側8つのHEVCCB動き情報が同一である
・下側8つのHEVCCB動き情報が同一である【００９４】
また、符号化データ変換器1040は、隣接する１６個のHEVCCBが以下に示す64×64 N×2N条件を全て満たす場合、１６個のHEVCCBのcu_size およびpart_mode をそれぞれ64およびN×2N に更新してもよい。【００９５】
［64×64 N×2N条件］
・すべてのpart_mode が2N×2Nである
・すべてのcu_size が同一である
・すべてのpred_mode_flagが0 である
・すべてのHEVCCB動き情報が同一でない
・左側８つのHEVCCB動き情報が同一である
・右側８つのHEVCCB動き情報が同一である【００９６】
図21(b) に示すように、H.264/AVC 方式では、イントラ予測モードとして、8 種類の方向性予測とDC予測との計9 種類の予測モードがある。H.265/HEVC方式では、イントラ予測モードとして、33種類の方向性予測（図11参照）とDC予測およびPlanar予測との計35種類の予測モードがある。また、H.265/HEVC方式では、Most probable mode（MPM ）と呼ばれる符号化方式を用いることができる。MPM では、処理対象のPUに隣接するPUの予測方向、DC予測モードまたはPlanar予測モードが、処理対象のPUに適用される。【００９７】
上述したように、符号化データ変換器1040は、所定のルール（図25〜図27参照）に従って各AVCMBをHEVCCBに変換する。図25〜図27に示されているように、符号化データ変換器1040は、H.264/AVC 方式の予測モードを、H.265/HEVC方式の予測モードに変換する。【００９８】
H.264/AVC 方式における予測モードの種類はH.265/HEVC方式における予測モードの種類よりも少ないので、後段映像符号化器105 の符号圧縮効率（符号化効率）が低下するおそれがある。例えば、H.264/AVC 方式で頻繁に使われるPlanar予測がH.264/AVC 方式には存在しないため、符号化データ変換器1040は、Planar予測に変換しないことになる。なお、図25〜図27には、例外的に、H.264/AVC 方式でIntra_16x16においてPlane 予測（予測モード３）が行われた場合にはPlanar予測に変換されることが示されているが、その他の場合にPlanar予測は用いられない。【００９９】
本発明は、処理負荷を分散しつつ、符号化効率の低下を防止することができる映像符号化装置、映像符号化方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０１００】
本発明による映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、符号化データ変換手段は、少なくとも、第１の映像符号化手段が使用不能であって第２の映像符号化手段が使用可能なイントラ予測モードを発生する予測モード発生部と、予測モード発生部が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化手段が使用する予測モードを選択する予測モード選択部とを含むことを特徴とする。【０１０１】
本発明による映像符号化方法は、入力画像を符号化して第１の符号化データを生成し、入力画像をバッファに格納し、第１の符号化データを変換して第２の符号化データを生成し、第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生し、発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択することを特徴とする。【０１０２】
本発明による映像符号化プログラムは、コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、入力画像をバッファに格納する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させることを特徴とする。
【発明の効果】
【０１０３】
本発明によれば、処理負荷を分散しつつ、符号化効率の低下を防止することができる。
【図面の簡単な説明】
【０１０４】
【図１】一実施形態の映像符号化装置の構成例を示すブロック図である。
【図２】符号化データ変換器の構成例を示すブロック図である。
【図３】一実施形態の映像符号化装置の動作を示すフローチャートである。
【図４】予測モード番号の変換を説明するための説明図である。
【図５】予測モード削除部の処理を説明するための説明図である。
【図６】予測モード選択部の処理の一例を示す説明図である。
【図７】MPM の選定方法の一例を示すフローチャートである。
【図８】本発明による映像符号化装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。
【図９】映像符号化装置の主要部を示すブロック図である。
【図１０】映像符号化装置の他の例を示すブロック図である。
【図１１】33種類の角度イントラ予測の例を示す説明図である。
【図１２】フレーム間予測の例を示す説明図である。
【図１３】一般的な映像符号化装置の構成を示すブロック図である。
【図１４】フレームt のCTU 分割例、および、フレームt のCTU8のCU分割例を示す説明図である。
【図１５】CTU8のCU分割例に対応するクアッドツリー構造を示す説明図である。
【図１６】CUのPU分割例を示す説明図である。
【図１７】CUのTU分割例を示す説明図である。
【図１８】映像符号化装置の構成例を示すブロック図である。
【図１９】AVC 符号化データを示す説明図である。
【図２０】マクロブロック中のブロックアドレスのための説明図である。
【図２１】予測の種類を説明するための説明図である。
【図２２】予測の種類を説明するための説明図である。
【図２３】AVC 方式のTreeの予測形状を示す説明図である。
【図２４】HEVC符号化データであるHEVCCBを示す説明図である。
【図２５】I_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図２６】P_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図２７】B_SLICE のマクロブロックのAVC 符号化データからHEVCCBへの変換ルールを示す説明図である。
【図２８】HEVCCBの例を示す説明図である。
【図２９】HEVCCBの例を示す説明図である。
【図３０】映像符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０１０５】
以下、本発明の実施形態を図面を参照して説明する。
【０１０６】
実施形態１．
図1 は、本実施形態の映像符号化装置の構成例を示すブロック図である。本実施形態の映像符号化装置は、サイズ拡張器101 、前段映像符号化器102 、バッファ103 、符号化データ変換器104 、および後段映像符号化器105 を備える。図1 に示す映像符号化装置において、符号化データ変換器104 の機能は、図18に示された符号化データ変換器1040の機能とは異なる。図1 に示す映像符号化装置の他の部分の構成は、図18に示された映像符号化装置における構成と同様である。
【０１０７】
図2 は、符号化データ変換器104 の構成例を示すブロック図である。符号化データ変換器104 は、Ｈ．２６４予測モード変換部1041、追加予測モード生成部1042、予測モード削除部1043、および予測モード選択部1044を含む。
【０１０８】
Ｈ．２６４予測モード変換部1041は、図18に示された符号化データ変換器1040と同様の機能を有する。追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041による変換後の予測モードに追加される予測モードとして、後段映像符号化器105 が使用可能な１つまたは複数の予測モード（イントラ予測モード）を発生する。具体的にどのような予測モードを発生するかについては後述する。なお、追加予測モード生成部1042は、少なくとも、前段映像符号化器102 が使用不能であって後段映像符号化器105 が使用可能なイントラ予測モードを発生することが好ましい。以下、Ｈ．２６４予測モード変換部1041による変換後の予測モードをH.265 予測モードといい、追加予測モード生成部1042が発生した１つまたは複数の予測モードを仮追加H.265 予測モードという。
【０１０９】
予測モード削除部1043は、仮追加H.265 予測モードのうち所定の条件を満たす予測モードを削除する。以下、予測モード削除部1043による削除処理後の予測モードの集合を追加H.265 予測モードという。予測モード選択部1044は、H.265 予測モードおよび追加H.265 予測モードに関して符号化コストを算出し、符号化コストが最小になる予測モードを選択する。選択された予測モードは、後段映像符号化器105 における周波数変換／量子化器1051で使用される。
【０１１０】
次に、図３のフローチャートと図４および図５の説明図を参照して、符号化データ変換器104 の動作を説明する。
【０１１１】
ステップS121で、Ｈ．２６４予測モード変換部1041は、図18に示された符号化データ変換器1040による処理と同様の処理を実行して、AVCMBをHEVCCBに変換する処理を実行する。図4 は、変換処理における予測モード番号の変換を説明するための説明図である。図11および図21(b) を参照すると、図4 の左側に示されるH.264/AVC 方式での予測モード（図4 において、数字は予測モード番号を示す。）は、右側に示されるH.265/HEVC方式における予測モードに対応する。従って、Ｈ．２６４予測モード変換部1041は、図4 に示すように、予測モードを変換して出力する。具体的には、Ｈ．２６４予測モード変換部1041は、H.265 予測モードの予測モード番号を出力する。
【０１１２】
ステップS122で、追加予測モード生成部1042は、所定の予測モードを発生する。第１の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとして、使用頻度が高いことが知られているPlanar予測（予測モード番号０）を発生して出力する。具体的には、追加予測モード生成部1042は、仮追加H.265 予測モードの予測モード番号を出力する。
【０１１３】
ステップS123で、予測モード削除部1043は、所定の条件を満たす仮追加H.265 予測モードを削除する。所定の条件は、一例として、Ｈ．２６４予測モード変換部1041が出力した予測モードと同じ（予測モード番号が同じ）予測モードである。ただし、第１の実施形態では、追加予測モード生成部1042は、Planar予測のみを発生するので、予測モード削除部1043は、仮追加H.265 予測モードを削除しない。
【０１１４】
ステップS124で、予測モード選択部1044は、Ｈ．２６４予測モード変換部1041が出力した予測モード（図2 に示すH.265 予測モード）および予測モード削除部1043が出力した予測モード（図2 に示す追加H.265 予測モード）を評価し、評価結果にもとづいて１つの予測モードを選択する。選択された予測モードは、後段映像符号化器１０５における周波数変換／量子化部1051で使用される。
【０１１５】
図5 は、予測モード削除部1043の処理を説明するための説明図である。なお、図5 には、追加予測モード生成部1042によって、Planar予測、DC予測（予測モード番号０）および垂直方向予測（予測モード番号２６）が発生された場合の例（後述する第２の実施形態に対応）が示されている。
【０１１６】
図5 に示すように、Ｈ．２６４予測モード変換部1041が変換後の予測モードとして、予測モード番号２６の予測モードを出力したとする。その場合、予測モード番号２６の予測モードは、仮追加H.265 予測モードの１つと重複する。その場合、予測モード削除部1043は、仮追加H.265 予測モードから予測モード番号２６の予測モードを削除する。予測モードが削除されることによって、予測モード選択部1044が評価する予測モードの数が低減される。
【０１１７】
図6 は、予測モード選択部1044の処理の一例を示す説明図である。図6 には、Ｈ．２６４予測モード変換部1041が変換後の予測モードとして、予測モード番号２６の予測モードを出力し、予測モード削除部1043が、追加H.265 予測モードとして、Planar予測およびDC予測を出力した場合の例が示されている。
【０１１８】
例えば、予測モード選択部1044は、（２）式の評価式を用いて予測モードの評価を行う。
【０１１９】
J(mode) = D(mode) + λ・Bit           （２）
【０１２０】
J(mode) は、符号化コストである。λは、ラグランジュ乗数である。modeは、予測モード番号を示す。D(mode) 、Bit は、それぞれ、符号化歪、modeを用いて符号化した際に発生するCUビット数を示す。
【０１２１】
本実施形態、予測モード選択部1044は、例えば、D(mode) として、SAD （Sum of Absolute Difference：絶対値誤差和）を用いる。SAD は、処理対象の画像信号と予測信号との誤差（予測歪）を示す。SAD を用いる場合、（２）式の評価式は、（３）式のように表される。
【０１２２】
J(mode) = SAD + λ・Bit           （３）
【０１２３】
予測モード選択部1044は、（３）式に基づいて各予測モードの符号化コストを算出する。そして、予測モード選択部1044は、符号化コストが最も小さい予測モードを選択して出力する。
【０１２４】
図6 に示す例では、予測モード番号０，１，２６の各予測モードについてラグランジュ乗数は"10"であり、SAD は、"400" 、"150" 、"300" であり、Bit は、"2" 、"2" 、"3" である。予測モード番号１の予測モードの符号化コストが最も小さいので、予測モード選択部1044は、予測モード番号１の予測モードを選択する。
【０１２５】
本実施形態では、予測モード選択部1044が、Ｈ．２６４予測モード変換部1041による変換後の予測モードに加えて所定の予測モードを評価し、後段映像符号化器105 が使用する予測モードを評価結果に基づいて選択するので、後段映像符号化器105 は、Ｈ．２６４予測モード変換部1041による変換後の予測モードよりも符号化効率が高い予測モードを使用できる可能性が高まる。すなわち、符号化効率を向上させることが可能になる。
【０１２６】
実施形態２．
第１の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとしてPlanar予測を発生した。第２の実施形態では、追加予測モード生成部1042は、仮追加H.265 予測モードとして、H.265/HEVC規格に基づくMPM (Most Probable Mode)の概念を利用して仮追加H.265 予測モードを発生する。
【０１２７】
すなわち、処理対象のブロックは近傍ブロックと強く相関するので、追加予測モード生成部1042は、近傍ブロックでの予測モードを仮追加H.265 予測モードにする。なお、平坦領域の低ビット符号化では、MPM の予測モードが符号化効率が高い予測モードになりやすい。また、本実施形態では、３つのMPM （MPM0、MPM1、MPM3）を決定する。
【０１２８】
図7 は、追加予測モード生成部1042が実施するMPM の選定方法の具体例を示すフローチャートである。追加予測モード生成部1042は、ステップS201で、処理対象のPUの直左側のPUが使用可能（処理済み）であるか否か確認する。直左側のPUが使用可能でなければ、ステップS204に移行する。直左側のPUが、使用可能であり、かつ、イントラ予測モードが適用されている場合には、追加予測モード生成部1042は、その予測モードを候補Ａ（candA ）に加える(ステップS202,S203 ）。イントラ予測モードが適用されていない場合には、ステップS204に移行する。ステップS204で、追加予測モード生成部1042は、candA にDC予測を加える。
【０１２９】
また、追加予測モード生成部1042は、ステップS211で、処理対象のPUの直上側のPUが使用可能（処理済み）であるか否か確認する。直上側のPUが使用可能でなければ、ステップS214に移行する。直上側のPUが、使用可能であり、かつ、イントラ予測モードが適用されている場合には、追加予測モード生成部1042は、その予測モードを候補Ｂ（candB ）に加える(ステップS212,S213 ）。イントラ予測モードが適用されていない場合には、ステップS214に移行する。ステップS214で、追加予測モード生成部1042は、candB にDC予測を加える。
【０１３０】
さらに、ステップS221で、追加予測モード生成部1042は、candA とcandB とが同じであるか否か確認する。同じでなければ、ステップS231に移行する。candA とcandB とが同じである場合には、candB の予測モード番号が２よりも小さいか否か確認する（ステップS223）。予測モード番号が２よりも小さい場合には、ステップS223で、追加予測モード生成部1042は、MPM すなわち仮追加H.265 予測モードを、Planar予測、DC予測および垂直予測（MPM0=Planar 、MPM1=DC 、MPM2=Vertical ）とする。予測モード番号が２以上である場合には、ステップS224で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM0としてcandA を追加し、MPM1として(MPM0+29)%32+2を追加し、MPM2として(MPM0-1)%32+2 を追加する、なお、%32 は、32で割った剰余を示す。
【０１３１】
ステップS231で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM0としてcandA を追加しMPM1としてcandB を追加する。ステップS232で、追加予測モード生成部1042は、MPM0とMPM1とのいずれかがPlanar予測であるか否か確認する。少なくとも一方がPlanar予測である場合には、ステップS234に移行する。いずれもPlanar予測でない場合には、ステップS233で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2としてPlanar予測を追加する。なお、"+"は、論理和を示す。
【０１３２】
ステップS234で、追加予測モード生成部1042は、MPM0とMPM1のいずれの予測モード番号も２よりも小さいか否か確認する。換言すれば、Planar予測でない方が、DC予測であるか否か確認する。なお、"&&"は、論理積を示す。いずれの予測モード番号も２よりも小さい場合には、ステップS235で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2として垂直予測を追加する。MPM0とMPM1のいずれかが予測モード番号２以上の予測モードである場合には（ステップS232より、いずれか一方は、予測モード番号０のPlanar予測である。）、ステップS236で、追加予測モード生成部1042は、仮追加H.265 予測モードにMPM2としてDC予測を追加する。
【０１３３】
以上の処理によって決定される３つの仮追加H.265 予測モードは、以下のいずれかの組み合わせになる。
・Planar予測、DC予測、垂直予測
・直左側のPUの予測モード、直上側のPUの予測モード、DC予測
・直左側のPUの予測モード、直上側のPUの予測モード、Planar予測
・DC予測（または、Planar予測）、水平方向の角度予測（方向性予測）、垂直方向の角度予測
【０１３４】
すなわち、追加H.265 予測モードに、Planar予測と比較的出現しやすい垂直予測とが含まれやすくなる。なお、図7 に示されたMPM の決定方法は一例であり、図7 に示された方法の一部を変更したり、他の方法でMPM を決定してもよい。
【０１３５】
実施形態３．
追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の予測モードを仮追加H.265 予測モードとしてもよい。なお、予測モードの近傍は、予測モード番号が近似していることを意味する。換言すれば、予測方向（角度）が類似している（角度差が小さい）ことを意味する。
【０１３６】
一例として、追加予測モード生成部1042は、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の４つの予測モードを仮追加H.265 予測モードとする。例えば、Ｈ．２６４予測モード変換部1041が予測モード番号７の予測モードを出力した場合、追加予測モード生成部1042は、予測モード番号５，６，８，９の予測モードを仮追加H.265 予測モードとする。
【０１３７】
なお、Ｈ．２６４予測モード変換部1041がDC予測を出力した場合、予測方向が類似している予測モードを特定できない。その場合には、追加予測モード生成部1042は、例えば、出現頻度が高い、Planar予測、垂直予測、水平予測、斜め４５゜方向の予測の予測モードを発生する。
【０１３８】
Ｈ．２６４予測モード変換部1041が出力した予測モード（変換前のH.264/AVC 方式における予測モードに相当）は、後段映像符号化器が使用すべき最適なH.265/HEVC方式での予測モードと強く相関する。つまり、Ｈ．２６４予測モード変換部1041が出力した予測モードの近傍の予測モードが最適な（符号化効率が高い）予測モードになる可能性が高い。本実施形態のように、追加予測モード生成部1042が、Ｈ．２６４予測モード変換部1041が出力した予測モードの予測モード番号の近傍の予測モードを発生することによって、符号化効率を低下させないようにすることができる。
【０１３９】
なお、第１〜第３の実施形態では、予測モード選択部1044は、追加H.265 予測モードとＨ．２６４予測モード変換部1041が出力したH.265 予測モードとを対象にして符号化コストを計算したが、追加H.265 予測モードのみを対象として符号化コストを計算してもよい。その場合には、追加予測モード生成部1042は、第１〜第３の実施形態の場合と同様に、後段映像符号化器105 で使用可能な所定のイントラ予測モードとして、予測モード選択部1044が評価結果を高くする蓋然性が高い予測モードを発生するが、予測モード選択部1044は、追加予測モード生成部1042が発生した予測モードの中から（Ｈ．２６４予測モード変換部1041が出力したH.265 予測モードを選択対象とせず）、後段映像符号化器105 が使用する予測モードを選択する。
【０１４０】
また、追加予測モード生成部1042は、第１〜第３の実施形態における仮追加H.265 予測モードの発生方法を任意に組み合わせた方法によって、仮追加H.265 予測モードを決めるようにしてもよい。
【０１４１】
上記の実施形態では、サイズ拡張器101 が設けられているが、サイズ拡張器101 に加えて、画素ビット深度変換器が設けられていてもよい。その場合、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された4:2:0 10-bitの入力画像を4:2:0 8-bit に変換する。ビット深度変換において、LSB 2bitを右シフトで切り捨ててもよいし、四捨五入を用いて丸めてもよい。
【０１４２】
前段映像符号化器102 は、16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像をAVC 方式で符号化する。
【０１４３】
符号化データ変換器104 は、画素ビット深度変換器から供給される16の倍数にサイズ拡張されて4:2:0 8-bit に変換された入力画像の各マクロブロックのAVC 符号化データをHEVCCBに変換する。
【０１４４】
なお、画素ビット深度変換器は、サイズ拡張器101 から供給される16の倍数にサイズ拡張された入力画像の画素ビット深度を低減したが、映像符号化装置に入力される入力画像の画素ビット深度を低減するようにしてもよい。その場合には、サイズ拡張器101 は設けられない。
【０１４５】
また、映像符号化装置は、ダウンサンプリング器を備えていてもよい。前段映像符号化器102 は、1080p （2K）の入力フォーマットをサポートするAVC 映像符号化器である。後段映像符号化器はHEVC映像符号化器である。つまり、前段映像符号化器102 が対応できる空間解像度は、後段映像符号化器105 における空間解像度未満である。
【０１４６】
ダウンサンプリング器は、2160p の入力画像src （src_pic_width =3840, src_pic_height=2160 ）を1080p （src_pic_width =1920, src_pic_height=1080）に縮小する。さらに、ダウンサンプリング器は、1080p に縮小された入力画像の幅src_pic_width および高さsrc_pic_heightを16の倍数に拡張する。なお、拡張された領域の画素値は、1080p に縮小された入力画像の境界の画素値のコピーでもよいし、予め定められた画素値（例えば、グレーを示す128 （入力画像が8-bit の場合））でもよい。
【０１４７】
前段映像符号化器102 は、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像をAVC 方式で符号化する。
【０１４８】
符号化データ変換器104 は、ダウンサンプリング器から供給される1080p に縮小されて16の倍数に拡張された入力画像を構成する分割画面の各マクロブロックのAVC 符号化データを変換し、HEVCCBに変換する。ただし、符号化データ変換器104 は、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、cu_size 、tu_size 、および動き情報の動きベクトルの水平成分の値と垂直成分の値とを２倍にする。
【０１４９】
続いて、符号化データ変換器104 は、上記の実施形態の場合と同様に、隣接する４個のHEVCCBのすべてのpart_mode が2N×2Nであり、かつ、すべてのcu_size 、pred_mode_flag、動き情報（ref_idx_l0，ref_idx_l1，mv_l0 およびmv_l1 ）が同一である場合、４個のHEVCCBを併合する。具体的には、前段映像符号化器102 への入力画像が後段映像符号化器105 への入力画像に対して解像度が水平および垂直に半分になっていることを考慮して、符号化データ変換器104 は、４個のHEVCCBのcu_size を64に更新する。
【０１５０】
後段映像符号化器105 は、上記の実施形態の場合と同様に、前段映像符号化器102 から供給されるHEVC符号化データに基づいて、バッファ103 から供給される2160p の入力画像をHEVC方式で符号化し、ビットストリームを出力する。
【０１５１】
映像符号化装置がダウンサンプリング器を含むように構成されている場合には、映像符号化装置は、HDTV（High Definition Television）規格の2160p （4K） の入力フォーマットをサポートすることができる。
【０１５２】
また、上記の実施形態の映像符号化装置を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１５３】
図8 に示す情報処理システムは、プロセッサ1001、プログラムメモリ1002、映像データを格納するための記憶媒体1003およびビットストリームを格納するための記憶媒体1004を備えている。記憶媒体1003と記憶媒体1004とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
【０１５４】
図8 に示された情報処理システムにおいて、プログラムメモリ1002には、図1 および図2 に示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ1001は、プログラムメモリ1002に格納されているプログラムに従って処理を実行することによって、上記の実施形態の映像符号化装置の機能を実現する。
【０１５５】
図9 は、本発明による映像符号化装置の主要部を示すブロック図である。図9 に示すように、映像符号化装置は、入力画像を符号化して第１の符号化データを生成する第１の映像符号化部11（一例として、図1 に示す前段映像符号化器102 ）と、第１の映像符号化部11が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換部131 （一例として、図1 に示す符号化データ変換器104 ）と、符号化データ変換部131 から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化部14（一例として、図1 に示す後段映像符号化器105 ）とを備え、符号化データ変換部131 は、第２の映像符号化部14が使用可能な所定のイントラ予測モードを発生する予測モード追加部（予測モード発生部）1312（一例として、図2 に示す追加予測モード生成部1042）と、予測モード発生部1312が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化部14が使用する予測モードを選択する予測モード選択部1313（一例として、図2 に示す予測モード選択部1044）とを含み、予測モード発生部1312は、所定のイントラ予測モードとして、予測モード選択部1313が評価結果を高くする蓋然性が高い予測モードを発生する。
【０１５６】
図10は、本発明による他の映像符号化装置の主要部を示すブロック図である。図10に示す映像符号化装置は、図9 に示す映像符号化装置の構成に加えて、符号化データ変換部132 において、予測モード発生部1312が発生した予測モードから所定の条件を満たす予測モードを削除する予測モード削除部1314（一例として、図2 に示す予測モード削除部1043）が設けられている。
【０１５７】
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
【０１５８】
（付記１）入力画像を符号化して第１の符号化データを生成する第１の映像符号化手段と、第１の映像符号化手段が生成した第１の符号化データを変換して第２の符号化データを生成する符号化データ変換手段と、符号化データ変換手段から供給される第２の符号化データに基づいて予測信号を生成する第２の映像符号化手段とを備え、符号化データ変換手段は、第１の映像符号化手段によるイントラ予測モードを第２の映像符号化手段が使用するイントラ予測モードに変換する予測モード変換部と、予測モード変換部による変換後の予測モードに追加される予測モードとして、第２の映像符号化手段が使用可能な所定のイントラ予測モードを発生する予測モード追加部と、予測モード変換部による変換後の予測モードおよび予測モード追加部が発生した予測モードを評価し、評価結果に基づいて、第２の映像符号化手段が使用する予測モードを選択する予測モード選択部とを含み、予測モード追加部は、所定のイントラ予測モードとして、予測モード選択部が評価結果を高くする蓋然性が高い予測モードを発生することを特徴とする映像符号化装置。
【０１５９】
（付記２）入力画像を符号化して第１の符号化データを生成し、入力画像をバッファに格納し、第１の符号化データを変換して第２の符号化データを生成し、第２の符号化データに基づいて予測信号を生成する映像符号化方法であって、第１の符号化データを変換するときに、第１の符号化データに関するイントラ予測モードを第２の符号化データに関するイントラ予測モードに変換し、第２の符号化データに基づく予測信号の生成に使用可能な所定のイントラ予測モードを発生し、変換後の予測モードおよび発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択し、所定のイントラ予測モードとして、評価結果を高くする蓋然性が高い予測モードを発生することを特徴とする映像符号化方法。
【０１６０】
（付記３）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであって、第１の符号化データを変換するときに、第１の符号化データに関するイントラ予測モードを第２の符号化データに関するイントラ予測モードに変換する処理と、第２の符号化データに基づく予測信号の生成に使用可能な所定のイントラ予測モードを発生する処理と、変換後の予測モードおよび発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させ、所定のイントラ予測モードとして、評価結果を高くする蓋然性が高い予測モードを発生させるための映像符号化プログラム。
【０１６１】
（付記４）コンピュータに、入力画像を符号化して第１の符号化データを生成する処理と、第１の符号化データを変換して第２の符号化データを生成する処理と、第２の符号化データに基づいて予測信号を生成する処理とを実行させるためのプログラムであり、少なくとも、第１の符号化データを生成する際に使用不能であって第２の符号化データを生成する際に使用可能なイントラ予測モードを発生する処理と、発生された予測モードを評価し、評価結果に基づいて、第２の符号化データを生成する際に使用する予測モードを選択する処理とを実行させるためのプログラムであって、H.264/AVC 規格に基づく符号化処理を実行して第１の符号化データを生成させ、H.265/HEVC規格に基づく符号化処理を実行して第２の符号化データを生成させる映像符号化プログラム。
【０１６２】
（付記５）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、Planar予測モードを発生させる付記３または付記４に記載の映像符号化プログラム。
【０１６３】
（付記６）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、MPM に基づく予測モードを発生させる付記３、付記４または付記５に記載の映像符号化プログラム。
【０１６４】
（付記７）コンピュータに、予測信号の生成に使用可能な所定のイントラ予測モードとして、変換後の予測モードの予測モード番号の近傍の予測モードを発生させる付記３、付記４、付記５または付記６に記載の映像符号化プログラム。
【０１６５】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６６】
この出願は、２０１４年２月１０日に出願された日本特許出願２０１４−０２３０９０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１６７】
11  第１の映像符号化部
14  第２の映像符号化部
101  サイズ拡張器
102  前段映像符号化器
103  バッファ
104,1040  符号化データ変換器
105  後段映像符号化器
131,132  符号化データ変換部
1001  プロセッサ
1002  プログラムメモリ
1003,1004  記憶媒体
1021,1051  周波数変換／量子化器
1022,1052  逆量子化／逆周波数変換器
1023,1053  バッファ
1024,1054  予測器
1025,1055  推定器
1041  Ｈ．２６４予測モード変換部
1042  追加予測モード生成部
1043  予測モード削除部
1044  予測モード選択部
1056  エントロピー符号化器
1312  予測モード追加部（予測モード発生部）
1313  予測モード選択部
1314  予測モード削除部
【図１】
2015118826.tif 000007
【図２】
2015118826.tif 000008
【図３】
2015118826.tif 000009
【図４】
2015118826.tif 000010
【図５】
2015118826.tif 000011
【図６】
2015118826.tif 000012
【図７】
2015118826.tif 000013
【図８】
2015118826.tif 000014
【図９】
2015118826.tif 000015
【図１０】
2015118826.tif 000016
【図１１】
2015118826.tif 000017
【図１２】
2015118826.tif 000018
【図１３】
2015118826.tif 000019
【図１４】
2015118826.tif 000020
【図１５】
2015118826.tif 000021
【図１６】
2015118826.tif 000022
【図１７】
2015118826.tif 000023
【図１８】
2015118826.tif 000024
【図１９】
2015118826.tif 000025
【図２０】
2015118826.tif 000026
【図２１】
2015118826.tif 000027
【図２２】
2015118826.tif 000028
【図２３】
2015118826.tif 000029
【図２４】
2015118826.tif 000030
【図２５】
2015118826.tif 000031
【図２６】
2015118826.tif 000032
【図２７】
2015118826.tif 000033
【図２８】
2015118826.tif 000034
【図２９】
2015118826.tif 000035
【図３０】
2015118826.tif 000036
【国際調査報告】
2015118826.tif 000037
2015118826.tif 000038
2015118826.tif 000039
2015118826.tif 000040