(57)【要約】      （修正有）【課題】効率的なマージ符号化処理を行う。【解決手段】１つ前のＰＵのマージ符号化処理が完了する前に、制御部２１は、１つ前のＰＵをマージ候補の評価対象からはずしてマージ候補の評価順序を決定し、マージ候補導出部２２は、評価順序に従って各マージ候補を評価し、１つ前のＰＵのマージ符号化処理が完了した後に、制御部２１は、１つ前のＰＵをマージ候補の評価対象に含めてマージ候補の評価順序を再度決定し、マージ候補導出部２２は、既に評価を開始したマージ候補を除いて、再度決定された評価順序に従って各マージ候補を評価する。【選択図】図２
2017085448.tif 000002
【特許請求の範囲】
【請求項１】
動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置であって、
前記インター予測部は、
処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定する評価順序決定部と、
前記評価順序に従い、各マージ候補を順に評価してコストを算出するマージ候補導出部と、
前記マージ候補導出部が算出したコストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するマージ候補決定部と、
前記マージインデックスを所定の符号化方式で符号化するマージ符号化部と、を備え、
前記評価順序決定部は、前記カレント予測ユニットの１つ前の予測ユニットのマージ符号化処理が完了する前に、前記１つ前の予測ユニットをマージ候補の評価対象からはずして第１の評価順序を決定し、前記１つ前の予測ユニットのマージ符号化処理が完了した後に、前記１つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第２の評価順序を決定することを特徴とする動画像符号化装置。
【請求項２】
前記マージ候補導出部は、前記第１の評価順序に従って各マージ候補を順に評価し、前記第２の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第２の評価順序に従って各マージ候補を順に評価することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置による動画像符号化方法であって、
処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定するステップと、
前記評価順序に従い、各マージ候補を順に評価してコストを算出するステップと、
前記コストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するステップと、
前記マージインデックスを所定の符号化方式で符号化するステップと、を有し、
前記評価順序を決定するステップは、前記カレント予測ユニットの１つ前の予測ユニットのマージ符号化処理が完了する前に、前記１つ前の予測ユニットをマージ候補の評価対象からはずして第１の評価順序を決定し、前記１つ前の予測ユニットのマージ符号化処理が完了した後に、前記１つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第２の評価順序を決定することを特徴とする動画像符号化方法。
【請求項４】
前記コストを算出するステップは、前記第１の評価順序に従って各マージ候補を順に評価し、前記第２の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第２の評価順序に従って各マージ候補を順に評価することを特徴とする請求項３記載の動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化を行う動画像符号化装置に関し、特に画面間予測（インター予測）の技術に関する。
【背景技術】
【０００２】
動画像符号化装置では、入力画像（原画像）を自装置内で符号化／復号することによって得られる局所復号画像に基づいて予測画像を生成し、当該予測画像を入力画像から減算して得られる予測残差を符号化する予測符号化技術が用いられている。なお、予測残差は、差分画像あるいは残差画像とも呼ばれることがある。
【０００３】
国際標準化団体であるＩＴＵ−ＴとＩＳＯ／ＩＥＣが共同で策定した映像符号化標準規格「Ｈ．２６５／ＨＥＶＣ」では、画面間予測の符号化方式として、適応動きベクトル予測符号化とマージ符号化の２種類を採用している。マージ符号化とは、ある符号化対象のブロックに隣接する、符号化済みの複数のブロックにおける動き情報から、最も類似する動き情報のブロック（マージ候補）を選択し、マージ候補の位置に対応するインデックスだけを符号化する技術である。
【０００４】
マージ符号化は、動きベクトルや参照画像インデックスなどは符号化しないため、適応動きベクトル予測符号化に比べて符号量を削減することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大久保榮監修、鈴木輝彦、高村誠之、中条健著、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、pp.136-140
【発明の概要】
【発明が解決しようとする課題】
【０００６】
動画像符号化装置では、マージ符号化に限らず、映像符号化に関する処理を複数の子処理に分割し、これら子処理を並列的に実行することが一般的である。すなわち、動画像符号化装置では、映像符号化に関する処理を実行するにあたり、パイプライン処理を行うことが一般的である。
【０００７】
しかしながら、マージ符号化を並列処理しようとしても、符号化対象のブロックに隣接するブロックが処理中であった場合、隣接するブロックの処理が完了するまで符号化対象のブロックの処理を始めることができなかった。
【０００８】
本発明は、上記に鑑みてなされたものであり、効率的なマージ符号化処理を行うことを目的とする。
【課題を解決するための手段】
【０００９】
第１の本発明に係る動画像符号化装置は、動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置であって、前記インター予測部は、処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定する評価順序決定部と、前記評価順序に従い、各マージ候補を順に評価してコストを算出するマージ候補導出部と、前記マージ候補導出部が算出したコストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するマージ候補決定部と、前記マージインデックスを所定の符号化方式で符号化するマージ符号化部と、を備え、前記評価順序決定部は、前記カレント予測ユニットの１つ前の予測ユニットのマージ符号化処理が完了する前に、前記１つ前の予測ユニットをマージ候補の評価対象からはずして第１の評価順序を決定し、前記１つ前の予測ユニットのマージ符号化処理が完了した後に、前記１つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第２の評価順序を決定することを特徴とする。
【００１０】
上記動画像符号化装置において、前記マージ候補導出部は、前記第１の評価順序に従って各マージ候補を順に評価し、前記第２の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第２の評価順序に従って各マージ候補を順に評価することを特徴とする。
【００１１】
第２の本発明に係る動画像符号化方法は、動画像のピクチャを分割した予測ユニットを所定の順序でマージ符号化処理するインター予測部を備えた動画像符号化装置による動画像符号化方法であって、処理対象であるカレント予測ユニットのマージ候補とその評価順序を決定するステップと、前記評価順序に従い、各マージ候補を順に評価してコストを算出するステップと、前記コストが最も小さい前記マージ候補の位置に対応するマージインデックスを出力するステップと、前記マージインデックスを所定の符号化方式で符号化するステップと、を有し、前記評価順序を決定するステップは、前記カレント予測ユニットの１つ前の予測ユニットのマージ符号化処理が完了する前に、前記１つ前の予測ユニットをマージ候補の評価対象からはずして第１の評価順序を決定し、前記１つ前の予測ユニットのマージ符号化処理が完了した後に、前記１つ前の予測ユニットをマージ候補の評価対象に含めて前記評価順序を見直して第２の評価順序を決定することを特徴とする。
【００１２】
上記動画像符号化方法において、前記コストを算出するステップは、前記第１の評価順序に従って各マージ候補を順に評価し、前記第２の評価順序が決定された後は、既に評価を開始したマージ候補を除いて前記第２の評価順序に従って各マージ候補を順に評価することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、効率的なマージ符号化処理を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本実施の形態における動画像符号化装置の構成を示す機能ブロック図である。
【図２】図１の動画像符号化装置におけるインター予測部の構成を示す機能ブロック図である。
【図３】符号化対象ピクチャに含まれる１つの符号化ツリーユニットと符号化ツリーユニットに含まれる予測ユニット及び予測ユニットの処理順を示す図である。
【図４】参照画像中の参照領域の位置を示す図である。
【図５】従来のマージ符号化のパイプライン処理を説明するための図である。
【図６】本実施の形態におけるマージ符号化のパイプライン処理を説明するための図である。
【図７】マージ候補の評価順序を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
図１は、本実施の形態における動画像符号化装置の構成を示す機能ブロック図である。同図に示す動画像符号化装置１は、加算器Ａ、直交変換部１１、量子化部１２、可変長符号化部１３、逆量子化部１４、逆直交変換部１５、加算器Ｂ、フレームメモリ１６、および予測画像生成部１７を備える。
【００１７】
加算器Ａは、原画像である入力画像から、後述する予測画像生成部１７が生成した予測画像を減算して予測残差を生成する。直交変換部１１は、加算器Ａの出力である予測残差に対し、離散コサイン変換などの直交変換を施す。量子化部１２は、直交変換された予測残差の変換係数を量子化する。可変長符号化部１３は、量子化された予測残差の変換係数を、可逆的な処理が可能な所定の符号化方式により符号化し、例えば伝送路や記録媒体などに出力する。
【００１８】
量子化部１２の出力は、可変長符号化部１３へ入力されるとともに、逆量子化部１４へも入力される。逆量子化部１４は、量子化部１２の出力を逆量子化して予測残差の変換係数を復号する。逆直交変換部１５は、逆量子化部１４の出力を逆直交変換して予測残差を復号する。加算器Ｂは、後述する予測画像生成部１７が生成した予測画像と逆直交変換部１５が復号した予測残差とを加算し、局所復号画像を生成する。フレームメモリ１６は、局所復号画像および原画像を格納し、所定のタイミングで局所復号画像を予測画像生成部１７に出力する。
【００１９】
予測画像生成部１７は、選択部１７１、イントラ予測部１７２、及びインター予測部１７３を備える。選択部１７１は、フレームメモリ１６から出力された局所復号画像、または原画像の供給先を選択する。イントラ予測部１７２は、近接画素間の相関関係を利用し、選択部１７１から供給された原画像の画素値を用いて画面内予測（イントラ予測）を行い、予測画像を生成する。インター予測部１７３は、選択部１７１から供給された局所復号画像の前方あるいは後方のフレームから検出される、符号化対象の動き情報を用いて画面間予測（インター予測）を行い、予測画像を生成する。予測画像生成部１７が生成した予測画像は、加算器Ａ及び加算器Ｂへ出力される。
【００２０】
続いて、インター予測部１７３の構成について説明する。図２は、図１の動画像符号化装置におけるインター予測部１７３の構成を示す機能ブロック図である。同図に示すインター予測部１７３は、制御部２１、空間マージ候補導出部２２Ａ、時間マージ候補導出部２２Ｂ、結合双予測候補導出部２２Ｃ、ゼロマージ候補導出部２２Ｄ、及びマージ符号化部２３を備える。空間マージ候補導出部２２Ａは、参照画像読出し部２２１、原画像読出し部２２２、差分算出部２２３、直交変換部２２４、及びコスト算出部２２５を備える。時間マージ候補導出部２２Ｂ、結合双予測候補導出部２２Ｃ、及びゼロマージ候補導出部２２Ｄは、空間マージ候補導出部２２Ａとほぼ同じ構成である。空間マージ候補導出部２２Ａ、時間マージ候補導出部２２Ｂ、結合双予測候補導出部２２Ｃ、及びゼロマージ候補導出部２２Ｄをまとめてマージ候補導出部２２と呼ぶ。インター予測部１７３には、フレームメモリ１６に格納された原画像をバッファする原画像バッファ３１とフレームメモリ１６に格納された参照画像をバッファする参照画像バッファ３２とが接続される。
【００２１】
制御部２１は、以下の処理を行う。
【００２２】
［マージ候補評価順序決定処理］処理対象であるカレントＰＵ（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ：予測ユニット）のマージ候補の評価順序を決定する。本実施の形態では、マージ候補評価順序決定処理として、カレントＰＵの１つ前のＰＵの処理が完了する前に実行される先行評価順序決定処理と１つ前のＰＵの処理が完了したときに実行される最終評価順序決定処理がある。これらの処理の詳細については後述する。
【００２３】
［参照画像読出し要求処理］評価対象となるマージ候補の位置情報及び動き情報から、参照画像中の参照領域のアドレス情報を把握し、空間マージ候補導出部２２Ａなどに備わる参照画像読出し部２２１に対し、参照画像バッファ３２から参照領域の画像データを読み出すよう命令する。
【００２４】
［原画像読出し要求処理］空間マージ候補導出部２２Ａなどに備わる原画像読出し部２２２に対し、原画像バッファ３１からカレントＰＵの画像データを読み出すよう命令する。
【００２５】
［マージ候補出力処理］空間マージ候補導出部２２Ａなどに備わるコスト算出部２２５から出力されたコストの値を受け取ってマージ候補リストに登録しておき、最もコストが小さいマージ候補を選択し、マージ候補の位置に対応するマージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を出力する。
【００２６】
参照画像読出し部２２１は、制御部２１からの参照画像読出し命令に従い、参照画像バッファ３２から参照領域の画像データを読み出し、小数生成ファルタ処理を行って予測画像データを生成し、生成した予測画像データを差分算出部２２３へ出力する。原画像読出し部２２２は、制御部２１からの原画像読出し命令に従い、原画像バッファ３１からカレントＰＵの画像データを読み出し、差分算出部２２３へ出力する。差分算出部２２３は、予測画像データとカレントＰＵの画像データとの画素差分絶対値を算出し、直交変換部２２４へ出力する。差分算出部２２３は、差分絶対値算出部（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）とも呼ばれる。直交変換部２２４は、差分算出部２２３の出力である画素差分絶対値に対してアダマール変換などの直交変換を行い、その結果をコスト算出部２２５へ出力する。コスト算出部２２５は、直交変換部２２４の出力として得られる画素ごとの係数を加算し、所定の重み係数を掛け合わせ、マージ候補のコストを算出する。コスト算出部２２５が算出したコストの値は、制御部２１へ出力される。
【００２７】
マージ符号化部２３は、制御部２１が出力したマージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を所定の符号化方式で符号化する。
【００２８】
ここで、マージ符号化の概要を説明する。
【００２９】
図３は、符号化対象ピクチャに含まれる１つのＣＴＵ（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ：符号化ツリーユニット）とＣＴＵに含まれるＰＵ及びＰＵの処理順を示す図である。ＣＴＵは、ピクチャ分割の最小単位であり、Ｈ．２６５／ＨＥＶＣでは、６４×６４画素、３２×３２画素、１６×１６画素のいずれかとなる。ＣＴＵはＣＵ（Ｃｏｄｉｎｇ  Ｕｎｉｔ：符号化ユニット）に分割される（図３では示していない）。ＣＵは、予測処理の基本単位であるＰＵに分割される。１つのＣＴＵに含まれるＰＵは、図３で示したように、そのサイズが一様である必要はない。例えば、１つのＣＴＵ内で、動きや色の変化が少ない領域では大きなＰＵを設定し、変化の大きい領域では小さなＰＵを設定する、といったことが可能である。ＣＴＵ内におけるＰＵの処理順は、図３の点線矢印で示したように、左上ＰＵ→右上ＰＵ→左下ＰＵ→右下ＰＵといった、Ｚ状の順番である。この処理順は、異なるサイズのＰＵが混在したＣＴＵであっても同様である。
【００３０】
制御部２１は、カレントＰＵについて、評価順序を決めてマージ候補を評価（導出）し、マージ候補リストを構築する。マージ候補リストには、空間マージ候補、時間マージ候補、結合双予測候補、ゼロマージ候補の順にマージ候補が評価されて登録される。
【００３１】
空間マージ候補については、図３で示したＡ１（カレントＰＵの左側に隣接したＰＵのうち最も下にあるＰＵ），Ｂ１（カレントＰＵの上側に隣接したＰＵのうち最も右にあるＰＵ），Ｂ０（カレントＰＵの右上に隣接するＰＵ），Ａ０（カレントＰＵの左下に隣接するＰＵ），Ｂ２（カレントＰＵの左上に隣接するＰＵ）について（以下、これらのＰＵを「隣接ＰＵ」と称する）、Ａ１→Ｂ１→Ｂ０→Ａ０→Ｂ２の順に空間マージ候補が評価され、最大４つの空間マージ候補がマージ候補リストに登録される。Ａ１，Ｂ１，Ｂ０，Ａ０の４つの空間マージ候補がマージ候補リストに登録された場合は、Ｂ２の空間マージ候補は評価されない。また、動き情報を利用できない隣接ＰＵ（ＣＴＵ外にある隣接ＰＵ、あるいはまだ動き情報が設定されていない隣接ＰＵなど）、先に評価された隣接ＰＵと同じ動き情報を持つ隣接ＰＵについては、空間マージ候補の評価対象としない。
【００３２】
空間マージ候補の評価では、隣接ＰＵのそれぞれに対し、以下の処理を行う。
【００３３】
（１）隣接ＰＵの動き情報を参照し、この隣接ＰＵが参照している参照画像中のカレントＰＵの位置を取得する（図４の参照画像中のカレントＰＵ）。
【００３４】
（２）参照画像中のカレントＰＵを起点として、隣接ＰＵ（図４ではＡ１）の動きベクトルが指す位置（図４の参照領域）の画像データを取得する。
【００３５】
（３）原画像のカレントＰＵの画像データと参照領域の画像データから生成した予測画像の差分を計算し、算出した結果に対して直交変換を行う。
【００３６】
（４）直交変換の結果として得られる画素ごとの係数を加算し、所定の重み係数を掛け合わせ、カレントＰＵと参照領域との「コスト」を算出する。
【００３７】
最大４つのマージ候補がマージ候補リストに登録される。空間マージ候補の評価後は、空間マージ候補を含めて最大５つのマージ候補がマージ候補リストに格納されるまで、時間マージ候補、結合双予測候補、ゼロマージ候補の順に評価を行い、マージ候補リストに登録する。
【００３８】
マージ候補リストの中で最もコストが小さいマージ候補は、カレントＰＵの動き情報に最も近い動き情報を持っていると予測される。制御部２１は、構築したマージ候補リストから最もコストが小さいマージ候補を選択して、選択したマージ候補に対応するマージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を出力する。マージ符号化部２３は、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を所定の符号化方式で符号化する。
【００３９】
次に、マージ符号化のパイプライン処理について説明する。
【００４０】
インター予測部１７３は、マージ符号化処理で行われる各処理を制御部２１、マージ候補導出部２２、マージ符号化部２３において並行して処理する。
【００４１】
まず、従来のマージ符号化のパイプライン処理について説明する。図５は、従来のマージ符号化のパイプライン処理を説明するための図である。図５では、（１）マージ候補評価順序決定処理、（２）参照画像読出し要求処理、（３）原画像読出し要求処理、（４）参照画像読出し処理、（５）原画像読出し処理、（６）差分算出処理、（７）直交変換処理、（８）コスト算出処理、及び（９）マージ候補出力処理を図示している。以下、各処理について説明する。
【００４２】
（１）制御部２１は、マージ候補の評価順序を決定する。例えば、図３のカレントＰＵが処理対象であったとすると、Ａ０のＰＵは「動き情報を利用できない無効の隣接ＰＵ」であるため、評価対象から除外される。この場合、制御部２１は、Ａ１（空間マージ）、Ｂ１（空間マージ）、Ｂ０（空間マージ）、Ｂ２（空間マージ）の４つの評価対象と評価順序を決定する。マージ候補リストに５つのマージ候補を登録させるために、制御部２１はさらに、１つの時間マージを行うと決定する。
【００４３】
インター予測部１７３は、（１）で決定した評価順序でマージ候補の評価を開始し、各マージ候補について以下の（２）〜（８）の処理を行う。
【００４４】
（２），（３）制御部２１は、参照領域の画像データの読み出しを参照画像読出し部２２１に命令するとともに、原画像からカレントＰＵの画像データの読み出しを原画像読出し部２２２に命令する。
【００４５】
（４）参照画像読出し部２２１は、制御部２１からの命令に従い、参照画像バッファ３２から参照領域の画像データを読み出し、小数生成フィルタ処理を行って予測画像データを生成する。参照画像読出し部２２１は、生成した予測画像データを差分算出部２２３へ出力する。
【００４６】
（５）原画像読出し部２２２は、制御部２１からの命令に従い、原画像バッファ３１からカレントＰＵの画像データを読み出し、差分算出部２２３へ出力する。
【００４７】
この後、参照画像読出し部２２１において参照領域の画像データの読み出しが可能になった場合は、制御部２１は次のマージ候補について参照領域の画像データの読み出しを参照画像読出し部２２１に命令する。同様に、原画像読出し部２２２においてカレントＰＵの画像データの読み出しが可能になった場合は、制御部２１は次のマージ候補についてカレントＰＵの画像データの読み出しを原画像読出し部２２２に命令する。
【００４８】
（６）差分算出部２２３は、原画像読出し部２２２から受け取るカレントＰＵの画像データにほぼ同期して、予測画像データとカレントＰＵの画像データの画素差分絶対値を算出し、直交変換部２２４へ出力する。
【００４９】
（７）直交変換部２２４は、差分算出部２２３から受け取った画素差分絶対値に対して直交変換を行い、その結果をコスト算出部２２５へ出力する。
【００５０】
（８）コスト算出部２２５は、直交変換部２２４の出力として得られる画素ごとの係数から、カレントＰＵのマージ候補のコストを算出し、制御部２１へ出力する。
【００５１】
制御部２１は、コスト算出部２２５から受け取ったコストをマージ候補リストに登録する。
【００５２】
（９）５つのマージ候補の評価が完了すると、制御部２１は、マージ候補リストから最もコストが小さいマージ候補を選択し、マージ候補の位置に対応するマージインデックス（ｍｅｒｇｅ＿ｉｄｘ）を出力する。
【００５３】
従来のマージ符号化処理では、上記（１）〜（９）の処理が完了した後、次のＰＵのマージ符号化処理を行う。つまり、従来のマージ符号化処理では、１つ前のＰＵのマージ符号化処理の完了を待って、次のＰＵのマージ符号化処理を開始するため、効率的なマージ符号化処理ができなかった。
【００５４】
続いて、本実施の形態におけるマージ符号化のパイプライン処理について説明する。図６は、本実施の形態におけるマージ符号化のパイプライン処理を説明するための図である。本実施の形態では、制御部２１は、１つ前のＰＵのマージ符号化処理が完了するのを待たずにマージ候補評価順序決定処理を開始する。１つ前のＰＵのマージ符号化処理が完了していないので、１つ前のＰＵがＡ０，Ａ１，Ｂ０，Ｂ１，Ｂ２のいずれかであった場合、その１つ前のＰＵは空間マージ候補の評価対象に該当しなくなるが、本来ならば評価対象となるはずである。そこで、本実施の形態では、マージ候補評価順序決定処理として（１−１）先行評価順序決定処理と（１−２）最終評価順序決定処理を行い、マージ候補リストを正しく構築した。以下、先行評価順序決定処理と最終評価順序決定処理について説明する。
【００５５】
（１−１）制御部２１は、１つ前のＰＵのマージ符号化処理が完了するのを待たずに、１つ前のＰＵは「動き情報を利用できない無効の隣接ＰＵ」として扱い、マージ候補の評価順序を決定する。例えば、カレントＰＵのＢ０，Ｂ１，Ｂ２に相当するＰＵの処理が完了しており、カレントＰＵの１つ前に処理されるＰＵがＡ１に相当するＰＵであって、Ａ１が処理中である場合、図６に示すように、制御部２１が、Ａ１の処理中にカレントＰＵについて先行評価順序決定処理を行うと、Ｂ１（空間マージ）、Ｂ０（空間マージ）、Ｂ２（空間マージ）の３つを評価対象として評価順序を決定する（ここではカレントＰＵのＡ０に相当するＰＵはカレントＰＵの後に処理されるものとする）。マージ候補リストには５つのマージ候補を登録させるため、制御部２１はさらに、時間マージと結合双予測マージを行うことを決定する。図７（ａ）に、先行評価順序決定処理で決定されたマージ候補の評価対象と評価順序を示す。制御部２１は、時間マージとゼロマージを行うことを決定してもよい。なお、先行評価順序決定処理は、１つ前のＰＵのマージ符号化処理中であって、制御部２１がアイドル状態のときに行えばよい。必ずしも、図６に示すように５番目のマージ候補における原画像読出し要求処理の後で行う必要はない。
【００５６】
制御部２１は、先行評価順序決定処理で決定した順でマージ候補の評価を開始し、従来と同様に（２）〜（８）の処理を行う。図７（ａ）の例では、まずＢ１について空間マージの評価を開始する。
【００５７】
（１−２）１つ前のＰＵのマージ符号化処理が完了すると、制御部２１は、あらためてマージ候補の評価順序を決定する。例えば、図３のカレントＰＵが処理対象であって、Ａ１のマージ符号化処理が完了したときに、制御部２１が最終評価順序決定処理を行うと、Ａ１は評価対象となるため、Ａ１（空間マージ）、Ｂ１（空間マージ）、Ｂ０（空間マージ）、Ｂ２（空間マージ）の４つを評価対象として評価順序を決定し、さらに時間マージを行うことを決定する。図７（ｂ）に、最終評価順序決定処理で決定されたマージ候補の評価対象と評価順序を示す。制御部２１は、（１−１）で決定した評価順序（図７（ａ））と（１−２）で決定した評価順序（図７（ｂ））を比較し、（１−１）の評価順序のうち処理を始めたマージ候補の評価順序はそのままとして、それ以外のマージ候補の評価順序を（１−２）の評価順序で再構築する。図７の例では、Ｂ１（空間マージ）のマージ符号化処理は開始されているので１番目のままとし、Ｂ１（空間マージ）以外のＡ１（空間マージ）、Ｂ０（空間マージ）、Ｂ２（空間マージ）、時間マージを図７（ｂ）の評価順序に従い、図７（ｃ）のようにマージ候補の評価順序を再構築する。以降は、図７（ｃ）の評価順序に従い、Ａ１（空間マージ）、Ｂ０（空間マージ）、Ｂ２（空間マージ）、時間マージの順でマージ候補を評価する。
【００５８】
以上説明したように、本実施の形態によれば、１つ前のＰＵのマージ符号化処理が完了する前に、制御部２１は、１つ前のＰＵをマージ候補の評価対象からはずしてマージ候補の評価順序を決定し、マージ候補導出部２２は、評価順序に従って各マージ候補を評価し、１つ前のＰＵのマージ符号化処理が完了した後に、制御部２１は、１つ前のＰＵをマージ候補の評価対象に含めてマージ候補の評価順序を再度決定し、マージ候補導出部２２は、既に評価を開始したマージ候補を除いて、再度決定された評価順序に従って各マージ候補を評価することにより、効率的なマージ符号化処理を行うことができる。
【符号の説明】
【００５９】
１…動画像符号化装置
１１…直交変換部
１２…量子化部
１３…可変長符号化部
１４…逆量子化部
１５…逆直交変換部
１６…フレームメモリ
１７…予測画像生成部
１７１…選択部
１７２…イントラ予測部
１７３…インター予測部
２１…制御部
２２…マージ候補導出部
２２１…参照画像読出し部
２２２…原画像読出し部
２２３…差分算出部
２２４…直交変換部
２２５…コスト算出部
２２Ａ…空間マージ候補導出部
２２Ｂ…時間マージ候補導出部
２２Ｃ…結合双予測候補導出部
２２Ｄ…ゼロマージ候補導出部
２３…マージ符号化部
３１…原画像バッファ
３２…参照画像バッファ
【図１】
2017085448.tif 000003
【図２】
2017085448.tif 000004
【図３】
2017085448.tif 000005
【図４】
2017085448.tif 000006
【図５】
2017085448.tif 000007
【図６】
2017085448.tif 000008
【図７】
2017085448.tif 000009
【手続補正書】
【提出日】平成28年9月8日(2016.9.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
参照画像読出し部２２１は、制御部２１からの参照画像読出し命令に従い、参照画像バッファ３２から参照領域の画像データを読み出し、小数生成フィルタ処理を行って予測画像データを生成し、生成した予測画像データを差分算出部２２３へ出力する。原画像読出し部２２２は、制御部２１からの原画像読出し命令に従い、原画像バッファ３１からカレントＰＵの画像データを読み出し、差分算出部２２３へ出力する。差分算出部２２３は、予測画像データとカレントＰＵの画像データとの画素差分絶対値を算出し、直交変換部２２４へ出力する。差分算出部２２３は、差分絶対値算出部（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）とも呼ばれる。直交変換部２２４は、差分算出部２２３の出力である画素差分絶対値に対してアダマール変換などの直交変換を行い、その結果をコスト算出部２２５へ出力する。コスト算出部２２５は、直交変換部２２４の出力として得られる画素ごとの係数を加算し、所定の重み係数を掛け合わせ、マージ候補のコストを算出する。コスト算出部２２５が算出したコストの値は、制御部２１へ出力される。