(57)【要約】【課題】動き補償における時間方向でのブロックのマージを可能とすること。【解決手段】動き探索を行い、処理対象である当該領域の動き情報を生成する動き探索部と、前記動き探索部により生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成するマージ情報生成部とを備える画像処理装置を提供する。【選択図】図２
2012209911.tif 000002
【特許請求の範囲】
【請求項１】
動き探索を行い、処理対象である当該領域の動き情報を生成する動き探索部と、
前記動き探索部により生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成するマージ情報生成部と
を備える画像処理装置。
【請求項２】
前記マージ情報生成部は、前記周辺領域の動き情報を当該領域の動き情報と比較し、当該領域の動き情報と一致する動き情報を有する周辺領域を当該領域とマージさせる領域として選択し、選択された周辺領域を指定する前記マージ情報を生成する
請求項１に記載の画像処理装置。
【請求項３】
各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、
前記マージ情報生成部は、前記優先順制御部により制御される前記優先順に従って、当該領域にマージさせる周辺領域を選択する
請求項２に記載の画像処理装置。
【請求項４】
前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御する
請求項３に記載の画像処理装置。
【請求項５】
前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御する
請求項４に記載の画像処理装置。
【請求項６】
前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御する
請求項４に記載の画像処理装置。
【請求項７】
当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御する
請求項４に記載の画像処理装置。
【請求項８】
前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
請求項７に記載の画像処理装置。
【請求項９】
前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
請求項８に記載の画像処理装置。
【請求項１０】
前記マージ情報生成部は、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報を前記マージ情報に含める
請求項１に記載の画像処理装置。
【請求項１１】
前記マージ情報生成部は、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含める
請求項１に記載の画像処理装置。
【請求項１２】
前記マージ情報生成部は、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含める
請求項１に記載の画像処理装置。
【請求項１３】
前記マージ情報生成部により生成された前記マージ情報を符号化する符号化部をさらに備える
請求項１に記載の画像処理装置。
【請求項１４】
符号化される画像データの所定の範囲について、前記マージ情報生成部が、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域の候補として、時間的に周辺に位置する周辺領域を含めるか否かを示すフラグ情報を生成するフラグ生成部をさらに備える
請求項１に記載の画像処理装置。
【請求項１５】
前記フラグ生成部は、生成した前記フラグ情報をスライスヘッダに含めて復号側に伝送させる
請求項１４に記載の画像処理装置。
【請求項１６】
画像処理装置の画像処理方法であって、
動き探索部が、動き探索を行い、処理対象である当該領域の動き情報を生成し、
マージ情報生成部が、生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成する
画像処理方法。
【請求項１７】
処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定するマージ情報復号部と、
前記マージ情報復号部により当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する動き情報再構築部と
を備える画像処理装置。
【請求項１８】
前記マージ情報復号部は、前記マージ情報に含まれる、互いに異なる周辺領域を当該領域とマージさせるか否かを示す複数のフラグ情報を解読することにより、当該領域とマージさせる周辺領域を特定する
請求項１７に記載の画像処理装置。
【請求項１９】
各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、
前記マージ情報復号部は、前記優先順制御部により制御される前記優先順に従って、各周辺領域に対応する前記フラグ情報を解読することにより、当該領域にマージさせる周辺領域を特定する
請求項１８に記載の画像処理装置。
【請求項２０】
前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御する
請求項１９に記載の画像処理装置。
【請求項２１】
前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御する
請求項２０に記載の画像処理装置。
【請求項２２】
前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御する
請求項２０に記載の画像処理装置。
【請求項２３】
当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御する
請求項１９に記載の画像処理装置。
【請求項２４】
前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
請求項２３に記載の画像処理装置。
【請求項２５】
前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
請求項２４に記載の画像処理装置。
【請求項２６】
前記マージ情報には、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報が含まれる
請求項１８に記載の画像処理装置。
【請求項２７】
前記マージ情報には、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報が含まれる
請求項１８に記載の画像処理装置。
【請求項２８】
前記マージ情報には、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報が含まれる
請求項１８に記載の画像処理装置。
【請求項２９】
前記動き情報再構築部により再構築された前記動き情報を用いて動き補償を行い、予測画像を生成する動き補償部と、
画像と予測画像の差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元する演算部と
をさらに備える請求項１７に記載の画像処理装置。
【請求項３０】
前記差分画像の符号化データを復号する復号部をさらに備え、
前記演算部は、前記復号部により復号されて得られた前記差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元する
請求項２９に記載の画像処理装置。
【請求項３１】
前記マージ情報において指定される、当該領域とマージさせる周辺領域に、時間的に周辺に位置する周辺領域が含まれるか否かを示すフラグ情報を取得するフラグ情報取得部をさらに備え、
前記マージ情報復号部は、前記フラグ情報取得部により取得された前記フラグ情報に従って、当該領域とマージさせる周辺領域を特定する
請求項１７に記載の画像処理装置。
【請求項３２】
前記フラグ情報取得部は、前記フラグ情報を、画像が符号化されたビットストリームのスライスヘッダから取得する
請求項３１に記載の画像処理装置。
【請求項３３】
画像処理装置の画像処理方法であって、
マージ情報復号部が、処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定し、
動き情報再構築部が、当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ（Advanced  Video  Coding）及びＨＥＶＣ（High  Efficiency  Video  Coding）などの映像符号化方式において重要な技術の１つに、フレーム間予測がある。フレーム間予測では、符号化される画像の内容が参照画像を用いて予測され、予測画像と実際の画像との差分のみが符号化される。それにより、符号量の圧縮が実現される。しかし、一連の画像内で物体が大きく動いている場合、予測画像と実際の画像との差分が大きくなり、単純なフレーム間予測では高い圧縮率を得ることができない。そこで、物体の動きを動きベクトルとして認識し、動きが現れている領域の画素値を動きベクトルに応じて補償することで、フレーム間予測における予測誤差の低減が図られる。このような手法を、動き補償という。
【０００３】
Ｈ．２６４／ＡＶＣでは、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素及び４×４画素のいずれかのサイズのブロック又はパーティションごとに動きベクトルを設定することができる。これに対し、次世代の映像符号化方式であるＨＥＶＣでは、４×４画素〜３２×３２画素の範囲内で指定される符号化単位（ＣＵ：Coding  Unit）がさらに１つ以上の予測単位（ＰＵ：Prediction  Unit）に区分され、各予測単位に動きベクトルを設定することができる。ＨＥＶＣの予測単位に相当するブロックのサイズ及び形状はＨ．２６４／ＡＶＣのブロックよりも多様であり、物体の動きをより正確に動き補償に反映させることができる（下記非特許文献１参照）。さらに、下記非特許文献２は、画像内で隣り合うブロックのうち動き情報が共通するブロックをマージ（併合）することで、ブロックごとに符号化される動き情報の符号量を削減することを提案している。
【０００４】
ところで、あるブロックに設定される動きベクトルは、通常、周囲のブロックに設定される動きベクトルと相関を有する。例えば、１つの動物体が一連の画像内で移動している場合、その動物体が映る範囲に属するブロックについての動きベクトルは、互いに相関を有する（即ち、同じであるか、又は少なくとも類似する）。また、あるブロックに設定される動きベクトルは、時間方向の距離が近い参照画像内の対応するブロックに設定される動きベクトルと相関を有する場合もある。そこで、動きベクトルの符号量をさらに削減するために、このような動きの空間的相関又は時間的相関を利用して動きベクトルを予測し、予測動きベクトルと実際の動きベクトルとの差分のみを符号化する技術が知られている（下記非特許文献３参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】JCTVC-B205,  “Test  Model  under  Consideration”,  Joint  Collaborative  Team  on  Video  Coding  meeting:  Geneva,  CH,  21-28  July,  2010
【非特許文献２】JCTVC-A116，  “Video  Coding  Technology  Proposal  by  Fraunhofer  HHI”，M.Winken，  et  al，  April,  2010
【非特許文献３】VCEG-AI22，  “Motion  Vector  Coding  with  Optimal  PMV  Selection”，  Jungyoup  Yang,  et  al，  July,  2008
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般的に、一連の画像内で移動する動物体と背景との境界付近では、動物体と背景との間の動きの空間的相関が失われる。しかし、動物体と背景との境界付近においても、動きの時間的相関は失われないケースが少なくない。そのような状況の一例を、図３８に示している。図３８を参照すると、参照画像ＩＭｒｅｆから符号化対象画像ＩＭ０にかけて、画像内で動物体Ｏｂｊ１が方向Ｄに向けて移動している。符号化対象画像ＩＭ０内のブロックＢ０は、動物体Ｏｂｊ１と背景との境界付近に位置している。このブロックＢ０の動きベクトルは、符号化対象画像ＩＭ０内で隣接するブロックＢ１及びＢ２の動きベクトルＭＶ１及びＭＶ２よりもむしろ、参照画像ＩＭｒｅｆ内のコロケーテッドブロックＢｃｏｌの動きベクトルＭＶｃｏｌに類似する。この場合、上記非特許文献２に記載された手法のように、符号化される画像内で隣り合うブロック（例えば、図３８のブロックＢ０、Ｂ１及びＢ２）をマージすると、画質が劣化する。このような状況下では、空間方向でのブロックのマージだけでなく時間方向でのブロックのマージが可能となれば、画質を劣化させることなく、ブロックのマージによる符号量の削減の効果を享受できるものと期待される。
【０００７】
そこで、本開示は、動き補償における時間方向でのブロックのマージを可能とする、画像処理装置および方法を提供しようとするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面は、動き探索を行い、処理対象である当該領域の動き情報を生成する動き探索部と、前記動き探索部により生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成するマージ情報生成部とを備える画像処理装置である。
【０００９】
前記マージ情報生成部は、前記周辺領域の動き情報を当該領域の動き情報と比較し、当該領域の動き情報と一致する動き情報を有する周辺領域を当該領域とマージさせる領域として選択し、選択された周辺領域を指定する前記マージ情報を生成することができる。
【００１０】
各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、前記マージ情報生成部は、前記優先順制御部により制御される前記優先順に従って、当該領域にマージさせる周辺領域を選択することができる。
【００１１】
前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御することができる。
【００１２】
前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御することができる。
【００１３】
前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御することができる。
【００１４】
当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御することができる。
【００１５】
前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定することができる。
【００１６】
前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定することができる。
【００１７】
前記マージ情報生成部は、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報を前記マージ情報に含めることができる。
【００１８】
前記マージ情報生成部は、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含めることができる。
【００１９】
前記マージ情報生成部は、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含めることができる。
【００２０】
前記マージ情報生成部により生成された前記マージ情報を符号化する符号化部をさらに備えることができる。
【００２１】
符号化される画像データの所定の範囲について、前記マージ情報生成部が、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域の候補として、時間的に周辺に位置する周辺領域を含めるか否かを示すフラグ情報を生成するフラグ生成部をさらに備えることができる。
【００２２】
前記フラグ生成部は、生成した前記フラグ情報をスライスヘッダに含めて復号側に伝送させることができる。
【００２３】
本開示の一側面は、また、画像処理装置の画像処理方法であって、動き探索部が、動き探索を行い、処理対象である当該領域の動き情報を生成し、マージ情報生成部が、生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成する画像処理方法である。
【００２４】
本開示の他の側面は、処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定するマージ情報復号部と、前記マージ情報復号部により当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する動き情報再構築部とを備える画像処理装置である。
【００２５】
前記マージ情報復号部は、前記マージ情報に含まれる、互いに異なる周辺領域を当該領域とマージさせるか否かを示す複数のフラグ情報を解読することにより、当該領域とマージさせる周辺領域を特定することができる。
【００２６】
各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、前記マージ情報復号部は、前記優先順制御部により制御される前記優先順に従って、各周辺領域に対応する前記フラグ情報を解読することにより、当該領域にマージさせる周辺領域を特定することができる。
【００２７】
前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御することができる。
【００２８】
前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御することができる。
【００２９】
前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御することができる。
【００３０】
当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御することができる。
【００３１】
前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定することができる。
【００３２】
前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定することができる。
【００３３】
前記マージ情報には、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報が含まれるようにすることができる。
【００３４】
前記マージ情報には、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報が含まれるようにすることができる。
【００３５】
前記マージ情報には、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報が含まれるようにすることができる。
【００３６】
前記動き情報再構築部により再構築された前記動き情報を用いて動き補償を行い、予測画像を生成する動き補償部と、画像と予測画像の差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元する演算部とをさらに備えることができる。
【００３７】
前記差分画像の符号化データを復号する復号部をさらに備え、前記演算部は、前記復号部により復号されて得られた前記差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元することができる。
【００３８】
前記マージ情報において指定される、当該領域とマージさせる周辺領域に、時間的に周辺に位置する周辺領域が含まれるか否かを示すフラグ情報を取得するフラグ情報取得部をさらに備え、前記マージ情報復号部は、前記フラグ情報取得部により取得された前記フラグ情報に従って、当該領域とマージさせる周辺領域を特定することができる。
【００３９】
前記フラグ情報取得部は、前記フラグ情報を、画像が符号化されたビットストリームのスライスヘッダから取得することができる。
【００４０】
本開示の他の側面は、また、画像処理装置の画像処理方法であって、マージ情報復号部が、処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定し、動き情報再構築部が、当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する画像処理方法である。
【００４１】
本開示の一側面においては、動き探索が行われ、処理対象である当該領域の動き情報が生成され、生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報が生成される。
【００４２】
本開示の他の側面においては、処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報が復号され、当該領域とマージさせる周辺領域が特定され、当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報が再構築される。
【発明の効果】
【００４３】
以上説明したように、本開示に係る画像処理装置および方法によれば、動き補償における時間方向でのブロックのマージが可能となり、動き情報の符号量をさらに削減することができる。
【図面の簡単な説明】
【００４４】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】一実施形態に係る画像符号化装置の動き探索部の詳細な構成の一例を示すブロック図である。
【図３】ブロックの区分化について説明するための説明図である。
【図４】動きベクトルの空間的予測について説明するための説明図である。
【図５】動きベクトルの時間的予測について説明するための説明図である。
【図６】マルチ参照フレームについて説明するための説明図である。
【図７】時間ダイレクトモードについて説明するための説明図である。
【図８】一実施形態において生成されるマージ情報の第１の例を示す説明図である。
【図９】一実施形態において生成されるマージ情報の第２の例を示す説明図である。
【図１０】一実施形態において生成されるマージ情報の第３の例を示す説明図である。
【図１１】一実施形態において生成されるマージ情報の第４の例を示す説明図である。
【図１２】一実施形態において生成されるマージ情報の第５の例を示す説明図である。
【図１３】一実施形態において生成されるマージ情報の第６の例を示す説明図である。
【図１４】一実施形態に係るマージ情報生成処理の流れの一例を示すフローチャートである。
【図１５】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１６】一実施形態に係る画像復号装置の動き補償部の詳細な構成の一例を示すブロック図である。
【図１７】一実施形態に係るマージ情報復号処理の流れの一例を示すフローチャートである。
【図１８】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図１９】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２０】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２１】撮像装置の概略的な構成の一例を示すブロック図である。
【図２２】コーディングユニット等の構成例を説明する図である。
【図２３】画像符号化装置の他の構成例を示すブロック図である。
【図２４】マージモードの説明をする図である。
【図２５】動き予測・補償部および動きベクトル符号化部の主な構成例を示すブロック図である。
【図２６】符号化処理の流れの例を説明するフローチャートである。
【図２７】インター動き予測処理の流れの例を説明するフローチャートである。
【図２８】マージ情報生成処理の流れの例を説明するフローチャートである。
【図２９】マージ情報生成処理の流れの例を説明する、図２８に続くフローチャートである。
【図３０】画像復号装置の他の構成例を示すブロック図である。
【図３１】動き予測・補償部および動きベクトル復号部の主な構成例を示すブロック図である。
【図３２】復号処理の流れの例を説明するフローチャートである。
【図３３】予測処理の流れの例を説明するフローチャートである。
【図３４】インター動き予測処理の流れの例を説明するフローチャートである。
【図３５】マージ情報復号処理の流れの例を説明するフローチャートである。
【図３６】マージ情報復号処理の流れの例を説明する、図３５に続くフローチャートである。
【図３７】パーソナルコンピュータの主な構成例を示すブロック図である。
【図３８】動きの空間的相関及び時間的相関の一例について説明するための説明図である。
【図３９】マージモード制御用フラグの例を説明する図である。
【発明を実施するための形態】
【００４５】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００４６】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成例
１−２．動き探索部の構成例
１−３．動きベクトル予測処理の説明
１−４．マージ情報の例
２．一実施形態に係る符号化時の処理の流れ
３．一実施形態に係る画像復号装置の構成例
３−１．全体的な構成例
３−２．動き補償部の構成例
４．一実施形態に係る復号時の処理の流れ
５．他の実施形態に係る画像符号化装置の構成例
６．他の実施形態に係る符号化時の処理の流れ
７．他の実施形態に係る画像復号装置の構成例
８．他の実施形態に係る復号時の処理の流れ
９．応用例
１０．まとめ
【００４７】
＜１．一実施形態に係る画像符号化装置の構成例＞
［１−１．全体的な構成例］
図１は、本開示の一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。
【００４８】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
【００４９】
並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。
【００５０】
減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００５１】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００５２】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
【００５３】
可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、後に説明するイントラ予測部３０又は動き探索部４０により生成されモード選択部５０により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。インター予測に関する情報は、後に説明するように、例えば、予測モード情報、マージ情報及び動き情報などを含み得る。
【００５４】
可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ（例えばブロックヘッダ又はスライスヘッダなど）内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００５５】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。
【００５６】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００５７】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００５８】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００５９】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００６０】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００６１】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００６２】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。
【００６３】
イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部５０へ出力する。
【００６４】
動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びフレームメモリ２５から供給される参照画像データとしての復号画像データに基づいて、画像内に設定される各ブロックを対象として動き探索処理を行う。なお、以下の説明において、ブロックとは、動きベクトルが設定される単位となる画素群を指し、Ｈ．２６４／ＡＶＣにおけるパーティション及びＨＥＶＣにおける予測単位（ＰＵ）などを含むものとする。
【００６５】
より具体的には、動き探索部４０は、例えば、画像内に設定されるマクロブロック又は符号化単位（ＣＵ）を、複数の予測モードの各々に従って１つ以上のブロック（ＨＥＶＣの場合にはＰＵ）に区分する。次に、動き探索部４０は、各ブロックについて、参照画像の画素値と各ブロック内の原画像の画素値とに基づいて、動きベクトルを算出する。次に、動き探索部４０は、他のブロックに設定した動きベクトルを用いて動きベクトルの予測を行う。また、動き探索部４０は、各ブロックについて算出された動きベクトルと他のブロックに既に設定された動きベクトルとを比較し、その比較結果に応じてブロックがマージされるか否かを示すフラグを含むマージ情報を生成する。そして、動き探索部４０は、所定のコスト関数に従ったコスト関数値に基づいて、最適な予測モードと各ブロックのマージモード（マージの有無及びどのブロックとマージされるか）とを選択する。
【００６６】
このような動き探索部４０による動き探索処理について、後にさらに説明する。動き探索部４０は、動き探索処理の結果として、予測モード情報、マージ情報、動き情報、及びコスト関数値などのインター予測に関する情報と、予測画像データとを、モード選択部５０へ出力する。
【００６７】
モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。
【００６８】
［１−２．動き探索部の構成例］
図２は、図１に示した画像符号化装置１０の動き探索部４０の詳細な構成の一例を示すブロック図である。図２を参照すると、動き探索部４０は、探索処理部４１、動きベクトル算出部４２、動き情報バッファ４３、動きベクトル予測部４４、マージ情報生成部４５、モード選択部４６、及び補償部４７を有する。
【００６９】
探索処理部４１は、複数の予測モード及び各ブロックについてのマージの有無を対象とする探索の範囲を制御する。例えば、探索処理部４１は、Ｈ．２６４／ＡＶＣの場合、１６×１６画素のマクロブロックを１６×８画素、８×１６画素及び８×８画素のブロックに区分し得る。また、探索処理部４１は、８×８画素のブロックを８×４画素、４×８画素及び４×４画素のブロックにさらに区分し得る。従って、Ｈ．２６４／ＡＶＣの場合、１つのマクロブロックについて図３に例示したような８通りの予測モードが存在し得る。また、例えば、探索処理部４１は、ＨＥＶＣの場合、最大で３２×３２画素の符号化単位を１つ以上のブロック（予測単位）に区分し得る。ＨＥＶＣにおいては、図３の例と比較して、より多様な予測単位の設定が可能である（非特許文献１参照）。そして、探索処理部４１は、区分されたブロックの各々について動きベクトル算出部４２に動きベクトルを算出させる。また、探索処理部４１は、各ブロックについて動きベクトル予測部４４に動きベクトルを予測させる。また、探索処理部４１は、各ブロックについてマージ情報生成部４５にマージ情報を生成させる。
【００７０】
動きベクトル算出部４２は、探索処理部４１により区分された各ブロックについて、原画像の画素値、及びフレームメモリ２５から入力される参照画像の画素値に基づいて、動きベクトルを算出する。動きベクトル算出部４２は、例えば、隣り合う画素間の中間的な画素値を線型内挿処理により補間し、１／２画素精度で動きベクトルを算出してもよい。また、動きベクトル算出部４２は、例えば、６タップのＦＩＲフィルタを用いてさらに中間的な画素値を補間し、１／４画素精度で動きベクトルを算出してもよい。動きベクトル算出部４２は、算出した動きベクトルを、動きベクトル予測部４４及びマージ情報生成部４５へ出力する。
【００７１】
動き情報バッファ４３は、動きベクトル予測部４４による動きベクトル予測処理及びマージ情報生成部４５によるマージ情報生成処理において参照される参照動きベクトル及び参照画像情報を、記憶媒体を用いて一時的に記憶する。動き情報バッファ４３により記憶される参照動きベクトルは、符号化済みの参照画像内のブロックに設定された動きベクトル、及び符号化対象の画像内の他のブロックに設定された動きベクトルを含み得る。
【００７２】
動きベクトル予測部４４は、探索処理部４１により区分された各ブロックに基準画素位置を設定し、設定した基準画素位置に対応する参照ブロックに設定された動きベクトル（参照動きベクトル）に基づいて、各ブロック内の画素値の予測に使用すべき動きベクトルを予測する。基準画素位置は、例えば、矩形ブロックの左上若しくは右上又はその双方など、予め一律的に定義される画素位置であってよい。
【００７３】
動きベクトル予測部４４は、ある１つのブロックについて、複数の予測式の候補を用いて、複数の動きベクトルを予測してもよい。例えば、第１の予測式は動きの空間的相関を利用する予測式であり、第２の予測式は動きの時間的相関を利用する予測式であってよい。また、第３の予測式として、動きの空間的相関と時間的相関の双方を利用する予測式が使用されてもよい。動きの空間的相関を利用する場合、動きベクトル予測部４４は、例えば、動き情報バッファ４３に記憶されている、基準画素位置に隣接する他のブロックに設定された参照動きベクトルを参照する。また、動きの時間的相関を利用する場合、動きベクトル予測部４４は、例えば、動き情報バッファ４３に記憶されている、基準画素位置とコロケーテッドな参照画像内のブロックに設定された参照動きベクトルを参照する。
【００７４】
動きベクトル予測部４４は、１つのブロックについて１つの予測式を用いて予測動きベクトルを算出すると、動きベクトル算出部４２により算出された動きベクトルと当該予測動きベクトルとの差分を表す差分動きベクトルを算出する。そして、動きベクトル予測部４４は、上記予測式を特定する予測式情報と関連付けて、算出した差分動きベクトル及び参照画像情報を、モード選択部４６へ出力する。
【００７５】
マージ情報生成部４５は、各ブロックについて動きベクトル算出部４２により算出される動きベクトル及び参照画像情報と、動き情報バッファに４３により記憶されている参照動きベクトル及び参照画像情報とに基づいて、各ブロックについてのマージ情報を生成する。本明細書において、マージ情報とは、画像内の各ブロックが他のブロックとマージされるか否か、及びマージされる場合にはどのブロックとマージされるのか、を特定する情報をいう。ある１つの注目ブロックとマージされる候補となるブロックは、注目ブロックの左に隣接するブロック及び上に隣接するブロックに加えて、参照画像内のコロケーテッドブロックを含む。本明細書では、これらブロックを候補ブロックという。コロケーテッドブロックとは、注目ブロックの基準画素位置と同じ位置の画素を含む参照画像内のブロックを意味する。
【００７６】
マージ情報生成部４５により生成されるマージ情報は、例えば、「MergeFlag」、「MergeTempFlag」及び「MergeLeftFlag」という３つのフラグを含み得る。MergeFlagは、注目ブロックの動き情報が少なくとも１つの候補ブロックの動き情報と同一であるか否かを示すフラグである。例えば、MergeFlag＝１の場合、注目ブロックの動き情報は少なくとも１つの候補ブロックの動き情報と同一である。MergeFlag＝０の場合、注目ブロックの動き情報はいずれの候補ブロックの動き情報とも異なる。MergeFlag＝０の場合、他の２つのフラグは符号化されず、その代わりに注目ブロックについて差分動きベクトル、予測式情報及び参照画像情報などの動き情報が符号化される。MergeFlag＝１であって、３つの候補ブロックの動き情報が全て同一である場合には、他の２つのフラグは符号化されず、注目ブロックについて動き情報も符号化されない。
【００７７】
MergeTempFlagは、注目ブロックの動き情報が参照画像内のコロケーテッドブロックの動き情報と同一であるか否かを示すフラグである。例えば、MergeTempFlag＝１の場合、注目ブロックの動き情報はコロケーテッドブロックの動き情報と同一である。MergeTempFlag＝０の場合、注目ブロックの動き情報はコロケーテッドブロックの動き情報と異なる。MergeTempFlag＝１の場合、MergeLeftFlagは符号化されない。また、MergeTempFlag＝０であって、２つの隣接ブロックの動き情報が同一である場合にも、MergeLeftFlagは符号化されない。
【００７８】
MergeLeftFlagは、注目ブロックの動き情報が左の隣接ブロックの動き情報と同一であるか否かを示すフラグである。例えば、MergeLeftFlag＝１の場合、注目ブロックの動き情報は左の隣接ブロックの動き情報と同一である。MergeLeftFlag＝０の場合、注目ブロックの動き情報は、左の隣接ブロックの動き情報と異なり、上の隣接ブロックの動き情報と同一である。
【００７９】
マージ情報生成部４５は、このような３つのフラグを含み得るマージ情報を生成し、モード選択部４６へ出力する。本実施形態においてマージ情報生成部４５により生成され得るマージ情報のいくつかの例について、後に図面を用いて説明する。
【００８０】
なお、マージ情報は、上述した例に限定されない。例えば、左の隣接ブロック又は上の隣接ブロックを候補ブロックに含めない場合には、MergeLeftFlagが省略されてもよい。また、例えば、左上又は右上などの追加的な隣接ブロックを候補ブロックに含めると共に、これら隣接ブロックに対応する別のフラグがマージ情報に追加されてもよい。さらに、コロケーテッドブロックのみならず、コロケーテッドブロックの隣接ブロックが候補ブロックに含められてもよい。
【００８１】
モード選択部４６は、動きベクトル予測部４４及びマージ情報生成部４５から入力される情報を用いて、コスト関数値を最小にするインター予測のモードを選択する。それにより、ブロックの区分化のパターン、及び各ブロックについてのマージの有無が決定される。また、あるブロックが他のブロックとマージされない場合には、当該ブロックの動き補償のために使用すべき動き情報が決定される。動き情報は、上述したように、参照画像情報、差分動きベクトル及び予測式情報などを含み得る。そして、モード選択部４６は、選択した予測モードを表す予測モード情報、マージ情報、動き情報、及びコスト関数値などを、補償部４７へ出力する。
【００８２】
補償部４７は、モード選択部４６から入力されたインター予測に関する情報及びフレームメモリ２５から入力される参照画像データを用いて、予測画像データを生成する。そして、補償部４７は、インター予測に関する情報及び生成した予測画像データをモード選択部５０へ出力する。また、補償部４７は、予測画像データの生成に用いた動き情報を、動き情報バッファ４３に記憶させる。
【００８３】
［１−３．動きベクトル予測処理の説明］
次に、上述した動きベクトル予測部４４による動きベクトル予測処理について説明する。
【００８４】
（１）空間的予測
図７は、動きベクトルの空間的予測について説明するための説明図である。図７を参照すると、１つのブロックＰＴｅに設定され得る２つの基準画素位置ＰＸ１及びＰＸ２が示されている。動きの空間的相関を利用する予測式は、例えば、これら基準画素位置ＰＸ１及びＰＸ２に隣接する他のブロックに設定された動きベクトルを入力とする。なお、本明細書において、「隣接する」という用語は、例えば、２つのブロック又は画素が辺を共有する場合のみならず、頂点を共有する場合をも含むものとする。
【００８５】
例えば、基準画素位置ＰＸ１の左の画素が属するブロックＢＬａに設定された動きベクトルをＭＶａとする。また、基準画素位置ＰＸ１の上の画素が属するブロックＢＬｂに設定された動きベクトルをＭＶｂとする。また、基準画素位置ＰＸ２の右上の画素が属するブロックＢＬｃに設定された動きベクトルをＭＶｃとする。これら動きベクトルＭＶａ、ＭＶｂ及びＭＶｃは、既に符号化済みである。符号化対象のブロックＰＴｅについての予測動きベクトルＰＭＶｅは、次のような予測式を用いて、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃから算出され得る。
【００８６】
【数１】
2012209911.tif 000003
【００８７】
ここで、式（１）におけるｍｅｄはメディアンオペレーションを表す。即ち、式（１）によれば、予測動きベクトルＰＭＶｅは、動きベクトルＭＶａ、ＭＶｂ及びＭＶｃの水平成分の中央値と垂直成分の中央値とを成分とするベクトルである。なお、上記式（１）は、空間的相関を利用する予測式の一例に過ぎない。例えば、符号化対象のブロックが画像の端部に位置するために、動きベクトルＭＶａ、ＭＶｂ又はＭＶｃのいずれかが存在しない場合には、存在しない動きベクトルは、メディアンオペレーションの引数から省略されてもよい。また、例えば、符号化対象のブロックが画像の右端に位置する場合には、動きベクトルＭＶｃの代わりに、図４に示したブロックＢＬｄに設定された動きベクトルが使用されてもよい。
【００８８】
なお、予測動きベクトルＰＭＶｅは、プレディクタ（predictor）とも呼ばれる。特に、式（１）のように、動きの空間的相関を利用する予測式によって算出される予測動きベクトルを、空間的プレディクタ（spatial  predictor）という。一方、次項で説明する動きの時間的相関を利用する予測式によって算出される予測動きベクトルを、時間的プレディクタ（temporal  predictor）という。
【００８９】
動きベクトル予測部４５は、このように予測動きベクトルＰＭＶｅを決定した後、次式のように、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。
【００９０】
【数２】
2012209911.tif 000004
【００９１】
動き探索部４０からインター予測に関する情報の１つとして出力される差分動きベクトル情報は、この差分動きベクトルＭＶＤｅを表す。あるブロックについてのこのような差分動きベクトル情報は、当該ブロックを他のブロックとマージしないことがモード選択部４６により選択された場合に、動き探索部４０から出力され、可逆符号化部１６により符号化される。
【００９２】
（２）時間的予測
図５は、動きベクトルの時間的予測について説明するための説明図である。図５を参照すると、符号化対象のブロックＰＴｅを含む符号化対象画像ＩＭ０１、及び参照画像ＩＭ０２が示されている。参照画像ＩＭ０２内のブロックＢｃｏｌは、参照画像ＩＭ０２内で基準画素位置ＰＸ１又はＰＸ２と共通する位置の画素を含む、いわゆるコロケーテッドブロックである。動きの時間的相関を利用する予測式は、例えば、このコロケーテッドブロックＢｃｏｌ又はコロケーテッドブロックＢｃｏｌに隣接するブロックに設定された動きベクトルを入力とする。
【００９３】
例えば、コロケーテッドブロックＢｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、コロケーテッドブロックＢｃｏｌの上、左、下、右、左上、左下、右下及び右上のブロックに設定された動きベクトルを、それぞれＭＶｔ０〜ＭＶｔ７とする。これら動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７は、既に符号化済みである。この場合、予測動きベクトルＰＭＶｅは、例えば、次の予測式（３）又は（４）を用いて、動きベクトルＭＶｃｏｌ及びＭＶｔ０〜ＭＶｔ７から算出され得る。
【００９４】
【数３】
2012209911.tif 000005
【００９５】
この場合にも、動きベクトル予測部４５は、予測動きベクトルＰＭＶｅを決定した後、動きベクトル算出部４２により算出された動きベクトルＭＶｅと予測動きベクトルＰＭＶｅとの差分を表す差分動きベクトルＭＶＤｅを算出する。
【００９６】
なお、図５の例では１つの符号化対象画像ＩＭ０１について１つの参照画像ＩＭ０２のみを示しているが、１つの符号化対象画像ＩＭ０１内でブロックごとに異なる参照画像が使用されてもよい。図６の例では、符号化対象画像ＩＭ０１内のブロックＰＴｅ１の動きベクトルの予測の際に参照される参照画像はＩＭ０２１であり、ブロックＰＴｅ２の動きベクトルの予測の際に参照される参照画像はＩＭ０２２である。このような参照画像の設定手法を、マルチ参照フレーム（Multi-Reference  Frame）という。
【００９７】
（３）ダイレクトモード
なお、動きベクトル情報の情報量の増加に伴う圧縮率の低下を回避するために、Ｈ．２６４／ＡＶＣは、主にＢピクチャを対象として、いわゆるダイレクトモードを導入している。ダイレクトモードにおいては、動きベクトル情報は符号化されず、符号化済みのブロックの動きベクトル情報から符号化対象のブロックの動きベクトル情報が生成される。ダイレクトモードは、空間ダイレクトモード（Spatial  Direct  Mode）、及び時間ダイレクトモード（Temporal  Direct  Mode）を含み、例えばスライスごとにこれら２つのモードが切り替えられ得る。本実施形態においても、このようなダイレクトモードが利用されてよい。
【００９８】
例えば、空間ダイレクトモードにおいては、符号化対象のブロックについての動きベクトルＭＶｅは、上述した予測式（１）を用いて、次式のように決定され得る。
【００９９】
【数４】
2012209911.tif 000006
【０１００】
図７は、時間ダイレクトモードについて説明するための説明図である。図７において、符号化対象画像ＩＭ０１のＬ０参照ピクチャである参照画像ＩＭＬ０、及び符号化対象画像ＩＭ０１のＬ１参照ピクチャである参照画像ＩＭＬ１が示されている。参照画像ＩＭＬ０内のブロックＢｃｏｌは、符号化対象画像ＩＭ０１内の符号化対象のブロックＰＴｅのコロケーテッドブロックである。ここで、コロケーテッドブロックＢｃｏｌに設定された動きベクトルをＭＶｃｏｌとする。また、符号化対象画像ＩＭ０１と参照画像ＩＭＬ０との間の時間軸上の距離をＴＤＢ、参照画像ＩＭＬ０と参照画像ＩＭＬ１との間の時間軸上の距離をＴＤＤとする。すると、時間ダイレクトモードにおいては、符号化対象のブロックＰＴｅについての動きベクトルＭＶＬ０及びＭＶＬ１は、次式のように決定され得る。
【０１０１】
【数５】
2012209911.tif 000007
【０１０２】
なお、時間軸上の距離を表す指標として、ＰＯＣ（Picture  Order  Count）が使用されてもよい。このようなダイレクトモードの利用の有無は、例えば、ブロック単位で指定され得る。
【０１０３】
［１−４．マージ情報の例］
次に、図８〜図１２を用いて、本実施形態においてマージ情報生成部４５により生成され得るマージ情報の例を説明する。なお、ここでは、説明の簡明さの観点から、マージ情報生成部４５がマージ情報の生成のために注目ブロック及び候補ブロックの間の動きベクトルの同一性のみを判定するように説明する。しかしながら、実際には、マージ情報生成部４５は、マージ情報の生成に際して、動きベクトルのみならず他の動き情報（参照画像情報など）の同一性をも判定してよい。
【０１０４】
（１）第１の例
図８は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第１の例を示す説明図である。図８を参照すると、符号化対象画像ＩＭ１０内に、注目ブロックＢ１０が示されている。ブロックＢ１１及びＢ１２は、それぞれ注目ブロックＢ１０の左及び上の隣接ブロックである。動きベクトルＭＶ１０は、注目ブロックＢ１０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ１１及びＭＶ１２は、それぞれ隣接ブロックＢ１１及びＢ１２に設定された参照動きベクトルである。さらに、参照画像ＩＭ１ｒｅｆ内に、注目ブロックＢ１０のコロケーテッドブロックＢ１ｃｏｌが示されている。動きベクトルＭＶ１ｃｏｌは、コロケーテッドブロックＢ１ｃｏｌに設定された参照動きベクトルである。
【０１０５】
第１の例において、動きベクトルＭＶ１０は、参照動きベクトルＭＶ１１、ＭＶ１２及びＭＶ１ｃｏｌの全てと等しい。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝１のみを生成する。MergeTempFlag及びMergeLeftFlagは、マージ情報には含められない。MergeFlag＝１は、候補ブロックの少なくとも１つが注目ブロックとマージされることを示す。このようなマージ情報を受け取った復号側は、３つの候補ブロックＢ１１、Ｂ１２及びＢ１ｃｏｌの動き情報を比較し、全ての動き情報が同一であることを認識すると、MergeTempFlag及びMergeLeftFlagを復号することなく、候補ブロックＢ１１、Ｂ１２及びＢ１ｃｏｌに設定された動きベクトルと同一の動きベクトルを注目ブロックＢ１０に設定する。
【０１０６】
（２）第２の例
図９は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第２の例を示す説明図である。図９を参照すると、符号化対象画像ＩＭ２０内に、注目ブロックＢ２０が示されている。ブロックＢ２１及びＢ２２は、それぞれ注目ブロックＢ２０の左及び上の隣接ブロックである。動きベクトルＭＶ２０は、注目ブロックＢ２０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ２１及びＭＶ２２は、それぞれ隣接ブロックＢ２１及びＢ２２に設定された参照動きベクトルである。さらに、参照画像ＩＭ２ｒｅｆ内に、注目ブロックＢ２０のコロケーテッドブロックＢ２ｃｏｌが示されている。動きベクトルＭＶ２ｃｏｌは、コロケーテッドブロックＢ２ｃｏｌに設定された参照動きベクトルである。
【０１０７】
第２の例において、動きベクトルＭＶ２０は、参照動きベクトルＭＶ２ｃｏｌと同一である。参照動きベクトルＭＶ２１及びＭＶ２２の少なくとも一方は、動きベクトルＭＶ２０と異なる。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝１及びMergeTempFlag＝１を生成する。MergeLeftFlagは、マージ情報には含められない。MergeTempFlag＝１は、注目ブロックＢ２０とコロケーテッドブロックＢ２ｃｏｌとがマージされることを示す。このようなマージ情報を受け取った復号側は、MergeLeftFlagを復号することなく、コロケーテッドブロックＢ２ｃｏｌに設定された動きベクトルと同一の動きベクトルを注目ブロックＢ２０に設定する。
【０１０８】
（３）第３の例
図１０は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第３の例を示す説明図である。図１０を参照すると、符号化対象画像ＩＭ３０内に、注目ブロックＢ３０が示されている。ブロックＢ３１及びＢ３２は、それぞれ注目ブロックＢ３０の左及び上の隣接ブロックである。動きベクトルＭＶ３０は、注目ブロックＢ３０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ３１及びＭＶ３２は、それぞれ隣接ブロックＢ３１及びＢ３２に設定された参照動きベクトルである。さらに、参照画像ＩＭ３ｒｅｆ内に、注目ブロックＢ３０のコロケーテッドブロックＢ３ｃｏｌが示されている。動きベクトルＭＶ３ｃｏｌは、コロケーテッドブロックＢ３ｃｏｌに設定された参照動きベクトルである。
【０１０９】
第３の例において、動きベクトルＭＶ３０は、参照動きベクトルＭＶ３１及びＭＶ３２と同一である。参照動きベクトルＭＶ３ｃｏｌは、動きベクトルＭＶ３０と異なる。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝１及びMergeTempFlag＝０を生成する。MergeLeftFlagは、マージ情報には含められない。MergeTempFlag＝０は、注目ブロックＢ３０とコロケーテッドブロックＢ３ｃｏｌとがマージされないことを示す。このようなマージ情報を受け取った復号側は、隣接ブロックＢ３１及びＢ３２の動き情報を比較し、これら動き情報が同一であることを認識すると、MergeLeftFlagを復号することなく、隣接ブロックＢ３１及びＢ３２に設定された動きベクトルと同一の動きベクトルを注目ブロックＢ３０に設定する。
【０１１０】
（４）第４の例
図１１は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第４の例を示す説明図である。図１１を参照すると、符号化対象画像ＩＭ４０内に、注目ブロックＢ４０が示されている。ブロックＢ４１及びＢ４２は、それぞれ注目ブロックＢ４０の左及び上の隣接ブロックである。動きベクトルＭＶ４０は、注目ブロックＢ４０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ４１及びＭＶ４２は、それぞれ隣接ブロックＢ４１及びＢ４２に設定された参照動きベクトルである。さらに、参照画像ＩＭ４ｒｅｆ内に、注目ブロックＢ４０のコロケーテッドブロックＢ４ｃｏｌが示されている。動きベクトルＭＶ４ｃｏｌは、コロケーテッドブロックＢ４ｃｏｌに設定された参照動きベクトルである。
【０１１１】
第４の例において、動きベクトルＭＶ４０は、参照動きベクトルＭＶ４１と同一である。参照動きベクトルＭＶ４２及びＭＶ４ｃｏｌは、動きベクトルＭＶ４０と異なる。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝１、MergeTempFlag＝０及びMergeLeftFlag＝１を生成する。MergeLeftFlag＝１は、注目ブロックＢ４０と隣接ブロックＢ４１とがマージされることを示す。このようなマージ情報を受け取った復号側は、隣接ブロックＢ４１に設定された動きベクトルと同一の動きベクトルを注目ブロックＢ４０に設定する。
【０１１２】
（５）第５の例
図１２は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第５の例を示す説明図である。図１２を参照すると、符号化対象画像ＩＭ５０内に、注目ブロックＢ５０が示されている。ブロックＢ５１及びＢ５２は、それぞれ注目ブロックＢ５０の左及び上の隣接ブロックである。動きベクトルＭＶ５０は、注目ブロックＢ５０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ５１及びＭＶ５２は、それぞれ隣接ブロックＢ５１及びＢ５２に設定された参照動きベクトルである。さらに、参照画像ＩＭ５ｒｅｆ内に、注目ブロックＢ５０のコロケーテッドブロックＢ５ｃｏｌが示されている。動きベクトルＭＶ５ｃｏｌは、コロケーテッドブロックＢ５ｃｏｌに設定された参照動きベクトルである。
【０１１３】
第５の例において、動きベクトルＭＶ５０は、参照動きベクトルＭＶ５２と同一である。参照動きベクトルＭＶ５１及びＭＶ５ｃｏｌは、動きベクトルＭＶ５０と異なる。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝１、MergeTempFlag＝０及びMergeLeftFlag＝０を生成する。MergeLeftFlag＝０は、注目ブロックＢ５０と隣接ブロックＢ５１とがマージされないことを示す。これは、MergeFlag＝１及びMergeTempFlag＝０を考慮すると、注目ブロックＢ５０と隣接ブロックＢ５２とがマージされることも同時に示している。このようなマージ情報を受け取った復号側は、隣接ブロックＢ５２に設定された動きベクトルと同一の動きベクトルを注目ブロックＢ５０に設定する。
【０１１４】
（６）第６の例
図１３は、本実施形態においてマージ情報生成部４５により生成されるマージ情報の第６の例を示す説明図である。図１３を参照すると、符号化対象画像ＩＭ６０内に、注目ブロックＢ６０が示されている。ブロックＢ６１及びＢ６２は、それぞれ注目ブロックＢ６０の左及び上の隣接ブロックである。動きベクトルＭＶ６０は、注目ブロックＢ６０について動きベクトル算出部４２により算出された動きベクトルである。動きベクトルＭＶ６１及びＭＶ６２は、それぞれ隣接ブロックＢ６１及びＢ６２に設定された参照動きベクトルである。さらに、参照画像ＩＭ６ｒｅｆ内に、注目ブロックＢ６０のコロケーテッドブロックＢ６ｃｏｌが示されている。動きベクトルＭＶ６ｃｏｌは、コロケーテッドブロックＢ６ｃｏｌに設定された参照動きベクトルである。
【０１１５】
第６の例において、動きベクトルＭＶ６０は、参照動きベクトルＭＶ６１、ＭＶ６２及びＭＶ６ｃｏｌのいずれとも異なる。この場合、マージ情報生成部４５は、マージ情報として、MergeFlag＝０のみを生成する。MergeTempFlag及びMergeLeftFlagは、マージ情報には含められない。MergeFlag＝０は、候補ブロックのいずれもが注目ブロックとマージされないことを示す。この場合、注目ブロックＢ６０についてマージ情報に加えて動き情報が符号化される。このようなマージ情報を受け取った復号側は、注目ブロックＢ６０について、動き情報に基づいて動きベクトルを予測し、固有の動きベクトルを設定する。
【０１１６】
＜２．一実施形態に係る符号化時の処理の流れ＞
図１４は、本実施形態に係る動き探索部４０のマージ情報生成部４５によるマージ情報生成処理の流れの一例を示すフローチャートである。図１４に例示したマージ情報生成処理は、探索処理部４１による制御の下、マクロブロック又は符号化単位を区分することにより形成される各ブロックについて、それぞれ実行され得る。
【０１１７】
図１４を参照すると、まず、マージ情報生成部４５は、注目ブロックの隣接ブロック及び参照画像内のコロケーテッドブロックを、注目ブロックとのマージの候補となる候補ブロックとして認識する（ステップＳ１０２）。
【０１１８】
次に、マージ情報生成部４５は、注目ブロックの動き情報がいずれかの候補ブロックの動き情報と同一であるか否かを判定する（ステップＳ１０４）。ここで、注目ブロックの動き情報がいずれの候補ブロックの動き情報とも異なる場合には、MergeFlagがゼロに設定され（ステップＳ１０６）、マージ情報生成処理は終了する。一方、注目ブロックの動き情報がいずれかの候補ブロックの動き情報と同一である場合には、MergeFlagが１に設定され（ステップＳ１０８）、処理はステップＳ１１０へ進む。
【０１１９】
ステップＳ１１０において、マージ情報生成部４５は、候補ブロックの動き情報が全て同一であるか否かを判定する（ステップＳ１１０）。ここで、候補ブロックの動き情報が全て同一である場合には、MergeTempFlag及びMergeLeftFlagが生成されることなく、マージ情報生成処理は終了する。一方、候補ブロックの動き情報が全て同一ではない場合には、処理はステップＳ１１２へ進む。
【０１２０】
ステップＳ１１２において、マージ情報生成部４５は、注目ブロックの動き情報がコロケーテッドブロックの動き情報と同一であるか否かを判定する（ステップＳ１１２）。ここで、注目ブロックの動き情報がコロケーテッドブロックの動き情報と同一である場合には、MergeTempFlagが１に設定され（ステップＳ１１４）、マージ情報生成処理は終了する。この場合、MergeLeftFlagは生成されない。一方、注目ブロックの動き情報がコロケーテッドブロックの動き情報と異なる場合には、MergeTempFlagがゼロに設定され（ステップＳ１１６）、処理はステップＳ１１８へ進む。
【０１２１】
ステップＳ１１８において、マージ情報生成部４５は、隣接ブロックの動き情報が互いに同一であるか否かを判定する（ステップＳ１１８）。ここで、隣接ブロックの動き情報が同一である場合には、MergeLeftFlagが生成されることなく、マージ情報生成処理は終了する。一方、隣接ブロックの動き情報が同一ではない場合には、処理はステップＳ１２０へ進む。
【０１２２】
ステップＳ１２０において、マージ情報生成部４５は、注目ブロックの動き情報が左の隣接ブロックの動き情報と同一であるか否かを判定する（ステップＳ１２０）。ここで、注目ブロックの動き情報が左の隣接ブロックの動き情報と同一である場合には、MergeLeftFlagが１に設定され（ステップＳ１２４）、マージ情報生成処理は終了する。一方、注目ブロックの動き情報が左の隣接ブロックの動き情報と異なる場合には、MergeLeftFlagがゼロに設定され（ステップＳ１２６）、マージ情報生成処理は終了する。
【０１２３】
なお、マージ情報生成部４５は、ここで説明したマージ情報生成処理を、動きベクトルの水平成分及び垂直成分についてそれぞれ実行してもよい。その場合には、各ブロックについて、水平成分のマージ情報と垂直成分のマージ情報とが生成される。その結果、ブロックのマージによる動き情報の削減の効果を動きベクトルの成分ごとに享受することが可能となり、圧縮率のさらなる向上が見込まれる。
【０１２４】
＜３．一実施形態に係る画像復号装置の構成例＞
本節では、図１５及び図１６を用いて、本開示の一実施形態に係る画像復号装置の構成例について説明する。
【０１２５】
［３−１．全体的な構成例］
図１５は、本開示の一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１５を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
【０１２６】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１２７】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報を動き補償部９０へ出力する。
【０１２８】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１２９】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１３０】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。
【０１３１】
並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１３２】
Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１３３】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを、記憶媒体を用いて記憶する。
【０１３４】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部９０へ出力する。
【０１３５】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。
【０１３６】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１３７】
動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。このような動き補償部９０による動き補償処理について、後にさらに説明する。
【０１３８】
［３−２．動き補償部の構成例］
図１６は、図１５に示した画像復号装置６０の動き補償部９０の詳細な構成の一例を示すブロック図である。図１６を参照すると、動き補償部９０は、マージ情報復号部９１、動き情報バッファ９２、動きベクトル設定部９３及び予測部９４を有する。
【０１３９】
マージ情報復号部９１は、可逆復号部６２から入力されるインター予測に関する情報に含まれる予測モード情報に基づいて、復号される画像内の動きベクトルの予測の単位となる各ブロックを認識する。そして、マージ情報復号部９１は、各ブロックが他のブロックとマージされるか否か、及びマージされる場合にはどのブロックとマージされるのかを認識するために、マージ情報を復号する。マージ情報復号部９１によるマージ情報の復号の結果は、動きベクトル設定部９３へ出力される。
【０１４０】
動き情報バッファ９２は、動きベクトル設定部９３により各ブロックに設定された動きベクトル及び参照画像情報などの動き情報を、記憶媒体を用いて一時的に記憶する。
【０１４１】
動きベクトル設定部９３は、復号される画像内の各ブロックについて、マージ情報復号部９１によるマージ情報の復号結果に応じて、当該ブロック内の画素値の予測に使用すべき動きベクトルを設定する。例えば、動きベクトル設定部９３は、ある注目ブロックが他のブロックとマージされる場合には、当該他のブロックに設定した動きベクトルを注目ブロックの動きベクトルに設定する。一方、動きベクトル設定部９３は、ある注目ブロックが他のブロックとマージされない場合には、インター予測に関する情報に含まれる動き情報を復号することにより得られる差分動きベクトル、予測式情報及び参照画像情報を用いて、注目ブロックに動きベクトルを設定する。即ち、この場合、動きベクトル設定部９３は、予測式情報により特定される予測式に参照動きベクトルを代入し、予測動きベクトルを算出する。そして、動きベクトル設定部９３は、算出した予測動きベクトルに差分動きベクトルを加算して動きベクトルを算出し、算出した動きベクトルを注目ブロックに設定する。動きベクトル設定部９３は、このように各ブロックに設定した動きベクトル及び対応する参照画像情報を、予測部９４へ出力する。
【０１４２】
予測部９４は、復号される画像内のブロックごとに、動きベクトル設定部９３により設定される動きベクトル及び参照画像情報、並びにフレームメモリ６９から入力される参照画像データを用いて、予測画素値を生成する。そして、予測部９４は、生成した予測画素値を含む予測画像データをセレクタ７１へ出力する。
【０１４３】
＜４．一実施形態に係る復号時の処理の流れ＞
図１７は、本実施形態に係る動き補償部９０のマージ情報復号部９１によるマージ情報復号処理の流れの一例を示すフローチャートである。図１７に例示したマージ情報生成処理は、復号される画像内の各ブロックについてそれぞれ実行され得る。
【０１４４】
図１４を参照すると、まず、マージ情報復号部９１は、注目ブロックの隣接ブロック及び参照画像内のコロケーテッドブロックを、注目ブロックとのマージの候補となる候補ブロックとして認識する（ステップＳ２０２）。
【０１４５】
次に、マージ情報復号部９１は、マージ情報に含まれるMergeFlagを復号する（ステップＳ２０４）。そして、マージ情報復号部９１は、MergeFlagが１又はゼロのいずれであるかを判定する（ステップＳ２０６）。ここで、MergeFlagがゼロであれば、マージ情報復号部９１は、MergeFlag以外のフラグを復号しない。この場合、注目ブロックについて、動きベクトル設定部９３により動き情報が復号され、動きベクトルの予測のための差分動きベクトル、予測式情報及び参照画像情報が取得される（ステップＳ２０８）。
【０１４６】
ステップＳ２０６においてMergeFlagが１であれば、マージ情報復号部９１は、候補ブロックの動き情報が全て同一であるか否かを判定する（ステップＳ２１０）。ここで、候補ブロックの動き情報が全て同一であれば、マージ情報復号部９１は、MergeFlag以外のフラグを復号しない。この場合、動きベクトル設定部９３は、いずれかの候補ブロックの動き情報を取得し、取得した動き情報を動きベクトルの設定のために使用する（ステップＳ２１２）。
【０１４７】
ステップＳ２１０において、候補ブロックの動き情報が全て同一ではない場合には、マージ情報復号部９１は、マージ情報に含まれるMergeTempFlagを復号する（ステップＳ２１４）。そして、マージ情報復号部９１は、MergeTempFlagが１又はゼロのいずれであるかを判定する（ステップＳ２１６）。ここで、MergeTempFlagが１であれば、マージ情報復号部９１は、MergeLeftFlagを復号しない。この場合、動きベクトル設定部９３は、コロケーテッドブロックの動き情報を取得し、取得した動き情報を動きベクトルの設定のために使用する（ステップＳ２１８）。
【０１４８】
ステップＳ２１６においてMergeTempFlagがゼロであれば、マージ情報復号部９１は、隣接ブロックの動き情報が互いに同一であるか否かを判定する（ステップＳ２２０）。ここで、隣接ブロックの動き情報が同一であれば、マージ情報復号部９１は、MergeLeftFlagを復号しない。この場合、動きベクトル設定部９３は、いずれかの隣接ブロックの動き情報を取得し、取得した動き情報を動きベクトルの設定のために使用する（ステップＳ２２２）。
【０１４９】
ステップＳ２２０において、隣接ブロックの動き情報が同一ではない場合には、マージ情報復号部９１は、マージ情報に含まれるMergeLeftFlagを復号する（ステップＳ２２４）。そして、マージ情報復号部９１は、MergeLeftFlagが１又はゼロのいずれであるかを判定する（ステップＳ２２６）。ここで、MergeLeftFlagが１であれば、動きベクトル設定部９３は、左の隣接ブロックの動き情報を取得し、取得した動き情報を動きベクトルの設定のために使用する（ステップＳ２２８）。一方、MergeLeftFlagがゼロであれば、動きベクトル設定部９３は、上の隣接ブロックの動き情報を取得し、取得した動き情報を動きベクトルの設定のために使用する（ステップＳ２３０）。
【０１５０】
なお、マージ情報復号部９１は、水平成分のマージ情報と垂直成分のマージ情報とが別個に与えられる場合には、ここで説明したマージ情報復号処理を、動きベクトルの水平成分及び垂直成分についてそれぞれ実行する。
【０１５１】
＜５．他の実施形態に係る画像符号化装置の構成例＞
［コーディングユニット］
ところで、マクロブロックサイズを１６画素×１６画素とするのは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対しては、最適ではない。
【０１５２】
そこで、現在、AVCより更なる符号化効率の向上を目的として、ITU-T（International Telecommunication Union Telecommunication Standardization Sector）と、ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）の共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進められている。
【０１５３】
AVCにおいては、図３に示されるように、マクロブロックとサブマクロブロックによる階層構造が規定されているが、HEVCにおいては、図２２に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。
【０１５４】
CUは、Coding Tree Block（CTB）とも呼ばれ、AVCにおけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。
【０１５５】
例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。
【０１５６】
それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図２２の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。
【０１５７】
更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVCにおいては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。
【０１５８】
以上のHEVCのように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVCにおけるマクロブロックはLCUに相当すると考えることができる。ただし、CUは図２２に示されるように階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVCのマクロブロックより大きく設定されることが一般的である。
【０１５９】
マクロブロックの代わりに、このようなCU、PU、およびTU等を用いる符号化方式にも、本開示を適用することができる。すなわち、予測処理を行う処理単位は任意の領域であってもよい。つまり、以下において、予測処理の処理対象の領域（当該領域や注目領域とも称する）や、その周辺領域には、このようなマクロブロックやサブマクロブロックだけでなく、CU、PU、およびTU等が含まれる。
【０１６０】
また、マージモードにおいて当該領域にマージする周辺領域の優先順の制御は、任意の処理単位で行われるようにしてもよく、シーケンス、ピクチャ、スライスだけでなく、例えばCUやPU等の、予測処理単位の領域毎に行われるようにしてもよい。その場合、処理対象の領域の動きの特徴、より具体的には、処理対象の領域（当該領域）が静止画像により構成される領域（静止領域）であるか、動物体の画像により構成される領域（動領域）であるかに応じて、マージモードにおける周辺領域の優先順が制御される。つまり、この場合、各領域において、その領域が静止領域であるか否かが判別される。
【０１６１】
［画像符号化装置］
図２３は、その場合の画像符号化装置の主な構成例を示すブロック図である。
【０１６２】
図２３に示される画像符号化装置１１００は、図１の画像符号化装置１０と基本的に同様の装置であり、画像データを符号化する。なお、画像符号化装置１１００は、図２３を参照して説明したように、プレディクションユニット（PU）毎にインター予測を行うものとする。
【０１６３】
図２３に示されるように画像符号化装置１１００は、A/D変換部１１０１、画面並べ替えバッファ１１０２、演算部１１０３、直交変換部１１０４、量子化部１１０５、可逆符号化部１１０６、および蓄積バッファ１１０７を有する。また、画像符号化装置１１００は、逆量子化部１１０８、逆直交変換部１１０９、演算部１１１０、ループフィルタ１１１１、フレームメモリ１１１２、選択部１１１３、イントラ予測部１１１４、動き予測・補償部１１１５、予測画像選択部１１１６、およびレート制御部１１１７を有する。
【０１６４】
画像符号化装置１１００は、さらに、静止領域判定部１１２１および動きベクトル符号化部１１２２を有する。
【０１６５】
A/D変換部１１０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ１１０２に供給し、記憶させる。画面並べ替えバッファ１１０２は、記憶した表示の順番のフレームの画像を、GOPに応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部１１０３に供給する。また、画面並べ替えバッファ１１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１１４および動き予測・補償部１１１５にも供給する。
【０１６６】
演算部１１０３は、画面並べ替えバッファ１１０２から読み出された画像から、予測画像選択部１１１６を介してイントラ予測部１１１４若しくは動き予測・補償部１１１５から供給される予測画像を減算し、その差分情報を直交変換部１１０４に出力する。
【０１６７】
例えば、インター符号化が行われる画像の場合、演算部１１０３は、画面並べ替えバッファ１１０２から読み出された画像から、動き予測・補償部１１１５から供給される予測画像を減算する。
【０１６８】
直交変換部１１０４は、演算部１１０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。なお、この直交変換の方法は任意である。直交変換部１１０４は、その変換係数を量子化部１１０５に供給する。
【０１６９】
量子化部１１０５は、直交変換部１１０４から供給される変換係数を量子化する。量子化部１１０５は、レート制御部１１１７から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。なお、この量子化の方法は任意である。量子化部１１０５は、量子化された変換係数を可逆符号化部１１０６に供給する。
【０１７０】
可逆符号化部１１０６は、量子化部１１０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部１１１７の制御の下で量子化されているので、この符号量は、レート制御部１１１７が設定した目標値となる（若しくは目標値に近似する）。
【０１７１】
また、可逆符号化部１１０６は、イントラ予測のモードを示す情報などをイントラ予測部１１１４から取得し、インター予測のモードを示す情報や動きベクトル情報などを動き予測・補償部１１１５から取得する。さらに、可逆符号化部１１０６は、ループフィルタ１１１１において使用されたフィルタ係数等を取得する。
【０１７２】
可逆符号化部１１０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１１０６は、符号化して得られた符号化データを蓄積バッファ１１０７に供給して蓄積させる。
【０１７３】
可逆符号化部１１０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。
【０１７４】
蓄積バッファ１１０７は、可逆符号化部１１０６から供給された符号化データを、一時的に保持する。蓄積バッファ１１０７は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置（記録媒体）や伝送路などに出力する。
【０１７５】
また、量子化部１１０５において量子化された変換係数は、逆量子化部１１０８にも供給される。逆量子化部１１０８は、その量子化された変換係数を、量子化部１１０５による量子化に対応する方法で逆量子化する。この逆量子化の方法は、量子化部１１０５による量子化処理に対応する方法であればどのような方法であってもよい。逆量子化部１１０８は、得られた変換係数を、逆直交変換部１１０９に供給する。
【０１７６】
逆直交変換部１１０９は、逆量子化部１１０８から供給された変換係数を、直交変換部１１０４による直交変換処理に対応する方法で逆直交変換する。この逆直交変換の方法は、直交変換部１１０４による直交変換処理に対応する方法であればどのようなものであってもよい。逆直交変換された出力（復元された差分情報）は、演算部１１１０に供給される。
【０１７７】
演算部１１１０は、逆直交変換部１１０９から供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部１１１６を介してイントラ予測部１１１４若しくは動き予測・補償部１１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。その復号画像は、ループフィルタ１１１１またはフレームメモリ１１１２に供給される。
【０１７８】
ループフィルタ１１１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部１１１０から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１１１１は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１１１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０１７９】
なお、ループフィルタ１１１１が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１１１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部１１０６に供給し、それを符号化させるようにすることもできる。
【０１８０】
ループフィルタ１１１１は、フィルタ処理結果（フィルタ処理後の復号画像）をフレームメモリ１１１２に供給する。なお、上述したように、演算部１１１０から出力される復号画像は、ループフィルタ１１１１を介さずにフレームメモリ１１１２に供給することができる。つまり、ループフィルタ１１１１によるフィルタ処理は省略することができる。
【０１８１】
フレームメモリ１１１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部１１１３に供給する。
【０１８２】
選択部１１１３は、フレームメモリ１１１２から供給される参照画像の供給先を選択する。例えば、インター予測の場合、選択部１１１３は、フレームメモリ１１１２から供給される参照画像を動き予測・補償部１１１５に供給する。
【０１８３】
イントラ予測部１１１４は、選択部１１１３を介してフレームメモリ１１１２から供給される参照画像である処理対象ピクチャ内の画素値を用いて、基本的にPUを処理単位として予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１１４は、予め用意された複数のモード（イントラ予測モード）でこのイントラ予測を行う。
【０１８４】
イントラ予測部１１１４は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ１１０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部１１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１１６に供給する。
【０１８５】
また、上述したように、イントラ予測部１１１４は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部１１０６に供給し、符号化させる。
【０１８６】
動き予測・補償部１１１５は、画面並べ替えバッファ１１０２から供給される入力画像と、選択部１１１３を介してフレームメモリ１１１２から供給される参照画像とを用いて、基本的にPUを処理単位として、動き予測（インター予測）を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。動き予測・補償部１１１５は、予め用意された複数のモード（インター予測モード）でこのようなインター予測を行う。
【０１８７】
動き予測・補償部１１１５は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部１１１５は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部１１１６に供給する。
【０１８８】
また、動き予測・補償部１１１５は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部１１０６に供給し、符号化させる。
【０１８９】
予測画像選択部１１１６は、演算部１１０３や演算部１１１０に供給する予測画像の供給元を選択する。例えば、インター符号化の場合、予測画像選択部１１１６は、予測画像の供給元として動き予測・補償部１１１５を選択し、その動き予測・補償部１１１５から供給される予測画像を演算部１１０３や演算部１１１０に供給する。
【０１９０】
レート制御部１１１７は、蓄積バッファ１１０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１０５の量子化動作のレートを制御する。
【０１９１】
静止領域判定部１１２１は、当該領域が静止領域であるか否かの判別（静止領域判定）を行う。静止領域判定部１１２１は、その静止領域か否かかの判定結果を動きベクトル符号化部１１２２に供給する。
【０１９２】
動きベクトル符号化部１１２２は、静止領域判定部１１２１から供給される、静止領域か否かかの判定結果に基づいて、マージモードにおいて当該領域にマージする周辺領域の優先度を制御する。
【０１９３】
動きベクトル符号化部１１２２は、マージモードの場合、その優先度に従って当該領域にマージする周辺領域を選択し、そのマージモードに関する情報（当該領域にマージする周辺領域を指定する情報）であるマージ情報を生成して、そのマージ情報を動き予測・補償部１１１５に供給する。
【０１９４】
また、動きベクトル符号化部１１２２は、マージモードを選択しない場合、予測動きベクトル情報を生成し、その予測動きベクトル情報と当該領域の動き情報（動きベクトル）との差分（差分動き情報）を生成する。動きベクトル符号化部１１２２は、生成した差分動き情報等の情報を動き予測・補償部１１１５に供給する。
【０１９５】
［動きパーティションのマージ］
動き情報の符号化方式の１つとして、例えば非特許文献２においては、図２４に示されるような、Motion Partition Mergingと呼ばれる手法（マージモードと称する）が提案されている。マージモードにおいては、当該領域の動き情報を伝送せずに、処理済みの周辺領域の動き情報を用いて当該領域の動き情報を再構築する。この非特許文献２に記載のマージモードの場合、Merge_Flagと、Merge_Left_Flagという、２つのflagが伝送される。
【０１９６】
Merge_Flag=1の時、当該ブロックＸの動き情報は、ブロックＴ若しくはブロックＬの動き情報と同一であり、この時、Merge_Left_Flagが、出力となる画像圧縮情報中に伝送されることになる。その値が０である時には、当該ブロックＸの動き情報は、ブロックＴともブロックＬとも異なるものであり、ブロックＸに関する動き情報が、画像圧縮情報に伝送されることになる。
【０１９７】
Merge_Flag=1であり、かつ、Merge_Left_Flag=1である場合、当該ブロックＸの動き情報は、ブロックＬの動き情報と同一のものになる。Merge_Flag=1であり、かつ、Merge_Left_Flag=0である場合、当該ブロックＸの動き情報は、ブロックＬの動き情報と同一のものになる。
【０１９８】
上述のMotion Partition Mergingは、AVCにおけるSkipの置き換えとして提案されている。
【０１９９】
画像符号化装置１１００のマージモードの場合、動領域と静止領域との境界付近のように、動きベクトルの空間方向の相関性が低いときに画質が劣化するのを抑制するために、処理対象の当該領域と同じピクチャ（当該ピクチャ）に存在する、動き情報を生成済みの領域（処理済みの領域）である空間的な周辺領域だけでなく、参照ピクチャの当該領域と同じ位置に存在するCo-Located領域、すなわち、時間的な周辺領域も、当該領域にマージする領域の候補とする。このCo-Located領域も当然処理済みの領域である。
【０２００】
つまり、動きベクトル符号化部１１２２は、当該領域の上に隣接する周辺領域、左に隣接する周辺領域、およびCo-Located領域の各動き情報の中から、当該領域の動き情報と一致するものを検索し、一致する領域を当該領域にマージする。
【０２０１】
この場合、図８乃至図１３を参照して説明したように、マージ情報として、MergeFlag、MergeTempFlag、およびMergeLeftFlagの３つのフラグ情報が伝送される。つまり、動きベクトル符号化部１１２２は、各領域の動きベクトルと当該領域の動きベクトルとを比較した結果に応じて上述した３つのフラグの値を設定する。
【０２０２】
なお、動き情報が一致する周辺領域が存在しない場合、マージモードは適用されないので、動きベクトル符号化部１１２２は、当該領域について予測動きベクトル情報や差分動き情報を生成し、それらに関する情報も伝送させる。
【０２０３】
［優先順制御］
例えば動領域に隣接する静止領域において、空間方向の動き相関を利用すると動領域の動きベクトル情報が静止領域に伝搬して画質劣化を引き起こす恐れがある。換言すると、非特許文献２に記載の方法のように、常に、空間的な周辺領域のみを候補とする場合、動き情報が当該領域と一致しにくくなり、マージモードが選択されにくくなる。その結果、符号化効率の向上が抑制される恐れがある。
【０２０４】
そこで、動きベクトル符号化部１１２２は、上述したように、空間的な周辺領域だけでなく、時間的な周辺領域も候補とする。このようにすることにより、マージモードが選択されにくくなることを抑制し、符号化効率の低減を抑制することができる。
【０２０５】
ただし、その場合であっても、例えば図１４を参照して説明したように、常に時間的な周辺領域（Co-Located領域）の動き情報を優先させるようにすると、空間的な周辺領域が選択されるときでもMergeTempFlagの値が必要になり、不要にマージ情報の符号量が増大する恐れがある。
【０２０６】
そこで、動きベクトル符号化部１１２２は、どの周辺領域とのマージを優先させるかを、画像の動きの特徴に基づいて決定する。
【０２０７】
より具体的には、空間的な相関よりも時間的な相関の方が高い可能性が高い画像の場合、動きベクトル符号化部１１２２は、時間的な周辺領域（Co-Located領域）とのマージを優先させるように制御する。また、時間的な相関よりも空間的な相関の方が高い可能性が高い画像の場合、動きベクトル符号化部１１２２は、空間的な周辺領域とのマージを優先させるようにする。
【０２０８】
このように各周辺領域の優先順を適応的に決定することにより、後述するように、動きベクトル符号化部１１２２は、マージ情報に含まれるフラグの数を低減させることができる。したがって、動きベクトル符号化部１１２２は、マージ情報の増大による符号化効率の低減を抑制することができる。
【０２０９】
また、優先度の高い周辺領域から先に当該領域とマージさせるか否かを判定することにより、マージ情報生成に関する処理の負荷を軽減させることもできる。
【０２１０】
さらに、動きベクトル符号化部１１２２は、どの周辺領域を優先させるかを、当該領域の動きの特徴に基づいて決定する。つまり、動きベクトル符号化部１１２２は、上述したような静止領域判定部１１２１の静止領域判定結果に基づいて、マージモードにおける周辺領域の優先順を、予測処理単位の領域毎に決定する。
【０２１１】
より具体的には、静止領域判定部１１２１により、処理対象である当該領域が静止領域であると判定された場合、空間的な相関よりも時間的な相関の方が高い可能性が高いので、動きベクトル符号化部１１２２は、時間的な周辺領域（Co-Located領域）を優先させるように制御する。また、静止領域判定部１１２１により当該領域が動領域であると判定された場合、時間的な相関よりも空間的な相関の方が高い可能性が高いので、動きベクトル符号化部１１２２は、空間的な周辺領域を優先させるようにする。
【０２１２】
このように、より適応的に優先順を決定することにより、動きベクトル符号化部１１２２は、マージ情報に含まれるフラグの数を、より低減させることができる。したがって、動きベクトル符号化部１１２２は、マージ情報の増大による符号化効率の低減をさらに抑制することができる。
【０２１３】
［静止領域判定］
静止領域判定部１１２１による静止領域判定は、当該領域が処理される時点で処理済みの（動き情報が算出済みの）参照ピクチャのCo-Located領域に対する動き情報を用いて行われる。
【０２１４】
当該領域をPUcurrとし、Co-Located領域をPUcolとし、Co-Located領域PUcolの動きベクトル情報の水平成分をMVhcolとし、巣直成分をMVvcolとし、Co-Located領域PUcolが存在する参照インデックスをRefcolとする。静止領域判定部１１２１は、これらの値を用いて当該領域PUcurrの静止領域判定を行う。
【０２１５】
すなわち、静止領域判定部１１２１は、閾値をθとすると、以下の式（８）および式（９）が成り立ち、かつ、式（１０）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。
【０２１６】
|MVhcol|≦θ  ・・・（８）
|MVvcol|≦θ  ・・・（９）
Refcol＝0  ・・・（１０）
【０２１７】
式（１０）において参照インデックスRefcolの値が０であることにより、静止領域判定部１１２１は、参照ピクチャのCo-Located領域PUcolが略間違いなく静止画により構成される静止領域であると判定する。また、式（８）および式（９）のθの値としては、入力画像も参照画像も、符号化歪を含まない、原画像そのものであるなら、０であるべきである。しかしながら、実際には、入力画像は原画像そのものであるが、参照画像は復号画像であり一般的に符号化歪みを含む。そのため、静止画領域であっても、必ずしもθの値として０が適切であるとは限らない。
【０２１８】
そこで、静止領域判定部１１２１は、動きベクトルの値が１／４画素の精度を持つ場合、θ＝４であるとする。すなわち、動きベクトルの精度が、整数画素精度で１．０以内である場合、静止領域判定部１１２１は、静止領域であると判定する。
【０２１９】
このように静止領域判定部１１２１が予測処理単位の領域毎に静止領域判定を行うので、動きベクトル符号化部１１２２は、その静止領域判定部１１２１の判定に従って周辺領域の優先順の制御を行うことにより、符号化効率の低減をさらに抑制することができる。
【０２２０】
なお、以上においては、３つの領域を、動き情報を利用する周辺領域の候補とするように説明したが、これに限らず、例えば、非特許文献２に記載の方法において、当該領域の左に隣接する領域（Left）に代えてCo-Located領域をマージの候補とするようにしてもよいし、当該領域の上に隣接する領域（Top）に代えてCo-Located領域をマージの候補とするようにしてもよい。このようにすることにより、マージの候補が２領域となるので、非特許文献２に記載の方法と同様のシンタックスで、マージモードにおける符号化効率の低減を抑制することができる。
【０２２１】
［動き予測・補償部、静止領域判定部、動きベクトル符号化部］
図２５は、動き予測・補償部１１１５、静止領域判定部１１２１、および動きベクトル符号化部１１２２の主な構成例を示すブロック図である。
【０２２２】
図２５に示されるように、動き予測・補償部１１１５は、動き探索部１１３１、コスト関数算出部１１３２、モード判定部１１３３、動き補償部１１３４、および動き情報バッファ１１３５を有する。
【０２２３】
また、動きベクトル符号化部１１２２は、優先順制御部１１４１、マージ情報生成部１１４２、予測動きベクトル生成部１１４３、および差分動きベクトル生成部１１４４を有する。
【０２２４】
動き探索部１１３１には、画面並べ替えバッファ１１０２からの入力画像画素値と、フレームメモリ１１１２からの参照画像画素値が入力される。動き探索部１１３１は、全てのインター予測モードについて動き探索処理を行い、動きベクトルと参照インデックスを含む動き情報を生成する。動き探索部１１３１は、その動き情報を動きベクトル符号化部１１２２のマージ情報生成部１１４２と予測動きベクトル生成部１１４３に供給する。
【０２２５】
また、静止領域判定部１１２１は、動き予測・補償部１１１５の動き情報バッファ１１３５に記憶されている周辺領域の動き情報である周辺動き情報を取得し、その周辺動き情報から処理対象の領域（当該領域）が静止領域であるか否かを判定する。
【０２２６】
例えば、静止領域判定部１１２１は、時間的な周辺領域であるPUcolについて、上述した式（８）および式（９）が成り立ち、かつ、式（１０）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。静止領域判定部１１２１は、このような静止領域判定結果を動きベクトル符号化部１１２２の優先順制御部１１４１に供給する。
【０２２７】
動きベクトル符号化部１１２２の優先順制御部１１４１は、静止領域判定部１１２１から静止領域判定結果を取得すると、その静止領域判定結果に従って、マージモードにおける周辺領域の優先順を決定し、その優先順を制御する優先順制御信号をマージ情報生成部１１４２に供給する。
【０２２８】
マージ情報生成部１１４２は、動き探索部１１３１から当該領域の動き情報を取得し、動き情報バッファ１１３５から候補となる周辺領域の動き情報を取得し、優先順制御部１１４１の制御に従って、それらを比較する。マージ情報生成部１１４２は、その比較結果に応じて、MergeFlag、MergeTempFlag、およびMergeLeftFlag等の各フラグの値を適宜設定し、それらのフラグ情報を含むマージ情報を生成する。
【０２２９】
マージ情報生成部１１４２は、生成したマージ情報をコスト関数算出部１１３２に供給する。また、当該領域の動き情報が周辺動き情報と一致せず、マージモードが選択されなかった場合、マージ情報生成部１１４２は、予測動きベクトル生成部１１４３に対して、予測動きベクトルを生成するように指示する制御信号を供給する。
【０２３０】
予測動きベクトル生成部１１４３は、その制御信号に従って、動き探索部１１３１から当該領域の各インター予測モードの動き情報を取得し、動き情報バッファ１１３５から各動き情報に対応する周辺動き情報を取得する。予測動きベクトル生成部１１４３は、その周辺動き情報を用いて、候補となる複数の予測動きベクトル情報を生成する。
【０２３１】
そして、予測動きベクトル生成部１１４３は、動き探索部１１３１から取得した動き情報、生成された候補となる各予測動きベクトル情報、並びに、それらに対してそれぞれ割り付けられたコードナンバを差分動きベクトル生成部１１４４に供給する。
【０２３２】
差分動きベクトル生成部１１４４は、各インター予測モードについて、供給された予測動きベクトル情報の候補の中から最適なものを選択し、動き情報とその予測動きベクトル情報との差分値を含む差分動きベクトル情報を生成する。差分動きベクトル生成部１１４４は、生成した各インター予測モードの差分動きベクトル情報、選択した各インター予測モードの予測動きベクトル情報、およびそのコードナンバを動き予測・補償部１１１５のコスト関数算出部１１３２に供給する。
【０２３３】
また、動き探索部１１３１は、探索した動きベクトル情報を用いて、参照画像に補償処理を行い、予測画像を生成する。さらに、動き探索部１１３１は、その予測画像と入力画像の差分（差分画素値）を算出し、その差分画素値をコスト関数算出部１１３２に供給する。
【０２３４】
コスト関数算出部１１３２は、動き探索部１１３１から供給された各インター予測モードの差分画素値を用いて、各インター予測モードのコスト関数値を算出する。コスト関数算出部１１３２は、算出した各インター予測モードのコスト関数値とマージ情報をモード判定部１１３３に供給する。また、コスト関数算出部１１３２は、必要に応じて、各インター予測モードの差分動き情報、各インター予測モードの予測動きベクトル情報、およびそのコードナンバもモード判定部１１３３に供給する。
【０２３５】
モード判定部１１３３は、各インター予測モードのうち、どのモードを用いるのが最適かを、各インター予測モードに対するコスト関数値を用いて判定し、最も小さいコスト関数値のインター予測モードを、最適予測モードとする。そして、モード判定部１１３３は、その最適予測モードに関する情報である最適予測モード情報とマージ情報を動き補償部１１３４に供給する。また、モード判定部１１３３は、必要に応じて、最適予測モードに選択されたインター予測モードの、差分動き情報、予測動きベクトル情報、およびそのコードナンバも動き補償部１１３４に供給する。
【０２３６】
動き補償部１１３４は、供給された情報を用いて最適予測モードの動きベクトルを求める。例えば、マージモードが選択された場合、動き補償部１１３４は、マージ情報により指定される周辺領域の動き情報を動き情報バッファ１１３５から取得し、その動きベクトルを最適予測モードの動きベクトルとする。また、マージモードが選択されていない場合、動き補償部１１３４は、モード判定部１１３３から供給された、差分動き情報や予測動きベクトル情報等を用いて、最適予測モードの動きベクトルを生成する。動き補償部１１３４は、その動きベクトルを用いてフレームメモリ１１１２からの参照画像に補償を行うことで、最適予測モードの予測画像を生成する。
【０２３７】
予測画像選択部１１１６によりインター予測が選択された場合、それを示す信号が予測画像選択部１１１６から供給される。これに対応して、動き補償部１１３４は、最適予測モード情報とマージ情報を可逆符号化部１１０６に供給する。また、動き補償部１１３４は、必要に応じて、最適予測モードの差分動きベクトル情報と予測動きベクトル情報のコードナンバも、可逆符号化部１１０６に供給する。
【０２３８】
また、動き補償部１１３４は、最適予測モードの動き情報を、動き情報バッファ１１３５に格納する。なお、予測画像選択部１１１６によりインター予測が選択されなかった場合（すなわち、イントラ予測画像が選択された場合）、動きベクトル情報として、０ベクトルが、動き情報バッファ１１３５に格納される。
【０２３９】
動き情報バッファ１１３５には、過去に処理された領域の最適予測モードの動き情報が格納されている。格納されている動き情報は、その領域より時間的に後に処理される領域に対する処理において、周辺動き情報として、各部に供給される。
【０２４０】
以上のように、静止領域判定部１１２１が静止領域であるか否かの判定を予測処理単位毎に行う。そして、動きベクトル符号化部１１２２が、その静止領域判定結果に基づいてマージモードにおける周辺領域の優先順を制御し、当該領域が静止領域の場合、時間的な周辺領域の動き情報を優先的に当該領域の動き情報と比較するようにする。逆に、当該領域が動領域の場合、動きベクトル符号化部１１２２が、空間的な周辺領域の動き情報を優先的に当該領域の動き情報と比較するようにする。したがって、画像符号化装置１１００は、マージ情報の符号量の増大を抑制することができ、符号化効率を向上させることができる。
【０２４１】
＜６．他の実施形態に係る符号化時の処理の流れ＞
［符号化処理の流れ］
次に、以上のような画像符号化装置１１００により実行される各処理の流れについて説明する。最初に、図２６のフローチャートを参照して、符号化処理の流れの例を説明する。
【０２４２】
ステップＳ１１０１において、A/D変換部１１０１は入力された画像をA/D変換する。ステップＳ１１０２において、画面並べ替えバッファ１１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０２４３】
ステップＳ１１０３において、イントラ予測部１１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１０４において、動き予測・補償部１１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０２４４】
ステップＳ１１０５において、予測画像選択部１１１６は、イントラ予測部１１１４および動き予測・補償部１１１５から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部１１１６は、イントラ予測部１１１４により生成された予測画像と、動き予測・補償部１１１５により生成された予測画像のいずれか一方を選択する。
【０２４５】
ステップＳ１１０６において、演算部１１０３は、ステップＳ１１０２の処理により並び替えられた画像と、ステップＳ１１０５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０２４６】
ステップＳ１１０７において、直交変換部１１０４は、ステップＳ１１０６の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
【０２４７】
ステップＳ１１０８において、量子化部１１０５は、ステップＳ１１０７の処理により得られた直交変換係数を量子化する。
【０２４８】
ステップＳ１１０８の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１１０９において、逆量子化部１１０８は、ステップＳ１１０８の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１１０５の特性に対応する特性で逆量子化する。ステップＳ１１１０において、逆直交変換部１１０９は、ステップＳ１１０７の処理により得られた直交変換係数を、直交変換部１１０４の特性に対応する特性で逆直交変換する。
【０２４９】
ステップＳ１１１１において、演算部１１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１１０３への入力に対応する画像）を生成する。ステップＳ１１１２においてループフィルタ１１１１は、ステップＳ１１１１の処理により得られた局部的な復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０２５０】
ステップＳ１１１３において、フレームメモリ１１１２は、ステップＳ１１１２の処理によりループフィルタ処理が施された復号画像を記憶する。なお、フレームメモリ１１１２にはループフィルタ１１１１によりフィルタ処理されていない画像も演算部１１１０から供給され、記憶される。
【０２５１】
ステップＳ１１１４において、可逆符号化部１１０６は、ステップＳ１１０８の処理により量子化された変換係数を符号化する。すなわち、差分画像に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０２５２】
なお、可逆符号化部１１０６は、ステップＳ１１０８において算出された量子化パラメータを符号化し、符号化データに付加する。また、可逆符号化部１１０６は、ステップＳ１１０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１１０６は、イントラ予測部１１１４から供給される最適イントラ予測モード情報、または、動き予測・補償部１１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
【０２５３】
ステップＳ１１１５において蓄積バッファ１１０７は、ステップＳ１１１４の処理により得られた符号化データを蓄積する。蓄積バッファ１１０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。
【０２５４】
ステップＳ１１１６においてレート制御部１１１７は、ステップＳ１１１５の処理により蓄積バッファ１１０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１１０５の量子化動作のレートを制御する。
【０２５５】
ステップＳ１１１６の処理が終了すると、符号化処理が終了される。
【０２５６】
［インター動き予測処理の流れ］
次に、図２７のフローチャートを参照して、図２６のステップＳ１１０４において実行されるインター動き予測処理の流れの例を説明する。
【０２５７】
インター動き予測処理が開始されると、この場合、動き探索部１１３１は、ステップＳ１１２１において、各インター予測モードに対して動き探索を行い、動き情報と差分画素値を生成する。
【０２５８】
ステップＳ１１２２において、静止領域判定部１１２１は、動き情報バッファ１１３５から、時間的な周辺領域であるCo-Located領域の動き情報を取得する。ステップＳ１１２３において、静止領域判定部１１２１は、Co-Located領域の動き情報に基づいて、当該領域が静止領域であるか否かを判定する。
【０２５９】
ステップＳ１１２４において、優先順制御部１１４１は、静止領域判定結果に応じて、マージモードにおいて当該領域と動き情報を比較する周辺領域の優先順を決定する。
【０２６０】
ステップＳ１１２５において、マージ情報生成部１１４２は、ステップＳ１１２４において決定される優先順に従って、周辺動き情報を当該領域の動き情報と比較し、当該領域についてのマージ情報を生成する。ステップＳ１１２６において、マージ情報生成部１１４２は、ステップＳ１１２５の処理により、当該領域においてマージモードが採用されたか否かを判定する。当該領域の動き情報が周辺動き情報と一致せず、マージモードが採用されなかったと判定した場合、マージ情報生成部１１４２は、処理をステップＳ１１２７に進める。
【０２６１】
ステップＳ１１２７において、予測動きベクトル生成部１１４３は、候補となる全ての予測動きベクトル情報を生成する。
【０２６２】
ステップＳ１１２８において、差分動きベクトル生成部１１４４は、各インター予測モードに対する最適な予測動きベクトル情報を決定する。また、その予測動きベクトル情報と動き情報の動きベクトルとの差分である差分動きベクトルを含む差分動き情報を生成する。
【０２６３】
ステップＳ１１２８の処理が終了すると、差分動きベクトル生成部１１４４は、処理をステップＳ１１２９に進める。また、ステップＳ１１２６において、マージモードが採用されたと判定された場合、マージ情報生成部１１４２は、処理をステップＳ１１２９に進める。
【０２６４】
ステップＳ１１２９において、コスト関数算出部１１３２は、各インター予測モードのコスト関数値を算出する。
【０２６５】
ステップＳ１１３０において、モード判定部１１３３は、ステップＳ１１２９において算出されたコスト関数値を用いて、最適なインター予測モードである最適インター予測モード（最適予測モードとも称する）を決定する。
【０２６６】
ステップＳ１１３１において、動き補償部１１３４は、最適インター予測モードで動き補償を行う。ステップＳ１１３２において、動き補償部１１３４は、ステップＳ１１３０の動き補償により得られた予測画像を、予測画像選択部１１１６を介して演算部１１０３および演算部１１１０に供給し、差分画像情報および復号画像を生成させる。また、ステップＳ１１３３において、動き補償部１１３４は、最適予測モード情報、マージ情報、差分動き情報、および予測動きベクトル情報のコードナンバ等、最適インター予測モードに関する情報を可逆符号化部１１０６に供給し、符号化させる。
【０２６７】
ステップＳ１１３４において、動き情報バッファ１１３５は、最適インター予測モードに選択された動き情報を記憶する。動き情報を記憶すると、動き情報バッファ１１３５は、インター動き予測処理を終了する。
【０２６８】
［マージ情報生成処理の流れ］
次に、図２８および図２９のフローチャートを参照して、図２７のステップＳ１１２５において実行されるマージ情報生成処理の流れの例を説明する。
【０２６９】
マージ情報生成処理が開始されると、マージ情報生成部１１４２は、ステップＳ１１４１において、動き情報バッファ１１３５から、当該領域とマージする領域の候補となる周辺領域の動き情報を取得する。
【０２７０】
ステップＳ１１４２において、マージ情報生成部１１４２は、処理対象である注目領域（当該領域）の動き情報を、ステップＳ１１４１において取得した各周辺動き情報と比較し、注目領域の動きベクトルがいずれかの周辺領域の動きベクトルと同一であるか否かを判定する。
【０２７１】
当該領域の動きベクトルが周辺のいずれの動きベクトルとも同一でないと判定された場合、マージ情報生成部１１４２は、処理をステップＳ１１４３に進め、MergeFlagを０に設定する（MergeFlag＝0）。この場合、マージモードは選択されない。マージ情報生成部１１４２は、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２７２】
また、ステップＳ１１４２において、当該領域の動きベクトルが周辺のいずれかの動きベクトルと同一であると判定された場合、マージ情報生成部１１４２は、処理をステップＳ１１４４に進め、MergeFlagを１に設定する（MergeFlag＝0）。この場合、マージモードが選択される。マージ情報生成部１１４２は、処理をステップＳ１１４５に進める。
【０２７３】
ステップＳ１１４５において、マージ情報生成部１１４５は、ステップＳ１１４１において取得した周辺動き情報が全て同一であるか否かを判定する。全て同一であると判定された場合、当該領域をどの候補ともマージすることができるので、マージ情報生成部１１４５は、MergeFlagのみをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２７４】
また、ステップＳ１１４５において、ステップＳ１１４１において取得した周辺動き情報が全て同一ではないと判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１４６に進める。
【０２７５】
ステップＳ１１４６において、マージ情報生成部１１４５は、図２７のステップＳ１１２４において、当該領域の静止領域判定結果に基づいて決定された優先順に従って、時間的な周辺領域（時間周辺領域とも称する）が空間的な周辺領域（空間周辺領域とも称する）より優先されるか否かを判定する。優先されると判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１４７に進め、時間周辺領域の動き情報から比較を行う。
【０２７６】
マージ情報生成部１１４５は、ステップＳ１１４７において、注目領域の動き情報は時間周辺領域の動き情報と同一であるか否かを判定し、同一であると判定された場合、処理をステップＳ１１４８に進め、MergeTempFlagを１に設定する（MergeTempFlag＝1）。この場合、空間周辺領域の動き情報の比較は不要であるので、マージ情報生成部１１４５は、MergeFlagとMergeTempFlagをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２７７】
また、ステップＳ１１４７において、同一でないと判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１４９に進め、MergeTempFlagを０に設定し、処理をステップＳ１１５０に進める（MergeTempFlag＝0）。
【０２７８】
ステップＳ１１５０において、マージ情報生成部１１４５は、空間周辺領域の動き情報は全て同一であるか否かを判定する。全て同一であると判定された場合、どの空間周辺領域の動き情報を用いても良いので、マージ情報生成部１１４５は、MergeFlagとMergeTempFlagをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２７９】
また、ステップＳ１１５０において、空間周辺領域の動き情報が全て同一ではないと判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１５１に進める。
【０２８０】
ステップＳ１１５１において、マージ情報生成部１１４５は、注目領域の動き情報は左の空間周辺領域（当該領域の左に隣接する周辺領域）の動き情報と同一であるか否かを判定する。マージ情報生成部１１４５は、同一でないと判定された場合、処理をステップＳ１１５２に進め、MergeLeftFlagを０に設定する（MergeLeftFlag＝0）。
【０２８１】
また、ステップＳ１１５１において、注目領域の動き情報と左の空間周辺領域の動き情報が同一であると判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１５３に進め、MergeLeftFlagを１に設定する（MergeLeftFlag＝1）。
【０２８２】
ステップＳ１１５２若しくはステップＳ１１５３の処理が終了すると、マージ情報生成部１１４５は、MergeFlag，MergeTempFlag、およびMergeLeftFlagをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２８３】
また、ステップＳ１１４６において、空間周辺領域が優先されると判定された場合、マージ情報生成部１１４５は、処理を図２９のステップＳ１１６１に進める。
【０２８４】
この場合、空間周辺領域の動き情報が、時間周辺領域の動き情報より先に、当該領域の動き情報と比較される。
【０２８５】
つまり、図２９のステップＳ１１６１において、マージ情報生成部１１４５は、注目領域の動き情報は左の空間周辺領域（当該領域の左に隣接する周辺領域）の動き情報と同一であるか否かを判定する。同一であると判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１６２に進め、MergeLeftFlagを１に設定する（MergeLeftFlag＝1）。この場合、時間周辺領域の動き情報の比較は不要であるので、マージ情報生成部１１４５は、MergeFlagとMergeLeftFlagをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２８６】
また、ステップＳ１１６１において、同一でないと判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１６３に進め、MergeLeftFlagを０に設定し、処理をステップＳ１１６４に進める（MergeLeftFlag＝0）。
【０２８７】
マージ情報生成部１１４５は、ステップＳ１１６４において、注目領域の動き情報は時間周辺領域の動き情報と同一であるか否かを判定する。同一であると判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１６５に進め、MergeTempFlagを１に設定する（MergeTempFlag＝1）。
【０２８８】
また、ステップＳ１１６４において、同一でないと判定された場合、マージ情報生成部１１４５は、処理をステップＳ１１６６に進め、MergeTempFlagを０に設定する（MergeTempFlag＝0）。
【０２８９】
ステップＳ１１６５若しくはステップＳ１１６６の処理が終了すると、マージ情報生成部１１４５は、MergeFlag，MergeTempFlag、およびMergeLeftFlagをマージ情報とし、マージ情報生成処理を終了し、処理を図２７に戻す。
【０２９０】
以上のように、各処理を行うことにより、画像符号化装置１１００は、マージ情報の符号量の増大を抑制することができ、符号化効率を向上させることができる。
【０２９１】
＜７．他の実施形態に係る画像復号装置の構成例＞
［画像復号装置］
図３０は、図２３の画像符号化装置１１００に対応する画像復号装置の主な構成例を示すブロック図である。
【０２９２】
図３０に示される画像復号装置１２００は、画像符号化装置１１００が生成した符号化データを、その符号化方法に対応する復号方法で復号する。なお、画像復号装置１２００は、画像符号化装置１１００と同様に、プレディクションユニット（PU）毎にインター予測を行うものとする。
【０２９３】
図３０に示されるように画像復号装置１２００は、蓄積バッファ１２０１、可逆復号部１２０２、逆量子化部１２０３、逆直交変換部１２０４、演算部１２０５、ループフィルタ１２０６、画面並べ替えバッファ１２０７、およびＤ／Ａ変換部１２０８を有する。また、画像復号装置１２００は、フレームメモリ１２０９、選択部１２１０、イントラ予測部１２１１、動き予測・補償部１２１２、および選択部１２１３を有する。
【０２９４】
さらに、画像復号装置１２００は、静止領域判定部１２２１、および動きベクトル復号部１２２２を有する。
【０２９５】
蓄積バッファ１２０１は伝送されてきた符号化データを蓄積し、所定のタイミングにおいてその符号化データを可逆復号部１２０２に供給する。可逆復号部１２０２は、蓄積バッファ１２０１より供給された、図２３の可逆符号化部１１０６により符号化された情報を、可逆符号化部１１０６の符号化方式に対応する方式で復号する。可逆復号部１２０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部１２０３に供給する。
【０２９６】
また、可逆復号部１２０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部１２１１および動き予測・補償部１２１２の内、選択されたと判定したモードの方に供給する。つまり、例えば、画像符号化装置１１００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き予測・補償部１２１２に供給される。
【０２９７】
逆量子化部１２０３は、可逆復号部１２０２により復号されて得られた量子化された係数データを、図２３の量子化部１１０５の量子化方式に対応する方式で逆量子化し、得られた係数データを逆直交変換部１２０４に供給する。
【０２９８】
逆直交変換部１２０４は、図２３の直交変換部１１０４の直交変換方式に対応する方式で逆量子化部１２０３から供給される係数データを逆直交変換する。逆直交変換部１２０４は、この逆直交変換処理により、画像符号化装置１１００において直交変換される前の残差データに対応する復号残差データを得る。
【０２９９】
逆直交変換されて得られた復号残差データは、演算部１２０５に供給される。また、演算部１２０５には、選択部１２１３を介して、イントラ予測部１２１１若しくは動き予測・補償部１２１２から予測画像が供給される。
【０３００】
演算部１２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１１００の演算部１１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部１２０５は、その復号画像データをループフィルタ１２０６に供給する。
【０３０１】
ループフィルタ１２０６は、供給された復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施し、それを画面並べ替えバッファ１２０７に供給する。
【０３０２】
ループフィルタ１２０６は、デブロックフィルタや適応ループフィルタ等を含み、演算部１２０５から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ１２０６は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ１２０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた復号画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。
【０３０３】
なお、ループフィルタ１２０６が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ１２０６が、図２３の画像符号化装置１１００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。
【０３０４】
ループフィルタ１２０６は、フィルタ処理結果（フィルタ処理後の復号画像）を画面並べ替えバッファ１２０７およびフレームメモリ１２０９に供給する。なお、演算部１２０５から出力される復号画像は、ループフィルタ１２０６を介さずに画面並べ替えバッファ１２０７やフレームメモリ１２０９に供給することができる。つまり、ループフィルタ１２０６によるフィルタ処理は省略することができる。
【０３０５】
画面並べ替えバッファ１２０７は、画像の並べ替えを行う。すなわち、図２３の画面並べ替えバッファ１１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部１２０８は、画面並べ替えバッファ１２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０３０６】
フレームメモリ１２０９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部１２１１や動き予測・補償部１２１２等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部１２１０に供給する。
【０３０７】
選択部１２１０は、フレームメモリ１２０９から供給される参照画像の供給先を選択する。選択部１２１０は、イントラ符号化された画像を復号する場合、フレームメモリ１２０９から供給される参照画像をイントラ予測部１２１１に供給する。また、選択部１２１０は、インター符号化された画像を復号する場合、フレームメモリ１２０９から供給される参照画像を動き予測・補償部１２１２に供給する。
【０３０８】
イントラ予測部１２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部１２０２から適宜供給される。イントラ予測部１２１１は、図２３のイントラ予測部１１１４において用いられたイントラ予測モードで、フレームメモリ１２０９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部１２１１は、生成した予測画像を選択部１２１３に供給する。
【０３０９】
動き予測・補償部１２１２は、ヘッダ情報を復号して得られた情報（最適予測モード情報、差分情報、および予測動きベクトル情報のコードナンバ等）を可逆復号部１２０２から取得する。
【０３１０】
動き予測・補償部１２１２は、図２３の動き予測・補償部１１１５において用いられたインター予測モードで、フレームメモリ１２０９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。
【０３１１】
静止領域判定部１２２１は、基本的に静止領域判定部１１２１と同様の処理を行い、当該領域が静止領域であるか否かを判定する。つまり、静止領域判定部１２２１は、当該領域のCo-Located領域の動き情報から、上述した式（８）および式（９）が成り立ち、かつ、式（１０）が成立する場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスRefcolが、直前のピクチャを意味するPOC値を持つ場合、当該領域PUcurrを静止領域として判定する。
【０３１２】
静止領域判定部１２２１は、このような静止領域の判定を予測処理単位で行い、その静止領域判定結果を動きベクトル復号部１２２２に供給する。
【０３１３】
動きベクトル復号部１２２２は、静止領域判定部１２２１から供給される、静止領域か否かかの判定結果に基づいて、当該領域にマージする周辺領域の優先順を決定する。また、動きベクトル復号部１２２２は、その優先順に従って、画像符号化装置１１００から供給されるマージ情報に含まれる各フラグ情報を解読する。つまり、動きベクトル復号部１２２２は、符号化の際に、当該領域の予測においてマージモードが選択されたか否かを判定したり、マージモード選択された場合、どの周辺領域がマージされたか等を判定したりする。
【０３１４】
そして、動きベクトル復号部１２２２は、その判定結果に従って、当該領域に周辺領域をマージし、その周辺領域を指定する情報を動き予測・補償部１２１２に供給する。動き予測・補償部１２１２は、その指定された周辺領域の動き情報を用いて当該領域の動き情報を再構築する。
【０３１５】
また、マージモードが選択されていないと判定された場合、動きベクトル復号部１２２２は、予測動きベクトル情報を再構築する。動きベクトル復号部１２２２は、再構築した予測動きベクトル情報を動き予測・補償部１２１２に供給する。動き予測・補償部１２１２は、供給された予測動きベクトル情報を用いて当該領域の動き情報を再構築する。
【０３１６】
このように、静止領域判定部１２２１による予測処理単位毎の静止領域判定の判定結果に基づいてマージモードにおける周辺領域の優先度を制御することにより、動きベクトル復号部１２２２は、画像符号化装置１１００において行われたマージモードにおける周辺領域の優先度の制御を正しく再現することができる。したがって、動きベクトル復号部１２２２は、画像符号化装置１１００から供給されるマージ情報を正しく解読し、当該領域の動きベクトル情報を正しく再構築することができる。
【０３１７】
したがって、画像復号装置１２００は、画像符号化装置１１００が符号化した符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
【０３１８】
［動き予測・補償部、静止領域判定部、動きベクトル復号部］
図３１は、動き予測・補償部１２１２、静止領域判定部１２２１、および動きベクトル復号部１２２２の主な構成例を示すブロック図である。
【０３１９】
図３１に示されるように、動き予測・補償部１２１２は、差分動き情報バッファ１２３１、マージ情報バッファ１２３２、予測動きベクトル情報バッファ１２３３、動き情報バッファ１２３４、動き情報再構築部１２３５、および動き補償部１２３６を有する。
【０３２０】
また、動きベクトル復号部１２２２は、優先順制御部１２４１、マージ情報復号部１２４２、および予測動きベクトル再構築部１２４３を有する。
【０３２１】
差分動き情報バッファ１２３１は、可逆復号部１２０２から供給される差分動き情報を記憶する。この差分動き情報は、画像符号化装置１１００から供給された、最適な予測モードとして選択されたインター予測モードの差分動き情報である。差分動き情報バッファ１２３１は、所定のタイミングにおいて、若しくは、動き情報再構築部１２３５からの要求に基づいて、記憶している差分動き情報を動き情報再構築部１２３５に供給する。
【０３２２】
マージ情報バッファ１２３２は、可逆復号部１２０２から供給されるマージ情報を記憶する。このマージ情報は、画像符号化装置１１００から供給された、最適な予測モードとして選択されたインター予測モードのマージ動き情報である。マージ情報バッファ１２３２は、所定のタイミングにおいて、若しくは、マージ情報復号部１２４２からの要求に基づいて、記憶しているマージ情報を、動きベクトル復号部１２２２のマージ情報復号部１２４２に供給する。
【０３２３】
予測動きベクトル情報バッファ１２３３は、可逆復号部１２０２から供給される予測動きベクトル情報のコードナンバを記憶する。この予測動きベクトル情報のコードナンバは、画像符号化装置１１００から供給されたものであり、最適な予測モードとして選択されたインター予測モードの予測動きベクトル情報に割り当てられたコードナンバである。予測動きベクトル情報バッファ１２３３は、所定のタイミングにおいて、若しくは、予測動きベクトル再構築部１２４３からの要求に基づいて、記憶している予測動きベクトル情報のコードナンバを、動きベクトル復号部１２２２の予測動きベクトル再構築部１２４３に供給する。
【０３２４】
また、静止領域判定部１２２１は、予測処理単位の領域毎に、動き情報バッファ１２３４からCo-Located領域の動き情報を周辺動き情報として取得し、静止領域判定を行う。静止領域判定部１２２１は、その判定結果（静止領域判定結果）を動きベクトル復号部１２２２の優先順制御部１２４１に供給する。
【０３２５】
動きベクトル復号部１２２２の優先順制御部１２４１は、静止領域判定部１２２１から供給される静止領域判定結果に従って、マージモードにおいて動き情報を利用する周辺領域の優先順（優先度）を、予測処理単位の領域毎に制御し、優先順制御信号をマージ情報復号部１２４２に供給する。
【０３２６】
マージ情報復号部１２４２は、マージ情報バッファ１２３２から、画像符号化装置１１００から供給されたマージ情報を取得する。マージ情報復号部１２４２は、そのマージ情報に含まれるMergeFlag、MergeTempFlag、およびMergeLeftFlag等の各フラグの値を、優先順制御部１２４１の制御に従って解読する。その解読の結果、マージモードであり、かつ、当該領域にマージする周辺領域を特定すると、マージ情報復号部１２４２は、その周辺領域を指定する周辺領域指定情報を、動き情報再構築部１２３５に供給する。
【０３２７】
なお、マージ情報の解読の結果、マージモードでなかった場合、マージ情報復号部１２４２は、予測動きベクトル再構築部１２４３に対して、予測動きベクトル情報を再構築するように指示する制御信号を供給する。
【０３２８】
予測動きベクトル再構築部１２４３は、マージ情報復号部１２４２から予測動きベクトル情報を再構築するように指示されると（制御信号が供給されると）、予測動きベクトル情報バッファ１２３３から、画像符号化装置１１００から供給された予測動きベクトル情報のコードナンバを取得し、そのコードナンバを解読する。
【０３２９】
予測動きベクトル再構築部１２４３は、解読したコードナンバに対応する予測動きベクトル情報を特定し、その予測動きベクトル情報を再構築する。つまり、予測動きベクトル再構築部１２４３は、コードナンバに対応する周辺領域の周辺動き情報を動き情報バッファ１２３４から取得し、その周辺動き情報を予測動きベクトル情報とする。予測動きベクトル再構築部１２４３は、再構築した予測動きベクトル情報を、動き予測・補償部１２１２の動き情報再構築部１２３５に供給する。
【０３３０】
マージモードの場合、動き予測・補償部１２１２の動き情報再構築部１２３５は、マージ情報復号部１２４２から供給された周辺領域指定情報により指定される周辺領域の動き情報を動き情報バッファ１２３４から取得し、それを当該領域の動き情報とする（動き情報を再構築する）。
【０３３１】
これに対して、マージモードで無い場合、動き予測・補償部１２１２の動き情報再構築部１２３５は、差分動き情報バッファ１２３１から、画像符号化装置１１００から供給された差分動き情報を取得する。動き情報再構築部１２３５は、その差分動き情報に、予測動きベクトル再構築部１２４３から取得した予測動きベクトル情報を加算し、当該領域（当該PU）の動き情報を再構築する。動き情報再構築部１２３５は、再構築した当該領域の動き情報を動き補償部１２３６に供給する。
【０３３２】
動き補償部１２３６は、以上のように動き情報再構築部１２３５により再構築された当該領域の動き情報を用いて、フレームメモリ１２０９から取得した参照画像画素値に対して動き補償を行い、予測画像を生成する。動き補償部１２３６は、その予測画像画素値を、選択部１２１３を介して演算部１２０５に供給する。
【０３３３】
また、動き情報再構築部１２３５は、再構築した当該領域の動き情報を動き情報バッファ１２３４にも供給する。
【０３３４】
動き情報バッファ１２３４は、その動き情報再構築部１２３５から供給される当該領域の動き情報を記憶する。動き情報バッファ１２３４は、当該領域よりも時間的に後に処理される他の領域に対する処理において、その動き情報を周辺動き情報として、静止領域判定部１２２１や予測動きベクトル再構築部１２４３に供給する。
【０３３５】
以上のように各部が処理を行うことにより、画像復号装置１２００は、画像符号化装置１１００が符号化した符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
【０３３６】
＜８．他の実施形態に係る復号時の処理の流れ＞
［復号処理の流れ］
次に、以上のような画像復号装置１２００により実行される各処理の流れについて説明する。最初に、図３２のフローチャートを参照して、復号処理の流れの例を説明する。
【０３３７】
復号処理が開始されると、ステップＳ１２０１において、蓄積バッファ１２０１は、伝送されてきたコードストリームを蓄積する。ステップＳ１２０２において、可逆復号部１２０２は、蓄積バッファ１２０１から供給されるコードストリーム（符号化された差分画像情報）を復号する。すなわち、図２３の可逆符号化部１１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０３３８】
このとき、差分動き情報、予測動きベクトル情報のコードナンバ、およびマージ情報など、コードストリームに含められた差分画像情報以外の各種情報も復号される。
【０３３９】
ステップＳ１２０３において、逆量子化部１２０３は、ステップＳ１２０２の処理により得られた、量子化された直交変換係数を逆量子化する。ステップＳ１２０４において逆直交変換部１２０４は、ステップＳ１２０３において逆量子化された直交変換係数を逆直交変換する。
【０３４０】
ステップＳ１２０５において、イントラ予測部１２１１若しくは動き予測・補償部１２１２は、供給された情報を用いて予測処理を行う。ステップＳ１２０６において、選択部１２１３は、ステップＳ１２０５において生成された予測画像を選択する。ステップＳ１２０７において、演算部１２０５は、ステップＳ１２０４において逆直交変換されて得られた差分画像情報に、ステップＳ１２０６において選択された予測画像を加算する。これにより元の画像が復号される。
【０３４１】
ステップＳ１２０８において、ループフィルタ１２０６は、ステップＳ１２０７において得られた復号画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。
【０３４２】
ステップＳ１２０９において、画面並べ替えバッファ１２０７は、ステップＳ１２０８においてフィルタ処理された画像の並べ替えを行う。すなわち画像符号化装置１１００の画面並べ替えバッファ１１０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０３４３】
ステップＳ１２１０において、D/A変換部１２０８は、ステップＳ１２０９においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０３４４】
ステップＳ１２１１において、フレームメモリ１２０９は、ステップＳ１２０８においてフィルタ処理された画像を記憶する。
【０３４５】
ステップＳ１２１１の処理が終了すると、復号処理が終了される。
【０３４６】
［予測処理の流れ］
次に、図３３のフローチャートを参照して、図３２のステップＳ１２０５において実行される予測処理の流れの例を説明する。
【０３４７】
予測処理が開始されると、可逆復号部１２０２は、ステップＳ１２２１において、画像符号化装置１１００から供給された最適な予測モードに関する情報に基づいて、処理対象の符号化データがイントラ符号化されているか否かを判定する。イントラ符号化されていると判定された場合、可逆復号部１２０２は、処理をステップＳ１２２２に進める。
【０３４８】
ステップＳ１２２２において、イントラ予測部１２１１は、イントラ予測モード情報を取得する。ステップＳ１２２３において、イントラ予測部１２１１は、ステップＳ１２２２において取得したイントラ予測モード情報を用いてイントラ予測を行い、予測画像を生成する。予測画像を生成すると、イントラ予測部１２１１は、予測処理を終了し、処理を図３２に戻す。
【０３４９】
また、ステップＳ１２２１において、インター符号化されていると判定された場合、可逆復号部１２０２は、処理をステップＳ１２２４に進める。
【０３５０】
ステップＳ１２２４において、動き予測・補償部１２１２は、インター動き予測処理を行う。インター動き予測処理が終了すると、動き予測・補償部１２１２は、予測処理を終了し、処理を図３２に戻す。
【０３５１】
［インター動き予測処理の流れ］
次に、図３４のフローチャートを参照して、図３３のステップＳ１２２４において実行されるインター動き予測処理の流れの例を説明する。
【０３５２】
インター動き予測処理が開始されると、ステップＳ１２３１において、動き予測・補償部１２１２は、当該領域に対する動き予測に関する情報を取得する。例えば、予測動きベクトル情報バッファ１２３３は、予測動きベクトル情報のコードナンバを取得し、差分動き情報バッファ１２３１は、差分動き情報を取得し、マージ情報バッファ１２３２は、マージ情報を取得する。
【０３５３】
ステップＳ１２３２において、静止領域判定部１２２１は、動き情報バッファ１２３４から、Co-Located領域の動き情報を取得する。ステップＳ１２３３において、静止領域判定部１２２１は、その情報に基づいて、上述したように、当該領域が静止領域であるか否かを判定する。
【０３５４】
ステップＳ１２３４において、優先順制御部１２４１は、ステップＳ１２３３の静止領域判定結果に応じてマージ情報において動きベクトルを利用する周辺領域の優先順を決定する。ステップＳ１２３５において、マージ情報復号部１２４２は、ステップＳ１２３４において決定された優先順に従ってマージ情報を復号する。つまり、マージ情報復号部１２４２は、ステップＳ１２３４において決定された優先順に従ってマージ情報に含まれるフラグの値を、後述するように解読する。
【０３５５】
ステップＳ１２３６において、マージ情報復号部１２４２は、ステップＳ１２３５の復号（解読）の結果、符号化の際に、当該領域の予測にマージモードが適用されたか否かを判定する。
【０３５６】
当該領域の予測にマージモードが採用されていないと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２３７に進める。ステップＳ１２３７において、予測動きベクトル再構築部１２４３は、ステップＳ１２３１において取得した予測動きベクトル情報のコードナンバから、予測動きベクトル情報を再構築する。予測動きベクトル情報を再構築すると、予想動きベクトル再構築部１２４３は、処理をステップＳ１２３８に進める。
【０３５７】
また、ステップＳ１２３６において、当該領域の予測にマージモードが適用されたと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２３８に進める。
【０３５８】
ステップＳ１２３８において、動き情報再構築部１２３５は、ステップＳ１２３５におけるマージ情報の復号結果、若しくは、ステップＳ１２３７において再構築された予測動きベクトル情報を用いて、当該領域の動き情報を再構築する。
【０３５９】
ステップＳ１２３９において、動き補償部１２３６は、ステップＳ１２３８において再構築された動き情報を用いて動き補償を行い、予測画像を生成する。
【０３６０】
ステップＳ１２４０において、動き補償部１２３６は、ステップＳ１２３９において生成した予測画像を、選択部１２１３を介して演算部１２０５に供給し、復号画像を生成させる。
【０３６１】
ステップＳ１２４１において、動き情報バッファ１２３４は、ステップＳ１２３８において再構築された動き情報を記憶する。
【０３６２】
ステップＳ１２４１の処理が終了すると、インター動き予測処理が終了され、処理は図３３に戻される。
【０３６３】
［マージ情報復号処理の流れ］
次に、図３５および図３６のフローチャートを参照して、図３４のステップＳ１２３５において実行されるマージ情報復号処理の流れの例を説明する。
【０３６４】
マージ情報復号処理が開始されると、マージ情報復号部１２４２は、ステップＳ１２５１において、マージ情報に含まれる最初のフラグをMergeFlagとして復号する。そして、ステップＳ１２５２において、マージ情報復号部１２４２は、そのMergeFlagの値が「１」であるか否かを判定する。
【０３６５】
ステップＳ１２５２において、MergeFlagの値が「０」であると判定された場合、符号化の際に当該領域の予測にマージモードが適用されていないので、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３６６】
また、ステップＳ１２５２において、MergeFlagの値が「１」であると判定された場合、符号化の際に当該領域の予測にマージモードが適用されているので、マージ情報復号部１２４２は、処理をステップＳ１２５３に進める。
【０３６７】
ステップＳ１２５３において、マージ情報復号部１２４２は、マージ情報にその他のフラグが含まれるか否かによって、周辺動き情報が全て同一であるか否かを判定する。マージ情報にMergeTempFlagやMergeLeftFlagが含まれない場合、周辺動き情報が全て同一である。したがって、その場合、マージ情報復号部１２４２は、処理をステップＳ１２５４に進める。ステップＳ１２５４において、マージ情報復号部１２４２は、いずれかの周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、いずれかの周辺動き情報を動き情報バッファ１２３４から取得する。周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３６８】
また、ステップＳ１２５３において、マージ情報にMergeTempFlagやMergeLeftFlagが含まれており、周辺動き情報が全て同一でないと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２５５に進める。
【０３６９】
ステップＳ１２５５において、マージ情報復号部１２４２は、静止領域判定結果に基づいて、時間周辺領域が空間周辺領域より優先されるか否かを判定する。時間周辺領域が優先されると判定される場合、マージ情報復号部１２４２は、処理をステップＳ１２５６に進める。この場合、マージ情報に含まれるMergeFlagの次のフラグはMergeTempFlagであると解釈される。
【０３７０】
ステップＳ１２５６において、マージ情報復号部１２４２は、マージ情報に含まれる次のフラグをMergeTempFlagとして復号する。そして、ステップＳ１２５７において、マージ情報復号部１２４２は、そのMergeTempFlagの値が「１」であるか否かを判定する。
【０３７１】
ステップＳ１２５７において、MergeTempFlagの値が「１」であると判定された場合、時間周辺領域がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２５８に進める。ステップＳ１２５８において、マージ情報復号部１２４２は、その時間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、時間周辺領域の動き情報（時間周辺動き情報とも称する）を動き情報バッファ１２３４から取得する。時間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３７２】
また、ステップＳ１２５７において、MergeTempFlagの値が「０」であり、時間周辺領域がマージされていないと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２５９に進める。
【０３７３】
ステップＳ１２５９において、マージ情報復号部１２４２は、空間周辺領域の動き情報（空間周辺動き情報とも称する）が全て同一であるか否かを判定する。マージ情報にMergeLeftFlagが含まれない場合、空間周辺動き情報が全て同一である。したがって、その場合、マージ情報復号部１２４２は、処理をステップＳ１２６０に進める。ステップＳ１２６０において、マージ情報復号部１２４２は、いずれかの空間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、いずれかの空間周辺動き情報を動き情報バッファ１２３４から取得する。空間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３７４】
また、ステップＳ１２５９において、マージ情報にMergeLeftFlagが含まれており、空間周辺動き情報が全て同一でないと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２６１に進める。
【０３７５】
ステップＳ１２６１において、マージ情報復号部１２４２は、マージ情報に含まれる次のフラグをMergeLeftFlagとして復号する。そして、ステップＳ１２６２において、マージ情報復号部１２４２は、そのMergeLeftFlagの値が「１」であるか否かを判定する。
【０３７６】
ステップＳ１２６２において、MergeLeftFlagの値が「１」であると判定された場合、当該領域の上に隣接する空間周辺領域（上の空間周辺領域とも称する）がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２６３に進める。ステップＳ１２６３において、マージ情報復号部１２４２は、その上の空間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、上の空間周辺領域の動き情報（上の空間周辺動き情報とも称する）を動き情報バッファ１２３４から取得する。上の空間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３７７】
また、ステップＳ１２５２において、MergeLeftFlagの値が「０」であると判定された場合、当該領域の左に隣接する空間周辺領域（左の空間周辺領域とも称する）がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２６４に進める。ステップＳ１２６４において、マージ情報復号部１２４２は、その左の空間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、左の空間周辺領域の動き情報（左の空間周辺動き情報とも称する）を動き情報バッファ１２３４から取得する。左の空間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３７８】
また、ステップＳ１２５５において、静止領域判定結果に基づいて、空間周辺領域が時間周辺領域より優先されると判定される場合、マージ情報復号部１２４２は、処理を図３６に進める。この場合、マージ情報に含まれるMergeFlagの次のフラグはMergeLeftFlagであると解釈される。
【０３７９】
図３６のステップＳ１２７１において、マージ情報復号部１２４２は、マージ情報に含まれる次のフラグをMergeLeftFlagとして復号する。そして、ステップＳ１２７２において、マージ情報復号部１２４２は、そのMergeLeftFlagの値が「１」であるか否かを判定する。
【０３８０】
ステップＳ１２７２において、MergeLeftFlagの値が「１」であると判定された場合、左の空間周辺領域がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２７３に進める。ステップＳ１２７３において、マージ情報復号部１２４２は、その左の空間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、左の空間周辺動き情報を動き情報バッファ１２３４から取得する。左の空間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３８１】
また、ステップＳ１２７２において、MergeLeftFlagの値が「０」であり、左の空間周辺領域がマージされていないと判定された場合、マージ情報復号部１２４２は、処理をステップＳ１２７４に進める。
【０３８２】
ステップＳ１２７４において、マージ情報復号部１２４２は、マージ情報に含まれる次のフラグをMergeTempFlagとして復号する。そして、ステップＳ１２７５において、マージ情報復号部１２４２は、そのMergeTempFlagの値が「１」であるか否かを判定する。
【０３８３】
ステップＳ１２７５において、MergeTempFlagの値が「１」であると判定された場合、時間周辺領域がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２７６に進める。ステップＳ１２７６において、マージ情報復号部１２４２は、その時間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、時間周辺動き情報を動き情報バッファ１２３４から取得する。時間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３８４】
また、ステップＳ１２７５において、MergeTempFlagの値が「０」であると判定された場合、上の空間周辺領域がマージされているので、マージ情報復号部１２４２は、処理をステップＳ１２７７に進める。ステップＳ１２７７において、マージ情報復号部１２４２は、その上の空間周辺領域を指定する。動き情報再構築部１２３５は、その指定に従って、上の空間周辺動き情報を動き情報バッファ１２３４から取得する。上の空間周辺動き情報が取得されると、マージ情報復号部１２４２は、マージ情報復号処理を終了し、処理を図３４に戻す。
【０３８５】
以上のように、各処理を行うことにより、画像復号装置１２００は、画像符号化装置１１００により符号化された符号化データを正しく復号することができ、符号化効率の向上を実現させることができる。
【０３８６】
なお、本技術は、例えば、MPEG、H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。さらに、本技術は、それらの画像符号化装置および画像復号装置などに含まれる動き予測補償装置にも適用することができる。
【０３８７】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
【０３８８】
［パーソナルコンピュータの構成例］
図３７において、パーソナルコンピュータ１５００のCPU（Central Processing Unit）１５０１は、ROM（Read Only Memory）１５０２に記憶されているプログラム、または記憶部１５１３からRAM（Random Access Memory）１５０３にロードされたプログラムに従って各種の処理を実行する。RAM１５０３にはまた、CPU１５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３８９】
CPU１５０１、ROM１５０２、およびRAM１５０３は、バス１５０４を介して相互に接続されている。このバス１５０４にはまた、入出力インタフェース１５１０も接続されている。
【０３９０】
入出力インタフェース１５１０には、キーボード、マウスなどよりなる入力部１５１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部１５１２、ハードディスクなどより構成される記憶部１５１３、モデムなどより構成される通信部１５１４が接続されている。通信部１５１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３９１】
入出力インタフェース１５１０にはまた、必要に応じてドライブ１５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５１３にインストールされる。
【０３９２】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３９３】
この記録媒体は、例えば、図３７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア１５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM１５０２や、記憶部１５１３に含まれるハードディスクなどで構成される。
【０３９４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３９５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３９６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３９７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３９８】
＜９．応用例＞
上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０３９９】
［９−１．第１の応用例］
図１８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０４００】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４０１】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０４０２】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０４０３】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０４０４】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０４０５】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０４０６】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４０７】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０４０８】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０４０９】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０４１０】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、動き補償における時間方向でのブロックのマージが可能となり、動き情報の符号量を削減することができる。
【０４１１】
［９−２．第２の応用例］
図１９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０４１２】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０４１３】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０４１４】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４１５】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０４１６】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０４１７】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記憶再生部９２９の記憶媒体に記憶させる。
【０４１８】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４１９】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、動き補償における時間方向でのブロックのマージが可能となり、動き情報の符号量を削減することができる。
【０４２０】
［９−３．第３の応用例］
図２０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０４２１】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０４２２】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０４２３】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０４２４】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０４２５】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０４２６】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０４２７】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０４２８】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０４２９】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０４３０】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０４３１】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０４３２】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、動き補償における時間方向でのブロックのマージが可能となり、動き情報の符号量を削減することができる。
【０４３３】
［９−４．第４の応用例］
図２１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０４３４】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０４３５】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０４３６】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０４３７】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０４３８】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０４３９】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０４４０】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０４４１】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０４４２】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０４４３】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０４４４】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、動き補償における時間方向でのブロックのマージが可能となり、動き情報の符号量を削減することができる。
【０４４５】
＜１０．まとめ＞
ここまで、図１乃至図３７を用いて、本開示の一実施形態に係る画像符号化装置及び画像復号装置について説明した。本実施形態によれば、画像内の注目ブロックとコロケーテッドブロックとがマージされるか否かを示すMergeTempFlagが導入される。そして、MergeTempFlagの値に応じて、コロケーテッドブロックとマージされる注目ブロックには、画像の復号の際にコロケーテッドブロックと同一の動きベクトルが設定される。即ち、動き補償における時間方向でのブロックのマージが可能となる。従って、例えば動物体と背景との境界付近においても、画質を劣化させることなく動き情報の符号量を削減することができる。
【０４４６】
また、本実施形態によれば、隣接ブロック及びコロケーテッドブロックの少なくとも１つが注目ブロックとマージされるか否かを示すMergeFlagも利用される。隣接ブロック及びコロケーテッドブロックのいずれも注目ブロックとマージされないことをMergeFlagが示していれば、MergeTempFlagは符号化されない。また、隣接ブロック及びコロケーテッドブロックの少なくとも１つが注目ブロックとマージされることをMergeFlagが示している場合にも、隣接ブロック及びコロケーテッドブロックの動き情報の全てが同一であれば、MergeTempFlagは符号化されない。さらに、注目ブロックとコロケーテッドブロックとがマージされることをMergeTempFlagが示している場合には、空間方向でのブロックのマージのために利用されるMergeLeftFlagは符号化されない。従って、MergeTempFlagの導入に伴うフラグの増加は低く抑えられる。
【０４４７】
また、本実施形態のようなフラグの構成によれば、上記非特許文献２により提案されているMergeFlag及びMergeLeftFlagのみを利用する装置を比較的少ないコストで拡張して、時間方向でのブロックのマージのためのMergeTempFlagを容易に導入することができる。
【０４４８】
［temporal_merge_enable_flag］
なお、以上の各種のフラグ（MergeFlag，MergeLeftFlag、およびMergeTempFlag）に加え、MergeLeftFlagを用いるか否かを制御するフラグ（temporal_merge_enable_flag）を利用するようにしても良い。
【０４４９】
図３９の上の表に示されるように、このtemporal_merge_enable_flagは、このフラグが設定されたデータ単位においてMergeTempFlagが使用されるか否か（マージの候補に時間周辺領域が含まれるか否か）を、その値によって示す。例えば、値「０」が設定されている場合、そのデータ単位では、MergeTempFlagが使用されない（使用不可・禁止されている）ことを示す。逆に、値「１」が設定されている場合、そのデータ単位では、MergeTempFlagが使用される（使用可・禁止されていない）ことを示す。
【０４５０】
このtemporal_merge_enable_flagの値により、復号側（例えば画像復号装置１２００（図３０））の復号処理が制御される。
【０４５１】
時間周辺領域がマージの候補に含まれる場合、復号の際に、MergeFlag,MergeLeftFlag、およびMergeTempFlagの３つのフラグが必要になる。これに対して、時間周辺領域がマージの候補に含まれない場合、MergeFlagとMergeLeftFlagのみで復号が可能になる。復号側は、このtemporal_merge_enable_flagの値によって、マージ情報に含まれるフラグが何であるかを正確に把握し、正しく復号することができる。
【０４５２】
なお、このtemporal_merge_enable_flagは、例えば、LCU、スライス、ピクチャ、シーケンス等任意のデータ単位に対して設定される。このtemporal_merge_enable_flagの格納場所は任意であり、例えば、スライスヘッダ、ピクチャパラメータセット（PPS（Picture Parameter Set））、または、シーケンスパラメータセット（SPS（Sequence Parameter Set））であってもよいし、VCLに含めても良い。一般的には、そのtemporal_merge_enable_flagの設定が有効なデータ単位に対応するヘッダ情報等に格納されるようにするとtemporal_merge_enable_flagに関する制御が容易である。
【０４５３】
例えば、あるスライスにおいて、MergeTempFlagの使用が禁止される場合、ビットストリームの、そのスライスヘッダに値「０」のtemporal_merge_enable_flagが格納されるようにするのが望ましい。画像復号装置１２００のマージ情報復号部１２４２は、そのtemporal_merge_enable_flagをマージ情報として取得すると、その値から、そのスライスのマージ情報にMergeTempFlagが含まれないことを理解することができる。つまり、この場合、temporal_merge_enable_flagの格納場所（階層）が、その設定の適用範囲を示す。
【０４５４】
マージ情報復号部１２４２は、このようなtemporal_merge_enable_flagの設定に従うことにより、上述したように、マージ情報に含まれるフラグが何であるかを正確に把握することができるので、MergeFlagとMergeLeftFlagが含まれ、MergeTempFlagが含まれないマージ情報も、MergeFlag，MergeLeftFlag、およびMergeTempFlagが含まれるマージ情報も、正しく復号することができる。
【０４５５】
なお、仮に、このtemporal_merge_enable_flagを用いない場合、マージ情報復号部１２４２が正しくマージ情報を復号することができるようにするために、実際に時間周辺領域がマージされるか否かに関わらず、時間周辺領域をマージの候補とする必要があった。つまり、マージモードは、MergeFlag，MergeLeftFlag、およびMergeTempFlagの３つのフラグの値で表現する必要があり、その分符号化効率が低減する可能性があった。
【０４５６】
これに対して、上述したようにtemporal_merge_enable_flagを用いることにより、所望のデータ単位において時間周辺領域をマージの候補としない場合、１度temporal_merge_enable_flagの値を示すのみで、MergeTempFlagを省略することができるようになり、その分、符号化効率を向上させることができる。また、MergeTempFlagの解析が不要になるので、マージ情報復号部１２４２の処理の負荷（CPUの負荷だけでなく、メモリの使用量、読み出し回数、バスの占有帯域等も含む）も低減される。
【０４５７】
なお、時間周辺領域をマージの候補とする場合、すなわち、temporal_merge_enable_flagの値が「１」の場合、マージ情報としてMergeFlag，MergeLeftFlag、およびMergeTempFlagが必要になる。したがって、temporal_merge_enable_flagの分、情報量が増大することになるが、そのデータ単位において１ビット増えるのみであるので、その増大分は符号化効率に大きな影響を及ぼさない。
【０４５８】
このtemporal_merge_enable_flagは、符号化側（例えば画像符号化装置１１００（図２３））において設定される。また、このtemporal_merge_enable_flagの値により、符号化処理も制御される。
【０４５９】
temporal_merge_enable_flagの値は、例えば、ユーザに指示されたり、画像の内容等、任意の条件に基づいて決定されたりする。このtemporal_merge_enable_flagの値に基づいて、マージ情報生成部１１４２はマージ処理を行う。例えば、temporal_merge_enable_flagにより、MergeTempFlagの使用が禁止されている場合、マージ情報生成部１１４２は、マージの候補に時間周辺領域を含めずにマージ処理を行い、マージ情報としてMergeFlagとMergeLeftFlagを生成する。例えば、temporal_merge_enable_flagにより、MergeTempFlagの使用が禁止されていない場合、マージ情報生成部１１４２は、マージの候補に時間周辺領域を含めてマージ処理を行い、マージ情報としてMergeFlag，MergeLeftFlag、およびMergeTempFlagを生成する。
【０４６０】
したがって、このような符号化側の処理においても、所望のデータ単位において時間周辺領域をマージの候補としない場合、temporal_merge_enable_flagを用いることにより、マージの候補の数を低減させることができ、復号側の場合と同様に、マージ情報生成部１１４２の処理の負荷（CPUの負荷だけでなく、メモリの使用量、読み出し回数、バスの占有帯域等も含む）を低減することができる。
【０４６１】
また、可逆符号化部１１０６は、temporal_merge_enable_flagを、ビットストリームの所定の場所に格納する。このようにしてtemporal_merge_enable_flagは、復号側（例えば、画像復号装置１２００）に伝送される。
【０４６２】
なお、以上においては、temporal_merge_enable_flagがビットストリームに含められて復号側に伝送されるように説明したが、temporal_merge_enable_flagの伝送方法は任意であり、例えば、ビットストリームとは別のファイルとして伝送されるようにしてもよい。例えば、temporal_merge_enable_flagが、ビットストリームとは異なる伝送経路、若しくは記録媒体等を介して復号側に伝送されるようにしてもよい。
【０４６３】
上述したように、temporal_merge_enable_flagは、任意のデータ単位に対して設定することができる。temporal_merge_enable_flagは、そのデータ単位毎に設定するようにしてもよいし、所望の部分のみ設定するようにしてもよい。temporal_merge_enable_flag毎に適用範囲のデータ単位が異なるようにしてもよい。ただし、固定されたデータ単位毎に設定しない場合、temporal_merge_enable_flagを識別する事ができるようにする必要がある。
【０４６４】
また、以上においては、temporal_merge_enable_flagが１ビットの情報であるように説明したが、temporal_merge_enable_flagのビット長は、任意であり、２ビット以上であってもよい。例えば、temporal_merge_enable_flagが、「MergeTempFlagの使用が禁止されているか否か」の設定を示すとともに、「その設定の適用範囲（その設定が適用されるデータ単位）」も示すようにしてもよい。例えば、スライスヘッダに格納されたtemporal_merge_enable_flagの値が「MergeTempFlagの使用が禁止されている」ことを示すビットと、その設定が適用されるLCU（そのスライス内のどのLCUに適用されるか）を示すビットを含むようにしてもよい。
【０４６５】
なお、temporal_merge_enable_flagの設定の適用範囲（制御単位）が、任意であるように説明したが、一般的には、この制御単位が広いほど、すなわち、ピクチャやシーケンス等のように、より上位の階層で制御されるようにすると、temporal_merge_enable_flagの数をより低減させることができ、符号化効率を向上させることができる。また、符号化や復号の付加を低減させることもできる。逆に、この制御単位が狭いほど、すなわち、LCUやPU等のように、より下位の階層で制御されるようにすると、マージモードの制御をより詳細に行うことができる。実際には、このようなトレードオフの中で、各種の条件に基づいて最適なバランスが得られる制御単位を採用するようにするのが望ましい。
【０４６６】
［merge_type_flag］
さらに、どのタイプのマージを行うかを制御するフラグ（merge_type_flag）を利用するようにしても良い。
【０４６７】
図３９の下の表に示されるように、このmerge_type_flagは、このフラグの設定の適用範囲（制御単位）においてどのタイプのマージ処理が行われるかを、その値によって示す。例えば、値「００」が設定されている場合、マージ処理が行われない（マージモードの使用不可、禁止されている）。また、例えば、値「０１」が設定されている場合、空間周辺領域のみがマージの候補とされる。さらに、例えば、値「１０」が設定されている場合、時間周辺領域のみがマージの候補とされる。また、例えば、値「１１」が設定されている場合、空間周辺領域と時間周辺領域の両方がマージの候補とされる。
【０４６８】
temporal_merge_enable_flagの場合と同様に、このmerge_type_flagの値により、符号化側の符号化処理、復号側の復号処理が制御される。例えば、画像符号化装置１１００のマージ情報生成部１１４２は、上述したmerge_type_flagの値に応じた候補を用いてマージ処理を行う。したがって、マージ情報生成部１１４２は、マージの候補を低減させることができ、処理の負荷（CPUの負荷だけでなく、メモリの使用量、読み出し回数、バスの占有帯域等も含む）を低減することができる。
【０４６９】
符号化側において以上のようにマージ処理が行われるので、このmerge_type_flagを適用する場合、符号化側で生成され復号側に伝送されるマージ情報には、merge_type_flagの値に応じて、MergeFlag，MergeLeftFlag、およびMergeTempFlagの内の、一部または全部が格納される。
【０４７０】
具体的には、例えば、merge_type_flagの値が「００」の場合、マージ処理が行われないので、マージ情報は伝送されない。また、例えば、merge_type_flagの値が「０１」の場合、空間周辺領域のみがマージの候補とされるので、マージ情報には、MergeFlagおよびMergeLeftFlagのみが格納される。さらに、例えば、merge_type_flagの値が「１０」の場合、時間周辺領域のみがマージの候補とされるので、マージ情報には、MergeFlag（若しくはMergeTempFlag）のみが格納される。また、例えば、merge_type_flagの値が「１１」の場合、空間周辺領域と時間周辺領域の両方がマージの候補とされるので、マージ情報には、MergeFlag，MergeLeftFlag、およびMergeTempFlagの全てが格納される。
【０４７１】
また、可逆符号化部１１０６は、merge_type_flagを、ビットストリームの所定の場所に格納する。このようにしてmerge_type_flagは、復号側（例えば、画像復号装置１２００）に伝送される。
【０４７２】
画像復号装置１２００のマージ情報復号部１２４２は、このように符号化側から供給されたmerge_type_flagの値に応じて、マージ情報を復号する。したがって、マージ情報復号部１２４２は、マージ情報に、MergeFlag，MergeLeftFlag、およびMergeTempFlagの内、どのフラグが含まれるかを正しく把握することができ、マージ情報を正しく復号することができる。
【０４７３】
したがって、このmerge_type_flagを適用する場合も、temporal_merge_enable_flagの場合と同様に、符号化効率を向上させることができる。また、マージモードの含まれないフラグの解析が不要になるので、マージ情報復号部１２４２の処理の負荷（CPUの負荷だけでなく、メモリの使用量、読み出し回数、バスの占有帯域等も含む）も低減される。
【０４７４】
なお、temporal_merge_enable_flagの場合と同様に、merge_type_flagの設定も、任意のデータ単位に対して行うことができる。また、格納場所も任意である。merge_type_flagの制御範囲や格納場所によるそれぞれの特徴は、上述したtemporal_merge_enable_flagの場合と同様であるので、説明は省略する。また、temporal_merge_enable_flagの場合と同様に、merge_type_flagの伝送方法やデータ長は任意である。
【０４７５】
以上において、temporal_merge_enable_flagやmerge_type_flagの値の具体的な例を説明したが、これらは一例であり、temporal_merge_enable_flagやmerge_type_flagがどのような値をとるようにしてもよし、その値に対してどのような設定が割り当てられるようにしてもよい。
【０４７６】
なお、本明細書では、予測モード情報及びマージ情報などの様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０４７７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０４７８】
なお、本技術は以下のような構成も取ることができる。
（１）  動き探索を行い、処理対象である当該領域の動き情報を生成する動き探索部と、
前記動き探索部により生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成するマージ情報生成部と
を備える画像処理装置。
（２）  前記マージ情報生成部は、前記周辺領域の動き情報を当該領域の動き情報と比較し、当該領域の動き情報と一致する動き情報を有する周辺領域を当該領域とマージさせる領域として選択し、選択された周辺領域を指定する前記マージ情報を生成する
前記（１）に記載の画像処理装置。
（３）  各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、
前記マージ情報生成部は、前記優先順制御部により制御される前記優先順に従って、当該領域にマージさせる周辺領域を選択する
前記（２）に記載の画像処理装置。
（４）  前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御する
前記（３）に記載の画像処理装置。
（５）  前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御する
前記（４）に記載の画像処理装置。
（６）  前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御する
前記（４）に記載の画像処理装置。
（７）  当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御する
前記（４）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
前記（７）に記載の画像処理装置。
（９）  前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
前記（８）に記載の画像処理装置。
（１０）  前記マージ情報生成部は、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報を前記マージ情報に含める
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）  前記マージ情報生成部は、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含める
前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）  前記マージ情報生成部は、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報を前記マージ情報に含める
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）  前記マージ情報生成部により生成された前記マージ情報を符号化する符号化部をさらに備える
前記（１）乃至（１２）に記載の画像処理装置。
（１４）  符号化される画像データの所定の範囲について、前記マージ情報生成部が、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域の候補として、時間的に周辺に位置する周辺領域を含めるか否かを示すフラグ情報を生成するフラグ生成部をさらに備える
前記（１）乃至（１３）に記載の画像処理装置。
（１５）  前記フラグ生成部は、生成した前記フラグ情報をスライスヘッダに含めて復号側に伝送させる
前記（１４）に記載の画像処理装置。
（１６）  画像処理装置の画像処理方法であって、
動き探索部が、動き探索を行い、処理対象である当該領域の動き情報を生成し、
マージ情報生成部が、生成された当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を生成する
画像処理方法。
（１７）  処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定するマージ情報復号部と、
前記マージ情報復号部により当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する動き情報再構築部と
を備える画像処理装置。
（１８）  前記マージ情報復号部は、前記マージ情報に含まれる、互いに異なる周辺領域を当該領域とマージさせるか否かを示す複数のフラグ情報を解読することにより、当該領域とマージさせる周辺領域を特定する
前記（１７）に記載の画像処理装置。
（１９）  各周辺領域の、当該領域とマージさせる優先順を制御する優先順制御部をさらに備え、
前記マージ情報復号部は、前記優先順制御部により制御される前記優先順に従って、各周辺領域に対応する前記フラグ情報を解読することにより、当該領域にマージさせる周辺領域を特定する
前記（１８）に記載の画像処理装置。
（２０）  前記優先順制御部は、当該領域の動きの特徴に応じて前記優先順を制御する
前記（１９）に記載の画像処理装置。
（２１）  前記優先順制御部は、当該領域が静止領域である場合、当該領域の時間的に周辺に位置する時間周辺領域を、当該領域の空間的に周辺に位置する空間周辺領域よりも優先させるように前記優先順を制御する
前記（２０）に記載の画像処理装置。
（２２）  前記優先順制御部は、当該領域が動領域である場合、当該領域の空間的に周辺に位置する空間周辺領域を、当該領域の時間的に周辺に位置する時間周辺領域よりも優先させるように前記優先順を制御する
前記（２０）に記載の画像処理装置。
（２３）  当該領域が静止領域であるか否かを判定する静止領域判定部をさらに備え、
前記優先順制御部は、前記静止領域判定部の判定結果に従って、前記優先順を制御する
前記（１９）乃至（２２）のいずれかに記載の画像処理装置。
（２４）  前記静止領域判定部は、当該領域の時間的に周辺に位置する時間周辺領域の動き情報を用いて当該領域が静止領域であるか否かを判定する
前記（２３）に記載の画像処理装置。
（２５）  前記静止領域判定部は、前記時間周辺領域の動き情報の水平成分および前記動き情報の垂直成分の各絶対値が所定の閾値以下であり、かつ、参照インデックスが０の場合、Ref_PicR_reorderingが適用される場合、若しくは、参照インデックスが直前のピクチャを意味するPOC値を持つ場合、当該領域が静止領域であると判定する
前記（２４）に記載の画像処理装置。
（２６）  前記マージ情報には、当該領域と周辺領域とをマージさせるか否かを示すフラグ情報が含まれる
前記（１８）乃至（２５）に記載の画像処理装置。
（２７）  前記マージ情報には、当該領域の左に位置する周辺領域を当該領域とマージさせるか否かを示すフラグ情報が含まれる
前記（１８）乃至（２６）に記載の画像処理装置。
（２８）  前記マージ情報には、当該領域のCo-Located領域を当該領域とマージさせるか否かを示すフラグ情報が含まれる
前記（１８）乃至（２７）に記載の画像処理装置。
（２９）  前記動き情報再構築部により再構築された前記動き情報を用いて動き補償を行い、予測画像を生成する動き補償部と、
画像と予測画像の差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元する演算部と
をさらに備える前記（１７）乃至（２８）に記載の画像処理装置。
（３０）  前記差分画像の符号化データを復号する復号部をさらに備え、
前記演算部は、前記復号部により復号されて得られた前記差分画像に、前記動き補償部により生成された前記予測画像を加算し、前記画像を復元する
前記（２９）に記載の画像処理装置。
（３１）  前記マージ情報において指定される、当該領域とマージさせる周辺領域に、時間的に周辺に位置する周辺領域が含まれるか否かを示すフラグ情報を取得するフラグ情報取得部をさらに備え、
前記マージ情報復号部は、前記フラグ情報取得部により取得された前記フラグ情報に従って、当該領域とマージさせる周辺領域を特定する
前記（１７）乃至（３０）に記載の画像処理装置。
（３２）  前記フラグ情報取得部は、前記フラグ情報を、画像が符号化されたビットストリームのスライスヘッダから取得する
前記（３１）に記載の画像処理装置。
（３３）  画像処理装置の画像処理方法であって、
マージ情報復号部が、処理対象である当該領域の動き情報と一致する動き情報を有し、当該領域の空間的若しくは時間的に周辺に位置する周辺領域を、当該領域とマージさせる領域として指定するマージ情報を復号し、当該領域とマージさせる周辺領域を特定し、
動き情報再構築部が、当該領域とマージさせる領域として特定された周辺領域の動き情報を用いて、当該領域の動き情報を再構築する
画像処理方法。
【符号の説明】
【０４７９】
１０  画像処理装置（画像符号化装置），  ４２  動きベクトル算出部，  ４５  マージ情報生成部，  ６０  画像処理装置（画像復号装置），  ９１  マージ情報復号部，  ９３  動きベクトル設定部，  １１００  画像符号化装置，  １１２１  静止領域判定部，  １１２２  動きベクトル符号化部，  １２００  画像復号装置，  １２２１  静止領域判定部，  １２２２  動きベクトル復号部
【図１】
2012209911.tif 000008
【図２】
2012209911.tif 000009
【図３】
2012209911.tif 000010
【図４】
2012209911.tif 000011
【図５】
2012209911.tif 000012
【図６】
2012209911.tif 000013
【図７】
2012209911.tif 000014
【図８】
2012209911.tif 000015
【図９】
2012209911.tif 000016
【図１０】
2012209911.tif 000017
【図１１】
2012209911.tif 000018
【図１２】
2012209911.tif 000019
【図１３】
2012209911.tif 000020
【図１４】
2012209911.tif 000021
【図１５】
2012209911.tif 000022
【図１６】
2012209911.tif 000023
【図１７】
2012209911.tif 000024
【図１８】
2012209911.tif 000025
【図１９】
2012209911.tif 000026
【図２０】
2012209911.tif 000027
【図２１】
2012209911.tif 000028
【図２２】
2012209911.tif 000029
【図２３】
2012209911.tif 000030
【図２４】
2012209911.tif 000031
【図２５】
2012209911.tif 000032
【図２６】
2012209911.tif 000033
【図２７】
2012209911.tif 000034
【図２８】
2012209911.tif 000035
【図２９】
2012209911.tif 000036
【図３０】
2012209911.tif 000037
【図３１】
2012209911.tif 000038
【図３２】
2012209911.tif 000039
【図３３】
2012209911.tif 000040
【図３４】
2012209911.tif 000041
【図３５】
2012209911.tif 000042
【図３６】
2012209911.tif 000043
【図３７】
2012209911.tif 000044
【図３８】
2012209911.tif 000045
【図３９】
2012209911.tif 000046