(57)【要約】【課題】符号化効率を向上する。【解決手段】２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する手段と、少なくとも２つの参照画像と予測画像との時間距離比及び少なくとも２つの参照画像の画素平均値を用いて予測画像の画素平均値を導出するとともに、時間距離比及び少なくとも２つの参照画像の画素誤差値を用いて予測画像の画素誤差値を導出する手段と、参照画像の画素誤差値と予測画像の画素誤差値とを用いて導出した参照画像の重み係数と参照画像の画素平均値と予測画像の画素平均値とを用いて参照画像のオフセットを導出する手段と、参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の重み係数、及び当該参照画像のオフセットを用いて、対象ブロックの予測画像を生成する手段と、予測画像に基づいて復号画像を生成する手段と、を有する。【選択図】図１８
2013251759.tif 000002
【特許請求の範囲】
【請求項１】
参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の重み係数、及び当該参照画像のオフセットを用いて生成した前記対象ブロックの予測画像と、前記入力画像とに基づいて映像データを符号化した符号化データを入力する入力部と、
２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する手段と、前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する手段と、前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する手段と、前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する手段と、前記予測画像に基づいて復号画像を生成する手段と、を有して、前記符号化データを前記映像データに復号する復号装置と、
復号した前記映像データを出力する出力部と、
を備える電子機器。
【請求項２】
参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の重み係数、及び当該参照画像のオフセットを用いて生成した前記対象ブロックの予測画像と、前記入力画像とに基づいて映像データを符号化した符号化データを入力するステップと、
２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する第１導出ステップと、前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する第２導出ステップと、前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する第３導出ステップと、前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する予測画像生成ステップと、前記予測画像に基づいて復号画像を生成する復号ステップと、を含み、前記符号化データを前記映像データに復号する復号ステップと、
復号した前記映像データを出力するステップと、
を含む復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、電子機器及び復号方法に関する。
【背景技術】
【０００２】
近年、符号化効率を大幅に向上させた画像符号化方法が、ＩＴＵ−Ｔ（International  Telecommunication  Union  Telecommunication  Standardization  Sector）とＩＳＯ（International  Organization  for  Standardization）／ＩＥＣ（International  Electrotechnical  Commission）との共同で、ＩＴＵ−Ｔ  ＲＥＣ．  Ｈ．２６４及びＩＳＯ／ＩＥＣ  １４４９６−１０（以下、「Ｈ．２６４」という）として勧告されている。
【０００３】
Ｈ．２６４には、符号化済みの画像を参照画像に用いて分数精度の動き補償予測を行うことにより、時間方向の冗長性を削除し、高い符号化効率を実現するインター予測符号化方式が開示されている。
【０００４】
また、ＩＳＯ／ＩＥＣ  ＭＰＥＧ（Moving  Picture  Experts  Group）−１，２，４におけるインター予測符号化方式よりも、フェードやディゾルブ効果を含む動画像を高効率に符号化する暗黙的動き補償予測方式も提案されている。この方式では、時間方向における画素値変化を予測する枠組みとして、輝度と２つの色差とを有する入力動画像に対して分数精度の動き補償予測を行う。そして、参照画像と輝度及び２つの色差毎の重み係数とを、参照画像間の時間的距離比によって暗黙的に導出し、予測画像に重み係数を乗じる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１７９６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような従来技術では、参照画像の時間的距離比によって暗黙的に導出した重み係数を動き補償予測後の画素に乗じることで重み付き動き補償予測を実現していたが、画像平均値のズレ分を補正するオフセット項が考慮されないため、符号化効率の低下を招いていた。
【０００７】
本発明は、上記に鑑みてなされたものであって、符号化効率を向上できる電子機器及び復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の電子機器は、参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の重み係数、及び当該参照画像のオフセットを用いて生成した前記対象ブロックの予測画像と、前記入力画像とに基づいて映像データを符号化した符号化データを入力する入力部と、２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する手段と、前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する手段と、前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する手段と、前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する手段と、前記予測画像に基づいて復号画像を生成する手段と、を有して、前記符号化データを前記映像データに復号する復号装置と、復号した前記映像データを出力する出力部と、を備える。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１実施形態の符号化装置の例を示すブロック図である。
【図２】図２は、第１実施形態における画素ブロックの予測符号化順序例を示す説明図である。
【図３Ａ】図３Ａは、第１実施形態におけるコーディングツリーブロックのブロックサイズ例を示す図である。
【図３Ｂ】図３Ｂは、第１実施形態のコーディングツリーブロックの具体例を示す図である。
【図３Ｃ】図３Ｃは、第１実施形態のコーディングツリーブロックの具体例を示す図である。
【図３Ｄ】図３Ｄは、第１実施形態のコーディングツリーブロックの具体例を示す図である。
【図４】図４は、第１実施形態の予測画像生成部の例を示すブロック図である。
【図５】図５は、第１実施形態の双方向予測における動き補償予測の動きベクトルの関係の例を示す図である。
【図６】図６は、第１実施形態の複数フレーム動き補償部の例を示すブロック図である。
【図７】図７は、第１実施形態における重み係数の固定小数点精度の例の説明図である。
【図８】図８は、第１実施形態の参照画像群特徴量の例を示す図である。
【図９】図９は、第１実施形態の参照画像特徴量導出部の構成例を示すブロック図である。
【図１０】図１０は、第１実施形態の予測画像特徴量導出部の構成例を示すブロック図である。
【図１１Ａ】図１１Ａは、第１実施形態のＷＰパラメータ情報の例を示す図である。
【図１１Ｂ】図１１Ｂは、第１実施形態のＷＰパラメータ情報の例を示す図である。
【図１２】図１２は、第１実施形態の参照画像群特徴量導出処理例を示すフローチャートである。
【図１３】図１３は、第１実施形態の予測画像特徴量導出処理例を示すフローチャートである。
【図１４】図１４は、第１実施形態のＷＰパラメータ情報導出処理例を示すフローチャートである。
【図１５】図１５は、第１実施形態のシンタクスの例を示す図である。
【図１６】図１６は、第１実施形態のピクチャパラメータセットシンタクスの例を示す図である。
【図１７】図１７は、第１実施形態のシーケンスパラメータセットシンタクスの例を示す図である。
【図１８】図１８は、第２実施形態の復号装置の構成例を示すブロック図である。
【図１９】図１９は、復号装置を実装する複数の電子機器がネットワークを介して接続されたホームネットワークシステムの全体構成の一例を示す図である。
【図２０】図２０は、テレビジョン受像機２の構成を概略的に示したブロック図である。
【図２１】図２１は、画像処理部の機能的構成を示すブロック図である。
【図２２】図２２は、レコーダの構成を概略的に示したブロック図である。
【図２３】図２３は、情報処理装置の構成を概略的に示したブロック図である。
【図２４】図２４は、情報処理端末の外観の一例を示す平面図である。
【図２５】図２５は、情報処理端末のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照しながら、実施形態を詳細に説明する。以下の各実施形態の符号化装置及び復号装置は、ＬＳＩ（Large-Scale  Integration）チップ、ＤＳＰ（Digital  Signal  Processor）、又はＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアにより実現できる。また、以下の各実施形態の符号化装置及び復号装置は、コンピュータにプログラムを実行させること、即ち、ソフトウェアにより実現させることもできる。なお、以降の説明において、「画像」という用語は、「映像」、「画素」、「画像信号」、「絵」、又は「画像データ」などの用語に適宜読み替えることができる。
【００１１】
（第１実施形態）
第１実施形態では、動画像を符号化する符号化装置について説明する。図１は、第１実施形態の符号化装置１００の構成の一例を示すブロック図である。
【００１２】
符号化装置１００は、入力画像を構成する各フレーム又は各フィールドを複数の画素ブロックに分割し、符号化制御部１１３から入力される符号化パラメータを用いて、分割した画素ブロックに対して予測符号化を行い、予測画像を生成する。そして符号化装置１００は、複数の画素ブロックに分割した入力画像と予測画像とを減算して予測誤差を生成し、生成した予測誤差を直交変換及び量子化し、更にエントロピー符号化を行って符号化データを生成し、出力する。
【００１３】
符号化装置１００は、画素ブロックのブロックサイズ及び予測画像の生成方法の少なくともいずれかが異なる複数の予測モードを選択的に適用して予測符号化を行う。予測画像の生成方法は、大別すると、符号化対象フレーム内で予測を行うイントラ予測と、時間的に異なる１以上の参照フレームを用いて動き補償予測を行うインター予測との２種類である。なお、イントラ予測は、画面内予測又はフレーム内予測などとも称され、インター予測は、画面間予測、フレーム間予測、又は動き補償予測などとも称される。
【００１４】
図２は、第１実施形態における画素ブロックの予測符号化順序の一例を示す説明図である。図２に示す例では、符号化装置１００は、画素ブロックの左上から右下に向かって予測符号化を行っており、符号化処理対象のフレームｆにおいて、符号化対象画素ブロックｃよりも左側及び上側に符号化済み画素ブロックｐが位置している。以下では、説明の簡単化のため、符号化装置１００は、図２に示す順序で予測符号化を行うものとするが、予測符号化の順序はこれに限定されるものではない。
【００１５】
画素ブロックは、画像を処理する単位を示し、例えば、Ｍ×Ｎサイズのブロック（Ｍ及びＮは自然数）、コーディングツリーブロック、マクロブロック、サブブロック、又は１画素などが該当する。以降の説明では、基本的に、画素ブロックをコーディングツリーブロックの意味で使用するが、他の意味で使用する場合もある。例えば、プレディクションユニットの説明では、画素ブロックを、プレディクションユニットの画素ブロックの意味で使用する。また、ブロックはユニットなどの名称で呼ばれることもある。例えばコーディングブロックをコーディングユニットと呼ぶ。
【００１６】
図３Ａは、第１実施形態におけるコーディングツリーブロックのブロックサイズの一例を示す図である。コーディングツリーブロックは、典型的には、図３Ａに示すような６４×６４の画素ブロックである。但し、これに限定されるものではなく、３２×３２の画素ブロック、１６×１６の画素ブロック、８×８の画素ブロック、又は４×４の画素ブロックなどであってもよい。また、コーディングツリーブロックは、正方形でなくてもよく、例えば、Ｍ×Ｎサイズ（Ｍ≠Ｎ）の画素ブロックであってもよい。
【００１７】
図３Ｂ〜図３Ｄは、第１実施形態のコーディングツリーブロックの具体例を示す図である。図３Ｂは、ブロックサイズが６４×６４（Ｎ＝３２）のコーディングツリーブロックを示している。Ｎは、基準となるコーディングツリーブロックのサイズを表しており、分割された場合のサイズがＮ、分割されない場合のサイズが２Ｎと定義されている。図３Ｃは、図３Ｂのコーディングツリーブロックを四分木分割したコーディングツリーブロックを示している。コーディングツリーブロックは、図３Ｃに示すように、四分木構造を持つ。コーディングツリーブロックが分割された場合、分割後の４つの画素ブロックに対して、図３Ｃに示すように、Ｚスキャン順で番号が付される。
【００１８】
なお、コーディングツリーブロックは、１つの四分木の番号内で更に四分木分割することができる。これにより、コーディングツリーブロックを階層的に分割することができる。この場合、分割の深さは、Ｄｅｐｔｈで定義される。図３Ｄは、図３Ｂのコーディングツリーブロックを四分木分割したコーディングツリーブロックの１つを示し、ブロックサイズが３２×３２（Ｎ＝１６）となっている。図３Ｂに示すコーディングツリーブロックのＤｅｐｔｈは０であり、図３Ｄに示すコーディングツリーブロックのＤｅｐｔｈは、１である。なお、最もユニットが大きいコーディングツリーブロックは、ラージコーディングツリーブロックと呼ばれ、この単位で入力画像信号がラスタースキャン順に符号化される。
【００１９】
以降の説明では、入力画像の符号化対象ブロック又はコーディングツリーブロックを予測対象ブロック又は予測画素ブロックと称することもある。なお、符号化単位は画素ブロックに限らず、フレーム、フィールド、スライス、ライン、及び画素の少なくともいずれかを用いることもできる。
【００２０】
符号化装置１００は、図１に示すように、減算部１０１と、直交変換部１０２と、量子化部１０３と、逆量子化部１０４と、逆直交変換部１０５と、加算部１０６と、予測画像生成部１０７と、参照画像特徴量導出部１０８と、予測画像特徴量導出部１０９と、パラメータ導出部１１０と、動き評価部１１１と、符号化部１１２とを、備える。なお、図１に示す符号化制御部１１３は、符号化装置１００を制御するものであり、例えば、ＣＰＵ（Central  Processing  Unit）などにより実現できる。
【００２１】
減算部１０１は、画素ブロックに分割された入力画像から対応する予測画像を減算して予測誤差を得る。減算部１０１は、予測誤差を出力し、直交変換部１０２に入力する。
【００２２】
直交変換部１０２は、減算部１０１から入力された予測誤差に対して、例えば、離散コサイン変換（ＤＣＴ）又は離散サイン変換（ＤＳＴ）のような直交変換を行い、変換係数を得る。直交変換部１０２は、変換係数を出力し、量子化部１０３に入力する。
【００２３】
量子化部１０３は、直交変換部１０２から入力された変換係数に対して量子化処理を行い、量子化変換係数を得る。具体的には、量子化部１０３は、符号化制御部１１３によって指定される量子化パラメータや量子化マトリクスなどの量子化情報に従って量子化を行う。より詳細には、量子化部１０３は、変換係数を量子化情報によって導出される量子化ステップサイズで除算し、量子化変換係数を得る。量子化パラメータは、量子化の細かさを示す。量子化マトリクスは、量子化の細かさを変換係数の成分毎に重み付けするために使用される。量子化部１０３は、量子化変換係数を出力し、逆量子化部１０４及び符号化部１１２に入力する。
【００２４】
逆量子化部１０４は、量子化部１０３から入力された量子化変換係数に対して逆量子化処理を行い、復元変換係数を得る。具体的には、逆量子化部１０４は、量子化部１０３において使用された量子化情報に従って逆量子化を行う。より詳細には、逆量子化部１０４は、量子化情報によって導出された量子化ステップサイズを量子化変換係数に乗算し、復元変換係数を得る。なお、量子化部１０３において使用された量子化情報は、符号化制御部１１３の図示せぬ内部メモリからロードされて利用される。逆量子化部１０４は、復元変換係数を出力し、逆直交変換部１０５に入力する。
【００２５】
逆直交変換部１０５は、逆量子化部１０４から入力された復元変換係数に対して、例えば、逆離散コサイン変換（ＩＤＣＴ）又は逆離散サイン変換（ＩＤＳＴ）などのような逆直交変換を行い、復元予測誤差を得る。なお、逆直交変換部１０５が行う逆直交変換は、直交変換部１０２において行われた直交変換に対応する。逆直交変換部１０５は、復元予測誤差を出力し、加算部１０６に入力する。
【００２６】
加算部１０６は、逆直交変換部１０５から入力された復元予測誤差と対応する予測画像とを加算し、局所復号画像を生成する。加算部１０６は、局所復号画像を出力し、予測画像生成部１０７に入力する。
【００２７】
予測画像生成部１０７は、加算部１０６から入力された局所復号画像を参照画像としてメモリ（図１では図示省略）に蓄積し、メモリに蓄積した参照画像を出力し、参照画像特徴量導出部１０８及び動き評価部１１１に入力する。また予測画像生成部１０７は、パラメータ導出部１１０から入力されるＷＰパラメータ情報及び動き評価部１１１から入力される動き情報に基づいて重み付き動き補償予測を行い、予測画像を生成する。予測画像生成部１０７は、予測画像を出力し、減算部１０１及び加算部１０６に入力する。
【００２８】
図４は、第１実施形態の予測画像生成部１０７の構成の一例を示すブロック図である。予測画像生成部１０７は、図４に示すように、複数フレーム動き補償部２０１と、メモリ２０２と、単方向動き補償部２０３と、予測パラメータ制御部２０４と、参照画像セレクタ２０５と、フレームメモリ２０６と、参照画像制御部２０７と、を備える。
【００２９】
フレームメモリ２０６は、参照画像制御部２０７の制御の下、加算部１０６から入力された局所復号画像を参照画像として格納する。フレームメモリ２０６は、参照画像を一時保持するための複数のメモリセットＦＭ０〜ＦＭＮ（Ｎ≧１）を有する。
【００３０】
予測パラメータ制御部２０４は、動き評価部１１１から入力される動き情報に基づいて、参照画像番号と予測パラメータとの複数の組み合わせをテーブルとして用意している。ここで、動き情報とは、動き補償予測で用いられる動きのズレ量を示す動きベクトルや参照画像番号、単方向／双方向予測などの予測モードに関する情報などを指す。予測パラメータは、動きベクトル及び予測モードに関する情報を指す。そして予測パラメータ制御部２０４は、入力画像に基づいて、予測画像の生成に用いる参照画像の参照画像番号と予測パラメータとの組み合わせを選択して出力し、参照画像番号を参照画像セレクタ２０５に入力し、予測パラメータを単方向動き補償部２０３に入力する。
【００３１】
参照画像セレクタ２０５は、フレームメモリ２０６が有するフレームメモリＦＭ０〜ＦＭＮのいずれの出力端を接続するかを、予測パラメータ制御部２０４から入力された参照画像番号に従って切り替えるスイッチである。参照画像セレクタ２０５は、例えば、参照画像番号が０であれば、ＦＭ０の出力端を参照画像セレクタ２０５の出力端に接続し、参照画像番号がＮであれば、ＦＭＮの出力端を参照画像セレクタ２０５の出力端に接続する。参照画像セレクタ２０５は、フレームメモリ２０６が有するフレームメモリＦＭ０〜ＦＭＮのうち、出力端が接続されているフレームメモリに格納されている参照画像を出力し、単方向動き補償部２０３、参照画像特徴量導出部１０８、及び動き評価部１１１へ入力する。
【００３２】
単方向動き補償部２０３は、予測パラメータ制御部２０４から入力された予測パラメータと参照画像セレクタ２０５から入力された参照画像に従って、動き補償予測処理を行い、単方向予測画像を生成する。
【００３３】
図５は、第１実施形態の双方向予測における動き補償予測の動きベクトルの関係の一例を示す図である。動き補償予測では、参照画像を用いて補間処理が行われ、作成された補間画像と入力画像との符号化対象位置の画素ブロックからの動きのズレ量を元に単方向予測画像が生成される。ここで、ズレ量は、動きベクトルである。図５に示すように、双方向予測スライス（Ｂ−ｓｌｉｃｅ）では、２種類の参照画像と動きベクトルのセットを用いて予測画像が生成される。補間処理としては、１／２画素精度の補間処理や、１／４画素精度の補間処理などが用いられ、参照画像に対してフィルタリング処理が行われることによって、補間画像の値が生成される。例えば、輝度信号に対して１／４画素精度までの補間処理な可能なＨ．２６４では、ズレ量は整数画素精度の４倍で表現される。
【００３４】
単方向動き補償部２０３は、単方向予測画像を出力し、メモリ２０２に一時的に格納する。ここで、動き情報（予測パラメータ）が双方向予測を示す場合には、複数フレーム動き補償部２０１が２種類の単方向予測画像を用いて重み付き予測を行うため、単方向動き補償部２０３は、１つ目に対応する単方向予測画像をメモリ２０２に格納し、２つ目に対応する単方向予測画像を複数フレーム動き補償部２０１に直接出力する。ここでは、１つ目に対応する単方向予測画像を第一予測画像とし、２つ目に対応する単方向予測画像を第二予測画像とする。
【００３５】
なお、単方向動き補償部２０３を２つ用意し、それぞれが２つの単方向予測画像を生成するようにしてもよい。この場合、動き情報（予測パラメータ）が単方向予測を示すときには、単方向動き補償部２０３が、１つ目の単方向予測画像を第一予測画像として複数フレーム動き補償部２０１に直接出力すればよい。
【００３６】
複数フレーム動き補償部２０１は、メモリ２０２から入力される第一予測画像、単方向動き補償部２０３から入力される第二予測画像、及び動き評価部１１１から入力されるＷＰパラメータ情報を用いて、重み付き予測を行って予測画像を生成する。複数フレーム動き補償部２０１は、予測画像を出力し、減算部１０１及び加算部１０６に入力する。
【００３７】
図６は、第１実施形態の複数フレーム動き補償部２０１の構成の一例を示すブロック図である。複数フレーム動き補償部２０１は、図６に示すように、デフォルト動き補償部３０１と、重み付き動き補償部３０２と、ＷＰパラメータ制御部３０３と、ＷＰセレクタ３０４、３０５とを、備える。
【００３８】
ＷＰパラメータ制御部３０３は、パラメータ導出部１１０から入力されるＷＰパラメータ情報に基づいて、ＷＰ適用フラグ及び重み情報を出力し、ＷＰ適用フラグをＷＰセレクタ３０４、３０５に入力し、重み情報を重み付き動き補償部３０２に入力する。
【００３９】
ここで、ＷＰパラメータ情報は、重み係数の固定小数点精度、第一予測画像に対応する第一ＷＰ適用フラグ，第一重み係数，及び第一オフセット、並びに第二予測画像に対応する第二ＷＰ適用フラグ，第二重み係数，及び第二オフセットの情報を含む。ＷＰ適用フラグは、該当する参照画像及び信号成分毎に設定可能なパラメータであり、重み付き動き補償予測を行うかどうかを示す。重み情報は、重み係数の固定小数点精度、第一重み係数、第一オフセット、第二重み係数、及び第二オフセットの情報を含む。
【００４０】
詳細には、ＷＰパラメータ制御部３０３は、パラメータ導出部１１０からＷＰパラメータ情報が入力されると、ＷＰパラメータ情報を第一ＷＰ適用フラグ、第二ＷＰ適用フラグ、及び重み情報に分離して出力し、第一ＷＰ適用フラグをＷＰセレクタ３０４に入力し、第二ＷＰ適用フラグをＷＰセレクタ３０５に入力し、重み情報を重み付き動き補償部３０２に入力する。
【００４１】
ＷＰセレクタ３０４、３０５は、ＷＰパラメータ制御部３０３から入力されたＷＰ適用フラグに基づいて、各々の予測画像の接続端を切り替える。ＷＰセレクタ３０４、３０５は、各々のＷＰ適用フラグが０の場合、各々の出力端をデフォルト動き補償部３０１へ接続する。そしてＷＰセレクタ３０４、３０５は、第一予測画像及び第二予測画像を出力し、デフォルト動き補償部３０１に入力する。一方、ＷＰセレクタ３０４、３０５は、各々のＷＰ適用フラグが１の場合、各々の出力端を重み付き動き補償部３０２へ接続する。そしてＷＰセレクタ３０４、３０５は、第一予測画像及び第二予測画像を出力し、重み付き動き補償部３０２に入力する。
【００４２】
デフォルト動き補償部３０１は、ＷＰセレクタ３０４、３０５から入力された２つの単方向予測画像（第一予測画像及び第二予測画像）を元に平均値処理を行い、予測画像を生成する。具体的には、デフォルト動き補償部３０１は、第一ＷＰ適用フラグ及び第二ＷＰ適用フラグが０の場合、数式（１）に基づいて平均値処理を行う。
【００４３】
Ｐ［ｘ，ｙ］＝Ｃｌｉｐ１（（ＰＬ０［ｘ，ｙ］＋ＰＬ１［ｘ，ｙ］＋ｏｆｆｓｅｔ２）＞＞（ｓｈｉｆｔ２）)      …（１）
【００４４】
ここで、Ｐ［ｘ，ｙ］は予測画像、ＰＬ０［ｘ，ｙ］は第一予測画像、ＰＬ１［ｘ，ｙ］は第二予測画像である。ｏｆｆｓｅｔ２及びｓｈｉｆｔ２は平均値処理における丸め処理のパラメータであり、第一予測画像及び第二予測画像の内部演算精度によって定まる。予測画像のビット精度をＬ、第一予測画像及び第二予測画像のビット精度をＭ（Ｌ≦Ｍ）とすると、ｓｈｉｆｔ２は数式（２）で定式化され、ｏｆｆｓｅｔ２は数式（３）で定式化される。
【００４５】
ｓｈｉｆｔ２＝（Ｍ−Ｌ＋１）      …（２）
【００４６】
ｏｆｆｓｅｔ２＝（１＜＜（ｓｈｉｆｔ２−１）      …（３）
【００４７】
例えば、予測画像のビット精度が８であり、第一予測画像及び第二予測画像のビット精度が１４である場合、数式（２）よりｓｈｉｆｔ２＝７、数式（３）よりｏｆｆｓｅｔ２＝（１＜＜６）となる。
【００４８】
なお、動き情報（予測パラメータ）で示される予測モードが単方向予測である場合、デフォルト動き補償部３０１は、第一予測画像のみを用いて、数式（４）に基づいて最終的な予測画像を算出する。
【００４９】
Ｐ［ｘ，ｙ］＝Ｃｌｉｐ１（（ＰＬＸ［ｘ，ｙ］＋ｏｆｆｓｅｔ１）＞＞（ｓｈｉｆｔ１）)      …（４）
【００５０】
ここで、ＰＬＸ［ｘ，ｙ］は単方向予測画像（第一予測画像）を示しており、Ｘは参照リストのリスト番号を示す識別子であり、０又は１のいずれかである。例えば、リスト番号が０の場合はＰＬ０［ｘ，ｙ］、リスト番号が１の場合はＰＬ１［ｘ，ｙ］となる。ｏｆｆｓｅｔ１及びｓｈｉｆｔ１は丸め処理のパラメータであり、第一予測画像の内部演算精度によって定まる。予測画像のビット精度をＬ、第一予測画像のビット精度をＭ（Ｌ≦Ｍ）とすると、ｓｈｉｆｔ１は数式（５）で定式化され、ｏｆｆｓｅｔ１は数式（６）で定式化される。
【００５１】
ｓｈｉｆｔ１＝（Ｍ−Ｌ）      …（５）
【００５２】
ｏｆｆｓｅｔ１＝（１＜＜（ｓｈｉｆｔ１−１）      …（６）
【００５３】
例えば、予測画像のビット精度が８であり、第一予測画像のビット精度が１４である場合、数式（５）よりｓｈｉｆｔ１＝６、数式（６）よりｏｆｆｓｅｔ１＝（１＜＜５）となる。
【００５４】
重み付き動き補償部３０２は、ＷＰセレクタ３０４、３０５から入力された２つの単方向予測画像（第一予測画像及び第二予測画像）とＷＰパラメータ制御部３０３から入力された重み情報とを元に重み付き動き補償を行う。具体的には、重み付き動き補償部３０２は、第一ＷＰ適用フラグ及び第二ＷＰ適用フラグが１の場合、数式（７）に基づいて重み付き処理を行う。
【００５５】
Ｐ［ｘ，ｙ］＝Ｃｌｉｐ１（（（ＰＬ０［ｘ，ｙ］＊ｗ０Ｃ＋ＰＬ１［ｘ，ｙ］＊ｗ１Ｃ＋（１＜＜ｌｏｇＷＤＣ））＞＞（ｌｏｇＷＤＣ＋１））＋（（ｏ０Ｃ＋ｏ１Ｃ＋１）＞＞１））      …（７）
【００５６】
ここで、ｗ０Ｃは第一予測画像に対応する重み係数、ｗ１Ｃは第二予測画像に対応する重み係数、ｏ０Ｃは第一予測画像に対応するオフセット、ｏ１Ｃは第二予測画像に対応するオフセットを表す。以後、それぞれを第一重み係数、第二重み係数、第一オフセット、第二オフセットと呼ぶ。ｌｏｇＷＤＣはそれぞれの重み係数の固定小数点精度を示すパラメータである。変数Ｃは、信号成分を意味する。例えば、ＹＵＶ空間信号の場合、輝度信号をＣ＝Ｙとし、Ｃｒ色差信号をＣ＝Ｃｒ、Ｃｂ色差成分をＣ＝Ｃｂと表す。
【００５７】
なお、重み付き動き補償部３０２は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるｌｏｇＷＤＣを数式（８）のように制御することで丸め処理を実現する。
【００５８】
ｌｏｇＷＤ’Ｃ＝ｌｏｇＷＤＣ＋ｏｆｆｓｅｔ１      …（８）
【００５９】
丸め処理は、数式（７）のｌｏｇＷＤＣを、数式（８）のｌｏｇＷＤ’Ｃに置き換えることで実現できる。例えば、予測画像のビット精度が８であり、第一予測画像及び第二予測画像のビット精度が１４である場合、ｌｏｇＷＤＣを再設定することにより、数式（１）のｓｈｉｆｔ２と同様の演算精度における一括丸め処理を実現することが可能となる。
【００６０】
なお、動き情報（予測パラメータ）で示される予測モードが単方向予測である場合、重み付き動き補償部３０２は、第一予測画像のみを用いて、数式（９）に基づいて最終的な予測画像を算出する。
【００６１】
Ｐ［ｘ，ｙ］＝Ｃｌｉｐ１（（ＰＬＸ［ｘ，ｙ］＊ｗＸＣ＋（１＜＜ｌｏｇＷＤＣ−１））＞＞（ｌｏｇＷＤＣ））      …（９）
【００６２】
ここで、ＰＬＸ［ｘ，ｙ］は単方向予測画像（第一予測画像）を示し、ｗＸＣは単方向予測に対応する重み係数を示しており、Ｘは参照リストのリスト番号を示す識別子であり、０又は１のいずれかである。例えば、リスト番号が０の場合はＰＬ０［ｘ，ｙ］、ｗ０Ｃ、リスト番号が１の場合はＰＬ１［ｘ，ｙ］、ｗ１Ｃとなる。
【００６３】
なお、重み付き動き補償部３０２は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるｌｏｇＷＤＣを双方向予測時と同様に数式（８）のように制御することで丸め処理を実現する。
【００６４】
丸め処理は、数式（７）のｌｏｇＷＤＣを、数式（８）のｌｏｇＷＤ’Ｃに置き換えることで実現できる。例えば、予測画像のビット精度が８であり、第一予測画像のビット精度が１４である場合、ｌｏｇＷＤＣを再設定することにより、数式（４）のｓｈｉｆｔ１と同様の演算精度における一括丸め処理を実現することが可能となる。
【００６５】
図７は、第１実施形態における重み係数の固定小数点精度の一例の説明図であり、時間方向の画素値変化がある動画像と平均画素値との変化の一例を示す図である。図７に示す例では、符号化対象フレームをＦｒａｍｅ（ｔ）とし、時間的に１つ前のフレームをＦｒａｍｅ（ｔ−１）、時間的に１つ後のフレームをＦｒａｍｅ（ｔ＋１）としている。図７に示すように、白から黒に変化するフェード画像では、画像の明度（階調値）が時間とともに減少していく。重み係数は、図７における変化の度合いを意味しており、数式（７）及び数式（９）から明らかなように、画素値変化がない場合に１．０の値を取る。固定小数点精度は、重み係数の小数点に対応する刻み幅を制御するパラメータであり、画素値変化がない場合の重み係数は、１＜＜ｌｏｇＷＤＣとなる。
【００６６】
ここで、図７を参照しながら、時間的な画素値変化のある動画像と、重み係数、重み係数の固定小数点精度、及びオフセットと、の関係を説明する。前述したように、図７に示すような白から黒に変化するフェード画像では、画像の画素値（階調値）が時間とともに減少していく。図７では、画像の平均画素値が時間とともに減少していく例を示しており、この減少の傾きに対応するのが重み係数である。
【００６７】
また、重み係数の固定小数点精度は、この傾きの精度を示す情報である。例えば、図７において、Ｆｒａｍｅ（ｔ−１）〜Ｆｒａｍｅ（ｔ＋１）間の重み係数が小数点精度で０．７５である場合、１／４精度であれば、３／４が表現できる。
【００６８】
例えば、傾きが予め定めた固定小数点精度の実現値と一致しない場合、一次関数の切片に対応する補正値（ズレ量）を示すオフセット値で調整が可能である。例えば、図７において、Ｆｒａｍｅ（ｔ−１）〜Ｆｒａｍｅ（ｔ＋１）間の重み係数が小数点精度で０．６０であり、固定小数点精度が１（１＜＜１）である場合、重み係数を、固定小数点精度の実現値に対応しないため、例えば１（つまり、重み係数の小数点精度０．５０に該当）とする。この場合、重み係数の小数点精度は、最適な値である０．６０から０．１０ずれているため、この分の補正値を画素の最大値から計算し、オフセット値として設定することが可能である。画素の最大値が２５５である場合、２５（２５５×０．１）などの値をオフセット値に設定すればよいことを意味する。
【００６９】
なお、単方向予測の場合には、第二予測画像に対応する各種パラメータ（第二ＷＰ適用フラグ、第二重み係数、及び第二オフセットの情報）は利用されないため、予め定めた初期値に設定されていてもよい。
【００７０】
図１に戻り、参照画像特徴量導出部１０８、予測画像特徴量導出部１０９、及びパラメータ導出部１１０により、予測画像生成部１０７から入力された参照画像から、予測画像生成部１０７により生成される予測画像に対応するＷＰパラメータ情報が暗黙的に導出される。
【００７１】
参照画像特徴量導出部１０８は、予測画像生成部１０７から入力された参照画像それぞれの参照画像特徴量を導出し、導出したそれぞれの参照画像特徴量をまとめた参照画像群特徴量を出力し、予測画像特徴量導出部１０９及びパラメータ導出部１１０に入力する。
【００７２】
図８は、第１実施形態の参照画像群特徴量の一例を示す図である。図８に示す例では、参照画像群特徴量は、２Ｎ＋２個の参照画像特徴量がテーブルにまとめられており、参照画像特徴量は、参照画像の参照リストのリスト番号、参照画像の参照画像番号、参照画像の画素平均値、及び参照画像の画素平均値との画素の差分を示す画素誤差値を含んでいる。
【００７３】
リスト番号は、予測方向を示す識別子であり、単方向予測時は０の値を取り、双方向予測時は２種類の予測を用いることができるため、０と１の２つの値を取る。参照画像番号は、フレームメモリ２０６に示される０〜Ｎに対応する値である。リスト番号及び参照画像番号は、Ｈ．２６４などで用いられているＤＰＢに従って管理されており、符号化制御部１１３により、予測画像生成部１０７内の設定内容（例えば、参照画像セレクタ２０５がいずれの参照画像を参照画像特徴量導出部１０８に出力するかなど）に応じて、参照画像特徴量導出部１０８に暗黙的に設定される。画素平均値及び画素誤差値は、参照画像特徴量導出部１０８により算出される。
【００７４】
なお、図８に示す参照画像群特徴量のテーブルは一例であり、符号化構造に応じて利用可能な参照画像の構成が異なるため、テーブルサイズも異なる。例えば、Ｐ−ｓｌｉｃｅの符号化構造の場合、双方向予測に対応するリスト番号１の参照画像番号は、利用不可能であるため、リスト番号０のテーブルとなる。また、参照画像の数によってもテーブルサイズは異なる。
【００７５】
図９は、第１実施形態の参照画像特徴量導出部１０８の構成の一例を示すブロック図である。参照画像特徴量導出部１０８は、図９に示すように、平均値算出部４０１と、誤差値算出部４０２と、統合部４０３と、を備える。
【００７６】
平均値算出部４０１は、予測画像生成部１０７から参照画像が入力される毎に、当該参照画像の画素平均値を算出し、算出した画素平均値を出力し、誤差値算出部４０２及び統合部４０３に入力する。平均値算出部４０１は、例えば数式（１０）を用いて、参照画像の画素平均値を算出する。
【００７７】
【数１】
2013251759.tif 000003
【００７８】
ここで、DCLX(t)は、リスト番号Xかつ参照画像番号tの参照画像の画素平均値を示す。従って、リスト番号０かつ参照画像番号１の参照画像の画素平均値であれば、DCL0(1)と表され、リスト番号１かつ参照画像番号０の参照画像の画素平均値であれば、DCL1(0)と表される。nは、リスト番号Xかつ参照画像番号tの参照画像の画素数を示す。Yx,y(t)は、リスト番号Xかつ参照画像番号tの参照画像の(x,y)座標の画素値を示す。
【００７９】
誤差値算出部４０２は、予測画像生成部１０７から参照画像が入力される毎に、平均値算出部４０１から入力された当該参照画像の画素平均値を用いて、当該参照画像の画素平均値の画素誤差値を算出し、算出した画素誤差値を出力し、統合部４０３に入力する。誤差値算出部４０２は、例えば数式（１１）を用いて、参照画像の画素平均値の画素誤差値を算出する。
【００８０】
【数２】
2013251759.tif 000004
ここで、ACLX(t)は、リスト番号Xかつ参照画像番号tの参照画像の各画素の画素値と当該参照画像の画素平均値との差分（誤差）の平均値である画素誤差値を示す。
【００８１】
統合部４０３は、予測画像生成部１０７から参照画像が入力される毎に、当該参照画像のリスト番号及び参照画像番号、平均値算出部４０１から入力された当該参照画像の画素平均値、並びに誤差値算出部４０２から入力された当該参照画像の画素平均値の画素誤差値を参照画像特徴量に統合する。そして統合部４０３は、統合した参照画像特徴量を図８に示すようにテーブルにまとめて参照画像群特徴量として出力し、予測画像特徴量導出部１０９及びパラメータ導出部１１０に入力する。
【００８２】
予測画像特徴量導出部１０９は、参照画像特徴量導出部１０８から入力された参照画像群特徴量に基づいて予測画像特徴量を導出し、導出した予測画像特徴量を出力し、パラメータ導出部１１０に入力する。予測画像特徴量は、予測画像の画素平均値、画素平均値からの誤差を平均した画素誤差値、及び予測画像特徴量を導出したか否かを示す予測画像特徴量導出フラグを含む。
【００８３】
図１０は、第１実施形態の予測画像特徴量導出部１０９の構成の一例を示すブロック図である。予測画像特徴量導出部１０９は、図１０に示すように、特徴量制御部４１１と、メモリ４１２と、予測画像特徴量算出部４１３とを、を備える。
【００８４】
特徴量制御部４１１は、参照画像特徴量導出部１０８から入力された参照画像群特徴量から、予測画像特徴量の導出に用いる２つの参照画像特徴量を選択して出力し、一方をメモリ４１２に入力（ロード）し、他方を予測画像特徴量算出部４１３に入力する。
【００８５】
具体的には、特徴量制御部４１１は、参照画像群特徴量にまとめられた参照画像特徴量のリスト番号及び参照画像番号から、当該参照画像特徴量の参照画像の表示オーダー（画像表示時間）を示すＰＯＣ（Picture  Order  Count）を導出する。なお、参照リスト及び参照画像番号は、参照画像を間接的に指定する情報であり、ＰＯＣは、参照画像を直接指定する情報であり、参照画像の絶対位置に相当する。そして特徴量制御部４１１は、導出したＰＯＣの中から符号化対象画像（予測画像）との時間的距離が近い順に２つのＰＯＣを選択することで、参照画像群特徴量から予測画像特徴量の導出に用いる２つの参照画像特徴量を選択する。
【００８６】
特徴量制御部４１１は、符号化スライスがＰ−ｓｌｉｃｅの場合、数式（１２）を用いて２つのＰＯＣ（POC1及びPOC2）を選択する。
【００８７】
for  (refIdx=0;  refidx<=num_of_active_ref_l0_minus1;  refIdx++){
refPOC[refIdx]  =  RefPicOrderCnt(ListL0,  refIdx)
}
POC1  =  SortRefPOC(refPOC,  curPOC,  num_of_active_ref_l0_minus1)
POC2  =  SortRefPOC(refPOC,  curPOC,  num_of_active_ref_l0_minus1-1)      …（１２）
【００８８】
ここで、num_of_active_ref_l0_minus1は、シンタクス要素の１つで、リスト番号０の参照リストで用いられる参照画像数から１を引いた値、即ち、Ｎを示す。RefPicOrderCntは、参照画像のリスト番号及び当該参照画像の参照画像番号を与えると、当該参照画像のPOCを返す関数であり、ListL0はリスト番号０を示し、refIdxは参照画像番号を示す。refPOCは参照画像群特徴量に参照画像特徴量が含まれる参照画像のPOCの配列を示し、curPOCは符号化対象画像のPOCを示す。SortRefPOCは、refPOCに格納されているPOCのうちnum_of_active_ref_l0_minus1又はnum_of_active_ref_l0_minus1-1で与えられた数＋１分のPOCそれぞれとcurPOCで示されるPOCとの絶対差分値を計算する。そしてSortRefPOCは、refPOCに格納されているPOCのうち絶対差分値が最も小さい値をとるPOCを返し、refPOCから当該POCを削除してrefPOCに格納されているPOCを並び替える関数である。
【００８９】
例えば、refPOCに｛０，１，２，３｝が格納されており、curPOCの値が４、num_of_active_ref_l0_minus1の値が３の場合、SortRefPOC(refPOC,  curPOC,  num_of_active_ref_l0_minus1)は、refPOCから絶対差分値が最小の１となるPOC番号３をPOC1として返し、refPOCから３を削除してrefPOCを｛０，１，２｝に並び替える。続いて、SortRefPOC(refPOC,  curPOC,  num_of_active_ref_l0_minus1-1)は、refPOCから絶対差分値が最小の２となるPOC番号２をPOC2として返し、refPOCから２を削除してrefPOCを｛０，１｝に並び替える。
【００９０】
符号化対象画像と参照画像との時間的距離が近い程、画像特徴量の相関が高くなる傾向にあるため、Ｐ−ｓｌｉｃｅ時には、当該符号化画像との時間的距離が近い順に２つのＰＯＣ（参照画像）を選択することで、予測画像特徴量の予測精度を高めることができる。
【００９１】
また特徴量制御部４１１は、符号化スライスがＢ−ｓｌｉｃｅの場合、数式（１３）を用いて２つのＰＯＣ（POC1及びPOC2）を選択する。
【００９２】
for  (refIdx=0;  refidx<=num_of_active_ref_l0_minus1;  refIdx++){
refPOCL0[refIdx]  =  RefPicOrderCnt(ListL0,  refIdx)
}
for  (refIdx=0;  refidx<=num_of_active_ref_l1_minus1;  refIdx++){
refPOCL1[refIdx]  =  RefPicOrderCnt(ListL1,  refIdx)
}
POC1  =  SortRefPOC(refPOCL0,  curPOC,  num_of_active_ref_l0_minus1)
POC2  =  SortRefPOC(refPOCL1,  curPOC,  num_of_active_ref_l1_minus1)      …（１３）
【００９３】
ここで、refPOCL0は、参照画像群特徴量に参照画像特徴量が含まれるリスト番号０の参照画像のPOCの配列を示す。num_of_active_ref_l1_minus1は、シンタクス要素の１つで、リスト番号１の参照リストで用いられる参照画像数から１を引いた値、即ち、Ｎを示す。refPOCL1は、参照画像群特徴量に参照画像特徴量が含まれるリスト番号１の参照画像のPOCの配列を示す。ListL1はリスト番号１を示す。
【００９４】
符号化対象画像と参照画像との時間的距離が近い程、画像特徴量の相関が高くなる傾向にあるため、Ｂ−ｓｌｉｃｅ時には、当該符号化画像との時間的距離が最も近いＰＯＣ（参照画像）を２つの参照リストから１つずつ選択することで、予測画像特徴量の予測精度を高めることができる。
【００９５】
なお特徴量制御部４１１は、選択した２つのＰＯＣ（POC1及びPOC2）が同一である場合、数式（１４）を用いて一方のＰＯＣ（POC2）を再選択する。特徴量制御部４１１は、数式（１４）を繰り返し行うことにより、符号化対象画像から時間的距離が異なる２つのＰＯＣ（符号化対象画像との時間的距離がPOC1と異なるPOC2）を選択できる。
【００９６】
if  (POC1  ==  POC2){
POC2  =  SortRefPOC(refPOCLX,  curPOC,  num_of_active_ref_l1_minus1-(M))
}      …（１４）
【００９７】
ここで、refPOCLXのXは、リスト番号を示す識別子であり、例えば、リスト番号０の参照リストを探索した後に、リスト番号１の参照リストを探索するようにしてもよい。このため、ＰＯＣ（POC2）の再選択を行った場合には、符号化画像との時間的距離が最も近い２つのＰＯＣ（参照画像）は、同一の参照リストから選択される場合もある。Mは、繰り返し回数を示す値である。Mは、例えば参照リスト毎に設定される参照画像数によって規定される。
【００９８】
そして特徴量制御部４１１は、POC1を選択すると、参照画像群特徴量からPOC1に対応する参照画像特徴量を選択して出力し、メモリ４１２に入力する。また特徴量制御部４１１は、POC2を選択すると、参照画像群特徴量からPOC2に対応する参照画像特徴量を選択して出力し、予測画像特徴量算出部４１３に入力する。
【００９９】
第１実施形態では、特徴量制御部４１１が２つのＰＯＣを選択する例について説明したが、３つ以上のＰＯＣを選択するようにしてもよい。この場合、特徴量制御部４１１は、参照画像群特徴量から３つ以上の参照画像特徴量を選択し、選択された３つ以上の参照画像特徴量から予測画像特徴量が導出される。なお、Ｐ−ｓｌｉｃｅの場合は、Ｎ≧２であることが必要であり、特徴量制御部４１１は、数式（１２）を実行した後にリスト番号０の参照リストを探索するようにすればよい。
【０１００】
メモリ４１２は、特徴量制御部４１１により入力された参照画像特徴量（POC1に対応する参照画像特徴量（以下、第一参照画像特徴量と称する））を保持する。そしてメモリ４１２は、特徴量制御部４１１から予測画像特徴量算出部４１３に参照画像特徴量（POC2に対応する参照画像特徴量（以下、第二参照画像特徴量と称する））が入力されるタイミングで、第一参照画像特徴量を出力し、予測画像特徴量算出部４１３に入力する。
【０１０１】
予測画像特徴量算出部４１３は、メモリ４１２から入力された第一参照画像特徴量と特徴量制御部４１１から入力された第二参照画像特徴量とを用いて、予測画像特徴量を算出して出力し、パラメータ導出部１１０に入力する。
【０１０２】
予測画像特徴量算出部４１３は、まず、数式（１５）に従って、第一参照画像特徴量の参照画像と第二参照画像特徴量の参照画像との時間的距離を算出する。
【０１０３】
DistScaleFactor  =  Clip3(-1024,  1023,  (tb*tx+32)>>6)  …（１５）
【０１０４】
ここで、Clip3(A,B,C)は、値Cが最小値Aを下回ったらAを返し、値Cが最大値Bを上回ったらBを返し、いずれの条件にも当てはまらない場合は値Cを返すクリップ関数である。tbは、数式（１６）により算出され、txは、数式（１７）により算出される。
【０１０５】
tb  =  Clip3(-128,  127,  curPOC-POC1)      …（１６）
tx  =  (16384+abs(td/2))/td      …（１７）
【０１０６】
tbは、curPOCとPOC1との時間的距離を示す。txは、tb/tdの除算を固定小数点精度で行うための中間変数であり、tb/tdの除算結果を示す。なお、固定小数点は８ビット精度であり、DistScaleFactorの値が１２８（中央値）の場合、tb/tdが１であることを意味する。tdは、POC1とPOC2との時間的距離を示し、数式（１８）により算出される。
【０１０７】
td  =  Clip3(-128,  127,  POC2-POC1)      …（１８）
【０１０８】
予測画像特徴量算出部４１３は、続いて、数式（１９）に従って予測画像の画素平均値を算出するとともに、数式（２０）に従って予測画像の画素誤差値を算出する。
【０１０９】
DCP  =  (DistScaleFactor*DC2+(256-DistScaleFactor)*DC1+Ofst3)>>(Shft3);      …（１９）
ACP  =  (DistScaleFactor*AC2+(256-DistScaleFactor)*AC1+Ofst3)>>(Shft3);      …（２０）
【０１１０】
ここで、DCPは予測画像の画素平均値を示し、DC1、DC2は、それぞれ、第一参照画像特徴量の画素平均値、第二参照画像特徴量の画素平均値を示す。ACPは予測画像の画素誤差値を示し、AC1、AC2は、それぞれ、第一参照画像特徴量の画素誤差値、第二参照画像特徴量の画素誤差値を示す。Shft3及びOfst3は、予測画像の内部演算精度を示すINTERNAL_PRECに応じて値が定まり、Shft3は数式（２１）により算出され、Ofst3は、数式（２２）により算出される。第１実施形態では、DistScaleFactorの固定小数点精度を８としているため、INTERNAL_PRECが８の場合、DCP及びACPは整数精度に丸められることになる。
【０１１１】
Sfht3  =  INTERNAL_PREC      …（２１）
Ofst3  =  (1<<(Shft3-1))      …（２２）
【０１１２】
但し、予測画像特徴量算出部４１３は、数式（１５）により算出したDistScaleFactorが、数式（２３）〜数式（２５）のいずれかの条件を満たす場合、予測画像特徴量の導出が不可能又は時間的距離が離れすぎているため、予測画像の画素平均値DCP及び予測画像の画素誤差値ACPを初期値に設定する。
【０１１３】
POC1  =  POC2      …（２３）
(DistScaleFactor>>2)  <  -64      …（２４）
(DistScaleFactor>>2)  >  128      …（２５）
【０１１４】
予測画像特徴量算出部４１３は、例えば、DistScaleFactorが数式（２３）〜数式（２５）のいずれかの条件を満たす場合、内部的な変数である予測画像特徴量導出フラグwp_avaiable_flagをfalseに設定し、DistScaleFactorが数式（２３）〜数式（２５）のいずれの条件も満たさない場合、wp_avaiable_flagをtrueに設定する。予測画像特徴量導出フラグがfalseに設定された場合、DCP及びACPには初期値が設定される。例えば、DCPに0を示すDefaultDCが設定され、ACPに0を示すDefaultACが設定される。予測画像特徴量導出フラグがtrueに設定された場合、DCP、ACPには、それぞれ数式（１９）、数式（２０）で算出された値が設定される。
【０１１５】
パラメータ導出部１１０は、参照画像特徴量導出部１０８から入力された参照画像郡特徴量と予測画像特徴量導出部１０９から入力された予測画像特徴量とを用いて、符号化対象画像のＷＰパラメータ情報を導出する。
【０１１６】
図１１Ａ及び図１１Ｂは、第１実施形態のＷＰパラメータ情報の一例を示す図である。Ｐ−ｓｌｉｃｅ時のＷＰパラメータ情報の一例は、図１１Ａに示すとおりであり、Ｂ−ｓｌｉｃｅ時のＷＰパラメータ情報の一例は、図１１Ａ及び図１１Ｂに示すとおりである。リスト番号及び参照画像番号は、参照画像群特徴量と同様であり、ＷＰ適用フラグ、重み係数、及びオフセットについては、図６及び図７で説明したとおりである。なお、リスト番号が０番のＷＰ適用フラグ、重み係数、オフセットは、それぞれ、第一ＷＰ適用フラグ、第一重み係数、第一オフセットに対応し、リスト番号が１番のＷＰ適用フラグ、重み係数、オフセットは、それぞれ、第二ＷＰ適用フラグ、第二重み係数、第二オフセットに対応する。ＷＰパラメータ情報は、参照リストと参照画像毎に保持されるため、Ｂ−ｓｌｉｃｅ時に必要な情報は、参照画像がＮ＋１個とすると２Ｎ＋２個となる。
【０１１７】
パラメータ導出部１１０は、まず、予測画像特徴量に含まれる予測画像特徴量導出フラグwp_avaiable_flagを確認し、ＷＰパラメータ情報を導出可能か否か確認する。wp_avaiable_flagがfalseに設定されている場合、ＷＰパラメータ情報を導出できないため、パラメータ導出部１１０は、リスト番号X、参照画像番号Yに対応する重み係数、オフセットを、それぞれ、数式（２６）、数式（２７）に従って、初期値に設定する。
【０１１８】
Weight[X][Y]  =  (1<<Log2Denom)      …（２６）
Offset[X][Y]  =  0      …（２７）
【０１１９】
Weight[X][Y]は、数式（７）、数式（９）で用いられるｗ０Ｃやｗ１Ｃに対応する値である。Log2Denomは、数式（２８）により算出され、数式（７）などで用いられるｌｏｇＷＤＣに対応する値である。
【０１２０】
Log2Denom  =  Default_Value      …（２８）
【０１２１】
ここでは、Default_Valueを、例えば、０や７などに設定すればよい。
【０１２２】
パラメータ導出部１１０は、wp_avaiable_flagがfalseに設定されている場合、全てのリスト番号X、参照画像番号Yの組み合わせ（全ての参照画像）に対し、数式（２６）及び数式（２７）を繰り返し実行することにより、ＷＰパラメータ情報に初期値を設定する。
【０１２３】
なお、パラメータ導出部１１０は、wp_avaiable_flagがfalseに設定されている場合、リスト番号X、参照画像番号Yに対応するＷＰ適用フラグ（WP_flag[X][Y]）をfalseに設定する。
【０１２４】
一方、wp_avaiable_flagがtrueに設定されている場合、ＷＰパラメータ情報を導出できるため、パラメータ導出部１１０は、リスト番号X、参照画像番号Yに対応する重み係数、オフセットを、それぞれ、数式（２９）、数式（３０）に従って、導出する。
【０１２５】
Weight[X][Y]  =  (((curAC<<Log2Denom)+Ofst4)/(AC[X][Y]<<LeftShft))      …（２９）
Offset[X][Y]  =  (((curDC<<Log2Denom)-(Weight[X][Y]*(DC[X][Y]<<LeftShft))+RealOfst)>>RealLog2Denom)      …（３０）
【０１２６】
ここで、curDC、curACは、それぞれ、予測画像の画素平均値DCP、画素誤差値ACPを示す。DC[X][Y]、AC[X][Y]は、それぞれ、リスト番号X、参照画像番号Yの参照画像の画素平均値DCLX(Y)、画素誤差値ACLX(Y)を示す。LeftShftは、数式（１９）〜（２２）で用いたShft3に対する演算精度変更を補正する値であり、数式（３１）により算出される。
【０１２７】
LeftShft  =  (8-INTERNAL_PREC)      …（３１）
【０１２８】
Ofst4は、AC[X][Y]で除算する場合の丸め処理に用いられるパラメータである。例えば、固定小数点精度の丸め処理の際に四捨五入する場合は、Ofst4を(AC[X][Y]>>1)とすればよく、常に切り捨てにする場合はOfst4を０に設定すればよい。RealLog2Denomは、数式（３２）により算出され、RealOfstは、数式（３３）により算出される。
【０１２９】
RealLog2Denom  =  Log2Denom+LeftShft      …（３２）
RealOfst  =  (1<<(RealLog2Denom-1))      …（３３）
【０１３０】
ここでは、RealLog2Denomを、例えば、７などの予め定めた値に設定すればよい。
【０１３１】
パラメータ導出部１１０は、wp_avaiable_flagがtrueに設定されている場合、全てのリスト番号X、参照画像番号Yの組み合わせ（全ての参照画像）に対し、数式（２９）及び数式（３０）を繰り返し実行することにより、図１１Ａ及び図１１Ｂに示すＷＰパラメータ情報を導出する。
【０１３２】
なおパラメータ導出部１１０は、wp_avaiable_flagがtrueに設定されている場合、リスト番号X、参照画像番号Yに対応するＷＰ適用フラグ（WP_flag[X][Y]）をtrueに設定する。
【０１３３】
図１に戻り、動き評価部１１１は、入力画像と予測画像生成部１０７から入力された参照画像とに基づき複数フレーム間の動き評価を行い、動き情報を出力し、動き情報を予測画像生成部１０７及び符号化部１１２に入力する。
【０１３４】
動き評価部１１１は、例えば、予測対象画素ブロックの入力画像と同位置に対応する複数の参照画像を起点として差分値を計算することで誤差を算出し、この位置を分数精度でずらし、誤差最小のブロックを探すブロックマッチングなどの手法により、最適な動き情報を算出する。動き評価部１１１は、双方向予測の場合には、単方向予測で導出された動き情報を用いて、数式（１）及び数式（４）に示すようなデフォルト動き補償予測を含むブロックマッチングを行うことにより、双方向予測の動き情報を算出する。
【０１３５】
この際、動き評価部１１１は、数式（７）及び数式（９）に示すような重み付き動き補償予測を含むブロックマッチングを行うことにより、重み付き予測を考慮した動き情報の算出を行うことも可能である。この場合、動き評価部１１１は、パラメータ導出部１１０から出力されたＷＰパラメータ情報に従って、数式（７）及び数式（９）を用いてブロックマッチングを行えばよい。
【０１３６】
なお第１実施形態では、符号化装置１００の一機能として動き評価部１１１を例示しているが、動き評価部１１１は符号化装置１００の必須の構成ではなく、例えば、動き評価部１１１を符号化装置１００外の装置としてもよい。この場合、動き評価部１１１で算出された動き情報を符号化装置１００にロードするようにすればよい。
【０１３７】
符号化部１１２は、量子化部１０３から入力された量子化変換係数、動き評価部１１１から入力された動き情報、及び符号化制御部１１３によって指定される量子化情報などの様々な符号化パラメータに対して符号化処理を行い、符号化データを生成する。符号化処理は、例えば、ハフマン符号化や算術符号化などが該当する。例えば、Ｈ．２６４では、コンテキスト適応型の可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ  ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）やコンテキスト適応型の算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ  ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などが用いられる。
【０１３８】
符号化パラメータとは、予測方法などを示す予測情報、量子化変換係数に関する情報、及び量子化に関する情報などの復号に必要となるパラメータである。例えば、符号化制御部１１３が図示せぬ内部メモリを持ち、この内部メモリに符号化パラメータが保持され、画素ブロックを符号化する際に隣接する既に符号化済みの画素ブロックの符号化パラメータを用いるようにできる。例えば、Ｈ．２６４のイントラ予測では、符号化済みの隣接ブロックの予測情報から、画素ブロックの予測情報を導出することができる。
【０１３９】
符号化部１１２は、生成した符号化データを、符号化制御部１１３が管理する適切な出力タイミングに従って出力する。出力された符号化データは、例えば、図示せぬ多重化部などで様々な情報が多重化されて、図示せぬ出力バッファなどに一時的に蓄積された後に、例えば、図示せぬ蓄積系（蓄積メディア）又は伝送系（通信回線）へ出力される。
【０１４０】
図１２は、第１実施形態の参照画像特徴量導出部１０８で行われる参照画像群特徴量導出処理の手順の流れの一例を示すフローチャートである。
【０１４１】
まず、参照画像特徴量導出部１０８は、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅの場合、参照リストを２つ利用できるのでPRED_TYPEを１に設定し、スライスタイプがＰ−ｓｌｉｃｅの場合、参照リストを１つ利用できるのでPRED_TYPEを０に設定しておく。なお、符号化対象画像のスライスタイプは、符号化制御部１１３において変数slice_typeで管理しているので、参照画像特徴量導出部１０８は、変数slice_typeを参照することで、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅかＰ−ｓｌｉｃｅかを判別できる。
【０１４２】
続いて、参照画像特徴量導出部１０８は、リスト番号Xを０に初期化し（ステップＳ１０１）、参照画像番号Yを０に初期化する（ステップＳ１０２）。
【０１４３】
続いて、予測画像生成部１０７からリスト番号X及び参照画像番号Yの参照画像が入力されると、平均値算出部４０１は、数式（１０）に従って画素平均値DCLX[Y]を算出し、数式（１１）に従って画素誤差値ACLX[Y]を算出する（ステップＳ１０３）。
【０１４４】
続いて、統合部４０３は、リスト番号X、参照画像番号Y、画素平均値DCLX[Y]、及び画素誤差値ACLX[Y]を参照画像特徴量に統合して、参照画像群特徴量のテーブルを更新する。そして、参照画像特徴量導出部１０８は、参照画像番号Yをインクリメントする（ステップＳ１０４）。
【０１４５】
続いて、参照画像特徴量導出部１０８は、インクリメント後の参照画像番号Yがnum_ref_active_lx_minus1よりも大きいかどうかを判別し（ステップＳ１０５）、小さければ（ステップＳ１０５でＮｏ）、ステップＳ１０３に戻る。
【０１４６】
一方、大きければ（ステップＳ１０５でＹｅｓ）、参照画像特徴量導出部１０８は、リスト番号Xの参照リストの全ての参照画像の画素平均値及び画素誤差値の算出を終了したと判断し、リスト番号Xをインクリメントする（ステップＳ１０６）。
【０１４７】
続いて、参照画像特徴量導出部１０８は、インクリメント後のリスト番号XがPRED_TYPEよりも大きいかどうかを判別し（ステップＳ１０７）、小さければ（ステップＳ１０７でＮｏ）、ステップＳ１０２に戻る。
【０１４８】
一方、大きければ（ステップＳ１０７でＹｅｓ）、参照画像特徴量導出部１０８は、全ての参照リストを処理したと判断し、参照画像群特徴量を出力して処理を終了する。
【０１４９】
なお、図１２に示すフローチャートでは、予測画像生成部１０７から該当する参照画像が順次入力される例を示したが、リスト番号と参照画像番号とが関連付けられた参照画像が一括入力されてもよい。
【０１５０】
図１３は、第１実施形態の予測画像特徴量導出部１０９で行われる予測画像特徴量導出処理の手順の流れの一例を示すフローチャートである。
【０１５１】
まず、予測画像特徴量導出部１０９は、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅの場合、PRED_TYPEを１に設定し、スライスタイプがＰ−ｓｌｉｃｅの場合、PRED_TYPEを０に設定しておく。なお、予測画像特徴量導出部１０９は、符号化制御部１１３で管理している変数slice_typeを参照することで、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅかＰ−ｓｌｉｃｅかを判別できる。
【０１５２】
続いて、予測画像特徴量導出部１０９は、リスト番号Xを０に初期化し（ステップＳ２０１）、参照画像番号Yを０に初期化する（ステップＳ２０２）。
【０１５３】
続いて、参照画像特徴量導出部１０８から参照画像群特徴量が入力されると、特徴量制御部４１１は、符号化対象画像のスライスタイプに応じて数式（１２）又は数式（１３）のRefPicOrderCnt関数を用いて、リスト番号X及び参照画像番号YからPOCを導出し、導出したPOCをrefPOC配列に格納する。そして特徴量制御部４１１は、参照画像番号Yをインクリメントする（ステップＳ２０３）。
【０１５４】
続いて、特徴量制御部４１１は、インクリメント後の参照画像番号Yがnum_ref_active_lx_minus1よりも大きいかどうかを判別し（ステップＳ２０４）、小さければ（ステップＳ２０４でＮｏ）、ステップＳ２０３に戻る。
【０１５５】
一方、大きければ（ステップＳ２０４でＹｅｓ）、特徴量制御部４１１は、リスト番号Xの参照リストの全ての参照画像のPOCの導出を終了したと判断し、リスト番号Xをインクリメントする（ステップＳ２０５）。
【０１５６】
続いて、特徴量制御部４１１は、インクリメント後のリスト番号XがPRED_TYPEよりも大きいかどうかを判別し（ステップＳ２０６）、小さければ（ステップＳ２０６でＮｏ）、ステップＳ２０２に戻る。
【０１５７】
一方、大きければ（ステップＳ２０６でＹｅｓ）、特徴量制御部４１１は、全ての参照リストを処理したと判断し、符号化対象画像のスライスタイプに応じて数式（１２）又は数式（１３）のSortRefPOC関数を用いて、refPOCに格納されているPOCのうちcurPOCが示す符号化対象画像のPOCとの絶対距離（絶対差分値）が最小のPOCをPOC1に設定する。そして特徴量制御部４１１は、POC1の参照画像の参照画像特徴量である第一参照画像特徴量をメモリ４１２に出力し、refPOC配列から当該POCを削除する（ステップＳ２０７）。
【０１５８】
続いて、特徴量制御部４１１は、再度、符号化対象画像のスライスタイプに応じて数式（１２）又は数式（１３）のSortRefPOC関数を用いて、refPOCに格納されているPOCのうちcurPOCが示す符号化対象画像のPOCとの絶対距離（絶対差分値）が最小のPOCをPOC2に設定し、refPOC配列から当該POCを削除する（ステップＳ２０８）。
【０１５９】
続いて、POC1とPOC2とが同一である場合（ステップＳ２０９でＹｅｓ）、特徴量制御部４１１は、数式（１４）を実行してPOC2を更新し（ステップＳ２１０）、ステップＳ２０９に戻る。
【０１６０】
一方、POC1とPOC2とが同一でない場合（ステップＳ２０９でＮｏ）、特徴量制御部４１１は、POC2の参照画像の参照画像特徴量である第二参照画像特徴量を予測画像特徴量算出部４１３に出力する。
【０１６１】
続いて、メモリ４１２から第一参照画像特徴量が入力され、特徴量制御部４１１から第二参照画像特徴量が入力されると、予測画像特徴量導出部１０９は、数式（１６）を用いてPOC1とcurPOCとの時間距離比tbを導出する（ステップＳ２１１）。
【０１６２】
続いて、予測画像特徴量導出部１０９は、数式（１８）を用いてPOC1とPOC2との時間距離比tdを導出する（ステップＳ２１２）。
【０１６３】
続いて、予測画像特徴量導出部１０９は、数式（１５）を用いて、時間距離比tbと時間距離比tdとから距離のスケーリングに用いるDistScaleFactorを導出する（ステップＳ２１３）。
【０１６４】
続いて、予測画像特徴量導出部１０９は、導出したDistScaleFactorが、例外処理の条件である数式（２３）〜数式（２５）のいずれかの条件を満たすか否かを判定する（ステップＳ２１４）。
【０１６５】
例外処理の条件に該当する場合（ステップＳ２１４でＹｅｓ）、予測画像特徴量導出部１０９は、予測画像特徴量導出フラグwp_avaiable_flagをfalseに設定する（ステップＳ２１５）。これにより、予測画像の画素平均値DCP及び画素誤差値ACPが初期値に設定される（ステップＳ２１６）。
【０１６６】
一方、例外処理の条件に該当しない場合（ステップＳ２１４でＮｏ）、予測画像特徴量導出部１０９は、wp_avaiable_flagをtrueに設定する（ステップＳ２１７）。
【０１６７】
そして予測画像特徴量導出部１０９は、数式（１９）を用いて、DistScaleFactor、第一参照画像特徴量の画素平均値DC1、及び第二参照画像特徴量の画素平均値DC2から予測画像の画素平均値DCPを導出し、数式（２０）を用いて、DistScaleFactor、第一参照画像特徴量の画素誤差値AC1、及び第二参照画像特徴量の画素誤差値AC2から予測画像の画素誤差値ACPを導出する。そして予測画像特徴量導出部１０９は、導出した予測画像の画素平均値DCP、画素誤差値ACP、及び予測画像特徴量導出フラグwp_avaiable_flagを予測画像特徴量として出力する（ステップＳ２１８）。
【０１６８】
図１４は、第１実施形態のパラメータ導出部１１０で行われるＷＰパラメータ情報導出処理の手順の流れの一例を示すフローチャートである。
【０１６９】
まず、パラメータ導出部１１０は、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅの場合、PRED_TYPEを１に設定し、スライスタイプがＰ−ｓｌｉｃｅの場合、PRED_TYPEを０に設定しておく。なお、パラメータ導出部１１０は、符号化制御部１１３で管理している変数slice_typeを参照することで、符号化対象画像のスライスタイプがＢ−ｓｌｉｃｅかＰ−ｓｌｉｃｅかを判別できる。
【０１７０】
続いて、参照画像特徴量導出部１０８から参照画像群特徴量が入力され、予測画像特徴量導出部１０９から予測画像特徴量が入力されると、パラメータ導出部１１０は、予測画像特徴量導出フラグwp_avaiable_flagがfalseに設定されているか否かを確認する（ステップＳ３０１）。
【０１７１】
wp_avaiable_flagがfalseに設定されている場合（ステップＳ３０１でＹｅｓ）、パラメータ導出部１１０は、数式（２８）を用いてLog2Denomを０に設定する（ステップＳ３０２）。
【０１７２】
続いて、パラメータ導出部１１０は、数式（２６）を用いて全ての参照画像の重み係数を初期値に設定し（ステップＳ３０３）、数式（２７）を用いて全ての参照画像のオフセットを初期値に設定する（ステップＳ３０４）。そして、処理を終了する。
【０１７３】
一方、wp_avaiable_flagがtrueに設定されている場合（ステップＳ３０１でＮｏ）、パラメータ導出部１１０は、Log2Denomを予め定めた値（例えば、７など）に設定する（ステップＳ３０５）。
【０１７４】
続いて、パラメータ導出部１１０は、リスト番号Xを０に初期化し（ステップＳ３０６）、参照画像番号Yを０に初期化する（ステップＳ３０７）。
【０１７５】
続いて、パラメータ導出部１１０は、リスト番号X及び参照画像番号Yに対応する重み係数Weight[X][Y]を、数式（２９）を用いて導出し、オフセットOffset[X][Y]を、数式（３０）を用いて導出する（ステップＳ３０８）。
【０１７６】
続いて、パラメータ導出部１１０は、参照画像番号Yをインクリメントする（ステップＳ３０９）。そしてパラメータ導出部１１０は、インクリメント後の参照画像番号Yがnum_ref_active_lx_minus1よりも大きいかどうかを判別し（ステップＳ３１０）、小さければ（ステップＳ３１０でＮｏ）、ステップＳ３０８に戻る。
【０１７７】
一方、大きければ（ステップＳ３１０でＹｅｓ）、パラメータ導出部１１０は、リスト番号Xの参照リストの全ての参照画像の重み係数及びオフセットの導出を終了したと判断し、リスト番号Xをインクリメントする（ステップＳ３１１）。
【０１７８】
続いて、パラメータ導出部１１０は、インクリメント後のリスト番号XがPRED_TYPEよりも大きいかどうかを判別し（ステップＳ３１２）、小さければ（ステップＳ３１２でＮｏ）、ステップＳ３０７に戻る。
【０１７９】
一方、大きければ（ステップＳ３１２でＹｅｓ）、特徴量制御部４１１は、全ての参照リストを処理したと判断し、ＷＰパラメータ情報を出力して処理を終了する。
【０１８０】
図１５は、第１実施形態の符号化装置１００が利用するシンタクス５００の一例を示す図である。シンタクス５００は、符号化装置１００が入力画像（動画像データ）を符号化して生成した符号化データの構造を示している。符号化データを復号化する場合、後述の復号装置は、シンタクス５００と同一のシンタクス構造を参照して動画像がシンタクス解釈を行う。
【０１８１】
シンタクス５００は、ハイレベルシンタクス５０１、スライスレベルシンタクス５０２及びコーディングツリーレベルシンタクス５０３の３つのパートを含む。ハイレベルシンタクス５０１は、スライスよりも上位のレイヤのシンタクス情報を含む。スライスとは、フレーム若しくはフィールドに含まれる矩形領域又は連続領域を指す。スライスレベルシンタクス５０２は、各スライスを復号化するために必要な情報を含む。コーディングツリーレベルシンタクス５０３は、各コーディングツリー（即ち、各コーディングツリーブロック）を復号するために必要な情報を含む。これら各パートは、更に詳細なシンタクスを含む。
【０１８２】
ハイレベルシンタクス５０１は、シーケンスパラメータセットシンタクス５０４、ピクチャパラメータセットシンタクス５０５、及びアダプテーションパラメータセットシンタクス５０６などのシーケンス及びピクチャレベルのシンタクスを含む。
【０１８３】
スライスレベルシンタクス５０２は、スライスヘッダーシンタクス５０７、プレッドウェイトテーブルシンタクス５０８、及びスライスデータシンタクス５０９などを含む。プレッドウェイトテーブルシンタクス５０８は、スライスヘッダーシンタクス５０７から呼び出される。
【０１８４】
コーディングツリーレベルシンタクス５０３は、コーディングツリーユニットシンタクス５１０、トランスフォームユニットシンタクス５１１、及びプレディクションユニットシンタクス５１２などを含む。コーディングツリーユニットシンタクス５１０は、四分木構造を持つことができる。具体的には、コーディングツリーユニットシンタクス５１０のシンタクス要素として、更にコーディングツリーユニットシンタクス５１０を再帰呼び出しすることができる。即ち、１つのコーディングツリーブロックを四分木で細分化することができる。また、コーディングツリーユニットシンタクス５１０内にはトランスフォームユニットシンタクス５１１が含まれている。トランスフォームユニットシンタクス５１１は、四分木の最末端の各コーディングツリーユニットシンタクス５１０において呼び出される。トランスフォームユニットシンタクス５１１は、逆直交変換及び量子化などに関わる情報が記述されている。
【０１８５】
図１６は、第１実施形態のピクチャパラメータセットシンタクス５０５の一例を示す図である。weighted_unipred_idcは、例えば、Ｐ−ｓｌｉｃｅに関する第１実施形態の重み付き補償予測の有効又は無効を示すシンタクス要素である。weighted_unipred_idcが０である場合、Ｐ−ｓｌｉｃｅ内での第１実施形態の重み付き動き補償予測は無効となる。従って、ＷＰパラメータ情報に含まれるＷＰ適用フラグは常に０に設定され、ＷＰセレクタ３０４、３０５は、各々の出力端をデフォルト動き補償部３０１へ接続する。なお、weighted_unipred_idcが１である場合、Ｐ−ｓｌｉｃｅ内での明示的な重み付き動き補償予測（第１実施形態では未説明）が有効となる。明示的重み付き予測は、ＷＰパラメータ情報を、プレッドウェイトテーブルシンタクスを用いて明示的に符号化するモードの１つであり、例えば、Ｈ．２６４で記述される方法で実現できる。また、weighted_unipred_idcが２である場合、Ｐ−ｓｌｉｃｅ内での第１実施形態の暗黙的重み付き動き補償予測が有効となる。
【０１８６】
なお、別の例として、weighted_unipred_idcをweighted_pred_flagに変更して、Ｐ−ｓｌｉｃｅにおける第１実施形態の暗黙的重み付き動き補償予測を常に禁止するようにしてもよい。
【０１８７】
weighted_bipred_idcは、例えば、Ｂ−ｓｌｉｃｅに関する第１実施形態の重み付き補償予測の有効又は無効を示すシンタクス要素である。weighted_bipred_idcが０である場合、Ｂ−ｓｌｉｃｅ内での第１実施形態の重み付き動き補償予測は無効となる。従って、ＷＰパラメータ情報に含まれるＷＰ適用フラグは常に０に設定され、ＷＰセレクタ３０４、３０５は、各々の出力端をデフォルト動き補償部３０１へ接続する。なお、weighted_bipred_idcが１である場合、Ｂ−ｓｌｉｃｅ内での明示的な重み付き動き補償予測（第１実施形態では未説明）が有効となる。明示的重み付き予測は、ＷＰパラメータ情報を、レッドウェイトテーブルシンタクスを用いて明示的に符号化するモードの１つであり、例えば、Ｈ．２６４で記述される方法で実現できる。また、weighted_bipred_idcが２である場合、Ｂ−ｓｌｉｃｅ内での第１実施形態の暗黙的重み付き動き補償予測が有効となる。
【０１８８】
図１７は、第１実施形態のシーケンスパラメータセットシンタクス５０４の一例を示す図である。profile_idcは、符号化データのプロファイルに関する情報を示す識別子である。level_idcは、符号化データのレベルに関する情報を示す識別子である。seq_parameter_set_idは、いずれのシーケンスパラメータセットシンタクス５０４を参照するかを示す識別子である。max_num_ref_framesは、フレームにおける参照画像の最大数を示す変数である。implicit_weighted_unipred_enabled_flagは、例えば、符号化データに関してＰ−ｓｌｉｃｅの暗黙的重み付き動き補償予測の有効又は無効を示すシンタクス要素である。implicit_weighted_bipred_enabled_flagは、例えば、符号化データに関してＢ−ｓｌｉｃｅの暗黙的重み付き動き補償予測の有効又は無効を示すシンタクス要素である。
【０１８９】
implicit_weighted_unipred_enabled_flag又はimplicit_weighted_bipred_enabled_flagが０である場合、符号化データ内でのＰ−ｓｌｉｃｅ又はＢ−ｓｌｉｃｅの暗黙的重み付き動き補償予測は無効となる。従って、ＷＰパラメータ情報に含まれるＷＰ適用フラグは常に０に設定され、ＷＰセレクタ３０４、３０５は、各々の出力端をデフォルト動き補償部３０１へ接続する。一方、implicit_weighted_unipred_enabled_flag又はimplicit_weighted_bipred_enabled_flagが１である場合、符号化データ内でのＰ−ｓｌｉｃｅ又はＢ−ｓｌｉｃｅの暗黙的重み付き動き補償予測が有効となる。
【０１９０】
なお、別の例として、implicit_weighted_unipred_enabled_flag又はimplicit_weighted_bipred_enabled_flagが１である場合には、より下位のレイヤ（ピクチャパラメータセット、スライスヘッダー、コーディングツリーブロック、トランスフォームユニット、及びプレディクションユニットなど）のシンタクスにおいて、スライス内部の局所領域毎に暗黙的重み付き動き補償予測の有効又は無効を規定するようにしてもよい。
【０１９１】
また、別の例として、implicit_weighted_unipred_enabled_flag又はimplicit_weighted_bipred_enabled_flagが１である場合では、符号化スライスの復号処理が完了した後に、符号化画像の画像特徴量を導出して、参照画像の情報とともにDPBに保持する形としてもよい。この場合、当該符号化スライスが参照画像としてDPBに保持され、他のスライスを符号化する際に参照される度に、画像特徴量を複数回計算する処理を省くことができ、処理量を削減できる。
【０１９２】
以上のように第１実施形態では、参照画像特徴量導出部１０８は、参照画像特徴量として、参照画像の画素平均値及び画素誤差値を導出し、予測画像特徴量導出部１０９は、予測画像特徴量として、予測画像の画素平均値及び画素誤差値を導出し、パラメータ導出部１１０は、ＷＰパラメータ情報として、参照画像の画素平均値及び予測画像の画素平均値を用いて重み係数を導出し、参照画像の画素誤差値及び予測画像の画素誤差値を用いてオフセットを導出する。従って第１実施形態によれば、重み係数だけでなくオフセットも考慮して暗黙的重み付き予測を行うことができるので、この予測により生成した予測画像を用いることにより、予測誤差を低減できるので、符号量を削減でき、符号化効率を向上できる。
【０１９３】
具体的には、第１実施形態では、参照画像間の画素値変化を２つの参照画像間で導出した画素平均値と画素誤差値に基づいて、線形内挿予測又は線形外挿予測して、予測画像の画素平均値と画素誤差値を導出し、参照画像と予測画像の画素値変化を、これらの値から予測する。従って第１実施形態によれば、時間的に連続するフェードやディゾルブ効果を持った映像に対して、効果的に重み係数とオフセットを予測できることにより、予測誤差を低減し、符号化効率を向上させることができ、しいては主観画質を向上させることができる。
【０１９４】
以上説明したように、第１実施形態の符号化装置１００は、重み付き動き補償予測を行う際に、明示的に重みパラメータを符号化しない暗黙的モードを用いる場合に、２つの参照画像間で導出した画像特徴量と時間的距離比から予測画像の画像特徴量を導出し、参照画像と予測画像の重みパラメータとして、重み係数とオフセットを導出することにより、符号量を削減でき、符号化効率を向上できる。
【０１９５】
なお、図１６〜図１７に例示するシンタクステーブルの行間には、第１実施形態において規定していないシンタクス要素が挿入されてもよいし、その他の条件分岐に関する記述が含まれていてもよい。また、シンタクステーブルを複数のテーブルに分割したり、複数のシンタクステーブルを統合したりしてもよい。また、例示した各シンタクス要素の用語は、任意に変更可能である。
【０１９６】
（第１実施形態の変形例１）
第１実施形態の変形例１では、参照画像の画素平均値及び画素誤差値の他の算出手法について説明する。
【０１９７】
参照画像特徴量導出部１０８（平均値算出部４０１及び誤差値算出部４０２）が数式（１０）及び数式（１１）により参照画像の画素平均値及び画素誤差値を算出した場合、算出された画素平均値及び画素誤差値は分数値となり、整数精度に丸めると分数部分の誤差が発生する。
【０１９８】
この誤差の発生を避けるため、ＷＰパラメータ（重み係数及びオフセット）の導出時に除算を一括して行うことにより、除算における丸め誤差を低減できる。この場合、参照画像特徴量導出部１０８は、数式（３４）及び数式（３５）により参照画像の画素平均値及び画素誤差値を算出する。
【０１９９】
【数３】
2013251759.tif 000005
【０２００】
【数４】
2013251759.tif 000006
【０２０１】
この場合、パラメータ導出部１１０は、数式（３６）によりオフセットを算出する。
【０２０２】
Offset[X][Y]  =  ((((curDC<<Log2Denom)-(Weight[X][Y]*(DC[X][Y]<<LeftShft)))/N+RealOfst)>>RealLog2Denom)      …（３６）
【０２０３】
数式（３６）では、数式（３０）に画像サイズNでの除算が追加されている。なお、例えば、画像サイズ毎に内部演算精度を定義しておくことにより、除算Nを削除し、RealLog2Denomの項に含めることもできる。
【０２０４】
第１実施形態の変形例１によれば、除算における丸め誤差を低減できる。
【０２０５】
（第１実施形態の変形例２）
第１実施形態の変形例２でも、参照画像の画素平均値及び画素誤差値の他の算出手法について説明する。
【０２０６】
第１実施形態の変形例１において、参照画像特徴量導出部１０８（平均値算出部４０１及び誤差値算出部４０２）が、画像全体に対して、数式（３４）及び数式（３５）により参照画像の画素平均値及び画素誤差値を算出した場合、画像の解像度に依存して、演算精度が増加する。例えば、４０９６×２１６０画素（≒２の２３乗）を持つ映像の数式（３４）のワースト演算量は、画素レンジを１０ビット信号と仮定すると、２の３３乗（２３＋１０）となり、３２ビット演算を超えてしまう。
【０２０７】
そこで、参照画像特徴量導出部１０８は、予め定めた処理単位で数式（３４）及び数式（３５）を行い、予め定めた値で量子化することにより、処理単位毎の演算精度を解像度によらず一定にすることができる。処理単位としては、スライス単位、ライン単位、又は画素ブロック単位などの任意の単位を設定できる。
【０２０８】
例えば、コーディングツリーユニット単位で行う場合、参照画像特徴量導出部１０８は、図３Ａに示す６４ｘ６４画素単位（２の１２乗）で数式（３４）及び数式（３５）を行い、算出した画素平均値、画素誤差値を、それぞれ、数式（３７）、数式（３８）で量子化する。
【０２０９】
DCLX'  =  (DCLX＋Ofst5)>>Shft5      …（３７）
ACLX'  =  (ACLX＋Ofst5)>>Shft5      …（３８）
【０２１０】
ここで、Shft5は、数式（３９）により算出され、Ofst5は、数式（４０）により算出される。ここでは、数式（３６）のサイズNの項をシフト演算に含めるため、数式（３９）において、Shft5の値を４としている。
【０２１１】
Shft5=4      …（３９）
Ofst5=(1<<(Shft5-1))      …（４０）
【０２１２】
この場合、パラメータ導出部１１０は、数式（３０）によりオフセットを算出し、数式（４１）によりRealLog2Denomを算出する。
【０２１３】
RealLog2Denom  =  Log2Denom+LeftShft+Shft5;      …（４１）
【０２１４】
第１実施形態の変形例２によれば、画像サイズやブロックサイズに依存して発生する除算を右シフトで実現できるようになるとともに、解像度に依存せずに３２ビット演算で処理を行うことが可能となり、ハードウェア規模を削減することができる。
【０２１５】
（第１実施形態の変形例３）
第１実施形態の変形例３でも、参照画像の画素平均値及び画素誤差値の他の算出手法について説明する。
【０２１６】
画面内の画素平均値及び画素誤差値の統計的な性質があまり変化しない単純フェードやディゾルブ効果では、処理領域毎に画素平均値及び画素誤差値を算出し、画像の全画素を用いて画素平均値及び画素誤差値を算出する必要はない。
【０２１７】
そこで、参照画像特徴量導出部１０８は、例えば、１画素ブロック飛ばし、格子状に画素ブロックをサブサンプリング、単純サブサンプリング、ライン毎、又はスライス毎など予め画素平均値及び画素誤差値を算出する領域を定めておくことにより、画素平均値及び画素誤差値を算出に伴う処理量を削減できる。
【０２１８】
（第１実施形態の変形例４）
第１実施形態の変形例４でも、参照画像の画素平均値及び画素誤差値の他の算出手法について説明する。
【０２１９】
参照画像特徴量導出部１０８が処理領域毎に画素平均値及び画素誤差値を算出する場合、パラメータ導出部１１０は、当該処理領域毎にＷＰパラメータ情報を導出できる。例えば、参照画像特徴量導出部１０８がコーディングツリーユニット単位で画素平均値及び画素誤差値を算出する場合、図３Ａに示す６４×６４画素単位で参照画像特徴量を導出し、予測画像特徴量導出部１０８も図３Ａに示す６４×６４画素単位で予測画像特徴量を導出するので、パラメータ導出部１１０は、コーディングツリーユニット単位でＷＰパラメータ情報を導出できる。
【０２２０】
パラメータ導出部１１０は、導出された処理領域毎のＷＰパラメータ情報を用いて、数式（７）又は数式（９）の重み付き動き補償予測を行うことにより、画素ブロック単位で暗黙的動き補償予測を実現できる。例えば、映像の領域毎に異なる時間的画素値変化がある場合で変化が時間的に連続する場合、上述の通り画素ブロック毎にＷＰパラメータ情報を導出し、暗黙的に重み付き動き補償予測を行うことで符号量を削減できる。
【０２２１】
（第２実施形態）
第２実施形態では、第１実施形態の符号化装置で符号化された符号化データを復号する復号装置について説明する。
【０２２２】
図１８は、第２実施形態の復号装置８００の構成の一例を示すブロック図である。
【０２２３】
復号装置８００は、図示せぬ入力バッファなどに蓄積された符号化データを復号画像に復号し、出力画像として図示せぬ出力バッファに出力する。符号化データは、例えば、図１の符号化装置１００などから出力され、図示せぬ蓄積系、伝送系、又はバッファなどを経て、復号装置８００に入力される。
【０２２４】
復号装置８００は、図１８に示すように、復号部８０１と、逆量子化部８０２と、逆直交変換部８０３と、加算部８０４と、予測画像生成部８０５と、参照画像特徴量導出部８０６と、予測画像特徴量導出部８０７と、パラメータ導出部８０８とを、備える。逆量子化部８０２、逆直交変換部８０３、加算部８０４、予測画像生成部８０５、参照画像特徴量導出部８０６、予測画像特徴量導出部８０７、パラメータ導出部８０８は、それぞれ、図１の逆量子化部１０４、逆直交変換部１０５、加算部１０６、予測画像生成部１０７、参照画像特徴量導出部１０８、予測画像特徴量導出部１０９、パラメータ導出部１１０と、実質的に同一又は類似の要素である。なお、図１８に示す復号制御部８０９は、復号装置８００を制御するものであり、例えば、ＣＰＵなどにより実現できる。
【０２２５】
復号部８０１は、符号化データの復号のために、１フレーム又は１フィールド毎にシンタクスに基づいて解読を行う。復号部８０１は、各シンタクスの符号列を順次エントロピー復号し、予測モード、動きベクトル、及び参照画像番号などを含む動き情報、並びに量子化変換係数などの符号化対象ブロックの符号化パラメータを再生する。符号化パラメータは、上記以外にも変換係数に関する情報や量子化に関する情報などの復号に必要となる全てのパラメータを含む。
【０２２６】
具体的には、復号部８０１は、入力されてきた符号化データに対して可変長復号処理や算術復号処理などの復号処理を行う機能を有する。例えば、Ｈ．２６４ではコンテキスト適応型の可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ  ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）やコンテキスト適応型の算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ  ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）などが用いられている。これらの処理は解読処理とも呼ばれる。
【０２２７】
復号部８０１は、動き情報、及び量子化変換係数などを出力し、量子化変換係数を逆量子化部８０２に入力し、動き情報を予測画像生成部８０５に入力する。
【０２２８】
逆量子化部８０２は、復号部８０１から入力された量子化変換係数に対して逆量子化処理を行い、復元変換係数を得る。具体的には、逆量子化部８０２は、復号部８０１において使用された量子化情報に従って逆量子化を行う。より詳細には、逆量子化部８０２は、量子化情報によって導出された量子化ステップサイズを量子化変換係数に乗算し、復元変換係数を得る。逆量子化部８０２は、復元変換係数を出力し、逆直交変換部８０３に入力する。
【０２２９】
逆直交変換部８０３は、逆量子化部８０２から入力された復元変換係数に対して、符号化側において行われた直交変換に対応する逆直交変換を行い、復元予測誤差を得る。逆直交変換部８０３は、復元予測誤差を出力し、加算部８０４に入力する。
【０２３０】
加算部８０４は、逆直交変換部８０３から入力された復元予測誤差と、対応する予測画像とを加算し、復号画像を生成する。加算部８０４は、復号画像を出力し、予測画像生成部８０５に入力する。また加算部８０４は、復号画像を出力画像として外部に出力する。出力画像は、その後図示せぬ外部の出力バッファなどに一時的に蓄積され、例えば、復号制御部８０７によって管理される出力タイミングに従って、図示せぬディスプレイやモニタなどの表示装置系又は映像デバイス系へ出力される。
【０２３１】
予測画像生成部８０５は、復号部８０１から入力された動き情報、パラメータ導出部８０８から入力されたＷＰパラメータ情報、及び加算部８０４から入力された復号画像を用いて、予測画像を生成する。
【０２３２】
ここで、図４を参照しながら、予測画像生成部８０５の詳細について説明する。予測画像生成部８０５は、予測画像生成部１０７同様、複数フレーム動き補償部２０１と、メモリ２０２と、単方向動き補償部２０３と、予測パラメータ制御部２０４と、参照画像セレクタ２０５と、フレームメモリ２０６と、参照画像制御部２０７と、を備える。
【０２３３】
フレームメモリ２０６は、参照画像制御部２０７の制御の下、加算部８０４から入力された復号画像を参照画像として格納する。フレームメモリ２０６は、参照画像を一時保持するための複数のメモリセットＦＭ０〜ＦＭＮ（Ｎ≧１）を有する。
【０２３４】
予測パラメータ制御部２０４は、復号部８０１から入力される動き情報に基づいて、参照画像番号と予測パラメータとの複数の組み合わせをテーブルとして用意している。ここで、動き情報とは、動き補償予測で用いられる動きのズレ量を示す動きベクトルや参照画像番号、単方向／双方向予測などの予測モードに関する情報などを指す。予測パラメータは、動きベクトル及び予測モードに関する情報を指す。そして予測パラメータ制御部２０４は、動き情報に基づいて、予測画像の生成に用いる参照画像番号と予測パラメータとの組み合わせを選択して出力し、参照画像番号を参照画像セレクタ２０５に入力し、予測パラメータを単方向動き補償部２０３に入力する。
【０２３５】
参照画像セレクタ２０５は、フレームメモリ２０６が有するフレームメモリＦＭ０〜ＦＭＮのいずれの出力端を接続するかを、予測パラメータ制御部２０４から入力された参照画像番号に従って切り替えるスイッチである。参照画像セレクタ２０５は、例えば、参照画像番号が０であれば、ＦＭ０の出力端を参照画像セレクタ２０５の出力端に接続し、参照画像番号がＮであれば、ＦＭＮの出力端を参照画像セレクタ２０５の出力端に接続する。参照画像セレクタ２０５は、フレームメモリ２０６が有するフレームメモリＦＭ０〜ＦＭＮのうち、出力端が接続されているフレームメモリに格納されている参照画像を出力し、単方向動き補償部２０３へ入力するとともに参照画像特徴量導出部８０６へ入力する。
【０２３６】
単方向動き補償部２０３は、予測パラメータ制御部２０４から入力された予測パラメータと参照画像セレクタ２０５から入力された参照画像に従って、動き補償予測処理を行い、単方向予測画像を生成する。動き補償予測については、図５を参照して既に説明しているため、説明を省略する。
【０２３７】
単方向動き補償部２０３は、単方向予測画像を出力し、メモリ２０２に一時的に格納する。ここで、動き情報（予測パラメータ）が双方向予測を示す場合には、複数フレーム動き補償部２０１が２種類の単方向予測画像を用いて重み付き予測を行うため、単方向動き補償部２０３は、１つ目に対応する単方向予測画像をメモリ２０２に格納し、２つ目に対応する単法予測画像を複数フレーム動き補償部２０１に直接出力する。ここでは、１つ目に対応する単方向予測画像を第一予測画像とし、２つ目に対応する単方向予測画像を第二予測画像とする。
【０２３８】
なお、単方向動き補償部２０３を２つ用意し、それぞれが２つの単方向予測画像を生成するようにしてもよい。この場合、動き情報（予測パラメータ）が単方向予測を示すときには、単方向動き補償部２０３が、１つ目の単方向予測画像を第一予測画像として複数フレーム動き補償部２０１に直接出力すればよい。
【０２３９】
複数フレーム動き補償部２０１は、メモリ２０２から入力される第一予測画像、単方向動き補償部２０３から入力される第二予測画像、パラメータ導出部８０８から入力されるＷＰパラメータ情報を用いて、重み付き予測を行って予測画像を生成する。複数フレーム動き補償部２０１は、予測画像を出力し、加算部８０４に入力する。
【０２４０】
ここで、図６を参照しながら、複数フレーム動き補償部２０１の詳細について説明する。複数フレーム動き補償部２０１は、予測画像生成部１０７同様、デフォルト動き補償部３０１と、重み付き動き補償部３０２と、ＷＰパラメータ制御部３０３と、ＷＰセレクタ３０４、３０５とを、備える。
【０２４１】
ＷＰパラメータ制御部３０３は、パラメータ導出部８０８から入力されるＷＰパラメータ情報に基づいて、ＷＰ適用フラグ及び重み情報を出力し、ＷＰ適用フラグをＷＰセレクタ３０４、３０５に入力し、重み情報を重み付き動き補償部３０２に入力する。
【０２４２】
ここで、ＷＰパラメータ情報は、重み係数の固定小数点精度、第一予測画像に対応する第一ＷＰ適用フラグ，第一重み係数，及び第一オフセット、並びに第二予測画像に対応する第二ＷＰ適応フラグ，第二重み係数，及び第二オフセットの情報を含む。ＷＰ適用フラグは、該当する参照画像及び信号成分毎に設定可能なパラメータであり、重み付き動き補償予測を行うかどうかを示す。重み情報は、重み係数の固定小数点精度、第一重み係数、第一オフセット、第二重み係数、及び第二オフセットの情報を含む。なおＷＰパラメータ情報は、第１実施形態と同様の情報を表す。
【０２４３】
詳細には、ＷＰパラメータ制御部３０３は、パラメータ導出部８０８からＷＰパラメータ情報が入力されると、ＷＰパラメータ情報を第一ＷＰ適用フラグ、第二ＷＰ適用フラグ、及び重み情報に分離して出力し、第一ＷＰ適用フラグをＷＰセレクタ３０４に入力し、第二ＷＰ適用フラグをＷＰセレクタ３０５に入力し、重み情報を重み付き動き補償部３０２に入力する。
【０２４４】
ＷＰセレクタ３０４、３０５は、ＷＰパラメータ制御部３０３から入力されたＷＰ適用フラグに基づいて、各々の予測画像の接続端を切り替える。ＷＰセレクタ３０４、３０５は、各々のＷＰ適用フラグが０の場合、各々の出力端をデフォルト動き補償部３０１へ接続する。そしてＷＰセレクタ３０４、３０５は、第一予測画像及び第二予測画像を出力し、デフォルト動き補償部３０１に入力する。一方、ＷＰセレクタ３０４、３０５は、各々のＷＰ適用フラグが１の場合、各々の出力端を重み付き動き補償部３０２へ接続する。そしてＷＰセレクタ３０４、３０５は、第一予測画像及び第二予測画像を出力し、重み付き動き補償部３０２に入力する。
【０２４５】
デフォルト動き補償部３０１は、ＷＰセレクタ３０４、３０５から入力された２つの単方向予測画像（第一予測画像及び第二予測画像）を元に平均値処理を行い、予測画像を生成する。具体的には、デフォルト動き補償部３０１は、第一ＷＰ適用フラグ及び第二ＷＰ適用フラグが０の場合、数式（１）に基づいて平均値処理を行う。
【０２４６】
なお、動き情報（予測パラメータ）で示される予測モードが単方向予測である場合、デフォルト動き補償部３０１は、第一予測画像のみを用いて、数式（４）に基づいて最終的な予測画像を算出する。
【０２４７】
重み付き動き補償部３０２は、ＷＰセレクタ３０４、３０５から入力された２つの単方向予測画像（第一予測画像及び第二予測画像）とＷＰパラメータ制御部３０３から入力された重み情報とを元に重み付き動き補償を行う。具体的には、重み付き動き補償部３０２は、第一ＷＰ適用フラグ及び第二ＷＰ適用フラグが１の場合、数式（７）に基づいて重み付き処理を行う。
【０２４８】
なお、重み付き動き補償部３０２は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるｌｏｇＷＤＣを数式（８）のように制御することで丸め処理を実現する。
【０２４９】
また、動き情報（予測パラメータ）で示される予測モードが単方向予測である場合、重み付き動き補償部３０２は、第一予測画像のみを用いて、数式（９）に基づいて最終的な予測画像を算出する。
【０２５０】
なお、重み付き動き補償部３０２は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるｌｏｇＷＤＣを双方向予測時と同様に数式（８）のように制御することで丸め処理を実現する。
【０２５１】
重み係数の固定小数点精度については、図７を参照して既に説明しているため、説明を省略する。なお、単方向予測の場合には、第二予測画像に対応する各種パラメータ（第二ＷＰ適応フラグ，第二重み係数，及び第二オフセットの情報）は利用されないため、予め定めた初期値に設定されていてもよい。
【０２５２】
参照画像特徴量導出部８０６、予測画像特徴量導出部８０７、及びパラメータ導出部８０８により、予測画像生成部８０５から入力された参照画像から、予測画像生成部８０５により生成される予測画像に対応するＷＰパラメータ情報が暗黙的に導出される。
【０２５３】
参照画像特徴量導出部８０６は、予測画像生成部８０５から入力された参照画像それぞれの参照画像特徴量を導出し、導出したそれぞれの参照画像特徴量をまとめた参照画像群特徴量を出力し、予測画像特徴量導出部８０７及びパラメータ導出部８０９に入力する。
【０２５４】
参照画像群特徴量については、図８を参照して既に説明しているため、説明を省略する。ここで、図９を参照しながら、参照画像特徴量導出部８０６の詳細について説明する。参照画像特徴量導出部８０６は、参照画像特徴量導出部１０８同様、平均値算出部４０１と、誤差値算出部４０２と、統合部４０３と、を備える。
【０２５５】
平均値算出部４０１は、予測画像生成部８０５から参照画像が入力される毎に、当該参照画像の画素平均値を算出し、算出した画素平均値を出力し、誤差値算出部４０２及び統合部４０３に入力する。平均値算出部４０１は、例えば数式（１０）を用いて、参照画像の画素平均値を算出する。
【０２５６】
誤差値算出部４０２は、予測画像生成部８０５から参照画像が入力される毎に、平均値算出部４０１から入力された当該参照画像の画素平均値を用いて、当該参照画像の画素平均値の画素誤差値を算出し、算出した画素誤差値を出力し、統合部４０３に入力する。誤差値算出部４０２は、例えば数式（１１）を用いて、参照画像の画素平均値の画素誤差値を算出する。
【０２５７】
統合部４０３は、予測画像生成部８０５から参照画像が入力される毎に、当該参照画像のリスト番号及び参照画像番号、平均値算出部４０１から入力された当該参照画像の画素平均値、並びに誤差値算出部４０２から入力された当該参照画像の画素平均値の画素誤差値を参照画像特徴量に統合する。そして統合部４０３は、統合した参照画像特徴量を図８に示すようにテーブルにまとめて参照画像群特徴量として出力し、予測画像特徴量導出部８０７及びパラメータ導出部８０８に入力する。
【０２５８】
予測画像特徴量導出部８０７は、参照画像特徴量導出部８０６から入力された参照画像群特徴量に基づいて予測画像特徴量を導出し、導出した予測画像特徴量を出力し、パラメータ導出部８０８に入力する。予測画像特徴量は、予測画像の画素平均値、画素平均値からの誤差を平均した画素誤差値、及び予測画像特徴量を導出したか否かを示す予測画像特徴量導出フラグを含む。
【０２５９】
ここで、図１０を参照しながら、予測画像特徴量導出部８０７の詳細について説明する。予測画像特徴量導出部８０７は、予測画像特徴量導出部１０９同様、特徴量制御部４１１と、メモリ４１２と、予測画像特徴量算出部４１３とを、を備える。
【０２６０】
特徴量制御部４１１は、参照画像特徴量導出部８０６から入力された参照画像群特徴量から、予測画像特徴量の導出に用いる２つの参照画像特徴量を選択して出力し、一方をメモリ４１２に入力（ロード）し、他方を予測画像特徴量算出部４１３に入力する。
【０２６１】
具体的には、特徴量制御部４１１は、参照画像群特徴量にまとめられた参照画像特徴量のリスト番号及び参照画像番号から、当該参照画像特徴量の参照画像の表示オーダーを示すＰＯＣ（Picture  Order  Count）を導出する。なお、参照リスト及び参照画像番号は、参照画像を間接的に指定する情報であり、ＰＯＣは、参照画像を直接指定する情報であり、参照画像の絶対位置に相当する。そして特徴量制御部４１１は、導出したＰＯＣの中から符号化対象画像（予測画像）との時間的距離が近い順に２つのＰＯＣを選択することで、参照画像群特徴量から予測画像特徴量の導出に用いる２つの参照画像特徴量を選択する。
【０２６２】
特徴量制御部４１１は、符号化スライスがＰ−ｓｌｉｃｅの場合、数式（１２）を用いて２つのＰＯＣ（POC1及びPOC2）を選択する。
【０２６３】
また特徴量制御部４１１は、符号化スライスがＢ−ｓｌｉｃｅの場合、数式（１３）を用いて２つのＰＯＣ（POC1及びPOC2）を選択する。
【０２６４】
なお特徴量制御部４１１は、選択した２つのＰＯＣ（POC1及びPOC2）が同一である場合、数式（１４）を用いて一方のＰＯＣ（POC2）を再選択する。特徴量制御部４１１は、数式（１４）を繰り返し行うことにより、符号化対象画像から時間的距離が異なる２つのＰＯＣ（符号化対象画像との時間的距離がPOC1と異なるPOC2）を選択できる。
【０２６５】
そして特徴量制御部４１１は、POC1を選択すると、参照画像群特徴量からPOC1に対応する参照画像特徴量を選択して出力し、メモリ４１２に入力する。また特徴量制御部４１１は、POC2を選択すると、参照画像群特徴量からPOC2に対応する参照画像特徴量を選択して出力し、予測画像特徴量算出部４１３に入力する。
【０２６６】
第２実施形態では、特徴量制御部４１１が２つのＰＯＣを選択する例について説明したが、３つ以上のＰＯＣを選択するようにしてもよい。この場合、特徴量制御部４１１は、参照画像群特徴量から３つ以上の参照画像特徴量を選択し、選択された３つ以上の参照画像特徴量から予測画像特徴量が導出される。なお、Ｐ−ｓｌｉｃｅの場合は、Ｎ≧２であることが必要であり、特徴量制御部４１１は、数式（１２）を実行した後にリスト番号０の参照リストを探索するようにすればよい。
【０２６７】
メモリ４１２は、特徴量制御部４１１により入力された参照画像特徴量（POC1に対応する参照画像特徴量（以下、第一参照画像特徴量と称する））を保持する。そしてメモリ４１２は、特徴量制御部４１１から予測画像特徴量算出部４１３に参照画像特徴量（POC2に対応する参照画像特徴量（以下、第二参照画像特徴量と称する））が入力されるタイミングで、第一参照画像特徴量を出力し、予測画像特徴量算出部４１３に入力する。
【０２６８】
予測画像特徴量算出部４１３は、メモリ４１２から入力された第一参照画像特徴量と特徴量制御部４１１から入力された第二参照画像特徴量とを用いて、予測画像特徴量を算出して出力し、パラメータ導出部８０８に入力する。
【０２６９】
予測画像特徴量算出部４１３は、まず、数式（１５）に従って、第一参照画像特徴量の参照画像と第二参照画像特徴量の参照画像との時間的距離を算出する。
【０２７０】
予測画像特徴量算出部４１３は、続いて、数式（１９）に従って予測画像の画素平均値を算出するとともに、数式（２０）に従って予測画像の画素誤差値を算出する。
【０２７１】
但し、予測画像特徴量算出部４１３は、数式（１５）により算出したDistScaleFactorが、数式（２３）〜数式（２５）のいずれかの条件を満たす場合、予測画像特徴量の導出が不可能又は時間的距離が離れすぎているため、予測画像の画素平均値DCP及び予測画像の画素誤差値ACPを初期値に設定する。
【０２７２】
予測画像特徴量算出部４１３は、例えば、DistScaleFactorが数式（２３）〜数式（２５）のいずれかの条件を満たす場合、内部的な変数である予測画像特徴量導出フラグwp_avaiable_flagをfalseに設定し、DistScaleFactorが数式（２３）〜数式（２５）のいずれの条件も満たさない場合、wp_avaiable_flagをtrueに設定する。予測画像特徴量導出フラグがfalseに設定された場合、DCP及びACPには初期値が設定される。例えば、DCPに0を示すDefaultDCが設定され、ACPに0を示すDefaultACが設定される。予測画像特徴量導出フラグがtrueに設定された場合、DCP、ACPには、それぞれ数式（１９）、数式（２０）で算出された値が設定される。
【０２７３】
パラメータ導出部８０８は、参照画像特徴量導出部８０６から入力された参照画像郡特徴量と予測画像特徴量導出部８０７から入力された予測画像特徴量とを用いて、符号化対象画像のＷＰパラメータ情報を導出する。
【０２７４】
ＷＰパラメータ情報については、図１１Ａ及び図１１Ｂを参照して既に説明しているため、説明を省略する。
【０２７５】
パラメータ導出部８０８は、まず、予測画像特徴量に含まれる予測画像特徴量導出フラグwp_avaiable_flagを確認し、ＷＰパラメータ情報を導出可能か否か確認する。wp_avaiable_flagがfalseに設定されている場合、ＷＰパラメータ情報を導出できないため、パラメータ導出部８０８は、リスト番号X、参照画像番号Yに対応する重み係数、オフセットを、それぞれ、数式（２６）、数式（２７）に従って、初期値に設定する。
【０２７６】
パラメータ導出部８０８は、wp_avaiable_flagがfalseに設定されている場合、全てのリスト番号X、参照画像番号Yの組み合わせ（全ての参照画像）に対し、数式（２６）及び数式（２７）を繰り返し実行することにより、ＷＰパラメータ情報に初期値を設定する。
【０２７７】
なお、パラメータ導出部８０８は、wp_avaiable_flagがfalseに設定されている場合、リスト番号X、参照画像番号Yに対応するＷＰ適用フラグ（WP_flag[X][Y]）をfalseに設定する。
【０２７８】
一方、wp_avaiable_flagがtrueに設定されている場合、ＷＰパラメータ情報を導出できるため、パラメータ導出部８０８は、リスト番号X、参照画像番号Yに対応する重み係数、オフセットを、それぞれ、数式（２９）、数式（３０）に従って、導出する。
【０２７９】
パラメータ導出部８０８は、wp_avaiable_flagがtrueに設定されている場合、全てのリスト番号X、参照画像番号Yの組み合わせ（全ての参照画像）に対し、数式（２９）及び数式（３０）を繰り返し実行することにより、図１１Ａ及び図１１Ｂに示すＷＰパラメータ情報を導出する。
【０２８０】
なおパラメータ導出部８０８は、wp_avaiable_flagがtrueに設定されている場合、リスト番号X、参照画像番号Yに対応するＷＰ適用フラグ（WP_flag[X][Y]）をtrueに設定する。
【０２８１】
復号部８０１は、図１５に示すシンタクス５００を利用する。シンタクス５００は、復号部８０１の復号対象の符号化データの構造を示している。シンタクス５００については、図１５を参照して既に説明しているため、説明を省略する。また、ピクチャパラメータセットシンタクス５０５については、符号化が復号である点を除き、図１６を参照して既に説明しているため、説明を省略する。また、シーケンスパラメータセットシンタクス５０４についても、符号化が復号である点を除き、図１７を参照して既に説明しているため、説明を省略する。
【０２８２】
以上説明したように、第２実施形態の復号化装置８００は、重み付き動き補償予測を行う際に、明示的に重みパラメータを符号化しない暗黙的モードを用いる場合に、２つの参照画像間で導出した画像特徴量と時間的距離比から予測画像の画像特徴量を導出し、参照画像と予測画像の重みパラメータとして、重み係数とオフセットを導出することにより、、符号量を削減でき、符号化効率を向上できる。
【０２８３】
（変形例）
上記第１〜第２実施形態では、フレームを１６×１６画素サイズなどの矩形ブロックに分割し、画面左上のブロックから右下に向かって順に符号化／復号を行う例について説明している（図２Ａを参照）。しかしながら、符号化順序及び復号順序はこの例に限定されない。例えば、右下から左上に向かって順に符号化及び復号が行われてもよいし、画面中央から画面端に向かって渦巻を描くように符号化及び復号が行われてもよい。更に、右上から左下に向かって順に符号化及び復号が行われてもよいし、画面端から画面中央に向かって渦巻きを描くように符号化及び復号が行われてもよい。この場合、符号化順序によって参照できる隣接画素ブロックの位置が変わるので、適宜利用可能な位置に変更すればよい。
【０２８４】
上記第１〜第２実施形態では、４×４画素ブロック、８×８画素ブロック、１６×１６画素ブロックなどの予測対象ブロックサイズを例示して説明を行ったが、予測対象ブロックは均一なブロック形状でなくてもよい。例えば、予測対象ブロックサイズは、１６×８画素ブロック、８×１６画素ブロック、８×４画素ブロック、４×８画素ブロックなどであってもよい。また、１つのコーディングツリーブロック内で全てのブロックサイズを統一させる必要はなく、複数の異なるブロックサイズを混在させてもよい。１つのコーディングツリーブロック内で複数の異なるブロックサイズを混在させる場合、分割数の増加に伴って分割情報を符号化又は復号するための符号量も増加する。そこで、分割情報の符号量と局部復号画像または復号画像の品質との間のバランスを考慮して、ブロックサイズを選択することが望ましい。
【０２８５】
上記第１〜第２実施形態では、簡単化のために、輝度信号と色差信号における予測処理とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる予測方法が用いられてよい。輝度信号と色差信号との間で異なる予測方法が用いられるならば、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化又は復号できる。
【０２８６】
上記第１〜第２実施形態では、簡単化のために、輝度信号と色差信号における重み付き動き補償予測処理とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、重み付き動き補償予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる重み付き動き補償予測処理が用いられてよい。輝度信号と色差信号との間で異なる重み付き動き補償予測処理が用いられるならば、色差信号に対して選択した重み付き動き補償予測処理を輝度信号と同様の方法で符号化又は復号できる。
【０２８７】
上記第１〜第２実施形態では、シンタクス構成に示す表の行間には、本実施形態で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても構わない。或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても構わない。
【０２８８】
上記第１実施形態の変形例１〜４を上記第２実施形態に適用してもよい。
【０２８９】
以上説明したように、上記各実施形態は、暗黙的重み付き動き補償予測を行う際に画素値を加算的に補正するオフセットが利用できない問題を解消しつつ、高効率な暗黙的重み付き動き補償予測処理を実現する。故に、上記各実施形態によれば、符号化効率が向上し、ひいては主観画質も向上する。
【０２９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０２９１】
例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【０２９２】
また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【０２９３】
（復号装置の実施例）
次に、上述した符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００を実装する複数の電子機器を含むホームネットワークシステムの全体構成の概要について説明する。
【０２９４】
図１９は、復号装置８００を実装する複数の電子機器がネットワークを介して接続されたホームネットワークシステム１０の全体構成の一例を示す図である。図１９の例では、前述の復号装置８００を実装する実装する電子機器として、テレビジョン受像機２、パーソナルコンピュータ（ＰＣ）等の情報処理装置３、および、ＨＤＤレコーダ、ブルーレイ（登録商標）ディスクレコーダ等のレコーダ４と、タブレット端末、スマートフォン、ＰＤＡ（Personal  Digital  Assistant）、携帯ゲーム機などの情報処理端末１とが、ＬＡＮ（Local  Area  Network）やサーバで構成されるネットワークＮＴを介して接続されている。なお、ネットワークＮＴは、有線ネットワークであっても無線ネットワークであっても、それらを混合したネットワークであってもよい。また、ネットワークに接続されるデバイスの数や種類は、図１９の例に限るものではなく、種々のデバイスを接続可能である。
【０２９５】
テレビジョン受像機２およびレコーダ４は、デジタルテレビチューナを搭載しており、放送局５から送信される放送波から得られる映像信号（符号化装置１００において符号化された符号化データ（映像データ））を受信して復号する機能を有する。
【０２９６】
また、テレビジョン受像機２、情報処理装置３、情報処理端末１などは、例えば、３Ｇ（第３世代）通信などの移動体通信技術やネットワークＮＴを経由することによってインターネット７上の動画配信サーバ６に対して接続し、動画配信サーバ６が提供するＡＶコンテンツである映像信号（符号化装置１００において符号化された符号化データ（映像データ））を取得して復号する機能を有する。
【０２９７】
（各装置の概要）
図１９に示すようなネットワークシステムにおける各装置の概要は、以下のようになる。
【０２９８】
（テレビジョン受像機）
まず、テレビジョン受像機２について説明する。図２０は、テレビジョン受像機２の構成を概略的に示したブロック図である。図２０に示すように、テレビジョン受像機２は、映像信号入力部２１と、画像処理装置である画像処理部２２と、動画改善処理部２４と、表示処理部２５と、表示部２６と、音声処理部２７と、音声出力部２８と、ＳＤＲＡＭ２３，２９を備えている。
【０２９９】
映像信号入力部２１は、表示の対象となる符号化装置１００において符号化された符号化データなどの映像信号が入力される部位であって、デジタル放送受信部２１１と、ＩＰＴＶ信号処理部２１２と、インターネット信号処理部２１３とを備えている。ここで「映像信号」とは、静止画像や動画像からなる画像信号（画像データ）の他、音声信号（音声データ）をも含む概念である。
【０３００】
デジタル放送受信部２１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ２１１１と、デジタル放送を選局するためのデジタルチューナ２１１２と、デジタル放送を復調しデジタルの映像信号として画像処理部２２に出力するデジタル信号復調部２１１３とを有している。
【０３０１】
ＩＰＴＶ信号処理部２１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号として画像処理部２２に出力する。
【０３０２】
インターネット信号処理部２１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号として画像処理部２２に出力する。
【０３０３】
外部入力部２１４は、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号として画像処理部２２に出力する外部入力信号処理部２１４１を有している。外部入力信号処理部２１４１は、ゲーム機やＰＣ（Personal  Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。
【０３０４】
画像処理部２２は、映像信号入力部２１から入力される符号化装置１００において符号化された符号化データなどの映像信号に対して、デコード処理、映像信号の画像データと音声データとの分離処理、画像データのスケール変換処理、高解像度化処理などを行う。すなわち、画像処理部２２は、符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００を含むものである。
【０３０５】
図２１は、画像処理部２２の機能的構成を示すブロック図である。図２１に示すように、画像処理部２２は、符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００であるデコーダ２２１と、音声／画像分離部２２２と、スケール変換部２２３と、映像信号鮮鋭化装置である高解像度化部２２４とを主に備えている。
【０３０６】
デコーダ２２１は、映像信号入力部２１から入力された符号化装置１００において符号化された符号化データ（映像データ）のデコードを行う。音声／画像分離部２２２は、デコードした映像データを音声データと画像データ（動画データ）に分離する。そして、音声／画像分離部２２２は、音声データを音声処理部２７に送出し、画像データ（動画データ）をスケール変換部２２３に送出する。
【０３０７】
スケール変換部２２３は、入力した動画データの各フレームを、４０００×２０００（水平方向４０００画素、垂直方向２０００ライン）の画像サイズの画像データにスケール変換する。例えば、ＤＶＤ等から入力された動画データの場合、各フレームをＳＤ解像度（７２０×４８０）から４０００×２０００の画像サイズに変換する。なお、入力された動画データが４０００×２０００（水平方向４０００画素、垂直方向２０００ライン）の解像度である場合には、スケール変換部２２３でのスケール変換は行わない。
【０３０８】
ここで、スケール変換部２２３が行うスケール変換は、後述する超解像度変換処理とは異なり、単に画像サイズを、１２８０×７２０や１４４０×１０８０などの画像サイズ等から４０００×２０００の画像サイズにスケール変換するだけであり、従来技術の線形フィルタによって画素補間を行う。
【０３０９】
スケール変換部２２３は、入力した動画データをフレームごとに高解像度化部２２４に送出する。
【０３１０】
高解像度化部２２４は、スケール変換部２２３から出力される４０００×２０００の解像度の動画データをフレーム毎に入力し、後述する超解像度変換処理を施して、４０００×２０００の高解像度の動画データを生成するものである。ここで、１４４０×１０８０の解像度を説明の都合上、中解像度という。
【０３１１】
高解像度化部２２４に入力される動画データは、１４４０×１０８０の中解像度の複数のフレームから構成されることになる。そして、この動画データは、中解像度フレーム１が１秒間に６０コマ表示されるように、６０ｆｐｓのフレームレートとなっている。高解像度化部２２４は、入力される中解像度フレームを、高解像度化するための画像処理（以下、「超解像度変換処理（鮮鋭化処理）」という）を施して、高解像度の動画データのフレーム（以下、「高解像度フレーム」という）を生成する。
【０３１２】
ここで、超解像度変換処理とは、第１解像度である低解像度や中解像度の画像信号（低解像度フレームや中解像度フレーム）から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の鮮鋭化映像信号（高解像度フレーム）を復元する鮮鋭化処理を意味する。
【０３１３】
ここで、本来の画素値とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）の画像信号の画素数を持つカメラで撮像したときに得られる画像信号の各画素が持つ値を指す。
【０３１４】
また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
【０３１５】
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施の形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
【０３１６】
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【０３１７】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。高解像度化部２２４は、このような処理を行うことにより、中解像度フレームから本来の画素値を推定して画素を増やすことにより、高解像度フレームを復元する。
【０３１８】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
【０３１９】
ただし、高解像度化部２２４における超解像度変換処理（鮮鋭化処理）の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理であれば、あらゆる手法を適用することができる。
【０３２０】
図２０に戻り、動画改善処理部２４は、画像処理部２２から入力される複数の高解像度フレームからなる画像データから補間フレームを生成して、画像データのフレームレートを増大するように変換する。本実施の形態の動画改善処理部２４では、フレームレート変換処理として、２枚の高解像度フレームの画像から動き補償を行って、補間フレームを生成する補間フレーム生成処理を行っている。
【０３２１】
より具体的には、動画改善処理部２４は、画像処理部２２から出力され、超解像度変換処理が施された後の高解像度フレームを入力し、一方、この高解像度フレームより１つ前の、超解像度変換処理が施された後の高解像度フレームをＳＤＲＡＭ２３から読み出す。そして、二つの高解像度フレームから動きベクトルを算出して動き補償処理を行い、その結果に基づいて二つの高解像度フレームの間に内挿する補間フレームを求める。このような補間フレームの生成処理の詳細な処理としては、特開２００８−３５４０４号公報など公知の手法を用いればよい。ただし、動画改善処理部２４で行われる補間フレーム生成処理は、かかる手法に限定されるものではなく、補間フレームを生成する手法であればいずれの手法も適用することができる。
【０３２２】
本実施の形態では、画像処理部２２により超解像度変換処理が施された後の６０ｆｐｓのフレームレートの動画データを、各フレームの間に補間フレームを内挿することで、１秒あたりのフレーム数が１２０である１２０ｆｐｓのフレームレートの動画データに変換している。
【０３２３】
ここで、ＳＤＲＡＭ２９は、補間フレームの生成の際に一時的にフレームを保存するためのメモリである。
【０３２４】
なお、動画改善処理部２４による変換後のフレームレートはこれに限定されるものではない。また、本実施の形態では、高解像度フレームの間に単一の補間フレームを内挿しているが、これに限定されるものではなく、高解像度フレームの間に複数の補間フレームを挿入するように構成してもよい。
【０３２５】
表示処理部２５は、ディスプレイドライバ等であって、動画改善処理部２４から入力される動画データの表示部２６への表示を制御する。また、表示部２６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction  Electron-emitter  Display）パネル等の表示デバイスであって、表示処理部２５の制御の下、画像信号に応じた画面を表示する。
【０３２６】
音声処理部２７は、画像処理部２２から入力されるデジタルの音声信号を、音声出力部２８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部２８に出力する。音声出力部２８は、スピーカ等であって、音声処理部２７から入力されるアナログ音声信号を音声出力する。
【０３２７】
（レコーダ）
次に、レコーダ４について説明する。図２２は、レコーダ４の構成を概略的に示したブロック図である。図２２に示すように、レコーダ４は、表示の対象となる符号化装置１００において符号化された符号化データであってアンテナ４２で受信したデジタルテレビジョン放送信号を、入力端子４３を介してチューナ部４４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。
【０３２８】
レコーダ４は、チューナ部４４で選局された放送信号を、復調復号部４５に供給してデジタルの映像信号に復元した後、画像処理部４６に出力する。
【０３２９】
画像処理部４６は、復調復号部４５から入力される符号化装置１００において符号化された符号化データなどの映像信号に対して、デコード処理、映像信号の画像データと音声データとの分離処理、画像データのスケール変換処理、高解像度化処理などを行う。すなわち、画像処理部４６は、符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００を含むものである。
【０３３０】
画像処理部４６は、デジタルの音声信号を音声処理部４８に供給するとともに、デジタルの映像信号を映像処理部５０に供給する。映像処理部５０は、入力されたデジタルの映像信号を、テレビジョン受像機２の表示部２６で表示可能なフォーマットのアナログ映像信号に変換する。音声処理部４８は、入力されたデジタルの音声信号を、テレビジョン受像機２の音声出力部２８で再生可能なフォーマットのアナログ音声信号に変換する。
【０３３１】
ここで、レコーダ４は、上記した各種の受信動作を含むその全ての動作を制御部５３によって統括的に制御している。この制御部５３は、ＣＰＵ（Central  Processing  Unit）５３ａを内蔵しており、レコーダ４の本体に設置された操作部５４からの操作情報を受けて、または、リモートコントローラ５５から送出され受信部５６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【０３３２】
制御部５３は、メモリ部５３ｂを利用している。メモリ部５３ｂは、主として、ＣＰＵ５３ａが実行する制御プログラムを格納したＲＯＭ（Read  Only  Memory）と、該ＣＰＵ５３ａに作業エリアを提供するためのＲＡＭ（Random  Access  Memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部５３には、ディスクドライブ部５７が接続されている。ディスクドライブ部５７は、例えばＤＶＤ（Digital  Versatile  Disk）等の光ディスク５８を着脱自在とするもので、装着された光ディスク５８に対してデジタルデータの記録再生を行なう機能を有している。
【０３３３】
制御部５３は、視聴者による操作部５４やリモートコントローラ５５の操作に基づいて、復調復号部４５から得られるデジタルの映像信号及び音声信号を、記録再生処理部４９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部５７に供給して光ディスク５８に記録させるように制御することができる。
【０３３４】
また、制御部５３は、視聴者による操作部５４やリモートコントローラ５５の操作に基づいて、ディスクドライブ部５７により光ディスク５８からデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部４９によって復号化した後、画像処理部４６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【０３３５】
制御部５３には、ＨＤＤ（Hard  Disk  Drive）６０が接続されている。制御部５３は、視聴者による操作部５４やリモートコントローラ５５の操作に基づいて、復調復号部４５から得られるデジタルの映像信号及び音声信号を、記録再生処理部４９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ６０に供給してハードディスク６０ａに記録させるように制御することができる。
【０３３６】
また、制御部５３は、視聴者による操作部５４やリモートコントローラ５５の操作に基づいて、ＨＤＤ６０によりハードディスク６０ａからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部４９によって復号化した後、画像処理部４６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【０３３７】
さらに、レコーダ４には、入力端子４１が接続されている。入力端子４１は、レコーダ４の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子４１を介して入力されたデジタルの映像信号及び音声信号は、制御部５３の制御に基づいて、記録再生処理部４９を介した後、画像処理部４６に供給されて、以後、上記した映像表示及び音声再生に供される。
【０３３８】
また、入力端子４１を介して入力されたデジタルの映像信号及び音声信号は、制御部５３の制御に基づいて、記録再生処理部４９を介した後、ディスクドライブ部５７による光ディスク５８に対しての記録再生や、ＨＤＤ６０によるハードディスク６０ａに対しての記録再生に供される。
【０３３９】
なお、制御部５３は、視聴者による操作部５４やリモートコントローラ５５の操作に基づいて、ディスクドライブ部５７とＨＤＤ６０との間で、光ディスク５８に記録されているデジタルの映像信号及び音声信号をハードディスク６０ａに記録したり、ハードディスク６０ａに記録されているデジタルの映像信号及び音声信号を光ディスク５８に記録したりすることも制御している。
【０３４０】
また、制御部５３には、ネットワークインターフェース６２が接続されている。このネットワークインターフェース６２は、入出力端子６３を介してネットワークＮＴに接続されている。このため、制御部５３は、ネットワークインターフェース６２、入出力端子６３及びネットワークＮＴを介して、動画配信サーバ６にアクセスして情報通信を行なうことにより、そこで提供しているＡＶコンテンツである映像信号（符号化装置１００において符号化された符号化データ（映像データ））を利用することができるようになっている。
【０３４１】
（情報処理装置）
次に、情報処理装置３について説明する。本実施形態は情報処理装置３としてノートブックタイプのパーソナルコンピュータ（以下ノートＰＣという）を適用した例である。
【０３４２】
図２３は、情報処理装置３の構成を概略的に示したブロック図である。図２３に示すように、情報処理装置３は、ＣＰＵ７１、ノースブリッジ７２、主メモリ７３、表示コントローラ７４、ビデオメモリ（ＶＲＡＭ）７４Ａ、ＬＣＤ（Liquid  Crystal  Display）７５、サウスブリッジ７６、サウンドコントローラ７７、スピーカ７８、ＢＩＯＳ−ＲＯＭ７９、ＬＡＮコントローラ８０、ＨＤＤ（hard  disk  drive）８１、ＯＤＤ（optical  disc  drive）８２、無線ＬＡＮコントローラ８３、ＵＳＢコントローラ８４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）８５、キーボード（ＫＢ）８６、例えばマウスであるポインティングデバイス８７等を備えている。
【０３４３】
ＣＰＵ７１は、情報処理装置３の動作を制御するプロセッサであり、ＨＤＤ８１やＯＤＤ８２から主メモリ７３にロードされるオペレーティングシステム（ＯＳ）や、このＯＳ配下で動作する各種アプリケーションプログラムを実行する。また、ＣＰＵ７１は、ＢＩＯＳ−ＲＯＭ７９に格納されたＢＩＯＳ（Basic  Input/Output  System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【０３４４】
ノースブリッジ７２は、ＣＰＵ７１のローカルバスとサウスブリッジ７６との間を接続するブリッジデバイスである。ノースブリッジ７２には、主メモリ７３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ７２は、表示コントローラ７４との通信を実行する機能も有している。
【０３４５】
表示コントローラ７４は、情報処理装置３のディスプレイモニタとして使用されるＬＣＤ７５を制御するデバイスである。この表示コントローラ７４によって表示信号が生成されてＬＣＤ７５に送られる。
【０３４６】
サウスブリッジ７６は、ＰＣＩ（Peripheral  Component  Interconnect）バス上およびＬＰＣ（Low  Pin  Count）バス上の各デバイスを制御する。また、サウスブリッジ７６は、ＨＤＤ８１およびＯＤＤ８２を制御するためのＩＤＥ（Integrated  Drive  Electronics）コントローラおよびＢＩＯＳ−ＲＯＭ７９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ７６は、サウンドコントローラ７７およびＬＡＮコントローラ８０との通信を実行する機能も有している。
【０３４７】
サウンドコントローラ７７は音源デバイスであり、再生対象のオーディオデータをスピーカ７８に出力する。
【０３４８】
ＬＡＮコントローラ８０は、例えばEthernet（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ８３は、例えばＩＥＥＥ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ８４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。
【０３４９】
ＥＣ／ＫＢＣ８５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）８６およびポインティングデバイス８７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ８５は、ユーザの操作に応じて情報処理装置３をパワーオン／パワーオフする機能を有している。
【０３５０】
以上のような構成をもつ情報処理装置３は、ＨＤＤ８１から主メモリ７３にロードされてＣＰＵ７１によって実行されるプログラム群（ＯＳおよび各種アプリケーション）によって、例えば図１９に示した動画配信サーバ６が提供するＡＶコンテンツである映像信号（符号化装置１００において符号化された符号化データ（映像データ））をインターネット７経由でダウンロードして再生するように動作する。
【０３５１】
より具体的には、ＬＡＮコントローラ８０、無線ＬＡＮコントローラ８３またはＵＳＢコントローラ８４による通信処理によってＡＶコンテンツを入力し、このＡＶコンテンツをＣＰＵ７１がデコードしてビデオデータとオーディオデータとに分離し、ビデオデータは表示コントローラ７４に供給してＬＣＤ７５から画像として出力し、オーディオデータはサウンドコントローラ７７に供給してスピーカ７８から音声として出力する。
【０３５２】
すなわち、ＣＰＵ７１は、プログラム群（ＯＳおよび各種アプリケーション）に従って動作することにより、符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００として機能するものである。
【０３５３】
（情報処理端末）
次に、情報処理端末１について説明する。本実施形態は情報処理端末１としてタブレット端末を適用した例である。
【０３５４】
図２４は、情報処理端末１の外観の一例を示す平面図である。情報処理端末１は、ユーザが把持する薄い箱状の筐体１１を備える。情報処理端末１は、筐体１１の前面（一方の主面）側に、情報を表示する表示部１２を備えている。表示部１２は、ユーザによってタッチされた表示画面上の位置を検知するタッチパネルを備える。
【０３５５】
また、情報処理端末１は、筐体１１の前面側であって表示部１２の下側に位置させて、ユーザが各種操作を行うための操作スイッチ１３を備える。また、情報処理端末１は、筐体１１の前面側であって表示部１２の上側に位置させて、音声出力を行うためのスピーカ１４を備える。さらに、情報処理端末１は、筐体１１の上部に、画像を撮影するためのカメラモジュール１５を備える。カメラモジュール１５は、筐体１１の前面側の画像を撮影する前面カメラと、筐体１１の背面（他方の主面）側の画像を撮影する背面カメラとを備える。
【０３５６】
さらにまた、情報処理端末１は、筐体１１の前面側であって表示部１２の上側に位置させて、音声を集音する集音部であるマイク１６を備える。
【０３５７】
図２５は、情報処理端末１のハードウェア構成の一例を示すブロック図である。図２５に示すように、情報処理端末１は、上述の構成に加え、ＣＰＵ（Central  Processing  Unit）９１、システムコントローラ９２、グラフィックスコントローラ９３、タッチパネルコントローラ９４、不揮発性メモリ９５、ＲＡＭ（Random  Access  Memory）９６、音声処理部９７、および無線通信モジュール９８を備える。
【０３５８】
表示部１２は、ディスプレイ１２ａとタッチパネル１２ｂとを組み合わせた、いわゆるタッチスクリーンとして構成される。ディスプレイ１２ａは、例えば、ＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（Electro  Luminescence）ディスプレイなどである。タッチパネル１２ｂは、ユーザの指やスタイラスペンなどによってタッチされたディスプレイ１２ａの表示画面上の位置（タッチ位置）を検知する。
【０３５９】
ＣＰＵ９１は、情報処理端末１の動作を統括的に制御するプロセッサである。ＣＰＵ９１は、システムコントローラ９２を介して情報処理端末１の各部を制御する。不揮発性メモリ９５は、オペレーションシステム（ＯＳ）や各種のアプリケーションプログラム、プログラムの実行に必要な各種データなどを記憶する。ＲＡＭ９６は、情報処理端末１のメインメモリとして、ＣＰＵ９１がプログラムを実行する際の作業領域を提供する。
【０３６０】
ＣＰＵ９１は、例えば、不揮発性メモリ９５からＲＡＭ９６にロードされるオペレーションシステムや各種のアプリケーションプログラムを実行することにより、情報処理端末１の各部を制御するための機能を実現する。
【０３６１】
システムコントローラ９２は、不揮発性メモリ９５およびＲＡＭ９６に対するアクセスを制御するメモリコントローラを内蔵する。また、システムコントローラ９２は、グラフィックスコントローラ９３、タッチパネルコントローラ９４、音声処理部９７との通信を実行する機能を有する。また、システムコントローラ９２は、操作スイッチ１３が受け付けたユーザ操作の情報や、カメラモジュール１５からの画像情報を入力する機能を有する。また、システムコントローラ９２は、無線通信モジュール９８を利用して情報処理端末１の外部から各種情報を取得する機能を有する。
【０３６２】
グラフィックスコントローラ９３は、表示部１２のディスプレイ１２ａを制御する表示コントローラである。タッチパネルコントローラ９４は、タッチパネル１２ｂを制御し、ユーザによるタッチ位置を示す座標データをタッチパネル１２ｂから取得する。
【０３６３】
音声処理部９７は、ＣＰＵ９１による制御のもとで、音声合成などの音声処理を施して生成した音声ガイダンスなどをスピーカ１４から出力させる処理を行うとともに、マイク１６で集音した音声に対する処理を行う。
【０３６４】
無線通信モジュール９８は、ＣＰＵ９１による制御のもとで、ネットワークＮＴを介したテレビジョン受像機２などの間の無線通信や、ネットワークＮＴに接続するための無線通信を実行する。
【０３６５】
以上のような構成をもつ情報処理端末１は、不揮発性メモリ９５からＲＡＭ９６にロードされてＣＰＵ９１によって実行されるプログラム群（ＯＳおよび各種アプリケーション）によって、例えば図１９に示した動画配信サーバ６が提供するＡＶコンテンツである映像信号（符号化装置１００において符号化された符号化データ（映像データ））をインターネット７経由でダウンロードして再生するように動作する。
【０３６６】
より具体的には、無線通信モジュール９８による通信処理によってＡＶコンテンツを入力し、このＡＶコンテンツをＣＰＵ９１がデコードしてビデオデータとオーディオデータとに分離し、ビデオデータはグラフィックスコントローラ９３に供給して表示部１２のディスプレイ１２ａから画像として出力し、オーディオデータは音声処理部９７に供給してスピーカ１４から音声として出力する。
【０３６７】
すなわち、ＣＰＵ９１は、プログラム群（ＯＳおよび各種アプリケーション）に従って動作することにより、符号化装置１００において符号化された符号化データ（映像データ）を復号する復号装置８００として機能するものである。
【０３６８】
（付記１）
２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する第１導出ステップと、
前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する第２導出ステップと、
前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する第３導出ステップと、
前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する予測画像生成ステップと、
を含む予測画像生成方法。
【０３６９】
（付記２）
前記第３導出ステップでは、前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値との比率に従って前記参照画像それぞれの前記重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とに従って前記参照画像それぞれの前記オフセットを導出し、
前記予測画像生成ステップでは、前記対象ブロックの前記参照画像を動きベクトルに従って動き補償予測した値に、当該参照画像の前記重み係数を乗じ、当該参照画像の前記オフセットを加算することにより、前記対象ブロックの前記予測画像を生成する付記１に記載の予測画像生成方法。
【０３７０】
（付記３）
前記第２導出ステップでは、前記２以上の参照画像の中から画像表示時間が互いに異なる参照画像を前記少なくとも２つの参照画像に選択する付記１に記載の予測画像生成方法。
【０３７１】
（付記４）
前記第２導出ステップでは、前記２以上の参照画像の中から前記予測画像との時間的距離が近い順に前記少なくとも２つの参照画像を選択する付記３に記載の予測画像生成方法。
【０３７２】
（付記５）
前記第２導出ステップでは、外挿予測又は内挿予測の線形予測を行うことにより、前記予測画像の前記画素平均値及び前記画素誤差値を導出する付記１に記載の予測画像生成方法。
【０３７３】
（付記６）
前記第１導出ステップでは、前記２以上の参照画像それぞれの前記画素平均値及び前記画素誤差値を整数精度で導出し、
前記第３導出ステップでは、前記参照画像の前記重み係数及び前記オフセットの導出時に予め定めた固定小数点精度への丸め処理を行う付記１に記載の予測画像生成方法。
【０３７４】
（付記７）
前記第１導出ステップでは、前記２以上の参照画像それぞれの前記画素平均値及び前記画素誤差値を、スライス単位、ライン単位、又は画素ブロック単位のいずれかの単位で導出して、予め定めた固定小数点精度で量子化する付記１に記載の予測画像生成方法。
【０３７５】
（付記８）
前記第１導出ステップでは、前記２以上の参照画像それぞれの前記画素平均値及び前記画素誤差値を、サブサンプリングされたスライス単位、ライン単位、又は画素ブロック単位のいずれかの単位で導出する付記１に記載の予測画像生成方法。
【０３７６】
（付記９）
前記第１導出ステップでは、前記入力画像の符号化後に前記２以上の参照画像それぞれの前記画素平均値及び前記画素誤差値を導出し、
前記第３導出ステップでは、前記参照画像の管理方法に従って、前記参照画像の前記画素平均値及び前記画素誤差値を参照する付記１に記載の予測画像生成方法。
【０３７７】
（付記１０）
前記第１導出ステップでは、前記２以上の参照画像それぞれの前記画素平均値及び前記画素誤差値を、スライス単位、ライン単位、又は画素ブロック単位のいずれかの単位で導出し、
前記第２導出ステップでは、前記予測画像の前記画素平均値及び前記画素誤差値を前記単位で導出し、
前記第３導出ステップでは、前記参照画像の前記重み係数及び前記オフセットを前記単位で導出し、
前記予測画像生成ステップでは、前記対象ブロックの前記参照画像を動きベクトルに従って動き補償予測した値に、当該参照画像の前記単位での前記重み係数を乗じ、当該参照画像の前記単位での前記オフセットを加算することにより、前記対象ブロックの前記予測画像を生成する付記１に記載の予測画像生成方法。
【０３７８】
（付記１１）
２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する第１導出ステップと、
前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する第２導出ステップと、
前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する第３導出ステップと、
前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する予測画像生成ステップと、
前記入力画像と前記予測画像とに基づく値を符号化する符号化ステップと、
を含む符号化方法。
【０３７９】
（付記１２）
２以上の参照画像それぞれの画素平均値及び当該画素平均値との画素の差分を示す画素誤差値を導出する第１導出ステップと、
前記２以上の参照画像のうちの少なくとも２つの参照画像と予測画像との時間距離比及び前記少なくとも２つの参照画像の前記画素平均値を用いて前記予測画像の画素平均値を導出するとともに、前記時間距離比及び前記少なくとも２つの参照画像の前記画素誤差値を用いて前記予測画像の画素誤差値を導出する第２導出ステップと、
前記参照画像の前記画素誤差値と前記予測画像の前記画素誤差値とを用いて前記参照画像の重み係数を導出するとともに、導出した前記重み係数と前記参照画像の前記画素平均値と前記予測画像の前記画素平均値とを用いて前記参照画像のオフセットを導出する第３導出ステップと、
前記参照画像のうち入力画像を複数のブロックに分割した１つの対象ブロックの参照画像、当該参照画像の前記重み係数、及び当該参照画像の前記オフセットを用いて、前記対象ブロックの前記予測画像を生成する予測画像生成ステップと、
前記予測画像に基づいて復号画像を生成する復号ステップと、
を含む復号方法。
【符号の説明】
【０３８０】
１００  符号化装置
１０１  減算部
１０２  直交変換部
１０３  量子化部
１０４  逆量子化部
１０５  逆直交変換部
１０６  加算部
１０７  予測画像生成部
１０８  参照画像特徴量導出部
１０９  予測画像特徴量導出部
１１０  パラメータ導出部
１１１  動き評価部
１１２  符号化部
１１３  符号化制御部
２０１  複数フレーム動き補償部
２０２  メモリ
２０３  単方向動き補償部
２０４  予測パラメータ制御部
２０５  参照画像セレクタ
２０６  フレームメモリ
２０７  参照画像制御部
３０１  デフォルト動き補償部
３０２  重み付き動き補償部
３０３  ＷＰパラメータ制御部
３０４、３０５  ＷＰセレクタ
４０１  平均値算出部
４０２  誤差値算出部
４０３  統合部
４１１  特徴量制御部
４１２  メモリ
４１３  予測画像特徴量算出部
８００  復号装置
８０１  復号部
８０２  逆量子化部
８０３  逆直交変換部
８０４  加算部
８０５  予測画像生成部
８０６  参照画像特徴量導出部
８０７  予測画像特徴量導出部
８０８  パラメータ導出部
８０９  復号制御部
【図１】
2013251759.tif 000007
【図２】
2013251759.tif 000008
【図４】
2013251759.tif 000009
【図８】
2013251759.tif 000010
【図９】
2013251759.tif 000011
【図１０】
2013251759.tif 000012
【図１１Ａ】
2013251759.tif 000013
【図１１Ｂ】
2013251759.tif 000014
【図１２】
2013251759.tif 000015
【図１３】
2013251759.tif 000016
【図１４】
2013251759.tif 000017
【図１５】
2013251759.tif 000018
【図１６】
2013251759.tif 000019
【図１７】
2013251759.tif 000020
【図１８】
2013251759.tif 000021
【図１９】
2013251759.tif 000022
【図２０】
2013251759.tif 000023
【図２１】
2013251759.tif 000024
【図２２】
2013251759.tif 000025
【図２３】
2013251759.tif 000026
【図２４】
2013251759.tif 000027
【図２５】
2013251759.tif 000028
【図３Ａ】
2013251759.tif 000029
【図３Ｂ】
2013251759.tif 000030
【図３Ｃ】
2013251759.tif 000031
【図３Ｄ】
2013251759.tif 000032
【図５】
2013251759.tif 000033
【図６】
2013251759.tif 000034
【図７】
2013251759.tif 000035