(57)【要約】【課題】好適な双方向予測を可能とする符号化装置、符号化方法、復号化装置、及び復号化方法を提供する。【解決手段】第１参照画像及び第２参照画像を含む複数の参照画像を記憶するフレームメモリと、入力動画像中の符号化対象画像のうちの符号化対象領域が参照する第１及び第２参照画像内の第１及び第２領域の位置を定める第１及び第２動きベクトルを求める手段と、第１領域に適用される第１重み係数、及び第２領域に適用される第２重み係数を定める重み係数決定手段と、第１領域内の画素の画素値に第１重み係数を乗算すると共に、第２領域内の画素の画素値に第２重み係数を乗算することにより、符号化対象領域に対する予測画素値を算出する手段とを備え、輝度信号に対して適用される第１重み係数及び第２重み係数と、色差信号に対して適用される第１重み係数及び第２重み係数とは、異なる値を取り得る。【選択図】図３
2018056699.tif 000002
【特許請求の範囲】
【請求項１】
輝度信号と２つの色差信号とを有する入力動画像を、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化する符号化装置であって、
第１参照画像及び第２参照画像を含む複数の参照画像を記憶するフレームメモリと、
前記入力動画像中の符号化対象画像のうちの符号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルと、前記符号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルとを求める手段と、
前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより参照される前記第２領域に適用される前記第２重み係数を定める重み係数決定手段と、
前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記符号化対象領域に対する予測画素値を算出する手段と、
前記符号化対象領域内の画素の画素値と前記予測画素値との差異に係る残差情報を符号化することにより符号化データを生成する符号化手段と
を備え、
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る、
符号化装置。
【請求項２】
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数は１／２であり、
前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数は１／２以外の値を取り得る、
請求項１記載の符号化装置。
【請求項３】
前記符号化データは、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数の情報を含むと共に、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数の情報を含まない、
請求項２記載の符号化装置。
【請求項４】
前記符号化データは、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数が１／２であるか否かを示すフラグを含む、
請求項２又は請求項３記載の符号化装置。
【請求項５】
前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数は、２つの前記色差信号に対してそれぞれ異なる値を取り得る、
請求項１乃至請求項４のいずれか１項記載の符号化装置。
【請求項６】
前記第１重み係数及び前記第２重み係数の合計値は１である、
請求項１乃至請求項５のいずれか１項記載の符号化装置。
【請求項７】
前記重み係数決定手段は、前記符号化対象領域の上側の隣接画素及び左側の隣接画素の少なくとも一方の画素値を用いて、前記第１重み係数及び前記第２重み係数を求める、
請求項１乃至請求項６のいずれか１項記載の符号化装置。
【請求項８】
前記符号化データは、前記符号化対象領域に係る前記第１重み係数及び前記第２重み係数を求めるに際に参照すべき隣接画素の情報を含む、
請求項７記載の符号化装置。
【請求項９】
前記入力動画像中の前記符号化対象画像を、１以上の前記符号化対象領域が含まれるスライス及び／又はタイルに分割する手段
を更に備え、
前記重み係数決定手段は、
前記符号化対象領域が属する前記スライス及び／又はタイル内に、当該符号化対象領域が上側で隣接する画素が存在せず、左側で隣接する画素が存在する場合に、当該左側で隣接する画素の画素値を用いて、前記第１重み係数及び前記第２重み係数を求め、
前記符号化対象領域が属する前記スライス及び／又はタイル内に、当該符号化対象領域が上側で隣接する画素が存在し、左側で隣接する画素が存在しない場合に、当該上側で隣接する画素の画素値を用いて、前記第１重み係数及び前記第２重み係数を求める、
請求項７又は請求項８記載の符号化装置。
【請求項１０】
輝度信号と２つの色差信号とを有する入力動画像が、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化された符号化データを復号する復号化装置であって、
前記入力動画像中の復号化対象画像のうちの復号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルの情報と、前記復号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルの情報と、前記復号化対象領域内の画素の画素値と予測画素値との差異に基づく残差情報とを含む前記符号化データの入力を受ける手段と、
第１参照画像及び第２参照画像を含む複数の参照画像を記憶するフレームメモリと、
前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより算出される前記第２領域に適用される前記第２重み係数を定める重み係数決定手段と、
前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記復号化対象領域に対する前記予測画素値を算出する手段と
を備え、
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る、
復号化装置。
【請求項１１】
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数は１／２であり、
前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数は１／２以外の値を取り得る、
請求項１０記載の復号化装置。
【請求項１２】
前記符号化データは、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数の情報を含むと共に、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数の情報を含まない、
請求項１１記載の復号化装置。
【請求項１３】
前記符号化データは、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数が１／２であるか否かを示すフラグを含む、
請求項１１又は請求項１２記載の復号化装置。
【請求項１４】
前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数は、２つの前記色差信号に対してそれぞれ異なる値を取り得る、
請求項１０乃至請求項１３のいずれか１項記載の復号化装置。
【請求項１５】
前記第１重み係数及び前記第２重み係数の合計値は１である、
請求項１０乃至請求項１４のいずれか１項記載の復号化装置。
【請求項１６】
前記重み係数決定手段は、前記復号化対象領域の上側で隣接する画素及び左側で隣接する画素の少なくとも一方の画素値を用いて、前記第１重み係数及び前記第２重み係数を求める、
請求項１０乃至請求項１５のいずれか１項記載の復号化装置。
【請求項１７】
前記符号化データは、前記復号化対象領域に係る前記第１重み係数及び前記第２重み係数を求めるに際に参照すべき隣接画素の情報を含む、
請求項１６記載の復号化装置。
【請求項１８】
前記符号化データは、前記復号化対象画像が分割された、１以上の前記復号化対象領域が含まれるスライス及び／又はタイル毎に復号され、
前記重み係数決定手段は、
前記復号化対象領域が属する前記スライス及び／又はタイル内に、当該復号化対象領域が上側で隣接する画素が存在せず、左側で隣接する画素が存在する場合に、当該左側で隣接する画素の画素値を用いて、前記第１重み係数及び前記第２重み係数を求め、
前記復号化対象領域が属する前記スライス及び／又はタイル内に、当該復号化対象領域が上側で隣接する画素が存在し、左側で隣接する画素が存在しない場合に、当該上側で隣接する画素の画素値を用いて、前記第１重み係数及び前記第２重み係数を求める、
請求項１６又は請求項１７記載の復号化装置。
【請求項１９】
輝度信号と２つの色差信号とを有する入力動画像を、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化する符号化方法であって、
第１参照画像及び第２参照画像を含む複数の参照画像を記憶するステップと、
前記入力動画像中の符号化対象画像のうちの符号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルと、前記符号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルとを求めるステップと、
前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより参照される前記第２領域に適用される前記第２重み係数を定めるステップと、
前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記符号化対象領域に対する予測画素値を算出するステップと、
前記符号化対象領域内の画素の画素値と前記予測画素値との差異に係る残差情報を符号化することにより符号化データを生成するステップと
を符号化装置が行い、
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る、
符号化方法。
【請求項２０】
輝度信号と２つの色差信号とを有する入力動画像が、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化された符号化データを復号する復号化方法であって、
前記入力動画像中の復号化対象画像のうちの復号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルの情報と、前記復号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルの情報と、前記復号化対象領域内の画素の画素値と予測画素値との差異に基づく残差情報とを含む前記符号化データの入力を受けるステップと、
第１参照画像及び第２参照画像を含む複数の参照画像を記憶するステップと、
前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより算出される前記第２領域に適用される前記第２重み係数を定めるステップと、
前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記復号化対象領域に対する前記予測画素値を算出するステップと
を復号化装置が行い、
前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る、
復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明に係るいくつかの態様は、画像を符号化及び復号化するための符号化装置、符号化方法、復号化装置、及び復号化方法に関する。
【背景技術】
【０００２】
現在、従来のＨ．２６４／ＡＶＣ（以下、「ＡＶＣ」ともいう。）やＨ．２６５／ＨＥＶＣ（以下、「ＨＥＶＣ」ともいう。）よりも符号化効率を更に向上させることを目的として、ＩＴＵ−Ｔ  ＶＣＥＧ及びＩＳＯ／ＩＥＣとが共同したＪＶＥＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅａｍ）により、新たな符号化方式に関する検討が行われている。
【０００３】
ＡＶＣやＨＥＶＣのように、複数の予測モードがある符号化方式では、エンコーダ（符号化装置）側で、候補となる予測モードに対してコスト関数値を算出した上で、その値を最小にする予測モードが符号化対象のブロックに適用される。例えば、ＪＭ（Ｊｏｉｎｔ  Ｍｏｄｅｌ）と呼ばれるＡＶＣの参照ソフトウェア（Ｒｅｆｅｒｅｎｃｅ  Ｓｏｆｔｗａｒｅ）においては、ハイ・コンプレクシティ・モード（Ｈｉｇｈ  Ｃｏｍｐｌｅｘｉｔｙ  Ｍｏｄｅ）と、ロー・コンプレクシティ・モード（Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｍｏｄｅ）の２つのモード判定方式が実装されている。ここで、ハイ・コンプレクシティ・モードと、ロー・コンプレクシティ・モードとでは、演算量が異なる別のコスト関数が用いられる。いずれの方式を用いる場合も、候補となる各々の予測モードに対してコスト関数値を算出し、この値を最小とする予測モードを符号化対象ブロック（カレントブロック）に適用することができる。
【０００４】
ここで、ＡＶＣやＨＥＶＣでは、２つの参照画像（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）を用いて、符号化対象ブロックに対する予測を行う双方向予測（ｂｉ−ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる予測方式が規定されている。ＡＶＣやＨＥＶＣの双方向予測では、画素値は以下の式（１）により算出される。
【０００５】
【数１】
2018056699.tif 000003
【０００６】
式（１）において、ｘは処理対象の画素の座標位置（ｘ座標方向及びｙ座標方向を含む二次元のベクトル値）、ｖ0及びｖ1は動きベクトル（ｘ座標方向及びｙ座標方向を含む二次元のベクトル値）を示す。Ｐは処理対象ブロックの画素の予測値、Ｐ0及びＰ1は参照画像における画素値である。式（１）を用いた双方向予測では、２枚の参照画像の画素値に対して、それぞれ同一の重み１／２を乗算して予測画素値が算出される。
これに対し、非特許文献１では、以下の式（２）を用いて、異なる重みを用いて予測画素値を算出することが提案されている。
【０００７】
【数２】
2018056699.tif 000004
【０００８】
式（２）において、ｗは重みである。非特許文献１においては、当該重み係数ｗは−１／４、１／４、３／８、１／２、５／８、３／４、５／４に限定した上で、ｗのインデックスの値が、予測ブロック（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）毎に明示的に伝達される。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】C.C.Chen、外３名、"Generalized bi-prediction for inter coding"、JVET-C0047、２０１６年５月
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、非特許文献１記載の手法では、動きベクトルと重み係数の組み合わせが膨大となる。この結果、動きベクトルと重み係数の最適な組み合わせを求めるには、多大な演算量が必要となる。
【００１１】
また、非特許文献１記載の手法では、重み係数ｗに関する情報を、符号化データ（ビットストリーム）に含めて明示的に伝達する必要がある。このため、符号化データにおける情報量が増大し、符号化効率が低下する。
【００１２】
更に、非特許文献１では、重み係数ｗについて、輝度信号及び色差信号にそれぞれどのように適用するかを考慮していない。
【００１３】
本発明のいくつかの態様は前述の課題のいずれかに鑑みてなされたものであり、好適な双方向予測を可能とする符号化装置、符号化方法、復号化装置、及び復号化方法を提供することを目的の１つとする。
【課題を解決するための手段】
【００１４】
本発明の１の態様に係る符号化装置は、輝度信号と２つの色差信号とを有する入力動画像を、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化する符号化装置であって、第１参照画像及び第２参照画像を含む複数の参照画像を記憶するフレームメモリと、前記入力動画像中の符号化対象画像のうちの符号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルと、前記符号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルとを求める手段と、前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより参照される前記第２領域に適用される前記第２重み係数を定める重み係数決定手段と、前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記符号化対象領域に対する予測画素値を算出する手段と、前記符号化対象領域内の画素の画素値と前記予測画素値との差異に係る残差情報を符号化することにより符号化データを生成する符号化手段とを備え、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る。
【００１５】
本発明の１の態様に係る復号化装置は、輝度信号と２つの色差信号とを有する入力動画像が、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化された符号化データを復号する復号化装置であって、前記入力動画像中の復号化対象画像のうちの復号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルの情報と、前記復号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルの情報と、前記復号化対象領域内の画素の画素値と予測画素値との差異に基づく残差情報とを含む前記符号化データの入力を受ける手段と、第１参照画像及び第２参照画像を含む複数の参照画像を記憶するフレームメモリと、前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより算出される前記第２領域に適用される前記第２重み係数を定める重み係数決定手段と、前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記復号化対象領域に対する前記予測画素値を算出する手段とを備え、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る。
【００１６】
本発明の１の態様に係る符号化方法は、輝度信号と２つの色差信号とを有する入力動画像を、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化する符号化方法であって、第１参照画像及び第２参照画像を含む複数の参照画像を記憶するステップと、前記入力動画像中の符号化対象画像のうちの符号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルと、前記符号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルとを求めるステップと、前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより参照される前記第２領域に適用される前記第２重み係数を定めるステップと、前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記符号化対象領域に対する予測画素値を算出するステップと、前記符号化対象領域内の画素の画素値と前記予測画素値との差異に係る残差情報を符号化することにより符号化データを生成するステップとを符号化装置が行い、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る。
【００１７】
本発明の１の態様に係る復号化方法は、輝度信号と２つの色差信号とを有する入力動画像が、第１重み係数及び第２重み係数を用いた双方向予測により予測符号化された符号化データを復号する復号化方法であって、前記入力動画像中の復号化対象画像のうちの復号化対象領域が参照する前記第１参照画像内の第１領域の位置を定める第１動きベクトルの情報と、前記復号化対象領域が参照する前記第２参照画像内の第２領域の位置を定める第２動きベクトルの情報と、前記復号化対象領域内の画素の画素値と予測画素値との差異に基づく残差情報とを含む前記符号化データの入力を受けるステップと、第１参照画像及び第２参照画像を含む複数の参照画像を記憶するステップと、前記第１動きベクトルにより参照される前記第１領域に適用される前記第１重み係数、及び前記第２動きベクトルにより算出される前記第２領域に適用される前記第２重み係数を定めるステップと、前記第１領域内の画素の画素値に前記第１重み係数を乗算すると共に、前記第２領域内の画素の画素値に前記第２重み係数を乗算することにより、前記復号化対象領域に対する前記予測画素値を算出するステップとを復号化装置が行い、前記輝度信号に対して適用される前記第１重み係数及び前記第２重み係数と、前記色差信号に対して適用される前記第１重み係数及び前記第２重み係数とは、異なる値を取り得る。
【００１８】
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
【図面の簡単な説明】
【００１９】
【図１】双方向予測について説明するための図である。
【図２ａ】本実施形態に係る双方向予測の一例を説明するための図である。
【図２ｂ】本実施形態に係る双方向予測の一例を説明するための図である。
【図２ｃ】画像の分割方法の具体例を示す図である。
【図２ｄ】本実施形態に係る双方向予測の一例を説明するための図である。
【図３】実施形態に係る符号化装置の機能構成を示すブロック図である。
【図４】図３に示す符号化装置の一部の機能構成を示すブロック図である。
【図５】実施形態に係る復号化装置の機能構成を示すブロック図である。
【図６】図５に示す復号化装置の一部の機能構成を示すブロック図である。
【図７】図３に示す符号化装置の処理の流れを示すフローチャートである。
【図８】図５に示す復号化装置の処理の流れを示すフローチャートである。
【図９】符号化データの構成の具体例を示す図である。
【図１０】図３及び図５に示した符号化装置及び復号化装置を実装可能なハードウェア構成の具体例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【００２１】
（１  概要）
ＡＶＣやＨＥＶＣ等の動画像符号化方式においては、２つの参照画像（ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）を用いて、処理対象ブロックに対する予測を行う双方向予測（ｂｉ−ｐｒｅｄｉｃｔｉｏｎ）と呼ばれる予測方式が規定されている。以下、図１を参照しながら、双方向予測について簡単に説明する。
【００２２】
双方向予測では、先に復号される２枚の参照画像Ｐ0及びＰ1を参照することにより、予測ユニットＰＵ（処理対象の画像ＣＰを分割した処理対象のブロックに相当する）における輝度や色差の画素値を予測する。図１の例では、予測ユニットＰＵが、参照情報ｒ0及びｒ1（以下、参照情報ｒともいう。）により、参照画像Ｐ0及びＰ1を参照しているものとする。また、動きベクトルｖ0及びｖ1（以下総称して動きベクトルｖともいう。）により、予測の際に参照すべき各参照画像Ｐ0及びＰ1内の位置が、予測ユニットＰＵから見た相対方向（ｘ座標方向及びｙ座標方向のベクトル値）として指定されているものとする。ブロックＢ0及びＢ1は、参照情報ｒ及び動きベクトルｖにより指定される、予測ユニットＰＵから参照されるブロックである。
【００２３】
この時、処理対象の画像ＣＰ内の座標位置ｘ（ｘ座標及びｙ座標の値を含むベクトル値）の画素値をＰ［ｘ］とすると、ＡＶＣやＨＥＶＣにおける双方向予測では、Ｐ［ｘ］は以下の式（１）により算出される。
【００２４】
【数３】
2018056699.tif 000005
【００２５】
式（１）を用いた双方向予測では、２枚の参照画像Ｐ0及びＰ1内の画素値Ｐ［ｘ＋ｖ0］及びＰ［ｘ＋ｖ1］に対して、それぞれ同一の重み係数１／２を乗算して、処理対象の予測ユニットＰＵ内の画素の画素値Ｐ［ｘ］が算出される。
【００２６】
ここで、ＡＶＣやＨＥＶＣの双方向予測を修正し、以下の式（２）を用いて、異なる重み係数ｗ及び（１−ｗ）を用いて予測画素値を算出することも考えられる。
【００２７】
【数４】
2018056699.tif 000006
【００２８】
式（２）において、重み係数ｗを任意の値とすると、重み係数ｗを伝送するために多くの符号化量が必要となるため、符号化効率が低下する。よって、重み係数ｗを−１／４、１／４、３／８、１／２、５／８、３／４、５／４に限定した上で、重み係数ｗのインデックスの値を、予測ユニットＰＵ毎に明示的に伝達することも考えられる。
しかしながら、このような手法により双方向予測を行うと、以下のような課題が生じする。
【００２９】
［課題１］符号化の際、動きベクトルｖと重み係数ｗを算出する必要があるが、動きベクトルｖと重み係数ｗの組み合わせが膨大となるため、最適な組み合わせを求めるには多大な演算量が必要となる。
【００３０】
［課題２］重み係数ｗに関する情報（重み係数ｗそのもの、又は重み係数ｗのインデックス）を伝達する必要があるため、符号化の結果出力されるビットストリーム（符号化データ）における情報量が増大し、符号化効率が低下する。
【００３１】
よって、以下に説明する予測処理方法では、上記２つの課題の少なくともいずれかを解決するため、２つの手法の少なくともいずれかを用いる。なお、両手法は、予測処理において各々独立して適用することができ、必ずしも両者を組み合わせて用いる必要はない。
【００３２】
以下の説明において、参照画像Ｐは、参照画像Ｐ0及びＰ1の２枚であるものとして説明する。しかしながら、参照画像Ｐは必ずしも２枚である必要はなく、３枚以上の参照画像を用いて予測することも考えられる。この場合には、各々の参照画像に対して、参照情報ｒ、動きベクトルｖ、重み係数ｗを用意することが可能である。
【００３３】
また以下の説明では、２枚の参照画像Ｐ0及びＰ1に対して各々適用する重み係数をｗ及び（１−ｗ）とし、２枚の参照画像Ｐ0及びＰ1に適用される重み係数の合計を１であるものとして説明する。しかしながら、２枚の参照画像に適用される重み係数の合計を１以外とすることも考えられる。
【００３４】
（１．１  手法１：演算量の低減）
手法１は、主に上記課題１を解決するためのもの、すなわち、符号化処理の際、動きベクトルｖ及び重み係数ｗの組み合わせ算出に係る演算量を低減するためのものである。具体的には、まず、予測ユニットＰＵにおける輝度信号成分については、上記（１）式による予測で好適な結果が得られる動きベクトルｖ0及びｖ1を算出する。上記（１）式において、２枚の参照画像Ｐ0及びＰ1に対して適用される重み係数（以下、輝度信号に対してのみ適用される重み係数を、ｗYともいう）は１／２に固定であるため、動きベクトルｖの決定に必要となる演算量は（２）式よりも少ない。ここで、好適な結果が得られる動きベクトルｖは、例えば、処理対象の予測ユニットＰＵ内の画素の実際の画素値と予測画素値Ｐ［ｘ］との絶対値差異（残差）の予測ユニットＰＵ内の全画素の総和が、取りうる動きベクトルの中で最小になるものである。
【００３５】
色差信号成分に対しては、輝度信号成分に基づき定めた動きベクトルｖを用いて、上記（２）式による予測で好適な結果が得られる重み係数ｗ（以下、色差信号に対してのみ適用される重み係数を、ｗCともいう。）を算出する。動きベクトルｖが固定値であればｗのみに対する演算を行えば良いため、両者に対する演算を行う場合よりも演算量は飛躍的に低減する。ここで、好適な結果が得られる重み係数ｗは、例えば、処理対象の予測ユニットＰＵ内の画素の実際の画素値と、予測画素値Ｐ［ｘ］との絶対値差異（残差）の予測ユニットＰＵ内の全画素の総和が、取りうる重み係数の中で最小になるものである。
【００３６】
また、重み係数ｗの値をｍ／（２n）（但し、ｍ、ｎは整数）として設定すれば、重み係数ｗをシフト演算により算出及び適用することが可能である。すなわち、重み係数ｗの算出において除算が不要となるため、更に演算量の低減を図ることが可能となる。また、もし重み係数ｗに係る情報を符号化装置から復号化装置に伝達するのであれば、符号化データ中にｍやｎに関する情報を含めれば良い。この際、必ずしもｍ及びｎの両者を符号化データに含める必要はない。例えば一方を固定化する（例えばｍ＝１）のであれば他方のみを符号化データ中に含めれば良い。
【００３７】
更に、輝度信号と、色差信号とで異なる重み係数ｗの適用を認めることにより、予測画像生成に係る自由度が向上するため、予測画像の予測精度を向上させる（残差を小さくする）ことが可能である。
【００３８】
ここで、色差信号成分には２つの成分（ここでは、Ｃｂ、Ｃｒとする）が含まれるが、Ｃｂ及びＣｒに対し、各々独立した重み係数ｗCb及びｗCrを算出してもよい。またこの場合には、一方の色差信号の重み係数（例えば、Ｃｒよりも先に処理及び伝送されるＣｂに関する重み係数ｗCb）から、他方の色差信号の重み係数（例えば、Ｃｂよりも後に処理及び伝送されるＣｒに関する重み係数ｗCr）を予測するようにしても良い。
【００３９】
なお、ここでは色空間はＹＣｂＣｒで表現されるものとして説明しているが、色空間の表現方法はこれに限られるものではない。例えば、ＹＵＶやＹＰｂＰｒ、ＹＣｏＣｇ等により色空間が表現される場合であっても、同様に以下の説明に係る処理方法を適用することができる。
【００４０】
このようにして算出した動きベクトルｖや重み係数ｗは、各々、予測やインデックス化を行った上でビットストリーム中に格納することで、符号化効率を向上させることができる。また、手法１を後述の手法２と組み合わせることで、重み係数ｗをビットストリームに含ませないことも考えられる。
【００４１】
また、重み係数ｗを符号化側と復号化側とで共有する仕組みを、輝度信号と色差信号とで分けることも考えられる。例えば、輝度信号の重み係数ｗYについてはビットストリーム中に符号化し、色差信号の重み係数ｗCの情報については後述の手法２を適用することでビットストリーム中に含めないことも考えられる。
【００４２】
（１．２  手法２：符号化量の低減）
手法２は、主に上記課題２を解決するためのもの、すなわち、重み係数の伝達に係る符号化効率を向上させるためのものである。当該手法を、図２ａ及び図２ｂを参照しながら説明する。ここで、図２ａにおいて、予測ユニットＰＵ、動きベクトルｖ0及びｖ1、参照画像Ｐ0及びＰ1、参照情報ｒ0及びｒ1、並びにブロックＢ0及びＢ1意味及び関係は、図１と同様である。
【００４３】
手法２では、予測ユニットＰＵに左側で隣接する左隣接画素ｌａｐ、上側で隣接する上隣接画素ｕａｐ、左上で隣接する左上隣接画素ｕｌａｐ（以下、総称して隣接画素ａｐともいう。）を考慮して重み係数ｗを算出する。予測ユニットＰＵと、左隣接画素ｌａｐ、上隣接画素ｕａｐ、及び左上隣接画素ｕｌａｐとの関係の詳細を、図２ｂに示す。図２において、隣接画素ａｐに含まれる画素は各々丸として描かれている。
【００４４】
ここで、図２の例では、予測ユニットＰＵの大きさは８画素×８画素である。しかしながら予測ユニットＰＵの大きさはこれに限られるものではなく、例えば４画素×４画素、１６画素×１６画素、８画素×１６画素、１６画素×８画素等、任意の大きさとすることが可能である。
【００４５】
図２ｂに示すように、予測ユニットＰＵの大きさが８画素×８画素の場合、左隣接画素ｌａｐは、予測ユニットＰＵの左側に隣接する８画素である。同様に上隣接画素ｕａｐは、予測ユニットＰＵの上側に隣接する８画素である。左上隣接画素ｕｌａｐは、予測ユニットＰＵに左上に隣接する１画素である。
【００４６】
符号化及び復号化処理では通常、ピクチャ内の左側から右側、上側から下側に向けて処理されるため、予測ユニットＰＵの予測処理を行う際、予測ユニットＰＵの上側及び左側の隣接画素ａｐは処理済み（符号化／復号化済み）であることが多い。よって手法２では、予測ユニットＰＵ自体ではなく、予測ユニットＰＵの左側及び／又は上側で隣接する隣接画素ａｐの画素値に基づいて、好適な重み係数ｗを算出する。参照画像Ｐ0及びＰ1におけるブロックＢ0及びＢ1の隣接画素をそれぞれａｐ0、ａｐ1とすると、予測ユニットＰＵの隣接画素ａｐと、ブロックＢ０及びＢ１の隣接画素ａｐ0及びａｐ1との残差の合計が最小となるように重み係数ｗを算出する。
【００４７】
このように手法２では、予測ユニットＰＵの隣接画素ａｐの画素値に基づき、重み係数ｗが算出される。符号化装置及び復号化装置の両者で同様の処理を行うようにすれば、符号化装置で重み係数ｗの情報（重み係数ｗの値や重み係数ｗを定めるためのインデックス、重み係数ｗを予測するための予測情報等）をビットストリームに含めずとも、復号化装置は重み係数ｗを算出することができる。
【００４８】
ここで、ＡＶＣやＨＥＶＣ等の符号化方式では、画像ＣＰはスライス及び／又はタイルに分割され、各々のスライスやタイルは独立して符号化／復号化処理が可能である。よって、予測ユニットＰＵの重み係数ｗを求める際に隣接画素ａｐを利用しようとしても、隣接画素ａｐの少なくとも一部が同一のスライス及び／タイルに内等の事情により、利用できない場合がある。よって、状況に応じて、上隣接画素ｕａｐのみを用いて重み係数ｗを算出したり、左隣接画素ｌａｐのみを用いて重み係数ｗを算出したりすることも考えられる。以下この点について、図２ｃ及び図２ｄを参照しながら説明する。
【００４９】
まず、図２ｃを参照しながら、画像ＣＰの分割方法について説明する。先述の通り、ＡＶＣやＨＥＶＣ等の符号化方式では、符号化及び復号化処理は、画像ＣＰを分割したスライス及び／又はタイル単位で行われる。スライス及び／又はタイルには、１以上のブロック（マクロブロック又は符号化ツリーユニット（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ）：ＣＴＵ）が含まれる。ＨＥＶＣの場合には、ＣＴＵが更に１以上の符号化ユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔ：ＣＵ）に再帰的に分割される。ＣＵには、ＣＵを予測処理用に分割した予測ユニットＰＵ、及び変換処理用に分割した変換ユニット（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ：ＴＵ）が含まれる。
【００５０】
ここで、図２ｃの例では、画像ＣＰには、ＣＴＵが横方向に１６、縦方向に９含まれているが、画像ＣＰに含まれるＣＴＵの数はこれに限られるものではない。また、図２ｃでは、ＣＴＵを更に分割したＣＵやＰＵ、ＴＵについては図示していない。
【００５１】
画像ＣＰは、先述の通り、１以上のスライス及び／又はタイルに分割することができる。図２ｃの例では、画像ＣＰは、矩形領域である４つのタイルＴ１乃至Ｔ４（以下、総称してタイルＴともいう。）に分割されている。図２ｃの例では、タイルＴ１には、ＣＴＵ０１０１、０１０７、０５０７、及び０５０１に囲まれる３５個のＣＴＵが含まれている。同様にタイルＴ２にはＣＴＵ０１０８、０１１６、０５１６、及び０５０８に囲まれる４５個のＣＴＵが、タイルＴ３にはＣＴＵ０６０１、０６０７、０９０７、及び０９０１で囲まれる２８個のＣＴＵが、タイルＴ４にはＣＴＵ０６０８、０６１６、０９１６及び０９０８で囲まれる３６個のＣＴＵがそれぞれ含まれている。なお、画像ＣＰからタイルＴへの分割数は４つに限られるものではなく、任意の数に分割することが可能である。
【００５２】
更に、タイルＴ１は、２つのスライスＳ１及びＳ２（以下、総称してスライスＳともいう。）に分割されている。具体的には、スライスＳ１にはＣＴＵ０１０１〜０１０７、０２０１〜０２０７、０３０１〜０３０４の１８個のＣＴＵが含まれ、スライスＳ２にはＣＴＵ０３０５〜０３０７、０４０１〜０４０７、０５０１〜０５０７の１７個のＣＴＵが含まれている。なお、タイルＴからスライスＳへの分割数は２つに限られるものではなく、任意の数に分割することが可能である。
【００５３】
また、図２ｃの例では、タイルＴをスライスＳに分割しているが、これに限られるものではなく、スライスＳをタイルＴに分割することも可能である。また、タイルＴを必ずしもスライスＳに分割する必要はない。また同様に、スライスＳを必ずしもタイルＴに分割する必要はない。
【００５４】
タイルＴ内のＣＴＵは、各々、他のタイルＴとは独立して復号可能である。同様に、スライスＳ内のＣＴＵは、各々、他のスライスＳとは独立して復号可能である。また、各々のタイルＴ又はスライスＳ内で、図２ｃ中、矢印で示すように、左側から右側、上側から下側へ向けて、順番に各々のＣＴＵに対する処理がなされる。例えば、スライスＳ１の例であれば、まずＣＴＵ０１０１に対する処理がなされる。その後、右側に隣接するＣＴＵに対する処理が、ＣＴＵ０１０７まで順番になされる。ＣＴＵ０１０７までの処理が終わるとスライスＳの境界に達するため、次はその下の行の最も左側にあるＣＴＵ０２０１に対する処理がなされる。その後、右側に隣接するＣＴＵに対する処理が、ＣＴＵ０２０７に至るまでなされる。ＣＴＵ０２０７までの処理が終わると、その下の行であるＣＴＵ０３０１〜ＣＴＵ０３０４に対する処理が、左側のＣＴＵから順になされる。
【００５５】
先述の通り、各々のタイルＴ内のＣＴＵ及びスライスＳ内のＣＴＵは、他のタイルＴやスライスＳと独立して処理できなければならない。よって、例えばＣＴＵ０６０７の処理は、ＣＴＵ０５０７に依存することはできない。すなわち、ＣＴＵ０６０７に対する重み係数ｗを算出する際に、上側で隣接するＣＴＵ０５０７内の画素を参照することはできない。このような場合に、ＣＴＵ０６０７に対する重み係数ｗを算出する場合には、左側に隣接するＣＴＵであるＣＴＵ０６０６内の画素、すなわち左隣接画素ｌａｐのみを利用し、上隣接画素ｕａｐを利用しないようにすることが考えられる（図２ｄ参照）。或いは、同一のタイルＴやスライスＳ内に左側及び上側に隣接するＣＴＵが存在しないために隣接画素ａｐを参照できない場合には（例えばＣＴＵ０１０１、ＣＴＵ０３０５、ＣＴＵ０４０１等）、隣接画素ａｐに基づいて重み係数ｗを算出することはできない。よってこの場合には、例えば重み係数ｗの情報を符号化データに含めて伝送したり、双方向予測における重み係数を固定値としたりすることが考えられる。後者の場合には、重み係数ｗを例えば１／２に固定すれば良い。
【００５６】
すなわち、画枠やタイル境界、スタイル境界等の理由により、上隣接画素ｕａｐを利用できない場合には左隣接画素ｌａｐを用いて重み係数ｗを求め、左隣接画素ｌａｐを利用できない場合には上隣接画素ｕａｐを用いて重み係数ｗを求めれば良い。また、上隣接画素ｕａｌ、左隣接画素ｌａｐのいずれも利用できない場合には、例えば１／２等の固定値を用いて重み係数ｗを求めれば良い。この際、各隣接画素ａｐの利用の可否を、符号化側及び復号化側で随時判断しても良いが、重み係数ｗの算出の際に利用する隣接画素ａｐの情報を、明示的に符号化データに含ませることも考えられる。この場合には、例えば、重み係数ｗを算出する際に、上隣接画素ｕａｐのみを用いるか、左隣接画素ｌａｐのみを用いるか、上隣接画素ｕａｐ、左隣接画素ｌａｐ、左上隣接画素ｕｌａｐの全てを用いるかを、或いは隣接画素ａｐを用いないかを、フラグ情報等として符号化データに持たせれば良い。
【００５７】
（１．３  手法１及び手法２の関係）
先述の通り、手法２は、単独で用いることもできるし、手法１と組み合わせて用いることもできる。手法２を単独で用いる場合には、動きベクトルｖ0及びｖ1は、例えば隣接ブロックの動きベクトルを用いた動きベクトル予測など、様々な手法により定めることができる。重み係数ｗについては、例えば、隣接画素ａｐの輝度信号の残差の合計が最小となるように予測ユニットＰＵに適用する重み係数ｗを算出した上で、当該重みを色差信号に適用することが考えられる。或いは、隣接画素ａｐの輝度信号及び色差信号の残差の合計が少なくなるように予測ユニットＰＵに適用する重み係数ｗを算出しても良い。若しくは、輝度信号、及び色差信号の各々について、合計が少なくなるように、輝度信号の重み係数ｗY及び色差信号の重み係数ｗCを求めても良い。色差信号Ｃｂ、Ｃｒについて、各々独立に重み係数ｗCb及びｗCrを求めることも考えられる。更には、重み係数ｗCbからｗCrを予測することも考えられる。
【００５８】
手法２を手法１と組み合わせて用いる場合には、輝度信号については、重み係数ｗYを１／２とした上で動きベクトルｖ0及びｖ1を算出する。その上で、色差信号について、隣接画素ａｐの色差信号の残差の合計が最小となるように予測ユニットＰＵの色差信号に適用する重み係数ｗCを算出することが考えられる。この時、色差信号ＣbＣrの各々について、隣接画素ａｐの残差の合計が少なくなるように異なる重み係数ｗCb、ｗCrを算出しても良い。更には、求まった重み係数ｗCbからｗCrを予測しても良い。
【００５９】
（２  機能構成）
以下、図３乃至図６を参照しながら、本実施形態に係る符号化装置１００、及び復号化装置２００の機能構成を説明する。
【００６０】
（２．１  符号化装置１００）
まず、図３を参照しながら、符号化装置１００の機能構成を説明する。符号化装置１００は、図３に示すように、入力部Ｉ１、出力部Ｏ１、Ａ／Ｄ（アナログ／デジタル）変換部１０１、並替えバッファ１０３、直交変換部１０５、量子化部１０７、エントロピー符号化部１０９、蓄積バッファ１１１、レート制御部１１３、逆量子化部１１５、逆直交変換部１１７、ループフィルタ１１９、フレームメモリ１２１、イントラ予測部１２３、動き予測部１２５、及び双方向予測重み係数計算部１２７を含む。なお、図３の機能ブロック図において、主な信号の入出力を矢印で表現しているが、一部、機能間の信号の入出力がある場合であっても、矢印の記載を省略している場合がある。この点、図４乃至図６においても同様である。
【００６１】
Ａ／Ｄ変換部１０１は、入力部Ｉ１から入力されたアナログ信号の画像データをデジタル信号のフレーム毎の画像データに変換し、表示順に並替えバッファ１０３へ供給する。並替えバッファ１０３は、画像フレームデータ（以下、入力画像ともいう。）の順序を、符号化のために並替えるためのバッファである。並替えバッファ１０３は、符号化を行う順に入力画像を演算器ＡＤ１へ出力する。また並替えバッファ１０３は、符号化対象の入力画像を、イントラ予測部１２３及び動き予測部１２５にも供給する。
【００６２】
なお、並替えバッファ１０３は入力画像を出力する際、画像分割部１０３ａにより入力画像を分割して、分割された入力画像を供給する。より具体的には例えば、図２ｃを参照しながら説明したように、画像分割部１０３ａは、入力画像を１以上のブロック（ＣＴＵ）を含むスライス及び／又はタイルに分割すれば良い。
【００６３】
演算器ＡＤ１は、並替えバッファ１０３から供給される符号化対象の入力画像から、イントラ予測部１２３又は動き予測部１２５から供給される予測画像を減算することにより、各々の画素値（輝度信号及び色差信号を含むことができる）の残差からなる差分画像に係る残差信号が得られる。
【００６４】
直交変換部１０５は、演算器ＡＤ１で算出した残差信号に対して、離散コサイン変換（ＤＣＴ）やカルーネン・レーベ変換等の直交変換を施す。直交変換の方法は任意である。直交変換部１０５により算出された残差信号の変換係数は、量子化部１０７へ供給される。
【００６５】
量子化部１０７は、直交変換部１０５から供給される変換係数を量子化する。この際量子化部１０７は、レート制御部１１３から供給される符号化量の目標値に係る情報に基づいて量子化パラメータに基づいて量子化を行う。なお、量子化の手法は任意である。
エントロピー符号化部１０９は、量子化部１０７において量子化された変換係数を任意の符号化方式で符号化する。
【００６６】
また、エントロピー符号化部１０９は、イントラ予測部１２３及び動き予測部１２５から、予測モードを示す情報や予測に使用する各種情報、例えば予測ユニットＰＵ内の分割モードの情報や動きベクトルｖの情報を取得する。また、ループフィルタ１１９から、使用されたフィルタ係数等の情報を取得する。エントロピー符号化部１０９は、これらの情報を任意の方式で符号化し、符号化した情報からヘッダ情報を生成する。エントロピー符号化部１０９は、符号化の結果得られる符号化データを蓄積バッファ１１１へ供給する。
【００６７】
エントロピー符号化部１０９による符号化には、例えば、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）等の可変長符号化方式や、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）等の算術符号化方式を用いることが可能である。
【００６８】
蓄積バッファ１１１は、エントロピー符号化部１０９から供給された符号化データを一時的に記憶するバッファである。蓄積バッファ１１１は、記憶している符号化データを、出力部Ｏ１から、ビットストリームとして図示しない記憶装置や伝送路などへ出力する。
【００６９】
レート制御部１１３は、蓄積バッファ１１１に蓄積された符号化データの符号量に基づき、オーバーフロー又はアンダーフローが発生しないような符号化量の目標値を設定し、量子化部１０７における量子化動作のレート制御を行う。
【００７０】
量子化部１０７で量子化された変換係数は、エントロピー符号化部１０９のみならず、逆量子化部１１５にも供給される。逆量子化部１１５は、量子化された変換係数を逆量子化する。当該逆量子化の方法は、量子化部１０７で用いた量子化の方法に対応するものであれば任意の方法を用いることができる。
【００７１】
逆直交変換部１１７は、逆量子化部１１５により逆量子化されて得られた変換係数を、逆直交変換する。当該逆直交変換の方法は、直交変換部１０５で用いた直交変換の方法に対応するものであれば任意の方法を用いることができる。逆直交変換部１１７による変換係数に対する逆直交変換の結果、直交変換部１０５の入力である、差分画像を構成する残差信号が復元される。
【００７２】
復元された残差信号は、逆直交変換部１１７から演算器ＡＤ２へ供給される。演算器ＡＤ２は、逆直交変換部１１７から供給される残差信号に、イントラ予測部１２３又は動き予測部１２５から供給される予測画像を加算することにより、局部的に復元された復号画像を得ることができる。当該復号画像は、ループフィルタ１１９又はフレームメモリ１２１に供給される。
【００７３】
ループフィルタ１１９は、デブロッキングフィルタ処理やＳＡＯ（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）処理等を含みうる各種フィルタ処理を復号画像に対して行う。例えば、ループフィルタ１１９は、復号画像に対してデブロッキングフィルタ処理を施すことにより、ブロック歪みを低減する。またループフィルタ１１９は、当該デブロッキングフィルタ処理後の復号画像に対してＳＡＯ処理を施すことにより、エッジ周辺での画素値が歪むリンギングの低減や画素値のずれを補正する。この他、ループフィルタ１１９は、画質改善のための任意のフィルタ処理を施しても良い。ループフィルタ１１９は、各種フィルタ処理後の復号画像をフレームメモリ１２１に供給する。
【００７４】
フレームメモリ１２１は、復号画像を記憶し、当該復号画像を参照画像として選択部ＳＷ１及び双方向予測重み係数計算部１２７に供給する。ここで、フレームメモリ１２１は、複数の参照画像を、リスト０（ｌｉｓｔ０）及びリスト１（ｌｉｓｔ１）の２つの参照画像群に分けて保存することができる。後述の動き予測部１２５で動き予測を行う際には、リスト０に格納された参照画像を参照して動き予測を行う予測方式、リスト１に格納された参照画像を参照して動き予測を行う予測方式、リスト０に格納された参照画像及びリスト１に格納された参照画像の２枚の参照画像を参照して動き予測を行う予測方式（双方向予測）のいずれかを適用することができる。
【００７５】
選択部ＳＷ１は、フレームメモリ１２１から供給される参照画像を、適用する予測モードに応じて、動き予測部１２５又はイントラ予測部１２３へ供給する。例えばイントラ予測（画面内予測）による符号化を行う場合には、ＳＷ１は参照画像をイントラ予測部１２３へ出力する。一方、インター予測（動き予測）による符号化を行う場合には、ＳＷ１は参照画像を動き予測部１２５へ出力する。
【００７６】
イントラ予測部１２３は、選択部ＳＷ１を介してフレームメモリ１２１から供給される参照画像（処理対象ピクチャ）内の画素値を用いて、予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）ＰＵを処理単位として予測画像を生成するイントラ予測を行う。この際、イントラ予測部１２３は、予め用意された複数のイントラ予測モードでイントラ予測を行ってそれぞれ予測画像を生成する。その上で、並替えバッファ１０３から入力画像を読出し、当該入力画像と予測画像との差分（残差）が小さくなる予測モードを選択する。より具体的には例えば、入力画像と各々の予測画像に対して予め用意されたコスト関数を適用し、得られるコスト関数値を最小にする予測モードを、符号化対象の予測ユニットＰＵに適用するイントラ予測モードとすることができる。
【００７７】
イントラ予測部１２３は、選択されたイントラ予測モードの情報等の、イントラ予測のために必要な各種情報をエントロピー符号化部１０９へ出力する。また、当該イントラ予測モードにより生成された予測画像を、選択部ＳＷ２を介して演算器ＡＤ１へ出力する。
【００７８】
動き予測部１２５は、選択部ＳＷ１を介してフレームメモリ１２１から供給される参照画像と、並替えバッファ１０３から供給される入力画像とを用いて、予測ユニットＰＵ単位で動き予測処理を行う。動き予測部１２５は、予め用意された複数のインター予測モードでインター予測を行ってそれぞれ予測画像を生成する。その上で、並替えバッファ１０３から入力画像を読出し、当該入力画像と予測画像との差分（残差）が小さくなる予測モードを選択する。より具体的には例えば、入力画像と各々の予測画像に対して予め用意されたコスト関数を適用し、得られるコスト関数値を最小にする予測モードを、符号化対象の予測ユニットＰＵに適用する動き予測モードとすることができる。
【００７９】
動き予測部１２５は、選択された動き予測モードの情報等の、動き予測のために必要な各種情報をエントロピー符号化部１０９へ出力する。また、当該インター予測モードにより生成された予測画像を、選択部ＳＷ２を介して演算器ＡＤ２へ出力する。
【００８０】
ここで、本実施形態において動き予測部１２５は、双方向予測を行う際に、１／２に固定ではない重み係数ｗを用いた予測が可能である。当該重み係数ｗは、双方向予測重み係数計算部１２７が算出する。
【００８１】
以下、動き予測部１２５及び双方向予測重み係数計算部１２７の詳細な機能構成を、図４を参照しながら説明する。動き予測部１２５は、動きベクトル探索部１５１、予測方向決定部１５３、双方向予測部１５５、モード判定部１５７、及び予測画像生成部１５９を含む。なお、図４において、選択部ＳＷ１及びＳＷ２は記載を省略している。
【００８２】
動きベクトル探索部１５１は、フレームメモリ１２１から供給される参照画像と、並替えバッファ１０３から供給される入力画像とを用いて、処理対象の予測ユニットＰＵに適用する２本の動きベクトルｖ（ｖ0及びｖ1）を探索する。ここでは、フレームメモリ１２１のうち、リスト０中の参照画像に対して求められる動きベクトルｖを動きベクトルｖ0、リスト１中の参照画像に対して求められる動きベクトルｖを動きベクトルｖ1という。
【００８３】
動きベクトルｖの探索方法は種々考えられるが、例えば、予測ユニットＰＵに含まれる画素の画素値との差異が最小となる参照画像Ｐ内の領域（ブロックＢ）を参照する動きベクトルｖを、動きベクトル探索部１５１は探索する。この際、例えば、取りうる全ての動きベクトルｖに対して予め定められたコスト関数を適用して、コスト関数値が最も小さくなる動きベクトルｖを採用することもできる。動きベクトル探索部１５１は、動きベクトルｖを探索する際、予測ユニットＰＵに含まれる輝度信号及び２つの色差信号の全てを考慮して動きベクトルｖを決定してもよいし、輝度信号のみを考慮して動きベクトルｖを決定しても良い。
【００８４】
なお、予測ユニットＰＵに対する予測は、予測ユニットＰＵを複数に分割して行うことが可能である。よって、動きベクトル探索部１５１は、各々の分割方式に対して、動きベクトルｖを算出する。以下、予測ユニットＰＵの分割方式を分割モードともいう。
【００８５】
予測方向決定部１５３は、動きベクトル探索部１５１から供給される動きベクトルｖ0及びｖ1のうち、いずれを用いるか、或いは両方を用いるかを、分割モード毎に決定する。ここでは、動きベクトルｖ0及びｖ1のうち、いずれか一方のみを用いる予測を単一方向予測、両方を用いる予測を双方向予測という。単一方向予測とするか双方向予測とするかは、動きベクトルｖ0を用いた単一方向予測、動きベクトルｖ1を用いた単一方向予測、動きベクトルｖ0及びｖ1の両者を用いた双方向予測のうち、いずれが最も入力画像との差異が小さくなるか等により決定することができる。この際、予測方向決定部１５３は、予測ユニットＰＵに含まれる輝度信号及び２つの色差信号の全てを考慮して予測方式を決定しても良いし、輝度信号のみを考慮して予測方式を決定しても良い。また、予測方式を決定するために双方向予測における予測画素値を算出する際には、重み係数ｗを１／２とした場合の予測画素値を適用しても良い。
【００８６】
動きベクトルｖ0を用いた単一方向予測、動きベクトルｖ1を用いた単一方向予測、動きベクトルｖ0及びｖ1の両者を用いた双方向予測のいずれの予測方式とするかの情報を、以下、予測方向情報という。予測方向決定部１５３により決定された予測方向情報は、選択部ＳＷ３及びＳＷ４の制御に用いられる。具体的には、双方向予測の場合には、予測に用いられる動きベクトルｖ0及びｖ1の情報が双方向予測重み係数計算部１２７及び双方向予測部１５５に供給されるように選択部ＳＷ３及びＳＷ４が制御される。単一方向予測の場合には、予測に用いられる動きベクトルｖ0又はｖ1の情報がモード判定部１５７に供給され、双方向予測重み係数計算部１２７及び双方向予測部１５５に供給されないように、選択部ＳＷ３及びＳＷ４が制御される。
【００８７】
双方向予測重み係数計算部１２７は、並替えバッファ１０３から供給される符号化対象の入力画像と、フレームメモリ１２１から供給される２枚の参照画像（リスト０及びリスト１に各々含まれる参照画像）とに基づき、双方向予測の際に適用する重み係数ｗを算出する。当該処理は、双方向予測を行う各々の分割モードに対してなされる。この際、先述の通り、双方向予測重み係数計算部１２７は、重み係数ｗの取り得る値を、ｍ／（２n）（但し、ｍ、ｎは整数）に限定することが可能である。この場合、シフト演算のみで重み係数ｗを算出できる（除算が不要となる）ため、演算量の低減を図ることが可能となる。
【００８８】
また双方向予測重み係数計算部１２７は、上記手法１で説明したように、輝度信号に対して適用する重み係数は１／２とした上で、色差信号のみに対する重み係数ｗCのみを双方向予測重み係数計算部１２７で算出してもよい。また、２つの色差信号に対して、異なる重み係数ｗCb及びｗCrを双方向予測重み係数計算部１２７が算出してもよい。或いは、上記手法２で説明したように、輝度信号及び色差信号の全てに適用可能な、１／２ではない重み係数ｗを算出しても良いし、輝度信号及び２つの色差信号に対して、それぞれ異なる重み係数ｗY及びｗCを算出してもよい。算出した重み係数ｗの情報は、双方向予測重み係数計算部１２７から、動き予測部１２５の双方向予測部１５５へ出力される。
【００８９】
なお、双方向予測重み係数計算部１２７は重み係数ｗの算出に際し、符号化対象の入力画像中の予測ユニットＰＵ中の各画素の画素値と、上記式（２）により算出される予測ユニットＰＵ中の各画素の画素値との相違の合計が小さくなるように、重み係数ｗを定めることができる。或いは、図２ａ及び図２ｂを参照しながら説明したように、隣接画素ａｐにおいて、上記式（２）により算出される画素値の差異が小さくなる重み係数ｗを算出してもよい（上記手法２）。後者の場合、処理対象の予測ユニットＰＵには含まれない、隣接画素ａｐから必然的に重み係数ｗが算出できる。この結果、復号化装置は、重み係数ｗの値や重み係数ｗを示すインデックス情報を受け取らずとも重み係数ｗが算出できるため、ビットストリーム中に、重み係数ｗに係る情報を含む必要がなくなる。このため、１／２に固定しない柔軟な重み係数ｗを採用しつつも、重み係数ｗに係る情報の伝送に起因する符号化効率の低下を防ぐことが可能となる。
【００９０】
なおこのとき、画枠境界、スライス境界、タイル境界等の理由により、上隣接画素ｕａｐ又は左隣接画素ｌａｐが重み係数ｗの算出のために利用できない場合には、利用可能な左隣接画素ｌａｐ又は上隣接画素ｕａｐのみを利用して重み係数ｗを算出することも可能である。更に、上隣接画素ｕａｐ及び左隣接画素ｌａの両者が利用できない場合には、例えば、重み係数ｗを１／２等の固定値とすることも可能である。
【００９１】
双方向予測部１５５は、予測方向決定部１５３から供給される動きベクトルｖ0及びｖ1、及び双方向予測重み係数計算部１２７から供給される重み係数ｗを用いて、双方向予測を行う。当該処理は、双方向予測を行う各々の分割モードに対してなされる。
【００９２】
モード判定部１５７は、このようにして生成される各々の予測モード（分割モードを含む）における動きベクトルｖ、重み係数ｗのうちから、いずれの予測モードを用いて動き予測を行うべきかを判定する。当該処理においては、例えば、各々の予測モードにおける予測画像と、並替えバッファ１０３から読み出される入力画像との差分が小さくなる予測モードが選択される。より具体的には、入力画像と、各々の予測画像に対して予め用意されたコスト関数を適用し、得られるコスト関数値を最小にする予測モードが、符号化対象の予測ユニットＰＵに適用される動き予測モードとなる。
【００９３】
予測画像生成部１５９は、モード判定部１５７により決定された予測モードで予測するための情報、例えば動きベクトルｖ及び予測モード情報を受け取ると共に、フレームメモリ１２１から参照画像の情報を読み込むことにより、予測画像を生成する。生成された予測画像は、演算器ＡＤ１及びＡＤ２に出力される。
【００９４】
また、モード判定部１５７は、決定した動きベクトルｖ及び予測モード情報を、エントロピー符号化部１０９へ出力する。この時、双方向予測重み係数計算部１２７が重み係数ｗを隣接画素ａｐに基づいて定める場合には、双方向予測を行う場合であっても、モード判定部１５７は重み係数ｗの情報を必ずしも出力する必要はない。しかしながら、重み係数ｗを算出する際に使用する隣接画素ａｐが上隣接画素ｕａｐであるか、左隣接画素ｌａｐであるか、上隣接画素ｕａｐ、左隣接画素ｌａｐ、左上隣接画素ｕｌａｐの全てであるか、若しくは隣接画素ａｐのいずれも利用しないかを示す情報を、符号化データに含ませるためにエントロピー符号化部１０９へ出力することも考えられる。
【００９５】
一方、双方向予測を行う場合であって、予測ユニットＰＵ内の画素の画素値に基づき重み係数ｗを定める場合には、モード判定部１５７は、重み係数ｗの値を求めるためのインデックス情報等を、エントロピー符号化部１０９へ出力すれば良い。また、例えば重み係数ｗに固定値（１／２等）を用いる場合には、その旨を示すフラグ情報を、モード判定部１５７はエントロピー符号化部１０９へ出力すれば良い。なおフラグ情報は、予測ユニットＰＵ毎に含めても良いし、或いは、スライス毎に含めても良い。
【００９６】
（２．２  復号化装置２００）
次に、図５を参照しながら、復号化装置２００の機能構成を説明する。復号化装置２００は、図５に示すように、入力部Ｉ２、蓄積バッファ２０１、エントロピー復号化部２０３、逆量子化部２０５、逆直交変換部２０７、ループフィルタ２０９、並替えバッファ２１１、Ｄ／Ａ（デジタル／アナログ）変換部２１３、フレームメモリ２１５、イントラ予測部２１７、動き予測部２１９、及び双方向予測重み係数計算部２２１を含む。
【００９７】
蓄積バッファ２０１は、入力部Ｉ２から入力された符号化データ（ビットストリーム）を蓄積し、適宜、符号化データをエントロピー復号化部２０３へ出力する。エントロピー復号化部２０３は、蓄積バッファ２０１から供給された、図３のエントロピー符号化部１０９にて符号化された情報を、当該符号化の際に用いられた符号化方式に対応する復号化方式で復号する。復号の結果得られる差分画像の量子化された変換係数は、エントロピー復号化部２０３から逆量子化部２０５へ供給される。
【００９８】
逆量子化部２０５は、差分画像の量子化された変換係数に対し、図３の量子化部１０７での量子化方式に対応する方式で逆量子化し、変換係数を求める。当該逆量子化の方法は、量子化部１０７で用いられた量子化の方法に対応するものであれば、任意の方法を用いることができる。
【００９９】
逆直交変換部２０７は、逆量子化部２０５により逆量子化されて得られた変換係数を、逆直交変換する。当該逆直交変換の方法は、直交変換部１０５で用いた直交変換の方法に対応するものであれば任意の方法を用いることができる。逆直交変換部２０７による逆直交変換の結果、差分画像を構成する残差信号が復元される。
【０１００】
差分画像に係る残差信号は、演算器ＡＤ３に供給される。演算器ＡＤ３は、逆直交変換部２０７から供給される差分画像に、イントラ予測部２１７又は動き予測部２１９から供給される予測画像を加算することにより、復号画像に係る画像データを得る。演算器ＡＤ３は、当該復号画像に係る画像データをループフィルタ２０９へ供給する。
【０１０１】
ループフィルタ２０９は、演算器ＡＤ３から入力された復号画像に対して、デブロッキングフィルタ処理やＳＡＯ処理等を含みうる各種フィルタ処理を施す。例えば、ループフィルタ２０９は、復号画像に対してデブロッキングフィルタ処理施すことにより、ブロック歪みを低減する。またループフィルタ２０９は当該デブロッキングフィルタ処理後の復号画像に対して、ＳＡＯ処理を施すことにより、エッジ周辺での画素値が歪むリンギングの低減や画素値のずれを補正する。この他、ループフィルタ２０９は、画質改善のための任意のフィルタ処理を施しても良い。ループフィルタ２０９は、各種フィルタ処理後の復号画像を、並替えバッファ２１１及びフレームメモリ２１５へ供給する。
【０１０２】
並替えバッファ２１１は、ループフィルタ２０９から供給された、フィルタ処理後の復号画像（画像フレームデータ）を表示順に並び替えるためのバッファである。並替えバッファ２１１は、表示順に復号画像をＤ／Ａ変換部２１３へ出力する。Ｄ／Ａ変換部２１３は、並替えバッファ２１１から供給されたデジタル信号のフレームごとの画像データを、適宜アナログ信号に変換後、出力部Ｏ２から出力する。
【０１０３】
フレームメモリ２１５は、ループフィルタ２０９から供給される復号画像を記憶し、当該復号画像を参照画像として選択部ＳＷ５へ供給する。ここで、フレームメモリ２１５は、複数の参照画像をリスト０及びリスト１の２つの参照画像群に分けて格納することができる。後述の動き予測部１２５で動き予測を行う際には、リスト０に格納された参照画像を参照して動き予測を行う予測方式、リスト１に格納された参照画像を参照して動き予測を行う予測方式、リスト０に格納された参照画像、及びリスト１に格納された参照画像の２枚の参照画像を参照して動き予測を行う予測方式（双方向予測）のいずれかを適用することができる。
【０１０４】
選択部ＳＷ５は、フレームメモリ２１５から供給される参照画像を、適用される予測モードに応じて、イントラ予測部２１７又は動き予測部２１９へ供給する。例えば、イントラ符号化された画像を復号する場合には、選択部ＳＷ５は、フレームメモリ２１５から供給される参照画像をイントラ予測部２１７へ供給する。また選択部ＳＷ５は、動き予測により符号化された画像を復号する場合には、フレームメモリ２１５から供給される参照画像を動き予測部２１９へ出力する。
【０１０５】
イントラ予測部２１７は、フレームメモリ２１５から選択部ＳＷ５を介して供給される参照画像（処理対象ピクチャ）内の画素値を用いて、予測ユニットＰＵを処理単位として予測画像を生成するイントラ予測を行う。イントラ予測部２１７は、予め用意された複数のイントラ予測モードのうち、エントロピー復号化部２０３から得られる予測モード情報等に基づいて選択されるイントラ予測モードにより、復号化対象の予測ユニットＰＵを復号する。これにより、図３のイントラ予測部１２３が符号化の際に用いたイントラ予測モードにより、予測画像を生成することができる。
【０１０６】
動き予測部２１９は、フレームメモリ２１５から選択部ＳＷ５を介して供給される参照画像を用いて、予測ユニットＰＵ単位で動き予測処理を行う。動き予測部２１９は、予め用意された複数の動き予測モードのうち、エントロピー復号化部２０３から得られた予測モード情報に基づいて選択される動き予測モードにより、復号化対象の予測ユニットＰＵを復号する。また当該復号の際、エントロピー復号化部２０３から供給される動きベクトルｖの情報や、必要に応じて供給される重み係数ｗの情報が用いられる。これにより動き予測部１２５は、図３の動き予測部１２５が符号化の際に用いた方法により予測画像を生成することができる。
【０１０７】
ここで、本実施形態において動き予測部２１９は、双方向予測を行う際に、１／２に固定ではない重み係数ｗを用いた予測が可能である。当該重み係数ｗは、双方向予測重み係数計算部２２１が算出する。
【０１０８】
以下、動き予測部２１９及び双方向予測重み係数計算部２２１の詳細な機能構成を、図６を参照しながら説明する。動き予測部２１９は、予測画像生成部２５１と、予測モード・動きベクトルバッファ２５３とを含む。なお、図６において、選択部ＳＷ５及びＳＷ６は記載を省略している。
【０１０９】
予測画像生成部２５１は、先述の通り、フレームメモリ２１５から供給される参照画像を用いて、予測ユニットＰＵを処理単位として予測画像を生成する。予測画像生成部２５１は複数の動き予測モードに対応するが、このうち、予測モード・動きベクトルバッファ２５３から供給される予測モード情報に基づいて選択される予測モードにより、復号化対象の予測ユニットＰＵを復号する。また、予測画像生成部２５１は、動き予測による予測画像生成に際し、予測モード・動きベクトルバッファ２５３から動きベクトルｖと、必要に応じて重み係数ｗとを読込む。これにより動き予測部２１９は、図３の動き予測部２１９が符号化の際に用いた方法により、予測画像を生成することができる。生成された予測画像は、演算器ＡＤ３へ出力される。
【０１１０】
予測モード・動きベクトルバッファ２５３は、エントロピー復号化部２０３から供給される、予測モード情報や動きベクトル情報を一時的に格納するバッファである。また予測モード・動きベクトルバッファ２５３は、処理対象の予測ユニットＰＵの予測モードが双方向予測である場合に、双方向予測重み係数計算部２２１に対して、動きベクトルｖの情報を渡すと共に、双方向予測重み係数計算部２２１から重み係数ｗを受取り、一時的に格納する。
【０１１１】
選択部ＳＷ７は、予測モード・動きベクトルバッファ２５３から、処理対象の予測ユニットＰＵの予測方向に係る情報を受取り、動きベクトルｖの情報を双方向予測重み係数計算部２２１に渡すか否かを切り替える。より具体的には、予測ユニットＰＵに係る予測が、動きベクトルｖ0又はｖ1の一方しか使用しない単一方向予測の場合には、動きベクトルｖの情報は双方向予測重み係数計算部２２１に出力されない。一方、処理対象の予測ユニットに対して、動きベクトルｖ0及びｖ1の両者を使用する双方向予測を行う場合には、動きベクトルｖの情報が双方向予測重み係数計算部２２１に出力される。
【０１１２】
双方向予測重み係数計算部２２１は、双方向予測に用いる重み係数ｗを算出する。この際、例えば重み係数ｗを算出するためのインデックス情報等をエントロピー復号化部２０３から受け取る場合には、双方向予測重み係数計算部２２１は、当該情報に基づき、重み係数ｗを算出する。
【０１１３】
一方、上記手法２として説明したように、重み係数ｗを予測ユニットＰＵの隣接画素ａｐに基づいて算出する場合には、双方向予測重み係数計算部２２１は、フレームメモリ２１５から供給される、処理対象ピクチャ内の予測ユニットＰＵの隣接画素ａｐと、２枚の参照画像（リスト０及びリスト１に各々含まれる参照画像）とに基づいて重み係数ｗを算出する。この際、上記手法１で説明したように、輝度信号に対して適用する重み係数は１／２とした上で、色差信号のみに対する重み係数ｗCのみを双方向予測重み係数計算部２２１で算出してもよい。また、２つの色差信号に対して、異なる重み係数ｗCb及びｗCrを双方向予測重み係数計算部２２１が算出してもよい。或いは、上記手法２で説明したように、輝度信号及び色差信号の全てに適用可能な、１／２ではない重み係数ｗを算出してもよいし、輝度信号及び２つの色差信号に対して、それぞれ異なる重み係数ｗY及びｗCを算出してもよい。算出した重み係数ｗの情報は、双方向予測重み係数計算部２２１から、予測モード・動きベクトルバッファ２５３へ出力される。
【０１１４】
この時、例えば、符号化データ中に、重み係数ｗの算出の際に参照すべき隣接画素ａｐの情報（例えば、上隣接画素ｕａｐを参照すべきか、左隣接画素ｌａｐを参照すべきか、上隣接画素ｕａｐ、左隣接画素ｌａｐ、及び左上隣接画素ｕｌａｐのいずれも参照すべきか、いずれも参照すべきでないか）の情報が含まれる場合には、当該情報に基づき、双方向予測重み係数算出部２２１は重み係数ｗを算出すれば良い。更に、例えば重み係数ｗに１／２等の固定値を利用すべき旨のフラグが符号化データ中に含まれる場合には、隣接画素ａｐを考慮せずに、当該固定値を重み係数ｗにセットすれば良い。
【０１１５】
（３．  動き予測を用いた画像処理の流れ）
以下、図７及び図８を参照しながら、符号化及び復号化における、動き予測を用いた画像処理の流れを説明する。
【０１１６】
（３．１  動き予測による予測画像を生成する場合の符号化処理）
まず、図７を参照しながら、動き予測により予測画像を生成する場合の、符号化に係る処理の流れを説明する。図７は、動き予測により予測画像を生成する場合の、符号化に係る処理の流れを示すフローチャートである。なお、先述の通り、予測画像生成は動き予測のみならずイントラ予測によっても可能であるが、ここでは説明を省略する。この点、後述する図８のフローチャートについても同様である。
【０１１７】
動画像がＩＯ１から入力信号として入力されると、それらの動画像は画像毎に符号化された後、符号化されたデータに基づいて再度復号化され、適宜フレームメモリ１２１に参照画像として格納される（Ｓ７０１）。この際、各々の参照画像は、フレームメモリ１２１中でリスト０及びリスト１の２つの参照画像群に分けて格納される。
【０１１８】
このようにしてフレームメモリ１２１中でリスト０として格納されている参照画像に対して、動きベクトル探索部１５１は、動きベクトルｖ0の探索を行う（Ｓ７０３）。この探索は先述の通り、例えば、参照画像中で、予測ユニットＰＵとの残差が最も少なくなるブロックＢ0を示す動きベクトルｖ0の探索として行うことができる。またこの時、例えば輝度信号のみを考慮して、動きベクトルｖ0を求める探索を行っても良い。
【０１１９】
次に動きベクトル探索部１５１は、フレームメモリ１２１中でリスト１として格納されている参照画像に対して、動きベクトルｖ0と同様に動きベクトルｖ1の探索を行う（Ｓ７０５）。
【０１２０】
このようにして動きベクトルｖ0及びｖ1が求まると、予測方向決定部１５３は、動きベクトルｖ0及びｖ1のうち、いずれを用いるか（単一方向予測）、或いは両方を用いるか（双方向予測）を決定する（Ｓ７０７）。
【０１２１】
この結果、単一方向予測を行う場合には（Ｓ７０９のＮｏ）、予測画像生成部１５９は当該動きベクトルｖに基づき、予測画像の生成を行う（Ｓ７１３）。一方、双方向予測を行う場合には（Ｓ７０９のＹｅｓ）、予測方向決定部１５３は動きベクトルｖ0及びｖ1の情報を双方向予測重み係数計算部１２７へ出力し、双方向予測重み係数計算部１２７は当該動きベクトルｖ0及びｖ1を用いて重み係数ｗを求める（Ｓ７１１）。この時、上記手法１として説明したように、輝度信号に対して適用する重み係数は１／２とした上で、色差信号のみに対する重み係数ｗCのみを双方向予測重み係数計算部１２７で算出してもよい。また、２つの色差信号に対して、それぞれ異なる重み係数ｗCb及びｗCrを双方向予測重み係数計算部１２７が算出してもよい。或いは、上記手法２で説明したように、輝度信号及び色差信号の全てに適用可能な、１／２ではない重み係数ｗを算出してもよいし、輝度信号及び２つの色差信号に対して、それぞれ異なる重み係数ｗY及びｗCを算出してもよい。なおこの時、重み係数ｗの取り得る値は、ｍ／（２n）（但し、ｍ、ｎは整数）に限定することも考えられる。
【０１２２】
先述の通り、双方向予測重み係数計算部１２７は重み係数ｗの算出に際し、符号化対象の入力画像中の予測ユニットＰＵ中の各画素の画素値と、上記式（２）により算出される予測ユニットＰＵの各画素の画素値との差異が小さくなるように、重み係数ｗを定めることができる。或いは、図２ａ及び図２ｂを参照しながら説明したように、隣接画素ａｐにおいて、上記式（２）により算出される画素値の差異が小さくなるように重み係数ｗを算出してもよい（上記手法２）。
【０１２３】
このようにして動きベクトルｖ及び重み係数ｗが算出されると、予測画像生成部１５９は、これらの情報と、フレームメモリ１２１から読み出される参照画像とを用いて、予測画像を生成する（Ｓ７１３）。またモード判定部１５７は、当該予測画像生成に必要な情報、例えば予測モード情報や動きベクトルｖの情報等を、エントロピー符号化部１０９に出力する。
【０１２４】
エントロピー符号化部１０９は、モード判定部１５７から受け取った予測モード情報や動きベクトルｖの情報と、入力画像と予測画像との差異である差分画像から生成される残差信号とを含む符号化データを生成する（Ｓ７１５）。このとき、重み係数ｗが隣接画素ａｐに基づいて生成される場合には、当該重み係数ｗを求める際に参照すべき隣接画素ａｐを決めるための参照隣接画素情報を符号化データに含めても良い。
【０１２５】
（３．２  動き予測により予測画像を生成する場合の復号化処理）
次に、図８を参照しながら、復号化時における、動き予測を用いて予測画像を生成する場合の、復号化に係る処理の流れを説明する。図８は、動き予測を用いて予測画像を生成する場合の、復号化に係る処理の流れを示すフローチャートである。
【０１２６】
蓄積バッファ２０１は、入力部Ｉ２から入力される符号化データを蓄積し、逐次、エントロピー復号化部２０３は当該符号化データを復号化する（Ｓ８０１）。当該符号化データには、例えば、予測ユニットＰＵに係る予測モード情報や動きベクトルｖの情報等を含むことが可能である。
【０１２７】
符号化データに基づき生成される画像は、適宜、フレームメモリ２１５に参照画像として格納される（Ｓ８０３）。この際、各々の参照画像は、フレームメモリ２１５中でリスト０及びリスト１の２つの参照画像群に分けて格納される。
【０１２８】
また、動き予測部２１９の予測モード・動きベクトルバッファ２５３は、エントロピー復号化部２０３より、予測ユニットＰＵの分割モードや予測方向等に関する予測モード情報、及び動きベクトルｖをエントロピー復号化部２０３から受けとり、記憶する（Ｓ８０５）。処理対象である予測ユニットＰＵの予測方向が単一方向予測であれば（Ｓ８０７のＮｏ）、予測画像生成部２５１は、動きベクトルｖに基づき予測画像を生成する（Ｓ８１１）。
【０１２９】
一方、処理対象である予測ユニットＰＵの予測方向が双方向予測であれば（Ｓ８０７のＹｅｓ）、双方向予測重み係数計算部２２１は、適用する重み係数ｗを決定する。当該重み係数ｗは、例えば、エントロピー復号化部２０３から、例えばインデックス情報として受け取ることが可能である。或いは、上記手法２で説明したように、予測ユニットＰＵの隣接画素ａｐから重み係数ｗを算出することも可能である。後者の場合には、参照画像Ｐ0及びＰ1中の、動きベクトルｖ0及びｖ1で指定されるブロックＢ0及びＢ1に隣接する隣接画素ａｐ0及びａｐ1を用いて上記式（２）により算出される値と予測ユニットＰＵの隣接画素ａｐの値との差異が小さくなるように、双方向予測重み係数計算部２２１は重み係数ｗを算出する。この際、参照すべき隣接画素ａｐを、上隣接画素ｕａｐとするか、左隣接画素ｌａｐとするか、上隣接画素ｕａｐ、左隣接画素ｌａｐ、及び左上隣接画素ｕｌａｐとするかを、符号化データに含まれる参照隣接画素情報に基づいて定めても良い。生成された重み係数ｗは、予測モード・動きベクトルバッファ２５３に格納される。
【０１３０】
双方向予測の場合には、予測画像生成部２５１は、動きベクトルｖ0及びｖ1、並びに重み係数ｗを用いて、双方向予測により予測画像を生成する（Ｓ８０７）。
【０１３１】
（４  符号化データの構成例）
以下、図９を参照しながら、符号化装置１００が生成すると共に復号化装置２００が復号化可能な符号化データ９００の構成（シンタックス）の具体例を説明する。図９は、符号化データ９００の構成の具体例を示す図である。
【０１３２】
先述の通り、符号化装置１００及び復号化装置２００は、画像ＣＰをスライスＳ及び／又はタイルＴに分割して処理することができる。図９の例では、タイルＴについては考慮していない。
【０１３３】
符号化データ９００において、スライスＳはスライスデータ９１０として符号化されている。スライスデータ９１０には、スライスヘッダ情報９１１と、１以上の符号化ツリーユニット（ＣＴＵ）９２０とが含まれる。また、各々のＣＴＵ９２０には、ＣＴＵヘッダ情報９２１と、１以上の符号化ユニット（ＣＵ）９３０とが含まれる。ＣＵ９３０には、ＣＵヘッダ情報９３１と、予測ユニット（ＰＵ）９４０と、変換ユニット（ＴＵ）９５０とが含まれる。ここでＴＵ９５０には、符号化対象の画像と予測画像との差異に係る残差信号にかかるデータ（適宜、量子化及び直交変換がなされる）が含まれる。
【０１３４】
ＰＵ９４０には予測処理にかかる各種データが含まれる。例えば、ＰＵ９４０には、予測モード情報９４１、画像参照情報９４３、動きベクトル情報９４５、重み係数情報９４７、参照隣接画素情報９４９を含みうる。なお、ＰＵ９４０がこれらの情報を全て含む必要はない。予測方法が動き予測であるかイントラ予測であるか、単一方向予測であるか双方向予測であるか、重み係数ｗをどのようにして定めるか、等に応じて、適宜、ＰＵ９４０に含まれる情報を変えることができる。
【０１３５】
予測モード情報９４１は、ＰＵ９４０に対して適用される予測方法を定めるための情報である。例えば、イントラ予測であるか動き予測であるかの情報や、ＰＵ９４０を２Ｎ×２Ｎや２Ｎ×Ｎ、Ｎ×２Ｎ等、どのように分割して予測処理を行うかの分割モードに係る情報等を、予測モード情報９４１に含むことができる。
【０１３６】
画像参照情報９４３は、動き予測を行う場合において、ＰＵ９４０が参照する参照画像を特定するための情報である。特に、リスト０とリスト１に分けて参照画像群が管理される場合には、画像参照情報９４３は、リスト０及びリスト１の各々の参照画像群内でのインデックス情報とすることが可能である。
【０１３７】
動きベクトル情報９４５は、動き予測を行う場合において、ＰＵ９４０に適用される動きベクトルｖを特定するための情報である。動きベクトル情報９４５には、動きベクトルｖの予測のために必要な各種情報を含むことができる。
【０１３８】
重み係数情報９４７は、双方向予測を行う場合において、重み係数ｗを算出するための情報である。例えば、重み係数ｗの値、又は重み係数ｗの値を示すインデックスを、重み係数情報９４７に格納することが可能である。なお、上記手法２で説明したように、重み係数ｗを隣接画素ａｐから求める場合には、重み係数情報９４７をＰＵ９４０内に含める必要はない。
【０１３９】
また、重み係数情報９４７には、輝度信号及び色差信号のいずれに、どのような重み係数ｗを適用するかの情報を含むことができる。例えば、輝度信号に係る重み係数を１／２とするか否か、色差信号に対する重み係数を１／２とするか否か、輝度信号と重み信号に対する重み係数をそれぞれ独立とするか否か、等を示すためのフラグ情報を、重み係数情報９４７に含むことができる。なお、当該フラグ情報は、必ずしもＰＵ９４０内の重み係数情報９４７に含まれるものではない。例えば、スライスヘッダ情報９１１に、重み係数ｗの適用に関するフラグ情報を含ませることも考えられる。
【０１４０】
参照隣接画素情報９４９は、双方向予測を行う場合であって、重み係数ｗを隣接画素ａｐから算出する場合に、参照すべき隣接画素ａｐの情報を示すためのものである。例えば、重み係数ｗを求める際に、上隣接画素ｕａｐのみを参照すべきか、左隣接画素ｌａｐのみを参照すべきか、上隣接画素ｕａｐの、左隣接画素ｌａｐ、左上隣接画素ｕｌａｐの全てを参照すべきか、若しくはいずれも参照すべきでない（又は参照できない）かを示すフラグを、参照隣接画素情報９４９に含めることができる。
【０１４１】
（５  ハードウェア構成の具体例）
以下、図１０を参照しながら、図３に示した符号化装置１００や図５に示した復号化装置２００を実現可能な画像処理装置１０００のハードウェア構成の具体例を説明する。
【０１４２】
なお、画像処理装置１０００は、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）やＢｌｕ−ｒａｙ（登録商標）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、フラッシュメモリ等の各種記憶媒体に記憶された符号化済みの映像データ（ビットストリーム）や、インターネット等のネットワークから受信した符号化済みの映像データを再生する専用のプレーヤとして実現することが考えられる。また画像処理装置１０００は、入力された映像やカメラ等で撮影した映像を映像データとして符号化して各種記憶媒体に記憶するカムコーダやレコーダとして実現することも可能である。或いは、画像処理装置１０００は、符号化した映像データをネットワーク上の他の装置に出力する映像配信装置としても良い。更には、映像データの再生や記憶、配信等の機能を持つ、パーソナルコンピュータや携帯電話（フィーチャーフォンであるか、いわゆるスマートフォンであるかは問わない）として画像処理装置１０００を実現することも可能である。
【０１４３】
図１０に示す通り、画像処理装置１０００は、制御部１００１と、通信インタフェース（Ｉ／Ｆ）部１００５と、データＩ／Ｆ部１００７と、記憶部１００９と、表示部１０１５と、入力部１０１７とを含み、各部はバスライン１０１９を介して接続される。
【０１４４】
ここで、図１０の例では、画像処理装置１０００は、符号化機能及び復号化機能の両者を持っているがこれに限られるものではなく、画像処理装置１０００は、符号化機能及び復号化機能の一方のみを備えていても良い。
【０１４５】
また、図１０の例では、画像処理装置１０００は、符号化機能（図３に示した符号化装置１００の機能）及び復号化機能（図５に示した復号化装置２００の各機能）を、各々プログラムである符号化プログラム１０１１及び復号化プログラム１０１３により実現しているが、必ずしもプログラムとしてこれらの機能を実現する必要はない。例えば、制御部１００１内に含まれる１以上のプロセッサ１００３を、符号化及び／又は復号化のために用いられる画像処理専用のプロセッサとした上で、符号化プログラム１０１１及び／又は復号化プログラム１０１３を不要とすることも考えられる。或いは、図３及び図５に示した符号化装置１００及び復号化装置２００の一部を符号化プログラム１０１１／復号化プログラム１０１３により、その他の機能を画像処理用のプロセッサ１００３により実現することも可能である。
【０１４６】
制御部１００１は、１以上のプロセッサ１００３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ。図示せず）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ。図示せず）等を含む。制御部１００１は、記憶部１００９に記憶される符号化プログラム１０１１及び／又は復号化プログラム１０１３を実行することにより、一般的な各種制御機能に加え、画像処理に係る符号化／復号化に係る画像処理を実行可能に構成される。例えば、図３に示した符号化装置１００の各機能の少なくとも一部や、図５に示した復号化装置２００の各機能の少なくとも一部は、各々符号化プログラム１０１１や復号化プログラム１０１３として実現可能である。
【０１４７】
１以上のプロセッサ１００３は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や、画像の符号化／符号化に係る処理を実行するための画像処理用のプロセッサ等を含みうる。ＣＰＵは、符号化プログラム１０１１や復号化プログラム１０１３を実行する。また、プロセッサ１００３に画像処理用のプロセッサが含まれる場合には、当該画像処理用のプロセッサは、図３に示した符号化装置１００が有する各機能の一部又は全部や、図５に示した復号化装置２００が有する各機能の一部又は全部を含むことができる。この場合には、それらの機能は、符号化プログラム１０１１や復号化プログラム１０１３に含む必要はない。
【０１４８】
通信Ｉ／Ｆ部１００５は、外部の装置との間で、有線又は無線により画像データの入出力を行うためのインタフェースである。画像処理装置１０００は、例えば通信Ｉ／Ｆ部１００５から入力された映像データを復号したり、映像を符号化した映像データを通信Ｉ／Ｆ部１００５から外部の装置へ出力したりすることができる。なお、通信Ｉ／Ｆ部１００５が行う通信方式は、例えば、ＬＡＮ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、携帯電話通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信等、様々な方式を考えることができる。
【０１４９】
データＩ／Ｆ部１００７は、ＤＶＤやＢｌｕ−ｒａｙ（登録商標）等の光ディスク、フラッシュメモリ、ＨＤＤ等の各種外部記憶装置との間でデータの入出力を行うためのデバイスである。データＩ／Ｆ部１００７の具体例としては、各種記憶デバイスに記憶されているデータを読み取るためのドライブ装置等を考えることができる。
【０１５０】
記憶部１００９は、例えばＨＤＤやフラッシュメモリ等の、内蔵の不揮発性の記憶媒体である。記憶部１００９は、一般的な情報処理装置としての機能を実現するための制御プログラム等に加えて、符号化及び／又は復号化機能を実現するための符号化プログラム１０１１や復号化プログラム１０１３を記憶し得る。
【０１５１】
表示部１０１５は、例えば復号済みの映像や、符号化対象の映像を表示するためのディスプレイ装置である。表示部１０１５の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が挙げられる。入力部１０１７は、必要に応じて操作入力を受け付けるためのデバイスである。入力部１０１７の具体例としては、キーボードやマウス、タッチパネル、各種操作ボタン等を挙げることができる。
【０１５２】
なお、画像処理装置１０００は、表示部１０１５及び入力部１０１７を必ずしも備える必要はない。また表示部１０１５及び入力部１０１７は、ＵＳＢやディスプレイポート等の各種インタフェースを介して外部から画像処理装置１０００へ接続されても良い。
【０１５３】
（６  本実施形態に係る効果）
以上説明したように、符号化装置１００及び復号化装置２００は、１／２以外の重み係数ｗを用いて、双方向予測を行うことが可能である。この際、符号化装置１００が動きベクトルｖ0及びｖ1、並びに重み係数ｗの最適な組み合わせを求めようとすると演算量が飛躍的に増大するため、一つの形態に係る符号化装置１００は、まずは輝度信号に対して重み係数を１／２として動きベクトルｖ0及びｖ1を求めた上で、色差信号に対して好適な重み係数ｗを求める。これにより、動きベクトルｖ0及びｖ1、並びに重み係数ｗの全ての組み合わせの中から最適なものを求める場合よりも、演算量を飛躍的に低減させることができる。
【０１５４】
また、一つの形態に係る符号化装置１００及び復号化装置２００は、予測対象の予測ユニットＰＵの隣接画素ａｐに基づいて重み係数ｗを算出し得る。これにより、重み係数ｗの値やインデックスをビットストリームに含めずとも、符号化装置１００及び復号化装置２００で同一の重み係数ｗを算出することが可能となる。すなわち、重み係数ｗの伝送に係る符号化量の増大を抑制することができる。
【０１５５】
更に、一つの形態に係る符号化装置１００及び復号化装置２００は、輝度信号と、色差信号とで、異なる重み係数ｗを適用し得る。これにより、重み係数ｗを用いて生成される予測画像の予測精度を向上させることができる。
【０１５６】
（７  付記）
なお、上述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は上述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。特に、上記（１）〜（４）式はあくまでも一例であり、他の数式を適用することも考えられる。
【符号の説明】
【０１５７】
１００    ：符号化装置
１０１    ：アナログ／デジタル（Ａ／Ｄ）変換部
１０３    ：並替えバッファ
１０３ａ  ：画像分割部
１０５    ：直交変換部
１０７    ：量子化部
１０９    ：エントロピー符号化部
１１１    ：蓄積バッファ
１１３    ：レート制御部
１１５    ：逆量子化部
１１７    ：逆直交変換部
１１９    ：ループフィルタ
１２１    ：フレームメモリ
１２３    ：イントラ予測部
１２５    ：動き予測部
１２７    ：双方向予測重み係数計算部
１５１    ：動きベクトル探索部
１５３    ：予測方向決定部
１５５    ：双方向予測部
１５７    ：モード判定部
１５９    ：予測画像生成部
２００    ：復号化装置
２０１    ：蓄積バッファ
２０３    ：エントロピー復号化部
２０５    ：逆量子化部
２０７    ：逆直交変換部
２０９    ：ループフィルタ
２１１    ：並替えバッファ
２１３    ：デジタル／アナログ（Ｄ／Ａ）変換部
２１５    ：フレームメモリ
２１７    ：イントラ予測部
２１９    ：動き予測部
２２１    ：双方向予測重み係数計算部
２５１    ：予測画像生成部
２５３    ：予測モード・動きベクトルバッファ
【図１】
2018056699.tif 000007
【図２ａ】
2018056699.tif 000008
【図２ｂ】
2018056699.tif 000009
【図２ｃ】
2018056699.tif 000010
【図２ｄ】
2018056699.tif 000011
【図３】
2018056699.tif 000012
【図４】
2018056699.tif 000013
【図５】
2018056699.tif 000014
【図６】
2018056699.tif 000015
【図７】
2018056699.tif 000016
【図８】
2018056699.tif 000017
【図９】
2018056699.tif 000018
【図１０】
2018056699.tif 000019