(57)【要約】  上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化方法。直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定し、直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出する。
2009054347.tif 000002
【特許請求の範囲】
【請求項１】
動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化方法であって、
直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定するステップと、
直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するステップとを有することを、
特徴とする動画像スケーラブル符号化方法。
【請求項２】
請求項１に記載の動画像スケーラブル符号化方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することを、
特徴とする動画像スケーラブル符号化方法。
【請求項３】
請求項１に記載の動画像スケーラブル符号化方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することを、
特徴とする動画像スケーラブル符号化方法。
【請求項４】
請求項１に記載の動画像スケーラブル符号化方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することを、
特徴とする動画像スケーラブル符号化方法。
【請求項５】
請求項１に記載の動画像スケーラブル符号化方法において、
前記重み係数を算出するステップでは、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
特徴とする動画像スケーラブル符号化方法。
【請求項６】
請求項１に記載の動画像スケーラブル符号化方法において、
前記重み係数を算出するステップでは、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
特徴とする動画像スケーラブル符号化方法。
【請求項７】
動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号方法であって、
直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定するステップと、
直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出するステップとを有することを、
特徴とする動画像スケーラブル復号方法。
【請求項８】
請求項７に記載の動画像スケーラブル復号方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することを、
特徴とする動画像スケーラブル復号方法。
【請求項９】
請求項７に記載の動画像スケーラブル復号方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することを、
特徴とする動画像スケーラブル復号方法。
【請求項１０】
請求項７に記載の動画像スケーラブル復号方法において、
前記重み係数のデータ構造を決定するステップで、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することを、
特徴とする動画像スケーラブル復号方法。
【請求項１１】
請求項７に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップでは、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
特徴とする動画像スケーラブル復号方法。
【請求項１２】
請求項７に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップでは、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
特徴とする動画像スケーラブル復号方法。
【請求項１３】
動画像スケーラブル符号化で用いられて、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル符号化装置であって、
直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定する手段と、
直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出する手段とを有することを、
特徴とする動画像スケーラブル符号化装置。
【請求項１４】
請求項１３に記載の動画像スケーラブル符号化装置において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することを、
特徴とする動画像スケーラブル符号化装置。
【請求項１５】
請求項１３に記載の動画像スケーラブル符号化装置において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することを、
特徴とする動画像スケーラブル符号化装置。
【請求項１６】
請求項１３に記載の動画像スケーラブル符号化方法において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することを、
特徴とする動画像スケーラブル符号化装置。
【請求項１７】
請求項１３に記載の動画像スケーラブル符号化装置において、
前記重み係数を算出する手段は、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
特徴とする動画像スケーラブル符号化装置。
【請求項１８】
請求項１３に記載の動画像スケーラブル符号化装置において、
前記重み係数を算出する手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
特徴とする動画像スケーラブル符号化装置。
【請求項１９】
動画像スケーラブル復号で用いられて、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成する動画像スケーラブル復号装置であって、
直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定する手段と、
直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出する手段とを有することを、
特徴とする動画像スケーラブル復号装置。
【請求項２０】
請求項１９に記載の動画像スケーラブル復号装置において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が１つである場合に、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することを、
特徴とする動画像スケーラブル復号装置。
【請求項２１】
請求項１９に記載の動画像スケーラブル復号装置において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が１つである場合に、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することを、
特徴とする動画像スケーラブル復号装置。
【請求項２２】
請求項１９に記載の動画像スケーラブル復号装置において、
前記重み係数のデータ構造を決定する手段は、被参照画像領域が２つである場合に、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することを、
特徴とする動画像スケーラブル復号装置。
【請求項２３】
請求項１９に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすことを、
特徴とする動画像スケーラブル復号装置。
【請求項２４】
請求項１９に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに前記直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、前記直流成分とみなす直流成分を算出することを、
特徴とする動画像スケーラブル復号装置。
【請求項２５】
請求項１に記載の動画像スケーラブル符号化方法をコンピュータに実行させるための動画像スケーラブル符号化プログラム。
【請求項２６】
請求項１に記載の動画像スケーラブル符号化方法をコンピュータに実行させるための動画像スケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２７】
請求項７に記載の動画像スケーラブル復号方法をコンピュータに実行させるための動画像スケーラブル復号プログラム。
【請求項２８】
請求項７に記載の動画像スケーラブル復号方法をコンピュータに実行させるための動画像スケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、明るさが時間的に変化する動画像をスケーラブルに符号化する動画像スケーラブル符号化方法およびその装置と、その動画像スケーラブル符号化により符号化された符号化データを復号する動画像スケーラブル復号方法およびその装置と、その動画像スケーラブル符号化方法の実現に用いられる動画像スケーラブル符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その動画像スケーラブル復号方法の実現に用いられる動画像スケーラブル復号プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００７年１０月２５日に出願された特願２００７−２７７２２４号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
一般的な動画像符号化方式では、フレーム間の画素値差分最小化に基づいたブロックマッチングにより動き予測を行い、符号化性能の向上を図っている。しかしながら、フェードのような明るさが時間的に変化する画像では、明るさ変化の分だけ動き予測の予測残差が拡大し、符号化性能が低下してしまう。【０００３】
そこで、非特許文献１に示すＨ．２６４／ＡＶＣでは、動き予測の参照ピクチャに適応的に重み係数を掛ける重み付き動き予測を行っている。この重み付き動き予測により、時間的な明るさ変化を補正した予測参照信号を構成し、符号化性能を向上させている。【０００４】
Ｈ．２６４／ＡＶＣでは、明るさの補正に用いる重み係数を符号化して伝送するＥｘｐｌｉｃｉｔモードと、重み係数を伝送せずにエンコーダとデコーダで同じ重み係数を参照フレームの情報から間接的に生成するＩｍｐｌｉｃｉｔモードの２つの重み付き動き予測の方法を備えている。表１に、ＰスライスおよびＢスライスにおける重み付き動き予測の種類と予測方法を示す。【０００５】
【表１】
2009054347.tif 000003
【０００６】
この表１で、ｚは重み付き動き予測信号、ｒ0 ，ｒ1 は重み付き動き予測参照信号、ｗ0 ，ｗ1 ，ｄ0 ，ｄ1 は重み係数を指している。重み付き動き予測のスイッチングと重み係数伝送モードの選択は、スライス単位で実行される。【０００７】
図２０は、Ｈ．２６４／ＡＶＣにおける重み付き動き予測（Ｉｍｐｌｉｃｉｔモード）を説明する図である。Ｉｍｐｌｉｃｉｔモードは、Ｂスライスの双予測の場合にのみ用いられる。符号化対象フレームと２枚の被参照フレームに渡る明るさ変化が線形であると仮定し、比例係数ｗ0 ，ｗ1 を被参照フレームからの距離に応じて算出する。オフセット係数ｄは０とする。【０００８】
なお、図２０では参照フレームからの距離に応じた内分による比例係数算出の例を示しているが、外分の場合も同様に行うことができる。【０００９】
現在、非特許文献２に示すＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴで取り組まれているＨ．２６４／ＡＶＣのスケーラブル拡張方式ＪＳＶＣにおいても、前記に示したＨ．２６４／ＡＶＣと同じ重み付き動き予測が取り入れられている。また、非特許文献３に示すＪＳＶＣの参照エンコーダＪＳＶＭにおいても、表１に示した重み付き動き予測を行っている。【００１０】
また、動画像の大局的な輝度変化を検出し、輝度補償を行う技術として、特許文献１に記載された技術が知られている。この特許文献１に記載の技術では、画面全体の大局的な輝度変化量と、小領域ごとに輝度変化の補償をするか否かの判定を示すフラグとを用いることで、明るさの変化が画面内で一様でない場合に対応している。
【非特許文献１】ITU-T: "Advanced video coding for generic audiovisual services", ITU-T Rec. H.264, pp. 129-132, May, 2003.
【非特許文献２】T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien: "Joint Draft 8 of SVC Amendment", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U201, pp. 166-170, October, 2006.
【非特許文献３】J.Reichel, H.Schwarz and M.Wien: "Joint Scalable Video Model JSVM-8", ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, October, 2006.
【特許文献１】特開平１０−３２８２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
Ｈ．２６４／ＡＶＣの重み付き動き予測はスライス単位で実行される。したがって、スライス内の一部に明るさ変化が発生する場合や、スライス内の明るさ変化が一様でない場合には、重み付き動き予測の予測性能は低下してしまう。移動物体の影などによって発生する明るさ変化などが、前記に該当する。ＪＳＶＣもＨ．２６４／ＡＶＣの重み付き動き予測を継承しているため、前述と同じ問題に直面する。【００１２】
仮に、スライスより細かいマクロブロックなどの単位で重み係数を算出し、重み付き動き予測を実行しようとすると、Ｅｘｐｌｉｃｉｔモードでは重み係数に要する符号量が甚大となってしまう。そのような場合には、Ｉｍｐｌｉｃｉｔモードで重み係数を算出することが望ましい。しかしながら、前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測のＩｍｐｌｉｃｉｔモードの実装は、双予測を行うＢスライスのみに限られている。【００１３】
また、この重み付き動き予測のＩｍｐｌｉｃｉｔモードで算出される重み係数は、符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であるという仮定に基づくものであるため、それら３フレームにわたる明るさの時間的変化が非線形の場合には、適切な重み係数が算出されず、予測性能は低下してしまう。非線形に明るさが変化するフェード画像や、フラッシュを含む画像などが、前記に該当する。
ＪＳＶＣにおける重み付き動き予測は、Ｈ．２６４／ＡＶＣの重み付き動き予測がそのまま実装されているので前述と同じ問題に直面する。【００１４】
また、前記特許文献１に記載されている技術では、小領域ごとにフラグの情報を伝送する必要があるので、符号化性能が低下するという問題、当該小領域の輝度変化量が大きく、かつ、大局的な輝度変化量と乖離する場合においても、当該小領域における輝度変化を補償できないため、その点においても符号化性能が低下するという問題があった。【００１５】
本発明はかかる事情に鑑みてなされたものであって、最も低い空間解像度を有する基本レイヤと、それより高い空間解像度を有する一つ以上の拡張レイヤによって構成される空間スケーラブル符号化において、動き予測の被参照フレームの復号信号と符号化対象フレームの直下レイヤの復号信号との間の時間的な明るさ変化の情報に基づいた重み付き動き予測の重み係数を生成し、重み係数の情報を伝送することなく符号化器および復号器で同じ重み係数を用いた重み付き動き予測を行うスケーラブル符号化器および復号器の設計方法を確立することを目的とする。
【課題を解決するための手段】
【００１６】
〔１〕本発明の動画像スケーラブル符号化装置の構成
前記の目的を達成するために、本発明の動画像スケーラブル符号化装置は、上位レイヤの符号化対象画像領域と被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、その重み係数を探索対象となる被参照画像領域の画像信号に演算して動きの推定を行うことで動きベクトルを算出し、その動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、（ｉ）直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定する手段と、（ii）直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出する算出手段とを備えるように構成する。【００１７】
ここで、決定手段は、被参照画像領域が１つである場合に、比例係数補正の重み係数算出方法を用いる場合には、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することで、重み係数のデータ構造を決定することがある。【００１８】
また、決定手段は、被参照画像領域が１つである場合に、オフセット係数補正の重み係数算出方法を用いる場合には、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することで、重み係数のデータ構造を決定することがある。【００１９】
また、決定手段は、被参照画像領域が２つである場合には、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することで、重み係数のデータ構造を決定することがある。【００２０】
この構成を採るときに、算出手段は、直下画像領域において発生した動き予測の予測残差信号についても考慮することで精度の向上を図る場合には、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすようにしても良い。【００２１】
また、この構成を採るときに、算出手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、直流成分とみなす直流成分を算出するようにしても良い。【００２２】
以上の各処理手段が動作することで実現される本発明の動画像スケーラブル符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。【００２３】
〔２〕本発明の動画像スケーラブル復号装置の構成
前記の目的を達成するために、本発明の動画像スケーラブル復号装置は、上位レイヤの復号対象画像領域と復号した動きベクトルの指す被参照画像領域との間の明るさの変化を示す比例係数とオフセット係数からなる重み係数を算出して、復号した動きベクトルの指す被参照画像領域の復号信号にその重み係数を演算して動き補償を行うことで予測信号を生成するという構成を採るときにあって、（ｉ）直下レイヤにおいて符号化対象画像領域と空間的同位置に存在する直下画像領域の符号化情報に基づいて、前記重み係数のデータ構造を決定する手段と、（ii）直下画像領域が直下レイヤにおいて画面間予測を行っていた場合に、直下画像領域が動き予測の予測参照先とした直下レイヤ被参照画像領域を同定し、その直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものを直下画像領域の直流成分とみなして、前記重み係数を算出する算出手段とを備えるように構成する。【００２４】
ここで、決定手段は、被参照画像領域が１つである場合に、比例係数補正の重み係数算出方法を用いる場合には、比例係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との比を用いることを決定し、オフセット係数として、ゼロを用いることを決定することで、重み係数のデータ構造を決定することがある。【００２５】
また、決定手段は、被参照画像領域が１つである場合に、オフセット係数補正の重み係数算出方法を用いる場合には、オフセット係数として、被参照画像領域の直流成分と前記直下画像領域の直流成分との差を用いることを決定し、比例係数として、１を用いることを決定することで、重み係数のデータ構造を決定することがある。【００２６】
また、決定手段は、被参照画像領域が２つである場合には、比例係数として、符号化対象画像領域と各被参照画像領域との間のフレーム間距離に応じて算出されるものを用いることを決定し、オフセット係数として、２つの被参照画像領域の直流成分に対してその比例係数を乗算した値を、前記直下画像領域の直流成分から減算することで算出されるものを用いることを決定することで、重み係数のデータ構造を決定することがある。【００２７】
この構成を採るときに、算出手段は、直下画像領域において発生した動き予測の予測残差信号についても考慮することで精度の向上を図る場合には、直下レイヤ被参照画像領域と空間的同位置に存在する上位レイヤの画像領域の直流成分に対して、直下画像領域が重み付き動き予測の際に利用した重み係数を演算したものに、さらに直下画像領域において発生した動き予測の予測残差信号の直流成分を加算したものを直下画像領域の直流成分とみなすようにしても良い。【００２８】
また、この構成を採るときに、算出手段は、直下画像領域がより細かい小領域単位で動き予測が行われていた場合には、その小領域ごとに直流成分とみなす直流成分を算出して、それらの算出した直流成分と各小領域の面積とに基づいて、直流成分とみなす直流成分を算出するようにしても良い。【００２９】
以上の各処理手段が動作することで実現される本発明の動画像スケーラブル復号方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【発明の効果】
【００３０】
本発明によれば、移動物体の影などによって画像内の一部の明るさが変化するような場合においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって精度の高い重み付き動き予測を実行することができるようになる。【００３１】
そして、本発明によれば、従来ＥｘｐｌｉｃｉｔモードしかとることができなかったＰスライスおよびＢスライスのＬ０／Ｌ１予測といった片方向予測の場合においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって精度の高い重み付き動き予測を実行することができるようになる。【００３２】
そして、本発明によれば、フラッシュを含む画像や非線形変化のフェード画像のような符号化／復号処理対象フレームと複数の予測参照フレームとの間の明るさ変化が非線形の画像においても、復号処理に必要とするメモリと計算時間を節約しながら、重み係数を伝送しないＩｍｐｌｉｃｉｔモードで精度の高い重み付き動き予測を実行することができるようになる。【００３３】
以上のような重み付き動き予測の性能向上により、本発明によれば、符号化効率の向上が見込める。
【図面の簡単な説明】
【００３４】
【図１Ａ】フレーム間の明るさの変化を説明する図である。
【図１Ｂ】予測性能が劣化する例を示す図である。
【図１Ｃ】本発明の概念を説明する図である。
【図２】補正対象フレームおよび被補正フレームの説明図である。
【図３】特願2007-174161の発明における重み係数の算出方法の説明図である。
【図４Ａ】特願2007-174161の発明における重み係数の算出方法の説明図である。
【図４Ｂ】同様に、特願2007-174161の発明における重み係数の算出方法の説明図である。
【図４Ｃ】同様に、特願2007-174161の発明における重み係数の算出方法の説明図である。
【図５】本発明の概念を説明する図である。
【図６】同様に、本発明の概念を説明する図である。
【図７】本発明の有効性を検証するために行った実験の実験結果の説明図である。
【図８】本発明による符号化処理の実施例のフローチャートである。
【図９】本発明による復号処理の実施例のフローチャートである。
【図１０】本発明による重み付き動き推定処理の実施例のフローチャートである。
【図１１】本発明による重み付き動き補償処理の実施例のフローチャートである。
【図１２】本発明による重み係数算出処理の実施例のフローチャートである。
【図１３】本発明による直下ブロック直流成分推定処理の実施例のフローチャートである。
【図１４】本発明による符号化装置の実施例の構成図である。
【図１５】本発明による復号装置の実施例の構成図である。
【図１６】本発明による重み付き動き推定部の実施例の構成図である。
【図１７】本発明による重み付き動き補償部の実施例の構成図である。
【図１８】本発明による重み係数算出部の実施例の構成図である。
【図１９】本発明による直下ブロック直流成分推定部の実施例の構成図である。
【図２０】Ｈ．２６４／ＡＶＣにおける重み付き動き予測の説明図である。
【符号の説明】
【００３５】
１０１  予測方法判定部
１０２  画面内予測部
１０３  重み無し動き予測部
１０４  レイヤ間予測部
１０５  重み付き動き推定部
１０６  重み付き動き補償部
１０７  予測残差信号生成部
１０８  予測残差信号符号化部
１０９  復号部
１１０  当該拡張レイヤ復号信号記憶部
１１１  直下レイヤ符号化情報記憶部
２０１  予測モード復号部
２０２  予測モード記憶部
２０３  予測方法判定部
２０４  画面内予測部
２０５  重み無し動き予測部
２０６  レイヤ間予測部
２０７  動きベクトル情報復号部
２０８  動きベクトル情報記憶部
２０９  重み付き動き補償部
２１０  直下レイヤ符号化情報記憶部
２１１  残差信号復号部
２１２  残差信号記憶部
２１３  復号信号生成部
２１４  当該拡張レイヤ復号信号記憶部
【発明を実施するための最良の形態】
【００３６】
まず、本発明の概要について説明する。
ここでの説明では、説明の便宜上、画像領域に相当するものをブロックと記載し、画像領域の直流成分に相当するものを平均値と記載して説明する。【００３７】
Ｉｍｐｌｉｃｉｔモードは、重み付き動き予測で必要となる重み係数を間接的に算出することで、余分な符号化情報を伝送しない方式である。したがって、算出される重み係数が明るさの変化を十分に反映するものであるならば、非常に効果的な手法となるが、それらが乖離すると予測性能が低下することになる。【００３８】
非線形のフェード画像やフラッシュ画像では、フレーム間の明るさの変化が図１Ａに示すように非線形となる。
このような場合に、予測参照信号に対して重み係数のみによる線形予測を行うと、図１Ｂに示すように予測性能が劣化する。【００３９】
そこで、双予測における重み付き動き予測では、オフセット係数ｄを設けているが、前述したＪＳＶＣのＩｍｐｌｉｃｉｔモードでは、このオフセット係数ｄがゼロにセットされるため、乖離量がそのまま予測残差として表れてしまう。【００４０】
一方、Ｍ×Ｎサイズの符号化対象ブロックの座標（ｍ，ｎ）における原信号をｓmnと表し、双予測における２つの被参照ブロックの座標（ｍ，ｎ）における復号信号をｙ0 mn，ｙ1 mn  と表し、符号化対象ブロックに重み係数（ｗ0,ｗ1,ｄ）を割り当てると、重み係数（ｗ0,ｗ1,ｄ）により算出される重み付き予測信号と原信号の誤差ｅは、
ｅmn＝ｓmn−（ｗ0 ｙ0 mn＋ｗ1 ｙ1 mn＋ｄ）
となるので、符号化対象ブロックにおける予測誤差ｅmnの総エネルギーＥは、
Ｅ＝Σm Σn （ｓmn−（ｗ0 ｙ0 mn＋ｗ1 ｙ1 mn＋ｄ))2 
となる。【００４１】
ｗ0,ｗ1 が図２０と同じように与えられるとすると、この総エネルギーＥを最小化するオフセット係数ｄは、「∂Ｅ／∂ｄ＝０」を解くことで、
ｄ＝＜ｓ＞−ｗ0 ＜ｙ0 ＞−ｗ1 ＜ｙ1 ＞
＜ｓ＞    ：  符号化対象ブロックの原信号の平均値
＜ｙ0 ＞  ：  被参照ブロックの復号信号の平均値
＜ｙ1 ＞  ：  被参照ブロックの復号信号の平均値
と求まる。【００４２】
しかし、復号器では原信号を参照できない。そこで、本発明では、レイヤ間の平均値の保存性に着目して、図１Ｃに示すように、原信号の平均値＜ｓ＞の代わりに、直下レイヤにおける符号化対象ブロックと空間的同位置に存在するブロック（直下ブロック）の復号信号の平均値＜ｘ＞を用いて、オフセット係数ｄを、
ｄ≒＜ｘ＞−ｗ0 ＜ｙ0 ＞−ｗ1 ＜ｙ1 ＞
と求めるようにする。【００４３】
しかるに、直下レイヤにおける符号化対象ブロックと空間的同位置に存在する直下ブロックの復号信号の平均値＜ｘ＞を求めるには、直下レイヤの復号信号をすべて復号する必要があり、大きな容量のメモリが必要になるとともに、長い計算時間が必要になる。【００４４】
そこで、本発明では、双予測における重み付き動き予測において、
ｄ≒＜ｘ＞−ｗ0 ＜ｙ0 ＞−ｗ1 ＜ｙ1 ＞
という算出式に従ってオフセット量を求めるときに、直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックを同定し、その直下レイヤ被参照ブロックと空間的同位置に存在する上位レイヤのブロックの復号信号の平均値に対して、直下ブロックが重み付き動き予測の際に利用した重み係数を演算したものを直下ブロックの復号信号の平均値とみなすことで、＜ｘ＞を求めるようにしている。【００４５】
直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックについては、直下レイヤのすべての信号を復号しなくても動きベクトルなどの一部の情報を復号することで特定可能であることから、本発明によれば、「大きな容量のメモリが必要になるとともに、長い計算時間が必要になる」という問題も起こらない。【００４６】
また、重み係数ｗ0,ｗ1 については、符号化対象ブロックと各被参照ブロックとの間のフレーム間距離に応じて算出されるものとなることで復号側でも求めることができるものであり、さらに、オフセット係数ｄについても、復号信号で算出できるようになることから復号側でも求めることができることになり、これにより、本発明によれば、重み係数を復号側に伝送する必要がない。【００４７】
したがって、本発明によれば、双予測における重み付き動き予測において、Ｉｍｐｌｉｃｉｔモードを実現しつつ、フレーム間の明るさが非線形に変化するような場合にも、高精度の重み付き動き予測を、少ないメモリ容量で、かつ、短時間に実行することができるようになる。【００４８】
なお、この本発明の技術思想は、片方向予測における重み付き動き予測にも適用できるものである。【００４９】
すなわち、片方向予測における重み付き動き予測では、
（ｉ）比例係数として、被参照ブロックの復号信号の平均値と符号化対象ブロックの原信号の平均値との比を用いるとともに、オフセット係数としてゼロを用いる、あるいは、
（ii）オフセット係数として、被参照ブロックの復号信号の平均値と符号化対象ブロックの復号信号の平均値との差を用いるとともに、比例係数として１を用いる
ことになる。【００５０】
しかし、復号器では原信号を参照できない。そこで、本発明では、レイヤ間の平均値の保存性に着目して、符号化対象ブロックの原信号の平均値の代わりに、直下ブロックの復号信号の平均値を用いて、上述の比や差を求めるようにする。【００５１】
しかるに、直下ブロックの復号信号の平均値を求めるには、直下レイヤの復号信号をすべて復号する必要があり、大きな容量のメモリが必要になるとともに、長い計算時間が必要になる。【００５２】
そこで、本発明では、片方向予測における重み付き動き予測において、直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックを同定し、その直下レイヤ被参照ブロックと空間的同位置に存在する上位レイヤのブロックの復号信号の平均値に対して、直下ブロックが重み付き動き予測の際に利用した重み係数を演算したものを直下ブロックの復号信号の平均値とみなすことで、前述の比や差を求めるようにする。【００５３】
直下ブロックが動き予測の予測参照先とした直下レイヤ被参照ブロックについては、直下レイヤの復号信号をすべて復号しなくても動きベクトルなどの一部の情報を復号することで特定可能であることから、本発明によれば、「大きな容量のメモリが必要になるとともに、長い計算時間が必要になる」という問題も起こらない。【００５４】
また、重み係数については、復号信号で算出できるようになることから復号側でも求めることができるようになり、これにより、本発明によれば、重み係数を復号側に伝送する必要がない。【００５５】
したがって、本発明によれば、片方向予測における重み付き動き予測においても、Ｉｍｐｌｉｃｉｔモードを実現しつつ、フレーム間の明るさが非線形に変化するような場合にも、高精度の重み付き動き予測を、少ないメモリ容量で、かつ、短時間に実行することができるようになる。
以下、実施の形態に従って本発明を詳細に説明する。【００５６】
前述したように、Ｈ．２６４／ＡＶＣの重み付き動き予測はスライス単位で実行される。したがって、スライス内の一部に明るさ変化が発生する場合や、スライス内の明るさ変化が一様でない場合には、重み付き動き予測の予測性能は低下してしまう。移動物体の影などによって発生する明るさ変化などが、前記に該当する。ＪＳＶＣもＨ．２６４／ＡＶＣの重み付き動き予測を継承しているため、前述と同じ問題に直面する。【００５７】
仮に、スライスより細かいマクロブロックなどの単位で重み係数を算出し、重み付き動き予測を実行しようとすると、Ｅｘｐｌｉｃｉｔモードでは重み係数に要する符号量が甚大となってしまう。そのような場合には、Ｉｍｐｌｉｃｉｔモードで重み係数を算出することが望ましい。しかしながら、前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測のＩｍｐｌｉｃｉｔモードの実装は、双予測を行うＢスライスのみに限られている。【００５８】
また、この重み付き動き予測のＩｍｐｌｉｃｉｔモードで算出される重み係数は、符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であるという仮定に基づくものであるため、それら３フレームにわたる明るさの時間的変化が非線形の場合には、適切な重み係数が算出されず、予測性能は低下してしまう。非線形に明るさが変化するフェード画像や、フラッシュを含む画像などが、前記に該当する。ＪＳＶＣにおける重み付き動き予測は、Ｈ．２６４／ＡＶＣの重み付き動き予測がそのまま実装されているので前述と同じ問題に直面する。【００５９】
このような事情に鑑みて、本発明者は、先に出願した特願2007-174161(平成19年７月２日出願）で、これらの問題を解決できるようにする新たな発明を出願した。【００６０】
この特願2007-174161 で出願した発明では、符号化対象フレームの直下レイヤの復号信号を利用して重み係数を算出する。【００６１】
次に、特願2007-174161 で出願した発明で導出した重み係数の算出方法について説明する。【００６２】
特願2007-174161 で出願した発明では、以下の手順により、スケーラブル符号化の重み付き動き推定および重み付き動き補償に用いる重み係数を算出する。
従来のＩｍｐｌｉｃｉｔモードでは、一つのレイヤ内に閉じて、時間的な明るさの変化を被参照フレームからの距離に応じた内挿または外挿によって推定し、重み係数を算出している。
本発明（特願2007-174161）では、その時間的な明るさの変化の推定に、符号化／復号対象のレイヤの直下レイヤの復号信号の情報を用いることにより、その推定精度を向上させる。【００６３】
手順の説明にあたり、説明に使用する記号を整理する。
当該拡張レイヤの符号化／復号処理対象フレーム（以降、補正対象フレーム）をｆ、ＰスライスまたはＢスライスにおけるＬ０予測の重み付き動き推定／補償被参照フレーム（以降、被補正フレーム）をｆ0 、ＢスライスにおけるＬ１予測の被補正フレームをｆ1 とおく。また、補正対象フレームｆと同時刻の直下レイヤのフレームをｇとおく。【００６４】
また、フレームｆにおける符号化／復号処理対象ブロック（以降、補正対象ブロック）の座標（ｉ，ｊ）に代入される予測信号値をｚ（ｉ，ｊ）、また、フレームｆ0 における重み付き動き推定／補償被参照ブロック（以降、被補正ブロック）の座標（ｉ，ｊ）における復号信号値をｙ0 （ｉ，ｊ）とおく。また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの座標（ｉ，ｊ）における復号信号値をｘ（ｉ，ｊ）とおく。【００６５】
以上を図２に図示する。図２は、当該拡張レイヤと直下レイヤの解像度比が、縦横ともに２：１の場合の図である。なお、解像度比が２：１以外の場合にも、同様の処理が可能である。【００６６】
また、フレームｆ0 における被補正ブロックの直流成分値をＹ0 、また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの直流成分値をＸとする。これらは、図２の場合、次のように算出される。【００６７】
【数１】
2009054347.tif 000004
【００６８】
《ＰスライスおよびＬ０／Ｌ１予測Ｂスライスにおける重み係数の算出方法》
ＰスライスおよびＬ０／Ｌ１予測を行うＢスライスのような単一フレームの予測の場合、予測信号値ｚ（ｉ，ｊ）は以下のようにして算出される。【００６９】
・ＰスライスまたはＬ０予測Ｂスライスの場合
ｚ（ｉ，ｊ）＝ｗ0 ・ｙ0 （ｉ，ｊ）＋ｄ0 
・Ｌ１予測Ｂスライスの場合
ｚ（ｉ，ｊ）＝ｗ1 ・ｙ1 （ｉ，ｊ）＋ｄ1   ・・・・  （３）式
本発明（特願2007-174161）では、この重み係数ｗ0 とｄ0 、またはｗ1 とｄ1 の算出方法を２つ列挙する。
以降に記す算出方法の説明は、ＰスライスまたはＬ０予測Ｂスライスの場合を例にとっている。Ｌ１予測Ｂスライスの場合には、フレームｆ0 およびｇ0 に関わる要素をフレームｆ1 およびｇ1 に関わる要素に変更すればよい。【００７０】
２つの算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ0 から補正対象フレームｆの明るさ変化を間接的に予測する。【００７１】
〔方法１−１〕単一フレーム予測における直流成分を用いた比例係数補正
本方法では、以下のように重み係数を算出する。【００７２】
ｗ0 ＝Ｘ／Ｙ0   ・・・・  （４）式
ｄ0 ＝０        ・・・・  （５）式
〔方法１−２〕単一フレーム予測における直流成分を用いたオフセット係数補正
本方法では、以下のように重み係数を算出する。【００７３】
ｗ0 ＝１        ・・・・  （６）式
ｄ0 ＝Ｘ−Ｙ0   ・・・・  （７）式
《双予測Ｂスライスにおける重み係数の算出方法》
双予測を行うＢスライスでは、予測信号値ｚ（ｉ，ｊ）は、以下のようにして算出される。【００７４】
ｚ（ｉ，ｊ）＝ｗ0 ・ｙ0 （ｉ，ｊ）＋ｗ1 ・ｙ1 （ｉ，ｊ）＋ｄ  ・・（８）式
本発明（特願2007-174161）では、この重み係数ｗ0 、ｗ1 、ｄを以下のように算出する。
なお、この算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ0 およびｆ1 から補正対象フレームｆの明るさ変化を間接的に予測する。【００７５】
〔方法２−１〕双予測における直流成分ブロックを用いた重み係数補正
本方法では、以下のように重み係数を算出する。【００７６】
ｗ0 ＝１−ｗ1                   ・・・・    （９）式
ｗ1 ＝ｔb ／ｔd                 ・・・・  （１０）式
ｄ＝Ｘ−ｗ0 ・Ｙ0 −ｗ1 ・Ｙ1   ・・・・  （１１）式
ここで、ｔb は、被補正フレームｆ0 から補正対象フレームまでのフレーム間距離、ｔd は、被補正フレームｆ0 から被補正フレームｆ1 までのフレーム間距離を示している。【００７７】
以上に説明した特願2007-174161 で出願した発明で導出した重み係数の算出方法についてまとめると、以下のようになる。【００７８】
図３に示すように、当該レイヤｌにおける時刻ｔのフレームの当該ブロックをＢとし、その被参照ブロックをそれぞれＢ0 、Ｂ1 とする。Ｂ0 、Ｂ1 はそれぞれ当該レイヤｌにおける時刻ｔ−Ｔ0 のフレーム、および当該レイヤｌにおける時刻ｔ＋Ｔ1 のフレームに属する。
ここで、片方向予測の場合の被参照フレームは時刻ｔ−Ｔ0 のフレームのみとする。
また、直下レイヤｌ−１における当該ブロックＢと空間的同位置にある時刻ｔのフレームのブロックをＢa とする。以降、このＢa を直下ブロックと呼ぶ。【００７９】
ここで、被参照ブロックＢ0 内の復号信号の直流成分をＲ（ｌ，ｔ−Ｔ0 ，Ｂ0 ）、被参照ブロックＢ1 内の復号信号の直流成分をＲ（ｌ，ｔ＋Ｔ1 ，Ｂ1 ）、直下ブロックＢa 内の復号信号の直流成分Ｒ（ｌ−１，ｔ，Ｂa ）とする。
各ブロックの直流成分は、ブロック内の画素集合に対して２次元ＦＦＴや２次元ＤＣＴなどを適用し生成する。【００８０】
このとき、特願2007-174161 で出願した発明では、重み係数（ｗ0 ，ｄ0 ）、もしくは（ｗ0 ，ｗ1 ，ｄ）を以下のように定めている。【００８１】
（片方向予測の場合）
＊比例係数補正：前述の（４)(５）式による補正方法
ｗ0 ＝Ｒ（ｌ−１，ｔ，Ｂa ）／Ｒ（ｌ，ｔ−Ｔ0 ，Ｂ0 ）
ｄ0 ＝０                                          ・・・（１２）式
または、
＊オフセット係数補正：前述の（６)(７）式による補正方法
ｗ0 ＝１
ｄ0 ＝Ｒ（ｌ−１，ｔ，Ｂa ）−Ｒ（ｌ，ｔ−Ｔ0 ，Ｂ0 ）・・・（１３）式
（双予測の場合）
＊前述の（９）式〜（１１）式による補正方法
ｗ0 ＝１−ｗ1 
ｗ1 ＝Ｔ0 ／（Ｔ0 ＋Ｔ1 ）
ｄ＝Ｒ（ｌ−１，ｔ，Ｂa ）−ｗ0 ・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂ0 ）
−ｗ1 ・Ｒ（ｌ，ｔ＋Ｔ1 ，Ｂ1 ）  ・・（１４）式
これにより、重み係数の情報を伝送しないＩｍｐｌｉｃｉｔモードの重み付き動き予測が片方向予測で実現される。片方向予測における重み係数算出の方法には、（１２）式に挙げた比例係数補正方法と、（１３）式に挙げたオフセット係数補正方法の２種類がある。
さらに、Ｈ．２６４／ＡＶＣの双予測のＩｍｐｌｉｃｉｔモードの予測性能も、（１４）式のようにして改善される。【００８２】
なお、本発明者は、この（１４）式に係る発明については、「早瀬和也，坂東幸浩，高村誠之，上倉一人，八島由幸：“空間スケーラブル符号化におけるレイヤ間相関を利用した重み付き予測方式, ”ＦＩＴ２００７、第６回情報科学技術フォーラム, pp. 253-256, Sep. 2007.」で発表した。【００８３】
（１２）式に従って重み係数（ｗ0 ，ｄ0 ）を求める片方向予測の比例係数補正について簡単に説明するならば、図４Ａに示すように、重み係数ｗ0 が、レイヤｌの時刻ｔ−Ｔ0 における復号信号の直流成分αとレイヤｌの時刻ｔにおける原信号の直流成分βとの比で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、この重み係数ｗ0 については復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。【００８４】
また、（１３）式に従って重み係数（ｗ0 ，ｄ0 ）を求める片方向予測のオフセット係数補正について簡単に説明するならば、図４Ｂに示すように、オフセット係数ｄ0 が、レイヤｌの時刻ｔにおける原信号の直流成分βとレイヤｌの時刻ｔ−Ｔ0 における復号信号の直流成分αとの差分で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、このオフセット係数ｄ0 については復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。【００８５】
また、（１４）式に従って重み係数（ｗ0 ，ｄ0 ）を求める双予測のオフセット係数補正について簡単に説明するならば、図４Ｃに示すように、レイヤｌの時刻ｔ−Ｔ0 における復号信号の直流成分をα、レイヤｌの時刻ｔにおける原信号の直流成分をβ、レイヤｌの時刻ｔ＋Ｔ1 における復号信号の直流成分をγと表すならば、オフセット係数ｄが、“ｄ＝β−ｗ0 ・α−ｗ1 ・γ”で求められるものを、この内のレイヤｌの時刻ｔにおける原信号の直流成分βを、レイヤｌ−１の時刻ｔにおける復号信号の直流成分β’で置き換えたものにするということを意味している。
ここで、このオフセット係数ｄについては復号信号により算出することができることから、復号側に伝送する必要がないという特徴がある。【００８６】
一方、ＪＳＶＣのようなマルチレイヤを成す符号化処理の復号の種類には、下位レイヤにおいて逆動き補償を必要とするmulti-loop decoding と、下位レイヤにおいて逆動き補償を必要としないsingle-loop decodingがある。一般的に、復号処理は簡便である必要がある。したがって、高負荷の逆動き補償は極力避けられるべき処理であり、single-loop decodingが求められる。【００８７】
ここで、本明細書で言う逆動き補償とは、動きベクトルの指すブロックの復号信号を同定するまでの処理を言う。【００８８】
しかるに、特願2007-174161 で出願した発明では、（２）式に示したように、直下レイヤの復号信号をすべて作成した上で、直下ブロックＢa 内の復号信号の直流成分Ｒ（ｌ−１，ｔ，Ｂa ）を算出する。したがって、復号処理はmulti-loop decoding となってしまい、改善の余地が残されている。【００８９】
本発明は、このような事情に鑑みて、基本レイヤと一つ以上の拡張レイヤによって構成される空間スケーラブル符号化において、符号化対象フレームの直下レイヤの復号信号の直流成分を、動き予測の被参照フレームの復号信号と直下レイヤにおける動き補償に関する符号化情報のみから推定し、算出された符号化対象フレームの直下レイヤの復号信号の直流成分と動き予測の被参照フレームの復号信号の直流成分との間の関係性より重み付き動き予測の重み係数を生成することで、重み係数の情報を伝送することなく符号化器および復号器で同じ重み係数を用いた重み付き動き予測を行う新たなスケーラブル符号化器および復号器の設計方法の確立を目的とする。【００９０】
本発明における重み付き動き予測の手順を以下に記す。【００９１】
重み付き動き予測は、重み付き動き推定と重み付き動き補償の２つのステップにより構成される。
重み付き動き推定とは、処理対象フレームと動き予測参照フレームとの間の明るさ変化を補正しながら両フレーム間の動きを探索し、探索により検出された動き情報を動きベクトルとして出力する処理を指す。
重み付き動き補償とは、動きベクトル情報を読み込み、その動きベクトルの指す先の信号値に対して明るさ変化の補正を行い、補正された信号値を処理対象フレームにおける予測信号として出力する処理を指す。【００９２】
符号化処理では、重み付き動き推定により動きベクトルを検出し、その動きベクトルを読み込み、重み付き動き補償を実行する。
一方、復号処理では、符号化情報を復号して動きベクトルを読み込み、重み付き動き補償を実行する。【００９３】
重み係数の算出は、任意の画像領域単位で行うことができる。例としては、フレーム単位、スライス単位、マクロブロック単位、マクロブロックをさらに細かく分割した小ブロック単位、などが挙げられる。
本発明では当該レイヤについては重み係数の伝送が不要なため、重み付き動き予測に要するオーバヘッドは、どの画像領域単位であっても変わらない。したがって、小さい画像領域単位で重み係数の算出を行うほど、重み付き動き予測の予測性能は向上する。【００９４】
ここでは、マクロブロック単位で重み係数の算出を行う場合を例に挙げて説明を進める。マクロブロック単位以外であっても、同様の処理により重み付き動き予測が可能である。
また、対象となる信号にも依らず、輝度信号であっても色差信号であっても同様に処理することが可能である。【００９５】
〔重み付き動き推定〕
重み付き動き推定では、符号化対象フレームのマクロブロックごとに、推定被参照フレーム内で整合するマクロブロックを探索する。
この探索の際、探索対象マクロブロックが変更されるたびに、両フレームの当該ブロック間の明るさ変化を示す重み係数を算出し、その重み係数で探索対象マクロブロックの復号信号を補正したものを整合判定のための比較信号として活用する。
そして、整合すると判定されたマクロブロックが、動きベクトルの参照先となり、動き補償における被参照マクロブロックとなる。
整合の判定手段の一例としては、非特許文献１にあげた符号量と符号化歪み間のラグランジュコスト最小化による判定手段が挙げられる。【００９６】
〔重み付き動き補償〕
重み付き動き補償では、まず、符号化／復号対象マクロブロックごとに、そのマクロブロックが有する動きベクトル情報を読み込む。
次に、その動きベクトルの指す先の被参照マクロブロックと符号化／復号対象マクロブロックとの間の明るさ変化を示す重み係数を算出する。
そして、その重み係数で被参照マクロブロックの復号信号を補正したものを、符号化／復号対象マクロブロックにおける予測信号として活用する。【００９７】
〔重み係数の算出処理〕
典型的には、以下の手順により、スケーラブル符号化の重み付き動き推定および重み付き動き補償に用いる重み係数を算出する。【００９８】
重み係数の算出式は、特願2007-174161 で出願した発明と同じく、当該ブロックが片方向予測の場合は前述した（１２）式または式（１３）式によって算出し、双予測の場合は前述した（１４）式によって算出する。
ただし、各式に含まれる直下ブロックの復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）の求め方が本発明と特願2007-174161 で出願した発明との間で異なる。【００９９】
すなわち、特願2007-174161 で出願した発明では、直下レイヤをすべて復号し直交変換により直流成分を得ていたのに対し、本発明では、直下レイヤの復号を部分復号（画像信号を復号するまでの復号ではなくて、一部の符号化情報を復号するレベルの復号）にとどめ、その部分復号情報と当該レイヤの参照フレームの復号信号とから間接的に推定することによって得る。
部分復号にとどめることで逆動き補償を行う必要がなくなり、復号時間を削減できる。【０１００】
具体的な手順の説明にあたり、説明に使用する記号を整理する。
図５に示すように、当該レイヤｌにおける時刻ｔのフレームの当該ブロックをＢとする。また、直下レイヤｌ−１における当該ブロックＢの直下ブロックをＢa とする。
また、直下ブロックＢa の動き予測の被参照ブロックを、それぞれＢb0、Ｂb1とする。Ｂb0、Ｂb1は、それぞれ当該レイヤｌにおける時刻ｔ−Ｔ0 のフレーム、および当該レイヤｌにおける時刻ｔ＋Ｔ1 のフレームに属すると仮定する。【０１０１】
直下レイヤｌ−１の被参照ブロックＢb0、Ｂb1の位置は、直下ブロックＢa が持つ参照フレームインデクスと動きベクトルの符号化情報を復号することで得られる。
また、その直下レイヤｌ−１の被参照ブロックＢb0、Ｂb1と空間的同位置にある当該レイヤｌにおけるブロックを、それぞれＢc0、Ｂc1とする。以降、これらＢc0、Ｂc1を直上ブロックと呼ぶ。【０１０２】
ここで、ブロックＢa 、Ｂb0、Ｂb1、Ｂc0、Ｂc1内の復号信号の直流成分を、それぞれＲ（ｌ−１，ｔ，Ｂa ）、Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）、Ｒ（ｌ−１，ｔ＋Ｔ1 ，Ｂb1）、Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）、Ｒ（ｌ，ｔ＋Ｔ1 、Ｂc1）とする。
また、直下ブロックＢa に含まれる予測残差信号の直流成分をＥ（ｌ−１，ｔ，Ｂa ）とする。予測残差信号の直流成分Ｅ（ｌ−１，ｔ，Ｂa ）は、直下ブロックＢa が持つ予測残差信号の直流成分の符号化情報を復号することで得られる。
また、直下レイヤにおいて重み付き動き予測が行われている場合、直下ブロックＢa と被参照ブロックＢb0の間の重み係数を（ｗ0'，ｄ0'）、直下ブロックＢa と被参照ブロックＢb1の間の重み係数を（ｗ1'，ｄ1'）とする。
これらの重み係数（ｗ0'，ｄ0'）、（ｗ1'，ｄ1'）は、直下ブロックＢa が持つ重み係数の符号化情報を復号することで得られる。【０１０３】
なお、本発明では、当該レイヤｌについては重み係数を符号化する必要はないが、その直下レイヤｌ−１で重み係数を符号化する必要がないかどうかは、さらに、その下にレイヤがあるのか否かに依存する。
ここでは、説明の便宜上、重み係数（ｗ0'，ｄ0'）、（ｗ1'，ｄ1'）は、直下ブロックＢa が持つ重み係数の符号化情報を復号することで得られるものとする。【０１０４】
次に、直下ブロックＢaの予測方式について、画面内予測の場合、画面間予測であり片方向予測の場合、画面間予測であり双予測の場合、画面間予測でありブロック内に片方向予測領域と双予測領域が混在する場合の４つに分けて、直下ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）の求め方の違いを説明する。【０１０５】
（１）直下ブロックＢa が画面内予測の場合
直下ブロックＢa が画面内予測であり、かつその予測がConstrained Intra Predictionによるものである場合、直下ブロックＢa 内の復号信号は逆動き補償を行うことなくすべて再構成できる。
ここで、Constrained Intra Predictionとは、非特許文献１に挙げたＨ．２６４および非特許文献２に挙げたＪＳＶＣで用いられる、隣接ブロックに画面内予測モードが存在しないときは当該ブロックは画面内予測モードをとることができないという制約が加えられた画面内予測方式の１種である。
この方式をとれば、画面内予測モードをとったブロックは当該フレーム内に閉じてブロック内の復号信号を再構成できるため、逆動き補償が必要なくなる。【０１０６】
したがって、直下ブロックＢa が画面内予測であり、かつその予測がConstrained Intra Predictionの場合は、単純に直下ブロックＢa 内の復号信号をすべて再構成し、その各信号値をもとに直流成分を算出すればよい。もし、Constrained Intra Predictionでない画面内予測の場合は、本発明は実施されない。【０１０７】
（２）直下ブロックＢa が画面間予測であり、かつ片方向予測の場合
直下ブロックＢa が片方向予測の場合、直下ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）を次のように推定することができる。【０１０８】
Ｒ（ｌ−１，ｔ，Ｂa ）≒ｗ0'・Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）
＋ｄ0'＋Ｅ（ｌ−１，ｔ，Ｂa ）  ・・（１５）式
しかし、Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）の情報は、直下レイヤの復号信号をすべて再構成せずには得ることができない。【０１０９】
そこで、
Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）≒Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）  ・・・・（１６）式
と仮定して、当該レイヤ内のブロックＢb0の直上ブロックＢc0の復号信号直流成分Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）で代用する。
当該レイヤおよび直下レイヤの復号信号直流成分に含まれる量子化歪みが大きくなければ、この（１６）式の仮定は一般的に成立する。【０１１０】
ブロックＢc0の復号信号は、レイヤｌのフレームｔ−Ｔ0 が当該フレームｔの被参照フレームであれば、動き予測のためにバッファに保持されている。
したがって、（１６）式により推定された値を、直下ブロックＢa の復号信号直流成分の算出に用いることで、直下レイヤにおいて逆動き補償を行うことなく重み係数を算出できる。【０１１１】
これから、本発明では、次式のようにしてＲ（ｌ−１，ｔ，Ｂa ）を推定する。【０１１２】
Ｒ（ｌ−１，ｔ，Ｂa ）≒ｗ0'・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）
＋ｄ0'＋Ｅ（ｌ−１，ｔ，Ｂa ）  ・・（１７）式
ここで、直下ブロックＢa 内が複数の小ブロックで構成され、複数の動きベクトルを含んでいる場合がありうる。例えば、当該ブロックＢが１６×１６サイズである場合は、直下ブロックＢa は８×８サイズになる。ＪＳＶＣでは、とりうるブロックサイズとして、４×４、４×８、８×４、８×８、８×１６、１６×８、１６×１６の７種類が用意されている。
これから、直下ブロックＢa が８×８サイズの場合、最大４個の小ブロックを含む。【０１１３】
小ブロックを複数含む場合は、その各小ブロックの面積に応じて各小ブロック内の復号信号直流成分値を重み付けし、その総和を直下ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）とする。【０１１４】
複数の小ブロックで構成される場合の具体的な算出手順の一例を以下に記す。
図６に示すように、当該ブロックＢが１６×１６サイズであり、直下ブロックＢa に、４×４サイズの小ブロックが２つ、４×８サイズの小ブロックが１つ含まれると仮定する。ここで、各小ブロックを、Ｂa 0 、Ｂa 1 （それぞれ４×４サイズ）、Ｂa 2 （４×８サイズ）とおく。
また、小ブロックＢa 0 、Ｂa 1 、Ｂa 2 の動き予測の被参照ブロックをそれぞれＢb00 、Ｂb01 、Ｂb02 とし、その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢc00 、Ｂc01 、Ｂc02 とする。
また、小ブロックＢa 0 、Ｂa 1 、Ｂa 2 に割り当てられる重み係数をそれぞれ、（ｗ00' ，ｄ00' ）、（ｗ01' ，ｄ01' ）、（ｗ02' ，ｄ02' ）とする。【０１１５】
このとき、ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）は、以下のように算出する。【０１１６】
Ｒ（ｌ−１，ｔ，Ｂa ）＝（１／４）・〔ｗ00' ・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc00 ）
＋ｄ00' ＋Ｅ（ｌ−１，ｔ，Ｂa 0 ）〕
＋（１／４）・〔ｗ01' ・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc01 ）
＋ｄ01' ＋Ｅ（ｌ−１，ｔ，Ｂa 1 ）〕
＋（１／２）・〔ｗ02' ・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc02 ）
＋ｄ02' ＋Ｅ（ｌ−１，ｔ，Ｂa 2 ）〕
・・・・（１８）式
（３）直下ブロックＢa が画面間予測であり、かつ双予測の場合
直下ブロックＢa が双予測の場合、直下ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）は次のように推定することができる。【０１１７】
Ｒ（ｌ−１，ｔ，Ｂa ）≒ｗ0'・Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）
＋ｗ1'・Ｒ（ｌ−１，ｔ＋Ｔ1 ，Ｂb1）
＋（１／２）・（ｄ0'＋ｄ1'）＋Ｅ（ｌ−１，ｔ，Ｂa ）
・・・・（１９）式
しかし、片方向予測の場合と同様に、Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）およびＲ（ｌ−１，ｔ＋Ｔ1 ，Ｂb1）の情報は、直下レイヤの復号信号すべてを復号せずには得ることができない。【０１１８】
そこで、
Ｒ（ｌ−１，ｔ−Ｔ0 ，Ｂb0）≒Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）                      
Ｒ（ｌ−１，ｔ＋Ｔ1 ，Ｂb1）≒Ｒ（ｌ，ｔ＋Ｔ1 ，Ｂc1）  ・・・・（２０）式
と仮定して、当該レイヤ内のブロックＢb0、Ｂb1の直上ブロックＢc0、Ｂc1の復号信号直流成分Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）およびＲ（ｌ，ｔ＋Ｔ1 ，Ｂc1）で代用する。
当該レイヤおよび直下レイヤの復号信号直流成分に含まれる量子化歪みが大きくなければ、この（２０）式の仮定は一般的に成立する。【０１１９】
これから、本発明では、次式のようにしてＲ（ｌ−１，ｔ，Ｂa ）を推定する。【０１２０】
Ｒ（ｌ−１，ｔ，Ｂa ）≒ｗ0'・Ｒ（ｌ，ｔ−Ｔ0 ，Ｂc0）
＋ｗ1'・Ｒ（ｌ，ｔ＋Ｔ1 ，Ｂc1）
＋（１／２）・（ｄ0'＋ｄ1'）＋Ｅ（ｌ−１，ｔ，Ｂa ）
・・・・（２１）式
ここで、片方向予測の場合と同様に、ブロックＢa 内が複数の小ブロックで構成され、複数の動きベクトルを含んでいる場合がありうる。
このときは、片方向予測の場合と同様に、各小ブロックの面積に応じて各小ブロック内の直流成分値を重み付けし、その総和を直下ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）とする。【０１２１】
例えば、当該ブロックＢが１６×１６サイズであり、直下ブロックＢa に、４×４サイズの小ブロックが２つ、４×８サイズの小ブロックが１つ含まれると仮定する。ここで、各小ブロックを、Ｂa 0 、Ｂa 1 、Ｂa 2 とおく。
また、小ブロックＢa 0 、Ｂa 1 、Ｂa 2 の双予測の被参照ブロックをそれぞれＢb00 、Ｂb01 、Ｂb02 、Ｂb10 、Ｂb11 、Ｂb12 とし、その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢc00 、Ｂc01 、Ｂc02 、Ｂc10 、Ｂc11 、Ｂc12 とする。
また、小ブロックＢa 0 、Ｂa 1 、Ｂa 2 に割り当てられる重み係数をそれぞれ、（ｗ00' ，ｄ00' ）、（ｗ10' ，ｄ10' ）、（ｗ01' ，ｄ01' ）、（ｗ11' ，ｄ11' ）、（ｗ02' ，ｄ02' ）、（ｗ12' ，ｄ12' ）とする。【０１２２】
このとき、ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）は、以下のように算出する。【０１２３】
【数２】
2009054347.tif 000005
【０１２４】
（４）直下ブロックＢa に片方向予測と双予測が混在する場合
ブロックＢa 内の複数の小ブロック（例：４×４）は、それぞれ独立に片方向予測か双予測をとることが可能である。このときは、（２）および（３）と同様の手順で、各小ブロックの面積に応じて直流成分値を重み付けし、その総和をブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）とする。【０１２５】
以下、（２）および（３）と同様、当該ブロックＢが１６×１６サイズであり、直下ブロックＢa に、４×４サイズの小ブロックが２つ（Ｂa 0 、Ｂa 1 ）、４×８サイズの小ブロックが１つ（Ｂa 2 ）含まれると仮定する。
ここで、Ｂa 0 およびＢa 2 は片方向予測、Ｂa 1 は双予測とする。そして、小ブロックＢa 0 、Ｂa 2 の片方向予測の被参照ブロックをそれぞれＢb00 、Ｂb02 とし、小ブロックＢa 1 の双予測の被参照ブロックをそれぞれＢb01 、Ｂb11 とする。
その各被参照ブロックと空間的同位置にある当該レイヤにおける直上ブロックをＢc00 、Ｂc02 、Ｂc01 、Ｂc11 とする。
また、小ブロックＢa 0 、Ｂa 1 、Ｂa 2 に割り当てられる重み係数をそれぞれ、（ｗ00' ，ｄ00' ）、（ｗ01' ，ｄ01' ）、（ｗ11' ，ｄ11' ）、（ｗ02' ，ｄ02' ）とする。【０１２６】
このとき、ブロックＢa の復号信号直流成分Ｒ（ｌ−１，ｔ，Ｂa ）は、以下のように算出する。【０１２７】
【数３】
2009054347.tif 000006
【０１２８】
上述のように、本発明は、直下ブロックＢa が画面内予測であり、かつその予測がConstrained Intra Predictionを利用していない場合には実施されない。また、予測参照ブロックＢb0、Ｂb1の直上ブロックＢc0、Ｂc1の復号信号が動き予測のためのバッファに格納されていない場合にも、実施されない。
本発明が実施されない場合は、その他の予測方式を用いて符号化を行う。例えば、ＪＳＶＣの重み付き動き予測、重みなしの通常の動き予測、画面内予測、がこれにあたる。【０１２９】
また、直下レイヤが画面間予測を行っている場合において、直下レイヤにおける重み付き動き予測が非常に高性能であれば、直下ブロックＢa の予測残差信号の直流成分Ｅ（ｌ−１，ｔ，Ｂa ）は、ほぼゼロになる。【０１３０】
このような場合には、この予測残差信号の直流成分を考慮する必要はない。考慮しなければ、予測残差信号の直流成分の復号は省略できるため、さらに復号に使用するメモリおよび計算量を節約できる。したがって、メモリと計算量の削減を重視する場合には、予測残差信号の直流成分の加算は行わなくてもよい。【０１３１】
次に、ＪＳＶＣの参照エンコーダＪＳＶＭ８．０に本発明を実装し、片方向予測における本発明による比例係数補正を行うＷＰ（Ｗeighted Ｐrediction)とオフセット係数補正を行うＷＰの符号化性能を検証した実験について説明する。【０１３２】
この実験では、基本レイヤはＪＳＶＭのＷＰを用いて符号化し、拡張レイヤに本発明のＷＰを適用することで行った。性能検証は、拡張レイヤにＪＳＶＭのＷＰを適用した場合と、本発明のＷＰを適用した場合のレート歪み特性によって評価した。
ＪＳＶＣ標準画像のＣity,Ｓoccer,Ｆoremanの３映像を用い、各映像の先頭３３フレームに白の線形フェードを混合した。
フェードの種類はフェードイン／アウトの２種類を実験対象とし、このフェード混合部分の３３フレームを符号化対象フレームとした。
基本レイヤに３０fps のＱＣＩＦ（１７６×１４４画素の画像サイズ）画像、拡張レイヤに３０fps のＣＩＦ（３５２×２８８画素の画像サイズ）画像を入力し、ピクチャタイプはＩＰＰＰ形式とした。
量子化パラメータは２１，２４，２７，３０の４種類を試し、基本レイヤと拡張レイヤで同じ値を適用した。
動き探索は整数精度のみとし、全検索を行った。【０１３３】
表２に、ＪＳＶＭのＷＰに対する、本発明を適用したことによる符号量の削減結果を示す。最大６．３８％の符号量削減を実現している。全体的に、フェードアウト映像において削減効果が大きいことが分かる。【０１３４】
【表２】
2009054347.tif 000007
【０１３５】
図７に、最大削減率を実現したＣity のフェードアウト映像における、各手法のそれぞれについてＰＳＮＲ(Peak Signal to Noise Ratio)およびビットレートを求めて、それらを比較した（“Ｙ−ＰＳＮＲ”は、輝度信号のＰＳＮＲを示す）。【０１３６】
この図より、本発明の手法がレートによらず符号量の削減を実現できていることが分かる。
比例係数補正とオフセット係数補正を比較すると、フェードイン映像ではほとんど両者に差がみられないが（図示略）、フェードアウト映像ではオフセット係数補正の方が効果が大きいことが分かる。
上記性能検証において、フェードアウト映像においてオフセット係数補正によるＷＰは、平均４．３９％の符号量削減率を実現した。【０１３７】
本実験は、片方向予測における符号化特性を示したものであるが、双予測においても同様の性能向上が見込める。
【実施例】
【０１３８】
次に、実施例に従って本発明を詳細に説明する。【０１３９】
〔処理の流れ〕
〔符号化処理の実施例〕
本発明による符号化処理の実施例について、図８を参照して説明する。
説明する実施例は、一つのマクロブロックに対する符号化処理である。これをすべてのマクロブロックに対して実施することによって、全体の符号化情報が構成される。【０１４０】
ステップＳ１０１：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合はステップＳ１０３の処理を行い、偽の場合はステップＳ１０２の処理を行う。【０１４１】
ステップＳ１０２：ステップＳ１０１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。
ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。各方式の予測方法の一例としては、非特許文献３に挙げたＪＳＶＭにおける予測方法が挙げられる。【０１４２】
ステップＳ１０３：当該マクロブロックに対して、当該マクロブロックの原信号、（被参照フレーム内の）探索対象マクロブロックの復号信号および直下レイヤの符号化情報を読み込み、重み付き動き推定を行い、動きベクトル情報を出力する。本処理の詳細は図１０に示す（後述）。【０１４３】
ステップＳ１０４：ステップＳ１０３の処理で出力された動きベクトル情報および直下レイヤの符号化情報を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図１１に示す（後述）。【０１４４】
ステップＳ１０５：ステップＳ１０２またはステップＳ１０４の処理によって出力された予測信号を読み込み、当該マクロブロックの原信号との差分信号を生成し、その差分信号の符号化を行う。
この差分信号の符号化処理の一例としては、非特許文献３に挙げたＪＳＶＭにおける符号化処理が挙げられる。【０１４５】
〔復号処理の実施例〕
本発明による復号処理の実施例について、図９を参照して説明する。
説明する実施例は、一つのマクロブロックに対する復号処理である。これをすべてのマクロブロックに対して実施することによって、全体の復号信号が構成される。【０１４６】
ステップＳ２０１：当該拡張レイヤの当該マクロブロックの予測モードに関する符号化情報を読み込み、復号処理を行い、予測モード情報を出力する。【０１４７】
ステップＳ２０２：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合はステップＳ２０４の処理を行い、偽の場合はステップＳ２０３の処理を行う。【０１４８】
ステップＳ２０３：ステップＳ２０１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。【０１４９】
ステップＳ２０４：当該マクロブロックの動きベクトルに関する符号化情報を読み込み、復号処理を行い、動きベクトル情報を出力する。【０１５０】
ステップＳ２０５：ステップＳ２０４の処理で出力された動きベクトル情報および直下レイヤの符号化情報を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図１１に示す（後述）。【０１５１】
ステップＳ２０６：ステップＳ２０３またはステップＳ２０５の処理によって出力された予測信号を読み込み、復号された予測残差信号と加算して復号信号を構成し、出力する。【０１５２】
〔ステップＳ１０３の処理の詳細〕
本発明による重み付き動き推定処理（ステップＳ１０３の処理）の実施例について、図１０を参照して説明する。【０１５３】
ステップＳ３０１：直下レイヤの符号化情報および現在の探索対象マクロブロックの復号信号を読み込み、探索対象マクロブロックに施す重み係数を算出し、出力する。本処理の詳細は図１２に示す（後述）。【０１５４】
ステップＳ３０２：ステップＳ３０１の処理によって出力された重み係数情報を読み込み、現在の探索対象マクロブロックの復号信号をその重み係数によって重み付けし、その重み付けされた信号値を出力する。【０１５５】
ステップＳ３０３：ステップＳ３０２の処理によって出力された信号値と当該マクロブロックの原信号との間の、符号量と符号化歪み量とによって構成される符号化コストを算出し、出力する。
この符号化コストの一例には、非特許文献３に挙げたＪＳＶＭにおける、符号量と二乗誤差による符号化歪みとの間のラグランジュコストが挙げられる。【０１５６】
ステップＳ３０４：探索すべき全てのマクロブロックに対して探索を行ったかどうかの判定処理を行い、真の場合はステップＳ３０６の処理を行い、偽の場合はステップＳ３０５の処理を行う。【０１５７】
ステップＳ３０５：次の探索対象マクロブロックに処理対象を移す。【０１５８】
ステップＳ３０６：ステップＳ３０３の処理によって出力された符号化コストの情報を読み込み、探索したマクロブロックの中で符号化コストが最小となるマクロブロックを選定し、そのマクロブロックと当該マクロブロックとの座標位置の差分を動きベクトルとして出力する。【０１５９】
〔ステップＳ１０４，ステップＳ２０５の処理の詳細〕
本発明による重み付き動き補償処理（ステップＳ１０４，ステップＳ２０５の処理）の実施例について、図１１を参照して説明する。【０１６０】
ステップＳ４０１：当該マクロブロックの動きベクトル情報を読み込み、出力する。この動きベクトル情報は、符号化処理における重み付き動き補償の場合には、重み付き動き推定の出力から読み込まれ、復号処理における重み付き動き補償の場合には、動きベクトルの復号処理の出力から読み込まれる。【０１６１】
ステップＳ４０２：直下レイヤの符号化情報およびステップＳ４０１の処理によって出力された動きベクトル情報を読み込み、動きベクトルの指す被参照マクロブロックに施す重み係数を算出し、出力する。本処理の詳細は図１２に示す（後述）。【０１６２】
ステップＳ４０３：ステップＳ４０２の処理によって出力された重み係数情報を読み込み、被参照マクロブロックの復号信号をその重み係数によって重み付けし、その重み付けされた信号値を出力する。【０１６３】
〔ステップＳ３０１，ステップＳ４０２の処理の詳細〕
本発明による重み係数算出処理（ステップＳ３０１，ステップＳ４０２の処理）の実施例について、図１２を参照して説明する。【０１６４】
ステップＳ５０１：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの予測モードが画面内予測であるか否かの判定処理を行い、真の場合はステップＳ５０４の処理を行い、偽の場合はステップＳ５０２の処理を行う。【０１６５】
ステップＳ５０２：直下ブロックが動き予測で参照した被参照ブロックの直上ブロックの復号信号が、動き予測のためにバッファに格納されているか否かの判定処理を行い、真の場合はステップＳ５０３の処理を行い、偽の場合はステップＳ５１２の処理を行う。【０１６６】
ステップＳ５０３：直下レイヤの符号化情報および当該レイヤの被参照フレームの復号信号を読み込み、直下ブロックの直流成分の値を推定し、出力する。本処理の詳細は図１３に示す（後述）。【０１６７】
ステップＳ５０４：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの画面内予測がConstrained Intra Predictionであるか否かの判定処理を行い、真の場合はステップＳ５０５の処理を行い、偽の場合はステップＳ５１２の処理を行う。【０１６８】
ステップＳ５０５：直下レイヤの符号化情報を読み込み、直下ブロックの復号処理を行い、ブロック内のすべての信号を再構成し、バッファに出力する。【０１６９】
ステップＳ５０６：バッファより直下ブロック内の復号信号を読み込み、直下ブロックの復号信号の直流成分を算出し、レジスタに出力する。【０１７０】
ステップＳ５０７：当該マクロブロックの予測モード情報を読み込み、予測モードが片方向予測であるか否かの判定処理を行い、真の場合はステップＳ５０８の処理を行い、偽の場合はステップＳ５１１の処理を行う。【０１７１】
ステップＳ５０８：外部より指定される重み係数算出方法が比例係数補正型であるか否かの判定処理を行い、真の場合はステップＳ５０９の処理を行い、偽の場合はステップＳ５１０の処理を行う。【０１７２】
ここで、比例係数補正型とは、前述の（１２）式にしたがって実施される重み係数の算出方法を指す。
一般的に、比例係数補正型は、白フェードイン映像や黒フェードアウト映像で主に効果を発揮し、これに対して、前述の（１３）式にしたがって実施される重み係数の算出方法であるオフセット係数補正型は、白フェードアウト映像や黒フェードイン映像で主に効果を発揮する。
したがって、外部からの重み係数算出方法の指定情報は、フェードタイプの判定結果にしたがって定められるのが望ましい。【０１７３】
ステップＳ５０９：ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と被参照ブロックの直流成分値との比を比例係数として定め、オフセット係数を０に定め、出力する。本処理は、前述の（１２）式にしたがう。【０１７４】
ステップＳ５１０：ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と被参照ブロックの直流成分値との差をオフセット係数として定め、比例係数を１に定め、出力する。本処理は、前述の（１３）式にしたがう。【０１７５】
ステップＳ５１１：被参照ブロックと当該ブロックとのフレーム間距離の情報を読み込み、それらの比を比例係数として定め、ステップＳ５０３の処理より推定された直下ブロックの直流成分または、ステップＳ５０６の処理より算出された直下ブロックの直流成分のいずれかの値を読み込み、その直流成分値と２つの被参照ブロックの直流成分値に対して前述の比例係数を演算した値との差をオフセット係数として定め、出力する。本処理は、前述の（１４）式にしたがう。【０１７６】
ステップＳ５１２：直下ブロックの推定直流成分を参照しない重み係数算出方法を実施する。
例としては、非特許文献３に挙げたＪＳＶＭにおけるＩｍｐｌｉｃｉｔモードもしくはＥｘｐｌｉｃｉｔモードによる重み係数の算出方法が考えられる。【０１７７】
〔ステップＳ５０３の処理の詳細〕
本発明による直下ブロック直流成分の推定処理（ステップＳ５０３の処理）の実施例について、図１３を参照して説明する。【０１７８】
ステップＳ６０１：当該直下ブロックの小ブロックの分割情報に関する符号化情報を読み込み、その復号を行い、当該直下ブロックの小ブロックの分割構造を同定する。【０１７９】
ステップＳ６０２：当該小ブロックの参照フレームインデクスに関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。【０１８０】
ステップＳ６０３：当該小ブロックの動きベクトルに関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。【０１８１】
ステップＳ６０４：当該小ブロックの重み係数に関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。【０１８２】
ステップＳ６０５：当該小ブロックの予測残差信号の直流成分に関する符号化情報を読み込み、その復号を行い、レジスタに書き込む。【０１８３】
ステップＳ６０６：ステップＳ６０２の処理およびステップＳ６０３の処理より出力された参照フレームインデクスおよび動きベクトルの情報をレジスタより読み込み、当該小ブロックの動き予測の被参照ブロックの位置を同定する。【０１８４】
ステップＳ６０７：ステップＳ６０６の処理において同定された被参照ブロックの直上ブロックの復号信号を読み込み、その復号信号の直流成分を算出し、その直流成分値をレジスタに書き込む。【０１８５】
ステップＳ６０８：ステップＳ６０７の処理において算出された直流成分値をレジスタより読み込み、それにステップＳ６０４の処理より算出された重み係数を用いて重み付けを行い、その値をレジスタに書き込む。【０１８６】
ステップＳ６０９：ステップＳ６０８の処理において算出された重み付けされた直流成分値をレジスタより読み込み、それにステップＳ６０５の処理より算出された予測残差信号の直流成分値を加算し、その値を当該小ブロックの直流成分の推定値としてみなし、レジスタに書き込む。【０１８７】
ステップＳ６１０：すべての小ブロックに対して直流成分の推定処理を完了したか否かの判定処理を行い、真の場合はステップＳ６１１の処理を行い、偽の場合はステップＳ６１２の処理を行う。【０１８８】
ステップＳ６１１：ステップＳ６０９の処理において算出された各小ブロックの推定直流成分値を読み込み、当該直下ブロックにおける各小ブロックの面積比に応じて各小ブロックの推定直流成分値を重み付けし、その重み付け和を当該直下ブロックの直流成分の推定値としてみなし、出力する。【０１８９】
ステップＳ６１２：次の直流成分の推定対象小ブロックに処理対象を移す。【０１９０】
〔処理装置〕
〔符号化装置の実施例〕
本発明による符号化装置の実施例について、図１４を参照して説明する。図１４は、一つのマクロブロックに対する符号化を行う装置の図である。【０１９１】
予測方法判定部１０１：当該マクロブロックの予測方式の指定情報を読み込み、その指定情報にしたがって、各予測部での処理に移る。
指定された予測方式が画面内予測であれば画面内予測部１０２の処理に、重みを付けない通常の動き予測であれば重み無し動き予測部１０３の処理に、レイヤ間予測であればレイヤ間予測部１０４の処理に、重み付き動き予測であれば重み付き動き推定部１０５の処理に移る。【０１９２】
画面内予測部１０２：符号化対象フレームの、対象となる原信号および復号信号を読み込み、画面内予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
画面内予測の方法の一例としては、非特許文献３にあげたＪＳＶＭの画面内予測が挙げられる。【０１９３】
重み無し動き予測部１０３：符号化対象フレームの対象となる原信号および被参照フレームの対象となる復号信号を読み込み、重みを付けない通常の動き予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
重み無しの通常の動き予測の方法の一例としては、非特許文献３にあげたＪＳＶＭの重み無しの通常の動き予測が挙げられる。【０１９４】
レイヤ間予測部１０４：符号化対象フレームの、対象となる原信号および直下レイヤの符号化情報を読み込み、レイヤ間予測を実行し予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。
レイヤ間予測の方法の一例としては、非特許文献３にあげたＪＳＶＭのレイヤ間予測が挙げられる。【０１９５】
重み付き動き推定部１０５：符号化対象フレームの、対象となる原信号、当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部１１１から出力される直下レイヤの符号化情報を読み込み、重み付き動き推定を実行し、動きベクトルを生成し、その動きベクトル情報を重み付き動き補償部１０６に出力する。重み付き動き推定部１０５の詳細構成は図１６に示す（後述）。【０１９６】
重み付き動き補償部１０６：当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部１１１から出力される直下レイヤの符号化情報を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を予測残差信号生成部１０７に出力する。重み付き動き補償部１０６の詳細構成は図１７に示す（後述）。【０１９７】
予測残差信号生成部１０７：符号化対象フレームの対象となる原信号、および、画面内予測部１０２または、重み無し動き予測部１０３または、レイヤ間予測部１０４または、重み付き動き補償部１０６より出力された予測信号を読み込み、原信号と予測信号の差分信号を生成し、予測残差信号符号化部１０８に出力する。【０１９８】
予測残差信号符号化部１０８：予測残差信号生成部１０７より出力された予測残差信号を読み込み、符号化処理を行い、符号化情報として出力する。
また、同時に、その符号化情報は復号部１０９への入力のために、バッファに出力しておく。
この予測残差信号の符号化処理の一例としては、非特許文献３にあげたＪＳＶＭの直交変換、量子化、可変長符号化の一連のプロセスの適用が挙げられる。【０１９９】
復号部１０９：当該バッファより符号化情報を読み込み、復号処理を行い、得られた復号信号を当該拡張レイヤ復号信号記憶部１１０に出力する。
この復号処理には、本発明による復号処理を適用する。復号部１０９として機能する復号装置の詳細構成は図１５に示す（後述）。【０２００】
直下レイヤ符号化情報記憶部１１１：直下レイヤの符号化情報を読み込み、バッファに出力する。【０２０１】
〔復号装置の実施例〕
本発明による復号装置の実施例について、図１５を参照して説明する。図１５は、当該拡張レイヤにおける一つのマクロブロックに対する復号を行う装置の図である。【０２０２】
予測モード復号部２０１：当該マクロブロックの予測モードに関する符号化情報を読み込み、その復号処理を行い、予測モード情報を予測モード記憶部２０２に出力する。【０２０３】
予測方法判定部２０３：予測モード記憶部２０２より予測モード情報を読み込み、その指定情報にしたがって、各予測部での処理に移る。
指定された予測方式が画面内予測であれば画面内予測部２０４の処理に、重みを付けない通常の動き予測であれば重み無し動き予測部２０５の処理に、レイヤ間予測であればレイヤ間予測部２０６の処理に、重み付き動き予測であれば動きベクトル情報復号部２０７の処理に移る。【０２０４】
画面内予測部２０４：符号化対象フレームの、対象となる原信号および復号信号を読み込み、画面内予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０２０５】
重み無し動き予測部２０５：符号化対象フレームの対象となる原信号および被参照フレームの対象となる復号信号を読み込み、重みを付けない通常の動き予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０２０６】
レイヤ間予測部２０６：符号化対象フレームの、対象となる原信号および直下レイヤの符号化情報を読み込み、レイヤ間予測を実行し予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０２０７】
動きベクトル情報復号部２０７：当該マクロブロックの動きベクトルに関する符号化情報を読み込み、その復号処理を行い、動きベクトル情報を動きベクトル情報記憶部２０８に出力する。【０２０８】
重み付き動き補償部２０９：当該拡張レイヤ復号信号記憶部２１４から出力される被参照フレームの復号信号、および、直下レイヤ符号化情報記憶部２１０から出力される直下レイヤの符号化情報を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を復号信号生成部２１３に出力する。重み付き動き補償部２０９の詳細構成は図１７に示す（後述）。【０２０９】
直下レイヤ符号化情報記憶部２１０：直下レイヤの符号化情報を読み込み、バッファに出力する。【０２１０】
残差信号復号部２１１：当該マクロブロックの残差信号に関する符号化情報を読み込み、その復号処理を行い、残差信号を残差信号記憶部２１２に出力する。【０２１１】
復号信号生成部２１３：画面内予測部２０４または、重み無し動き予測部２０５または、レイヤ間予測部２０６または、重み付き動き補償部２０９より出力された予測信号を読み込み、それらと残差信号記憶部２１２より読み込まれる残差信号とを合成し、復号信号を生成し、出力する。
また、同時に、その復号信号を当該拡張レイヤ復号信号記憶部２１４に書き込む。【０２１２】
〔重み付き動き推定部１０５の構成の詳細〕
本発明による重み付き動き推定部１０５の実施例について、図１６を参照して説明する。図１６は、当該拡張レイヤにおける一つのマクロブロックに対して重み付き動き推定を行う装置の図である。【０２１３】
探索対象ブロック設置部３０１：当該拡張レイヤの被参照フレームの復号信号を読み込み、動き推定の探索対象となるマクロブロックを同定し、そのマクロブロックの復号信号を重み係数算出部３０２に出力する。【０２１４】
重み係数算出部３０２：探索対象ブロック設置部３０１より出力された探索対象マクロブロックの復号信号、および、直下レイヤの符号化情報を読み込み、探索対象マクロブロックに施す重み係数を算出し、重み係数記憶部３０３に出力する。【０２１５】
重み付き動き推定信号生成部３０４：重み係数記憶部３０３より重み係数を読み込み、当該探索対象マクロブロックの復号信号を重み係数によって重み付けし、その重み付けされた信号を重み付き動き推定信号記憶部３０５に出力する。【０２１６】
符号化コスト算出部３０６：当該マクロブロックの原信号をバッファより読み込み、重み付き動き推定信号記憶部３０５より重み付き動き推定信号を読み込み、当該マクロブロックの原信号との間の、符号量と符号化歪み量によって構成される符号化コストを算出し、その符号化コストを符号化コスト記憶部３０７に出力し、探索完了判定部３０８の処理に移る。
この符号化コストの一例には、非特許文献３に挙げたＪＳＶＭにおける、符号量と二乗誤差による符号化歪みとの間のラグランジュコストが挙げられる。【０２１７】
探索完了判定部３０８：当該マクロブロックにおける被参照フレーム内での重み付き動き推定の探索が、指定されたすべての探索範囲内の候補について行われた否かの判定処理を行い、真の場合には被参照ブロック決定部３０９の処理に移り、偽の場合には探索対象ブロック設置部３０１の処理に移る。【０２１８】
被参照ブロック決定部３０９：符号化コスト記憶部３０７よりすべての探索対象マクロブロックについての符号化コストデータ群を読み込み、符号化コストを最小とする探索対象マクロブロックを被参照ブロックとして決定し、その被参照ブロックと当該マクロブロックの座標位置の差分を動きベクトル情報として出力する。【０２１９】
〔重み付き動き補償部１０６，２０９の構成の詳細〕
本発明による重み付き動き補償部１０６，２０９の実施例について、図１７を参照して説明する。図１７は、当該拡張レイヤにおける一つのマクロブロックに対して重み付き動き補償を行う装置の図である。【０２２０】
被参照ブロック信号設置部４０１：被参照フレームの復号信号および動きベクトル情報を読み込み、被参照マクロブロックを同定し、そのマクロブロックの復号信号を重み係数算出部４０２に出力する。
この動きベクトル情報は、本重み付き動き補償部が符号化装置内に設置されている場合（すなわち、重み付き動き補償部１０６の場合）には重み付き動き推定部１０５より与えられ、本重み付き動き補償部部が復号装置内に設置されている場合（すなわち、重み付き動き補償部２０９の場合）には動きベクトル情報復号部２０７より与えられる。【０２２１】
重み係数算出部４０２：被参照ブロック信号設置部４０１より出力された被参照マクロブロックの復号信号、および、直下レイヤの符号化情報を読み込み、被参照マクロブロックに施す重み係数を算出し、重み係数記憶部４０３に出力する。【０２２２】
重み付き動き予測信号生成部４０４：重み係数記憶部４０３より重み係数を読み込み、被参照ブロックの復号信号を重み係数によって重み付けし、その重み付けされた信号を重み付き動き予測信号記憶部４０５に出力する。【０２２３】
〔重み係数算出部３０２，４０２の構成の詳細〕
上述の重み係数算出部３０２，４０２の実施例について、図１８を参照して説明する。図１８は、当該拡張レイヤにおける一つのマクロブロックに対して重み係数を算出する装置の図である。【０２２４】
直下ブロック予測モード判定部５０１：直下レイヤの符号化情報を読み込み、当該マクロブロックの直下ブロックの予測モードの判定処理を行い、(i) 同予測モードが画面内予測であり、かつその予測がConstrained Intra Predictionである場合には、直下ブロック内信号復号部５０５の処理に移り、(ii) 同予測モードが画面内予測であり、かつその予測がConstrained Intra Predictionでない場合には、直下ブロック推定直流成分非参照重み係数算出部５１２の処理に移り、(iii) 同予測モードが画面間予測の場合には、直下ブロック予測参照先直上復号信号バッファリング判定部５０２の処理に移る。【０２２５】
直下ブロック予測参照先直上復号信号バッファリング判定部５０２：直下ブロックが参照する予測参照ブロックの直上ブロックの復号信号がバッファリングされているか否かの判定処理を行い、真の場合は直下ブロック直流成分推定部５０３の処理に移り、偽の場合は直下ブロック推定直流成分非参照重み係数算出部５１２の処理に移る。【０２２６】
直下ブロック直流成分推定部５０３：直下レイヤの符号化情報および当該レイヤの被参照フレームの復号信号を読み込み、直下ブロックの直流成分の値を推定し、直下ブロック推定直流成分記憶部５０４に出力する。直下ブロック直流成分推定部５０３の詳細構成は図１９に示す（後述）。【０２２７】
直下ブロック内信号復号部５０５：直下レイヤの符号化情報を読み込み、直下ブロック内の復号信号をすべて再構成し、その復号信号を直下ブロック直流成分算出部５０６に出力する。【０２２８】
直下ブロック直流成分算出部５０６：直下ブロック内信号復号部５０５より直下ブロック内の復号信号を読み込み、直下ブロック内の復号信号の直流成分を算出し、当該マクロブロック予測モード判定部５０７に移る。【０２２９】
当該マクロブロック予測モード判定部５０７：当該マクロブロックの予測モード情報を読み込み、予測モードが片方向予測であるか否かの判定処理を行い、真の場合は重み係数算出方法判定部５０８の処理に移り、偽の場合は双予測重み係数算出部５０９の処理に移る。【０２３０】
重み係数算出方法判定部５０８：外部より指定される重み係数算出方法が比例係数補正型であるか否かの判定処理を行い、真の場合は片方向予測比例係数補正型重み係数算出部５１０の処理に移り、偽の場合は片方向予測オフセット係数補正型重み係数算出部５１１の処理を行う。【０２３１】
ここで、比例係数補正型とは、前述の（１２）式にしたがって実施される重み係数の算出方法を指す。
一般的に、比例係数補正型は、白フェードイン映像や黒フェードアウト映像で主に効果を発揮し、これに対して、前述の（１３）式にしたがって実施される重み係数の算出方法であるオフセット係数補正型は、白フェードアウト映像や黒フェードイン映像で主に効果を発揮する。
したがって、外部からの重み係数算出方法の指定情報は、フェードタイプの判定結果にしたがって定められるのが望ましい。【０２３２】
双予測重み係数算出部５０９：被参照ブロックと当該ブロックとのフレーム間距離の情報を読み込み、それらの比を比例係数として定め、直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と２つの被参照ブロックの直流成分値に対して前述の比例係数を演算した値との差をオフセット係数として定め、出力する。本処理は、前述の（１４）式にしたがう。【０２３３】
片方向予測比例係数補正型重み係数算出部５１０：直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と被参照ブロックの直流成分値との比を比例係数として定め、オフセット係数を０に定め、出力する。本処理は、前述の（１２）式にしたがう。【０２３４】
片方向予測オフセット係数補正型重み係数算出部５１１：直下ブロック推定直流成分記憶部５０４または、直下ブロック直流成分算出部５０６より直下ブロックの直流成分の値を読み込み、その直流成分値と被参照ブロックの直流成分値との差をオフセット係数として定め、比例係数を１に定め、出力する。本処理は、前述の（１３）式にしたがう。【０２３５】
直下ブロック推定直流成分非参照重み係数算出部５１２：直下ブロックの直流成分を使用しない重み係数の算出方法を行い、出力する。
本処理の例としては、非特許文献３に挙げたＪＳＶＭにおけるＥｘｐｌｉｃｉｔモードもしくはＩｍｐｌｉｃｉｔモードによる重み係数の算出方法が適用可能である。【０２３６】
〔直下ブロック直流成分推定部５０３の構成の詳細〕
本発明による直下ブロック直流成分推定部５０３の実施例について、図１９を参照して説明する。図１９は、当該拡張レイヤにおける一つのマクロブロックに対して直下ブロック直流成分の推定を行う装置の図である。【０２３７】
小ブロック分割情報復号部６０１：当該直下ブロックの小ブロックの分割情報に関する符号化情報を読み込み、その復号を行い、復号された小ブロックの分割情報を小ブロック分割情報記憶部６０２に出力する。【０２３８】
参照フレームインデクス情報復号部６０３：当該小ブロックの参照フレームインデクスに関する符号化情報を読み込み、その復号を行い、復号された参照フレームインデクス情報を参照フレームインデクス情報記憶部６０４に出力する。【０２３９】
動きベクトル情報復号部６０５：当該小ブロックの動きベクトルに関する符号化情報を読み込み、その復号を行い、復号された動きベクトル情報を動きベクトル情報記憶部６０６に出力する。【０２４０】
重み係数情報復号部６０７：当該小ブロックの重み係数に関する符号化情報を読み込み、その復号を行い、復号された重み係数情報を重み係数情報記憶部６０８に出力する。【０２４１】
予測残差信号直流成分情報復号部６０９：当該小ブロックの予測残差信号の直流成分に関する符号化情報を読み込み、その復号を行い、復号された予測残差信号の直流成分情報を予測残差信号直流成分情報記憶部６１０に出力する。【０２４２】
当該小ブロック予測参照位置同定部６１１：参照フレームインデクス情報記憶部６０４および動きベクトル情報記憶部６０６より、復号された参照フレームインデクスおよび動きベクトルの情報をそれぞれ読み込み、当該小ブロックの動き予測の被参照ブロックの位置を同定する。【０２４３】
直上ブロック復号信号直流成分算出部６１２：当該小ブロック予測参照位置同定部６１１において同定された被参照ブロックの直上ブロックの復号信号を読み込み、その復号信号の直流成分を算出し、直上ブロック復号信号直流成分記憶部６１３に出力する。【０２４４】
重み係数演算部６１４：直上ブロック復号信号直流成分記憶部６１３より被参照ブロックの直上ブロックの復号信号の直流成分を読み込み、また、重み係数情報記憶部６０８より当該小ブロックに割り当てられた重み係数を読み込み、直上ブロックの復号信号の直流成分に重み係数を用いて重み付けを行い、重み付けされた直流成分を予測残差信号直流成分加算部６１５に出力する。【０２４５】
予測残差信号直流成分加算部６１５：重み係数演算部６１４より出力された重み付けされた直上ブロックの復号信号の直流成分の値を読み込み、また、予測残差信号直流成分情報記憶部６１０より復号された予測残差信号の直流成分を読み込み、両者を加算し、その値を当該小ブロック推定直流成分記憶部６１６に出力する。【０２４６】
小ブロック直流成分推定処理判定部６１７：すべての小ブロックに対して直流成分の推定処理を完了したか否かの判定処理を行い、真の場合は当該直下ブロック推定直流成分算出部６１８に移り、真の場合は推定対象小ブロック更新部６１９に移る。【０２４７】
当該直下ブロック推定直流成分算出部６１８：当該小ブロック推定直流成分記憶部６１６より各小ブロックの推定直流成分を読み込み、当該直下ブロックにおける各小ブロックの面積比に応じて各小ブロックの推定直流成分を重み付けし、その重み付け和を当該直下ブロックの直流成分の推定値としてみなし、出力する。【０２４８】
推定対象小ブロック更新部６１９：次の直流成分の推定対象小ブロックに処理対象を移す。
【産業上の利用可能性】
【０２４９】
本発明は、動画像スケーラブル符号化に適用できるものであり、本発明によれば、重み係数を伝送せずに精度の高い重み付き動き予測を実行することができるようになる。
【図１Ａ】
2009054347.tif 000008
【図１Ｂ】
2009054347.tif 000009
【図１Ｃ】
2009054347.tif 000010
【図２】
2009054347.tif 000011
【図３】
2009054347.tif 000012
【図４Ａ】
2009054347.tif 000013
【図４Ｂ】
2009054347.tif 000014
【図４Ｃ】
2009054347.tif 000015
【図５】
2009054347.tif 000016
【図６】
2009054347.tif 000017
【図７】
2009054347.tif 000018
【図８】
2009054347.tif 000019
【図９】
2009054347.tif 000020
【図１０】
2009054347.tif 000021
【図１１】
2009054347.tif 000022
【図１２】
2009054347.tif 000023
【図１３】
2009054347.tif 000024
【図１４】
2009054347.tif 000025
【図１５】
2009054347.tif 000026
【図１６】
2009054347.tif 000027
【図１７】
2009054347.tif 000028
【図１８】
2009054347.tif 000029
【図１９】
2009054347.tif 000030
【図２０】
2009054347.tif 000031
【国際調査報告】
2009054347.tif 000032
2009054347.tif 000033