(57)【要約】  低い空間解像度の直下レイヤ信号から高い空間解像度の上位レイヤ信号を補間処理を用いて予測し符号化する動画像スケーラブル符号化方法。所定単位の画像領域ごとに、上位レイヤの符号化対象画像領域と被参照画像領域間の動きを推定する探索処理の際に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域と被参照画像領域間との間の明るさの変化に基づいた、第１の重み係数を算出し、前記被参照画像領域の復号信号を前記第１の重み係数により補正したものを動き推定における推定信号として動きの推定を行い、動きベクトルを算出する。その動きベクトルの指す被参照画像領域と、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域との間の明るさの変化に基づいた第２の重み係数を算出し、該被参照画像領域の復号信号を前記第２の重み係数で補正したものを動き補償における補償信号とし、前記符号化対象画像領域の予測信号とする。
2009005071.tif 000002
【特許請求の範囲】
【請求項１】
低い空間解像度の直下レイヤ信号から高い空間解像度の上位レイヤ信号を補間処理を用いて予測し符号化する動画像スケーラブル符号化方法において、
所定単位の画像領域ごとに、上位レイヤの符号化対象画像領域と被参照画像領域間の動きを推定する探索処理の際に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域と被参照画像領域間との間の明るさの変化に基づいた、第１の重み係数を算出するステップと、
前記被参照画像領域の復号信号を前記第１の重み係数により補正したものを動き推定における推定信号として動きの推定を行い、動きベクトルを算出するステップと、
算出された動きベクトルを読み込み、その動きベクトルの指す被参照画像領域と、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域との間の明るさの変化に基づいた第２の重み係数を算出するステップと、
前記動きベクトルの指す被参照画像領域の復号信号を前記第２の重み係数で補正したものを動き補償における補償信号とし、前記符号化対象画像領域の予測信号とするステップとを有する
動画像スケーラブル符号化方法。
【請求項２】
請求項１に記載の動画像スケーラブル符号化方法において、
前記各重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と，直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分の比を比例係数とみなし，オフセット係数をゼロとすることにより前記重み係数を算出する
動画像スケーラブル符号化方法。
【請求項３】
請求項１に記載の動画像スケーラブル符号化方法において、
前記各重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と，直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分の差分をオフセット係数とみなし，比例係数を１とすることにより前記重み係数を算出する
動画像スケーラブル符号化方法。
【請求項４】
請求項１に記載の動画像スケーラブル符号化方法において、
前記各重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル符号化方法。
【請求項５】
請求項１に記載の動画像スケーラブル符号化方法において、
前記各重み係数を算出するステップにおいて、前記被参照画像領域が２つある場合に、符号化対象画像領域と各被参照画像領域とのフレーム間距離に応じて比例係数を算出し、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分から２つの被参照画像領域の直流成分に対して比例係数を乗算した値を減算することによってオフセット係数を算出し、前記重み係数とする
動画像スケーラブル符号化方法。
【請求項６】
請求項１に記載の動画像スケーラブル符号化方法において、
前記各重み係数を算出するステップにおいて、前記被参照画像領域が２つある場合に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、２つの被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を設定する
動画像スケーラブル符号化方法。
【請求項７】
請求項２および請求項３いずれか記載の動画像スケーラブル符号化方法において、
前記直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分に代わり、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル符号化方法。
【請求項８】
請求項５記載の動画像スケーラブル符号化方法において、
前記直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分に代わり、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル符号化方法。
【請求項９】
請求項４記載の動画像スケーラブル符号化方法において、
前記直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号に代わり、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、被参照画像領域とその直下レイヤの画像領域の復号信号の関係性を用いて補正した信号、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、被参照画像領域とその直下レイヤの画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号の関係性を用いて補正した信号、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル符号化方法。
【請求項１０】
請求項６記載の動画像スケーラブル符号化方法において、
前記直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号に代わり、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、いずれかの被参照画像領域とその直下レイヤの画像領域の復号信号の関係性を用いて補正した信号、
直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、いずれかの被参照画像領域とその直下レイヤの画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号の関係性を用いて補正した信号、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル符号化方法。
【請求項１１】
低い空間解像度の直下レイヤ信号から高い空間解像度の上位レイヤ信号を補間処理を用いて予測し復号する動画像スケーラブル復号方法において、
所定単位の画像領域ごとに符号化データを復号し、復号された動きベクトルを読み込み、上位レイヤの復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域と前記動きベクトルの指す被参照画像領域との間の明るさの変化に基づいた重み係数を算出するステップと、
前記動きベクトルの指す被参照画像領域の復号信号を前記重み係数で補正したものを動き補償における補償信号とし、前記復号対象画像領域の予測信号とするステップとを有する
動画像スケーラブル復号方法。
【請求項１２】
請求項１１に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分の比を比例係数とみなし、オフセット係数をゼロとすることにより前記重み係数をを算出する
動画像スケーラブル復号方法。
【請求項１３】
請求項１１に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分の差分をオフセット係数とみなし、比例係数を１とすることにより前記重み係数を算出する
動画像スケーラブル復号方法。
【請求項１４】
請求項１１に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップにおいて、前記被参照画像領域が１つである場合に、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル復号方法。
【請求項１５】
請求項１１に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップにおいて、前記被参照画像領域が２つある場合に、復号対象画像領域と各被参照画像領域とのフレーム間距離に応じて比例係数を算出し、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分から２つの被参照画像領域の直流成分に対して比例係数を乗算した値を減算することによってオフセット係数を算出し、前記重み係数とする
動画像スケーラブル復号方法。
【請求項１６】
請求項１１に記載の動画像スケーラブル復号方法において、
前記重み係数を算出するステップにおいて、前記被参照画像領域が２つある場合に、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、２つの被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル復号方法。
【請求項１７】
請求項１２および請求項１３いずれか記載の動画像スケーラブル復号方法において、
前記復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分に代わり、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の成分を、被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル復号方法。
【請求項１８】
請求項１５記載の動画像スケーラブル復号方法において、
前記復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分に代わり、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の直流成分を、いずれかの被参照画像領域とその直下レイヤの画像領域の直流成分の関係性を用いて補正した成分、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域をアップサンプルした画像領域の成分を、いずれかの被参照画像領域とその直下レイヤの画像領域をアップサンプルした画像領域の直流成分の関係性を用いて補正した成分、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル復号方法。
【請求項１９】
請求項１４記載の動画像スケーラブル復号方法において、
前記復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号に代わり、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、被参照画像領域とその直下レイヤの画像領域の復号信号の関係性を用いて補正した信号、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、被参照画像領域とその直下レイヤの画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号の関係性を用いて補正した信号、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル復号方法。
【請求項２０】
請求項１６記載の動画像スケーラブル復号方法において、
前記復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号に代わり、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、いずれかの被参照画像領域とその直下レイヤの画像領域の復号信号の関係性を用いて補正した信号、
復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号を、いずれかの被参照画像領域とその直下レイヤの画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号の関係性を用いて補正した信号、
のうちのいずれかを利用して前記重み係数の算出を行う動画像スケーラブル復号方法。
【請求項２１】
低い空間解像度の直下レイヤ信号から高い空間解像度の上位レイヤ信号を補間処理を用いて予測し符号化する動画像スケーラブル符号化装置において、
所定単位の画像領域ごとに、上位レイヤの符号化対象画像領域と被参照画像領域間の動きを推定する探索処理の際に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域と被参照画像領域間との間の明るさの変化に基づいた、第１の重み係数を算出する手段と、
前記被参照画像領域の復号信号を前記第１の重み係数により補正したものを動き推定における推定信号として動きの推定を行い、動きベクトルを算出する手段と、
算出された動きベクトルを読み込み、その動きベクトルの指す被参照画像領域と、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域との間の明るさの変化に基づいた第２の重み係数を算出する手段と、
前記動きベクトルの指す被参照画像領域の復号信号を前記第２の重み係数で補正したものを動き補償における補償信号とし、前記符号化対象画像領域の予測信号とする手段とを有する
動画像スケーラブル符号化装置。
【請求項２２】
請求項２１に記載の動画像スケーラブル符号化装置において、
前記各重み係数を算出する手段は、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と，直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分の比を比例係数とみなし，オフセット係数をゼロとすることにより前記重み係数を算出する
動画像スケーラブル符号化装置。
【請求項２３】
請求項２１に記載の動画像スケーラブル符号化装置において、
前記各重み係数を算出する手段は、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と，直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分の差分をオフセット係数とみなし，比例係数を１とすることにより前記重み係数を算出する
動画像スケーラブル符号化装置。
【請求項２４】
請求項２１に記載の動画像スケーラブル符号化装置において、
前記各重み係数を算出する手段は、前記被参照画像領域が１つである場合に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル符号化装置。
【請求項２５】
請求項２１に記載の動画像スケーラブル符号化装置において、
前記各重み係数を算出する手段は、前記被参照画像領域が２つある場合に、符号化対象画像領域と各被参照画像領域とのフレーム間距離に応じて比例係数を算出し、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の直流成分から２つの被参照画像領域の直流成分に対して比例係数を乗算した値を減算することによってオフセット係数を算出し、前記重み係数とする
動画像スケーラブル符号化装置。
【請求項２６】
請求項２１に記載の動画像スケーラブル符号化装置において、
前記各重み係数を算出する手段は、前記被参照画像領域が２つある場合に、直下レイヤにおける符号化対象画像領域と空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、２つの被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を設定する
動画像スケーラブル符号化装置。
【請求項２７】
低い空間解像度の直下レイヤ信号から高い空間解像度の上位レイヤ信号を補間処理を用いて予測し復号する動画像スケーラブル復号装置において、
所定単位の画像領域ごとに符号化データを復号し、復号された動きベクトルを読み込み、上位レイヤの復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域と前記動きベクトルの指す被参照画像領域との間の明るさの変化に基づいた重み係数を算出する手段と、
前記動きベクトルの指す被参照画像領域の復号信号を前記重み係数で補正したものを動き補償における補償信号とし、前記復号対象画像領域の予測信号とする手段とを有する
動画像スケーラブル復号装置。
【請求項２８】
請求項２７に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分の比を比例係数とみなし、オフセット係数をゼロとすることにより前記重み係数をを算出する
動画像スケーラブル復号装置。
【請求項２９】
請求項２７に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、前記被参照画像領域が１つである場合に、被参照画像領域の直流成分と、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分の差分をオフセット係数とみなし、比例係数を１とすることにより前記重み係数を算出する
動画像スケーラブル復号装置。
【請求項３０】
請求項２７に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、前記被参照画像領域が１つである場合に、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル復号装置。
【請求項３１】
請求項２７に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、前記被参照画像領域が２つある場合に、復号対象画像領域と各被参照画像領域とのフレーム間距離に応じて比例係数を算出し、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の直流成分から２つの被参照画像領域の直流成分に対して比例係数を乗算した値を減算することによってオフセット係数を算出し、前記重み係数とする
動画像スケーラブル復号装置。
【請求項３２】
請求項２７に記載の動画像スケーラブル復号装置において、
前記重み係数を算出する手段は、前記被参照画像領域が２つある場合に、復号対象画像領域の直下のレイヤの空間的同位置に存在する画像領域の復号信号を当該レイヤの空間解像度までアップサンプルした信号と、２つの被参照画像領域の復号信号を重み係数により補正した時の補正信号との二乗誤差が最小となるように前記重み係数を算出する
動画像スケーラブル復号装置。
【請求項３３】
請求項１に記載の動画像スケーラブル符号化方法を、コンピュータに実行させるための動画像スケーラブル符号化プログラム。
【請求項３４】
請求項１１に記載の動画像スケーラブル復号方法を、コンピュータに実行させるための動画像スケーラブル復号プログラム。
【請求項３５】
請求項１に記載の動画像スケーラブル符号化方法を、コンピュータに実行させるための動画像スケーラブル符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３６】
請求項１１に記載の動画像スケーラブル復号方法を、コンピュータに実行させるための動画像スケーラブル復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像スケーラブル符号化方法および復号方法とそれらの装置、プログラムとそれらのプログラムの記録媒体に関する。
本願は、２００７年７月２日に出願された特願２００７−１７４１６１号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
一般的な動画像符号化方式では、フレーム間の画素値差分最小化に基づいたブロックマッチングにより動き予測を行い、符号化性能の向上を図っている。しかしながら、フェードのような明るさが時間的に変化する画像では、明るさ変化の分だけ動き予測の予測残差が拡大し、符号化性能が低下してしまう。
そこで、非特許文献１に示すＨ．２６４／ＡＶＣでは、動き予測の参照ピクチャに適応的に重み係数を掛ける重み付き動き予測を行っている。この重み付き動き予測により、時間的な明るさ変化を補正した予測参照信号を構成し、符号化性能を向上させている。【０００３】
Ｈ．２６４／ＡＶＣの重み付き動き予測には、重み係数を符号化して伝送するＥｘｐｌｉｃｉｔモードと、エンコーダとデコーダで同じ重み係数を参照フレームの情報から間接的に生成するＩｍｐｌｉｃｉｔモードの２つの係数伝送モードが用意されている。ＰスライスおよびＢスライスにおける重み付き動き予測の種類と予測方法を、表１に示す。【０００４】
【表１】
2009005071.tif 000003
この表１で、ｚは重み付き動き予測信号、ｙ、ｙ0 、ｙ1 は重み付き動き予測参照信号、ｗ、ｗ0 、ｗ1 、ｄ、ｄ0 、ｄ1 は重み係数を指している。重み付き動き予測のスイッチングと係数伝送モードの選択は、スライス単位で実行される。【０００５】
図１は、Ｈ．２６４／ＡＶＣにおける重み付き動き予測（Ｉｍｐｌｉｃｉｔモード）を説明する図である。Ｉｍｐｌｉｃｉｔモードは、Ｂスライスの双予測の場合にのみ用いられ、エンコーダおよびデコーダでは、図１のようにして重み係数を生成する。ｔb 、ｔd はフレーム間距離である。【０００６】
符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であると仮定し、比例係数ｗ0 、ｗ1 を参照ピクチャからの距離に応じて算出する。オフセット係数ｄは０とする。【０００７】
ｗ0 ＝１−ｗ1 
ｗ1 ＝ｔb ／ｔd 
ｄ＝０
図１は参照ピクチャからの距離に応じた内分による比例係数算出の例であるが、外分の場合も同様に行うことができる。明るさが線形に変化する画像であれば、Ｉｍｐｌｉｃｉｔモードであっても適切な重み係数を算出できるため、係数情報に必要な符号量を節約できる。【０００８】
現在、非特許文献２に示すＩＳＯとＩＴＵ−Ｔの合同団体であるＪＶＴで取り組まれているＨ．２６４／ＡＶＣのスケーラブル拡張方式ＪＳＶＣにおいても、上記に示したＨ．２６４／ＡＶＣと同じ重み付き動き予測が取り入れられている。
非特許文献３に示すＪＳＶＣの参照エンコーダＪＳＶＭ（プログラム）においても、表１に示した重み付き動き予測を行っている。【０００９】
また、動画像の大局的な輝度変化を検出し、輝度補償を行う技術として、特許文献１に記載された技術が知られている。この特許文献１に記載の技術では、画面全体の大局的な輝度変化量と、小領域ごとに輝度変化の補償をするか否かの判定を示すフラグとを用いることで、明るさの変化が画面内で一様でない場合に対応している。
【非特許文献１】ITU-T ：“Advanced video coding for generic audiovisual services”, ITU-T Rec, H.264, pp. 129-132, 2003.
【非特許文献２】T.Wiegand, G.Sullivan, J.Reichel, H.Schwarz and M.Wien：“Joint Draft 9 of SVC Amendment”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-V201, pp. 166-170, 2006.
【非特許文献３】J.Reichel, H.Schwarz and M.Wien：“Joint Scalable Video Model JSVM-8.0 ”, ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6, JVT-U202, 2006.
【特許文献１】特開平１０−３２８２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測はスライス単位で実行される。したがって、スライス内の一部に明るさ変化が発生する場合や、スライス内の明るさ変化が一様でない場合には、Ｈ．２６４／ＡＶＣの重み付き動き予測の予測性能は低下してしまう。例えば、移動物体の影などによって発生する明るさ変化などが上記に該当し、予測性能が低下することになる。【００１１】
仮に、スライスより細かいマクロブロックなどの単位で重み係数を算出し、重み付き動き予測を実行しようとすると、Ｅｘｐｌｉｃｉｔモードでは重み係数に要する符号量が甚大となってしまう。そのような場合には、Ｉｍｐｌｉｃｉｔモードで重み係数を算出することが望ましい。しかしながら、前述の通り、Ｈ．２６４／ＡＶＣの重み付き動き予測のＩｍｐｌｉｃｉｔモードの実装は、双予測を行うＢスライスのみに限られている。【００１２】
また、この重み付き動き予測のＩｍｐｌｉｃｉｔモードで算出される重み係数は、符号化対象フレームと２枚の被参照フレームにわたる明るさ変化が線形であるという仮定に基づくものであるため、３フレームにわたる明るさの時間的変化が非線形の場合には、適切な重み係数が算出されず、予測性能は低下してしまう。非線形に明るさが変化するフェード画像や、フラッシュを含むフラッシュ画像のような、一時的に変化する画像などが、上記に該当する。ＪＳＶＣにおける重み付き動き予測は、Ｈ．２６４／ＡＶＣの重み付き動き予測がそのまま実装されているので前述と同じ問題に直面する。【００１３】
また、上記特許文献１に記載されている技術では、小領域ごとにフラグの情報を伝送する必要があるので、符号化性能が低下するという問題、当該小領域の輝度変化量が大きく、かつ、大局的な輝度変化量と乖離する場合においても、当該小領域における輝度変化を補償できないため符号化性能が低下するという問題があった。【００１４】
本発明はかかる事情に鑑みてなされたものであって、最も低い空間解像度を有する基本レイヤと、それより高い空間解像度を有する一つ以上の拡張レイヤによって構成される空間スケーラブル符号化において、動き予測の被参照フレームの復号信号と符号化対象フレームの直下レイヤの復号信号間の時間的な明るさ変化の情報に基づいた重み付き動き予測の重み係数を生成し、重み係数の情報を伝送することなく符号化器および復号器で同じ重み係数を用いた重み付き動き予測を行うスケーラブル符号化器および復号器の設計方法を確立することを目的とする。
【課題を解決するための手段】
【００１５】
本発明における重み付き動き予測の手順を以下に記す。
重み付き動き予測は、重み付き動き推定と重み付き動き補償の２つのステップにより構成される。
重み付き動き推定とは、処理対象フレームと動き予測参照フレーム間の明るさ変化を補正しながら両フレーム間の動きを探索し、探索により検出された動き情報を動きベクトルとして出力する処理を指す。
重み付き動き補償とは、動きベクトル情報を読み込み、その動きベクトルの指す先の信号値に対して明るさ変化の補正を行い、補正された信号値を処理対象フレームにおける予測信号として出力する処理を指す。
符号化処理では、重み付き動き推定により動きベクトルを検出し、その動きベクトルを読み込み、重み付き動き補償を実行する。
一方、復号処理では、符号化データを復号して動きベクトルを読み込み、重み付き動き補償を実行する。【００１６】
重み係数の算出は、任意の画像領域単位で行うことができる。例としては、フレーム単位、スライス単位、マクロブロック単位、などが挙げられる。
係数の伝送が不要なため、重み付き動き予測に要するオーバヘッドは、どの画像領域単位であっても変わらない。したがって、小さい画像領域単位で重み係数の算出を行うほど、重み付き動き予測の予測性能は向上する。
ここでは、マクロブロック単位で重み係数の算出を行う場合を例に挙げて説明を進める。マクロブロック単位以外であっても、同様の処理により重み付き動き予測が可能である。また、対象となる信号にも依らず、輝度信号であっても色差信号であっても同様に処理することが可能である。
【発明の効果】
【００１７】
本発明により、任意の局所領域単位で重み係数の算出を行うことができるため、移動物体の影などによって画像内の一部の明るさが変化するような場合においても、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって、精度の高い重み付き動き予測を実行することができる。【００１８】
また従来、ＥｘｐｌｉｃｉｔモードのみであったＰスライスおよびＢスライスのＬ０／Ｌ１予測の場合においても、Ｉｍｐｌｉｃｉｔモードによって重み付き動き予測を実行することができる。【００１９】
また、直下レイヤの明るさ情報を考慮した補正を行うことにより、フラッシュを含む画像や非線形変化のフェード画像のような、符号化／復号処理対象フレームと複数の予測参照フレーム間の明るさ変化が非線形の画像においても、Ｉｍｐｌｉｃｉｔモードで精度の高い重み付き動き予測を実行できる。以上のような重み付き動き予測の性能向上により、符号化効率の向上が見込める。
【図面の簡単な説明】
【００２０】
【図１】Ｈ．２６４／ＡＶＣにおける重み付き動き予測（Ｉｍｐｌｉｃｉｔモード）を説明する図である。
【図２】本発明による重み付き動き予測を説明する図である。
【図３】本発明の一実施形態による符号化処理の流れを示す図である。
【図４】本発明の一実施形態による復号処理の流れを示す図である。
【図５】符号化処理における重み付き動き推定処理の流れを示す図である。
【図６】符号化および復号処理における重み付き動き補償処理の流れを示す図である。
【図７】符号化および復号処理における重み係数算出処理の流れを示す図である。
【図８】ステップＳ４３（図７）の詳細な処理の流れを示す図である。
【図９】ステップＳ４４（図７）の詳細な処理の流れを示す図である。
【図１０】ステップＳ４６（図７）の詳細な処理の流れを示す図である。
【図１１】ステップＳ４８（図７）の詳細な処理の流れを示す図である。
【図１２】ステップＳ４９（図７）の詳細な処理の流れを示す図である。
【図１３】本発明の一実施形態による符号化装置の構成例を示す図である。
【図１４】本発明の一実施形態による復号装置の構成例を示す図である。
【図１５】重み付き動き推定部の装置構成例を示す図である。
【図１６】重み付き動き補償部の装置構成例を示す図である。
【図１７】重み係数算出部の装置構成例を示す図である。
【図１８】双予測二乗誤差最小化規範重み係数補正処理部の装置構成例を示す図である。
【図１９】双予測直流成分規範重み係数補正処理部の装置構成例を示す図である。
【図２０】単一フレーム予測二乗誤差最小化規範重み係数補正処理部の装置構成例を示す図である。
【図２１】単一フレーム予測直流成分規範比例係数補正処理部の装置構成例を示す図である。
【図２２】単一フレーム予測直流成分規範オフセット補正処理部の装置構成例を示す図である。
【図２３】フェード画像におけるＢＤ−ｂｉｔの変化（実験例）を示す図である。
【図２４】フェード画像における平均輝度値と平均オフセット係数の変化（実験例）を示す図である。
【図２５】フラッシュ画像におけるＢＤ−ｂｉｔの変化（実験例）を示す図である。
【図２６】フラッシュ画像における平均輝度値と平均オフセット係数の変化（実験例）を示す図である。
【符号の説明】
【００２１】
１０１  予測方法判定部
１０２  画面内予測部
１０３  重み無し動き予測部
１０４  レイヤ間予測部
１０５  重み付き動き推定部
１０６  重み付き動き補償部
１０７  予測残差信号生成部
１０８  予測残差信号符号化部
１０９  復号部
１１０  当該拡張レイヤ復号信号記憶部
１１１  直下レイヤ復号信号記憶部
２０１  予測モード復号部
２０２  予測モード記憶部
２０３  予測方法判定部
２０４  画面内予測部
２０５  重み無し動き予測部
２０６  レイヤ間予測部
２０７  動きベクトル情報復号部
２０８  動きベクトル情報記憶部
２０９  重み付き動き補償部
２１０  直下レイヤ復号信号記憶部
２１１  残差信号復号部
２１２  残差信号記憶部
２１３  復号信号生成部
２１４  当該拡張レイヤ復号信号記憶部
【発明を実施するための最良の形態】
【００２２】
以下に、本発明の典型的な処理について説明する。
［重み付き動き推定］
重み付き動き推定では、符号化対象フレームの所定単位の画像領域、例えばマクロブロックごとに、推定被参照フレーム内で整合するマクロブロックを探索する。
この探索の際、探索対象マクロブロックが変更されるたびに、両フレームの当該ブロック間の明るさ変化を示す重み係数を算出し、その重み係数で探索対象マクロブロックの復号信号を補正したものを整合判定のための比較信号として活用する。
そして、整合すると判定されたマクロブロックが、動きベクトルの参照先となり、動き補償における被参照マクロブロックとなる。
整合の判定手段の一例としては、非特許文献１に示されている符号量と符号化歪み間のラグランジュコスト最小化による判定手段が挙げられる。【００２３】
［重み付き動き補償］
重み付き動き補償では、まず、符号化／復号対象マクロブロックごとに、そのマクロブロックが有する動きベクトル情報を読み込む。
次に、その動きベクトルの指す先の被参照マクロブロックと符号化／復号対象マクロブロック間の明るさ変化を示す重み係数を算出する。
そして、その重み係数で被参照マクロブロックの復号信号を補正したものを、符号化／復号対象マクロブロックにおける予測信号として活用する。【００２４】
［重み係数の算出処理］
典型的には、以下の手順により、スケーラブル符号化の重み付き動き推定および重み付き動き補償に用いる重み係数を算出する。
従来のＩｍｐｌｉｃｉｔモードでは、一つのレイヤ内に閉じて、時間的な明るさの変化を被参照フレームからの距離に応じた内挿または外挿によって推定し、重み係数を算出している。
本発明では、その時間的な明るさの変化の推定に、符号化／復号対象のレイヤの直下レイヤのマクロブロック復号信号の情報を用いることにより、その推定精度を向上させる。【００２５】
手順の説明にあたり、説明に使用する記号を整理する。当該拡張レイヤの符号化／復号処理対象フレーム（以降、補正対象フレーム）をｆ、ＰスライスまたはＢスライスにおけるＬ０予測の重み付き動き推定／補償被参照フレーム（以降、被補正フレーム）をｆ0 、ＢスライスにおけるＬ１予測の被補正フレームをｆ1 とおく。【００２６】
また、補正対象フレームｆと同時刻の直下レイヤのフレームをｇ、補正対象フレームｆ0 と同時刻の直下レイヤのフレームをｇ0 、補正対象フレームｆ1 と同時刻の直下レイヤのフレームをｇ1 とおく。【００２７】
また、フレームｆにおける符号化／復号処理対象ブロック（以降、補正対象ブロック）の座標（ｉ、ｊ）に代入される予測信号値をｚ（ｉ、ｊ）、また、フレームｆ0 における重み付き動き推定／補償被参照ブロック（以降、被補正ブロック）の座標（ｉ、ｊ）における復号信号値をｙ0 （ｉ、ｊ）とおく。【００２８】
また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの座標（ｉ、ｊ）における復号信号値をｘ（ｉ、ｊ）、そのｘ（ｉ、ｊ）を所定のアップサンプルフィルタを用いて当該拡張レイヤの解像度にアップサンプルした信号値をｘ′（ｉ、ｊ）とおく。【００２９】
同様に、フレームｇ0 におけるフレームｆ0 の被補正ブロックと空間的同位置に位置するブロックの座標（ｉ、ｊ）における復号信号値をｘ0 （ｉ、ｊ）、そのｘ0（ｉ、ｊ）を所定のアップサンプルフィルタを用いて当該拡張レイヤの解像度にアップサンプルした信号値をｘ0 ′（ｉ、ｊ）とおく。
ｙ1 （ｉ、ｊ）、ｘ1 （ｉ、ｊ）、ｘ1 ′（ｉ、ｊ）の与え方は、ｙ0 （ｉ、ｊ）、ｘ0 （ｉ、ｊ）、ｘ0 ′（ｉ、ｊ）に準ずる。【００３０】
以上を図２に図示する。図２は、当該拡張レイヤと直下レイヤの解像度比が、縦横ともに２：１の場合の図である。解像度比が２：１以外の場合にも、同様の処理が可能である。【００３１】
また、フレームｆ0 における被補正ブロックの直流成分値をＹ0 、また、フレームｇにおけるフレームｆの補正対象ブロックと空間的同位置に位置するブロックの直流成分値をＸとする。これらは、図２の場合、次のように算出される。【００３２】
【数１】
2009005071.tif 000004
Ｘ0 、Ｘ0 ′、Ｘ1 、Ｘ1 ′、Ｙ1 の与え方は、ＸおよびＹ0 に準ずる。【００３３】
《ＰスライスおよびＬ０／Ｌ１予測Ｂスライスにおける重み係数の算出方法》
ＰスライスおよびＬ０／Ｌ１予測を行うＢスライスのような単一フレームの予測の場合、予測信号値ｚ（ｉ、ｊ）は以下のようにして算出される。【００３４】
・ＰスライスまたはＬ０予測Ｂスライスの場合
ｚ（ｉ、ｊ）＝ｗ0 ・ｙ0 （ｉ、ｊ）＋ｄ0 
・Ｌ１予測Ｂスライスの場合
ｚ（ｉ、ｊ）＝ｗ1 ・ｙ1 （ｉ、ｊ）＋ｄ1               …（３）
ここでは、この重み係数ｗ0 とｄ0 、またはｗ1 とｄ1 の算出方法を３つ列挙する。
以降に記す算出方法の説明は、ＰスライスまたはＬ０予測Ｂスライスの場合を例にとっている。Ｌ１予測Ｂスライスの場合には、フレームｆ0 およびｇ0 に関わる要素をフレームｆ1 およびｇ1 に関わる要素に変更すればよい。【００３５】
３つの算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ0 から補正対象フレームｆの明るさ変化を間接的に予測する。【００３６】
［方法１−１］単一フレーム予測における直流成分を用いた比例係数補正
本方法では、以下のように重み係数を算出する。【００３７】
ｗ0 ＝Ｘ／Ｙ0         （４）
ｄ0 ＝０              （５）
この（４）式のＸは、アップサンプル信号の直流成分値Ｘ′に置き換えても良い。さらには、そのＸまたはＸ′に対して被補正フレームｆ0 とその直下レイヤのフレームｇ0 の直流成分の関係性を用いて補正した成分に置き換えても良い。
補正の例としては、ＸまたはＸ′に被補正フレームｆ0 における直流成分の比Ｙ0 ／Ｘ0 を乗算した成分、もしくは、ＸまたはＸ′に被補正フレームｆ0 における直流成分の差Ｙ0 −Ｘ0 を加算した成分、が考えられる。【００３８】
［方法１−２］単一フレーム予測における直流成分を用いたオフセット係数補正
本方法では、以下のように重み係数を算出する。【００３９】
ｗ0 ＝１              （６）
ｄ0 ＝Ｘ−Ｙ0         （７）
方法１−１と同様、この（７）式のＸは、アップサンプル信号の直流成分値Ｘ′に置き換えても良い。さらには、そのＸまたはＸ′に対して被補正フレームｆ0 とその直下レイヤのフレームｇ0 の直流成分の関係性を用いて補正した成分に置き換えても良い。補正方法の例は、方法１−１の記したものと同様である。【００４０】
［方法１−３］単一フレーム予測における最小二乗法を用いた重み係数補正
本方法では、以下のように重み係数を算出する。なお、以下の式においてチルダを付したｗ0 、ｄ0 は、それぞれｗ0 、ｄ0 を求めるための変数である。【００４１】
【数２】
2009005071.tif 000005
この（８）式のｘ′（ｉ、ｊ）は、ｘ′（ｉ、ｊ）に対して被補正フレームｆ0 とその直下レイヤのフレームｇ0 の復号信号の関係性を用いて補正した成分に置き換えても良い。補正の例としては、ｘ′（ｉ、ｊ）に被補正フレームｆ0 における復号信号の比
ｙ0 （ｉ、ｊ）／ｘ0 ′（ｉ、ｊ）
を乗算した成分、もしくはｘ′（ｉ、ｊ）に被補正フレームｆ0 における復号信号の差
ｙ0 （ｉ、ｊ）−ｘ0 ′（ｉ、ｊ）
を加算した成分、が考えられる。【００４２】
εの最小値を与える重み係数（ｗ0 、ｄ0 ）は、次の連立一次方程式の解として求められる。【００４３】
【数３】
2009005071.tif 000006
【００４４】
《双予測Ｂスライスにおける重み係数の算出方法》
双予測を行うＢスライスでは、予測信号値ｚ（ｉ、ｊ）は、以下のようにして算出される。
ｚ（ｉ、ｊ）＝ｗ0 ・ｙ0 （ｉ、ｊ）＋ｗ1 ・ｙ1 （ｉ、ｊ）＋ｄ      （１２）
ここでは、この重み係数ｗ0 、ｗ1 、ｄの算出方法を２つ列挙する。
２つの算出方法は、以下の仮定に基づいている。フレームｆとフレームｇは同時刻の情報であるため、信号の明るさは近いと予想される。そこで、既知のフレームｇの明るさ情報を利用し、被補正フレームｆ0 およびｆ1 から補正対象フレームｆの明るさ変化を間接的に予測する。【００４５】
［方法２−１］双予測における直流成分ブロックを用いた重み係数補正
本方法では、以下のように重み係数を算出する。【００４６】
ｗ0 ＝１−ｗ1                         （１３）
ｗ1 ＝ｔb ／ｔd                       （１４）
ｄ＝Ｘ−ｗ0 ・Ｙ0 −ｗ1 ・Ｙ1         （１５）
ｔb は、被補正フレームｆ0 から補正対象フレームｆまでのフレーム間距離、ｔd は、被補正フレームｆ0 から被補正フレームｆ1 までのフレーム間距離を示している。【００４７】
この（１５）式のＸは、アップサンプル信号の直流成分値Ｘ′に置き換えても良い。さらには、そのＸまたはＸ′に対して被補正フレームｆ0 とその直下レイヤのフレームｇ0 の直流成分または被補正フレームｆ1 とその直下レイヤのフレームｇ1 の直流成分を用いて補正した成分に置き換えても良い。補正方法の例は、方法１−１の記したものと同様である。【００４８】
［方法２−２］双予測における最小二乗法を用いた重み係数補正
本方法では、以下のように重み係数を算出する。【００４９】
【数４】
2009005071.tif 000007
この（１６）式のｘ′（ｉ、ｊ）は、ｘ′（ｉ、ｊ）に対して被補正フレームｆ0 とその直下レイヤのフレームｇ0 の復号信号または被補正フレームｆ1 とその直下レイヤのフレームｇ1 の復号信号を用いて補正した成分に置き換えても良い。補正方法の例は、方法１−３の記したものと同様である。【００５０】
εの最小値を与える重み係数（ｗ0 、ｗ1 、ｄ）は、次の連立一次方程式の解として求められる。【００５１】
【数５】
2009005071.tif 000008
従来のＨ．２６４／ＡＶＣの重み付き動き予測では、スライス単位で重み係数が切り替えられていたのに対し、本発明では、任意の矩形領域単位で重み係数の算出が可能になり、重み付き予測の精度が向上する。【００５２】
また、従来技術では、片方向予測を行うブロックの場合に重み係数情報の伝送が必要であったのに対し、本発明では、片方向予測を行うブロックにおいても、重み係数の情報を伝送せずに精度の高い重み付き予測を実行することが可能になる。【００５３】
また、従来技術では、対象映像の明るさが非線形に変化する場合に精度の高い重み付き予測を行うには、双予測であっても重み係数情報を伝送する必要があったのに対し、本発明では、対象映像の時間的な明るさ変化がどのような変化の仕方であっても、重み係数情報を伝送せずに、精度の高い重み付き予測を実現することができる。【００５４】
特に、上記［方法１−１］は、予測参照ブロックの復号信号と当該ブロックの原信号の信号値の比がブロック内で一様である場合に、精度の高い重み係数を算出することができ、好適である。
また、上記［方法１−２］は、予測参照ブロックの復号信号と当該ブロックの原信号の信号値の差分がブロック内で一様である場合に、特に精度の高い重み係数を算出することができ、好適である。【００５５】
また、上記［方法１−１］、［方法１−２］、［方法２−１］は、当該ブロックの原信号に含まれるすべての空間周波数成分が、直下レイヤの空間的に対応するブロックの補間信号に含まれる空間周波数成分と類似しているときに、精度の高い重み係数を算出することができる。
上記［方法１−３］、［方法２−２］は、当該ブロックの原信号に含まれる直流成分と直下レイヤの空間的に対応するブロックの補間信号に含まれる直流成分のみが類似しているときに、精度の高い重み係数を算出することができる。【００５６】
［処理の流れ］
本発明の符号化処理の実施形態について、図３を参照して説明する。説明する実施形態は、一つのマクロブロックに対する符号化処理である。これをすべてのマクロブロックに対して実施することによって、映像の符号化データが構成される。【００５７】
ステップＳ１：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合にはステップＳ３の処理を行い、偽の場合にはステップＳ２の処理を行う。
この判定処理は、例えば予め定められた設定条件に従って行われるが、本実施形態においてどのような条件を用いるかは任意である。【００５８】
ステップＳ２：ステップＳ１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。各方式の予測方法の一例としては、非特許文献３に示されるＪＳＶＭにおける予測方法が挙げられる。【００５９】
ステップＳ３：当該マクロブロックが重み付き動き予測の対象である場合に、当該マクロブロックに対して、当該マクロブロックの原信号、その直下レイヤのマクロブロック復号信号、および（被参照フレームにおける）探索対象マクロブロックの復号信号を読み込み、重み付き動き推定を行い、動きベクトル情報を出力する。本処理の詳細は図５に示す（後述）。【００６０】
ステップＳ４：ステップＳ３の処理で出力された動きベクトル情報および、直下レイヤのマクロブロック復号信号を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図６に示す（後述）。【００６１】
ステップＳ５：ステップＳ２またはステップＳ４の処理によって出力された予測信号を読み込み、当該マクロブロックの原信号との差分信号を生成し、その差分信号の符号化を行う。この差分信号の符号化処理の一例としては、非特許文献３に示されるＪＳＶＭにおける符号化処理が挙げられる。【００６２】
本発明の復号処理の実施形態について、図４を参照して説明する。説明する実施形態は、一つのマクロブロックに対する復号処理である。これをすべてのマクロブロックに対して実施することによって、映像の復号信号が構成される。【００６３】
ステップＳ１１：当該拡張レイヤの当該マクロブロックの予測モードに関する符号化データを読み込み、復号処理を行い、予測モード情報を出力する。【００６４】
ステップＳ１２：当該拡張レイヤの当該マクロブロックが、重み付き動き予測の対象マクロブロックであるか否かの判定処理を行い、真の場合にはステップＳ１４の処理を行い、偽の場合にはステップＳ１３の処理を行う。【００６５】
ステップＳ１３：ステップＳ１１の処理で出力された当該マクロブロックの予測モード情報にしたがって予測信号の生成を行う。ここでの予測方式には、画面内予測、重み無しの通常の動き予測、およびレイヤ間予測が挙げられる。【００６６】
ステップＳ１４：当該マクロブロックが重み付き動き予測の対象マクロブロックである場合、当該マクロブロックの動きベクトルに関する符号化データを読み込み、復号処理を行い、動きベクトル情報を出力する。【００６７】
ステップＳ１５：ステップＳ１４の処理で出力された動きベクトル情報、および直下レイヤのマクロブロック復号信号を読み込み、重み付き動き補償を行い、重み付き動き予測信号を出力する。本処理の詳細は図６に示す（後述）。【００６８】
ステップＳ１６：ステップＳ１３またはステップＳ１５の処理によって出力された予測信号を読み込み、復号された予測残差信号と加算し、復号信号を構成し、出力する。【００６９】
本発明の重み付き動き推定（ステップＳ３）の実施形態について、図５を参照して説明する。【００７０】
ステップＳ２１：直下レイヤのマクロブロックの復号信号および（被参照フレームにおける）現在の探索対象マクロブロックの復号信号を読み込み、両マクロブロック間の重み係数を算出し、出力する。本処理の詳細は図７に示す（後述）。【００７１】
ステップＳ２２：ステップＳ２１の処理によって出力された重み係数情報を読み込み、現在の探索対象マクロブロックの復号信号をその重み係数によって補正し、その信号値を出力する。【００７２】
ステップＳ２３：ステップＳ２２の処理によって出力された信号値と、当該マクロブロックの原信号との間の、符号量と符号化歪み量によって得られる符号化コストを算出し、出力する。【００７３】
ステップＳ２４：探索すべきすべてのマクロブロックに対して探索を行ったかどうかの判定処理を行い、真の場合にはステップＳ２６の処理を行い、偽の場合にはステップＳ２５の処理を行う。【００７４】
ステップＳ２５：次の探索対象マクロブロックに処理対象を移し、ステップＳ２１以降の処理を繰り返す。【００７５】
ステップＳ２６：ステップＳ２３の処理によって出力された符号化コストの情報を読み込み、探索したマクロブロックの中で符号化コストが最小となるマクロブロックを選定し、そのマクロブロックと当該マクロブロックとの座標位置の差分を動きベクトルとして出力する。【００７６】
本発明の重み付き動き補償（ステップＳ４、ステップＳ１５）の実施形態について、図６を参照して説明する。【００７７】
ステップＳ３１：当該マクロブロックの動きベクトル情報を読み込み、出力する。この動きベクトル情報は、符号化処理における重み付き動き補償の場合には重み付き動き推定部の出力から、復号処理における重み付き動き補償の場合には動きベクトルの復号処理部の出力から読み込まれる。【００７８】
ステップＳ３２：直下レイヤのマクロブロックの復号信号、およびステップＳ３１の処理によって出力された動きベクトル情報を読み込み、動きベクトルの指す被参照マクロブロックと当該マクロブロック間の重み係数を算出し、出力する。
本処理の詳細は図７に示す（後述）。
なお、符号化処理の場合には、図５に示す重み付き推定処理で算出した重み係数を動きベクトル情報とともに記憶しておき、その重み係数を出力してもよい。【００７９】
ステップＳ３３：ステップＳ３２の処理によって出力された重み係数情報を読み込み、被参照マクロブロックの復号信号をその重み係数によって補正し、その信号値を出力する。【００８０】
本発明の重み係数算出処理（ステップＳ２１、ステップＳ３２）の実施形態について、図７を参照して説明する。【００８１】
ステップＳ４１：当該マクロブロックが属するスライスがＢスライスであり、かつ双予測を行うと判定されているか否かの判定処理を行い、真の場合にはステップＳ４２の処理を行い、偽の場合にはステップＳ４５の処理を行う。【００８２】
ステップＳ４２：外部より指定される当該マクロブロックの重み係数算出方法が、双予測Ｂスライスにおける二乗誤差最小化規範の重み係数補正方法であるか否かの判定処理を行い、真の場合にはステップＳ４３の処理を行い、偽の場合にはステップＳ４４の処理を行う。
重み係数算出方法の指定情報の外部からの与え方の一例としては、符号化処理の設定条件としてはじめに規定して、ピクチャパラメータセット内に確保しておく方法や、マルチパス処理によってスライスごとに最適な方を選択する方法が考えられる。【００８３】
ステップＳ４３：２つの被補正マクロブロックの復号信号から構成される補正信号と直下レイヤのマクロブロックの復号信号との二乗誤差を最小化する重み係数を算出し、出力する。本処理の詳細は図８に示す（後述）。【００８４】
ステップＳ４４：２つの被補正フレームと当該フレームとのフレーム間距離から比例係数を算出し、２つの被補正マクロブロックの復号信号と直下レイヤのマクロブロックの復号信号の直流成分からオフセット係数を算出し、それらを出力する。本処理の詳細を図９に示す（後述）。【００８５】
ステップＳ４５：外部より指定される当該マクロブロックの重み係数算出方法が、ＰスライスまたはＬ０／Ｌ１予測Ｂスライスにおける二乗誤差最小化規範の重み係数補正方法であるか否かの判定処理を行い、真の場合にはステップＳ４６の処理を行い、偽の場合にはステップＳ４７の処理を行う。
重み係数算出方法の指定情報の外部からの与え方の一例としては、ステップＳ４２の処理と同様に、符号化処理の設定条件としてはじめに規定し、ピクチャパラメータセット内に確保しておく方法や、マルチパス処理によってスライスごとに最適な方を選択する方法が考えられる。【００８６】
ステップＳ４６：被補正マクロブロックの復号信号から構成される補正信号と直下レイヤのマクロブロックの復号信号との二乗誤差を最小化する重み係数を算出し、出力する。本処理の詳細を図１０に示す（後述）。【００８７】
ステップＳ４７：外部より指定される当該マクロブロックの重み係数算出方法が、ＰスライスまたはＬ０／Ｌ１予測Ｂスライスにおける直流成分規範の比例係数補正方法であるか否かの判定処理を行い、真の場合にはステップＳ４８の処理を行い、偽の場合にはステップＳ４９の処理を行う。
重み係数算出方法の指定情報の外部からの与え方の一例としては、ステップＳ４２およびステップＳ４５の処理と同様に、符号化処理の設定条件としてはじめに規定し、ピクチャパラメータセット内に確保しておく方法や、マルチパス処理によってスライスごとに最適な方を選択する方法が考えられる。【００８８】
ステップＳ４８：被補正マクロブロックの復号信号と直下レイヤのマクロブロックの復号信号の直流成分の比を計算し、それを比例係数として出力する。本処理の詳細を図１１に示す（後述）。【００８９】
ステップＳ４９：被補正マクロブロックの復号信号と直下レイヤのマクロブロックの復号信号の直流成分の差を計算し、それをオフセット係数として出力する。本処理の詳細を図１２に示す（後述）。【００９０】
図７に示すステップＳ４３の処理の実施形態について、図８を参照して説明する。【００９１】
ステップＳ５１：直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号を読み込み、バッファに書き込む。【００９２】
ステップＳ５２：直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号をバッファから読み込み、２つの被補正マクロブロックの復号信号から構成される補正信号と直下レイヤのマクロブロックの復号信号との最小二乗誤差を与える連立方程式を立式し、レジスタに書き込む。【００９３】
ステップＳ５３：レジスタからステップＳ５２の処理で算出された連立方程式を読み込み、その連立方程式の解を求め、比例係数とオフセット係数を算出し、出力する。連立方程式の解の求め方の一例としては、Ｇａｕｓｓ消去法が考えられる。本処理は、上述した（１６）式および（１７）式に従う。【００９４】
図７に示すステップＳ４４の処理の実施形態について、図９を参照して説明する。【００９５】
ステップＳ６１：直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号を読み込み、バッファに書き込む。【００９６】
ステップＳ６２：直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号をバッファから読み込み、直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号の直流成分を計算し、レジスタに書き込む。【００９７】
ステップＳ６３：レジスタからステップＳ６２の処理で算出された直流成分の値を読み込み、参照フレーム間距離から比例係数を、上述した（１３）式から（１５）式に従ってオフセット係数を算出し、出力する。【００９８】
図７に示すステップＳ４６の処理の実施形態について、図１０を参照して説明する。【００９９】
ステップＳ７１：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号を読み込み、バッファに書き込む。【０１００】
ステップＳ７２：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号をバッファから読み込み、被補正マクロブロックの復号信号から構成される補正信号と直下レイヤのマクロブロックの復号信号との最小二乗誤差を与える連立方程式を立式し、レジスタに書き込む。【０１０１】
ステップＳ７３：レジスタからステップＳ７２の処理で算出された連立方程式を読み込み、その連立方程式の解を求め、比例係数とオフセット係数を算出し、出力する。連立方程式の解の求め方の一例としては、Ｇａｕｓｓ消去法が考えられる。本処理は、上述した（８）式および（９）式に従う。【０１０２】
図７に示すステップＳ４８の処理の実施形態について、図１１を参照して説明する。【０１０３】
ステップＳ８１：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号を読み込み、バッファに書き込む。【０１０４】
ステップＳ８２：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号をバッファから読み込み、直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号の直流成分を計算し、レジスタに書き込む。【０１０５】
ステップＳ８３：レジスタからステップＳ８２の処理で算出された直流成分の値を読み込み、両直流成分の比を比例係数として算出し、オフセット係数はゼロに設定し、出力する。本処理は、上述した（４）式および（５）式に従う。【０１０６】
図７に示すステップＳ４９の処理の実施形態について、図１２を参照して説明する。【０１０７】
ステップＳ９１：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号を読み込み、バッファに書き込む。【０１０８】
ステップＳ９２：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号をバッファから読み込み、直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号の直流成分を計算し、レジスタに書き込む。【０１０９】
ステップＳ９３：レジスタからステップＳ９２の処理で算出された直流成分の値を読み込み、両直流成分の差をオフセット係数として算出し、比例係数は１に設定し、出力する。本処理は、上述した（６）式および（７）式に従う。【０１１０】
［処理装置］
本発明による符号化装置の構成例を図１３に示す。図１３は、一つのマクロブロックに対する符号化装置図である。【０１１１】
予測方法判定部１０１：当該マクロブロックの予測方式の指定情報を読み込み、その指定情報にしたがって、画面内予測の場合には画面内予測部１０２、重み無しの通常の動き予測の場合には重み無し動き予測部１０３、レイヤ間予測の場合にはレイヤ間予測部１０４、重み付き動き予測の場合には重み付き動き推定部１０５に移る。【０１１２】
画面内予測部１０２：符号化対象フレームの原信号および復号信号を読み込み、画面内予測を実行して予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。画面内予測の方法の一例としては、非特許文献３に示されるＪＳＶＭの画面内予測が挙げられる。【０１１３】
重み無し動き予測部１０３：符号化対象フレームの原信号および被参照フレームの復号信号を読み込み、重みを付けない通常の動き予測を実行して予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。重み無し動き予測の方法の一例としては、非特許文献３に示されるＪＳＶＭの重み無し動き予測が挙げられる。【０１１４】
レイヤ間予測部１０４：符号化対象フレームの原信号および直下レイヤの復号信号を読み込み、レイヤ間予測を実行して予測信号を作成し、その予測信号を予測残差信号生成部１０７に出力する。レイヤ間予測の方法の一例としては、非特許文献３に示されるＪＳＶＭのレイヤ間予測が挙げられる。【０１１５】
重み付き動き推定部１０５：符号化対象フレームの原信号、当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ復号信号記憶部１１１から出力される直下レイヤの復号信号を読み込み、重み付き動き推定を実行し、動きベクトルを生成し、その動きベクトル情報を重み付き動き補償部１０６に出力する。本部分の詳細構成は、図１５に示す（後述）。【０１１６】
重み付き動き補償部１０６：当該拡張レイヤ復号信号記憶部１１０から出力される被参照フレームの復号信号、および、直下レイヤ復号信号記憶部１１１から出力される直下レイヤの復号信号を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を予測残差信号生成部１０７に出力する。本部分の詳細構成は、図１６に示す（後述）。【０１１７】
予測残差信号生成部１０７：符号化対象フレームの原信号、および、画面内予測部１０２または重み無し動き予測部１０３またはレイヤ間予測部１０４または重み付き動き補償部１０６から出力された予測信号を読み込み、それらの差分信号を生成し、予測残差信号符号化部１０８に出力する。【０１１８】
予測残差信号符号化部１０８：予測残差信号生成部１０７から出力された予測残差信号を読み込み、符号化処理を行い、符号化データとして出力する。また、同時にその符号化データは復号部１０９への入力のために、バッファリングしておく。この予測残差信号の符号化処理の一例としては、非特許文献３に示されるＪＳＶＭの直交変換、量子化、可変長符号化の一連のプロセスの適用が挙げられる。【０１１９】
復号部１０９：上記バッファから符号化データを読み込み、復号処理を行い、得られた復号信号を当該拡張レイヤ復号信号記憶部１１０に出力する。この復号処理には、本発明の復号処理を適用する。復号処理を行う復号装置の詳細は図１４に示す（後述）。【０１２０】
直下レイヤ復号信号記憶部１１１：直下レイヤの符号化情報の復号処理によって得られた復号信号を読み込み、バッファに出力する。【０１２１】
本発明による復号装置を図１４に示す。図１４は、当該拡張レイヤにおける一つのマクロブロックに対する復号装置図である。【０１２２】
予測モード復号部２０１：当該マクロブロックの予測モードに関する符号化データを読み込み、その復号処理を行い、予測モード情報を予測モード記憶部２０２に出力する。【０１２３】
予測方法判定部２０３：予測モード記憶部２０２から予測モード情報を読み込み、その指定情報にしたがって、画面内予測の場合には画面内予測部２０４、重み無しの通常の動き予測の場合には重み無し動き予測部２０５、レイヤ間予測の場合にはレイヤ間予測部２０６、重み付き動き予測の場合には動きベクトル情報復号部２０７を、接続先として選択する。【０１２４】
画面内予測部２０４：符号化対象フレームの原信号および復号信号を読み込み、画面内予測を実行して予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０１２５】
重み無し動き予測部２０５：符号化対象フレームの原信号および被参照フレームの復号信号を読み込み、重みを付けない通常の動き予測を実行して予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０１２６】
レイヤ間予測部２０６：符号化対象フレームの原信号および直下レイヤの復号信号を読み込み、レイヤ間予測を実行して予測信号を作成し、その予測信号を復号信号生成部２１３に出力する。【０１２７】
動きベクトル情報復号部２０７：当該マクロブロックの動きベクトルに関する符号化データを読み込み、その復号処理を行い、動きベクトル情報を動きベクトル情報記憶部２０８に出力する。【０１２８】
重み付き動き補償部２０９：当該拡張レイヤ復号信号記憶部２１４から出力される被参照フレームの復号信号、および、直下レイヤ復号信号記憶部２１０から出力される直下レイヤの復号信号を読み込み、重み付き動き補償を実行し、予測信号を生成し、その予測信号を復号信号生成部２１３に出力する。本部分の詳細構成は、図１６に示す（後述）。【０１２９】
直下レイヤ復号信号記憶部２１０：直下レイヤの符号化情報の復号処理によって得られた復号信号を読み込み、バッファに書き込む。【０１３０】
残差信号復号部２１１：当該マクロブロックの残差信号に関する符号化データを読み込み、その復号処理を行い、残差信号を残差信号記憶部２１２に出力する。【０１３１】
復号信号生成部２１３：画面内予測部２０４または重み無し動き予測部２０５またはレイヤ間予測部２０６または重み付き動き補償部２０９から出力された予測信号を読み込み、それらと残差信号記憶部２１２から読み込まれる残差信号とを合成し、復号信号を生成し、外部に出力する。また、同時に当該拡張レイヤ復号信号記憶部２１４にも復号信号を書き込む。【０１３２】
図１３に示す重み付き動き推定部１０５の装置構成例を、図１５に示す。図１５は、当該拡張レイヤにおける一つのマクロブロックに対する重み付き動き推定装置図である。【０１３３】
探索対象ブロック設置部３０１：当該拡張レイヤ復号信号である、被参照フレームの復号信号を読み込み、動き推定の探索対象となるマクロブロックを同定し、そのマクロブロックの復号信号を重み係数算出部３０２に出力する。【０１３４】
重み係数算出部３０２：探索対象ブロック設置部３０１から出力された探索対象マクロブロックの復号信号、および、直下レイヤのブロックの復号信号を読み込み、両ブロック間の明るさ変化を示す重み係数を算出し、重み係数記憶部３０３に出力する。【０１３５】
重み付き動き推定信号生成部３０４：重み係数記憶部３０３から重み係数を読み込み、当該探索対象ブロックの復号信号を重み係数によって補正し、その補正信号を重み付き動き推定信号記憶部３０５に出力する。【０１３６】
符号化コスト算出部３０６：重み付き動き推定信号記憶部３０５から重み付き動き推定信号を読み込み、当該マクロブロックの原信号に対する符号化コストの算出を行い、その符号化コストを符号化コスト記憶部３０７に出力する。【０１３７】
探索完了判定部３０８：当該マクロブロックにおける被参照フレーム内での重み付き動き推定の探索が、指定されたすべての探索範囲内について行われたか否かの判定処理を行い、真の場合には被参照ブロック決定部３０９を接続先として選択し、偽の場合には探索対象ブロック設置部３０１を選択する。【０１３８】
被参照ブロック決定部３０９：符号化コスト記憶部３０７からすべての探索対象マクロブロックについての符号化コストデータ群を読み込み、符号化コストを最小とする探索対象マクロブロックを被参照ブロックとして決定し、その被参照ブロックと当該マクロブロックの座標位置の差分を動きベクトル情報として出力する。【０１３９】
図１３に示す重み付き動き補償部１０６および図１４に示す重み付き動き補償部２０９の装置構成例を、図１６に示す。図１６は、当該拡張レイヤにおける一つのマクロブロックに対する重み付き動き補償装置図である。【０１４０】
被参照ブロック信号設置部４０１：当該拡張レイヤ復号信号である被参照フレームの復号信号および動きベクトル情報を読み込み、被参照マクロブロックを同定し、そのマクロブロックの信号を重み係数算出部４０２に出力する。
この動きベクトル情報は、本重み付き動き補償部が符号化装置内に設置されている場合には、重み付き動き推定部１０５（図１３）から与えられ、復号装置内に設置されている場合には、復号した動きベクトル情報を記憶する動きベクトル情報記憶部２０８（図１４）から与えられる。【０１４１】
重み係数算出部４０２：被参照ブロック信号設置設置部４０１から出力された被参照マクロブロックの復号信号、および、直下レイヤのブロックの復号信号を読み込み、両ブロック間の明るさ変化を示す重み係数を算出し、重み係数記憶部４０３に出力する。なお、符号化処理における重み付き動き補償の場合には、図１３に示す重み付き推定処理部１０５で算出した重み係数を、動きベクトル情報とともに記憶しておき、その重み係数を重み係数記憶部４０３に出力してもよい。【０１４２】
重み付き動き予測信号生成部４０４：重み係数記憶部４０３から重み係数を読み込み、被参照ブロックの復号信号を重み係数によって補正し、その補正信号を重み付き動き予測信号記憶部４０５に出力する。【０１４３】
図１５に示す重み係数算出部３０２および図１６に示す重み係数算出部４０２の装置構成例を、図１７に示す。図１７は、当該拡張レイヤにおける一つのマクロブロックに対する重み係数算出装置図である。【０１４４】
重み係数算出方法判定部５０１：外部より指定される当該マクロブロックの重み係数算出方法にしたがって、当該算出処理を実行する処理部に接続する。
重み係数算出方法の指定情報の外部からの与え方の一例としては、符号化処理の設定条件としてはじめに規定し、ピクチャパラメータセット内に確保しておく方法や、マルチパス処理によってスライスごとに最適な方を選択する方法が考えられる。【０１４５】
双予測二乗誤差最小化規範重み係数補正処理部５０２：２つの被補正マクロブロックの復号信号および補正対象マクロブロックの直下レイヤの復号信号を読み込み、最小二乗法を用いて重み係数を算出し、出力する。本部分の詳細な装置図を、図１８に示す。本処理は、上述した（１６）式および（１７）式に従う。【０１４６】
双予測直流成分規範重み係数補正処理部５０３：２つの被補正マクロブロックの復号信号および補正対象マクロブロックの直下レイヤの復号信号を読み込み、それらの直流成分の値を用いて重み係数を算出し、出力する。本部分の詳細な装置図を、図１９に示す。本処理は、上述した（１３）式〜（１５）式に従う。【０１４７】
単一フレーム予測二乗誤差最小化規範重み係数補正処理部５０４：１つの被補正マクロブロックの復号信号および補正対象マクロブロックの直下レイヤの復号信号を読み込み、被補正マクロブロックの復号信号から構成される補正信号と補正対象マクロブロックの直下レイヤの復号信号との二乗誤差を最小にする重み係数を計算し、出力する。本処理は、上述した（８）式および（９）式に従う。【０１４８】
単一フレーム予測直流成分規範比例係数補正処理部５０５：１つの被補正マクロブロックの復号信号および補正対象マクロブロックの直下レイヤの復号信号を読み込み、各ブロックの直流成分を計算し、その直流成分からオフセット係数を計算し、出力する。また、２つの被補正フレームと補正対象フレームのフレーム間距離から比例係数を計算し、出力する。本処理は、上述した（４）式および（５）式に従う。【０１４９】
単一フレーム予測直流成分規範オフセット補正処理部５０６：１つの被補正マクロブロックの復号信号および補正対象マクロブロックの直下レイヤの復号信号を読み込み、被補正マクロブロックの復号信号から構成される補正信号と補正対象マクロブロックの直下レイヤの復号信号との二乗誤差を最小にする重み係数を計算し、出力する。本処理は、上述した（６）式および（７）式に従う。【０１５０】
図１８は、図１７に示す双予測二乗誤差最小化規範重み係数補正処理部５０２の装置構成例を示す。以下、図１８を参照して双予測二乗誤差最小化規範重み係数補正処理部５０２が行う処理を説明する。【０１５１】
連立方程式立式部６０１：直下レイヤのマクロブロックの復号信号と２つの被補正マクロブロックの復号信号をバッファから読み込み、２つの被補正マクロブロックの復号信号（被参照復号信号）から構成される補正信号と直下レイヤのマクロブロックの復号信号との二乗誤差最小を与える連立方程式を立式し、連立方程式求解部６０２に出力する。【０１５２】
連立方程式求解部６０２：連立方程式立式部６０１から出力された連立方程式を入力し、その連立方程式の解を求め、比例係数とオフセット係数を算出し、出力する。連立方程式の解の求め方の一例としては、Ｇａｕｓｓ消去法が考えられる。本処理は、上述した（１６）式および（１７）式に従う。【０１５３】
図１９は、図１７に示す双予測直流成分規範重み係数補正処理部５０３の装置構成例を示す。以下、図１９を参照して双予測直流成分規範重み係数補正処理部５０３が行う処理を説明する。【０１５４】
直下レイヤ復号信号直流成分算出部７０１：直下レイヤのマクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１５５】
被参照復号信号１直流成分算出部７０２：１つの被補正マクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１５６】
被参照復号信号２直流成分算出部７０３：被参照復号信号１直流成分算出部７０２で処理した被補正マクロブロックと異なるもう一方の被補正マクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１５７】
比例係数算出部７０４：参照フレーム番号を読み込み、比例係数を算出し、比例係数記憶部７０５に出力する。【０１５８】
オフセット係数算出部７０６：レジスタから各直流成分を、比例係数記憶部７０５から比例係数を入力し、オフセット係数を算出し、オフセット係数記憶部７０７に出力する。オフセット係数の算出方法は（１３）式から（１５）式に従う。【０１５９】
図２０は、図１７に示す単一フレーム予測二乗誤差最小化規範重み係数補正処理部５０４の装置構成例を示す。以下、図２０を参照して単一フレーム予測二乗誤差最小化規範重み係数補正処理部５０４が行う処理を説明する。【０１６０】
連立方程式立式部８０１：直下レイヤのマクロブロックの復号信号と被補正マクロブロックの復号信号をバッファから読み込み、被補正マクロブロックの復号信号から構成される補正信号と直下レイヤのマクロブロックの復号信号との最小二乗誤差を与える連立方程式を立式し、連立方程式求解部８０２に出力する。【０１６１】
連立方程式求解部８０２：連立方程式立式部８０１から出力された連立方程式を読み込み、その連立方程式の解を求め、比例係数とオフセット係数を算出し、出力する。連立方程式の解の求め方の一例としては、Ｇａｕｓｓ消去法が考えられる。本処理は、上述した（８）式および（９）式に従う。【０１６２】
図２１は、図１７に示す単一フレーム予測直流成分規範比例係数補正処理部５０５の装置構成例を示す。以下、図２１を参照して単一フレーム予測直流成分規範比例係数補正処理部５０５が行う処理を説明する。【０１６３】
直下レイヤ復号信号直流成分算出部９０１：直下レイヤのマクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１６４】
被参照復号信号直流成分算出部９０２：被補正マクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１６５】
比例係数算出部９０３：レジスタから２つの直流成分の値を読み込み、両直流成分の比を比例係数として算出し、出力する。本処理は、上述した（４）式および（５）式に従う。【０１６６】
図２２は、図１７に示す単一フレーム予測直流成分規範オフセット補正処理部５０６の装置構成例を示す。以下、図２２を参照して単一フレーム予測直流成分規範オフセット補正処理部５０６が行う処理を説明する。【０１６７】
直下レイヤ復号信号直流成分算出部１００１：直下レイヤのマクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１６８】
被参照復号信号直流成分算出部１００２：被補正マクロブロックの復号信号をバッファから読み込み、その直流成分を算出し、レジスタに書き込む。【０１６９】
オフセット係数算出部１００３：レジスタから２つの直流成分の値を読み込み、両直流成分の差をオフセット係数として算出し、出力する。本処理は、上述した（６）式および（７）式に従う。【０１７０】
以上説明した動画像スケーラブル符号化および復号の処理は、ハードウェアやファームウェアによって実現できるだけでなく、コンピュータとソフトウェアプログラムとによっても実現することができ、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも、ネットワークを通して提供することも可能である。【０１７１】
［実験］
本発明の効果を検証するために、ＪＳＶＣ参照ソフトウェアＪＳＶＭ８．０（非特許文献３参照）に本発明による手法を実装し、本手法とＪＳＶＭのＩｍｐｌｉｃｉｔモードとの比較を行った。ただし、両手法とも復号器ではマルチループデコードを行った。また、両手法とも動き推定を整数精度に限定して実施した。以上のような条件のもと、フェード画像およびフラッシュ画像に対して効果を検証した。【０１７２】
以下では、双予測Ｂスライスにおける重み係数の算出方法において、［方法２−１］として説明した双予測における直流成分ブロックを用いた重み係数補正の実験例を示すが、本発明による他の方法を用いた場合にも、同様に良好な結果が得られた。【０１７３】
《フェード画像に対する検証結果》
実験条件を表２に示す。【０１７４】
【表２】
2009005071.tif 000009
３種類のＪＳＶＣ標準画像に３３枚にわたる白のフェードインを付与した画像（フェード（混合）画像）を使用した。白のフェード混合画像は次式のように作成した。【０１７５】
ｇ（ｔ）＝（１−ｆ（ｔ））ａ（ｔ）＋ｆ（ｔ）ｂ（ｔ）
ここで、ｇ（ｔ）はフェード混合画像、ａ（ｔ）は白の単一色画像、ｂ（ｔ）は原画像、ｆ（ｔ）は混合係数の算出関数である。
本実験では、ｆ（ｔ）に、ｆ（ｔ）＝ｔ／Ｔで変化するLinear Fade 、および、ｆ（ｔ）＝（ｔ／Ｔ）2 で変化するQuadratic Fadeの２種類を用意した。Ｔは、フェード区間を指している。符号化対象はフェード部分の３３枚とし、１フレームが１スライスに対応する。【０１７６】
実験結果を表３に示す。【０１７７】
【表３】
2009005071.tif 000010
性能評価の指標として、下記の文献に示されるBjontegaard Delta を使用した（文献：G.Bjontegaard:“Calculation of average PNSR differences between RD-curves”, ITU-T SG16 Q.6, VCEG, VCEG-M33, pp. 1-4, 2001) 。これは２つのＲＤ曲線間の符号量とＰＳＮＲ (Peak Signal to Noise Ratio) の差分値を計算する一手法である。【０１７８】
表３では、ＢピクチャにおけるＪＳＶＭからの（本発明による手法の場合の）符号量増加率をＢＤ−ｂｉｔ、ＰＳＮＲ増加量をＢＤ−ｓｎｒとしている。Linear fade の画像において、平均０．５９％の符号量削減、０．０１９ｄＢのＳＮ比改善、Quadratic fadeの画像において、平均４．９２％の符号量削減、０．１６６ｄＢのＳＮ比改善を実現した。【０１７９】
図２３に、Quadratic fadeを付与したＪＳＶＣ標準画像“Ｃｉｔｙ”におけるＢピクチャのＢＤ−ｂｉｔの時間的変化を示す。
また、図２４に、“Ｃｉｔｙ”のフェード混合画像の平均輝度値（Ave. of Lum.）とその混合画像をＱＰ（量子化パラメータ）２４で符号化した際の平均オフセット係数（Ave. of Offset）の時間的変化を示す。
階層的Ｂピクチャ構造をとるため、時間レベルが低いＢフレームほど参照信号との輝度変化は線形から乖離し、本手法の効果が高くなる。
図２３の結果からも、時間レベルが低いＢフレームにおいて、１０％を超える大きな符号量削減が実現されていることが確認できる。
また、図２４より、そのような場合、オフセット係数の値も非ゼロの値が算出されており、オフセット係数が輝度変化を良好に補正できていることが裏付けられる。【０１８０】
《フラッシュ画像に対する検証結果》
フラッシュ画像としてＪＳＶＣ標準画像のＣｒｅｗを使用し、３００枚の符号化を行った。ＧＯＰ（group of pictures）は８とした。その他の実験条件は、表２記載の条件で行った。【０１８１】
図２５に、フラッシュ画像におけるＢピクチャのＢＤ−ｂｉｔの時間的変化を、図２６に、原画像の平均輝度値とＱＰ２４で符号化した際の平均オフセット係数の時間的変化を示す。
図２６で、平均輝度値が急峻に変化しているフレームが、フラッシュを含むフレーム（以降、フラッシュフレーム）である。また、本発明によるＩｍｐｌｉｃｉｔモードを適用しないフレームのオフセット係数はゼロとしている。【０１８２】
図２５を見ると、フラッシュフレームとその近傍に対して、約１０％程度（最大３６．２％）の符号量削減が実現されていることが分かる。シーケンスのＢピクチャ全体のＢＤ−ｂｉｔは−１．１４％、ＢＤ−ｓｎｒは０．０４３ｄＢであった。
輝度信号とオフセット係数を照合すると、ＢＤ−ｂｉｔの推移と同様、フラッシュフレームとその近傍において、非ゼロのオフセット係数が算出されていることが分かる。
フラッシュフレームに対しては、輝度の増加分だけ正のオフセット係数が割り当てられている。その近傍は、フラッシュフレームを予測参照しているフレームであり、輝度の高いフラッシュフレームの参照による線形予測からの乖離を、負のオフセット係数により補正している。
算出したオフセット係数が、フラッシュ画像に対しても良好に輝度変化を補正していることが分かる。
【産業上の利用可能性】
【０１８３】
本発明によれば、任意の局所領域単位で重み係数の算出を行うことができるため、移動物体の影などによって画像内の一部の明るさが変化するような場合においても、重み係数を伝送しないＩｍｐｌｉｃｉｔモードによって、精度の高い重み付き動き予測を実行することができる。
また従来、ＥｘｐｌｉｃｉｔモードのみであったＰスライスおよびＢスライスのＬ０／Ｌ１予測の場合においても、Ｉｍｐｌｉｃｉｔモードによって重み付き動き予測を実行することができる。
また、直下レイヤの明るさ情報を考慮した補正を行うことにより、フラッシュを含む画像や非線形変化のフェード画像のような、符号化／復号処理対象フレームと複数の予測参照フレーム間の明るさ変化が非線形の画像においても、Ｉｍｐｌｉｃｉｔモードで精度の高い重み付き動き予測を実行できる。以上のような重み付き動き予測の性能向上により、符号化効率の向上が見込める。
【図１】
2009005071.tif 000011
【図２】
2009005071.tif 000012
【図３】
2009005071.tif 000013
【図４】
2009005071.tif 000014
【図５】
2009005071.tif 000015
【図６】
2009005071.tif 000016
【図７】
2009005071.tif 000017
【図８】
2009005071.tif 000018
【図９】
2009005071.tif 000019
【図１０】
2009005071.tif 000020
【図１１】
2009005071.tif 000021
【図１２】
2009005071.tif 000022
【図１３】
2009005071.tif 000023
【図１４】
2009005071.tif 000024
【図１５】
2009005071.tif 000025
【図１６】
2009005071.tif 000026
【図１７】
2009005071.tif 000027
【図１８】
2009005071.tif 000028
【図１９】
2009005071.tif 000029
【図２０】
2009005071.tif 000030
【図２１】
2009005071.tif 000031
【図２２】
2009005071.tif 000032
【図２３】
2009005071.tif 000033
【図２４】
2009005071.tif 000034
【図２５】
2009005071.tif 000035
【図２６】
2009005071.tif 000036
【国際調査報告】
2009005071.tif 000037
2009005071.tif 000038