(57)【要約】  動画像符号化装置に輝度変化検出／補償部（１２７）を設ける。輝度変化検出／補償部（１２７）は、参照ブロック周辺画像生成部（１４０）、処理対象ブロック周辺画像生成部（１４１）、参照ブロック周辺領域と処理対象ブロック周辺領域それぞれの画素の比較結果に応じてフレーム間の輝度変化を補償する輝度変化補償画像生成部（１４２）、輝度変化判定部（１４４）、および、予測画像選択スイッチ（１４３）を備えている。これにより、動画像符号化装置および動画像復号装置において、付加情報（サイド情報）の増加を最低限に抑えつつ、フレーム間の局所的な輝度変化を補償する。
2009084340.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって、符号化データを生成する動画像符号化装置であって、
上記符号化データを復号することにより得られた局所復号画像において、現在符号化処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、
ことを特徴とする動画像符号化装置。
【請求項２】
上記処理対象ブロック周辺領域は、上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求の範囲第１項に記載の動画像符号化装置。
【請求項３】
上記処理対象ブロック周辺領域は、ローパスフィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、ローパスフィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求の範囲第１項に記載の動画像符号化装置。
【請求項４】
上記処理対象ブロック周辺領域は、ノイズ除去フィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、ノイズ除去フィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求の範囲第１項に記載の動画像符号化装置。
【請求項５】
上記補正手段は、上記処理対象ブロック周辺領域内の画素の画素値と、当該画素に対応する画素であって、上記参照ブロック周辺領域内の画素の画素値との差分を算出することによって、上記輝度変化量を推定する、
ことを特徴とする請求の範囲第１項から第４項までの何れか１項に記載の動画像符号化装置。
【請求項６】
上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素の上方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画像において当該画素に対応する参照画素の上方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第１差分値、および、当該画素の左方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画素の左方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第２差分値の少なくとも何れか一方に基づいて推定するものである、
ことを特徴とする請求の範囲第５項に記載の動画像符号化装置。
【請求項７】
上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素と当該画素の上方に位置する上記処理対象ブロック周辺領域内画素との間の距離、および、当該画素と当該画素の左方に位置する上記処理対象ブロック周辺領域内画素との間の距離に応じた重み付けにより、上記第１差分値と上記第２差分値とを重み付け平均することによって推定する、
ことを特徴とする請求の範囲第６項に記載の動画像符号化装置。
【請求項８】
上記補正手段は、上記処理対象ブロックの各画素に対して推定した輝度変化量を、当該画素が上記処理対象ブロックの上辺または左辺から離れるほど小さい値となるように補正すること、
ことを特徴とする請求の範囲第１項から第７項までの何れか１項に記載の動画像符号化装置。
【請求項９】
上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、
当該動画像符号化装置は、上記符号化対象画像と、上記判定手段により予測画像に適していると判定された方の動き補償画像との差分である予測残差を符号化するとともに、上記判定手段による判定結果を上記符号化データに含める、
ことを特徴とする請求の範囲第１項から第８項までの何れか１項に記載の動画像符号化装置。
【請求項１０】
上記補正手段は、少なくとも２以上の補正方法のうちから上記動き補償画像を補正する補正方法を選択するものであり、
当該動画像符号化装置は、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、
ことを特徴とする請求の範囲第１項から第８項までの何れか１項に記載の動画像符号化装置。
【請求項１１】
上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、
当該動画像符号化装置は、上記判定手段により上記補正された動き補償画像の方が予測画像に適していると判定されたときに限って、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、
ことを特徴とする請求の範囲第１０項に記載の動画像符号化装置。
【請求項１２】
動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって生成された符号化データを復号する動画像復号装置であって、
上記符号化データを復号することにより得られた復号画像において、現在復号処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、
ことを特徴とする動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化して符号化データを生成する動画像符号化装置、および、符号化データを復号して動画像を再生する動画像復号装置に関する。
【背景技術】
【０００２】
動画像符号化における時間的冗長性を除去するために、動き補償予測が広く用いられている。動き補償予測においては、まず、物体が２枚のフレーム（符号化対象フレームと参照フレーム）の間でどの程度移動したかを表す動きベクトルを導出する。そして、符号化対象フレーム上の各画素の画素値と、当該画素から動きベクトルの示す変位分離れた位置にある、参照フレーム上の画素の画素値との差分を符号化する。動き補償予測において符号化の対象となる差分値の分散および絶対値は、符号化対象フレームの画素値の分散および絶対値よりも小さい。このため、動き補償予測を用いた場合、符号化対象フレームの画素値を直接符号化する場合と比べ、より少ない符号量で動画像を符号化することができる。【０００３】
前述の動き補償予測を用いることによって、物体の平行移動、カメラのパン、チルトなどにより生じる動画像の時間的冗長性を効率良く除去することができる。しかしながら、動き補償予測を用いることによっても、輝度の時間的変化を補償することはできない。例えば、シーンチェンジ時のフェード、照明条件の変化に伴う物体の輝度変化により生じるフレーム間の輝度変化を補償することはできない。【０００４】
フレーム間の輝度変化を補償する方法としては、例えば、特許文献１に記載の技術が知られている。特許文献１に記載の方法においては、輝度変化およびコントラスト変化のそれぞれを表す２つのパラメータによりフレーム間の輝度変化を表現する。そして、これらのパラメータを用いて参照フレーム上の各画素の画素値を修正することによって、フレーム間の輝度変化を補償する。例えばシーンチェンジ時のフェードでは、フレーム内の各位置で輝度変化の割合が等しいため、特許文献１に記載の方法を用いることによって、輝度変化を正確に補償することができる。つまり、より少ない符号量で動画像を符号化することができる。
【特許文献１】日本国公開特許公報「特開平１０−１３６３８５号」（公開日：１９９８年５月２２日）
【非特許文献１】ITU-T Recommendation H.264（発行日：２００５年３月）
【発明の開示】
【０００５】
しかしながら、フレーム間の局所的な輝度変化（例えば照明条件の時間変化により生じる輝度変化）に関しては、物体の位置、向き、性質により変化の割合が異なるため、特許文献１に記載の大局的な輝度変化を補償する方式では正確な補償ができないという問題があった。
【０００６】
局所的な輝度変化を補償する方法としては、例えば符号化対象フレームを複数のブロックに分割し、各ブロックの輝度変化を表現するパラメータを求めて輝度変化の補償に利用する方法が考えられる。また、各ブロックの輝度変化を表現するパラメータとしては、例えば、ブロック平均輝度の変化幅やブロック平均輝度の変化率を利用することが考えられる。
【０００７】
この場合、各ブロックの輝度変化を表現するパラメータの精度が高いほど正確な輝度変化の補償が可能となる。しかし、高い精度を得るためには、これらのパラメータを付加情報として符号化する際に必要な符号量が増大するという問題を招来する。一方、少ない符号量でこれらのパラメータを符号化する場合には、パラメータの精度が充分ではないため輝度変化を精度よく補償することができないという問題を生じる。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、その目的は、付加情報による符号量増加を抑えつつ、フレーム間の局所的な輝度変化を補償することが可能な動画像符号化装置および動画像復号装置を提供することにある。
【０００９】
上記課題を解決するために、本発明に係る動画像符号化装置は、動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって、符号化データを生成する動画像符号化装置であって、上記符号化データを復号することにより得られた局所復号画像において、現在符号化処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、ことを特徴としている。
【００１０】
上記の構成によれば、付加情報による符号量の増加を生じることなく、あるいは、生じたとしたしても最小限に抑えつつ、フレーム間の局所的な輝度変化を補償することができるという効果を奏する。
【００１１】
なお、ある処理対象ブロックと対応する参照ブロックとは、例えば、参照画像（参照フレーム）において占める場所が、その処理対象ブロックが局所復号画像（処理対象フレーム）において占める場所と一致する参照ブロックのことである。
【００１２】
本発明に係る動画像符号化装置において、上記処理対象ブロック周辺領域は、上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、上記参照ブロック周辺領域は、上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、ことが好ましい。
【００１３】
また、本発明に係る動画像符号化装置において、上記処理対象ブロック周辺領域は、ローパスフィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、上記参照ブロック周辺領域は、ローパスフィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、ことが好ましい。
【００１４】
また、本発明に係る動画像符号化装置において、上記処理対象ブロック周辺領域は、ノイズ除去フィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、上記参照ブロック周辺領域は、ノイズ除去フィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、ことが好ましい。
【００１５】
また、本発明に係る動画像符号化装置において、上記補正手段は、上記処理対象ブロック周辺領域内の画素の画素値と、当該画素に対応する画素であって、上記参照ブロック周辺領域内の画素の画素値との差分を算出することによって、上記輝度変化量を推定する、ことが好ましい。
【００１６】
また、本発明に係る動画像符号化装置において、上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素の上方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画像において当該画素に対応する参照画素の上方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第１差分値、および、当該画素の左方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画素の左方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第２差分値の少なくとも何れか一方に基づいて推定するものである、ことが好ましい。
【００１７】
また、本発明に係る動画像符号化装置において、上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素と当該画素の上方に位置する上記処理対象ブロック周辺領域内画素との間の距離、および、当該画素と当該画素の左方に位置する上記処理対象ブロック周辺領域内画素との間の距離に応じた重み付けにより、上記第１差分値と上記第２差分値とを重み付け平均することによって推定する、ことが好ましい。
【００１８】
また、本発明に係る動画像符号化装置において、上記補正手段は、上記処理対象ブロックの各画素に対して推定した輝度変化量を、当該画素が上記処理対象ブロックの上辺または左辺から離れるほど小さい値となるように補正するものである、ことが好ましい。
【００１９】
また、本発明に係る動画像符号化装置は、上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、上記符号化対象画像と、上記判定手段により予測画像に適していると判定された方の動き補償画像との差分である予測残差を符号化するとともに、上記判定手段による判定結果を上記符号化データに含める、ことが好ましい。
【００２０】
また、本発明に係る動画像符号化装置において、上記補正手段は、少なくとも２以上の補正方法のうちから上記動き補償画像を補正する補正方法を選択するものであり、当該動画像符号化装置は、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、ことが好ましい。
【００２１】
また、本発明に係る動画像符号化装置は、上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、上記判定手段により上記補正された動き補償画像の方が予測画像に適していると判定されたときに限って、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、ことが好ましい。
【００２２】
上記課題を解決するために、本発明に係る動画像復号装置は、動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって生成された符号化データを復号する動画像復号装置であって、上記符号化データを復号することにより得られた復号画像において、現在復号処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、ことを特徴としている。
【００２３】
上記構成によれば、上記動画像符号化装置によって符号化された符号化データを復号することができるという効果を奏する。
【００２４】
本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の実施形態を示すものであり、輝度変化検出／補償部の構成を表すブロック図である。
【図２】本発明の第１の実施形態を示すものであり、動画像符号化装置の構成を表すブロック図である。
【図３】本発明の第１の実施形態を示すものであり、動画像復号装置の構成を表すブロック図である。
【図４】本発明の第１の実施形態を示すものであり、輝度変化補償部の構成を表すブロック図である。
【図５】本発明の実施形態を示すものであり、動画像をブロック単位で処理する際の処理順序を説明するための図である。
【図６】本発明の実施形態を示すものであり、参照ブロック周辺領域および処理対象ブロック周辺領域を説明するための図である。
【図７】本発明の実施形態を示すものであり、ブロック内の各位置において、ブロック上辺または左辺からの距離に応じて輝度変化推定量を補正するために用いられる係数を説明するための図である。
【図８】本発明の第２の実施形態を示すものであり、動画像符号化装置の構成を表すブロック図である。
【図９】本発明の第２の実施形態を示すものであり、輝度変化検出／補償部の構成を表すブロック図である。
【図１０】本発明の第２の実施形態を示すものであり、動画像復号装置の構成を表すブロック図である。
【図１１】本発明の第２の実施形態を示すものであり、輝度変化補償部の構成を表すブロック図である。
【符号の説明】
【００２６】
１００            入力画像
１０１            予測残差
１０２、２０３    変換係数レベル
１０３、１０４    局所復号画像
２０４、２０５    局所復号画像
１０５、２０１    動きベクトル
１０６、２０６    動き補償画像
１０７、２０７    予測画像
１０８、２０２    輝度変化検出情報
２００            符号化データ
１２０            直交変換部
１２１            量子化部
１２２、２２１    逆量子化部
１２３、２２２    逆直交変換部
１２４、２２３    フレームメモリ
１２５            動き検出部
１２６、２２４    動き補償部
１２７、１２７ａ  輝度変化検出／補償部
１２８、１２８ａ  可変長符号化部
１４０、２４０    参照ブロック周辺画像生成部
１４１、２４１    処理対象ブロック周辺画像生成部
１４２、２４２    輝度変化補償画像生成部
１４３、２４３    予測画像選択スイッチ
１４４            輝度変化判定部
１５０、２５０    輝度変化補償方法情報
１５１、２５１    輝度変化補償画像生成部Ａ
１５２、２５２    輝度変化補償画像生成部Ｂ
１５３、２５３    輝度変化補償画像生成部Ｃ
１５４            輝度変化補償方法決定部
１５５、２５４    予測画像選択スイッチ
２２０、２２０ａ  可変長符号復号部
２２５、２２５ａ  輝度変化補償部
１０００、１０００ａ  動画像符号化装置
２０００、２０００ａ  動画像復号装置
【発明を実施するための最良の形態】
【００２７】
〔実施形態１〕
本発明に係る動画像符号化装置および動画像復号装置の第１の実施形態について、図１から図７に基いて説明すれば以下のとおりである。【００２８】
なお、本実施形態、および、後述する第２の実施形態において、動画像は複数のフレームからなり、動画像符号化装置および動画像復号装置は、これらのフレームを予め定められた順序（例えばフレームの表示時刻順）で処理するものとする。また、動画像を構成するフレームのうち、符号化または復号処理の対象となっているフレームを処理対象フレームＩｃと呼び、動き補償予測のために参照されるフレーム（例えば、上記予め定められた順序において処理対象フレームのひとつ前のフレーム）を参照フレームＩｒと呼ぶ。参照フレームＩｒは、フレームメモリに記憶されている復号済みのフレームである。【００２９】
また、本実施形態、および、後述する第２の実施形態において、動画像符号化装置および動画像復号装置は、処理対象フレームＩｃを予め定められたサイズの複数のブロックに分割し、これらのブロックを予め定められた順序で処理するものとする。また、処理対象フレームＩｃを構成するブロックのうち、符号化または復号処理の対象となっているブロックを処理対象ブロックＢｃと呼ぶ。なお、簡単のために、以下の説明では、図５に示すように、ブロックの処理順序は、左上隅のブロックを起点とするラスタスキャン順とし、ブロックサイズは、Ｌ×Ｍ画素とする。【００３０】
さらに、処理対象フレームＩｃにおいて、処理対象ブロックＢｃに対する符号化または復号処理を行っている時点で、既に符号化または復号処理が済んでいるブロックからなる領域を符号化済領域または復号済領域と呼ぶ。図５においては、この復号済領域を斜線により示している。【００３１】
また、処理対象フレームＩｃにおいて、フレーム左上に位置する画素を原点として、位置（Ｘ，Ｙ）にある画素をＩＣ（Ｘ，Ｙ）と表記し、その画素値をＩｃ（Ｘ，Ｙ）と表記する。同様に、参照フレームＩｒにおいて、位置（Ｘ，Ｙ）にある画素をＩＲ（Ｘ，Ｙ）と表記し、その画素値をＩｒ（Ｘ，Ｙ）と表記する。【００３２】
＜動画像符号化装置（エンコーダ）について＞
本実施形態に係る動画像符号化装置１０００の構成について、図２を参照して説明する。図２は、動画像符号化装置１０００の構成を示すブロック図である。【００３３】
図２に示したように、動画像符号化装置１０００は、直交変換部１２０、量子化部１２１、逆量子化部１２２、逆直交変換部１２３、フレームメモリ１２４、動き検出部１２５、動き補償部１２６、輝度変化検出／補償部１２７、可変長符号化部１２８を備えている。【００３４】
動画像符号化装置１０００は、処理対象フレームＩｃをブロック毎に符号化する。すなわち、処理対象フレームＩｃの各処理対象ブロックＢｃを入力画像１００（Ｌ×Ｍ画素）として、入力画像１００と予測画像１０７（Ｌ×Ｍ画素）との差分である予測残差１０１（Ｌ×Ｍ画素）を、直交変換部１２０、量子化部１２１、および、可変長符号化部１２８によって符号化することによって、符号化データ２００を得る。なお、入力画像１００に対応する予測画像１０７は、後述するように輝度変化検出／補償部１２７から供給される。【００３５】
直交変換部１２０は、空間領域の画像データである予測残差１０１を、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）により周波数領域の画像データに変換する。直交変換部１２０によって導出された周波数成分係数（ＤＣＴ係数）は、量子化部１２１に供給される。【００３６】
量子化部１２１は、直交変換部１２０によって導出された周波数成分係数を量子化する。量子化部１２１によって導出された変換係数レベル１０２（各周波数成分係数を量子化することにより得られた量子化代表値の集合）は、可変長符号化部１２８および逆量子化部１２２に供給される。【００３７】
逆量子化部１２２は、量子化部１２１によって導出された変換係数レベル１０２を逆量子化することにより、直交変換部１２０によって導出された各周波数成分係数を復元する。逆量子化部１２２によって復元された周波数成分係数は、逆直交変換部１２３に供給される。【００３８】
逆直交変換部１２３は、逆量子化部１２２によって復元された周波数成分係数を逆離散コサイン変換することにより、直交変換部１２０に入力された予測残差１０１（Ｌ×Ｍ画素）を復元する。【００３９】
動画像符号化装置１０００は、逆直交変換部１２３によって復元された予測残差と、輝度変化検出／補償部１２７から供給された予測画像１０７とを加算することによって、局所復号画像１０３を生成する。生成された局所復号画像１０３（Ｌ×Ｍ画素）は、フレームメモリ１２４に記憶される。【００４０】
なお、フレームメモリ１２４には、ブロック毎に生成された局所復号画像１０３が順次記憶される。処理対象フレームＩｃのある処理対象ブロックＢｃを処理している時点では、参照フレームＩｒ上の局所復号画像（以下、「参照画像」とも呼称する）に加え、処理対象フレームＩｃの復号済領域上の局所復号画像（以下、「復号済現画像」とも呼称する）がフレームメモリ１２４に記録されている。【００４１】
動き検出部１２５は、入力画像１００をフレームメモリ１２４に記憶されている参照画像（すなわち、参照フレームＩｒ上の局所復号画像）と比較することによって、動き補償予測に利用する動きベクトル１０５を導出する。動き検出部１２５によって導出された動きベクトル１０５は、輝度変化検出／補償部１２７および可変長符号化部１２８に供給される。【００４２】
動き補償部１２６は、動き検出部１２５によって導出された動きベクトル１０５と、フレームメモリ１２４に記憶されている参照画像とに基づいて、入力画像１００に対応する動き補償画像１０６（Ｌ×Ｍ画素）を生成する。動き補償部１２６によって生成された動き補償画像１０６は、輝度変化検出／補償部１２７に供給される。【００４３】
輝度変化検出／補償部１２７は、フレームメモリ１２４に記憶されている復号済現画像および参照画像に基づいて、フレーム間の輝度変化を検出する。検出結果は、輝度変化検出情報１０８として可変長符号化部１２８に供給される。また、輝度変化検出／補償部１２７は、この輝度変化検出情報１０８に基づいて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。先に言及した予測画像１０７とは、この輝度変化検出／補償部１２７によって補正された、この動き補償画像のことである。【００４４】
なお、輝度変化検出／補償部１２７については、本発明における特徴的な構成であるため、参照する図面を代えて、後でもう少し詳しく説明する。【００４５】
可変長符号化部１２８は、変換係数レベル１０２、動きベクトル１０５、および、輝度変化検出情報１０８をそれぞれ符号化するとともに、これらをそれぞれ符号化することによって得られた符号化データを多重化し、符号化データ２００を生成する。可変長符号化部１２８によって生成された符号化データ２００は、外部に出力される。【００４６】
＜輝度変化検出／補償部について＞
次に、上述した動画像符号化装置１０００が備えている輝度変化検出／補償部１２７の詳細について、図１および図６を参照して説明する。図１は、輝度変化検出／補償部１２７の構成例を示すブロック図である。図６は、処理対象ブロックＢｃ、処理対象ブロック周辺領域Ｓｃ、参照ブロックＢｒ、および、参照ブロック周辺領域Ｓｒの配置を示す図である。【００４７】
図１に示したように、輝度変化検出／補償部１２７は、参照ブロック周辺画像生成部１４０、処理対象ブロック周辺画像生成部１４１、輝度変化補償画像生成部１４２、予測画像選択スイッチ１４３、および、輝度変化判定部１４４を備えている。以下、輝度変化検出／補償部１２７が備えている各部について順に説明する。【００４８】
参照ブロック周辺画像生成部１４０は、動き検出部１２５によって導出された動きベクトル１０５に基づいて、参照画像における参照ブロック周辺領域Ｓｒ内の各画素の画素値をフレームメモリ１２４から読み出して、参照ブロック周辺画像として輝度変化補償画像生成部１４２に供給する。【００４９】
ここで、参照ブロック周辺領域Ｓｒとは、動き補償予測のために参照される参照ブロックＢｒの周辺に位置する領域のことである。本実施形態においては、参照ブロック周辺領域Ｓｒとして、図６（ａ）に例示したように、参照ブロックＢｒの上辺に隣接する矩形領域ＳＴｒ（Ｌ×１画素）と、参照ブロックＢｒの左辺に隣接する矩形領域ＳＬｒ（１×Ｍ画素）との和集合Ｓｒ＝ＳＴｒ∪ＳＬｒを用いる。【００５０】
参照ブロック周辺画像の各画素の画素値、すなわち、矩形領域ＳＴｒの各画素の画素値ＳＴｒ（ｉ，ｊ）、および、矩形領域ＳＬｒの各画素の画素値ＳＬｒ（ｉ，ｊ）は、以下に示す（１）式により与えられる。【００５１】
【数１】
2009084340.tif 000003
【００５２】
ここで、（Ｘｒ，Ｙｒ）は、参照フレームＩｒにおける参照ブロックＢｒの左上隅の画素の位置（Ｘｒ，Ｙｒ）であり、処理対象フレームＩｃにおける処理対象ブロックＢｃの左上隅の画素の位置（Ｘｃ，Ｙｃ）、および、動きベクトル１０５により示される変位（ｄＸ，ｄＹ）とに基づいて、以下に示す（２）式によって与えられる。【００５３】
【数２】
2009084340.tif 000004
【００５４】
処理対象ブロック周辺画像生成部１４１は、復号済現画像における処理対象ブロック周辺領域Ｓｃ内の各画素の画素値をフレームメモリ１２４から読み出して、処理対象ブロック周辺画像として輝度変化補償画像生成部１４２に供給する。【００５５】
ここで、処理対象ブロック周辺領域Ｓｃとは、処理対象フレームＩｃにおいて処理対象ブロックＢｃの周辺に位置する領域のことである。本実施形態においては、処理対象ブロック周辺領域Ｓｃとして、図６（ｂ）に示したように、処理対象ブロックＢｃの上辺に隣接する矩形領域ＳＴｃ（Ｌ×１画素）と、処理対象ブロックＢｃの左辺に隣接する矩形領域ＳＬｃ（１×Ｍ画素）との和集合Ｓｃ＝ＳＴｃ∪ＳＬｃを用いる。【００５６】
処理対象ブロック周辺画像の各画素の画素値、すなわち、矩形領域ＳＴｃの各画素の画素値ＳＴｃ（ｉ，ｊ）、および、矩形領域ＳＬｃの各画素の画素値ＳＬｃ（ｉ，ｊ）は、以下に示す（３）式により与えられる。【００５７】
【数３】
2009084340.tif 000005
【００５８】
なお、（３）式において、（Ｘｒ，Ｙｒ）は、参照フレームＩｒにおける参照ブロックＢｒの左上隅の画素の位置（Ｘｒ，Ｙｒ）であり、その定義は（２）式に示したとおりである。また、処理対象ブロック周辺領域Ｓｃは、上記のように、参照ブロック周辺領域Ｓｒと合同であることが好ましいが、必ずしもこれに限定されるわけではない。【００５９】
輝度変化補償画像生成部１４２は、参照ブロック周辺画像、および、処理対象ブロック周辺画像に基づいて輝度変化推定量Ｏ（ｉ，ｊ）を算出するとともに、算出した輝度変化推定量Ｏ（ｉ，ｊ）を用いて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。補正された動き補償画像１０６は、輝度変化補償画像として予測画像選択スイッチ１４３、および、輝度変化判定部１４４に供給される。【００６０】
輝度変化補償画像とは、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正して得られる画像（Ｌ×Ｍ画素）のことである。輝度変化補償画像の各画素の画素値Ｐ（ｉ，ｊ）は、動き補償画像１０６の各画素の画素値Ｒ（ｉ，ｊ）と、各画素に対する輝度変化推定量Ｏ（ｉ，ｊ）とに基づいて、例えば、以下に示す（４）式によって算出される。なお、位置（ｉ，ｊ）は、処理対象ブロックの左上隅を基点として表現された画素の位置、すなわち、ブロック内画素位置である。【００６１】
【数４】
2009084340.tif 000006
【００６２】
ここで、動き補償画像１０６において位置（ｉ，ｊ）にある画素の画素値Ｒ（ｉ，ｊ）は、（５）式によって与えられる。【００６３】
【数５】
2009084340.tif 000007
【００６４】
また、位置（ｉ，ｊ）に対する輝度変化推定値Ｏ（ｉ，ｊ）は、フレーム間の輝度変化の推定量（輝度変化推定量）であり、参照ブロック周辺画像と処理対象ブロック周辺画像とに基づいて、例えば、（６）式に従って算出することができる。【００６５】
【数６】
2009084340.tif 000008
【００６６】
この場合、Ｏ（ｉ，ｊ）には、参照ブロック周辺画像と処理対象ブロック周辺画像との差分画像の平均値がフレーム間の輝度変化推定量として設定されることになる。つまり、（６）式に従って算出されたＯ（ｉ，ｊ）によれば、フレーム間の輝度変化をブロック単位で補償することができる。【００６７】
なお、Ｏ（ｉ，ｊ）の算出方法は、（６）式に示したものに限らない。例えば、（７）式に従って輝度変化推定値Ｏ（ｉ，ｊ）を算出するようにしてもよい。【００６８】
【数７】
2009084340.tif 000009
【００６９】
この場合、Ｏ（ｉ，ｊ）には、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）の真上に位置する処理対象ブロック周辺領域内画素の画素値の変化に相当する量がフレーム間の輝度変化推定量として設定される。（７）式に従って算出されたＯ（ｉ，ｊ）によれば、ブロックの列単位で輝度変化を補償することができるため、（６）式に従って算出されたＯ（ｉ，ｊ）に比べ、フレーム間の輝度変化をより正確に補償することができる。【００７０】
また、（８）式に従ってＯ（ｉ，ｊ）を算出するようにしてもよい。【００７１】
【数８】
2009084340.tif 000010
【００７２】
この場合、Ｏ（ｉ，ｊ）には、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）の真左に位置する処理対象ブロック周辺領域内画素の画素値の変化に相当する量がフレーム間の輝度変化推定量として設定される。（８）式に従って算出されたＯ（ｉ，ｊ）によれば、ブロックの行単位で輝度変化を補償することができるため、（７）式に従って算出されたＯ（ｉ，ｊ）と同様、フレーム間の輝度変化を正確に補償することができる。【００７３】
また、（９）式に従ってＯ（ｉ，ｊ）を算出するようにしてもよい。【００７４】
【数９】
2009084340.tif 000011
【００７５】
この場合、Ｏ（ｉ，ｊ）には、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）の真上および真左に位置する処理対象ブロック周辺領域内画素の画素値の変化に相当する量を重み付け平均した値がフレーム間の輝度変化推定量として設定される。その際の重み付けは、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）と、前記処理対象ブロック周辺領域上の両画素の距離に応じてなされる。（９）式に従って算出したＯ（ｉ，ｊ）によれば、画素単位で輝度変化を補償することができるため、さらに正確にフレーム間輝度変化を補償することができる。【００７６】
また、（１０）式に従ってＯ（ｉ，ｊ）を算出するようにしてもよい。【００７７】
【数１０】
2009084340.tif 000012
【００７８】
この場合、Ｏ（ｉ，ｊ）には、（９）式に従って算出した場合と同様、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）の真上および真左に位置する処理対象ブロック周辺領域内画素の画素値の変化に相当する量を重み付け平均した値がフレーム間の輝度変化推定量として設定される。（１０）式においては、重み付け係数Ｗ’ｉ，ｊの値が整数であるため、輝度変化推定値Ｏ（ｉ，ｊ）を算出するために小数演算を実行する必要がない。したがって、式（１１）によれば、輝度変化推定値Ｏ（ｉ，ｊ）を計算機で高速に導出することができる。【００７９】
また、（１１）式に従ってＯ（ｉ，ｊ）を算出するようにしてもよい。【００８０】
【数１１】
2009084340.tif 000013
【００８１】
この場合、Ｏ（ｉ，ｊ）には、処理対象ブロック内画素ＩＣ（Ｘｃ＋ｉ，Ｙｃ＋ｊ）の真上および真左に位置する処理対象ブロック周辺領域内画素の画素値の変化に相当する量の単純平均値が、フレーム間の輝度変化推定量として設定される。（１１）式に従って算出したＯ（ｉ，ｊ）によれば、２箇所における輝度変化に基づいて輝度変化を補償することができるので、ノイズの影響を受けにくくなる。さらに、（１１）式によるＯ（ｉ，ｊ）の導出は、（９）式による導出に較べて少ない処理量で実現することができる。【００８２】
輝度変化判定部１４４は、輝度変化補償画像および動き補償画像１０６をそれぞれ入力画像１００と比較することによって、何れの画像が予測画像に適しているかを判定し、判定結果を示す輝度変化検出情報１０８を可変長符号化部１２８および予測画像選択スイッチ１４３に供給する。【００８３】
なお、予測画像に適した画像の判定の方法として、例えば、次に示す方法を利用することができる。まず、輝度変化補償画像と入力画像１００の間のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を計算してＳＡＤ１とする。ここで、ＳＡＤとは、合同な２枚の画像において対応する位置にある画素間の画素値の差分を、画像内の全画素にわたって足し合わせた値である。次に、動き補償画像１０６と入力画像１００の間のＳＡＤを計算してＳＡＤ２とする。最後に、ＳＡＤ１≦ＳＡＤ２が成り立つ場合には、輝度変化補償画像が予測画像として適していると判定し、それ以外の場合（ＳＡＤ１＞ＳＡＤ２が成り立つ場合）には、動き補償画像１０６が予測画像として適していると判定する。【００８４】
予測画像選択スイッチ１４３は、輝度変化検出情報１０８に基づいて、輝度変化補償画像および動き補償画像１０６の何れか一方を選択し、選択した画像を予測画像１０７として出力する。【００８５】
以上で輝度変化検出／補償部１２７の説明を終える。上述の通り、輝度変化検出／補償部１２７では、入力された動き補償画像１０６、局所復号画像１０４（参照画像と復号済現画像）、動きベクトル１０５、および、入力画像１００に基づいて、予測画像１０７、および、輝度変化検出情報１０８が導出され、出力される。【００８６】
以上で動画像符号化装置１０００の説明を終える。上述の通り、動画像符号化装置１０００では、フレーム間の輝度変化がブロック単位で補償された予測画像を用いて符号化を行うため、フレーム間の局所的な輝度変化が生じる動画像を少ない符号量で符号化することができる。また、必要な付加情報もブロックあたり高々１ビットのみであるため、輝度変化をパラメータで表現する場合に較べて付加情報の符号量は少ない。【００８７】
＜動画像復号装置（デコーダ）について＞
次に、図２に示した動画像符号化装置１０００によって符号化された符号化データ２００を復号する動画像復号装置２０００について、図３を参照して説明する。図３は、動画像復号装置２０００の構成を示すブロック図である。【００８８】
図３に示したように、動画像復号装置２０００は、可変長符号復号部２２０、逆量子化部２２１、逆直交変換部２２２、フレームメモリ２２３、動き補償部２２４、および、輝度変化補償部２２５を備えている。動画像符号化装置１０００において、各処理対象ブロックＢｃを符号化することによって得られた符号化データ２００が、動画像復号装置２０００の可変長符号復号部２２０に入力される。【００８９】
可変長符号復号部２２０は、符号化データ２００を復号することによって、動きベクトル２０１、輝度変化検出情報２０２、および、変換係数レベル２０３を得る。動きベクトル２０１は、動き補償部２２４、および、輝度変化補償部２２５に供給される。また、輝度変化検出情報２０２は、輝度変化補償部２２５に供給される。また、変換係数レベル２０３は、逆量子化部２２１に供給される。【００９０】
逆量子化部２２１は、可変長符号復号部２２０によって得られた変換係数レベル２０３を逆量子化することにより、動画像符号化装置１０００の直交変換部１２０によって導出された各周波数成分を復元する。逆量子化部２２１によって復元された周波数成分係数は、逆直交変換部２２２に供給される。【００９１】
逆直交変換部２２２は、逆量子化部１２２によって復元された周波数成分係数を逆離散コサイン変換することにより、動画像符号化装置１０００の直交変換部１２０に入力された予測残差１０１を復元する。【００９２】
動画像復号装置２０００は、逆直交変換部２２２によって復元された予測残差と、輝度変化補償部２２４から供給された予測画像２０７とを加算することによって、局所復号画像２０４を生成する。生成された局所復号画像２０４は、フレームメモリ２２３に記憶されるとともに、外部に出力される。【００９３】
動き補償部２２４は、動きベクトル２０１と、フレームメモリ２２３に記憶されている参照画像とに基づいて、動き補償画像２０６を生成する。動き補償部２２４によって生成された動き補償画像２０６は、輝度変化補償部２２５に供給される。【００９４】
輝度変化補償部２２５は、動きベクトル２０１と、輝度変化検出情報２０２と、フレームメモリ２２３に記録されている復号済現画像および参照画像に基づいて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。先に言及した予測画像２０７とは、輝度変化補償部２２５によって補正された、この動き補償画像のことである。【００９５】
なお輝度変化補償部２２５については、本発明における特徴的な構成であるため、参照する図面を代えて、以下にもう少し詳しく説明する。【００９６】
＜輝度変化補償部について＞
次に、上述した動画像復号装置２０００が備えている輝度変化補償部２２５の詳細について、図４を参照して説明する。図４は、輝度変化補償部２２５の構成例を示すブロック図である。【００９７】
図４に示したように、輝度変化補償部２２５は、参照ブロック周辺画像生成部２４０、処理対象ブロック周辺画像生成部２４１、輝度変化補償画像生成部２４２、および、予測画像選択スイッチ２４３を備えている。以下、輝度変化補償部２２５が備えている各部について順に説明する。【００９８】
参照ブロック周辺画像生成部２４０は、動きベクトル２０１に基づいて、参照フレームＩｒにおける参照ブロック周辺領域Ｓｒ内の各画素の画素値をフレームメモリ２２３から読み出して、参照ブロック周辺画像として輝度変化補償画像生成部２４２に供給する。なお、参照ブロック周辺領域Ｓｒは、動画像符号化装置１０００の説明において述べたものと同一である。【００９９】
処理対象ブロック周辺画像生成部２４１は、処理対象ブロック周辺領域Ｓｃ内の各画素の画素値をフレームメモリ２２３から読み出して、処理対象ブロック周辺画像として輝度変化補償画像生成部２４２に供給する。なお、処理対象ブロック周辺領域Ｓｃは、動画像符号化装置１０００の説明において述べたものと同一である。【０１００】
図６（ｂ）に示されているように、処理対象ブロック周辺領域Ｓｃは、処理対象フレームＩｃの復号済領域に含まれている点に留意されたい。つまり、処理対象ブロック周辺画像は、フレームメモリ２２３に格納されている復号済現画像の一部であり、処理対象ブロック周辺画像生成部２４１は、これをフレームメモリ２２３から読み出すことができる。【０１０１】
輝度変化補償画像生成部２４２は、参照ブロック周辺画像、および、処理対象ブロック周辺画像に基づいて輝度変化推定量Ｏ（ｉ，ｊ）を算出するとともに、算出した輝度変化推定量Ｏ（ｉ，ｊ）を用いて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。補正された動き補償画像２０６は、輝度変化補償画像として予測画像選択スイッチ２４３に供給される。【０１０２】
なお、動き補償画像２０６の補正方法としては、動画像符号化装置１０００における符号化過程で用いられた補正方法と同一の方法を用いる。具体的な補正方法については、動画像符号化装置１０００の説明において述べたとおりなので、ここでは説明を省略する。【０１０３】
予測画像選択スイッチ２４３は、輝度変化検出情報２０２に基づいて、輝度変化補償画像および動き補償画像２０６の何れか一方を選択し、選択した画像を予測画像２０７として出力する。【０１０４】
以上で輝度変化補償部２２５の説明を終える。上述の通り、輝度変化補償部２２５では、入力された動き補償画像２０６、局所復号画像２０５（参照画像と復号済現画像）、動きベクトル２０１、および、輝度補償検出情報２０２に基づいて、予測画像２０７が生成されて出力される。【０１０５】
以上で動画像復号装置２０００の説明を終える。上述のとおり、動画像復号装置２０００によれば、フレーム間の輝度変化を補償した予測画像に基づいて画像を復号することができる。予測画像２０７は、輝度変化を補償しない場合の予測画像（動き補償画像２０６）に較べて本来の画像（動画像符号化装置１０００への入力画像）を正確に表現する画像である。そのため、輝度変化を補償した予測画像に、復元された予測残差を加えて得られる再生画像は、本来の画像をより忠実に再現するものになる。【０１０６】
＜ローパスフィルタについて＞
なお、本実施形態に関する上記の説明において、参照／処理対象ブロック周辺画像の各画素値として参照／処理対象画像の画素値を直接用いたが、必ずしもその限りではない。【０１０７】
例えば、ローパスフィルタを適用した参照／処理対象画像の各画素値を、参照／処理対象ブロック周辺画像の各画素値として設定することもできる。すなわち、参照ブロック周辺画像の各画素の画素値、および、処理対象ブロック周辺画像の各画素の画素値は、以下に示す（１２）および（１３）式によって与えられたものであってもよい。【０１０８】
【数１２】
2009084340.tif 000014
【０１０９】
【数１３】
2009084340.tif 000015
【０１１０】
（１２）および（１３）式によれば、参照画像または復号済現画像において、参照／処理対象ブロックの上側に位置する画素については水平方向に、参照／処理対象ブロックの左側に位置する画素については垂直方向にローパスフィルタが施された画素値により、参照／処理対象ブロック周辺画像の各画素値が設定される。【０１１１】
このようにローパスフィルタを適用することによって、参照ブロック周辺画像と処理対象ブロック周辺画像との間の画素値の変化のうち、主に物体の発生消滅や変形等に起因する高周波成分の変化を取り除くことができる。したがって、ローパスフィルタが適用された参照／処理対象ブロック周辺画像を用いることによって、より正確にフレーム間の輝度変化を補償することができる。【０１１２】
また、ローパスフィルタを適用する方法の別の具体例として、以下に示す（１２ａ）および（１３ａ）式によって与えられた参照ブロック周辺画像の各画素の画素値、および、処理対象ブロック周辺画像の各画素の画素値を用いるようにしてもよい。【０１１３】
【数１４】
2009084340.tif 000016
【０１１４】
【数１５】
2009084340.tif 000017
【０１１５】
（１２ａ）および（１３ａ）式によれば、参照画像または復号済現画像において、参照／処理対象ブロックの上側に位置する画素については垂直方向に、該ブロックの左側に位置する画素については水平方向にローパスフィルタが施された画素値により、参照／処理対象ブロック周辺画像の各画素値が設定される。【０１１６】
また、ローパスフィルタの代わりに、参照画像または復号済現画像にノイズ除去フィルタを適用して、その結果得られる値を参照／処理対象ブロック周辺画像に用いることもできる。例えば、参照ブロック周辺画像の各画素の画素値、および、処理対象ブロック周辺画像の各画素の画素値は、以下に示す（１４）および（１５）式によって与えられたものであってもよい。【０１１７】
【数１６】
2009084340.tif 000018
【０１１８】
【数１７】
2009084340.tif 000019
【０１１９】
ここで、ｍｅｄｉａｎ（ａ，ｂ，ｃ）は３つの数ａ、ｂ、ｃの中央値を与える関数である。【０１２０】
このようにノイズ除去フィルタを適用することによって、参照ブロック周辺画像と処理対象ブロック周辺画像の間の画素値の変化のうち、ノイズに起因する成分を取り除くことができる。したがって、ノイズ除去フィルタが適用された参照／処理対象ブロック周辺画像を用いることによって、より正確にフレーム間の輝度変化を補償することができる。【０１２１】
＜距離に応じた重みについて＞
また、以上の説明において、輝度変化補償画像生成部１４２および２４２は、（４）式に示されているように、動き補償画像１０６の各画素値にフレーム間の輝度変化推定量を足し合わせることによって、輝度変化補償画像を導出するものとした。【０１２２】
しかしながら、フレーム間の輝度変化推定量は参照／処理対象ブロックの上側または左側に位置する画素に基づき導出されるものであるから、ブロック内位置が右下に近づくほど精度が低くなる。そこで、このような性質を考慮して、（４）式の代わりに、以下に示す（１６）式に従って輝度変化補償画像を補正するようにしてもよい。【０１２３】
【数１８】
2009084340.tif 000020
【０１２４】
ここで、ｗ（ｉ，ｊ）はブロック内位置（ｉ，ｊ）におけるフレーム間の輝度変化推定量の正確さを表す量であり、以下に示す（１７）式により与えられる。【０１２５】
【数１９】
2009084340.tif 000021
【０１２６】
ここで、αはブロック内位置（０，０）における輝度変化推定量の正確さを表す値、βはブロック上辺または左辺からの距離に応じた前記正確さの減少率を表す値である。すなわち（１７）式によると、ｗ（ｉ，ｊ）の値は、当該画素位置のブロック左辺からの距離と上辺からの距離のうち、短い方の距離に比例して減少する値となる。一例として、ブロックサイズが４×４画素の場合にα＝１、β＝０．２５としたときに（１７）式により定まるｗ（ｉ，ｊ）の値を、図７（ａ）に示す。【０１２７】
上記方法によって輝度変化補償画像を生成することにより、フレーム間の輝度変化推定量の正確さも考慮して輝度変化を補償することができる。したがって、輝度変化推定量と実際の輝度変化に相違が生じる可能性を低減することができる。【０１２８】
なお、輝度変化推定量の導出に参照／処理対象ブロックの上側に位置する画素しか用いない場合、以下に示す（１８）式によってｗ（ｉ，ｊ）を定めることが好ましい。【０１２９】
【数２０】
2009084340.tif 000022
【０１３０】
この場合、ブロック左辺から当該画素位置までの距離は輝度変化推定量の正確さに無関係であるため、（１８）式によって導出された値は、（１７）式によって導出された値と比べて、より正しく輝度変化推定量の正確さを表す。ブロックサイズが４×４画素の場合にα＝１、β＝０．２５としたときに（１８）式により定まるｗ（ｉ，ｊ）の値を、図７（ｂ）に示す。【０１３１】
また、輝度変化推定量の導出に参照／処理対象ブロックの左側に位置する画素しか用いない場合、以下に示す（１９）式によってｗ（ｉ，ｊ）を定めることが好ましい。【０１３２】
【数２１】
2009084340.tif 000023
【０１３３】
この場合、ブロック上辺から当該画素位置までの距離は輝度変化推定量の正確さに無関係であるため、（１９）式によって導出された値は、（１７）式によって導出された値と比べて、より正しく輝度変化推定量の正確さを表す。ブロックサイズが４×４画素の場合にα＝１、β＝０．２５としたときに（１９）式により定まるｗ（ｉ，ｊ）の値を、図７（ｃ）に示す。【０１３４】
＜輝度変化率の利用について＞
さらに、輝度変化補償画像生成部１４２および２４２は、動き補償画像１０６の各画素値にフレーム間の輝度変化推定量を足し合わせることによってではなく、他の方法によって輝度変化補償画像を導出するものであってもよい。例えば、処理対象ブロックＢｃの各画素位置毎にフレーム間の輝度変化率を推定した推定輝度変化率Ｑ（ｉ，ｊ）を算出し動き補償画像１０６の各画素値にフレーム間の推定輝度変化率Ｑ（ｉ，ｊ）を乗じることによって、輝度変化補償画像を導出するものであってもよい。つまり、輝度変化補償画像の各画素値Ｐ（ｉ，ｊ）を、動き補償画像１０６の各画素の画素値Ｒ（ｉ，ｊ）と、各画素に対する推定輝度変化率Ｑ（ｉ，ｊ）とに基づいて、以下の（２０）式に従って算出するようにしてもよい。【０１３５】
【数２２】
2009084340.tif 000024
【０１３６】
ここで、Ｑ（ｉ，ｊ）は、例えば、以下に示す（２１）式により算出することができる。【０１３７】
【数２３】
2009084340.tif 000025
【０１３８】
この場合、Ｑ（ｉ，ｊ）には、処理対象ブロック内画素ＩＣ（ｉ，ｊ）の真上と真左に位置する処理対象ブロック周辺領域内画素の画素値の変化率の相乗平均に相当する値が推定輝度変化率として設定される。上記の（２０）および（２１）式による輝度変化補償では、動き補償画像上の画素の輝度に応じて異なる割合で輝度変化を補償することができるため、より正確にフレーム間の輝度変化を補償することができる。【０１３９】
〔実施形態２〕
本発明に係る動画像符号化装置および動画像復号装置の第２の実施形態について、図８から図１１に基づいて説明すれば以下のとおりである。【０１４０】
＜動画像符号化装置＞
図８は、本実施形態に係る動画像符号化装置１０００ａの構成を表すブロック図である。動画像符号化装置１０００ａは、直交変換部１２０、量子化部１２１、逆量子化部１２２、逆直交変換部１２３、フレームメモリ１２４、動き検出部１２５、動き補償部１２６、輝度変化検出／補償部１２７ａ、および、可変長符号化部１２８ａを備えている。【０１４１】
動画像符号化装置１０００ａにおいて、輝度変化検出／補償部１２７ａ、および、可変長符号化部１２８ａ以外の各構成要素は、図２に示した動画像符号化装置１０００において同一符号の付与された構成要素と同一であるため説明を省略する。【０１４２】
輝度変化検出／補償部１２７ａは、フレームメモリ１２４に記憶されている復号済現画像および参照画像に基づいて、フレーム間の輝度変化を検出する。検出結果は、輝度変化検出情報１０８として可変長符号化部１２８に供給される。また、輝度変化検出／補償部１２７ａは、この輝度変化検出情報１０８に基づいて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。これらの点は、動画像符号化装置１０００が備えている輝度変化検出／補償部１２７と同様である。【０１４３】
動画像符号化装置１０００ａが備えている輝度変化検出／補償部１２７ａは、異なる複数の方法によりフレーム間の輝度変化を補償することができる点で、動画像符号化装置１０００が備えている輝度変化検出／補償部１２７と異なる。輝度変化検出／補償部１２７ａは、フレーム間の輝度変化を補償する方法を選択し、選択した方法を示す輝度変化補償方法情報１５０を、輝度変化検出情報１０８とともに、可変長符号化部１２８ａに供給するように構成されている。【０１４４】
また、可変長符号化部１２８ａは、変換係数レベル１０２、動きベクトル１０５、輝度変化検出情報１０８、および、輝度変化補償方法情報１５０をそれぞれ符号化するとともに、これらをそれぞれ符号化することによって得られた符号化データを多重化し、符号化データ２００を生成する。可変長符号化部１２８によって生成された符号化データ２００は、外部に出力される。【０１４５】
＜輝度変化検出／補償部＞
続いて、図９を参照して、輝度変化検出／補償部１２７ａの詳細について説明する。図９は、輝度変化検出／補償部１２７ａの構成を表すブロック図である。【０１４６】
図９に示したように、輝度変化検出／補償部１２７ａは、参照ブロック周辺画像生成部１４０、処理対象ブロック周辺画像生成部１４１、輝度変化補償画像生成部Ａ１５１、輝度変化補償画像生成部Ｂ１５２、輝度変化補償画像生成部Ｃ１５３、輝度変化補償方法決定部１５４、および、予測画像選択スイッチ１５５を備えている。【０１４７】
輝度変化検出／補償部１２７ａの構成要素のうち、参照ブロック周辺画像生成部１４０および処理対象ブロック周辺画像生成部１４１は、図１に示した輝度変化検出／補償部１２７において同一の符号が付与された構成要素と同一であるため説明を省略する。【０１４８】
輝度変化補償画像生成部Ａ１５１、輝度変化補償画像生成部Ｂ１５２、および、輝度変化補償画像生成部Ｃ１５３は、参照ブロック周辺画像、および、処理対象ブロック周辺画像に基づいて輝度変化推定量Ｏ（ｉ，ｊ）を算出するとともに、算出した輝度変化推定量Ｏ（ｉ，ｊ）を用いて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。ただし、輝度変化推定量Ｏ（ｉ，ｊ）の算出方法がそれぞれ異なる。【０１４９】
具体的に言うと、輝度変化補償画像生成部Ａ１５１は、上述した（４）式、（５）式、および、（７）式に従って、フレーム間の輝度変化を補償する。すなわち、輝度変化補償画像生成部Ａ１５１によって生成される輝度変化補償画像Ａは、ブロック上辺に隣接する処理対象ブロック周辺領域上の画素値の輝度変化に基づいて動き補償画像１０６の各画素値を補正した画像である。【０１５０】
また、輝度変化補償画像生成部Ｂ１５２は、上述した（４）式、（５）式、および、（８）式に従って、フレーム間の輝度変化を補償する。すなわち、輝度変化補償画像生成部Ｂ１５２によって生成された輝度変化補償画像Ｂは、ブロック左辺に隣接する処理対象ブロック周辺領域上の画素値の輝度変化に基づいて動き補償画像１０６の各画素値を補正した画像である。【０１５１】
また、輝度変化補償画像生成部Ｃ１５３は、上述した（４）式、（５）式、および、（９）式に従って、フレーム間の輝度変化を補償する。すなわち、輝度変化補償画像生成部Ｃ１５３によって生成された輝度変化補償画像Ｃは、ブロック上辺または左辺に隣接する処理対象ブロック周辺領域上の画素値の輝度変化に基づいて動き補償画像１０６の各画素値を補正した画像である。【０１５２】
輝度変化補償方法決定部１５４は、輝度変化補償画像の３つの候補（輝度変化補償画像Ａ、輝度変化補償画像Ｂ、および、輝度変化補償画像Ｃ）、ならびに、動き補償画像１０６を、それぞれ入力画像１００と比較する。そして、動き補償画像１０６がいずれの候補よりも入力画像１００に類似する場合は、輝度変化はないと判定し、そうでない場合は、輝度変化があると判定し、判定結果を示す輝度変化検出情報１０８を可変長符号化部１２８ａおよび予測画像選択スイッチ１５５に供給する。【０１５３】
さらに、輝度変化補償方法決定部１５４は、輝度変化補償画像の３つの候補から入力画像１００に最も類似する画像を選択し、選択した輝度変化補償画像の生成に用いられた方法を示す輝度変化補償方法情報１５０を可変長符号化部１２８ａおよび予測画像選択スイッチ１５５に供給する。【０１５４】
なお、各画像（輝度変化補償画像の３つの候補、および、動き補償画像１０６）の入力画像１００に対する類似度としては、例えば、各画像と入力画像１００との間のＳＡＤを利用することができる。この場合、ＳＡＤの値が小さいほど、該ＳＡＤの計算に用いられた画像が入力画像１００に類似している。【０１５５】
予測画像選択スイッチ１５５は、輝度変化検出情報１０８および輝度変化補償方法１５０に基づいて、輝度変化補償画像の３つの候補、および、動き補償画像１０６のうちからいずれか１つの画像を選択し、選択した画像を予測画像１０７として出力する。【０１５６】
より具体的には、輝度変化検出情報１０８が輝度変化はないとの判定結果を示す場合には、動き補償画像１０６が予測画像１０７として選択される。また、輝度変化検出情報１０８が輝度変化はあるとの判定結果を示す場合には、輝度変化補償方法情報１５０により示される方法によって生成された輝度変化補償画像が予測画像１０７として選択される。【０１５７】
以上のように、輝度変化が検出されている場合には、輝度変化検出／補償部１２７ａにて導出される予測画像１０７は、３つの異なる輝度変化補償方法のうち最適な方法でフレーム間の輝度変化が補償されている。そのため、唯一の輝度変化補償方法を用いる場合に比べて予測画像１０７は入力画像１００をより正確に近似する画像となっており、予測残差１０１に含まれる情報量が減っている。したがって、図８に示される動画像符号化装置１０００ａでは、予測残差１０１を離散コサイン変換および量子化して得られる変換係数レベル１０２を少ない符号量で符号化することができる。【０１５８】
＜動画像復号装置＞
次に、図８に示した動画像符号化装置１０００ａによって符号化された符号化データ２００を復号する動画像復号装置２０００ａについて、図１０を参照して説明する。図１０は、動画像復号装置２０００ａの構成を表すブロック図である。【０１５９】
図１０に示したように、動画像復号装置２０００ａは、可変長符号復号部２２０ａ、逆量子化部２２１、逆直交変換部２２２、フレームメモリ２２３、動き補償部２２４、および、輝度変化補償部２２５ａを備えている。【０１６０】
動画像復号装置２０００ａにおいて、輝度変化補償部２２５ａ、および、可変長符号復号部２２０ａ以外の構成要素は、図３に示した動画像復号装置２０００における同一の符号が付与された構成要素と同一であるため説明を省略する。【０１６１】
可変長符号復号部２２０ａは、符号化データ２００を復号することによって、動きベクトル２０１、輝度変化検出情報２０２、変換係数レベル２０３、および、輝度変化補償方法情報２５０を得る。動きベクトル２０１は、動き補償部２２４、および、輝度変化補償部２２５に供給される。また、輝度変化検出情報２０２、および、輝度変化補償方法情報２５０は、輝度変化補償部２２５ａに供給される。また、変換係数レベル２０３は、逆量子化部２２１に供給される。【０１６２】
輝度変化補償部２２５ａは、動きベクトル２０１、輝度変化検出情報２０２、輝度変化補償方法情報２５０、ならびに、フレームメモリ２２３に記録されている復号済現画像および参照画像に基づいて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。これらの点は、動画像復号装置２０００が備えている輝度変化補償部２２５ａと同様である。【０１６３】
ただし、動画像復号装置２０００ａが備えている輝度変化補償部２２５ａは、異なる複数の方法によりフレーム間の輝度変化を補償することができる点で、動画像復号装置２０００が備えている輝度変化補償部２２５ａと異なる。輝度変化補償部２２５ａは、輝度変化補償方法情報２５０に基づいてフレーム間の輝度変化を補償する方法を決定するように構成されている。【０１６４】
＜輝度変化補償部＞
続いて、輝度変化補償部２２５ａの詳細について、図１１を参照して説明する。図１１は、輝度変化補償部２２５ａの構成を表すブロック図である。【０１６５】
図１１に示したように、輝度変化補償部２２５ａは、参照ブロック周辺画像生成部２４０、処理対象ブロック周辺画像生成部２４１、輝度変化補償画像生成部Ａ２５１、輝度変化補償画像生成部Ｂ２５２、輝度変化補償画像生成部Ｃ２５３、および、予測画像選択スイッチ２５４を備えている。【０１６６】
なお、輝度変化補償部２２５ａの構成要素のうち、参照ブロック周辺画像生成部２４０、および、処理対象ブロック周辺画像生成部２４１は、図４に示した輝度変化補償部１２７において同一の符号が付与された構成要素と同一であるため説明は省略する。【０１６７】
輝度変化補償画像生成部Ａ２５１、輝度変化補償画像生成部Ｂ２５２、および、輝度変化補償画像生成部Ｃ２５３は、参照ブロック周辺画像、および、処理対象ブロック周辺画像に基づいて輝度変化推定量Ｏ（ｉ，ｊ）を算出するとともに、算出した輝度変化推定量Ｏ（ｉ，ｊ）を用いて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。ただし、輝度変化推定量Ｏ（ｉ，ｊ）の算出方法がそれぞれ異なる。【０１６８】
具体的に言うと、輝度変化補償画像生成部Ａ２５１、輝度変化補償画像生成部Ｂ２５２、および、輝度変化補償画像生成部Ｃ２５３は、それぞれ、動画像符号化装置１０００ａが備えている輝度変化補償画像生成部Ａ１５１、輝度変化補償画像生成部Ｂ１５２、および、輝度変化補償画像生成部Ｃ１５３と同一の方法によってフレーム間の輝度変化を補償するように構成されている。【０１６９】
予測画像選択スイッチ２５４は、輝度変化検出情報２０２および輝度変化補償方法情報２５０に基づいて、輝度変化補償画像の３つの候補、および、動き補償画像１０６のうちからいずれか１つの画像を選択し、選択した画像を予測画像２０７として出力する。選択方法に関しては、動画像符号化装置１０００ａが備えている輝度変化検出／補償部１２７ａの予測画像選択スイッチ１５５における選択方法と同一であるため詳しい説明は省略する。【０１７０】
以上で輝度変化補償部２２５ａの説明を終える。上述の通り、輝度変化補償部２２５ａでは、符号化データ２００を生成する際に用いられた方法と同じ方法を用いてフレーム間の輝度変化が補償された予測画像２０７が生成される。【０１７１】
以上で動画像復号装置２０００ａの説明を終える。上述の通り、動画像復号装置によれば、複数の輝度変化補償方法の中からブロック毎に最適な方法を選択してフレーム間の輝度変化を補償することによって、正確にフレーム間の輝度変化を補償した予測画像を生成することができる。前記予測画像は、輝度変化を補償しない場合の予測画像に比べて、本来の画像（動画像符号化装置１０００ａへの入力画像）を正確に表現する画像である。そのため、輝度変化を補償した予測画像に、復元された予測残差を加えて得られる再生画像は、本来の画像をより忠実に再現することができる。【０１７２】
＜輝度補償方法の組み合わせ＞
なお、以上の説明では、特定の３つの輝度変化補償方法を組み合わせて用いると説明したが、任意の２つ以上の輝度変化補償方法を組み合わせて用いても構わない。【０１７３】
例えば、以下に示す３つの輝度変化補償方法を組み合わせて用いることができる。【０１７４】
方法１：（１６）式、（１８）式、（５）式、および、（７）式によりＰ（ｉ，ｊ）を算出（処理対象ブロック上辺に隣接する画素の画素値の変化量が、ブロック上辺からの距離に応じて重み付けられた値により輝度変化を補償）する輝度変化補償方法。【０１７５】
方法２：（１６）式、（１８）式、（５）式、および、（８）式によりＰ（ｉ，ｊ）を算出（処理対象ブロック左辺に隣接する画素の画素値の変化量が、ブロック左辺からの距離に応じて重み付けられた値により輝度変化を補償）する輝度変化補償方法。【０１７６】
方法３：（１６）式、（１８）式、（５）式、および、（９）式によりＰ（ｉ，ｊ）を算出（処理対象ブロック上辺と左辺に隣接する画素の画素値の変化量が重み付け平均された値が、ブロック上辺と左辺のうち近い辺からの距離に応じて重み付けられた値により輝度変化を補償）する輝度変化補償方法。【０１７７】
上記組み合わせによると、処理対象ブロック上辺または左辺からの距離に応じて重み付けされた値を輝度変化推定量として利用することができるため、輝度変化推定量と実際の輝度変化に相違が生じる可能性を低減することができる。【０１７８】
また、例えば、以下に示す２つの輝度変化補償方法を組み合わせて用いることができる。【０１７９】
方法１：（１）式により導出された参照ブロック周辺画像と、（３）式により導出された処理対象ブロック周辺画像とに基づいて、（４）式、（５）式、および、（９）式によりＰ（ｉ，ｊ）を算出（処理対象ブロック上辺と左辺に隣接する画素の画素値の変化量が重み付け平均された値により輝度変化を補償）する輝度変化補償方法。【０１８０】
方法２：（１４）式により導出された参照ブロック周辺画像と、（１５）式により導出された処理対象ブロック周辺画像とに基づいて、（４）式、（５）式、および、（９）式によりＰ（ｉ，ｊ）を算出（処理対象ブロック上辺と左辺に隣接する画素にノイズ除去を施した画素値の変化量が重み付け平均された値により輝度変化を補償）する輝度変化補償方法。【０１８１】
上記の組み合わせによると、ノイズの多寡に応じて異なる方法で輝度変化を補償することができる。【０１８２】
＜付加情報の符号化＞
なお、本実施形態においては、可変長符号化部１２８ａは輝度変化検出情報１０８と輝度変化補償方法情報１５０とを共に符号化するものとしたが、必ずしも常に両方を符号化する必要はない。例えば、輝度変化検出情報１０８が輝度変化はあるとの判定結果を示す場合には、輝度変化検出情報１０８のみが符号化され、輝度変化はないとの判定結果を示す場合には、輝度変化検出情報１０８と輝度変化補償方法１５０の両方が符号化されるようにしても構わない。この場合、フレーム間の輝度変化の補償が必要な時にのみ、いずれの輝度変化補償方法を用いるかに関する情報を符号化すれば良いため、符号化データの符号量を減少させることができる。【０１８３】
以上のように、本発明に係る動画像符号化装置は、現在符号化処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう動き補償画像を補正する補正手段を備えている、ことを特徴としている。【０１８４】
したがって、付加情報による符号量の増加を生じることなく、あるいは、生じたとしたしても最小限に抑えつつ、フレーム間の局所的な輝度変化を補償することができるという効果を奏する。【０１８５】
また、本発明に係る動画像復号装置は、上記符号化データを復号することにより得られた復号画像において、現在復号処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう動き補償画像を補正する補正手段を備えている。【０１８６】
したがって、上記動画像符号化装置により符号化された符号化データを復号することができるという効果を奏する。【０１８７】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。【０１８８】
例えば、動画像符号化装置１０００の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。【０１８９】
すなわち、動画像符号化装置１０００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動画像符号化装置１０００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、動画像符号化装置１０００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。【０１９０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。【０１９１】
また、動画像符号化装置１０００を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。【０１９２】
動画像符号化装置１０００ａ、動画像復号装置２０００、および、動画像復号装置２０００ａについても同様である。【０１９３】
発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。【０１９４】
例えば、本発明は以下のように表現することもできる。【０１９５】
１．動画像のフレームを複数のブロックに分割し、ブロック単位で入力画像と予測画像の差分である予測残差を符号化して符号化データを生成する動画像符号化装置であって、前記入力画像を近似する参照フレーム上の領域の位置を動きベクトルとして導出する動き検出部と、前記動きベクトルに基づき動き補償画像を生成する動き補償部と、処理対象ブロック周辺領域の画像に基づいて処理対象ブロック周辺画像を生成する処理対象ブロック周辺画像生成部と、参照ブロック周辺領域の画像に基づいて参照ブロック周辺画像を生成する参照ブロック周辺画像生成部と、前記処理対象ブロック周辺画像および前記参照ブロック周辺画像に基づき処理対象ブロック内各位置における輝度変化を表す輝度変化推定量を導出し、前記輝度変化推定量に基づき前記動き補償画像を修正して輝度変化補償画像を生成する輝度変化補償画像生成部を備えることを特徴とする動画像符号化装置。【０１９６】
２．前記処理対象ブロック周辺画像の各画素値は、復号済現画像において処理対象ブロック上辺または左辺に隣接する各画素の画素値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素の画素値であることを特徴とする１に記載の動画像符号化装置。【０１９７】
３．前記処理対象ブロック周辺画像の各画素値は、復号済現画像において処理対象ブロック上辺または左辺に隣接する各画素にローパスフィルタを適用して得られる値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素にローパスフィルタを適用して得られる値であることを特徴とする１に記載の動画像符号化装置。【０１９８】
４．前記処理対象ブロック周辺画像の各画素値は、復号済現画像において処理対象ブロック上辺または左辺に隣接する各画素にノイズ除去を適用して得られる値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素にノイズ除去を適用して得られる値であることを特徴とする１に記載の動画像符号化装置。
５．前記輝度変化推定量は、前記処理対象ブロック周辺画像と前記参照ブロック周辺画像における対応する画素間の画素値の差分に基づき導出されることを特徴とする１から４に記載の動画像符号化装置。【０１９９】
６．処理対象ブロック内の各画素における前記輝度変化推定量は、該処理対象ブロック内画素の上方に位置する前記処理対象ブロック周辺画像上の画素と、該処理対象ブロック内画素に対応する参照ブロック内画素の上方に位置する前記参照ブロック周辺画像上の画素との間の画素値の差分である第一の差分と、該処理対象ブロック内画素の左方に位置する前記処理対象ブロック周辺画像上の画素と、該処理対象ブロック内画素に対応する参照ブロック内画素の左方に位置する前記参照ブロック周辺画像上の画素との間の画素値の差分である第二の差分に基づき導出されることを特徴とする１から５に記載の動画像符号化装置。【０２００】
７．処理対象ブロック内の各画素における前記輝度変化推定量は、該処理対象ブロック内画素とその上方に位置する前記処理対象ブロック周辺画像上の画素の間の距離と、該処理対象ブロック内画素とその左方に位置する前記処理対象ブロック周辺画像上の画素の間の距離に応じて前記第一の差分値と前記第二の差分値を重み付け平均して得られる値であることを特徴とする６に記載の動画像符号化装置。【０２０１】
８．前記処理対象ブロック内の各画素位置における輝度変化推定量を、対象画素の前記処理対象ブロック内での位置がブロック上辺またはブロック左辺から離れるほど小さい値となるように補正することを特徴とする１から７に記載の動画像符号化装置。【０２０２】
９．前記輝度変化補償画像と前記動き補償画像のいずれが前記予測画像として適しているかを判定して輝度変化検出情報を生成する輝度変化検出部をさらに備え、前記輝度変化検出情報により前記予測画像として適していると判定された画像を前記予測画像として使用するとともに、前記輝度変化検出情報を前記符号化データに含めることを特徴とする１から８に記載の動画像符号化装置。【０２０３】
１０．前記輝度補償画像生成部は少なくとも２種類以上の方法によって輝度補償画像候補を生成する手段を有し、複数の前記輝度補償画像候補のいずれが前記予測画像として適しているかを判定する輝度変化補償方法決定部をさらに備え、前記判定により前記予測画像として適していると判定された前記輝度補償画像候補を前記輝度補償画像として選択するとともに、前記判定の結果を前記符号化データに含めることを特徴とする１から９に記載の動画像符号化装置。【０２０４】
１１．前記輝度補償画像生成部は少なくとも２種類以上の方法によって輝度補償画像候補を生成する手段を有し、複数の前記輝度補償画像候補のいずれが前記予測画像として適しているかを判定する輝度変化補償方法決定部をさらに備え、
前記判定により前記予測画像として適していると判定された前記輝度補償画像候補を前記輝度補償画像として選択するとともに、前記輝度変化検出情報が前記輝度変化補償画像が前記予測画像として適していることを示す場合に限り前記判定の結果を前記符号化データに含めることを特徴とする１０に記載の動画像符号化装置。【０２０５】
１２．複数のブロックに分割された動画像のフレームをブロック単位で符号化して得られる符号化データを復号して動画像を再生する動画像復号装置であって、前記符号化データより復号される動きベクトルに基づき処理対象ブロックに類似する参照フレーム上の領域である参照ブロックの位置を特定して動き補償画像を生成する動き補償予測部と、処理対象ブロック周辺領域の画像に基づいて処理対象ブロック周辺画像を生成する処理対象ブロック周辺画像生成部と、参照ブロック周辺領域の画像に基づいて参照ブロック周辺画像を生成する参照ブロック周辺画像生成部と、前記処理対象ブロック周辺画像および前記参照ブロック周辺画像に基づき処理対象ブロックと参照ブロックの間の輝度変化推定量を導出し、前記輝度変化推定量に基づき前記動き補償画像を修正する輝度変化補償画像生成部を備えることを特徴とする動画像復号装置。
【産業上の利用可能性】
【０２０６】
本発明は、動き補償予測を用いて動画像を符号化する動画像符号化装置、および、そのような動画像符号化装置によって符号化された符号化データを復号する動画像復号装置に広く利用することができる。とくに、ＡＶＣ／Ｈ２６４やＭＰＥＧ−４に対応した動画像符号化装置、および、動画像復号装置にとりわけ好適に利用することができる。そして、動画像を符号化して記録媒体に記録する動画像記録装置や、記録媒体に記録された符号化データから動画像を再生する動画像再生装置などに適用することができる。
【図１】
2009084340.tif 000026
【図２】
2009084340.tif 000027
【図３】
2009084340.tif 000028
【図４】
2009084340.tif 000029
【図５】
2009084340.tif 000030
【図６】
2009084340.tif 000031
【図７】
2009084340.tif 000032
【図８】
2009084340.tif 000033
【図９】
2009084340.tif 000034
【図１０】
2009084340.tif 000035
【図１１】
2009084340.tif 000036
【手続補正書】
【提出日】平成22年6月16日(2010.6.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
なお、フレームメモリ１２４には、ブロック毎に生成された局所復号画像１０３が順次記憶される。処理対象フレームＩｃのある処理対象ブロックＢｃを処理している時点では、参照フレームＩｒ上の局所復号画像（以下、「参照画像」とも呼称する）に加え、処理対象フレームＩｃの復号済領域上の局所復号画像（以下、「復号済原画像」とも呼称する）がフレームメモリ１２４に記録されている。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
輝度変化検出／補償部１２７は、フレームメモリ１２４に記憶されている復号済原画像および参照画像に基づいて、フレーム間の輝度変化を検出する。検出結果は、輝度変化検出情報１０８として可変長符号化部１２８に供給される。また、輝度変化検出／補償部１２７は、この輝度変化検出情報１０８に基づいて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。先に言及した予測画像１０７とは、この輝度変化検出／補償部１２７によって補正された、この動き補償画像のことである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
処理対象ブロック周辺画像生成部１４１は、復号済原画像における処理対象ブロック周辺領域Ｓｃ内の各画素の画素値をフレームメモリ１２４から読み出して、処理対象ブロック周辺画像として輝度変化補償画像生成部１４２に供給する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
なお、（３）式において、（Ｘｃ，Ｙｃ）は、処理対象フレームＩｃにおける処理対象ブロックＢｃの左上隅の画素の位置（Ｘｃ，Ｙｃ）であり、その定義は（２）式に示したとおりである。また、処理対象ブロック周辺領域Ｓｃは、上記のように、参照ブロック周辺領域Ｓｒと合同であることが好ましいが、必ずしもこれに限定されるわけではない。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
以上で輝度変化検出／補償部１２７の説明を終える。上述の通り、輝度変化検出／補償部１２７では、入力された動き補償画像１０６、局所復号画像１０４（参照画像と復号済原画像）、動きベクトル１０５、および、入力画像１００に基づいて、予測画像１０７、および、輝度変化検出情報１０８が導出され、出力される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
逆量子化部２２１は、可変長符号復号部２２０によって得られた変換係数レベル２０３を逆量子化することにより、動画像符号化装置１０００の直交変換部１２０によって導出された各周波数成分係数を復元する。逆量子化部２２１によって復元された周波数成分係数は、逆直交変換部２２２に供給される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
逆直交変換部２２２は、逆量子化部２２１によって復元された周波数成分係数を逆離散コサイン変換することにより、動画像符号化装置１０００の直交変換部１２０に入力された予測残差１０１を復元する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
動画像復号装置２０００は、逆直交変換部２２２によって復元された予測残差と、輝度変化補償部２２５から供給された予測画像２０７とを加算することによって、局所復号画像２０４を生成する。生成された局所復号画像２０４は、フレームメモリ２２３に記憶されるとともに、外部に出力される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
輝度変化補償部２２５は、動きベクトル２０１と、輝度変化検出情報２０２と、フレームメモリ２２３に記録されている復号済原画像および参照画像に基づいて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。先に言及した予測画像２０７とは、輝度変化補償部２２５によって補正された、この動き補償画像のことである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
図６（ｂ）に示されているように、処理対象ブロック周辺領域Ｓｃは、処理対象フレームＩｃの復号済領域に含まれている点に留意されたい。つまり、処理対象ブロック周辺画像は、フレームメモリ２２３に格納されている復号済原画像の一部であり、処理対象ブロック周辺画像生成部２４１は、これをフレームメモリ２２３から読み出すことができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
以上で輝度変化補償部２２５の説明を終える。上述の通り、輝度変化補償部２２５では、入力された動き補償画像２０６、局所復号画像２０５（参照画像と復号済原画像）、動きベクトル２０１、および、輝度変化検出情報２０２に基づいて、予測画像２０７が生成されて出力される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
（１２）および（１３）式によれば、参照画像または復号済原画像において、参照／処理対象ブロックの上側に位置する画素については水平方向に、参照／処理対象ブロックの左側に位置する画素については垂直方向にローパスフィルタが施された画素値により、参照／処理対象ブロック周辺画像の各画素値が設定される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１１５
【補正方法】変更
【補正の内容】
【０１１５】
（１２ａ）および（１３ａ）式によれば、参照画像または復号済原画像において、参照／処理対象ブロックの上側に位置する画素については垂直方向に、該ブロックの左側に位置する画素については水平方向にローパスフィルタが施された画素値により、参照／処理対象ブロック周辺画像の各画素値が設定される。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
また、ローパスフィルタの代わりに、参照画像または復号済原画像にノイズ除去フィルタを適用して、その結果得られる値を参照／処理対象ブロック周辺画像に用いることもできる。例えば、参照ブロック周辺画像の各画素の画素値、および、処理対象ブロック周辺画像の各画素の画素値は、以下に示す（１４）および（１５）式によって与えられたものであってもよい。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【０１４２】
輝度変化検出／補償部１２７ａは、フレームメモリ１２４に記憶されている復号済原画像および参照画像に基づいて、フレーム間の輝度変化を検出する。検出結果は、輝度変化検出情報１０８として可変長符号化部１２８ａに供給される。また、輝度変化検出／補償部１２７ａは、この輝度変化検出情報１０８に基づいて、フレーム間の輝度変化を補償するよう動き補償画像１０６を補正する。これらの点は、動画像符号化装置１０００が備えている輝度変化検出／補償部１２７と同様である。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
また、可変長符号化部１２８ａは、変換係数レベル１０２、動きベクトル１０５、輝度変化検出情報１０８、および、輝度変化補償方法情報１５０をそれぞれ符号化するとともに、これらをそれぞれ符号化することによって得られた符号化データを多重化し、符号化データ２００を生成する。可変長符号化部１２８ａによって生成された符号化データ２００は、外部に出力される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１５５
【補正方法】変更
【補正の内容】
【０１５５】
予測画像選択スイッチ１５５は、輝度変化検出情報１０８および輝度変化補償方法情報１５０に基づいて、輝度変化補償画像の３つの候補、および、動き補償画像１０６のうちからいずれか１つの画像を選択し、選択した画像を予測画像１０７として出力する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１６２
【補正方法】変更
【補正の内容】
【０１６２】
輝度変化補償部２２５ａは、動きベクトル２０１、輝度変化検出情報２０２、輝度変化補償方法情報２５０、ならびに、フレームメモリ２２３に記録されている復号済原画像および参照画像に基づいて、フレーム間の輝度変化を補償するよう動き補償画像２０６を補正する。これらの点は、動画像復号装置２０００が備えている輝度変化補償部２２５と同様である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１６３
【補正方法】変更
【補正の内容】
【０１６３】
ただし、動画像復号装置２０００ａが備えている輝度変化補償部２２５ａは、異なる複数の方法によりフレーム間の輝度変化を補償することができる点で、動画像復号装置２０００が備えている輝度変化補償部２２５と異なる。輝度変化補償部２２５ａは、輝度変化補償方法情報２５０に基づいてフレーム間の輝度変化を補償する方法を決定するように構成されている。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
＜輝度変化補償方法の組み合わせ＞
なお、以上の説明では、特定の３つの輝度変化補償方法を組み合わせて用いると説明したが、任意の２つ以上の輝度変化補償方法を組み合わせて用いても構わない。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１９６
【補正方法】変更
【補正の内容】
【０１９６】
２．前記処理対象ブロック周辺画像の各画素値は、復号済原画像において処理対象ブロック上辺または左辺に隣接する各画素の画素値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素の画素値であることを特徴とする１に記載の動画像符号化装置。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】０１９７
【補正方法】変更
【補正の内容】
【０１９７】
３．前記処理対象ブロック周辺画像の各画素値は、復号済原画像において処理対象ブロック上辺または左辺に隣接する各画素にローパスフィルタを適用して得られる値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素にローパスフィルタを適用して得られる値であることを特徴とする１に記載の動画像符号化装置。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１９８
【補正方法】変更
【補正の内容】
【０１９８】
４．前記処理対象ブロック周辺画像の各画素値は、復号済原画像において処理対象ブロック上辺または左辺に隣接する各画素にノイズ除去を適用して得られる値であり、前記参照ブロック周辺画像の各画素値は、参照画像において参照ブロック上辺または左辺に隣接する各画素にノイズ除去を適用して得られる値であることを特徴とする１に記載の動画像符号化装置。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０２００
【補正方法】変更
【補正の内容】
【０２００】
７．処理対象ブロック内の各画素における前記輝度変化推定量は、該処理対象ブロック内画素とその上方に位置する前記処理対象ブロック周辺画像上の画素の間の距離と、該処理対象ブロック内画素とその左方に位置する前記処理対象ブロック周辺画像上の画素の間の距離に応じて前記第一の差分と前記第二の差分を重み付け平均して得られる値であることを特徴とする６に記載の動画像符号化装置。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】０２０３
【補正方法】変更
【補正の内容】
【０２０３】
１０．前記輝度変化補償画像生成部は少なくとも２種類以上の方法によって輝度変化補償画像候補を生成する手段を有し、複数の前記輝度変化補償画像候補のいずれが前記予測画像として適しているかを判定する輝度変化補償方法決定部をさらに備え、前記判定により前記予測画像として適していると判定された前記輝度変化補償画像候補を前記輝度変化補償画像として選択するとともに、前記判定の結果を前記符号化データに含めることを特徴とする１から９に記載の動画像符号化装置。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０２０４
【補正方法】変更
【補正の内容】
【０２０４】
１１．前記輝度変化補償画像生成部は少なくとも２種類以上の方法によって輝度変化補償画像候補を生成する手段を有し、複数の前記輝度変化補償画像候補のいずれが前記予測画像として適しているかを判定する輝度変化補償方法決定部をさらに備え、
前記判定により前記予測画像として適していると判定された前記輝度変化補償画像候補を前記輝度変化補償画像として選択するとともに、前記輝度変化検出情報が前記輝度変化補償画像が前記予測画像として適していることを示す場合に限り前記判定の結果を前記符号化データに含めることを特徴とする１０に記載の動画像符号化装置。
【手続補正２７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって、符号化データを生成する動画像符号化装置であって、
上記符号化データを復号することにより得られた局所復号画像において、現在符号化処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、
ことを特徴とする動画像符号化装置。
【請求項２】
上記補正手段は、上記処理対象ブロック周辺領域内の画素と、上記参照ブロック周辺領域内の画素との画素値変化に基づいて、上記輝度変化量を推定する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記補正手段は、上記処理対象ブロック周辺領域内の画素の画素値と、当該画素に対応する画素であって、上記参照ブロック周辺領域内の画素の画素値との差分を算出することによって、上記輝度変化量を推定する、
ことを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
上記補正手段は、上記処理対象ブロック周辺領域内の複数の画素の画素値と、当該複数の画素の各々に各々が対応する複数の画素であって、上記参照ブロック周辺領域内の複数の画素の画素値との差分の平均値を算出することによって、上記輝度変化量を推定する、
ことを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
上記処理対象ブロック周辺領域は、上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求項１から４までの何れか１項に記載の動画像符号化装置。
【請求項６】
上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素の上方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画像において当該画素に対応する参照画素の上方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第１差分値、および、当該画素の左方に位置する上記処理対象ブロック周辺領域内画素の画素値と、上記参照画素の左方に位置する上記参照ブロック周辺領域内画素の画素値との差分である第２差分値の少なくとも何れか一方に基づいて推定するものである、
ことを特徴とする請求項１から４までの何れか１項に記載の動画像符号化装置。
【請求項７】
上記処理対象ブロック周辺領域は、ローパスフィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、ローパスフィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求項６に記載の動画像符号化装置。
【請求項８】
上記処理対象ブロック周辺領域は、ノイズ除去フィルタを適用された上記局所復号画像において、上記処理対象ブロックの上辺に隣接している領域、および、上記処理対象ブロックの左辺に隣接している領域の少なくとも何れか一方であり、
上記参照ブロック周辺領域は、ノイズ除去フィルタを適用された上記参照画像において、上記参照ブロックの上辺に隣接している領域、および、上記参照ブロックの左辺に隣接している領域の少なくとも何れか一方である、
ことを特徴とする請求項６に記載の動画像符号化装置。
【請求項９】
上記補正手段は、上記処理対象ブロックの各画素における輝度変化量を、当該画素と当該画素の上方に位置する上記処理対象ブロック周辺領域内画素との間の距離、および、当該画素と当該画素の左方に位置する上記処理対象ブロック周辺領域内画素との間の距離に応じた重み付けにより、上記第１差分値と上記第２差分値とを重み付け平均することによって推定する、
ことを特徴とする請求項６から８までの何れか１項に記載の動画像符号化装置。
【請求項１０】
上記補正手段は、上記処理対象ブロックの各画素に対して推定した輝度変化量を、当該画素が上記処理対象ブロックの上辺または左辺から離れるほど小さい値となるように補正すること、
ことを特徴とする請求項１から９までの何れか１項に記載の動画像符号化装置。
【請求項１１】
上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、
当該動画像符号化装置は、上記符号化対象画像と、上記判定手段により予測画像に適していると判定された方の動き補償画像との差分である予測残差を符号化するとともに、上記判定手段による判定結果を上記符号化データに含める、
ことを特徴とする請求項１から１０までの何れか１項に記載の動画像符号化装置。
【請求項１２】
上記補正手段は、少なくとも２以上の補正方法のうちから上記動き補償画像を補正する補正方法を選択するものであり、
当該動画像符号化装置は、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、
ことを特徴とする請求項１から１０までの何れか１項に記載の動画像符号化装置。
【請求項１３】
上記動き補償画像、および、上記補正手段によって補正された動き補償画像の何れが予測画像に適しているかを判定する判定手段を更に備えており、
当該動画像符号化装置は、上記判定手段により上記補正された動き補償画像の方が予測画像に適していると判定されたときに限って、上記補正手段により選択された補正方法を示す情報を上記符号化データに含める、
ことを特徴とする請求項１２に記載の動画像符号化装置。
【請求項１４】
動画像を構成する各フレームを符号化対象画像とし、当該符号化対象画像と動き補償画像との差分である予測残差をブロック毎に符号化することによって生成された符号化データを復号する動画像復号装置であって、
上記符号化データを復号することにより得られた復号画像において、現在復号処理の対象になっている処理対象ブロックに隣接する処理対象ブロック周辺領域内の画素の画素値と、動き補償予測の基準とする参照画像において、上記処理対象ブロックに対応する参照ブロックに隣接する参照ブロック周辺領域内の画素の画素値とに基づいて、上記処理対象ブロックの各画素における輝度変化量を推定するとともに、推定した輝度変化量を補償するよう上記動き補償画像を補正する補正手段を備えている、
ことを特徴とする動画像復号装置。
【手続補正２８】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2009084340.tif 000037
【国際調査報告】
2009084340.tif 000038
2009084340.tif 000039
2009084340.tif 000040
2009084340.tif 000041