(57)【特許請求の範囲】
【請求項１】
入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行う動画像符号化装置において、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような前記符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
処理対象になっている前記符号化ピクチャ内における矩形領域内の信号成分と、前記領域境界動き補償手段が生成する前記第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、比較する際の基準となる差分情報である基準差分情報を生成し、前記参照ピクチャ内で動きベクトル探索対象となっている矩形領域内の信号成分と、前記第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、動きベクトル探索時の比較対象となる探索対象差分情報を生成し、その探索対象差分情報と前記基準差分情報の信号成分とを比較しながら適合する矩形領域を前記参照ピクチャ内で動きベクトル探索を行い、適合した前記参照ピクチャ内の矩形領域までの動きベクトル情報である差分成分動きベクトル情報を生成する領域内差分動き推定手段と、
前記差分成分動きベクトル情報に基づいて、前記参照ピクチャから対応する矩形領域を特定し、特定した前記参照ピクチャ内の矩形領域内の信号成分と、前記第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、
前記第１の予測ピクチャと前記予測残差ピクチャとを合成することで第２の予測ピクチャを生成する合成手段と、
前記第２の予測ピクチャと前記符号化ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、
前記復号差分ピクチャと少なくとも前記第２の予測ピクチャとを合成して前記局部復号画像信号を生成する局部復号画像信号生成手段と、
少なくとも１ピクチャ分の前記局部復号画像信号を前記参照ピクチャとして保持すると共に、保持しているその参照ピクチャを前記領域境界動き推定手段、前記領域境界動き補償手段、前記領域内差分動き推定手段及び前記領域内差分動き補償手段へそれぞれ供給する記憶手段と、
少なくとも前記量子化後情報、前記境界部動きベクトル情報、及び前記差分成分動きベクトル情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と、
を少なくとも備えることを特徴とする動画像符号化装置。
【請求項２】
前記符号化ピクチャ内の各矩形領域において前記記憶手段から取得した前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動き推定手段により生成された前記動きベクトル情報に基づいて、前記記憶手段から取得した前記参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、
前記第４の予測ピクチャと前記符号化ピクチャとの差分から第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
前記差分判定手段が選択した差分ピクチャ及びその選択した差分ピクチャの生成要素である予測ピクチャを所定の手段に供給するための制御を行う符号化制御手段と、
を更に備えることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、
前記コンピュータを、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような前記符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
処理対象になっている前記符号化ピクチャ内における矩形領域内の信号成分と、前記領域境界動き補償手段が生成する前記第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、比較する際の基準となる差分情報である基準差分情報を生成し、前記参照ピクチャ内で動きベクトル探索対象となっている矩形領域内の信号成分と、前記第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、動きベクトル探索時の比較対象となる探索対象差分情報を生成し、その探索対象差分情報と前記基準差分情報の信号成分とを比較しながら適合する矩形領域を前記参照ピクチャ内で動きベクトル探索を行い、適合した前記参照ピクチャ内の矩形領域までの動きベクトル情報である差分成分動きベクトル情報を生成する領域内差分動き推定手段と、
前記差分成分動きベクトル情報に基づいて、前記参照ピクチャから対応する矩形領域を特定し、特定した前記参照ピクチャ内の矩形領域内の信号成分と、前記第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、
前記第１の予測ピクチャと前記予測残差ピクチャとを合成することで第２の予測ピクチャを生成する合成手段と、
前記第２の予測ピクチャと前記符号化ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、
前記復号差分ピクチャと少なくとも前記第２の予測ピクチャとを合成して前記局部復号画像信号を生成する局部復号画像信号生成手段と、
少なくとも前記量子化後情報、前記境界部動きベクトル情報、及び前記差分成分動きベクトル情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と
して機能させると共に、記憶装置を、少なくとも１ピクチャ分の前記局部復号画像信号を前記参照ピクチャとして保持すると共に、保持しているその参照ピクチャを前記領域境界動き推定手段、前記領域境界動き補償手段、前記領域内差分動き推定手段及び前記領域内差分動き補償手段へそれぞれ供給する記憶手段として機能させることを特徴とする動画像符号化プログラム。
【請求項４】
前記コンピュータを、
前記符号化ピクチャ内の各矩形領域において前記記憶手段から取得した前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動き推定手段により生成された前記動きベクトル情報に基づいて、前記記憶手段から取得した前記参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、
前記第４の予測ピクチャと前記符号化ピクチャとの差分から第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
前記差分判定手段が選択した差分ピクチャ及びその選択した差分ピクチャの生成要素である予測ピクチャを所定の手段に供給するための制御を行う符号化制御手段と
して更に機能させることを特徴とする請求項３記載の動画像符号化プログラム。
【請求項５】
請求項１又は２記載の動画像符号化装置、若しくは請求項３又は４記載の動画像符号化プログラムを実行させたコンピュータによって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、
前記復号差分ピクチャと合成用予測ピクチャとを合成して局部復号画像信号を生成する第１の合成手段と、
少なくとも１ピクチャ分の前記局部復号画像信号を参照ピクチャとして保持する記憶手段と、
前記エントロピー復号化手段から取得した前記境界部動きベクトル情報に基づいて、前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化対象の動画像信号である符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から取得した前記差分成分動きベクトル情報に基づいて、前記参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、前記第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、
前記第１の予測ピクチャと前記予測残差ピクチャとを合成することで、前記第１の合成手段に前記合成用予測ピクチャとして供給される第２の予測ピクチャを生成する第２の合成手段と、
を少なくとも備えることを特徴とする動画像復号化装置。
【請求項６】
前記エントロピー復号化手段は、更に前記動きベクトル情報を復号する機能を有し、
前記エントロピー復号化手段から取得した前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、
前記エントロピー復号化手段により復号された、構文構造を構成するために必要なパラメータ情報から復号化制御に必要な復号化制御情報を取得し、その復号化制御情報に従って前記第１の合成手段に供給する前記合成用予測ピクチャとして、前記第２の予測ピクチャ及び前記第４の予測ピクチャの一方を選択する復号化制御手段と、
を更に備えることを特徴とする請求項５記載の動画像復号化装置。
【請求項７】
請求項１又は２記載の動画像符号化装置、若しくは請求項３又は４記載の動画像符号化プログラムを実行させたコンピュータによって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力することを、コンピュータにより実行させるための動画像復号化プログラムであって、
前記コンピュータを、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、
前記復号差分ピクチャと少なくとも合成用予測ピクチャとを合成して局部復号画像信号を生成する第１の合成手段と、
前記エントロピー復号化手段から取得した前記境界部動きベクトル情報に基づいて、前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化対象の動画像信号である符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から取得した前記差分成分動きベクトル情報に基づいて、前記参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、前記第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、
前記第１の予測ピクチャと前記予測残差ピクチャとを合成することで、前記第１の合成手段に前記合成用予測ピクチャとして供給される第２の予測ピクチャを生成する第２の合成手段と、
して機能させると共に、記憶装置を少なくとも１ピクチャ分の前記局部復号画像信号を参照ピクチャとして保持する記憶手段として機能させることを特徴とする動画像復号化プログラム。
【請求項８】
前記コンピュータを、
前記エントロピー復号化手段により更に前記動きベクトル情報を生成させ、
前記エントロピー復号化手段から取得した前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、
前記エントロピー復号化手段により復号された、構文構造を構成するために必要なパラメータ情報から復号化制御に必要な復号化制御情報を取得し、その復号化制御情報に従って前記第１の合成手段に供給する前記合成用予測ピクチャとして、前記第２の予測ピクチャ及び前記第４の予測ピクチャの一方を選択する復号化制御手段と、
して更に機能させることを特徴とする請求項７記載の動画像復号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラムに係り、特に動画像に対して符号化を行う際に、ポアソン方程式を満たす条件を境界条件及び動画像に適したソースモデルに基づいて導出し、その結果を符号化及び復号化に適用する動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラムに関する。
【背景技術】
【０００２】
近年、ディジタル放送やネットワークを介した様々な動画像配信サービスが一般的となり、より高画質・高品質の動画像をより多く記録したいという要求から、更なる動画像の符号化効率向上が望まれている。
【０００３】
一般に伝送される映像情報は、ディジタル化された音声、画像、その他のデータが組み合わされて作成されたマルチメディア情報であることが多い。このような映像情報の情報量は、単純にデータをディジタル化して換算した場合、一般に文字情報の情報量は１〜２バイトである。音声の場合には電話品質で１秒あたり６４Ｋｂｉｔｓである。動画の場合にはＳＤ（Standard Definition）のアナログ地上波テレビ放送品質であっても１秒あたり１００Ｍｂｉｔｓ以上の情報量が必要になる。このような膨大なディジタル情報をそのままの状態で扱うことは、現状における伝送路や記録媒体を利用する際のコストを勘案すると現実的ではない。
【０００４】
そこで、このような膨大な情報量を圧縮するための符号化技術が現在盛んに研究開発されている。映像の符号化技術において代表的なものとしては、ＭＰＥＧ（Moving Picture Experts Group）が挙げられる。ＭＰＥＧは、動画像データの符号化技術に関する国際標準規格である。現在このＭＰＥＧ標準規格では、主にビデオＣＤなどの１.５Ｍｂｐｓ程度の蓄積メディア向けのＭＰＥＧ−１、ディジタル放送などのような通信や放送などの多様なアプリケーションに対応することを可能にするＭＰＥＧ−２、オブジェクト符号化やその制御によってより高度なマルチメディアコンテンツを実現することができるＭＰＥＧ−４、コンテンツ記述向けのＭＰＥＧ−７を規定している。このような符号化技術を適用することで膨大な情報量を持つ映像データを効率よく符号化し、情報量を概ね１／２０〜１／４０程度にまで圧縮することが可能になる。
【０００５】
更に、従来の符号化技術の符号化効率を大幅に向上させたＭＰＥＧ−４ ＡＶＣ（以後、ＡＶＣもしくはＨ.２６４）などの新たな符号化方法を導入したものも存在し、これらを導入することでより効果的な情報の符号化を行うことができる（例えば、非特許文献１，非特許文献２参照）。上述のような符号化方法では、通常、ＭＣ（動き補償）とＤＣＴ（離散余弦変換）を組み合わせることで映像の情報圧縮を行う。
【０００６】
しかし、従来の符号化方法においては、ＭＣは処理単位となる矩形領域（通常は所定の正方ブロック、以後、ＭＣブロック又は単にブロックと呼ぶ）内の全画素が同一の動きを持つことを前提として動き量の検出を行って動きベクトル情報を生成することから、ＭＣブロックを空間配置して構成される予測ピクチャでは、ＭＣブロック境界において画像信号が不連続な状態となる場合がある。このＭＣブロック境界の不連続な状態は、動き量の探索やその後の直交変換、量子化などの符号化処理単位がブロック単位であることに起因する。この現象は符号化時に利用できる符号量が少ないほど顕著に現れ、一般にブロック歪みとして知覚することができる。
【０００７】
上述のＭＣブロック境界の不連続な状態を改善するための方法として、ブロック単位の動き補償によって生成される予測ピクチャに対して、そのＭＣブロック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行い、動き補償を用いた低ビットレートの符号化効率を改善することができる構成が提案されている（例えば、特許文献１参照）。
【０００８】
次に、従来のＭＰＥＧ符号化装置及び復号化装置を代表してＡＶＣの基本構成に加え、特許文献１で用いられる平滑化処理を導入した場合の符号化装置及び復号化装置の構成及び動作について、簡単に説明する（非特許文献１，非特許文献２，特許文献１参照）。
【０００９】
図２２はＡＶＣの符号化装置に、動き補償後の予測ピクチャに対して特許文献１で用いられる平滑化処理を導入した場合の符号化装置の一例のブロック図を示す。この符号化装置の基本動作について図２３のフローチャートを併せ参照して説明する。図２２において、入力画像である符号化ピクチャが準備された後（ステップＳ７０１）、順次に入力される符号化ピクチャ（入力符号１０１）は、符号化制御器１１７によってイントラ符号化されるかそうでないか判定され（ステップＳ７０２）、イントラ符号化される場合はイントラ予測器１０５によりイントラ予測して予測ピクチャを生成し（ステップＳ７０３）、その予測ピクチャをスイッチ５０１により選択する。一方、イントラ符号化でない場合は後述する動き推定器５０２で動き推定された後(ステップＳ７０４)、後述する動き補償器５０３で動き補償され（ステップＳ７０５）、更に後述する平滑化フィルタ１３１により平滑化し（ステップＳ７０６）、これにより得られた予測ピクチャをスイッチ５０１により選択する。
【００１０】
スイッチ５０１により選択された予測ピクチャは差分器１０６に供給され、ここで符号化ピクチャである入力符号１０１との間で差分をとられることで時間方向に含まれる冗長成分を削減される（ステップＳ７０７）。
【００１１】
ここで、ＡＶＣには、面内予測（Intra）符号化、前方向予測（Predictively）符号化、双予測（Bidirectionaly）符号化の３つの予測モードが存在する。面内予測符号化では、動き補償器５０３の出力を利用せずに面内の情報及びイントラ予測器１０５による面内からの予測情報を利用した後、後述する直交変換器１０７による変換を行う。この面内予測符号化モードで符号化したものをＩピクチャと呼ぶ。Ｉピクチャは、復号化時に他のピクチャに依存することなく復号することができる。ＡＶＣでは通常１ピクチャ内に複数のスライスという単位を含むことができるが、話を簡単にするため以後１ピクチャは１スライスのみで構成されているものとする。
【００１２】
前方向予測符号化では、動き補償器５０３により過去に符号化したピクチャを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成された予測ピクチャと入力符号１０１からの符号化ピクチャとの差分によって生成した差分ピクチャに対して直交変換器１０７による直交変換を行う。直交変換器１０７で行う直交変換は、ＭＰＥＧ−１，−２及び４ではＤＣＴ（Discrete Cosine Transform；離散余弦変換）が使用される。直交変換は、アダマール基底や、ウェーブレット基底といった他の変換基底を用いても行うことができる。ＡＶＣでは、整数精度ＤＣＴとアダマール変換を用いて直交変換を行う。前方向予測モードで符号化されたものをＰピクチャと呼ぶ。Ｐピクチャは、他のピクチャに依存するため、Ｉピクチャのように独立して復号することはできないが、Ｉピクチャよりも圧縮率を高めることができる。
【００１３】
双予測符号化では、動き補償器５０３により過去と未来の双方向に限らず、任意の符号化された２枚のフレームを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成した予測ピクチャと入力符号１０１からの符号化ピクチャとの差分を行うことにより生成する差分ピクチャに対して直交変換器１０７による変換を行う。双予測モードで符号化されたピクチャをＢピクチャと呼ぶ。Ｂピクチャは、過去や未来の他のピクチャに依存するため、Ｉピクチャ、Ｐピクチャのように独立して復号することはできないが、Ｉピクチャ、Ｐピクチャよりも更に圧縮率を高めることができる。
【００１４】
各フレーム及び各スライスは、所定の矩形領域として水平方向１６画素、垂直方向１６画素のＭＢ（マクロブロック）毎に予測処理が行われる。また、更に細かいブロック単位やサブブロック単位に分割されて予測処理が行われることもある。以後、話を簡単にするため、予測処理は水平方向８画素，垂直方向８画素のブロック単位で行われるものとして進める。
【００１５】
予測方向はＩピクチャ、Ｐピクチャ、Ｂピクチャにより異なっている。全てのＭＢを独立して符号化するのがＩピクチャである。過去のピクチャからの予測により符号化するモードと、予測をしないでそのＭＢを独立して符号化するモードの２つのモードが存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、予測をしないでそのＭＢを独立して符号化する４つのモードが存在するのがＢピクチャである。
【００１６】
動き推定は、動き推定器５０２により符号化対象となっている符号化ピクチャ内の各ブロックに対して、誤差が最小となる領域を参照ピクチャから特定するために、１／２もしくは１／４画素の精度で所定のパターンマッチングを行い、動き情報を生成する。ここで、動き情報は少なくとも、パターンマッチングによって検出した、それぞれのブロックに対応する領域までの空間位置を特定するための動きベクトル情報と、参照ピクチャを特定するための参照ピクチャ情報とによって構成される。動き補償は、動き補償器５０３により、動き推定器５０２によって推定した動き情報に基づいて、参照ピクチャから予測ピクチャを生成することで行う。
【００１７】
差分器１０６から出力される差分ピクチャに対して直交変換器１０７により直交変換が行われる（ステップＳ７０８）。直交変換は、ＭＰＥＧ−１，−２及び４ではＤＣＴを利用するが、ＡＶＣでは整数精度ＤＣＴ及びアダマール変換を利用する。ＤＣＴでは、余弦関数を基底とした積分変換を有限空間へ離散変換する直交変換である。ＭＰＥＧ−１，−２及び４ではＭＢを４分割して所定の矩形領域である、水平方向８画素，垂直方向８画素のＤＣＴブロックに対して、２次元ＤＣＴを行う。ＡＶＣでは、水平方向４画素，垂直方向４画素のブロックに対して２次元整数精度ＤＣＴ及びアダマール変換を行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うことで係数を低域成分に集中させることができ、その後の量子化器１０８により効率の良い情報量の削減ができる。
【００１８】
直交変換器１０７によって得られたＤＣＴ係数は、量子化器１０８により量子化される（ステップＳ７０９）。量子化は量子化マトリックスというＭＰＥＧ−１，−２及び４では水平方向８画素，垂直方向８画素の２次元周波数を視覚特性で重み付けした値、ＡＶＣでは水平方向４画素，垂直方向４画素の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近い値を得ることになる。
【００１９】
量子化器１０８から出力される量子化されたデータは、逆量子化器１０９によって逆量子化される（ステップＳ７１０）。更に、逆直交変換器１１０によって直交変換器１０７に対応する変換基底により逆直交変換される（ステップＳ７１１）。逆直交変換器１１０から出力された信号は、第１合成器１１１において、スイッチ１０３により選択された、平滑化フィルタ１３１若しくはイントラ予測器１０５からの予測ピクチャと合成された後（ステップＳ７１２）、イントラ予測器１０５に供給される一方、デブロックフィルタ１１２によって、主に直交変換や量子化によって発生したブロック歪みを低減するためのデブロッキング処理を施された後（ステップＳ７１３）、参照ピクチャの準備のためにフレームメモリ１０４に格納される（ステップＳ７１４）。フレームメモリ１０４に格納されたピクチャは、動き推定器５０２及び動き補償器５０３において、予測ピクチャを求めるための参照ピクチャとして使用される。
【００２０】
ここで、符号化装置において特許文献１では、上述の動き補償器５０３によって生成される予測ピクチャ内におけるブロック境界の不連続な状態を改善するために、動き補償器５０３の後段に平滑化フィルタ１３１を設け、ブロック単位の動き補償によって生成される予測ピクチャに対して、そのブロック間に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行うことにより、ブロック間の不連続な状態を緩和させる。
【００２１】
このような処理を行った平滑化後の予測ピクチャはスイッチ５０１を介して差分器１０６に供給されると共に、スイッチ１０３を介して第１合成器１１１に供給されるような構成とすることで、従来のＡＶＣにおいて動き推定器５０２における動き推定の精度が十分ではない場合や、参照ピクチャ内に十分合致するブロックが検出できなかった場合であっても、符号化効率が低下することを軽減することができる。
【００２２】
また、量子化器１０８で量子化されたデータは、エントロピー符号化器１１３で符号化される（ステップＳ７１５）。一般にエントロピー符号化は、ＶＬＣ（Variable Length Code；可変調符号化）器であり、量子化されたデータに対して可変長符号化を行う。可変長符号化においては、一般にＤＣＴ係数の低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。また、このエントロピー符号化器１１３では、ハフマン符号化の代わりに算術符号化を利用することでより高い情報の圧縮を行うことも可能である。
【００２３】
ＡＶＣでは、このエントロピー符号化にＣＡＶＬＣ（Context-Adaptive Variable Length Coding；コンテキスト適応型可変長符号化方式）及びＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号化方式）を用いることで効率を高めている。エントロピー符号化されたデータは、多重化器１１４で多重化され（ステップＳ７１６）、出力伝送器１１５から所定の転送レートで出力符号（符号化データ）１１６として出力される（ステップＳ７１７）。
【００２４】
なお、図２２では、符号化データを蓄積し、符号量を制御するための符号量制御器を備えることもできる。出力される符号化データのマクロブロック毎の符号量は、図２２では図示していない符号量制御器に通知し、通知された符号量と目標とする符号量との誤差符号量を量子化器１０８に通知する。量子化器１０８は、通知された誤差符号量の情報を基に量子化スケールを調整することで符号量を制御することが可能となる。
【００２５】
このようにして出力された出力符号１１６は、符号化ビットストリームとして蓄積媒体やネットワークによる伝送により配信され、端末装置によって再生されることになる。端末装置で再生する場合には、配信された符号化ビットストリームは端末装置の復号化装置によって復号化された後に再生される。
【００２６】
次に、復号化装置について説明する。図２４は従来の復号化装置の一例として、ＡＶＣの復号化装置の構成に、動き補償後の予測ピクチャに対して特許文献１で用いられる平滑化処理を導入した場合の復号化装置の一例のブロック図を示す。この復号化装置の基本動作について、図２５のフローチャートを併せ参照して以下に説明する。
【００２７】
図２４において、符号化ビットストリームは、入力符号３０１として入力受信器３０３にて受信された後（ステップＳ８０１）、多重化分離器３０４によりエントロピー符号化された動きベクトル情報やテクスチャ情報などの各情報に分離され（ステップＳ８０２）、各情報がエントロピー復号化器３０５に通知される。エントロピー復号化器３０５は、エントロピー符号化されたテクスチャ情報を復号する（ステップＳ８０３）。復号化制御器３１３は、エントロピー復号化器３０５の復号化結果に基づき、イントラ復号化するかどうか判定し（ステップＳ８０４）、イントラ復号化すべきピクチャの場合は、イントラ予測器３０８でイントラ予測し（ステップＳ８０５）、それにより得られた予測ピクチャをスイッチ３０２により選択し、イントラ復号化でないときは後述する動き補償器３１７で動き補償され（ステップＳ８０６）、更に平滑化フィルタ３２１で平滑化処理され（ステップＳ８０７）、それにより得られた予測ピクチャをスイッチ３０２により選択する。
【００２８】
すなわち、上記のエントロピー復号化器３０５は、復号化結果を逆量子化器３０６に通知する一方、エントロピー符号化された動きベクトル情報を復号し、動き補償器３１７に通知する。一般にエントロピー復号化は、逆ＶＬＣ器であり、多重化分離されたデータに対して可変長復号化を行う。ＡＶＣでは、逆ＣＡＶＬＣ若しくは逆ＣＡＢＡＣによって可変調復号化を行う。また、動き補償器３１７はエントロピー復号化器３０５から得られる動きベクトル情報に基づいて予測ピクチャを生成する。この予測ピクチャは平滑化フィルタ３２１に供給されて平滑化処理される。
【００２９】
逆量子化器３０６では、エントロピー復号化されたテクスチャ情報に対して量子化値で乗算することにより、元の直交変換係数に近い値を計算した後に、逆直交変換器３０７に供給する（ステップＳ８０８）。逆直交変換器３０７は、供給された直交変換係数を逆直交変換することにより復号された差分ピクチャを得る（ステップＳ８０９）。この逆直交変換は、ＭＰＥＧ−１，−２及び４ではＩＤＣＴ（逆離散余弦変換）を利用する。ＡＶＣでは、整数精度のＩＤＣＴ及びアダマール変換を利用する。
【００３０】
逆直交変換器３０７によって得られた差分ピクチャは、第１合成器３０９に供給され、ここでスイッチ３０２により選択された、平滑化フィルタ３２１若しくはイントラ予測器３０８からの予測ピクチャと合成された後に（ステップＳ８１０）、イントラ予測器３０８に供給されると共に、デブロックフィルタ３１０によりブロック歪み低減のためのデブロッキング処理が施された後（ステップＳ８１１）、フレームメモリ３１１に参照ピクチャとして格納される（ステップＳ８１２）。また、フレームメモリ３１１から復号画像フレームが出力符号３１２として出力される。このようにして、入力符号３０１は、端末装置の復号化装置によって復号化され、映像情報が再生される。
【００３１】
ここで、特許文献１では、符号化ビットストリームを生成した際に動き補償後の予測ピクチャに対して平滑化処理を行う構成を伴う符号化方法によって生成した、符号化ビットストリームに対して復号化を行う場合に、符号化方法で利用した平滑化フィルタ処理と同様の処理を行う平滑化フィルタ３２１を動き補償器３１７の後段に設けることで、正しい復号化処理を行うことができる。
【００３２】
また、近年、自然画像の符号化方式として知られるＪＰＥＧ（Joint Photographic Experts Group）方式の符号化に対して、多重調和局所直交変換、特に多重調和局所余弦変換を用いて更なる符号化効率の向上を試みる手法が提案されている（例えば、非特許文献３参照）。この多重調和局所余弦変換手法では、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求め、原信号と求めた推定信号との差分である残差信号を生成することで、ＤＣＴを導入した際により高い周波数のＤＣＴ係数を早く収束させることが可能となり、結果として符号化効率を向上させることができる。
【００３３】
図２６は、この多重調和局所余弦変換手法の基本概念を示すための概念図である。図２６は、原画像フレーム内のある特定のブロックにおいて、その中のある特定のラインに注目し、注目したラインの原信号と、ブロック境界上にあるその原信号の境界の状態が、この手法によってどのように推移するかを示している。
【００３４】
図２６（ａ）が示す原信号２２０１に対して、ブロック境界２２０４，２２０５に対応する原信号の両端部分における画像信号の傾き２２０２、２２０３を求める。この両端部分の画像信号の傾き２２０２，２２０３を境界条件とする。多重調和局所余弦変換手法では、ブロック内の信号の振る舞いを規定する所定のソースモデルを適用し、ブロック内の信号をブロックの境界条件に基づいて推定信号を生成する。
【００３５】
ここでは、図２６（ｂ）が示すような原信号の両端部分の画像信号の傾きを境界条件として、推定信号２２０６を生成する。所定のソースモデルは、境界条件の下で原信号に最も近い信号を推定することができるモデルを採用することが望ましい。一般に、図２６に示す１次元の信号の場合には、所定のソースモデルとして２次関数を適用することで容易に求めることが可能であるが、ここでは特にこのモデルに限定されるものではないことに注意する。このように所定のソースモデルを導入することで膨大な演算量を費やしてポアソン方程式を数値的に解くことなく、解析的にブロック内の推定信号を生成している。
【００３６】
図２６（ｂ）に示すような境界条件に基づいた推定信号２２０６を生成した後、原信号と推定信号との間で差分を求めることで、図２６（ｃ）が示すような残差信号２２０７を生成する。このようにして求めた残差信号２２０７に対して通常の直交変換であるＤＣＴや量子化及びエントロピー符号化を行うことで、この多重調和局所余弦変換手法を用いた自然画像の符号化が完了する。
【００３７】
図２７及び図２８は、多重調和局所余弦変換手法を用いることで通常のＤＣＴとどのような違いが生じるかを示すためのものである。図２７は、図２６（ａ）の原信号に対して通常のＤＣＴを行った場合の例を示す。図２７中、横軸はｘ方向にのみ注目した際の画像信号のｘ方向のｘ、縦軸は画像信号の１ラインの各画素の値（輝度値）を示す。また、図２７では便宜上、波形を連続関数で示しているが、実際は離散値である（図２８も同様）。
【００３８】
通常、ＤＣＴのタイプは、ＤＣＴ−IIを利用することから、図２７（ａ）が示すようなブロックで区切られた有限な原信号に対してＤＣＴを行う場合には、原信号のブロック境界の片方、ここでは右側を軸として原信号を偶接続し、図２７（ｂ）が示すような原信号の周期波形信号とする。
【００３９】
このような周期波形信号とすることにより、図２７（ｃ）のようなＤＣＴ級数で表現することが可能となる。通常、図２７（ｂ）の点線部２３０１〜２３０３が示すように、原信号を偶接続した場合に、信号の滑らかさが必ずしも十分でない部分が生じる。この影響から、図２７（ｃ）で示すＤＣＴ級数の各振幅であるＤＣＴ係数は、信号の偶接続によって本来原信号がもつ信号成分とは異なる信号成分が混入することから、図２７（ｃ）の点線部２３０４が示すような高い周波数成分領域であっても、ＤＣＴ係数の収束が必ずしも十分ではない状態となる。従って、このようなＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行った場合には相応の符号量が発生することになる。
【００４０】
これに対し、多重調和局所余弦変換手法を用いた場合が図２８である。この手法を用いて図２６（ｂ）が示すような推定信号２２０６を生成した後、図２６（ａ）との差分をとることで図２６（ｃ）及び図２８（ａ）に示すような残差信号２２０７を得る。この残差信号２２０７を利用することで、図２８（ａ）に示すように、図２７（ａ）と同様にこの残差信号２２０７を仮に信号の右側を軸として偶接続すると、図２８（ｂ）に示すような残差信号の周期波形信号が得られる。
【００４１】
得られた残差信号の周期波形信号は、周期接続部分である図２８（ｂ）の点線部２４０１〜２４０３において、図２７（ｂ）に示した原信号の周期波形信号の対応する部分の波形よりも滑らかさが向上すると共に、本来原信号には含まれない不要な信号成分の混入を防ぐことが可能となる。従って、図２８（ｂ）に示した残差信号の周期波形信号を離散周期波形とみなしてＤＣＴを行い、そのスペクトルを表現すると、図２８（ｃ）にIで示すようなＤＣＴ係数列、すなわち残差直交変換係数（ここでは、残差ＤＣＴ係数情報）が得られる。図２８（ｃ）にIで示す残差ＤＣＴ係数情報は、通常のＤＣＴを行った場合の同図（ｃ）にIIで示すＤＣＴ係数列と比較すると、図２８（ｃ）の点線部２４０４が示すような高い周波数成分領域でＤＣＴ係数が十分抑制され、より低い周波数成分をもつＤＣＴ係数に偏った状態となる。
【００４２】
従って、このような多重調和局所余弦変換手法を用いたＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行うことで、通常のＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能となり、符号化効率の向上につながる。
【００４３】
以上が多重調和局所余弦変換手法を用いた場合の基本概念である。ここでは、多重調和局所余弦変換手法の基本概念を簡単に説明するために、原信号の境界条件に基づいて推定信号を生成し、原信号との差分により残差信号を生成した後にＤＣＴを行うことで実現することを示した。
【００４４】
また、ブロック内の原信号と境界条件からの推定信号に対してそれぞれＤＣＴを行ってそれぞれのＤＣＴ係数を求めた後に差分をとることで、上記残差信号に対してＤＣＴを行った場合と同様の結果が得られるような方法が、従来開示されている（例えば、非特許文献３参照）。
【００４５】
以下に簡単ではあるが非特許文献３で示される方法について説明する。まず、入力される画像フレームに対して、数１によって表現される図２９に示される各ブロックとして画像フレームの画像信号をとらえる。
【００４６】
【数１】
0004561688.tif 000002
図２９のΩ（０，０）が現在処理対象となっているブロックであるものとする。また、各ブロック内の各画素は、数２で表現される。
【００４７】
【数２】
0004561688.tif 000003
まず、各ブロックの画像信号に対して直交変換を行う。ここでは数３に示すようなＤＣＴを行う。
【００４８】
【数３】
0004561688.tif 000004
次に、境界条件である画像信号の傾きを周波数領域で議論することができるように、ＤＣＴ級数で表現する。ここでは数４に示した境界条件のＤＣＴ級数展開の式を利用して画像信号の傾きをｇとした場合に数４に示した式中のＧｋのようなＤＣＴ係数で表現する。
【００４９】
【数４】
0004561688.tif 000005
また、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求める。ここで、ポアソン方程式は、処理対象ブロックＱjにおいて、ブロック内の推定信号ｕのラプラシアンである△ｕjがソース項Ｋjとの間において、次式が成立する方程式である。
【００５０】
△ｕj＝Ｋj
ブロック内の推定信号ｕはノイマンの境界条件とＤＣＴ級数表記を用いることで、数６に示す式のように表現することができる。これは、数５で示すような各境界からの推定信号のＤＣＴ級数展開成分を足し合わせることで求められる。
【００５１】
【数５】
0004561688.tif 000006
【００５２】
【数６】
0004561688.tif 000007
このような推定信号ｕに対してＤＣＴを行うことで、次式で表される推定信号Ｕを得ることができる。
【００５３】
Ｕk1,k2＝Ｇk1(1)ηk1,k2＋Ｇk1(2)η*k1,k2
＋Ｇk2(3)ηk2,k1＋Ｇk2(4)η*k2,k1        （１）
ただし、（１）式中、ηk,m、η*k,mは次式で表される。
【００５４】
【数７】
0004561688.tif 000008
ここで、数７に示した式から、η及びη*はブロック内の位置情報のみに依存し、ブロック内の画像信号には依存しないことから、あらかじめ一意に計算して求めておくことができる。したがって推定信号Ｕを求めるためには、傾きのＤＣＴ係数情報Ｇkを求めることが重要となる。
【００５５】
ここで、Ｇkをブロック内の原信号に対してＤＣＴを行った後のＤＣＴ係数情報を利用して求めることを可能にするため、境界条件であるブロック境界における画像信号の傾きを求める際に、数８の式で示されるようなブロック内の各方向の信号成分の平均値を代表値としてブロック間の傾きを算出し、この傾きをブロック境界での傾きとして近似することでｇを求める。
【００５６】
【数８】
0004561688.tif 000009
続いて、この近似されたｇに対してＤＣＴを行うことでＧを求める。ここで、Ｇを求める際に数８に示した式を考慮して数９に示した式変形を行うことで、ＧをＦ、つまりブロック内のＤＣＴ係数情報を利用して求めることが可能となる。
【００５７】
【数９】
0004561688.tif 000010
【非特許文献１】大久保榮  監修、角野眞也、菊池義浩、鈴木輝彦  共編，“Ｈ.２６４／ＡＶＣ教科書”、株式会社インプレス、２００４年８月
【非特許文献２】小野定康、村上篤道、浅井光太郎  共著、“動画像の高能率符号化”、株式会社オーム社、２００５年４月
【非特許文献３】山谷  克、斉藤  直樹，“Improvement of DCT-based Compression Algorithms Using Poisson's Equation”、インターネット＜ＵＲＬ：http://math.ucavis.edu/~saito/publications/phlct.html＞
【特許文献１】再公表特許  ＷＯ２００３／００３７４９
【発明の開示】
【発明が解決しようとする課題】
【００５８】
従来の動画像符号化においては、動き推定を行う際に参照画像フレーム内においてブロックマッチングに相当する所定の探索範囲内の探索を行う。このブロックマッチングにおいては、通常、ＳＡＤ（Sum of Absolute Difference；予測誤差の絶対値誤差和）が最小となるようなブロックを参照画像フレーム内から探し出し、現在の符号化対象となっているブロックからの距離を動きベクトル情報として求める。従って、生成した動きベクトル情報に基づいて動き補償を行うことによって生成する予測ピクチャにおいて、各ブロック間の画像としての特徴、例えば画像に含まれる物体の形状や輪郭、ブロック内の模様であるテクスチャの性質が、ブロック間において滑らかに接続されずにブロック間で不連続な状態となることがある。
【００５９】
ブロック境界の不連続性と、ブロック内のテクスチャ情報の不整合は、一般に動画像のピクチャ間において、動画像内に含まれる物体の動きが大きい場合や、物体自体の変形、複数の物体との間の相互関係の変化、つまり物体の消失や出現が生じている場合に多く発生する。
【００６０】
このようなブロック間の不連続性やテクスチャ情報の不整合を改善するために、前述した特許文献１記載の発明では、ブロック間の境界付近の画素に対して画像信号の平滑化を行うことで、不連続な状態を緩和することを試みている。
【００６１】
しかし、このような試みでは、平滑化の強弱によってブロック間の不連続性を十分緩和することができない場合がある。例えば、平滑化の強度が必要とする強度よりも弱い場合には、ブロック間の不連続性が十分改善することができずに依然としてブロック歪みとして影響が残る。また、平滑化の強度が必要とする強度よりも強い場合には、ブロック境界部分の不連続性は改善されるものの、ブロック内のテクスチャ情報に対しても平滑化を掛けすぎてしまうため、結果としてブロック内のテクスチャ情報が劣化する。
【００６２】
また、平滑化を行った後に、符号化対象となっている動画像フレームとの差分を行うことで生成する差分画像フレームに対して所定の直交変換、量子化及びエントロピー符号化を行うことになる。ここで、動き推定において最適なブロックを選択した後に動き補償によって生成した予測ピクチャに対して平滑化を行うため、必ずしも最適なブロックとはならず、平滑化後に同等の品質をもつブロックは、参照ピクチャ内に他にも存在する可能性がある。従って、動きベクトル情報や量子化後の直交変換係数情報の符号量を考慮して、より最適な動きベクトル情報を求めようとすると、動き推定、動き補償、平滑化処理を繰り返し行って最適な動きベクトル情報を決定する必要があり、多くの演算量を費やさなければならない。
【００６３】
本発明は以上の点に鑑みなされたもので、平滑化処理を行うことなく、一般的に用いられる動き推定及び動き補償によって生じる、ブロック間の不連続な状態を解消し、ブロック境界部分においても、含まれる画像信号の連続性が維持されるような予測ピクチャを生成し得る動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラムを提供することを目的とする。
【００６４】
また、本発明の他の目的は、発生する情報量に応じて、生成される差分ピクチャを情報量が少なくなるように随時切り替えることで、符号化ビットストリーム全体としての符号化効率を向上させることが可能な動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラムを提供することにある。
【課題を解決するための手段】
【００６５】
上記の目的を達成するため、第１の発明の動画像符号化装置は、入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、差分ピクチャに対して符号化を行う動画像符号化装置において、符号化ピクチャ内の予測対象としている矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ参照ピクチャの境界部分を参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に符号化ピクチャ内の矩形領域の境界部分から参照ピクチャ内の特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、境界部動きベクトル情報に基づいて参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、処理対象になっている符号化ピクチャ内における矩形領域内の信号成分と、領域境界動き補償手段が生成する第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、比較する際の基準となる差分情報である基準差分情報を生成し、参照ピクチャ内で動きベクトル探索対象となっている矩形領域内の信号成分と、第１の予測ピクチャ内における矩形領域内の信号成分との差分演算を行うことで、動きベクトル探索時の比較対象となる探索対象差分情報を生成し、その探索対象差分情報と基準差分情報の信号成分とを比較しながら適合する矩形領域を参照ピクチャ内で動きベクトル探索を行い、適合した参照ピクチャ内の矩形領域までの動きベクトル情報である差分成分動きベクトル情報を生成する領域内差分動き推定手段と、差分成分動きベクトル情報に基づいて、参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、第１の予測ピクチャと予測残差ピクチャとを合成することで第２の予測ピクチャを生成する合成手段と、第２の予測ピクチャと符号化ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、復号差分ピクチャと少なくとも第２の予測ピクチャとを合成して局部復号画像信号を生成する局部復号画像信号生成手段と、少なくとも１ピクチャ分の局部復号画像信号を参照ピクチャとして保持すると共に、保持しているその参照ピクチャを領域境界動き推定手段、領域境界動き補償手段、領域内差分動き推定手段及び領域内差分動き補償手段へそれぞれ供給する記憶手段と、少なくとも量子化後情報、境界部動きベクトル情報、及び差分成分動きベクトル情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、所定の構文構造に基づいて符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段とを少なくとも備えることを特徴とする。
【００６６】
この発明では、ある特定の領域における境界条件を確定することができれば、その領域の境界条件に基づいてポアソン方程式を満たすような推定信号を生成することができるという特徴を利用するために、現在動画像の符号化対象となっている符号化ピクチャ内の矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ参照ピクチャの境界部分を参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に符号化ピクチャ内の矩形領域の境界部分から参照ピクチャ内の特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成することで領域境界動き推定を行う。そして、この境界部動きベクトル情報に基づいて推定信号を生成する際に必要な境界条件を特定してポアソン方程式に適用することで予測信号を生成し、第１の予測ピクチャを生成することで領域境界動き補償を行う。
【００６７】
更に、この発明では、符号化ピクチャ内における矩形領域内の信号成分と、第１の予測ピクチャ内における矩形領域内の信号成分との差分演算により基準差分情報を生成し、また、参照ピクチャ内で動きベクトル探索対象となっている矩形領域内の信号成分と、第１の予測ピクチャ内における矩形領域内の信号成分との差分演算により、動きベクトル探索時の比較対象となる探索対象差分情報を生成し、これら探索対象差分情報と基準差分情報の信号成分とを比較しながら、適合する矩形領域を参照ピクチャ内から動きベクトル探索を行い、適合した参照ピクチャ内の矩形領域までの動きベクトル情報である差分成分動きベクトル情報を生成する領域内差分動き推定を行う。そして、この差分成分動きベクトル情報に基づいて、参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成することで領域内差分動き補償を行う。このようにして得られた、第１の予測ピクチャと予測残差ピクチャとを合成することで第２の予測ピクチャを生成する。
【００６８】
また、上記の目的を達成するため、第２の発明の動画像符号化装置は、符号化ピクチャ内の各矩形領域において記憶手段から取得した参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、動き推定手段により生成された動きベクトル情報に基づいて、記憶手段から取得した参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、第４の予測ピクチャと符号化ピクチャとの差分から第２の差分ピクチャを生成する第２の差分手段と、第１の差分ピクチャと第２の差分ピクチャとを所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、差分判定手段が選択した差分ピクチャ及びその選択した差分ピクチャの生成要素である予測ピクチャを所定の手段に供給するための制御を行う符号化制御手段とを、第１の発明に追加したことを特徴とする。
【００６９】
この発明では、所定の矩形領域単位による動きベクトル探索を行って動きベクトル情報を生成する動き推定、及び生成したその動きベクトル情報に基づいて動き補償を行うことで第４の予測ピクチャを得た後、符号化ピクチャと第２の予測ピクチャとの差分から第１の差分ピクチャを生成すると共に、符号化ピクチャと第４の予測ピクチャとの差分から第２の差分ピクチャを生成し、それら第１の差分ピクチャと第２の差分ピクチャとを差分判定手段により所定の判定条件に基づいて比較し、情報量の少ない方の差分ピクチャを選択し、後段の直交変換に供給するようにしたため、生成される差分ピクチャを情報量が少なくなるように随時切り替えることができる。
【００７０】
また、上記の目的を達成するため、第３の発明の動画像符号化プログラムは、入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、差分ピクチャに対して符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、コンピュータを、第１の発明の動画像符号化装置の構成要素の各手段として機能させることを特徴とする。また、上記の目的を達成するため、第４の発明の動画像符号化プログラムは、コンピュータを第３の発明の動画像符号化装置の構成要素の各手段として機能させることを特徴とする。
【００７１】
また、上記の目的を達成するため、第５の発明の動画像復号化装置は、第１又は第２の発明の動画像符号化装置、若しくは第３又は第４の発明の動画像符号化プログラムを実行させたコンピュータによって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、エントロピー復号化手段から取得した量子化後情報に対して所定の量子化パラメータに基づく所定の逆量子化を行って逆量子化後情報を生成し、その逆量子化後情報に対して所定の逆直交変換を行うことで、復号差分ピクチャを生成する復号差分ピクチャ生成手段と、復号差分ピクチャと少なくとも合成用予測ピクチャとを合成して局部復号画像信号を生成する第１の合成手段と、少なくとも１ピクチャ分の局部復号画像信号を参照ピクチャとして保持する記憶手段と、エントロピー復号化手段から取得した境界部動きベクトル情報に基づいて、参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化対象の動画像信号である符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、エントロピー復号化手段から取得した差分成分動きベクトル情報に基づいて、参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する領域内差分動き補償手段と、第１の予測ピクチャと予測残差ピクチャとを合成することで、第１の合成手段に上記の合成用予測ピクチャとして供給される第２の予測ピクチャを生成する第２の合成手段とを少なくとも備えることを特徴とする。
【００７２】
この発明では、第１又は第２の発明の動画像符号化装置、若しくは第３又は第４の発明の動画像符号化プログラムを実行させたコンピュータによって生成した符号化ビットストリームを所定の伝送路または記録媒体から取得してエントロピー復号化することで、少なくとも、量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成し、その量子化後情報に対して逆量子化及び逆直交変換を順次に行うことで復号差分ピクチャを生成し、その復号差分ピクチャと少なくとも合成用予測ピクチャとを合成して局部復号画像信号を生成する。上記の合成用予測ピクチャは、境界部動きベクトル情報に基づいて、参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化対象の動画像信号である符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで取得した第１の予測ピクチャと、予測残差ピクチャとを合成することで生成する。この予測残差ピクチャは、差分成分動きベクトル情報に基づいて、参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から生成される。
【００７３】
また、上記の目的を達成するため、第６の発明の動画像復号化装置は、第５の発明のエントロピー復号化手段は、更に動きベクトル情報を復号する機能を有し、更にエントロピー復号化手段から取得した動きベクトル情報に基づいて参照ピクチャから対応する矩形領域を特定し、第４の予測ピクチャを生成する動き補償手段と、エントロピー復号化手段により復号された、構文構造を構成するために必要なパラメータ情報から復号化制御に必要な復号化制御情報を取得し、その復号化制御情報に従って第１の合成手段に供給する合成用予測ピクチャとして、第２の予測ピクチャ及び第４の予測ピクチャの一方を選択する復号化制御手段と備えることを特徴とする。
【００７４】
また、上記の目的を達成するため、第７の発明の動画像復号化プログラムは、第１又は第２の発明の動画像符号化装置、若しくは第３又は第４の発明の動画像符号化プログラムを実行させたコンピュータによって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力することを、コンピュータにより実行させるための動画像復号化プログラムであって、コンピュータを、第５の発明の動画像復号化装置の構成要素の各手段として機能させることを特徴とする。また、上記の目的を達成するため、第８の発明の動画像復号化プログラムは、コンピュータを第６の発明の動画像復号化装置の構成要素の各手段として機能させることを特徴とする。
【発明の効果】
【００７５】
第１又は第３の発明によれば、第１の予測ピクチャを生成することで領域境界動き補償を行うと共に、差分成分動きベクトル情報を生成する領域内差分動き推定を行い、この差分成分動きベクトル情報に基づいて、参照ピクチャから対応する矩形領域を特定し、特定した参照ピクチャ内の矩形領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成することで領域内差分動き補償を行い、これにより得られた第１の予測ピクチャと予測残差ピクチャとを合成することで第２の予測ピクチャを生成し、その第２の予測ピクチャと符号化ピクチャとの差分から生成した第１の差分ピクチャに対して所定の直交変換を行うようにしたため、一般的に用いられる動き推定及び動き補償によって生じる、ブロック間の不連続な状態を解消し、ブロック境界部分においても、含まれる画像信号の連続性が維持されるような予測ピクチャを生成することができるという効果を生じる。
【００７６】
また、第１又は第３の発明によれば、第１の予測ピクチャでは十分予測ができなかった、残りの画像信号成分を、再度参照ピクチャから予測することで予測残差ピクチャを生成し、第１の予測ピクチャと合成することで第２の予測ピクチャを生成するようにしたため、更に符号化ピクチャに近い予測ピクチャを生成することができるという効果を生じる。
【００７７】
更に、第１又は第３の発明によれば、矩形領域間の不連続な状態を解消し、連続的な画像信号を含む、符号化ピクチャにより近い第２の予測ピクチャが得られることで、その後の予測ピクチャと符号化ピクチャとの差分によって生成される差分ピクチャの品質に対して、動き推定及び動き補償が与える影響を排除し、その後の差分ピクチャが供給される直交変換及び量子化の効率を向上させるという効果が得られる。
【００７８】
また更に、第１又は第３の発明によれば、領域境界動き推定を行う際に、矩形領域の各辺に対応する境界条件である画像信号の傾きを、矩形領域の辺毎に別々に動きベクトル探索し、それぞれの境界部動きベクトル情報を生成することで、符号化ピクチャと参照ピクチャとの間で、ピクチャ内に含まれる画像信号が変形した場合であっても、各辺に対応する別々の境界部動きベクトル情報から特定される画像信号の傾きから、従来の動き補償よりも品質の高い第１の予測ピクチャを生成すると共に、更に符号化ピクチャに近付けるための予測残差ピクチャを合成することで、より符号化効率を向上させることができる。
【００７９】
また、第２又は第４の発明によれば、所定の矩形領域単位による動きベクトル探索を行って動きベクトル情報を生成する動き推定、及び生成したその動きベクトル情報に基づいて動き補償を行うことで第４の予測ピクチャを得た後、符号化ピクチャと第２の予測ピクチャとの差分から第１の差分ピクチャを生成すると共に、符号化ピクチャと第４の予測ピクチャとの差分から第２の差分ピクチャを生成し、それら第１の差分ピクチャと第２の差分ピクチャとを差分判定手段により所定の判定条件に基づいて比較し、情報量の少ない方の差分ピクチャを選択することにより、生成される差分ピクチャを発生する情報量が少なくなるように随時切り替えるようにしたため、符号化ビットストリーム全体としての符号化効率を向上させることができる。
【００８０】
また、第５乃至第８の発明のいずれかによれば、本発明の動画像符号化装置又は動画像符号化プログラムによって生成した符号化ビットストリームを、所定の伝送路または記録媒体から取得し、本発明の動画像復号化装置又は本発明の動画像復号化プログラムを用いたコンピュータによって復号化することで、従来よりも少ない符号量をもつ符号化ビットストリームを効率良く伝送、受信、再生することを可能にすることができるという特長を有する。
【発明を実施するための最良の形態】
【００８１】
次に、発明を実施するための最良の各実施の形態について図面と共に説明する。
【００８２】
（第１の実施の形態）
まず、本発明の動画像符号化装置及び動画像復号化装置の第１の実施の形態について説明する。図１は本発明になる動画像符号化装置の第１の実施の形態のブロック図を示す。同図中、図２２と同一構成部分には同一符号を付してある。図１に示すように、本実施の形態の動画像符号化装置は、スイッチ１０２、スイッチ１０３、フレームメモリ１０４、直交変換器１０７、量子化器１０８、逆量子化器１０９、逆直交変換器１１０、第１合成器１１１、エントロピー符号化器１１３、多重化器１１４、出力伝送器１１５、符号化制御器１１７、領域境界動き推定器１１８、領域境界動き補償器１１９、第１差分器１２０、領域内差分動き推定器１２１、領域内差分動き補償器１２２、第２合成器１２３、第２差分器１２４を少なくとも備えるように構成する。第２差分器１２４は図２２に示した差分器１０６と同様の動作を行う。更に、図１のように、イントラ予測器１０５、デブロックフィルタ１１２を備えるような構成とすることが望ましい。
【００８３】
次に、図１に示す本発明の動画像符号化装置の第１の実施の形態の各構成部分の詳細について以下に説明する。スイッチ１０２は、第１差分器１２０から供給される第１の差分ピクチャ（符号化ピクチャと第２の予測ピクチャから生成）と、第２差分器１２４から供給される第２の差分ピクチャ（符号化ピクチャとイントラ予測による第３の予測ピクチャから生成）とを符号化制御器１１７の指示に応じて切り替えることで必要な差分ピクチャを直交変換器１０７に供給する機能を有する。
【００８４】
スイッチ１０３は、第２合成器１２３から供給される第２の予測ピクチャと、イントラ予測器１０５から供給される第３の予測ピクチャとを符号化制御器１１７の指示に応じて切り替えることで、必要な予測ピクチャを第１合成器１１１に供給する機能を有する。
【００８５】
直交変換器１０７は、スイッチ１０２から差分ピクチャを取得する機能と、取得した差分ピクチャに対して、所定の直交変換を行うことで直交変換係数情報を生成し、量子化器１０８に供給する機能とを有する。ここで、所定の直交変換で用いられる直交変換基底は、ＤＣＴ（離散余弦変換）基底であり、生成される直交変換係数情報はＤＣＴ係数情報であることが望ましい。本実施の形態においては以後、直交変換基底にＤＣＴを用いるものとして話を進めるが、この直交変換基底によって本発明が特に限定されるものではないことに注意する。
【００８６】
量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行うことで、量子化後情報を生成し、逆量子化器１０９及びエントロピー符号化器１１３に供給する機能を有する。逆量子化器１０９は、量子化器１０８から量子化後情報を取得する機能と、取得した量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成し、逆直交変換器１１０に供給する機能とを有する。
【００８７】
逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得する機能と、取得した逆量子化後情報に対して所定の逆直交変換を行うことで復号差分ピクチャを生成し、第１合成器１１１に供給する機能とを有する。第１合成器１１１は、逆直交変換器１１０から復号差分ピクチャを取得し、スイッチ１０３から予測ピクチャを取得する機能を有する。取得した復号差分ピクチャと予測ピクチャとを合成することで局部復号画像信号である局部復号ピクチャ（以下、単に復号ピクチャという）を生成し、図１においては、イントラ予測器１０５及びデブロックフィルタ１１２に供給する機能を有する。デブロックフィルタ１１２は、第１合成器１１１から復号ピクチャを取得し、所定のデブロックフィルタ処理を行った後に、デブロックフィルタ処理後の復号ピクチャを参照ピクチャとして格納するためにフレームメモリ１０４に供給する機能を有する。
【００８８】
フレームメモリ１０４は、図１においては、デブロックフィルタ１１２から、デブロックフィルタ処理後の復号ピクチャを取得し、参照ピクチャとして格納する機能を有する。また、入力符号である符号化ピクチャについても、符号化モードに応じて参照ピクチャとして格納するような機能を有しても構わない。また、フレームメモリ１０４は、参照ピクチャを必要とする各部に対して要求された参照ピクチャを供給する機能を有する。図１におけるフレームメモリ１０４では、要求に応じて必要としている参照ピクチャをイントラ予測器１０５、領域境界動き推定器１１８、領域境界動き補償器１１９、領域内差分動き推定器１２１、領域内差分動き補償器１２２、に少なくとも供給する機能を有する。
【００８９】
イントラ予測器１０５は、第１合成器１１１から復号ピクチャを取得し、所定のイントラ予測を行うことで第３の予測ピクチャを生成する機能を有する。なお、イントラ予測に利用するピクチャをフレームメモリ１０４から取得するような構成であっても構わない。また、イントラ予測器１０５は、生成した第３の予測ピクチャを、スイッチ１０３の端子ｂと第２差分器１２４に供給する機能を有する。
【００９０】
エントロピー符号化器１１３は、量子化器１０８から量子化後情報と、領域境界動き推定器１１８から境界部動きベクトル情報と、領域内差分動き推定器１２１から差分成分動きベクトル情報と、を少なくとも取得する機能を有する。ここで、エントロピー符号化器１１３は、その他の所定の構文構造を構成するために必要なパラメータ情報などを符号化装置の各部から取得する機能を有することが望ましい。所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。エントロピー符号化器１１３は、取得した各種の情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成し、多重化器１１４に供給する機能を更に有する。
【００９１】
多重化器１１４は、エントロピー符号化器１１３から符号化ビット列を取得し、所定の構文構造に基づいて所定の多重化を行うことで符号化ビットストリームを生成すると共に、符号化ビットストリームを出力伝送器１１５に供給する機能を有する。出力伝送器１１５は、多重化器１１４から符号化ビットストリームを取得し、その取得した符号化ビットストリームを出力符号として所定の伝送路や所定の記録媒体などに出力するため、所定のパケットヘッダ及びペイロードをもつ構成とするようにパケット化処理を行い、パケット情報を生成する機能を有する。
【００９２】
ここで、パケット情報は、パケットヘッダ及びペイロードを１単位として扱う。通常、取得した符号化ビットストリームをより細かい単位に分割し、ペイロードに格納し、所定のパケットヘッダを付加することでパケット化処理を行う。また、出力伝送器１１５は、生成した各パケット情報を出力符号として所定の出力先である伝送路や記録媒体の状態に応じて出力する機能を有する。
【００９３】
符号化制御器１１７は、本実施の形態の符号化装置の動作を制御するために、符号化装置を構成する各部に対して符号化に必要な各種パラメータ情報を供給すると共に、使用した各種パラメータ情報をエントロピー符号化器１１３に供給する機能と、各部の入出力の制御を行うと共に、少なくともスイッチ１０２、スイッチ１０３の切り替え制御を行う機能とを有する。
【００９４】
領域境界動き推定器１１８は、入力符号１０１として入力された動画像フレームにおいて符号化対象となっている符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャを取得する機能を有する。領域境界動き推定器１１８では、ある特定の領域における境界条件を確定することができれば、その領域の境界条件に基づいてポアソン方程式を満たすような推定信号を生成することができるという特徴を利用するために、取得した符号化ピクチャを所定のブロック領域で分割し、符号化ピクチャ内におけるブロック間の各辺の境界条件である各辺の画像信号の傾きを算出する機能を有する。
【００９５】
また、領域境界動き推定器１１８は、符号化ピクチャ内における各辺の画像信号の傾きに最も近い画像信号の傾きを持つ位置を、各辺に対応する画像信号の傾きを算出しながら、参照ピクチャ内の動きベクトル探索を行うことによって特定し、境界部動きベクトル情報を生成する、領域境界動き推定を行うと共に、生成した境界部動きベクトル情報を領域境界動き補償器１１９に供給する機能を有する。更に、領域境界動き推定器１１８は、生成した境界部動きベクトル情報をエントロピー符号化器１１３に供給する機能を有する。
【００９６】
領域境界動き補償器１１９は、領域境界動き推定器１１８から境界部動きベクトル情報と、フレームメモリ１０４から参照ピクチャを取得する機能と、取得した境界部動きベクトル情報に基づいて、ブロック内の推定信号を生成する際に必要となる、各辺の画像信号の傾きを、参照ピクチャ内から特定し、特定した各辺の画像信号の傾きを境界条件としてポアソン方程式に適用することでブロック内の予測信号を生成し、ピクチャ内の各ブロックの予測信号である第１の予測ピクチャを生成することで領域境界動き補償を行う機能とを有する。また、領域境界動き補償器１１９は、生成した第１の予測ピクチャを、第２合成器１２３、領域内差分動き推定器１２１、領域内差分動き補償器１２２、に供給する機能を有する。
【００９７】
第１差分器１２０は、入力符号１０１である動画像の符号化対象となっている符号化ピクチャと、第２合成器１２３から第２の予測ピクチャを取得する機能と、取得した符号化ピクチャと第２の予測ピクチャとの差分により第１の差分ピクチャを生成し、生成した第１の差分ピクチャをスイッチ１０２の端子ａに供給する機能とを有する。
【００９８】
領域内差分動き推定器１２１は、入力符号１０１である動画像の符号化対象となっている符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャを取得する機能と、領域境界動き補償器１１９から第１の予測ピクチャを取得する機能とを有する。また、領域内差分動き推定器１２１は、処理対象になっている符号化ピクチャ内における矩形領域内、つまりここではブロック内の信号成分と、領域境界動き補償器１１９が生成する第１の予測ピクチャ内におけるブロック内の信号成分との差分演算を行うことで、比較を行う際の基準となる差分情報である基準差分情報を生成する機能を有する。
【００９９】
また、領域内差分動き推定器１２１は、参照ピクチャ内で動きベクトル探索対象となっているブロック内の信号成分と、第１の予測ピクチャ内におけるブロック内の信号成分との差分演算を行うことで、動きベクトル探索時の比較対象となる探索対象差分情報を生成し、探索対象差分情報と上記基準差分情報の信号成分とを比較しながら適合する領域を参照ピクチャ内から動きベクトル探索を行い、適合した参照ピクチャ内の矩形領域までの動きベクトル情報である差分成分動きベクトル情報を生成する機能を有する。
【０１００】
ここで、差分成分動きベクトル情報を生成するための動きベクトル探索は、比較対象となる領域を、所定の動き精度で移動させながら、適合する領域を参照ピクチャ内の探索範囲内から随時比較を繰り返しながら特定していく。更に、領域内差分動き推定器１２１は、生成した差分成分動きベクトル情報を、領域内差分動き補償器１２２、エントロピー符号化器１１３に供給する機能を有する。
【０１０１】
領域内差分動き補償器１２２は、フレームメモリ１０４から対応する参照ピクチャと、領域境界動き補償器１１９から第１の予測ピクチャと、領域内差分動き推定器１２１から差分成分動きベクトル情報を取得する機能と、取得した差分成分動きベクトル情報に基づいて、参照ピクチャから対応するブロック領域を特定し、特定した参照ピクチャ内のブロック領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する機能と、生成した予測残差ピクチャを、第２合成器１２３に供給する機能とを有する。
【０１０２】
第２合成器１２３は、領域境界動き補償器１１９から第１の予測ピクチャと、領域内差分動き補償器１２２から予測残差ピクチャを取得する機能と、取得した第１の予測ピクチャと予測残差ピクチャとを合成し、第２の予測ピクチャを生成する機能と、生成した第２の予測ピクチャを、スイッチ１０３の端子ａ側と、第１差分器１２０に供給する機能とを有する。
【０１０３】
第２差分器１２４は、入力符号１０１である符号化ピクチャとイントラ予測器１０５から第３の予測ピクチャを取得する機能と、その取得した符号化ピクチャと第３の予測ピクチャとの差分から第２の差分ピクチャを生成し、スイッチ１０２の端子ｂに供給する機能とを有する。
【０１０４】
次に、図１に示す本発明の動画像符号化装置の第１の実施の形態の動作を図２のフローチャートに従って説明する。まず、入力符号１０１として、動画像の符号化対象となっているフレームもしくはフィールドを符号化ピクチャとして準備する（ステップＳ１０１）。続いて、符号化制御器１１７は、現在の符号化装置の符号化モードがイントラ符号化であるか、イントラ符号化でないかを判定する（ステップＳ１０２）。
【０１０５】
イントラ符号化である場合、符号化制御器１１７は、符号化装置の各部に対してイントラ符号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ１０２を端子ｂに接続し、スイッチ１０３を端子ｂに接続することで、イントラ符号化を行うための準備をする。その後、イントラ予測器１０５によって所定のイントラ予測を行う（ステップＳ１０３）。その後、ステップＳ１０８に進む。
【０１０６】
一方、イントラ符号化でない場合、インター符号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ１０２を端子ａに接続し、スイッチ１０３を端子ａに接続することで、インター符号化を行うための準備をする。その後、領域境界動き推定器１１８は、入力符号として準備された符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャとを取得し、所定の領域境界動き推定を行う（ステップＳ１０４）。これにより生成された境界部動きベクトル情報は、領域境界動き補償器１１９に供給されると共に、エントロピー符号化器１１３に供給される。
【０１０７】
領域境界動き補償器１１９は、領域境界動き推定器１１８から境界部動きベクトル情報と、フレームメモリ１０４から対応する参照ピクチャとを取得し、所定の領域境界動き補償を行う（ステップＳ１０５）。これにより生成された第１の予測ピクチャは、第２合成器１２３、領域内差分動き推定器１２１及び領域内差分動き補償器１２２に供給される。
【０１０８】
領域内差分動き推定器１２１は、符号化対象となる符号化ピクチャを入力符号１０１として取得すると共に、フレームメモリ１０４から対応する参照ピクチャと、領域境界動き補償器１１９から第１の予測ピクチャとを取得し、領域内差分動き推定を行う（ステップＳ１０６）。これにより、差分成分動きベクトル情報が生成され、その差分成分動きベクトル情報は、領域内差分動き補償器１２２、エントロピー符号化器１１３に供給される。
領域内差分動き補償器１２２は、フレームメモリ１０４から対応する参照ピクチャと、領域境界動き補償器１１９から第１の予測ピクチャと、領域内差分動き推定器１２１から差分成分動きベクトル情報とをそれぞれ取得し、領域内差分動き補償を行う（ステップＳ１０７）。これにより、予測残差ピクチャが生成され、その予測残差ピクチャは、第２合成器１２３に供給される。
【０１０９】
その後、第２合成器１２３において、領域境界動き補償器１１９からの第１の予測ピクチャと、領域内差分動き補償器１２２からの予測残差ピクチャとが合成されて第２の予測ピクチャが生成され、その第２の予測ピクチャがスイッチ１０３の端子ａ側と、第１差分器１２０に供給される。その後、ステップＳ１０８に進む。
【０１１０】
ステップＳ１０８では、イントラ予測器１０５において生成された第３の予測ピクチャ若しくは第２合成器１２３において生成された第２の予測ピクチャと、入力符号１０１である符号化ピクチャとの差分演算を行う（ステップＳ１０８）。ここで、符号化モードがイントラ符号化である場合には、第２差分器１２４が、符号化ピクチャとイントラ予測器１０５が生成した第３の予測ピクチャとを取得し、取得した符号化ピクチャと第３の予測ピクチャとの差分演算を行うことにより、第２の差分ピクチャを生成し、端子ｂに接続されているスイッチ１０２を介して直交変換器１０７に供給する。
【０１１１】
一方、符号化モードがインター符号化である場合には、第１差分器１２０が、符号化ピクチャと第２合成器１２３が生成した第２の予測ピクチャとを取得し、取得した符号化ピクチャと第２の予測ピクチャとの差分演算を行うことにより、第１の差分ピクチャを生成し、端子ａに接続されているスイッチ１０２を介して直交変換器１０７に供給する。
【０１１２】
直交変換器１０７は、スイッチ１０２により選択された差分ピクチャを取得し、所定の直交変換を行う（ステップＳ１０９）。これにより、直交変換係数情報（ここではＤＣＴ係数情報）が生成され、そのＤＣＴ係数情報が、直交変換器１０７から量子化器１０８に供給される。
【０１１３】
量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行う（ステップＳ１１０）。これにより、量子化後情報が生成され、その量子化後情報は、逆量子化器１０９及びエントロピー符号化器１１３にそれぞれ供給される。逆量子化器１０９は、量子化器１０８から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ１１１）。これにより、逆量子化後情報が生成され、その逆量子化後情報が逆直交変換器１１０に供給される。
【０１１４】
逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得し、所定の逆直交変換を行い（ステップＳ１１２）、復号差分ピクチャを生成して第１合成器１１１に供給する。第１合成器１１１は、逆直交変換器１１０から復号差分ピクチャと、スイッチ１０３から予測ピクチャを取得し、取得した復号差分ピクチャと予測ピクチャとを合成し（ステップＳ１１３）、局部復号画像信号である復号ピクチャを生成し、その復号ピクチャを、デブロックフィルタ１１２に供給する。また、符号化モードがイントラ符号化である場合には、復号ピクチャは更にイントラ予測器１０５に供給される。
【０１１５】
デブロックフィルタ１１２は、第１合成器１１１から復号ピクチャを取得し、所定のデブロックフィルタ処理を行い（ステップＳ１１４）、デブロックフィルタ処理後の復号ピクチャを生成する。生成されたデブロックフィルタ処理後の復号ピクチャは、次の符号化を行う際の参照ピクチャを準備するために、参照ピクチャとしてフレームメモリ１０４に格納される（ステップＳ１１５）。
【０１１６】
その後、一連の符号化結果を出力するために、エントロピー符号化器１１３は、少なくとも量子化器１０８から量子化後情報、領域境界動き推定器１１８から境界部動きベクトル情報、領域内差分動き推定器１２１から差分成分動きベクトル情報を取得し、所定のエントロピー符号化を行い（ステップＳ１１６）、符号化ビット列を生成する。ここで、エントロピー符号化器１１３は、更に符号化時に利用した各種パラメータ情報についても符号化装置の各部から取得し、所定のエントロピー符号化を行うようにすると更によい。生成した符号化ビット列は、多重化器１１４に供給される。
【０１１７】
多重化器１１４は、エントロピー符号化器１１３から符号化ビット列を取得し、所定の構文構造に基づいて多重化を行い（ステップＳ１１７）、符号化ビットストリームを生成する。生成した符号化ビットストリームは、出力伝送器１１５に供給される。出力伝送器１１５は、多重化部１１４から多重化ビットストリームを取得し、所定のパケット化処理などを行った後に、所定の伝送路もしくは所定の記録媒体に符号化結果を出力伝送する（ステップＳ１１８）。
【０１１８】
以上のようなステップＳ１０１〜Ｓ１１８の処理を行うことで、本発明の符号化装置の第１の実施の形態において、ある時点での符号化対象となっている符号化ピクチャの符号化処理が完了する。このように、本実施の形態では、ブロック境界の境界条件に基づいてポアソン方程式から推定信号を生成し、残りの残差信号に対しても動き推定を行うことで更なる予測を行って、第２の予測ピクチャを生成することでブロック間の不連続性を解消し、符号化効率を向上することができる。
【０１１９】
次に、本実施の形態の動画像符号化装置が備える領域境界動き推定器１１８による領域境界動き推定処理、及び領域境界動き補償器１１９が備える領域境界動き補償処理について、図１３から図１６を用いて詳細に説明する。
【０１２０】
図１３は、一般的なブロックマッチングによる動きベクトル探索を行うことで、動きベクトル情報を生成する、動き推定の様子を示した概念図である。ここで、ブロックマッチングで用いる所定の矩形領域の大きさは、説明を簡単にするために、便宜上、横方向に４画素、縦方向に４画素のブロックであるものとする。
【０１２１】
まず、符号化ピクチャ１３０１を各ブロックに分割し、現在動きベクトル探索を行おうとしている、予測対象１３０３のブロックに注目する。ここで、予測対象１３０３のブロックと、その周囲のブロックとの間にある境界部分をΓ（１）、Γ（２）、Γ（３）、Γ（４）と表す。また、参照ピクチャ１３０２において、符号化ピクチャ１３０１内の予測対象１３０３のブロックと同じ空間位置に存在する領域を基準位置１３０４とし、この基準位置１３０４から動きベクトル探索を開始する。
【０１２２】
動きベクトル探索は、通常、参照ピクチャ１３０２内の探索範囲１３０５を設定し、この探索範囲１３０５内で１／２画素精度もしくは１／４画素精度でのブロックマッチングを行う。ブロックマッチングでは、通常、ＳＡＤ（Sum of Absolute Difference；予測誤差の絶対値誤差和）が最小となるようなブロックを、参照ピクチャ１３０２の探索範囲１３０５内から探し出すことで適合したブロック１３０６を特定する。その後、予測対象１３０３のブロックと、適合したブロック１３０６との空間位置の違いを動きベクトル情報１３０７として求めることで、動き推定を行う。
【０１２３】
従って、生成した動きベクトル情報１３０７に基づいて参照ピクチャ１３０２内の適合したブロック１３０６を特定し、このブロック１３０６内の画素情報を複製し、予測ピクチャの対応する空間位置に配置することを予測ピクチャ内の各ブロックに対して行うことにより動き補償を行う。このようにブロック単位で動き補償を行うため、各ブロック間の画像としての特徴、例えば画像に含まれる物体の形状や輪郭、ブロック内の模様であるテクスチャの性質が、ブロック間において滑らかに接続されずにブロック間で不連続な状態となることがある。
【０１２４】
図１４は、図１の領域境界動き推定器１１８が備える領域境界動き推定処理の様子を示した概念図である。この領域境界動き推定では、動きベクトル探索の探索単位を、図１４に示すように、符号化ピクチャ１４０１の予測対象としているブロックの境界部分Γ（１）、Γ（２）、Γ（３）、Γ（４）を探索単位とする。ここでは、Γ（１）を予測対象１４０３として領域境界動き推定を行う場合について説明する。
【０１２５】
まず、図１５（ａ）に示すように、符号化ピクチャ１４０１において、予測対象１４０３であるΓ（１）のブロック境界部分の境界条件を求める。このブロック境界部分の境界条件は、境界部分の画像信号の傾きを境界条件とすることが望ましい。ここでは、一例として図１５（ｂ）に示すように、境界部分の仮想画素を×印で表現し、この×印の仮想画素に隣接する画素から図１５（ｃ）に示すように×印の仮想画素の傾き特定するためのｄＹ、ｄＶを算出している。
【０１２６】
このようにして、符号化ピクチャ１４０１内の予測対象１４０３であるブロック境界部分の境界条件である、境界部分の傾き情報を求める。そして、本実施の形態では、求めた境界部分の傾き情報が理想的な傾き情報であるものとして、参照ピクチャの探索範囲の中から、この理想的な傾き情報に最も近い境界部分を特定する。
【０１２７】
すなわち、図１４において、まず、符号化ピクチャ１４０１内の予測対象１４０３のブロックの境界部分Γ（１）と同じ参照ピクチャ１４０２の空間位置に存在するブロックの境界部分を基準位置１４０４とし、この基準位置１４０４の傾き情報を計算し、理想的な傾き情報と比較する。ここで、比較方法は、通常の動き推定で用いるＳＡＤを利用するようにしても構わない。
【０１２８】
その後、１／２画素もしくは１／４画素の精度で比較対象となる参照ピクチャ１４０２内の境界部分を移動させつつ、移動した先において、その都度、境界部分の傾き情報を計算し、理想的な傾き情報と比較することを繰り返し、参照ピクチャ１４０２の探索範囲１４０５内で最も適合した境界部分１４０６を特定する。その後、符号化ピクチャ１４０１の予測対象１４０３の境界部分と、参照ピクチャ１４０２内の適合した境界部分１４０６との空間位置の違いを境界部動きベクトル情報１４０７として求めることで、領域境界動き推定を行う。
【０１２９】
その後、図１６に示すように、符号化ピクチャ１４０１内の予測対象としているブロックの境界部分Γ（１）、Γ（２）、Γ（３）、Γ（４）に適合する参照ピクチャ１４０２内の境界部分１６０１、１６０２、１６０３、１６０４の境界条件である、画像信号の傾きを、予測ピクチャ１６０５の境界部分１６０１、１６０２、１６０３、１６０４における画像信号の傾き情報として考える。この特定された画像信号の傾き情報に基づいて、ポアソン方程式を適用することでブロック内の予測信号を生成し、予測ブロック１６０６に格納する。このような処理を予測ピクチャ１６０５内の各ブロックに対して行い、予測信号を生成することで、領域境界動き補償が完了する。
【０１３０】
以上のような領域境界動き推定、及び領域境界動き補償を行うことにより、従来の方法であるブロックマッチングによる動き推定及び動き補償によって生成される予測ピクチャよりも、ブロック境界において滑らかな予測ピクチャを生成することを可能とし、品質の良い差分ピクチャを生成できるようになることから、符号化効率の向上につながる。
【０１３１】
次に、本実施の形態の動画像符号化装置が備える領域内差分動き推定器１２１による領域内差分動き推定処理、及び領域内差分動き補償器１２２が備える領域内差分動き補償処理について、図１７から図２１を用いて詳細に説明する。
【０１３２】
図１７は、上記の領域内差分動き推定器１２１が備える領域内差分動き推定処理において用いられる基準差分情報の求め方について示した概念図である。図１７において、本発明の領域内差分動き推定では、領域境界動き補償器１１９によって生成した第１の予測ピクチャ１６０５と、符号化対象となっている符号化ピクチャ１４０１を取得する。その後、取得した第１の予測ピクチャ１６０５及び符号化ピクチャ１４０１を利用して、現在処理対象としている位置にあるブロックの基準差分情報１７０２を求める。
【０１３３】
ここで、図１７の予測ブロック１６０６は、図１６で説明した現在処理対象となる空間位置に対応するブロックであるものとする。また、図１７中の基準差分情報１７０２においても、現在処理対象としている空間位置に対応するブロックであるものとする。この基準差分情報１７０２は、符号化ピクチャ１４０１内の境界部分Γ（１）、Γ（２）、Γ（３）、Γ（４）を有する予測対象としているブロック内の信号情報と、現在処理対象となる空間位置に対応する予測ブロック１６０６内の信号情報とを特定し、両者の差分１７０１を行うことで生成される。
【０１３４】
このようにして求められた基準差分情報１７０２は、図１８で示されるように、参照ピクチャ１３０２内において、差分成分動きベクトル情報１８０２を特定するための動きベクトル探索に用いられる。この差分成分動きベクトル情報１８０２を特定するための動きベクトル探索は、求めた基準差分情報１７０２に最も適合した差分情報をもつブロック１８０１を特定するための処理である。
【０１３５】
ここで、図１８において、参照ピクチャ１３０２の探索範囲１３０５内の、現在の探索対象となっているブロック１８０３が、基準差分情報１７０２に適合しているかどうかを判定する処理を考える。まず、現在の探索対象となっているブロック１８０３内の信号成分と、予測ピクチャ内の対応する領域の予測信号成分との差分を行い、探索対象差分情報を生成する。ここで、図１８に示すように、予測ピクチャ内の対応する領域は、基準差分情報１７０２に対応する空間位置である、予測ブロック１６０６とするとよい。
【０１３６】
また、図１９に示すように、予測ピクチャ１６０５内の対応する領域は、参照ピクチャ１３０２の探索範囲１３０５内の、現在の探索対象のブロック１８０３に対応する空間位置である領域１９０１を予測ピクチャ１６０５内から特定し、特定した領域１９０１内の予測信号成分との差分を行うようにしても構わない。更に、図１８及び図１９の方法を切り替えて利用することができるように、領域内差分動き推定モード情報を生成し、領域内差分動き補償器１２２及びエントロピー符号化器１１３に供給するような構成であると更によい。領域内差分動き推定モード情報は、図１８のような予測ピクチャ内からの領域選択方法を”０”，図１９のような予測ピクチャ内からの領域選択方法を”１”といったフラグ情報によって容易に領域内差分動き推定モードを特定できることが望ましい。
【０１３７】
このように、領域内差分動き推定モードに応じて、予測ピクチャ１６０５内から対応する領域１９０１を特定し、現在の探索対象の領域との差分を行うことで生成された、探索対象差分情報と、基準差分情報１７０２とを、所定の判定方法に基づいて比較する。ここで、所定の判定方法は、通常の動き推定で行われるようなＳＡＤを利用しても構わない。
【０１３８】
この所定の判定方法に基づいて比較を行い、基準差分情報１７０２に最も適合する領域が特定できるまで、現在の探索対象の位置を所定の動き精度に基づいてずらしながら同様の処理を繰り返すことで、図１８及び図１９に示したように、最終的に適合したブロック１８０１を特定し、そのブロック１８０１を示す差分成分動きベクトル情報１８０２を生成することで、領域内差分動き推定を行う。
【０１３９】
次に、上記の領域内差分動き推定によって生成された、差分成分動きベクトル情報１８０２を利用して、図２０もしくは図２１のような領域内差分動き補償を行う。図２０は、図１８で示されるような領域内差分動き推定によって生成された差分成分動きベクトル情報１８０２が得られた場合の領域内差分動き補償の様子を示した概念図である。
【０１４０】
図２０では、差分成分動きベクトル情報１８０２に基づいて、参照ピクチャ１３０２内から適合したブロック１８０１を特定する。その後、予測残差ピクチャ２００２内の予測残差ブロック２００１に対応する空間位置の予測ブロック１６０６を、予測ピクチャ１６０５内から特定し、特定された予測ブロック１６０６の信号成分と、適合したブロック１８０１との差分演算を行うことによって、予測残差ブロック２００１を生成する。同様な処理を繰り返すことで、予測残差ピクチャ２００２を生成し、図１の第２合成器１２３に供給する。第２合成器１２３は、図２０に示すように予測ピクチャ１６０５と予測残差ピクチャ２００２とを合成し、第２の予測ピクチャ２００３を生成する。
【０１４１】
また、図２０とは別の動作として、図２１では、差分成分動きベクトル情報１８０２に基づいて、参照ピクチャ１３０２内から適合したブロック１８０１を特定する。その後、図２０の場合とは異なり、適合したブロック１８０１と同じ空間位置に対応する領域２１０１を予測ピクチャ１６０５内から特定し、この領域２１０１内の信号成分と、適合したブロック１８０１との差分を行うことによって、予測残差ブロック２１０２を生成する。同様な処理を繰り返すことで、予測残差ピクチャ２１０３を生成し、図１の第２合成器１２３に供給する。第２合成器１２３は、図２１に示すように予測ピクチャ１６０５と予測残差ピクチャ２１０３とを合成し、第２の予測ピクチャ２１０４を生成する。
【０１４２】
また、領域内差分動き推定モード情報が得られる場合には、このフラグ情報の内容が”０”である場合には図２０の処理を行い、フラグ情報の内容が”１”である場合には図２１の処理を行うように構成すると更によい。
【０１４３】
以上説明した本発明の動画像符号化装置の第１の実施の形態では、ブロック間の不連続な状態を解消し、連続的な画像信号を含む、符号化ピクチャにより近い第２の予測ピクチャが得られることで、その後の第２の予測ピクチャと符号化ピクチャとの差分によって生成される第１の差分ピクチャの品質に対して、動き推定及び動き補償が与える影響を排除し、その後の第１の差分ピクチャが供給される直交変換及び量子化の効率を向上させるという効果が得られる。
【０１４４】
また、本実施の形態によれば、領域境界動き推定を行う際に、矩形領域の各辺に対応する境界条件である画像信号の傾きを、矩形領域の辺毎に別々に動きベクトル探索し、それぞれの境界部動きベクトル情報を生成することで、符号化ピクチャと参照ピクチャとの間で、ピクチャ内に含まれる画像信号が変形した場合であっても、各辺に対応する別々の境界部動きベクトル情報から特定される画像信号の傾きから、従来の動き補償よりも品質の高い第１の予測ピクチャを生成すると共に、更に符号化ピクチャに近付けるための予測残差ピクチャを合成することで、より符号化効率を向上させることができる。
【０１４５】
次に、本発明の動画像符号化装置の第１の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第１の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを取得して復号化を行う、本発明の動画像復号化装置の第１の実施の形態を、図３及び図４を用いて以下に説明する。
【０１４６】
図３は本発明になる動画像復号化装置の第１の実施の形態のブロック図を示す。同図中、図２４と同一構成部分には同一符号を付してある。この実施の形態の動画像復号化装置は、図３に示すように、図１に示した動画像符号化装置の第１の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第１の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを入力符号３０１として受け、これを復号化するために、スイッチ３０２、入力受信器３０３、多重化分離器３０４、エントロピー復号化器３０５、逆量子化器３０６、逆直交変換器３０７、第１合成器３０９、フレームメモリ３１１、復号化制御器３１３、領域境界動き補償器３１４、領域内差分動き補償器３１５、第２合成器３１６を少なくとも備えるように構成される。更に、図３のように、イントラ予測器３０８、デブロックフィルタ３１０を備えるような構成とすることが望ましい。
【０１４７】
スイッチ３０２は、端子ａに供給されるイントラ予測器３０８からの第３の予測ピクチャと、端子ｂに供給される第２合成器３１６からの第２の予測ピクチャのいずれか一方を、復号化制御器３１３の制御に応じて選択し、選択した予測ピクチャを第１合成器３０９に供給する機能を有する。
【０１４８】
入力受信器３０３は、所定の伝送路もしくは所定の記録媒体から供給される、符号化ビットストリーム（入力符号３０１）を所定のパケット処理によってパケット化されたパケット情報を取得する機能と、取得したパケット情報からパケット合成処理を行うことで、符号化ビットストリームを生成する機能と、生成した符号化ビットストリームを多重化分離器３０４に供給する機能とを有する。
【０１４９】
多重化分離器３０４は、入力受信器３０３から符号化ビットストリームを取得し、所定の構文構造に基づいて符号化ビットストリームの多重化分離を行うことで、符号化ビット列を生成する機能と、生成した符号化ビット列をエントロピー復号化器３０５に供給する機能とを有する。
【０１５０】
エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行うことで、量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報を少なくとも取得する機能を有する。ここで、エントロピー復号化器３０５は、その他の所定の構文構造を構成するために必要なパラメータ情報などを、符号化ビット列に対してエントロピー復号化を行うことによって取得する機能を有することが望ましい。
【０１５１】
所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。また、エントロピー復号化器３０５は、取得した量子化後情報を逆量子化器３０６に供給すると共に、境界部動きベクトル情報を領域境界動き補償器３１４、差分成分動きベクトル情報を領域内差分動き補償器３１５にそれぞれ供給する機能を少なくとも有する。
【０１５２】
逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成し、逆直交変換器３０７に供給する機能を有する。逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行うことで、復号差分ピクチャを生成する機能と、生成した復号差分ピクチャを、第１合成器３０９に供給する機能とを有する。
【０１５３】
第１合成器３０９は、逆直交変換器３０７から復号差分ピクチャを取得し、スイッチ３０２から予測ピクチャを取得する機能と、取得した復号差分ピクチャと予測ピクチャとを合成することで復号ピクチャを生成する機能と、生成した復号ピクチャを、イントラ予測器３０８とデブロックフィルタ３１０に供給する機能とを有する。
【０１５４】
フレームメモリ３１１は、復号ピクチャを参照ピクチャとして保持するために各部から復号ピクチャを取得し、格納する機能を有する。図３においては、デブロックフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを取得するように構成することが望ましい。また、フレームメモリ３１１は、必要に応じて復号化装置の各部に対して要求された参照ピクチャを供給する機能を有する。図３において、参照ピクチャは、イントラ予測器３０８、領域境界動き補償器３１４、領域内差分動き補償器３１５に供給されるように構成することが望ましい。また、フレームメモリ３１１は、出力表示装置の要求に応じて復号ピクチャを出力符号３１２として供給する機能を有する。復号化制御器３１３は、本発明の復号化装置の動作を制御するために、復号化装置を構成する各部に対して復号化に必要な各種パラメータ情報を供給する機能と、各部の入出力の制御を行うと共に、少なくともスイッチ３０２の切り替え制御を行う機能とを有する。
【０１５５】
領域境界動き補償器３１４は、エントロピー復号化器３０５から境界部動きベクトル情報を取得し、フレームメモリ３１１から参照ピクチャを取得する機能を有する。また、領域境界動き補償器３１４は、取得した境界部動きベクトル情報に基づいて、ブロック内の推定信号を生成する際に必要となる、各辺の画像信号の傾きを、参照ピクチャ内から特定し、特定した各辺の画像信号の傾きを境界条件としてポアソン方程式に適用することでブロック内の予測信号を生成し、ピクチャ内の各ブロックの予測信号を生成して第１の予測ピクチャを生成することで領域境界動き補償を行う機能と、生成した第１の予測ピクチャを、第２合成器３１６、領域内差分動き補償器３１５に供給する機能とを有する。
【０１５６】
領域内差分動き補償器３１５は、フレームメモリ３１１から対応する参照ピクチャと、領域境界動き補償器３１４から第１の予測ピクチャを取得し、エントロピー復号化器３０５から差分成分動きベクトル情報を取得する機能を有する。また、領域内差分動き補償器３１５は、取得した差分成分動きベクトル情報に基づいて、参照ピクチャから対応するブロック領域を特定し、特定した参照ピクチャ内のブロック領域内の信号成分と、第１の予測ピクチャ内の対応する矩形領域内の信号成分との差分から差分予測ピクチャである予測残差ピクチャを生成する機能と、生成した予測残差ピクチャを、第２合成器３１６に供給する機能とを有する。
【０１５７】
第２合成器３１６は、領域境界動き補償器３１４から第１の予測ピクチャを取得し、領域内差分動き補償器３１５から予測残差ピクチャを取得する機能と、取得した第１の予測ピクチャと予測残差ピクチャとを合成し、第２の予測ピクチャを生成する機能と、生成した第２の予測ピクチャを、スイッチ３０２の端子ｂ側に供給する機能とを有する。イントラ予測器３０８は、第１合成器３０９から復号ピクチャを取得し、所定のイントラ予測を行うことで第３の予測ピクチャを生成する機能と、生成した第３の予測ピクチャを、スイッチ３０２の端子ａに供給する機能とを有する。なお、イントラ予測に利用するピクチャをフレームメモリ３１１から取得するような構成であっても構わない。
【０１５８】
デブロックフィルタ３１０は、第１合成器３０９から復号ピクチャを取得し、所定のデブロックフィルタ処理を行った後に、デブロックフィルタ処理後の復号ピクチャを参照メモリとして格納するためにフレームメモリ３１１に供給する機能を有する。
【０１５９】
次に、図３に示した動画像復号化装置の動作を図４のフローチャートに従って説明する。まず、入力受信器３０３は、図１に示した動画像符号化装置の第１の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第１の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを入力符号３０１として、所定の伝送路もしくは所定の記録媒体などから受信し、受信した入力符号３０１から所定のパケット合成処理を行うことで、符号化ビットストリームを再構成する（ステップＳ２０１）。その後、入力受信器３０３は再構成した符号化ビットストリームを多重化分離器３０４に供給する。
【０１６０】
多重化分離器３０４は、入力受信器３０３によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ２０２）、多重化分離後の情報である符号化ビット列をエントロピー復号化器３０５に通知する。
【０１６１】
エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行い（ステップＳ２０３）、量子化後情報、境界部動きベクトル情報、差分成分動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する。その後、エントロピー復号化器３０５は、少なくとも量子化後情報を逆量子化器３０６に供給すると共に、境界部動きベクトル情報を領域境界動き補償器３１４に、差分成分動きベクトル情報を領域内差分動き補償器３１５に供給する。
【０１６２】
その後、復号化制御器３１３は、現在の復号化装置の復号化モードがイントラ復号化であるか、イントラ復号化でないかを判定する（ステップＳ２０４）。イントラ復号化である場合、復号化制御器３１３は、復号化装置の各部に対してイントラ復号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ３０２を端子ａに接続することで、イントラ復号化を行うための準備をする。その後、イントラ予測器３０８によって所定のイントラ予測を行う（ステップＳ２０５）。その後、ステップＳ２０８に進む。
【０１６３】
一方、イントラ復号化でない場合、復号化制御器３１３は、インター復号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ３０２を端子ｂに接続することで、インター復号化を行うための準備をする。その後、領域境界動き補償器３１４は、エントロピー復号化器３０５から境界部動きベクトル情報と、フレームメモリ３１１から対応する参照ピクチャを取得し、所定の領域境界動き補償を行い（ステップＳ２０６）、第１の予測ピクチャを生成する。領域境界動き補償器３１４は、生成した第１の予測ピクチャを領域内差分動き補償器３１５と第２合成器３１６にそれぞれ供給する。
【０１６４】
また、領域内差分動き補償器３１５は、エントロピー復号化器３０５から差分成分動きベクトル情報を取得し、フレームメモリ３１１から対応する参照ピクチャを取得し、更に領域境界動き補償器３１４から第１の予測ピクチャを取得し、これらに基づいて所定の領域内差分動き補償を行い（ステップＳ２０７）、予測残差ピクチャを生成して第２合成器３１６に供給する。第２合成器３１６では、領域境界動き補償器３１４からの第１の予測ピクチャと、領域内差分動き補償器３１５からの予測残差ピクチャとを合成することにより、第２の予測ピクチャを生成する。この第２の予測ピクチャは、後述する第１合成器３０９で復号差分ピクチャと合成される合成用予測ピクチャとなる。第２合成器３１６は、生成した第２の予測ピクチャをスイッチ３０２の端子ｂ側に供給する。その後、ステップＳ２０８に進む。
【０１６５】
予測ピクチャの準備が完了すると、逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行い（ステップＳ２０８）、逆量子化後情報を生成する。生成した逆量子化後情報は、逆直交変換器３０７に供給される。逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行い（ステップＳ２０９）、復号差分ピクチャを生成する。生成した復号差分ピクチャは、第１合成器３０９に供給される。
【０１６６】
第１合成器３０９は、逆直交変換器３０７からの復号差分ピクチャと、スイッチ３０２からのイントラ予測ピクチャ又は第２の予測ピクチャ（合成用予測ピクチャ）とを合成し（ステップＳ２１０）、復号ピクチャを生成する。生成した復号ピクチャは、デブロックフィルタ３１０に供給される。また、復号化モードがイントラ復号化である場合には、復号ピクチャは更にイントラ予測器３０８に供給される。
【０１６７】
デブロックフィルタ３１０は、第１合成器３０９から復号ピクチャを取得し、ブロック歪みを除去するための所定のデブロックフィルタ処理を行う（ステップＳ２１１）。これにより生成されたデブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ３１１に格納されることで、次の符号化を行う際の参照ピクチャを準備する（ステップＳ２１２）。
【０１６８】
フレームメモリ３１１では、デブロックフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを参照ピクチャとして取得及び蓄積する。また、必要に応じて領域境界動き補償器３１４、領域内差分動き補償器３１５、イントラ予測器３０８に参照ピクチャを供給する。ここで、フレームメモリ３１１は、少なくとも１ピクチャ以上の参照ピクチャを蓄積し、各構成要素の要求に応じて必要な参照ピクチャを供給できることが望ましい。また、フレームメモリ３１１は、復号ピクチャの表示タイミングに応じて復号画像フレームを出力し（ステップＳ２１３）、表示に必要な復号ピクチャを出力符号３１２として外部の出力表示器に供給する。
【０１６９】
その後、更に復号化対象となる符号化ビットストリームが存在し、復号化の必要がある場合にはステップＳ２０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
【０１７０】
（第２の実施の形態）
次に、本発明の動画像符号化装置及び動画像復号化装置の第２の実施の形態について図５及び図６を用いて説明する。図５は本発明になる動画像符号化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図５に示すように、本実施の形態の動画像符号化装置は、図１の動画像符号化装置の構成の他に、スイッチ５０１、動き推定器５０２、動き補償器５０３、差分判定器５０４を更に備えるように構成したものである。
【０１７１】
スイッチ５０１は、イントラ予測器１０５が生成した第３の予測ピクチャを端子ａに入力として供給され、動き補償器５０３が生成した第４の予測ピクチャを端子ｂに入力として供給され、それら第３及び第４の予測ピクチャの一方を、符号化制御器１１７の制御に応じて選択し、選択した第３又は第４の予測ピクチャをスイッチ１０３の端子ｂと、第２差分器１２４に供給する機能を有する。
【０１７２】
動き推定器５０２は、入力符号１０１である動画像の符号化対象となっている符号化ピクチャと、フレームメモリ１０４から対象となる参照ピクチャを取得し、所定の動き推定を行うことで、動きベクトル情報を生成する機能を有する。上記の所定の動き推定は、一般的なＡＶＣなどの動き推定と同様に、符号化ピクチャ内の各ブロック領域において参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、適合するブロック領域までの動きベクトル情報を生成する。また、動き推定器５０２は、生成した動きベクトル情報を動き補償器５０３と、エントロピー符号化器１１３に供給する機能を有する。
【０１７３】
動き補償器５０３は、動き推定器５０２から取得した動きベクトル情報に基づいて、フレームメモリ１０４から取得した対応する参照ピクチャから対応するブロック領域を特定し、第４の予測ピクチャを生成する機能と、生成した第４の予測ピクチャを、スイッチ５０１の端子ｂに供給する機能とを有する。
【０１７４】
差分判定器５０４は、第２差分器１２４において第３又は第４の予測ピクチャと入力符号１０１である符号化ピクチャとの差分演算を行うことで生成された第２の差分ピクチャと、第１差分器１２０において第２の予測ピクチャと入力符号１０１である符号化ピクチャとの差分演算を行うことで生成された第１の差分ピクチャとを少なくとも取得する機能を有する。また、差分判定器５０４は、領域境界動き補償器１１８から境界部動きベクトル情報と、領域内差分動き推定器１２１から差分成分動きベクトル情報と、動き推定器５０２から動きベクトル情報を更に取得するような機能を有すると更によい構成となる。
【０１７５】
更に、差分判定器５０４は、所定の判定基準に基づいて、取得した第１の差分ピクチャと第２の差分ピクチャのどちらを採用するかを判定する機能を有する。ここで、上記の所定の判定基準は、取得した第１の差分ピクチャの情報量と第２の差分ピクチャの情報量とを比較し、情報量の少ない方の差分ピクチャを選択するような判定基準であるとよい。また、上記の所定の判定基準は、境界部動きベクトル情報の情報量と、差分成分動きベクトル情報の情報量と、動きベクトル情報の情報量を更に利用して、取得した第１の差分ピクチャの情報量、境界部動きベクトル情報の情報量、差分成分動きベクトル情報と、第２の差分ピクチャの情報量及び動きベクトル情報の情報量とを比較し、情報量の少ない方の差分ピクチャを選択するような判定基準であると更によい構成となる。また、更に差分判定器５０４は、第１の差分ピクチャと第２の差分ピクチャのどちらを選択したかを表す差分判定情報を符号化制御器１１７とエントロピー符号化器１１３に供給する機能を有する。
【０１７６】
符号化制御器１１７は、差分判定器５０４から差分判定情報を取得し、取得した差分判定情報が示す判定結果に基づいてスイッチ１０２の切り替え制御を行うことで、直交変換器１０７に供給する差分ピクチャの切り替え制御を行うと共に、取得した差分判定情報が示す判定結果に基づいてスイッチ１０３の切り替え制御を行うことで、選択された差分ピクチャを生成する際に利用した予測ピクチャを、第１合成器１１１に供給するように予測ピクチャの切り替え制御を行う機能を有する。また、符号化制御器１１７は、符号化モードに応じてスイッチ５０１の切り替え制御を行う機能を有する。スイッチ５０１の選択結果は、スイッチ１０３の端子ｂに供給されるように構成する。
【０１７７】
イントラ予測器１０５は、生成した第３の予測ピクチャをスイッチ５０１の端子ａに供給する機能を有する。エントロピー符号化器１１３は、図１のエントロピー符号化器１１３の機能に加えて、動き推定器５０２から動きベクトル情報と、差分判定器５０４から差分判定情報を更に取得し、所定のエントロピー符号化を行う機能を有する。
【０１７８】
第２差分器１２４は、入力符号１０１である動画像の符号化対象である符号化ピクチャを取得し、スイッチ５０１から第３の予測ピクチャもしくは第４の予測ピクチャを取得する機能を有する。ここで、第３の予測ピクチャはイントラ予測器１０５により、また、第４の予測ピクチャは動き補償器５０３によって生成されたものである。また、第２差分器１２４は、取得した符号化ピクチャと予測ピクチャとの差分演算を行うことで、第２の差分ピクチャを生成する機能と、生成した第２の差分ピクチャをスイッチ１０２の端子ｂと差分判定器５０４にそれぞれ供給する機能を有する。
【０１７９】
その他の本実施の形態の動画像符号化装置の構成に含まれる各部の機能については、図１に示した動画像符号化装置の第１の実施の形態に含まれる各部の機能と同様であることから、ここでは同一符号を付し、重複を避けるために説明を省略する。
【０１８０】
次に、図５に示す動画像符号化装置の第２の実施の形態の動作を図６のフローチャートに従って説明する。まず、入力符号１０１として、動画像の符号化対象となっているフレームもしくはフィールドを符号化ピクチャとして準備する（ステップＳ３０１）。符号化制御器１１７は、現在の符号化装置の符号化モードがイントラ符号化か、イントラ符号化でないかを判定する（ステップＳ３０２）。
【０１８１】
イントラ符号化である場合、符号化制御器１１７は、符号化装置の各部に対してイントラ符号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ１０２を端子ｂに接続し、スイッチ１０３を端子ｂに接続し、スイッチ５０１を端子ａに接続することで、イントラ符号化を行うための準備をする。その後、イントラ予測器１０５によって所定のイントラ予測を行う（ステップＳ３０３）。その後、ステップＳ３１０に進む。
【０１８２】
一方、イントラ符号化でない場合、符号化制御器１１７は、インター符号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ１０２を切断し、スイッチ１０３を切断し、スイッチ５０１を端子ｂに接続することで、インター符号化を行うための準備をする。その後、領域境界動き推定器１１８は、入力符号１０１として準備された符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャを取得し、これらに基づいて所定の領域境界動き推定を行い（ステップＳ３０４）、境界部動きベクトル情報を生成し、生成した境界部動きベクトル情報を領域境界動き補償器１１９に供給すると共に、エントロピー符号化器１１３に供給する。
【０１８３】
領域境界動き補償器１１９は、領域境界動き推定器１１８から取得した境界部動きベクトル情報と、フレームメモリ１０４から取得した対応する参照ピクチャとに基づいて、所定の領域境界動き補償を行い（ステップＳ３０５）、第１の予測ピクチャを生成し、生成した第１の予測ピクチャを第２合成器１２３、領域内差分動き推定器１２１及び領域内差分動き補償器１２２にそれぞれ供給する。
【０１８４】
領域内差分動き推定器１２１は、符号化対象となる符号化ピクチャを入力符号１０１として取得すると共に、フレームメモリ１０４から対応する参照ピクチャと、領域境界動き補償器１１９から第１の予測ピクチャをそれぞれ取得し、取得した各ピクチャに基づいて領域内差分動き推定を行い（ステップＳ３０６）、差分成分動きベクトル情報を生成し、生成した差分成分動きベクトル情報を、領域内差分動き補償器１２２及びエントロピー符号化器１１３にそれぞれ供給する。
【０１８５】
領域内差分動き補償器１２２は、フレームメモリ１０４から取得した対応する参照ピクチャと、領域境界動き補償器１１９から取得した第１の予測ピクチャと、領域内差分動き推定器１２１から取得した差分成分動きベクトル情報とに基づいて、領域内差分動き補償を行い（ステップＳ３０７）、予測残差ピクチャを生成し、生成した予測残差ピクチャを、第２合成器１２３に供給する。その後、第２合成器１２３は、領域境界動き補償器１１９から取得した第１の予測ピクチャと、領域内差分動き補償器１２２から取得した予測残差ピクチャとに基づいて、第２の予測ピクチャを生成し、生成した第２の予測ピクチャを、スイッチ１０３の端子ａと、第１差分器１２０にそれぞれ供給する。
【０１８６】
同様に、動き推定器５０２は、入力符号１０１として準備された符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャを取得し、所定の動き推定を行い（ステップＳ３０８）、動きベクトル情報を生成し、生成した動きベクトル情報を動き補償器５０３に供給すると共に、エントロピー符号化器１１３に供給する。
【０１８７】
動き補償器５０３は、動き推定器５０２から取得した動きベクトル情報と、フレームメモリ１０４から取得した対応する参照ピクチャとに基づいて、所定の動き補償を行い（ステップＳ３０９）、第４の予測ピクチャを生成し、生成した第４の予測ピクチャをスイッチ５０１の端子ｂに供給する。その後、ステップＳ３１０に進む。
【０１８８】
続いて、ステップＳ３１０ではイントラ予測器１０５もしくは第２合成器１２３及び動き補償器５０３において生成された予測ピクチャと、入力符号１０１である符号化ピクチャとの差分演算を行うことで、差分ピクチャを生成する。ここで、符号化モードがイントラ符号化である場合には、スイッチ５０１が端子ａに接続されていることから、第２差分器１２４が、入力符号１０１である符号化ピクチャと、イントラ予測器１０５が生成した第３の予測ピクチャとを取得し、取得した符号化ピクチャと第３の予測ピクチャとの差分演算を行うことにより、第２の差分ピクチャを生成し、スイッチ１０２の端子ｂと差分判定器５０４に供給する。
【０１８９】
これに対し、符号化モードがインター符号化である場合には、スイッチ５０１が端子ｂに接続されていることから、第２差分器１２４が、入力符号である符号化ピクチャと、動き補償器５０３が生成した第４の予測ピクチャとを取得し、取得した符号化ピクチャと第４の予測ピクチャとの差分演算を行うことにより、第２の差分ピクチャを生成し、スイッチ１０２の端子ｂと差分判定器５０４に供給する。
【０１９０】
また、第１差分器１２０においては、入力符号１０１である符号化ピクチャと、第２合成器１２３が生成した第２の予測ピクチャとを取得し、取得した符号化ピクチャと第２の予測ピクチャとの差分演算を行うことにより、第１の差分ピクチャを生成し、スイッチ１０２の端子ａと差分判定器５０４に供給する。
【０１９１】
差分判定器５０４は、取得した第１の差分ピクチャの情報量と第２の差分ピクチャの情報量とを比較し、情報量の少ない方の差分ピクチャを選択するような所定の判定基準に基づいて、取得した第１の差分ピクチャと第２の差分ピクチャのどちらを採用するかを判定する（ステップＳ３１１）。また、差分判定器５０４は、第１の差分ピクチャと第２の差分ピクチャのどちらを採用したかを表す差分判定情報を、符号化制御器１１７とエントロピー符号化器１１３にそれぞれ供給する。
【０１９２】
符号化制御器１１７に対して差分判定器５０４から差分判定情報が供給されると、符号化制御器１１７は、スイッチ１０２とスイッチ１０３を切り替えて符号化の制御を行う。ここで、符号化制御器１１７は、差分判定情報から第１の差分ピクチャが採用されたことを特定した場合には、スイッチ１０２を端子ａ、スイッチ１０３を端子ａに接続する。また、差分判定情報から第２の差分ピクチャが採用されたことを特定した場合には、スイッチ１０２を端子ｂ、スイッチ１０３を端子ｂに接続する。このようにして、符号化制御器１１７は、差分判定器５０４で採用された差分ピクチャを直交変換器１０７に供給するようにスイッチ１０２を切り替え制御すると共に、差分判定器５０４で採用された差分ピクチャを生成する際に使用した対応する予測ピクチャを第１合成器１１１に供給するようにスイッチ１０３を切り替え制御する。
【０１９３】
直交変換器１０７は、スイッチ１０２により選択された、差分判定器５０４で採用された差分ピクチャに対し、所定の直交変換を行い（ステップＳ３１２）、直交変換係数情報（ここではＤＣＴ係数情報）を生成し、生成したＤＣＴ係数情報を、量子化器１０８に供給する。量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行い（ステップＳ３１３）、量子化後情報を生成する。生成した量子化後情報は、逆量子化器１０９及びエントロピー符号化器１１３に供給される。
【０１９４】
逆量子化器１０９は、量子化器１０８から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行い（ステップＳ３１４）、逆量子化後情報を生成して逆直交変換器１１０に供給する。逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得し、所定の逆直交変換を行い（ステップＳ３１５）、復号差分ピクチャを生成して第１合成器１１１に供給する。
【０１９５】
第１合成器１１１は、逆直交変換器１１０から取得した復号差分ピクチャと、スイッチ１０３から取得した予測ピクチャとを合成し（ステップＳ３１６）、局部復号画像信号である復号ピクチャを生成する。この復号ピクチャは、デブロックフィルタ１１２に供給される。また、符号化モードがイントラ符号化である場合には、復号ピクチャは更にイントラ予測器１０５に供給される。
【０１９６】
デブロックフィルタ１１２は、第１合成器１１１から取得した復号ピクチャに対し、所定のデブロックフィルタ処理を行い（ステップＳ３１７）、デブロックフィルタ処理後の復号ピクチャを生成して、参照ピクチャとしてフレームメモリ１０４に格納することで、次の符号化を行う際の参照ピクチャを準備させる（ステップＳ３１８）。
【０１９７】
その後、一連の符号化結果を出力するために、エントロピー符号化器１１３は、少なくとも量子化器１０８から量子化後情報、領域境界動き推定器１１８から境界部動きベクトル情報、領域内差分動き推定器１２１から差分成分動きベクトル情報、動き推定器５０２から動きベクトル情報、差分判定器５０４から差分判定情報を取得し、所定のエントロピー符号化を行い（ステップＳ３１９）、符号化ビット列を生成する。ここで、エントロピー符号化器１１３は、更に符号化時に利用した各種パラメータ情報についても符号化装置の各部から取得し、所定のエントロピー符号化を行うようにすると更によい。生成された符号化ビット列は、多重化器１１４に供給される。
【０１９８】
多重化器１１４は、エントロピー符号化器１１３から取得した符号化ビット列に対し、所定の構文構造に基づいて多重化を行い（ステップＳ３２０）、符号化ビットストリームを生成し、その符号化ビットストリームを出力伝送器１１５に供給する。出力伝送器１１５は、多重化部１１４から取得した多重化ビットストリームに対し、所定のパケット化処理などを行った後に、所定の伝送路もしくは所定の記録媒体に符号化結果を出力伝送する（ステップＳ３２１）。以上のステップＳ３０１〜Ｓ３２１の処理を行うことで、本実施の形態の動画像符号化装置において、ある時点での符号化対象となっている符号化ピクチャの符号化処理が完了する。
【０１９９】
本実施の形態では、差分判定器５０４により、発生する情報量が少なくなるように生成される差分ピクチャを随時切り替えるようにしたため、符号化ビットストリーム全体としての符号化効率を向上させることができる。
【０２００】
次に、本発明の動画像符号化装置の第２の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第２の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを取得して復号化を行う、本発明の動画像復号化装置の第２の実施の形態を、図７及び図８を用いて以下に説明する。
【０２０１】
図７は本発明になる動画像復号化装置の第２の実施の形態のブロック図を示す。同図中、図３と同一構成部分には同一符号を付してある。この実施の形態の動画像復号化装置は、図７に示すように、図５に示した動画像符号化装置の第２の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第２の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを入力符号３０１として受け、これを復号化するために、図３に示した動画像復号化装置の第１の実施の形態の構成の他に、動き補償器３１７、スイッチ３１８を更に備えるように構成したものである。
【０２０２】
スイッチ３１８は、端子ｂに第２合成器３１６から第２の予測ピクチャが供給され、端子ａに動き補償器３１７から第４の予測ピクチャが供給される。スイッチ３１８は、この供給された第２の予測ピクチャと第４の予測ピクチャとを、復号化制御器３１３の要求に応じて切り替えることで、スイッチ３０２の端子ｂに供給する機能を有する。
【０２０３】
動き補償器３１７は、エントロピー復号化器３０５から動きベクトル情報を取得すると共に、フレームメモリ３１１から対応する参照ピクチャを取得する機能と、取得した動きベクトル情報に基づいて参照ピクチャから対応するブロック領域を特定し、第４の予測ピクチャを生成する機能と、生成した第４の予測ピクチャを、スイッチ３１８の端子ａに供給する機能とを有する。
【０２０４】
スイッチ３０２は、イントラ予測器３０８によって生成された第３の予測ピクチャが端子ａに供給されると共に、スイッチ３１８の切り替え制御によって第２の予測ピクチャまたは第４の予測ピクチャが端子ｂに供給される。また、スイッチ３０２は、端子ａ及び端子ｂに供給されるそれぞれの予測ピクチャに対し、復号化制御器３１３の要求に応じて切り替え制御を行う機能と、切り替え制御を行って選択した予測ピクチャを第１合成器３０９に供給する機能とを有する。
【０２０５】
エントロピー復号化器３０５は、動きベクトル情報、差分判定情報を、多重化分離器３０４から取得した符号化ビット列に対してエントロピー復号化を行うことによって取得する機能と、取得した動きベクトル情報を動き補償器３１７に供給すると共に、取得した差分判定情報を復号化制御器３１３に供給する機能とを更に有する。
【０２０６】
復号化制御器３１３は、エントロピー復号化器３０５から差分判定情報を取得し、取得した差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第２の予測ピクチャと第４の予測ピクチャのどちらであるかを特定すると共に、差分判定情報から特定した結果に基づいてスイッチ３１８の切り替え制御を行う機能を更に有する。ここで、復号化制御器３１３は、差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第２の予測ピクチャであったことを特定した場合には、スイッチ３１８を端子ｂに接続する。また、差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第４の予測ピクチャであったことを特定した場合には、スイッチ３１８を端子ａに接続する。スイッチ３１８で選択された予測ピクチャは、スイッチ３０２の端子ｂに供給される。
【０２０７】
また、復号化制御器３１３は、復号化モードに応じてスイッチ３０２の切り替え制御を行う機能を有する。ここで、復号化モードがイントラ復号化である場合には、スイッチ３０２を端子ａに接続し、復号化モードがイントラ復号化ではない場合には、スイッチ３０２を端子ｂに接続することで、切り替え制御を行う。第２合成器３１６は、生成した第２の予測ピクチャをスイッチ３１８の端子ｂに供給する機能を有する。その他の本実施の形態の動画像復号化装置の構成に含まれる各部の機能については図３に示した動画像復号化装置の第１の実施の形態に含まれる各部の機能と同様であることから、ここでは重複を避けるために同一符号を付して説明を省略する。
【０２０８】
次に、図７の本発明の動画像復号化装置の第２の実施の形態の動作を図８のフローチャートに従って説明する。まず、入力受信器３０３は、図５に示した動画像符号化装置の第２の実施の形態、もしくは後述する本発明の動画像符号化プログラムの第２の実施の形態によって動作するコンピュータによって生成された符号化ビットストリームを入力符号３０１として、所定の伝送路もしくは所定の記録媒体などから受信し、受信した入力符号３０１から所定のパケット合成処理を行うことで、符号化ビットストリームを再構成する（ステップＳ４０１）。その後、入力受信器３０３は再構成した符号化ビットストリームを多重化分離器３０４に供給する。
【０２０９】
多重化分離器３０４は、入力受信器３０３によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ４０２）、多重化分離後の情報である符号化ビット列をエントロピー復号化器３０５に通知する。
【０２１０】
エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行い（ステップＳ４０３）、量子化後情報及び境界部動きベクトル情報、差分成分動きベクトル情報、動きベクトル情報、差分判定情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成し、少なくとも量子化後情報を逆量子化器３０６に、境界部動きベクトル情報を領域境界動き補償器３１４に、差分成分動きベクトル情報を領域内差分動き補償器３１５に、動きベクトル情報を動き補償器３１７に、差分判定情報を復号化制御器３１３に、それぞれ供給する。
【０２１１】
その後、復号化制御器３１３は、現在の復号化装置の復号化モードがイントラ復号化であるか、イントラ復号化でないかを判定する（ステップＳ４０４）。イントラ復号化である場合、復号化制御器３１３は、復号化装置の各部に対してイントラ復号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ３０２を端子ａに接続することで、イントラ復号化を行うための準備をする。その後、イントラ予測器３０８によって所定のイントラ予測を行う（ステップＳ４０５）。その後、ステップＳ４１０に進む。一方、イントラ復号化でない場合、復号化制御器３１３は、インター復号化を行うためのパラメータ情報を各部に供給すると共に、スイッチ３０２を端子ｂに接続することで、インター復号化を行うための準備をする。
【０２１２】
次に、復号化制御器３１３は、エントロピー復号化器３０５から取得した差分判定情報に基づいて、領域境界モードであるか、領域境界モードでないかを判定する（ステップＳ４０６）。領域境界モードであると判定した場合には、復号化制御器３１３は、第２合成器３１６が生成した第２の予測ピクチャを選択するように、スイッチ３１８を端子ｂに接続した後、領域境界動き補償器３１４が、エントロピー復号化器３０５から取得した境界部動きベクトル情報と、フレームメモリ３１１から取得した対応する参照ピクチャとに基づいて、所定の領域境界動き補償を行い（ステップＳ４０７）、第１の予測ピクチャを生成し、その第１の予測ピクチャを、第２合成器３１６と領域内差分動き補償器３１５にそれぞれ供給する。
【０２１３】
続いて、領域内差分動き補償器３１５が、エントロピー復号化器３０５から取得した差分成分動きベクトル情報と、フレームメモリ３１１から取得した対応する参照ピクチャと、領域境界動き補償器３１４から取得した第１の予測ピクチャとに基づいて、所定の領域内差分動き補償を行い（ステップＳ４０８）、予測残差ピクチャを生成し、その予測残差ピクチャを第２合成器３１６に供給する。第２合成器３１６では、領域境界動き補償器３１４から取得した第１の予測ピクチャと、領域内差分動き補償器３１５から取得した予測残差ピクチャに基づいて、第２の予測ピクチャを生成し、その第２の予測ピクチャをスイッチ３１８の端子ｂに供給する。その後、ステップＳ４１０に進む。
【０２１４】
一方、復号化制御器３１３は、ステップＳ４０６で領域境界モードでないと判定した場合には、動き補償器３１７が生成した第４の予測ピクチャを選択するように、スイッチ３１８を端子ａに接続し、また、動き補償器３１７が、エントロピー復号化器３０５から取得した動きベクトル情報と、フレームメモリ３１１から取得した対応する参照ピクチャとに基づいて、所定の動き補償を行い（ステップＳ４０９）、第４の予測ピクチャを生成し、その第４の予測ピクチャをスイッチ３１８の端子ａに供給する。その後、ステップＳ４１０に進む。
【０２１５】
ステップＳ４０５、Ｓ４０８又はＳ４０９の処理により予測ピクチャの準備が完了すると、逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ４１０）。これにより生成された逆量子化後情報は、逆直交変換器３０７に供給される。逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行い（ステップＳ４１１）、復号差分ピクチャを生成し、その復号差分ピクチャを第１合成器３０９に供給する。
【０２１６】
第１合成器３０９は、逆直交変換器３０７から取得した復号差分ピクチャと、スイッチ３０２から取得した予測ピクチャとを合成し（ステップＳ４１２）、復号ピクチャを生成し、その復号ピクチャをデブロックフィルタ３１０に供給する。また、復号化モードがイントラ復号化である場合には、上記の復号ピクチャは更にイントラ予測器３０８に供給される。
【０２１７】
デブロックフィルタ３１０は、第１合成器３０９から取得した復号ピクチャに対して、所定のデブロックフィルタ処理を行う（ステップＳ４１３）。デブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ３１１に格納されることで、次の符号化を行う際の参照ピクチャとして準備される（ステップＳ４１４）。
【０２１８】
フレームメモリ３１１では、デブロックフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを参照ピクチャとして取得及び蓄積すると共に、必要に応じて領域境界動き補償３１４、領域内差分動き補償器３１５、動き補償器３１７、イントラ予測器３０８に参照ピクチャを供給する。ここで、フレームメモリ３１１は、少なくとも１ピクチャ以上の参照ピクチャを蓄積し、各構成要素の要求に応じて必要な参照ピクチャを供給できることが望ましい。また、フレームメモリ３１１は、復号ピクチャの表示タイミングに応じて復号画像フレームを出力し（ステップＳ４１５）、表示に必要な復号ピクチャを出力符号３１２として外部の出力表示器に供給する。
【０２１９】
その後、更に復号化対象となる符号化ビットストリームが存在し、復号化の必要がある場合にはステップＳ４０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。
【０２２０】
（プログラムの実施の形態）
本発明は、上記図１、図５が示す動画像符号化装置の機能や、図３、図７が示す動画像復号化装置の機能を図９から図１２に示すコンピュータである中央処理制御装置９０３に実現させるためのプログラムを含むものであり、以下、それらの実施の形態について説明する。
【０２２１】
図９は本発明になる動画像符号化プログラムの第１の実施の形態により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置９００は、各種の情報を入力するための入力装置９０１と、各種の情報を出力するための出力装置９０２と、第１の実施の形態の動画像符号化プログラムにより動作する中央処理制御装置９０３と、外部記憶装置９０４と、中央処理制御装置９０３による演算処理の際の作業領域などに用いる一時記憶装置９０５と、外部と通信するための通信装置９０６とが、双方向のバス９０７により接続された構成とされている。
【０２２２】
中央処理制御装置９０３は、第１の実施の形態の動画像符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図１に示したイントラ予測器１０５に相当するイントラ予測手段９０８、第１差分器１２０に相当する第１差分手段９０９、直交変換器１０７に相当する直交変換手段９１０、量子化器１０８に相当する量子化手段９１１、逆量子化器１０９に相当する逆量子化手段９１２、逆直交変換器１１０に相当する逆直交変換手段９１３、第１合成器１１１に相当する第１合成手段９１４、デブロックフィルタ１１２に相当するデブロックフィルタ手段９１５、エントロピー符号化器１１３に相当するエントロピー符号化手段９１６、多重化器１１４に相当する多重化手段９１７、出力伝送器１１５に相当する出力伝送手段９１８、符号化制御器１１７に相当する符号化制御手段９１９、領域境界動き推定器１１８に相当する領域境界動き推定手段９２０、領域境界動き補償器１１９に相当する領域境界動き補償手段９２１、第２差分器１２４に相当する第２差分手段９２２、領域内差分動き推定器１２１に相当する領域内差分動き推定手段９２３、領域内差分動き補償器１２２に相当する領域内差分動き補償手段９２４、第２合成器１２３に相当する第２合成手段９２５の各機能を少なくとも有し、図１に示したフレームメモリ１０４に相当する記憶手段として例えば一時記憶装置９０５を用いることで、図１に示した動画像符号化装置と同様の動作をソフトウェア処理により実行する。
【０２２３】
図１０は本発明になる動画像復号化プログラムの第１の実施の形態により動作する情報処理装置の一例の構成図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１０に示す情報処理装置９００の基本的構成は、図９と同様である。
【０２２４】
ただし、図１０に示す中央処理制御装置９０３は、本発明の第１の実施の形態の動画像復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図３に示した入力受信器３０３に相当する入力受信手段１００１、多重化分離器３０４に相当する多重化分離手段１００２、エントロピー復号化器３０５に相当するエントロピー復号化手段１００３、逆量子化器３０６に相当する逆量子化手段１００４、逆直交変換器３０７に相当する逆直交変換手段１００５、イントラ予測器３０８に相当するイントラ予測手段１００６、第１合成器３０９に相当する第１合成手段１００７、デブロックフィルタ３１０に相当するデブロックフィルタ手段１００８、復号化制御器３１３に相当する復号化制御手段１００９、領域境界動き補償器３１４に相当する領域境界動き補償手段１０１０、領域内差分動き補償器３１５に相当する領域内差分動き補償手段１０１１、第２合成器３１６に相当する第２合成手段１０１２の各機能を少なくとも有し、図３に示したフレームメモリ３１１に相当する記憶手段として例えば一時記憶装置９０５を用いることで、図３に示した動画像復号化装置と同様の動作をソフトウェア処理により実行する。
【０２２５】
図１１は本発明になる動画像符号化プログラムの第２の実施の形態により動作する情報処理装置の一例の構成図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図１１に示す情報処理装置９００の基本的構成は、図９と同様である。
【０２２６】
ただし、図１１に示す中央処理制御装置９０３は、本発明の第２の実施の形態の動画像符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図９に示した各手段に加えて、更に図５に示した動き推定器５０２に相当する動き推定手段１１０１、動き補償器５０３に相当する動き補償手段１１０２、差分判定器５０４に相当する差分判定手段１１０３の各機能を少なくとも有し、図５に示した動画像符号化装置と同様の動作をソフトウェア処理により実行する。
【０２２７】
図１２は本発明になる動画像復号化プログラムの第２の実施の形態により動作する情報処理装置の一例の構成図を示す。同図中、図１０と同一構成部分には同一符号を付し、その説明を省略する。図１２に示す情報処理装置９００の基本的構成は、図１０と同様である。
【０２２８】
ただし、図１２に示す中央処理制御装置９０３は、本発明の第２の実施の形態の動画像復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図１０に示した各手段に加えて、更に図７に示した動き補償器３１７に相当する動き補償手段１２０１の機能を少なくとも有し、図７に示した動画像復号化装置と同様の動作をソフトウェア処理により実行する。
【産業上の利用可能性】
【０２２９】
本発明は、映像符号化装置及び映像符号化プログラムなどに適用できる。また、本発明は、映像復号化装置及び映像復号化プログラムなどに適用できる。
【図面の簡単な説明】
【０２３０】
【図１】本発明の動画像符号化装置の第１の実施の形態のブロック図である。
【図２】本発明の動画像符号化装置の第１の実施の形態の動作説明用フローチャートである。
【図３】本発明の動画像復号化装置の第１の実施の形態のブロック図である。
【図４】本発明の動画像復号化装置の第１の実施の形態の動作説明用フローチャートである。
【図５】本発明の動画像符号化装置の第２の実施の形態のブロック図である。
【図６】本発明の動画像符号化装置の第２の実施の形態の動作説明用フローチャートである。
【図７】本発明の動画像復号化装置の第２の実施の形態のブロック図である。
【図８】本発明の動画像復号化装置の第２の実施の形態の動作説明用フローチャートである。
【図９】本発明の動画像符号化プログラムの第１の実施の形態により動作する情報処理装置の一例の構成図である。
【図１０】本発明の動画像復号化プログラムの第１の実施の形態により動作する情報処理装置の一例の構成図である。
【図１１】本発明の動画像符号化プログラムの第２の実施の形態により動作する情報処理装置の一例の構成図である。
【図１２】本発明の動画像復号化プログラムの第２の実施の形態により動作する情報処理装置の一例の構成図である。
【図１３】一般的なブロックマッチングによる動きベクトル探索を行うことで、動きベクトル情報を生成する、動き推定の様子を示した概念図である。
【図１４】本発明の動画像符号化装置による領域境界動き推定の動作を示すための概念図である。
【図１５】本発明の動画像符号化装置による領域境界動き推定を行う際の、境界部分における境界条件を算出する一例を説明するための概念図である。
【図１６】本発明の動画像符号化装置による領域境界動き補償の動作を示すための概念図である。
【図１７】本発明の動画像符号化装置による領域内差分動き推定の動作における基準差分情報の求め方を示すための概念図である。
【図１８】本発明の動画像符号化装置による領域内差分動き推定における動作を示すための概念図である。
【図１９】本発明の動画像符号化装置による領域内差分動き推定における別の動作を示すための概念図である。
【図２０】本発明の動画像符号化装置による領域内差分動き補償、及び予測ピクチャの合成における動作を示すための概念図である。
【図２１】本発明の動画像符号化装置による領域内差分動き補償、及び予測ピクチャの合成における別の動作を示すための概念図である。
【図２２】ＡＶＣの符号化装置に、動き補償後の予測ピクチャに対して平滑化処理を導入した場合の符号化装置の一例のブロック図である。
【図２３】ＡＶＣの符号化装置に、動き補償後の予測ピクチャに対して平滑化処理を導入した場合の符号化装置の動作説明用フローチャートである。
【図２４】ＡＶＣの復号化装置に、動き補償後の予測ピクチャに対して平滑化処理を導入した場合の復号化装置の一例のブロック図である。
【図２５】ＡＶＣの復号化装置に、動き補償後の予測ピクチャに対して平滑化処理を導入した場合の復号化装置の動作説明用フローチャートである。
【図２６】所定の領域の境界条件を適用してポアソン方程式から推定される推定信号と、原信号と推定信号との差分から得られる残差信号を模式的に表すための概念図である。
【図２７】原信号に対してＤＣＴを行う際の問題点を模式的に表す概念図である。
【図２８】残差信号に対してＤＣＴを行うことで、従来法との違いを模式的に表す概念図である。
【図２９】各ピクチャを所定の矩形領域で分割した際の状態を模式的に表す概念図である。
【符号の説明】
【０２３１】
１０１、３０１  入力符号
１０２、１０３、３０２、３１８、５０１  スイッチ
１０４、３１１  フレームメモリ
１０５、３０８  イントラ予測器
１０７  直交変換器
１０８  量子化器
１０９、３０６  逆量子化器
１１０、３０７  逆直交変換器
１１１、３０９  第１合成器
１１２、３１０  デブロックフィルタ
１１３  エントロピー符号化器
１１４  多重化器
１１５  出力伝送器
１１６、３１２  出力符号
１１７  符号化制御器
１１８  領域境界動き推定器
１１９、３１４  領域境界動き補償器
１２０  第１差分器
１２１  領域内差分動き推定器
１２２、３１５  領域内差分動き補償器
１２３、３１６  第２合成器
１２４  第２差分器
３０３  入力受信器
３０４  多重化分離器
３０５  エントロピー復号化器
３１３  復号化制御器
３１７、５０３  動き補償器
５０２  動き推定器
５０４  差分判定器
９００  情報処理装置
９０３  中央処理制御装置
１３０１、１４０１  符号化ピクチャ
１３０２、１４０２  参照ピクチャ
１３０３、１４０３  予測対象
１３０４、１４０４  基準位置
１３０５、１４０５  探索範囲
１４０６  適合した境界部分
１４０７  境界部動きベクトル情報
１６０１〜１６０４  参照ピクチャ内の境界部分
１６０５  予測ピクチャ
１６０６  予測ブロック
１７０２  基準差分情報
１８０１  適合したブロック
１８０２  差分成分動きベクトル情報
１８０３  現在の探索対象
１９０１  参照ピクチャの探索範囲内の、現在の探索対象のブロックに対応する空間位置である領域
２００１、２１０２  予測残差ブロック
２００２、２１０３  予測残差ピクチャ
２００３、２１０４  第２の予測ピクチャ
【図１】
0004561688.tif 000011
【図２】
0004561688.tif 000012
【図３】
0004561688.tif 000013
【図４】
0004561688.tif 000014
【図５】
0004561688.tif 000015
【図６】
0004561688.tif 000016
【図７】
0004561688.tif 000017
【図８】
0004561688.tif 000018
【図９】
0004561688.tif 000019
【図１０】
0004561688.tif 000020
【図１１】
0004561688.tif 000021
【図１２】
0004561688.tif 000022
【図１３】
0004561688.tif 000023
【図１４】
0004561688.tif 000024
【図１５】
0004561688.tif 000025
【図１６】
0004561688.tif 000026
【図１７】
0004561688.tif 000027
【図１８】
0004561688.tif 000028
【図１９】
0004561688.tif 000029
【図２０】
0004561688.tif 000030
【図２１】
0004561688.tif 000031
【図２２】
0004561688.tif 000032
【図２３】
0004561688.tif 000033
【図２４】
0004561688.tif 000034
【図２５】
0004561688.tif 000035
【図２６】
0004561688.tif 000036
【図２７】
0004561688.tif 000037
【図２８】
0004561688.tif 000038
【図２９】
0004561688.tif 000039