(57)【要約】【課題】本発明の課題は、少ないオーバヘッドで予測画像信号を表現し、異なる画素精度の動き補償を提供する。【解決手段】本発明に係る動画像符号化装置２０は、フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出手段３２と、フレーム画像内の符号化された所定領域の動きベクトルを用いて、符号化対象の所定領域の動きベクトルを予測する予測手段３３ｃと、動きベクトル検出手段３２により検出された動きベクトルが、予測手段３３ｃにより予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断手段３３ｄと、動きベクトル検出手段３２により検出された動きベクトルが、所定の動きベクトルである場合と所定の動きベクトルでない場合で、符号化対象の所定領域の動き補償値の算出方法を切り替える切替手段３３ｅとを具備する。【選択図】図６
2010114933.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像符号化装置。
【請求項２】
前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項１に記載の動画像符号化装置。
【請求項６】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項１に記載の動画像符号化装置。
【請求項７】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項３に記載の動画像符号化装置。
【請求項８】
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像復号化装置。
【請求項９】
前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項８に記載の動画像復号化装置。
【請求項１０】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項８に記載の動画像復号化装置。
【請求項１１】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項８に記載の動画像復号化装置。
【請求項１２】
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項８に記載の動画像復号化装置。
【請求項１３】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項８に記載の動画像復号化装置。
【請求項１４】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項１０に記載の動画像復号化装置。
【請求項１５】
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂと、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Ｃとを有し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像符号化方法。
【請求項１６】
前記工程Ｂにおいて、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記工程Ｃにおいて、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項１５に記載の動画像符号化方法。
【請求項１７】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記工程Ｃにおいて、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項１５に記載の動画像符号化方法。
【請求項１８】
前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項１５に記載の動画像符号化方法。
【請求項１９】
前記画像処理は、空間解像度を変更する処理であり、
前記工程Ｂにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項１５に記載の動画像符号化方法。
【請求項２０】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項１５に記載の動画像符号化方法。
【請求項２１】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項１７に記載の動画像符号化方法。
【請求項２２】
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Ｂと、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｃとを有し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを特徴とする動画像復号化方法。
【請求項２３】
前記工程Ｂにおいて、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記工程Ｃにおいて、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項２２に記載の動画像復号化方法。
【請求項２４】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記工程Ｂにおいて、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記工程Ｃにおいて、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項２２に記載の動画像復号化方法。
【請求項２５】
前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項２２に記載の動画像復号化方法。
【請求項２６】
前記画像処理は、空間解像度を変更する処理であり、
前記工程Ｃにおいて、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項２２に記載の動画像復号化方法。
【請求項２７】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項２２に記載の動画像復号化方法。
【請求項２８】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項２４に記載の動画像復号化方法。
【請求項２９】
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラム。
【請求項３０】
前記動き補償部は、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、
前記伝送部は、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項２９に記載のプログラム。
【請求項３１】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記伝送部は、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項２９に記載のプログラム。
【請求項３２】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項２９に記載のプログラム。
【請求項３３】
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項２９に記載のプログラム。
【請求項３４】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項２９に記載のプログラム。
【請求項３５】
前記参照画像に係る情報は、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項３１に記載のプログラム。
【請求項３６】
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラム。
【請求項３７】
前記復号化部は、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることを特徴とする請求項３６に記載のプログラム。
【請求項３８】
前記参照画像に係る情報は、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、
前記復号化部は、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、
前記動き補償部は、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することを特徴とする請求項３６に記載のプログラム。
【請求項３９】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項３６に記載のプログラム。
【請求項４０】
前記画像処理は、空間解像度を変更する処理であり、
前記動き補償部は、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことを特徴とする請求項３６に記載のプログラム。
【請求項４１】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項３６に記載のプログラム。
【請求項４２】
前記参照画像に係る情報は、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることを特徴とする請求項３８に記載のプログラム。
【請求項４３】
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【請求項４４】
コンピュータを、
フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、
前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、
前記参照画像に係る情報は、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【請求項４５】
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを特徴とする動画像符号化装置。
【請求項４６】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記画像処理を示す情報は、前記フィルタを識別することを特徴とする請求項４５に記載の動画像符号化装置。
【請求項４７】
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、
前記伝送部は、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項４５に記載の動画像符号化装置。
【請求項４８】
前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項４７に記載の動画像符号化装置。
【請求項４９】
前記画像処理は、空間解像度を変更する処理であり、
前記３次元動きベクトル生成部は、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落とすことを特徴とする請求項４５に記載の動画像符号化装置。
【請求項５０】
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、
前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを特徴とする動画像復号化装置。
【請求項５１】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別することを特徴とする請求項５０に記載の動画像復号化装置。
【請求項５２】
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、
前記動き補償部は、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項５０に記載の動画像復号化装置。
【請求項５３】
前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項５２に記載の動画像復号化装置。
【請求項５４】
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する工程Ｂと、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｃと、
前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Ｄとを有することを特徴とする動画像符号化方法。
【請求項５５】
前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別することを特徴とする請求項５４に記載の動画像符号化方法。
【請求項５６】
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する工程Ｅを有し、
前記工程Ｄにおいて、前記工程Ｂで生成された前記３次元動きベクトルと前記工程Ｅで予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項５４に記載の動画像符号化方法。
【請求項５７】
前記工程Ｅにおいて、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項５６に記載の動画像符号化方法。
【請求項５８】
前記画像処理は、空間解像度を変更する処理であり、
前記工程Ｂにおいて、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落とすことを特徴とする請求項５４に記載の動画像符号化方法。
【請求項５９】
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、
復号化対象の所定領域の３次元動きベクトルを復号化する工程Ｂと、
前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Ｃとを有することを特徴とする動画像復号化方法。
【請求項６０】
前記工程Ａにおいて、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別することを特徴とする請求項５９に記載の動画像復号化方法。
【請求項６１】
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する工程Ｄを有し、
前記工程Ｃにおいて、前記工程Ｂで復号化された前記３次元動きベクトルと前記工程Ｄで予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項５９に記載の動画像復号化方法。
【請求項６２】
前記工程Ｄにおいて、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項６１に記載の動画像復号化方法。
【請求項６３】
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラム。
【請求項６４】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別することを特徴とする請求項６３に記載のプログラム。
【請求項６５】
前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、
前記伝送部は、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することを特徴とする請求項６３に記載のプログラム。
【請求項６６】
前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項６５に記載のプログラム。
【請求項６７】
前記画像処理は、空間解像度を変更する処理であり、
前記３次元動きベクトル生成部は、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落とすことを特徴とする請求項６３に記載のプログラム。
【請求項６８】
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、
前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラム。
【請求項６９】
前記参照画像生成部は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、
前記３次元動きベクトルは、前記フィルタを識別することを特徴とする請求項６８に記載のプログラム。
【請求項７０】
前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、
前記動き補償部は、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することを特徴とする請求項６８に記載のプログラム。
【請求項７１】
前記３次元動きベクトル予測部は、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することを特徴とする請求項７０に記載のプログラム。
【請求項７２】
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、
生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、
前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【請求項７３】
コンピュータを、
フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、
参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、
復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、
前記３次元動きベクトルによって特定される生成された前記参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
従来の動画像符号化方式の事例として「ＩＴＵ-Ｔ  ＳＧ１６  ＶＣＥＧ-Ｍ８１，“Ｈ.２６Ｌ  Ｔｅｓｔ  Ｍｏｄｅｌ  Ｌｏｎｇ  Ｔｅｒｍ  Ｎｕｍｂｅｒ  ８（ＴＭＬ-８）”に記載の「Ｈ．２６Ｌ符号化方式」に基づく動画像符号化装置及び動画像復号化装置の説明を行う。図１に、上述の動画像符号化装置２０の構成を、図２に、上述の動画像復号装置５０の構成を示す。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ＩＴＵ-Ｔ  ＳＧ１６  ＶＣＥＧ-Ｍ８１，“Ｈ.２６Ｌ  Ｔｅｓｔ  Ｍｏｄｅｌ  Ｌｏｎｇ  Ｔｅｒｍ  Ｎｕｍｂｅｒ  ８（ＴＭＬ-８）”
【０００４】
図１の動画像符号化装置は、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、直交変換によりさらに空間方向に残る冗長度を削減することで動画像（入力映像信号）の情報圧縮を行うものである。図３に、動き補償フレーム間予測の説明図を示す。
【０００５】
以下、これらの図を参照しながら、図１に示す動画像符号化装置２０の動作について説明する。
【０００６】
入力映像信号１は、フレーム画像の時間系列で構成されている。ここで、符号化対象となるフレーム画像は、入力部３１において、１６×１６画素の正方矩形領域（マクロブロック）に分割され、動画像符号化装置２０における符号化処理及び動画像復号装置５０における復号化処理は、このマクロブロック単位で行われるものとする。また、マクロブロック単位に分割されたフレーム画像を「フレーム画像信号２」と定義する。
【０００７】
「Ｈ.２６Ｌ符号化方式」では、「予測モード」として、同一フレーム画像上の符号化済み近傍領域の画素値（例えば、符号化対象のフレーム画像信号２の上方及び左方に隣接する画素値）を用いた空間予測を行う「ＩＮＴＲＡ（イントラ）予測モード」と、時間的に異なる符号化済みフレーム画像（参照フレーム画像５）を用いた動き補償フレーム間予測を行う複数の「ＩＮＴＥＲ（インター）予測モード」とが用意されている。
【０００８】
「Ｈ.２６Ｌ符号化方式」は、入力映像信号１の局所的な性質に応じてマクロブロック単位で「予測モード」を切り替え、効率的な情報圧縮を行うことができるように構成されている。
【０００９】
「動き補償フレーム間予測」は、参照フレーム画像５の所定の探索範囲内で、フレーム画像信号２内の画像信号パターンに類似する画像信号パターンを探し出して、両画像信号パターン間の空間的な変位量を「動きベクトル３」として検出し、「動きベクトル３」や「予測モード」や「参照フレーム番号」を含む「動き補償関連情報」と当該動きベクトル３に応じて算出された「予測残差信号９」とを符号化して伝送する技術である。
【００１０】
「Ｈ．２６Ｌ符号化方式」では、図３に示すように、７種類の「ＩＮＴＥＲ予測モード」が用意されている。より正確には、これらに加えて、映像が静止している場合などで有用な「スキップモード」、すなわち、参照フレーム画像５（符号化済みフレーム画像）の同位置の画素をそのままコピーする予測モードも用意されている。
【００１１】
図３に示すように、「モード１」では１６×１６画素単位、「モード２」では８×１６画素単位、「モード３」では１６×８画素単位、「モード４」では８×８画素単位、「モード５」では４×８画素単位、「モード６」では８×４画素単位、「モード７」では４×４画素単位で、動きベクトル３を検出する。
【００１２】
つまり、これらの７種類の予測モードは、マクロブロック内の動き検出単位を細分化できるようにしたものであり、マクロブロック内に存在し得る種々の動きを正確に捉えることを目的として設けられている。
【００１３】
第１に、入力部３１が、フレーム画像信号２を動き検出部３２及び空間予測部３５に送信する。
【００１４】
その後、動き検出部３２が、受信したフレーム画像信号２について、フレームメモリ３４から送信された参照フレーム画像５を参照して、所定の予測モード４に対応した本数の動きベクトル３の検出を行う。
【００１５】
一方、空間予測部３５は、フレームメモリ３４から送信された同一フレーム画像上の符号化済み近傍領域の画素値を用いた空間予測を行う。空間予測部３５は、複数の方法の空間予測を行ってもよい。
【００１６】
第２に、動き検出部３２が、図３に示す全ての「ＩＮＴＥＲ予測モード」について検出した動きベクトル３と当該動きベクトル３に対応する予測モード（例えば、モード１乃至モード７）４とを、動き補償部３３に送信する。
【００１７】
その後、動き補償部３３が、フレームメモリ３４から送信された参照フレーム画像５と、動き検出部３２から送信された複数の動きベクトル３及び予測モード４の組み合わせとを用いた動き補償によって、予測画像信号（マクロブロック単位）６を生成する。
【００１８】
第３に、動き補償部３３は、動き補償によって生成された予測画像信号６と予測モード４と動きベクトル３と符号化効率に関する情報とを、予測モード決定部３６に送信する。一方、空間予測部３５は、空間予測によって生成された予測画像信号７と予測モード（空間予測の種類が複数ある場合）４と符号化効率に関する情報とを、予測モード決定部３６に送信する。
【００１９】
第４に、予測モード決定部３６が、マクロブロック単位で、図３に示す全ての「ＩＮＴＥＲ予測モード」についての評価を行い、最も符号化効率がよいと判断される「ＩＮＴＥＲ予測モード」を選択する。
【００２０】
また、予測モード決定部３６は、同様に「ＩＮＴＲＡ予測モード」についての評価を行い、「ＩＮＴＲＡ予測モード」の方が「ＩＮＴＥＲ予測モード」よりも符号化効率がよい場合には「ＩＮＴＲＡ予測モード」を選択する。
【００２１】
そして、予測モード決定部３６は、選択された予測モード４によって生成された予測画像信号（マクロブロック単位）８を、減算器３７に送信する。
【００２２】
また、予測モード決定部３６は、予測モード４として「ＩＮＴＥＲ予測モード」を選択した場合、選択された「ＩＮＴＥＲ予測モード」で定められる本数分（最大でマクロブロックあたり１６本）の動きベクトル３等を含む「動き補償関連情報」を可変長符号化部４０に伝送する。一方、予測モード決定部３６は、予測モード４として「ＩＮＴＲＡ予測モード」を選択した場合、動きベクトル３を伝送しない。
【００２３】
第５に、直交変換部３８が、減算器３７から送信されたフレーム画像信号２と予測画像信号８との差分値（予測残差信号９）を直交変換することにより、直交変換係数１０を生成する。
【００２４】
第６に、量子化部３９が、直交変換部３８から送信された直交変換係数１０を量子化することにより、量子化直交変換係数１１を生成する。
【００２５】
第７に、可変長符号化部４０が、量子化部３９から送信された量子化直交変換係数１１と予測モード決定部３６から送信された予測モード４（及び、動きベクトル３）とについて、エントロピー符号化を行って圧縮ストリーム１２に多重化する。
【００２６】
可変長符号化部４０は、動画像復号化装置５０に対して、マクロブロック単位で圧縮ストリーム１２を送信してもよいし、フレーム画像単位で圧縮ストリーム１２を送信してもよい
また、逆量子化部４１が、量子化部３９から送信された量子化直交変換係数１１について逆量子化を行うことにより、直交変換係数１３を生成する。そして、逆直交変換部４２が、逆量子化部４１から送信された直交変換係数１３について逆直交変換を行うことにより、予測残差信号１４を生成する。
【００２７】
次に、加算器４３において、逆直交変換部４２から送信された予測残差信号１４と予測モード決定部３６から送信された予測画像信号８とが加算されてフレーム画像信号１５が生成される。
【００２８】
このマクロブロック単位のフレーム画像信号１５が、フレームメモリ３４に格納される。フレームメモリ３４には、以降の符号化処理で用いられるフレーム画像単位の参照フレーム画像５と、現在符号化しているフレーム画像の符号化済みマクロブロックの情報（画素値や動きベクトル）とが格納されている。
【００２９】
次に、図２に示す動画像復号化装置１０の動作について説明する。
【００３０】
第１に、可変長復号化部７１が、圧縮ストリーム１２を受信した後、各フレームの先頭を表す同期ワードを検出して、マクロブロック単位で、動きベクトル３と予測モード４と量子化直交変換係数１１とを復元する。
【００３１】
そして、可変長復号化部７１は、量子化直交変換係数１１を逆量子化部７６に送信し、予測モード４をスイッチ７５に送信する。また、可変長復号化部７１は、予測モード４が「ＩＮＴＥＲ予測モード」である場合、動きベクトル３及び予測モード４を動き補償部７２に送信し、予測モード４が「ＩＮＴＲＡ予測モード」である場合、予測モード４を空間予測部７４に送信する。
【００３２】
次に、予測モード４が「ＩＮＴＥＲ予測モード」である場合、動き補償部７２が、可変長復号化部７１から送信された動きベクトル３と予測モード４とを用いて、フレームメモリ７３から送信された参照フレーム画像５を参照して、予測画像信号６を生成する。
【００３３】
また、予測モード４が「ＩＮＴＲＡ予測モード」である場合、空間予測部７４が、フレームメモリ７３から送信された符号化済みの近傍領域の画像信号を参照して予測画像信号７を生成する。
【００３４】
次に、スイッチ７５が、可変長復号化部７１から送信された予測モード４に応じて、予測画像信号６と予測画像信号７とのいずれかを選択し、予測画像信号８を決定する。
【００３５】
一方、可変長復号化部７１により復元された量子化直交変換係数１１は、逆量子化部７６により逆量子化されて直交変換係数１０に復元され、逆直交変換部７７により逆直交変換されて予測残差信号９に復元される。
【００３６】
そして、加算器７８において、スイッチ７５から送信された予測画像信号８と逆直交変換部７７から送信された予測残差信号９とが加算されてフレーム画像信号２が復元されて出力部８０に送信される。出力部８０は、所定の表示タイミングで表示デバイス（図示せず）へ出力し、出力映像信号（動画像）１Ａを再生する。
【００３７】
また、復元されたフレーム画像信号２は、以降の復号化処理に用いられるため、フレームメモリ７３に格納される。
【００３８】
「ＴＭＬ-８」では、「ｆｕｎｎｙ  ｐｏｓｉｔｉｏｎ（特異位置）」の概念を用いた動き補償が実現されている。図４に、この「特異位置」を、整数画素位置、１/２画素位置、１/４画素位置と共に示す。なお、「ＴＭＬ-８」では、１/４画素精度の動き補償が実現されている。
【００３９】
図４において、動き検出部３２によって検出された動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の整数画素位置（（１画素，１画素）の画素位置）「Ｄ」を指しているものと仮定する。この場合、参照フレーム画像５内の画素位置「Ｄ」の画素値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。
【００４０】
次に、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の１/２画素位置（（１/２画素，１/２画素）の画素位置）「Ｅ」を指しているものと仮定する。この場合、参照フレーム画像５内の整数画素位置の画素値を縦横にそれぞれ独立に６タップフィルタ（１，−５，２０，２０，−５，１）/３２を作用させて得られた補間値が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対する「動き補償値」となる。
【００４１】
次に、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の１/４画素位置（（１/４画素，１/４画素）の画素位置）「Ｆ」又は「Ｇ」を指しているものと仮定する。この場合、近傍の整数画素位置の画素値及び１/２画素位置の画素値の線形補間値が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対する「動き補償値」となる。
【００４２】
例えば、動きベクトル３が、符号化対象のフレーム画像信号２の画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｆ」を指している場合は、画素位置「Ｆ」を取り囲む近傍の整数画素位置の画素値及び１/２画素位置の画素値の４点の平均値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。
【００４３】
また、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｇ」を指している場合は、画素位置「Ｇ」を水平に挟む１/２画素位置の画素値の２点の平均値が、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」となる。
【００４４】
さらに、動きベクトルが、符号化対象のフレーム画像信号２内の整数画素位置に対して、参照フレーム画像５内の（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）の画素位置を指していた場合は、符号化対象のフレーム画像信号２内の整数画素位置に対する「動き補償値」は、参照フレーム画像５内の（Ｎ，Ｍ）の画素値、（Ｎ，Ｍ＋１）の画素値、（Ｎ＋１，Ｍ）の画素値及び（Ｎ＋１，Ｍ＋１）画素値の平均値となる。ここで、参照フレーム画像５内の（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）が、上述の「特異位置」である。
【００４５】
例えば、動きベクトル３が、符号化対象のフレーム画像信号２内の整数画素位置「Ａ」に対して、参照フレーム画像５内の画素位置「Ｈ」（すなわち「特異位置」）を指している場合、符号化対象のフレーム画像信号２内の画素位置「Ａ」に対する「動き補償値」は、前述の１/４画素位置（例えば、画素位置「Ｆ」）の場合に算出された値ではなく、（Ａ＋Ｂ＋Ｃ＋Ｄ）/４の計算により算出された値となる。
【００４６】
以上のとおり、「Ｈ.２６Ｌ符号化方式」では、精緻な動き補償が可能となるように、多くの「ＩＮＴＥＲ予測モード」を用意している。また、整数画素位置、１/２画素位置、１/４画素位置、特異位置による動き補償を用意している。以上の構成により、予測構造を精緻化しつつ、予測が当たらないフレーム画像信号２が入力されても予測画像信号８が破綻しない仕組みが導入されている。
【００４７】
１/４画像精度の計算は、近傍の画素位置の画素値の線形補間で行われるため、周波数空間では低域通過型の作用を持ち、平滑化された予測画像信号６を生成する。
【００４８】
また、特異位置による動き補償を用いた場合には、近傍の４つの整数画素位置の画素値の平均値により「動き補償値」を算出することにより、さらに平滑化が行われた予測画像信号を生成することになる。平滑化は、予測画像信号にガウスノイズが重畳されていると仮定すると、このノイズ成分が大きいときに予測誤差を減ずる効果を持っている。
【００４９】
したがって、「ＴＭＬ-８」で定義される「Ｈ.２６Ｌ符号化方式」では、参照フレーム画像５にノイズが重畳されている場合、または参照フレーム画像５に高域成分が多く含まれており予測誤差が大きくなる場合に、１/４画素精度の計算及び特異位置による動き補償を用いて符号化効率の改善を図っている。
【発明の概要】
【発明が解決しようとする課題】
【００５０】
しかしながら、従来の「Ｈ.２６Ｌ符号化方式」には、以下のような問題点が考えられる。
【００５１】
第１に、符号化対象のフレーム画像信号２内の画素位置が、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）を指す動きベクトルを有する場合、算出される「動き補償値」には常に強い平滑化がかかり、特に高いレートでは精緻な動き補償が実現できなくなるという問題点（第１の問題点）があった。
【００５２】
すなわち、従来の「Ｈ.２６Ｌ符号化方式」では、動きベクトル３の絶対値で「特異位置」を定めていたために、図５に示すように、例えば、ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅが、右下に（３/４画素，３/４画素）で平行に動いているとき、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）として、平滑化された動き補償を行うか、又は、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（１/２，３/４）又は（３/４，１）として、真の動きとは異なる動きベクトルを送って動き補償を行うことになる。ここで、ＭＶｘは、動きベクトルのＸ成分を示し、ＭＶｙは、動きベクトルのＹ成分を示す。
【００５３】
具体的には、図５に示すように、従来の「Ｈ.２６Ｌ符号化方式」において、符号化対象のブロックをＥとし、ブロックＥの動きベクトルＭＶを（ＭＶｘE，ＭＶｙE）とすると、「ＭＶｘE％４＝３」かつ「ＭＶｙE％４＝３」となる領域が、常に「特異位置」となり、平滑化された画素値が、ブロックＥに対する「動き補償値」として選ばれることになる。ここで、“％”を商余演算記号とし、動きベクトルＭＶの表現に係る単位を１/４画素とする。
【００５４】
このため、「Ｈ.２６Ｌ符号化方式」では、動きベクトル（３/４，３/４）が、実際（１/２，１/２）の画素位置にある平滑化された画素値を指すことになるため、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは、任意整数）の画素値を表現することができないという問題点があった。
【００５５】
第２に、１/４画素精度による予測画像信号の生成は、高レートでは予測の精緻化、低レートでは予測の平滑化の効果が期待されているが、低レートにおける予測の平滑化では、１/４画素精度の動き補償まで必要なく、１/２画素精度の動き補償が実現できれば十分であり、予測の平滑化のために動きベクトルのパラメータ空間の半分を占める１/４画素精度の動きベクトルの検出は冗長であるという問題点（第２の問題点）があった。
【００５６】
そこで、本発明は、以上の点に鑑みてなされたもので、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することを目的とする。
【課題を解決するための手段】
【００５７】
本発明の第１の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。
【００５８】
本発明の第２の特徴は、フレーム画像の時間系列で構成される動画像を動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備することを要旨とする。
【００５９】
本発明の第３の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する工程Ａと、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する工程Ｂと、前記工程Ａで検出された動きベクトルが、前記工程Ｂで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Ｃと、前記工程Ａで検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える工程Ｄとを有することを要旨とする。
【００６０】
本発明の第４の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する工程Ａと、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する工程Ｂと、前記工程Ａで復号化された動きベクトルが、前記工程Ｂで予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する工程Ｃと、前記工程Ａで復号化された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える工程Ｄとを有することを要旨とする。
【００６１】
本発明の第５の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。
【００６２】
本発明の第６の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。
【００６３】
本発明の第７の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、前記フレーム画像内の符号化対象の所定領域の動きベクトルを検出する動きベクトル検出部と、前記フレーム画像内の符号化された所定領域の動きベクトルを用いて、前記符号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル検出部により検出された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル検出部により検出された動きベクトルが、前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記符号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００６４】
本発明の第７の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。
【００６５】
また、本発明の第７の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル検出部により検出された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル検出部により検出された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。
【００６６】
本発明の第８の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、前記フレーム画像内の復号化対象の所定領域の動きベクトルを復号化する動きベクトル復号化部と、前記フレーム画像内の復号化された所定領域の動きベクトルを用いて、前記復号化対象の所定領域の動きベクトルを予測する予測部と、前記動きベクトル復号化部により復号化された動きベクトルが、前記予測部により予測された動きベクトルに応じて設定される所定の動きベクトルであるか否かを判断する判断部と、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルである場合と前記所定の動きベクトルでない場合で、前記復号化対象の所定領域の動き補償値の算出方法を切り替える切替部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００６７】
本発明の第８の特徴において、前記所定の動きベクトルが、前記予測部により予測された動きベクトルと異なるように設定されることが好ましい。
【００６８】
また、本発明の第８の特徴において、前記判断部が、前記予測部により予測された動きベクトルと前記動きベクトル復号化部により復号化された動きベクトルとの差分情報が所定値である場合に、前記動きベクトル復号化部により復号化された動きベクトルが前記所定の動きベクトルであると判断することが好ましい。
【００６９】
本発明の第９の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。
【００７０】
本発明の第１０の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。
【００７１】
本発明の第１１の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。
【００７２】
本発明の第１２の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施した参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。
【００７３】
本発明の第１３の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂと、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する工程Ｃとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。
【００７４】
本発明の第１４の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Ａと、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｂとを有することを要旨とする。
【００７５】
本発明の第１５の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する工程Ｂと、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｃとを有し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせであることを要旨とする。
【００７６】
本発明の第１６の特徴は、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する工程Ａと、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する工程Ｂとを有することを要旨とする。
【００７７】
本発明の第１７の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムであることを要旨とする。
【００７８】
本発明の第１８の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、生成された前記所定の画像処理を施した参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。
【００７９】
本発明の第１９の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムであることを要旨とする。
【００８０】
本発明の第２０の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。
【００８１】
本発明の第２１の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記動き補償値の算出に用いられた参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００８２】
本発明の第２１の特徴において、前記動き補償部が、動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替え、前記伝送部が、前記動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。
【００８３】
また、本発明の第２１の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記伝送部が、符号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを組み合わせて伝送が好ましい。
【００８４】
また、本発明の第２１の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。
【００８５】
また、本発明の第２１の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。
【００８６】
また、本発明の第２１の特徴において、前記参照画像に係る情報が、符号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。
【００８７】
本発明の第２２の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、符号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００８８】
本発明の第２２の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。
【００８９】
また、本発明の第２２の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。
【００９０】
本発明の第２３の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、動画像符号化装置において動き補償値の算出に用いられた参照画像に係る情報を復号化する復号化部と、前記参照画像に係る情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備し、前記参照画像に係る情報が、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせである動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００９１】
本発明の第２３の特徴において、前記復号化部が、動きベクトルを検出する単位で、前記参照画像に係る情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記動きベクトルを検出する単位で、動き補償値の算出に用いる前記参照画像を切り替えることが好ましい。
【００９２】
また、本発明の第２３の特徴において、前記参照画像に係る情報が、動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせであり、前記復号化部が、復号化対象の所定領域単位で、前記参照画像に係る情報と前記参照フレーム画像の識別情報と前記動き補償値を示す情報とを復号化し、前記動き補償部が、前記参照画像に係る情報及び前記参照フレーム画像の識別情報によって特定される生成された前記参照画像を用いて、復号化対象の所定領域について動き補償値を算出することが好ましい。
【００９３】
また、本発明の第２３の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記動き補償部が、低い空間解像度の前記参照画像を用いる場合、動き補償値の算出に用いる動きベクトルの精度を落とすことが好ましい。
【００９４】
また、本発明の第２３の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記参照フレーム画像の識別情報と前記画像処理を示す情報との組み合わせを動的に変更されることが好ましい。
【００９５】
また、本発明の第２３の特徴において、前記参照画像に係る情報が、復号化対象の所定領域の符号化条件に応じて、前記動きベクトルを検出する単位を示す識別情報と前記画像処理を示す情報との組み合わせを動的に変更が好ましい。
【００９６】
本発明の第２４の特徴は、コンピュータを、フレーム画像の時系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、復号化対象の所定領域の符号化条件に応じて、参照フレーム画像から所定の画像処理を施した参照画像を生成する参照画像生成部と、前記所定の画像処理を施して生成された参照画像を用いて、復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【００９７】
また、本発明の第２４の特徴において、前記参照画像生成部が、動きベクトルを検出する単位の種類に応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。
【００９８】
また、本発明の第２４の特徴において、前記参照画像生成部が、量子化ステップに応じて、前記所定の画像処理を施した参照画像を生成することが好ましい。
【００９９】
本発明の第２５の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備することを要旨とする。
【０１００】
本発明の第２６の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備することを要旨とする。
【０１０１】
本発明の第２７の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する工程Ｂと、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する工程Ｃと、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する工程Ｄとを有することを要旨とする。
【０１０２】
本発明の第２８の特徴は、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化方法であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する工程Ａと、復号化対象の所定領域の３次元動きベクトルを復号化する工程Ｂと、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する工程Ｃとを有することを要旨とする。
【０１０３】
本発明の第２９の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムであることを要旨とする。
【０１０４】
本発明の第３０の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムであることを要旨とする。
【０１０５】
本発明の第３１の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により符号化する動画像符号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、前記参照画像を用いて検出した動きベクトルと該参照画像に施された画像処理を示す情報とを関連付けて３次元動きベクトルを生成する３次元動きベクトル生成部と、生成された前記参照画像を用いて、符号化対象の所定領域について動き補償値を算出する動き補償部と、前記３次元動きベクトルと前記動き補償値を示す情報とを組み合わせて伝送する伝送部とを具備する動画像符号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【０１０６】
本発明の第３１の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルが、前記フィルタを識別することが好ましい。
【０１０７】
また、本発明の第３１の特徴において、前記フレーム画像内の符号化された所定領域と前記符号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記伝送部が、前記３次元動きベクトル生成部により生成された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報と前記動き補償値を示す情報とを組み合わせて伝送することが好ましい。
【０１０８】
また、本発明の第３１の特徴において、前記３次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することが好ましい。
【０１０９】
また、本発明の第３１の特徴において、前記画像処理が、空間解像度を変更する処理であり、前記３次元動きベクトル生成部が、低い空間解像度の参照画像に対して、３次元動きベクトルの精度を落とすことが好ましい。
【０１１０】
本発明の第３２の特徴は、コンピュータを、フレーム画像の時間系列で構成される動画像を、動き補償により復号化する動画像復号化装置であって、参照フレーム画像から複数の異なる画像処理を施して複数の異なる参照画像を生成する参照画像生成部と、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部と、前記３次元動きベクトルによって特定される生成された参照画像を用いて、前記復号化対象の所定領域について動き補償値を算出する動き補償部とを具備する動画像復号化装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体であることを要旨とする。
【０１１１】
本発明の第３２の特徴において、前記参照画像生成部が、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して前記複数の異なる参照画像を生成し、前記３次元動きベクトルが、前記フィルタを識別することが好ましい。
【０１１２】
また、本発明の第３２の特徴において、前記フレーム画像内の復号化された所定領域と前記復号化対象の所定領域との相関を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を具備し、前記動き補償部が、前記復号化部により復号化された前記３次元動きベクトルと前記３次元動きベクトル予測部により予測された前記３次元動きベクトルとの差分情報を用いて、前記復号化対象の所定領域について動き補償値を算出することが好ましい。
【０１１３】
また、本発明の第３２の特徴において、前記３次元動きベクトル予測部が、算術符号化におけるコンテクストの切り替えによって前記３次元動きベクトルを予測することが好ましい。
【発明の効果】
【０１１４】
以上説明したように、本発明によれば、少ないオーバヘッドで予測画像信号を表現することが可能であり、異なる画素精度の動き補償を提供することができる。
【図面の簡単な説明】
【０１１５】
【図１】従来技術に係る動画像符号化装置の概略構成図である。
【図２】従来技術に係る動画像復号化装置の概略構成図である。
【図３】従来技術に係るＩＮＴＥＲ予測モードにおけるマクロブロックの分割パターンを示す図である。
【図４】従来技術に係る特異位置の概念を示す図である。
【図５】本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。
【図６】本発明の一実施形態に係る動画像符号化装置の動き補償部の機能ブロック図である。
【図７】本発明の一実施形態に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。
【図８】本発明の一実施形態に係る動画像符号化装置の動き補償部の動作を示すフローチャート図である。
【図９】本発明の一実施形態に係る動画像復号化装置における復号化処理手順を示すフローチャート図である。
【図１０】本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。
【図１１】本発明の一変更例に係る動画像符号化装置における「特異位置」を判断する概念を示す図である。
【図１２】本発明の一実施形態に係る動画像符号化装置概略図である
【図１３】本発明の一実施形態に係る動画像復号化装置概略図である
【図１４】本発明の一実施形態で用いられるＨ.２６Ｌ符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。
【図１５】本発明の一実施形態で用いられる参照フレームコード表の一例である。
【図１６】本発明の一実施形態で用いられる参照フレームコード表の一部である。
【図１７】本発明の一変更例で用いられるＨ.２６Ｌ符号化方式におけるマクロブロック単位での符号化シンタックスを示す図である。
【図１８】本発明の一変更例で用いられるマクロブロックモードコード表である。
【図１９】本発明の一実施形態に係る動画像符号化装置の概略構成図である。
【図２０】本発明の一実施形態に係る動画像復号化装置の概略構成図である。
【図２１】本発明の一実施形態に係る階層化参照画像について説明する図である。
【図２２】本発明の一実施形態に係る階層化参照画像の生成方法について説明する図である。
【図２３】本発明の一実施形態に係る動画像符号化装置における予測動きベクトルの算出方法を示す図である。
【図２４】本発明の一実施形態に係る動画像符号化装置における動き補償の動作を示すフローチャート図である。
【図２５】本発明の一変更例に係る階層化参照画像の生成方法について説明する図である。
【図２６】本発明の一実施形態に係る動画像符号化装置又は動画像復号化装置として、コンピュータを機能させるためのプログラムを記録するコンピュータ読み取り可能な記録媒体を示す図である。
【発明を実施するための形態】
【０１１６】
（実施形態１）
本発明の第１の実施形態では、従来の「ＴＭＬ-８」で定義されている「Ｈ.２６Ｌ符号化方式」で課題となっている「特異位置」における動き補償（第１の問題点）について改良を施した動画像符号化装置２０及び動画像復号装置５０について述べる。
【０１１７】
本実施形態では、「特異位置」における動き補償を除いて、その動作は「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。
【０１１８】
具体的には、本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０の構成は、従来の動画像符号化装置２０及び動画像復号化装置５０の構成と比較すると、動き補償部３３,７２の構成が異なる。
【０１１９】
本実施形態において、動画像符号化装置２０の動き補償部３３と動画像復号化装置５０の動き補償部７２の構成は同一であるので、以下、動画像符号化装置２０の動き補償部３３について説明する。
【０１２０】
なお、本実施形態に係る動画像符号化装置２０は、フレーム画像の時間系列で構成される動画像（入力映像信号１）を動き補償により符号化するものであって、本実施形態に係る動画像復号化装置５０は、フレーム画像の時間系列で構成される動画像（出力映像信号１Ａ）を動き補償により復号化するものである。
【０１２１】
また、本実施形態に係る動画像符号化装置２０において、動き検出部３２が、フレーム画像内の符号化対象の所定領域（例えば、マクロブロック）の動きベクトル３を検出する動きベクトル検出部を構成する。また、本実施形態に係る動画像復号化装置５０において、可変長復号部７１が、フレーム画像内の復号化対象の所定領域（例えば、マクロブロック）の動きベクトル３を復号化する動きベクトル復号化部を構成する。
【０１２２】
本実施形態に係る動画像符号化装置２０の動き補償部３３は、図６に示すように、動きベクトル入力部３３ａと、参照フレーム画像入力部３３ｂと、予測動きベクトル算出部３３ｃと、判断部３３ｄと、予測画像信号生成部３３ｅとを具備している。
【０１２３】
本実施形態において、予測動きベクトル算出部３３ｃが、フレーム画像内の符号化された所定領域の動きベクトル（例えば、ＭＶＡ＝（ＭＶｘＡ，ＭＶｙＡ）、ＭＶＢ＝（ＭＶｘＢ，ＭＶｙＢ）、ＭＶＣ＝（ＭＶｘＣ，ＭＶｙＣ））を用いて、符号化対象の所定領域（マクロブロックＥ）の予測動きベクトルＰＭＶＥ＝（ＰＭＶｘＥ，ＰＭＶｙＥ）を予測する予測部を構成する。また、判断部３３ｄが、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）が、予測部（予測動きベクトル算出部３３ｃ）により予測された動きベクトルＰＭＶＥ＝（ＰＭＶｘＥ，ＰＭＶｙＥ）に応じて設定される所定の動きベクトル（「特異位置」を指す動きベクトル）であるか否かを判断する判断部を構成する。
【０１２４】
また、予測画像信号生成部３３ｅが、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）が、所定の動きベクトル（「特異位置」を指す動きベクトル）である場合と所定の動きベクトル（「特異位置」を指す動きベクトル）でない場合で、符号化対象の所定領域の「動き補償値」の算出方法（予測画像信号６の生成方法）を切り替える切替部を構成する。
【０１２５】
動きベクトル入力部３３ａは、判断部３３ｄに接続されており、動き検出部３２により検出された動きベクトルＭＶＥを受信して判断部３３ｄに送信するものである。
【０１２６】
参照フレーム画像入力部３３ｂは、予測動きベクトル算出部３３ｃと判断部３３ｄとに接続されており、フレームメモリ３４に格納されている符号化対象の所定領域の近傍領域（マクロブロックＡ，Ｂ，Ｃ）の動きベクトルを抽出して予測動きベクトル算出部３３ｃに送信し、フレームメモリ３４に格納されている参照フレーム画像５を抽出して判断部３３ｄに送信するものである。
【０１２７】
予測動きベクトル算出部３３ｃは、参照フレーム画像入力部３３ｂと判断部３３ｄとに接続されており、例えば、フレームメモリ３４に格納されている符号化対象の所定領域の近傍領域（マクロブロックＡ，Ｂ，Ｃ）の動きベクトル（フレーム画像内の符号化された所定領域の動きベクトル）ＭＶＡ，ＭＶＢ，ＭＶＣを用いて、符号化対象の所定領域（マクロブロック）の動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）の予測値である予測動きベクトルＰＭＶＥ＝（ＰＭＶｘＥ，ＰＭＶｙＥ）を算出するものである。
【０１２８】
ここで、ＰＭＶｘＥは、予測動きベクトルの水平成分（Ｘ成分）を示し、ＰＭＶｙＥは、予測動きベクトルの垂直成分（Ｙ成分）を示す。
【０１２９】
「ＴＭＬ-８」では、動きベクトルを効率よく符号化するために、「中央値予測」と呼ばれる予測方式により、参照フレーム画像５に含まれる符号化済みの近傍領域の動きベクトルを用いて、符号化対象となる所定領域の動きベクトルを予測して符号化する。
【０１３０】
図５では、近傍領域（マクロブロック）Ａ，Ｂ，Ｃの動きベクトルＭＶであるＭＶＡ＝（ＭＶｘＡ，ＭＶｙＡ）、ＭＶＢ＝（ＭＶｘＢ，ＭＶｙＢ）、ＭＶＣ＝（ＭＶｘＣ，ＭＶｙＣ）が、既に符号化されており、当該動きベクトルの水平成分ＭＶｘＡ，ＭＶｘＢ，ＭＶｘＣの平均値を取って、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルの水平成分ＰＭＶｘＥとし、当該動きベクトルの垂直成分ＭＶｙＡ，ＭＶｙＢ，ＭＶｙＣの平均値を取って、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルの垂直成分ＰＭＶｙＥとする。
【０１３１】
例えば、予測動きベクトルＰＭＶの算出に用いる近傍領域（マクロブロック）Ａ，Ｂ，Ｃがフレーム画像外にあったり、近傍領域（マクロブロック）Ａ，Ｂ，Ｃが動きベクトルを持たない予測モード（符号化モード）である場合には、予測動きベクトルＰＭＶは零ベクトルとされる。
【０１３２】
さらに、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルＰＭＶの算出に用いる近傍領域（マクロブロック）Ａ，Ｂ，Ｃ内に３以上の動きベクトルが存在しない場合には、当該近傍領域（マクロブロック）Ａ，Ｂ，Ｃの動きベクトルを零ベクトルとする等の仮定を用いて、符号化対象の所定領域（マクロブロック）Ｅの予測動きベクトルＰＭＶＥの値は、常に求められる。
【０１３３】
また、予測動きベクトル算出部３３ｃは、動きベクトル入力部３３ａからの動きベクトルＭＶＥと予測動きベクトルＰＭＶＥとの差分情報ＭＶＤ＝（ＭＶＤｘ，ＭＶＤｙ）を算出する。ここで、差分情報ＭＶＤのＸ成分であるＭＶＤｘは「ＭＶｘＥ−ＰＭＶｘＥ」により算出され、差分情報ＭＶＤのＹ成分であるＭＶＤｙは「ＭＶｙＥ−ＰＭＶｙＥ」により算出される。
【０１３４】
「Ｈ.２６Ｌ符号化方式」では、動きベクトルＭＶは、伝送効率の向上のため、上述の差分情報ＭＶＤの形態で符号化され伝送される。
【０１３５】
判断部３３ｄは、動きベクトル入力部３３ａと参照フレーム画像入力部３３ｂと予測動きベクトル算出部３３ｃと予測画像信号生成部３３ｅとに接続されており、動きベクトル入力部３３ａからの動きベクトルＭＶＥ及び予測動きベクトル算出部３３ｃからの予測動きベクトルＰＭＶＥに応じて、予測画像信号６の生成方法（動き補償値の算出方法）を決定して予測画像信号生成部３３ｅに通知するものである。
【０１３６】
具体的には、判断部３３ｄは、図７に示すように、予測画像信号生成部３３ｅにより生成された予測動きベクトルの垂直成分ＰＭＶｙＥの位相と、動き検出部３２により検出された動きベクトルＭＶEとに応じて、当該動きベクトルＭＶEが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。
【０１３７】
以下、予測動きベクトルＰＭＶＥ及び動きベクトルＭＶEの表現に係る単位を１/４画素とする。
【０１３８】
第１に、判断部３３ｄは、「ＰＭＶｙＥ％４＝０又は１」のとき（すなわち、ＰＭＶｙＥが第１の位相であるとき）で、「ＭＶｘE％４＝３」かつ「ＭＶｙE％４＝３」の場合に、符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶE（ＭＶｘE，ＭＶｙE）が「特異位置」を指していると判断する。
【０１３９】
第２に、判断部３３ｄは、「ＰＭＶｙE％４＝２又は３」のとき（すなわち、ＰＭＶｙＥが第２の位相であるとき）で、「ＭＶｘE％４＝１」かつ「ＭＶｙE％４＝１」の場合に、符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶE（ＭＶｘE，ＭＶｙE）が「特異位置」を指していると判断する。
【０１４０】
この結果、予測動きベクトルＰＭＶEが指す領域が「特異位置」と重ならないように調整される。すなわち、予測動きベクトル算出部３３ｃ（予測部）により予測された予測動きベクトルＰＭＶEが、「特異位置」を指す動きベクトル（所定の動きベクトル）と異なるように設定される。
【０１４１】
ＰＭＶｙEが第１の位相であるケースでは、従来の「Ｈ.２６Ｌ符号化方式」における動き補償がそのまま適用される（すなわち、画素位置ａ（図７参照）を指す動きベクトルが「特異位置」を指すものとされる）。
【０１４２】
また、ＰＭＶｙEが第２の位相であるケースでは、異なる画素位置ｂ（図７参照）を指す動きベクトルが「特異位置」を指すものとされるが、得られる「動き補償値」は、その動きベクトルを囲む４つの近傍整数画素位置の画素値の平均値として平滑化したものであり、その他の動き補償処理は、従来の「Ｈ.２６Ｌ符号化方式」のものと同じである。
【０１４３】
予測画像信号生成部３３ｅは、判断部３３ｄに接続されており、判断部３３ｄからの判断結果に応じて、符号化対象の所定領域（マクロブロック）に係る「予測画像信号６の生成方法」を切り替えて予測画像信号６を生成するものである。
【０１４４】
具体的には、予測画像信号生成部３３ｅは、動き検出部３２により検出された符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶＥが「特異位置」を指すものと判断された場合、当該所定領域の予測画像信号６を、その動きベクトルＭＶＥが指す画素位置を囲む４つの近傍整数画素位置の画素値の平均値として平滑化したものとし、その他の場合、従来の「Ｈ.２６Ｌ符号化方式」の方法で当該所定領域の予測画像信号６を生成する。
【０１４５】
なお、本実施形態では、動き補償部３３と動き検出部３２とを別個に設けているが、動き補償部３３と動き検出部３２とを一体として設けてもよい。
【０１４６】
図８に、上述の動き補償部３３の動作を示す。
【０１４７】
ステップ４０１において、予測動きベクトル算出部３３ｃが、フレーム画像上の符号化された近傍領域（図５では、マクロブロックＡ，Ｂ，Ｃ）の動きベクトルＭＶＡ，ＭＶＢ，ＭＶＣに基づいて、同一フレーム画像上の符号化対象の所定領域（図５では、マクロブロックＥ）の動きベクトルの予測値である予測動きベクトルＰＭＶＥを算出する。
【０１４８】
ステップ４０２において、判断部３３ｄが、予測動きベクトル算出部３３ｃからの予測動きベクトルの垂直成分ＰＭＶｙＥの位相と動きベクトル入力部３３ａからの動きベクトルＭＶＥとに応じて、当該動きベクトルＭＶＥが「特異位置」を指しているか否かを判断する。
【０１４９】
ステップ４０３において、上述の動きベクトルＭＶＥが「特異位置」を指すものである場合、予測画像信号生成部３３ｅが、当該所定領域の予測画像信号６を平滑化した形態で生成する。
【０１５０】
ステップ４０４において、上述の動きベクトルＭＶＥが「特異位置」を指すものでない場合、予測画像信号生成部３３ｅが、従来の「Ｈ.２６Ｌ符号化方式」の方法で当該所定領域の予測画像信号６を生成する。
【０１５１】
次いで、図９を参照にして、動画像復号化装置５０における復号処理手順について説明する。
【０１５２】
ステップ５０１において、可変長復号化部７１が、ピクチャ（入力映像信号１を構成する個々のフレーム画像）の先頭を表す「同期ワード」を検出する。
【０１５３】
ステップ５０２において、可変長復号化部７１が、上述のピクチャの「ピクチャヘッダ」を復号する。「ピクチャヘッダ」には、当該ピクチャが「当該ピクチャを構成する全てのマクロブロックを「ＩＮＴＲＡ予測モード」によって符号化するピクチャのこと。以下「Ｉピクチャ」と呼ぶ」」であるか、「ＩＮＴＥＲ予測モードを使用するピクチャ（以下「Ｐピクチャ」と呼ぶ）」であるかについて識別する「ピクチャタイプ情報」や、直交変換係数内の量子化パラメータ等の値が含まれる。
【０１５４】
続いて、所定のシンタックスで構成される個々のマクロブロック層のデータの復号に進む。
【０１５５】
ステップ５０３において、可変長復号化部７１が、マクロブロック層において、「ＲＵＮ（ラン）」を復号する。「ＲＵＮ」は、マクロブロック層のデータが零であるマクロブロックの継続個数を示すものであり、「ＲＵＮ」の数だけのスキップモードが適用されるマクロブロック（スキップＭＢ）が発生する。
【０１５６】
ステップ５０４において、復号化対象とされているマクロブロックがスキップＭＢか否かが判断される。
【０１５７】
スキップＭＢである場合、ステップ５０５において、フレームメモリ７３に格納されている所定の参照フレーム画像５上で同位置にある１６×１６画素領域が、そのまま予測画像信号６として採用される。この処理は、可変長復号化部７１が、値が零の動きベクトルと所定の参照フレーム画像の識別番号とを動き補償部７２に送信することによって行われる。
【０１５８】
スキップＭＢでない場合、ステップ５０６において、当該ＭＢの「ＲＵＮ」が当該ピクチャの最終ＭＢを示すか否かが判断される。
【０１５９】
最終ＭＢである場合、ステップ５０７において、当該ピクチャの可変長復号化処理を終了し、次のピクチャの可変長復号化処理へ移る。
【０１６０】
スキップＭＢでも最終ＭＢでもない場合、すなわち通常のＭＢである場合、ステップ５０８において、可変長復号化部７１が、「ＭＢ＿Ｔｙｐｅ（マクロブロックタイプ）」の復号を行う。「ＭＢ＿Ｔｙｐｅ」によって、復号化対象の所定領域（マクロブロック）の予測モード４が確定する。ステップ５０９において、確定した予測モード４が「ＩＮＴＲＡ予測モード」であるか否かが判断される。
【０１６１】
予測モード４が「ＩＮＴＲＡ予測モード」である場合、ステップ５１０において、可変長復号化部７１が、「ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」の復号を行う。ステップ５１１において、空間予測部７４が、「ｉｎｔｒａ＿ｐｒｅｄ＿ｍｏｄｅ」に基づいて、近傍領域の画素値から空間予測を行い、予測画像信号７を生成する。
【０１６２】
予測モード４が「ＩＮＴＥＲ予測モード」である場合、予測モード４は、図３に示すモード１乃至モード７のいずれかとなる。したがって、この時点で「Ｒｅｆ＿ｆｒａｍｅ（参照フレーム画像番号）」及び「ＭＶＤ（動きベクトルの差分情報）」を何個復号すべきかが確定する。これらの情報にしたがって、可変長復号化部７１は、「Ｒｅｆ＿ｆｒａｍｅ」と「ＭＶＤ」の組を復号する。
【０１６３】
ただし、「Ｒｅｆ＿ｆｒａｍｅ」が多重されているかどうかは、前述の「ピクチャタイプ情報」に統合されているため、ステップ５１２において、「ピクチャタイプ情報」の値に応じて「Ｒｅｆ＿ｆｒａｍｅ」が存在するか否かの判断を行う。
【０１６４】
「Ｒｅｆ＿ｆｒａｍｅ」が存在する場合、ステップ５１３において、可変長復号化部７１は、「Ｒｅｆ＿ｆｒａｍｅ」を復号した後で、ステップ５１４において「ＭＶＤ」を復号する。「Ｒｅｆ＿ｆｒａｍｅ」が存在しない場合、ステップ５１４において「ＭＶＤ」のみが復号される。
【０１６５】
ステップ５１４において、こうして得られた「Ｒｅｆ＿ｆｒａｍｅ」と「ＭＶＤ」と「ＭＢ＿Ｔｙｐｅ」より確定される予測モード４に基づいて、ＭＢ内の全ての４×４ブロックに対応する動きベクトルＭＶが復元される。
【０１６６】
ステップ５１５において、動き補償部７２が、「Ｒｅｆ＿ｆｒａｍｅ」と動きベクトルＭＶとに基づいて、個々の４×４ブロックに対する予測画像信号６を生成する。「特異位置」に係る処理は、ここで反映される。
【０１６７】
ステップ５１６において、可変長復号化部７１が、量子化直交変換係数１１の復元を行い、ステップ５１７において、逆量子化部７６が、直交変換係数１０の復元を行い、ステップ５１８において、逆直交変換部７７が、予測残差信号９の復元を行う。
【０１６８】
ステップ５１９において、加算器７８で、スイッチ７５からの予測画像信号８と逆直交変換部７７からの予測残差信号９との加算が行われ、当該ＭＢのフレーム画像信号２を獲得する。その後、次のＭＢの復号化処理に移る。
【０１６９】
（実施形態１に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本実施形態に係る動画像符号化装置によれば、予測画像信号生成部３３ｅが、判断部３３ｄによる判断結果に応じて、すなわち、予測動きベクトル算出部３３ｃにより予測された予測動きベクトルに応じて、符号化対象の所定領域の動き補償値の算出方法を切り替えるため、「特異位置」と等しい画素位置（Ｎ＋３/４画素，Ｍ＋３/４画素：Ｎ，Ｍは任意整数）の画素値を表現することが可能となる。
【０１７０】
また、「特異位置」と等しい画素位置を指す動きベクトルを持つ領域（例えば、マクロブロック又はサブブロック）で「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。
【０１７１】
本実施形態において示した予測画像信号あるいは動き補償値の生成方法は一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。
【０１７２】
（変更例１Ａ）
上述の実施形態１に係る動画像符号化装置２０及び動画像復号化装置５０の変更例１Ａについて説明する。以下、実施形態１との相違点についてのみ説明する。
【０１７３】
本変更例に係る動画像符号化装置２０及び動画像復号化装置５０は、上述の実施形態に係る動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２を変更するものである。動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２は同一のものであるので、以下、動画像符号化装置２０の動き補償部３３について説明する。
【０１７４】
本変更例では、動き補償部３３の判断部３３ｄは、予測動きベクトルの水平成分ＰＭＶｘＥの位相と、動き検出部３２により検出された動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）とに応じて、当該動きベクトルが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。以下、動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）の表現に係る単位を１/４画素とする。
【０１７５】
第１に、判断部３３ｄは、「ＰＭＶｘＥ％４＝０又は１」のとき（すなわち、ＰＭＶｘＥが第１の位相であるとき）で、「ＭＶｘＥ％４＝３」かつ「ＭＶｙＥ％４＝３」の場合に、当該動きベクトルＭＶＥ（ＭＶｘＥ，ＭＶｙＥ）が「特異位置」を指していると判断する。
【０１７６】
第２に、判断部３３ｄは、「ＰＭＶｘＥ％４＝２又は３」のとき（すなわち、ＰＭＶｘＥが第２の位相であるとき）で、「ＭＶｘＥ％４＝１」かつ「ＭＶｙＥ％４＝１」の場合に、当該動きベクトルＭＶＥ（ＭＶｘＥ，ＭＶｙＥ）が「特異位置」を指していると判断する。
【０１７７】
この結果、予測動きベクトルＰＭＶＥが指す領域が「特異位置」と重ならないように調整される。すなわち、「特異位置」を指す動きベクトルが、予測動きベクトルＰＭＶＥと異なるように設定される。
【０１７８】
上述のように、本変更例１では、動きベクトルの予測符号化構造を利用して、「特異位置」となる動きベクトルが、真の動きと重なる可能性を減ずる効果がある。図５において、例えば、ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅが、右下に（３/４画素，３/４画素）だけ平行に動いている場合、すなわち、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）の場合であっても、予測動きベクトルＰＭＶの第２の位相が「２」である場合、動きベクトルＭＶ＝（ＭＶｘ，ＭＶｙ）＝（３/４，３/４）が「特異位置」を指していることにはならない。
【０１７９】
（変更例１Ｂ）
上述の実施形態１に係る動画像符号化装置２０及び動画像復号化装置５０の変更例１Ｂについて説明する。以下、実施形態１との相違点についてのみ説明する。
【０１８０】
本変更例に係る動画像符号化装置２０及び動画像復号化装置５０は、上述の実施形態に係る動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２を変更するものである。動画像符号化装置２０の動き補償部３３及び動画像復号化装置５０の動き補償部７２は同一のものであるので、以下、動画像符号化装置２０の動き補償部３３について説明する。
【０１８１】
本変更例では、動き補償部３３の判断部３３ｄは、上述の動きベクトルの差分情報ＭＶＤＥ＝（ＭＶＤｘＥ，ＭＶＤｙＥ）に応じて、動き検出部３２により検出された符号化対象の所定領域（マクロブロックＥ）の動きベクトルＭＶＥが「特異位置」を指しているか否かを判断して、その判断結果を予測画像信号生成部３３ｅに通知する。
【０１８２】
すなわち、判断部３３ｄが、予測部（予測動きベクトル算出部３３ｃ）により予測された動きベクトルＰＭＶＥと、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶＥとの差分情報ＭＶＤＥが、所定値である場合に、動きベクトル検出部（動き検出部３２）により検出された動きベクトルＭＶＥが、所定の動きベクトル（「特異位置」を指す動きベクトル）であると判断する判断部を構成する。
【０１８３】
以下、動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）の表現に係る単位を１/４画素とする。
【０１８４】
例えば、判断部３３ｄは、「ＭＶＤｘＥ％４＝３」かつ「ＭＶＤｙＥ％４＝３」の場合に、動き検出部３２によって検出された動きベクトルＭＶＥ（ＭＶｘＥ，ＭＶｙＥ）が「特異位置」を指していると判断する。
【０１８５】
かかる場合、すなわち、動きベクトルの差分情報ＭＶＤＥの商余で平滑化操作を行う場合、「特異位置」にある画素値の計算方法を変更する必要がある。
【０１８６】
つまり、従来技術、上述の実施形態１及び変更例１では、「特異位置」を囲む整数画素位置の画素値の平均値により動き補償を行っていたが、動きベクトルの差分情報ＭＶＤＥの商余で「特異位置」の判断を行う場合、「特異位置」そのものが整数画素位置となり、平均値を求めるのに用いる整数画素位置が定まらない場合が生じる。そこで、動き補償の動作を以下のようにする。
【０１８７】
図１１において、予測画像生成部３３ｅは、「ＭＶＤｘＥ％４＝３」かつ「ＭＶＤｙＥ％４＝３」（ここで、「ＰＭＶｘＥ％４＝１」かつ「ＰＭＶｙＥ％４＝１」）であるため、動き検出部３２により検出された動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）が「特異位置」を指していると判断する。ここで、実際には、動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）は、整数画素位置「Ｄ」を指している。
【０１８８】
かかる場合、予測画像生成部３３ｅは、図１１に示すように、符号化対象の所定領域（マクロブロック又はサブブロック）の動き補償値を、参照フレーム画像５内の（ＭＶｘＥ＋２，ＭＶｙＥ＋２）の画素値、（ＭＶｘＥ＋２，ＭＶｙＥ−２）の画素値、（ＭＶｘＥ−２，ＭＶｙＥ＋２）の画素値、（ＭＶｘＥ−２，ＭＶｙＥ−２）画素値の平均値とする。
【０１８９】
あるいはまた、予測画像生成部３３ｅは、符号化対象の所定領域（マクロブロック又はサブブロック）の動き補償値を、常に参照フレーム画像５内の整数画素位置の画素値から得ることとして、参照フレーム画像５内の（（ＭＶｘＥ/４）×４，（ＭＶｙＥ/４）×４）の画素値、（（（ＭＶｘＥ＋４）/４）×４，（ＭＶｙＥ/４）×４）の画素値、（（（ＭＶｘＥ/４）×４，（（ＭＶｙＥ＋４）/４）×４）の画素値、（（（ＭＶｘＥ＋４）/４）×４，（（ＭＶｙＥ＋４）/４）×４）の画素値の平均値としてもよい。
【０１９０】
変更例１Ｂによれば、動画像符号化装置２０において、真の動きベクトル（ＭＶｘＥ，ＭＶｙＥ）を伝送するか、または、動きベクトルＭＶＥ＝（ＭＶｘＥ，ＭＶｙＥ）＝（１，１）を伝送して平滑化した動き補償を行うかの選択が可能になる。
【０１９１】
（実施形態２）
本発明の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０について説明する。本実施形態では「特異位置」を用いた動き補償は行わない。
【０１９２】
上述の実施形態１では、「特異位置」を指す動きベクトルＭＶ（又は、動きベクトルの差分情報ＭＶＤ）を伝送することの問題点、すなわち、真の動きベクトルＭＶが送れないという問題点を減ずる対策を述べたが、それでも真の動きベクトルＭＶが送れない可能性は残る。
【０１９３】
そこで、本実施形態では、実施形態１での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった予測画像信号と、「特異位置」以外における通常の「動き補償値」の予測画像信号とを別に用意し、これら２種類の予測画像信号の識別情報を参照フレーム画像番号とともにシグナリングすることで、「特異位置」を用いることなく、符号化対象の所定領域ごとに異なる平滑度の参照画像から動き補償を行うことを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明する。
【０１９４】
図１２に、本実施形態に係る動画像符号化装置２０の概略図を示し、図１３に、動画像復号化装置５０の概略図を示す。
【０１９５】
本実施形態でも、実施形態１と同様に、従来の「ＴＭＬ-８」で定義されている「Ｈ.２６Ｌ符号化方式」で課題となっている「特異位置」における動き補償（第１の問題点）について改良を施した動画像符号化装置２０及び動画像復号装置５０について述べる。
【０１９６】
実施形態２では、「特異位置」を用いることなく、異なる参照画像から動き補償を行うことを除いて、その動作は「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。
【０１９７】
本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０と、従来技術に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、動き補償部３３、７２と可変符号化部４０の構成が変更されている点、及び参照画像生成部４５、８０が新たに追加された点を除いて、両者の基本動作は、ほぼ同じである。
【０１９８】
本実施形態において、参照画像生成部４５、８０は、参照フレーム画像５から複数の異なる画像処理を施して複数の異なる参照画像（通常の第１の参照画像又は強い平滑化のかかった第２の参照画像）１７を生成するものである。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられている。本実施形態では、画像処理として、平滑度を変更する処理を用いた場合について説明する。
【０１９９】
また、動き補償部３３は、参照フレーム画像５の代わりに参照画像１７を用いて、符号化対象の所定領域（マクロブロック）について動き補償値（予測画像信号６）を算出するものである。
【０２００】
可変長符号化部４０は、動き補償値（予測画像信号６）の算出に用いられた「参照画像１７に係る情報（参照フレームコード：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス：Ｔｅｘｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｎｔａｘ）」とを組み合わせて伝送する伝送部を構成する。
【０２０１】
また、可変長復号化部７１は、動画像符号化装置２０において動き補償値の算出に用いられた「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを復号化する復号化部を構成する。
【０２０２】
可変長復号化部７１は、動きベクトル３と予測モード４と「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」４Ａとを、動き補償部７２に送信する。
【０２０３】
また、動き補償部７２は、「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」によって特定される参照画像１７を、参照フレーム画像５の代わりに用いて、符号化対象の所定領域（マクロブロック）について動き補償値を算出するものである。
【０２０４】
本実施形態において、「参照画像１７に係る情報（参照フレームコード：Ｒｅｆ＿ｆｒａｍｅ）」は、「参照フレーム画像の識別情報（参照フレーム画像番号）」と「平滑度を示す情報（第１の参照画像又は第２の参照画像）」とを組み合わせたものである。
【０２０５】
第１に、本実施形態では、参照画像生成部４５が、「特異位置」を持たない通常の参照画像（以下、第１の参照画像）を生成する。第１の参照画像の「動き補償値」は、前記「ＴＭＬ−８」での「特異位置」に相当する位置での「動き補償値」にも本来の「動き補償値」が用いられることを除いて、「ＴＭＬ−８」の整数画素位置、１/２画素位置、１/４画素位置の各画素位置における「動き補償値」と同様である。
【０２０６】
「ＴＭＬ−８」での「特異位置」に相当する画素位置での第１の参照画像の「動き補償値」は、「ＴＭＬ−８」での「特異位置」以外における（１/４画素、１/４画素）位置における「動き補償値」と同様に、近傍の整数画素位置の画素値及び１/２画素位置の画素値の４点の平均値として生成する。
【０２０７】
第２に、第１の参照画像を用いて、「ＴＭＬ−８」での「特異位置」における「動き補償値」により提供されるような強い平滑化のかかった参照画像（以下、第２の参照画像）を生成する。ここで、第２の参照画像は、第１の参照画像の各画素値に対して、各種の平滑化フィルタを用いた画像処理を施すことにより生成することができ、例えば、１/４画素精度をもつ第１の参照画像の各画素位置の画素値に、縦横それぞれ独立に、平滑化作用のある３タップフィルタ（１、４，１）/６を作用させることにより、１/４画素精度をもつ第２の参照画像を生成することができる。
【０２０８】
「Ｈ．２６Ｌ符号化方式」では、参照フレーム画像５として、時間的に異なる複数の符号化済みフレーム画像を用意し、それらを参照画像として動き補償に用いることが可能である。また、これらの時間的に異なる符号化済みフレーム画像の識別情報は、参照フレーム画像番号として区別される。
【０２０９】
本実施形態では、第１の参照画像の識別情報又は第２の参照画像の識別情報、すなわち、参照画像の生成方法の情報と参照フレーム画像番号とを組み合わせて伝送することとする。
【０２１０】
これにより、「特異位置」を用いることなく、符号化対象の所定領域（例えば、マクロブロック）ごとに異なる平滑度の参照画像を用いた動き補償を行うことが可能となる。
【０２１１】
この場合、時間的に異なる符号化済みフレーム画像である参照フレーム画像５に対して、参照画像生成部４５、８０が、異なる平滑度である第１の参照画像及び第２の参照画像を生成し、これらを「参照画像」として動き補償部３３、７２における動き補償に利用することを可能とする。
【０２１２】
図１４に、本実施形態において用いられる「Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックス」を示す。本実施形態では、Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックスからの変更点はないが、「Ｒｅｆ＿ｆｒａｍｅ」の定義を、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせたもの、すなわち「参照フレームコード」に変更している。
【０２１３】
図１４に示すように、一つのマクロブロック内で複数の動きベクトルを検出することが必要な予測モード（例えば、モード７）が適用される場合であっても、複数の「ＭＢ＿ＴＹＰＥ」や「Ｒｅｆ＿ｆｒａｍｅ」等の情報を含むことなく符号化を行うことができる。
【０２１４】
すなわち、かかる符号化シンタックスを用いることによって、１回の「ＭＢ＿ＴＹＰＥ」や「Ｒｅｆ＿ｆｒａｍｅ」等の伝送に対して、動きベクトルの差分情報ＭＶＤ及び予測残差信号データ符号化シンタックス（Ｔｅｘｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｎｔａｘ）を繰り返し伝送することができる。ここで、予測残差信号データ符号化シンタックスは、量子化直交変換係数１１を可変長符号化したものである。
【０２１５】
図１５に、参照フレーム画像番号と参照画像の生成方法の識別情報との組み合わせによる参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）の一例を示す。
【０２１６】
ここで、図１５に示すように、従来のＨ．２６Ｌにおける参照フレーム画像番号と同じ参照フレームコード（「０」乃至「４」）は、第１の参照画像用に用いられており、新たに追加された参照フレームコード（「５」乃至「９」）は、第２の参照画像用に用いられている。
【０２１７】
本実施形態において、第２の参照画像は、通常の参照画像である第１の参照画像に比べて強い平滑化がかかっており、原画像（参照フレーム画像５）の持つ空間解像度を保持していない参照画像となっている。
【０２１８】
したがって、第２の参照画像は、強い平滑度の参照画像を用いた方が、より符号化歪みが抑圧され、動き補償の効率が向上される場合などのみに用いられることとなり、第１の参照画像に比べて選択される確率が低いと考えられる。
【０２１９】
そのため、動き補償に利用される参照画像として、多くの場合に通常の参照画像である第１の参照画像が選ばれ、このときに伝送される参照フレームコードを定義する参照フレームコード表は、図１６に示す「Ｈ．２６Ｌ符号化方式の参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」を定義する参照フレームコード表と同じであるため、従来の「Ｈ．２６Ｌ符号化方式」の場合と比べて、参照フレームコードの変更によるビット量の増加がない。
【０２２０】
また、強い平滑度の第２の参照画像を用いた動き補償を行う場合は、伝送される参照フレームコードとして比較的長い符号長が必要となるが、これらの第２の参照画像が利用される確率は多くはなく、また強い平滑度の第２の参照画像を用いることによる動き補償の効率向上に比べて、参照フレームコードのビット量の増加の影響は少ないと考えられ、高効率の符号化が期待できる。
【０２２１】
（実施形態２に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本発明に係る動画像符号化装置２０によれば、参照画像生成部４５において作成される通常の参照画像（第１の参照画像）と強い平滑度の参照画像（第２の参照画像）の２種類の異なる平滑度の参照画像を用いることにより、符号化対象の所定領域（例えば、マクロブロック）ごとに異なる平滑度の参照画像を用いて動き補償を行うことが可能となる。
【０２２２】
また、本発明に係る動画像符号化装置２０によれば、「参照画像の生成方法の識別情報」を「参照フレーム画像番号」と組み合わせて参照フレームコードを生成することで、参照画像の平滑度をシグナリングすることが可能であり、「Ｈ．２６Ｌ符号化方式」のように「特異位置」と等しい画素位置を指す動きベクトルをもつ領域で、「動き補償値」に常に強い平滑化がかかるという問題点を解決することができる。
【０２２３】
本実施形態において示した、強い平滑度の参照画像である第２の参照画像を生成するためのフィルタは一例であり、また、平滑化以外のフィルタを適用することで、異なる性質の参照画像による予測を実現することが可能となる。
【０２２４】
また、図１１では、説明を簡単にするために、参照画像の生成に用いることができる参照フレーム画像の最大数を「５」としているが、本発明は、これに限るものではなく、かかる参照フレーム画像の最大数を任意とすることができる。
【０２２５】
「ＴＭＬ−８」では、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置２０及び動画像復号化装置５０において、あらかじめ既知のものとして与えられる。
【０２２６】
また、実際のアプリケーションでは、このような方法もしくは動画像符号化装置２０から動画像復号化装置５０に伝送される圧縮ストリーム１２の情報によって、上述の参照フレーム画像の最大数が決定されると考えられる。
【０２２７】
いずれの場合にも、参照画像の生成に用いることができる参照フレーム画像の最大数は、動画像符号化装置２０及び動画像復号化装置５０において、一意に決定されるため、参照画像の生成に用いることができる参照フレーム画像の最大数に応じた参照フレームコード表を一意に決定できる。
【０２２８】
さらに、図１６の参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を定義する参照フレームコード表では、「参照フレーム画像番号」と「第１の参照画像」とを組み合わせた「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の後に、「参照フレーム画像番号」と「第２の参照画像」とを組み合わせた「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」を割り当てているが、動き補償に用いられる参照画像は、時間的に近いものが多用されるとの考えに基づき、強い平滑度の第２の参照画像のうち、参照フレーム画像番号の小さいものを参照フレームコード表の上位に配置することもできる。
【０２２９】
また、参照フレームコード表は、上述のように、符号化対象の所定領域（マクロブロック）の符号化条件に応じて一意に決定されてもよいし、上述の符号化条件に応じて動的に変更されてもよい。ここで、上述の符号化条件には、予測モード（すなわち、動きベクトルを検出する単位の種類）や量子化ステップ（ＱＰ値）等が考えられる。ここで、動きベクトルを検出する単位の種類には、例えば、動きベクトルを検出するサブブロックの大きさ等が考えられる。
【０２３０】
具体的には、量子化ステップに応じて、参照フレームコード表を動的に変更する場合の例について説明する。ここで、強い平滑度の第２の参照画像は、低ビットレート符号化時に多用されると考えられるため、量子化ステップが所定の閾値以下の場合に、「第２の参照画像」を含む「参照フレームコード」を参照フレームコード表の下方に配置し、量子化ステップが所定の閾値を越えた場合に、「第２の参照画像」を含む「参照フレームコード」いくつかを参照フレームコード表の上方に配置する。
【０２３１】
上述のように、図１５に示す「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせである「参照フレームコード」を定義する「参照フレームコード表」は、一例であり、本実施形態で行う「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との切り替えを実現するために必要な任意の参照フレームコード表を用いることができる。
【０２３２】
また、本実施形態において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。
【０２３３】
すなわち、参照画像生成部４５は、符号化対象の所定領域（マクロブロック）の符号化条件（動きベクトルを検出する単位や量子化ステップ等）に応じて、所定の平滑度の参照画像１７を生成してもよい。
【０２３４】
例えば、符号化対象の所定領域（マクロブロック）が細かく分割されるような「マクロブロックモード（ＭＢ＿Ｔｙｐｅ：予測モード）」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。
【０２３５】
また、量子化ステップ（ＱＰ値）の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。
【０２３６】
したがって、動きベクトルが検出される単位（サブブロック）の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である第２の参照画像を常に用いることとしてもよい。
【０２３７】
かかる場合、生成される参照画像が、符号化条件によって一意に決定されるため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「Ｈ．２６Ｌ符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。
【０２３８】
（変更例２Ａ）
上述の実施形態２の変更例２Ａについて説明する。以下、本実施例と実施形態２との相違点について説明する。
【０２３９】
上述の実施形態２では、２種類の異なる生成方法（平滑度）の参照画像（第１の参照画像及び第２の参照画像）１７を作成し、作成された「参照画像の生成方法の識別情報（平滑度を示す情報）」と「参照フレーム画像番号（参照フレーム画像の識別情報）」とを組み合わせて「参照フレームコード（参照画像に係る情報）」を生成することで、符号化対象の所定領域（マクロブロック）ごとに平滑度を変更した参照画像を用いた動き補償を可能とした。
【０２４０】
しかしながら、平滑度の切り替えは、参照フレーム画像番号を割り当てる単位であるマクロブロック単位でしか行えなかった。
【０２４１】
そこで、本変更例では、参照フレーム画像番号と参照画像の生成方法の識別情報とを組み合わせて生成する「参照フレームコード」と、マクロブロック内での動き補償の行われる「サブブロック単位（動きベクトルを検出する単位）」とを組み合わせて伝送することを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明する。
【０２４２】
本変更例に係る動画像符号化装置２０及び動画像復号化装置５０と、上述の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、両者の基本動作はほぼ同じである。
【０２４３】
本変更例において、動き補償部３３が、動きベクトルを検出する単位（サブブロック単位）で、動き補償値の算出に用いる参照画像（第１の参照画像又は第２の参照画像）１７を切り替える。
【０２４４】
また、可変長符号化部４０は、動きベクトルを検出する単位（サブブロック単位）で、「参照画像に係る情報（Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを組み合わせて伝送する。
【０２４５】
また、可変長復号化部７１は、動きベクトルを検出する単位（サブブロック単位）で、「参照画像に係る情報（参照フレームコード）」と「動き補償値を示す情報（予測算差信号データ符号化シンタックス）」とを復号化する。
【０２４６】
また、動き補償部７２は、動きベクトルを検出する単位（サブブロック単位）で、動き補償値の算出に用いる参照画像１７を切り替える。
【０２４７】
ここで、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の一例としては、実施形態２と同様のものを考える。
【０２４８】
図１７に、本変更例によるマクロブロック単位での符号化シンタックスを示す。
【０２４９】
本変更例では、マクロブロック内において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」とを組み合わせて生成した「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」をサブブロック単位で複数回伝送する必要が生じる。
【０２５０】
伝送されるべき「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の数は、「マクロブロックタイプ（ＭＢ＿ｔｙｐｅ）」によりサブブロックの形式ならびに数が伝送されることから、「マクロブロックタイプ（ＭＢ＿ｔｙｐｅ）」により通知されることとすることができる。
【０２５１】
例えば、マクロブロックタイプが「ＩＮＴＥＲ予測モード（モード７）」である場合、伝送されるべき「参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）」の数は「１６」である。
【０２５２】
本変更例によれば、マクロブロック内で動きベクトルを検出する単位である「サブブロック」単位において、異なる平滑度の参照画像１７を用いて動き補償を行うことが可能となる。
【０２５３】
また、サブブロックごとに異なる参照フレーム画像５を用いた動き補償を行うことが可能となり、フレーム画像信号２の形状や動きに合わせた、より自由度の高い動き補償が可能となる。
【０２５４】
また、変更例において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、動きベクトルを検出する領域（マクロブロック又はサブブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。
【０２５５】
（変更例２Ｂ）
実施形態２の変更例２について説明する。本実施例でも、「特異位置」を用いることなく、異なる参照画像１７を用いて動き補償を行うことを除いて、その動作は、「ＴＭＬ-８」に記載の動画像符号化装置２０及び動画像復号化装置５０の動作と同一であるので、その詳細は省略し、差異に焦点を当てて説明する。
【０２５６】
上述の実施形態２では、２種類の異なる生成方法（平滑度）の参照画像（第１の参照画像及び第２の参照画像）を作成し、作成された「参照画像の生成方法の識別情報」と「参照フレーム画像番号」とを組み合わせて「参照フレームコード」を生成することで、符号化対象の所定領域（例えば、マクロブロック：参照フレーム画像番号を割り当てる単位）ごとに平滑度を変更した動き補償を可能とした。
【０２５７】
本変更例では、２種類の異なる平滑度の参照画像（第１の参照画像及び第２の参照画像）を生成し、生成した「参照画像の生成方法の識別情報」と「マクロブロックモード」とを組み合わせて「マクロブロックモードコード」を生成することで、符号化対象の所定領域（マクロブロック）ごとに平滑度を変更した動き補償を可能とする。
【０２５８】
本変更例に係る動画像符号化装置２０及び動画像復号化装置５０と、上述の実施形態２に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、両者の基本動作はほぼ同じである。
【０２５９】
本変更例において、「参照画像に係る情報（マクロブロックモードコード）」は、「動きベクトルを検出する単位を示す識別情報（マクロブロックモード：ＭＢ＿Ｔｙｐｅ）」と「平滑度を示す情報（第１の参照画像又は第２の参照画像）」との組み合わせである。
【０２６０】
また、可変長符号化部４０は、符号化対象の所定領域（マクロブロック）単位で、「参照画像に係る情報（マクロブロックモードコード）」と「参照フレーム画像の識別情報（参照フレーム画像番号：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報（予測残差信号データ符号化シンタックス）」とを組み合わせて伝送する。
【０２６１】
また、可変長復号化部７１は、符号化対象の所定領域（マクロブロック）単位で、「参照画像に係る情報（マクロブロックモードコード：ＭＢ＿Ｔｙｐｅ）」と「参照フレーム画像の識別情報（参照フレーム画像番号：Ｒｅｆ＿ｆｒａｍｅ）」と「動き補償値を示す情報予測残差信号データ符号化シンタックス」」とを復号化する。
【０２６２】
また、動き補償部７２は、「参照画像に係る情報（ＭＢ＿Ｔｙｐｅ）」及び「参照フレーム画像の識別情報（Ｒｅｆ＿ｆｒａｍｅ）」によって特定される参照画像１７を、参照フレーム画像５の代わりに用いて、符号化対象の所定領域（マクロブロック）について動き補償値を算出する。
【０２６３】
図１４に、Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックスを示す。本変更例では、従来の「Ｈ．２６Ｌ符号化方式のマクロブロック単位での符号化シンタックス」からの変更点はないが、「マクロブロックモード（ＭＢ＿Ｔｙｐｅ）」の定義を、「マクロブロックモード」と「参照画像の生成方法の識別情報」とを組み合わせたものに変更している。
【０２６４】
図１８に、「マクロブロックモード」と「参照画像の生成方法の識別情報」との組み合わせによる「マクロブロックモードコード（ＭＢ＿Ｔｙｐｅ）」の一例を示す。
【０２６５】
図１８に示すように、従来のＨ．２６Ｌにおけるマクロブロックモードと同じマクロブロックモードは、第１の参照画像から動き補償を行うことを指示しており、新たに追加されたマクロブロックモードは、強い平滑度の第２の参照画像から動き補償を行うことを指示している。
【０２６６】
本変更例では、マクロブロックモードが、マクロブロック単位に割り当てられるため、マクロブロック単位で、異なる平滑度の参照画像から動き補償を行うこととなる。
【０２６７】
また、変更例において、マクロブロックモードコード（ＭＢ＿Ｔｙｐｅ）を用いて、動き補償に用いた参照画像の平滑度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の平滑度を自動的に切り替えて一意に決定してもよい。
【０２６８】
（変更例２Ｃ）
上述の実施形態２の変更例２Ｃについて説明する。本変更例では、上述の実施形態２における第２の参照画像が強い平滑化のかかったものであり、必ずしも動き補償において第１の参照画像と同じ精度の動きベクトルが必要ないことから、第２の参照画像が用いられる場合の動きベクトルの精度を変更することとした構成について説明する。以下、本変更例と上述の実施形態２との相違点について説明する。
【０２６９】
本変更例において、動き補償部３３は、強い平滑度の参照画像（第２の参照画像）を用いる場合、動き補償値（予測画像信号６）の算出に用いる動きベクトルの精度を落とす。具体的には、かかる場合、動き補償部３３は、当該動きベクトルの水平成分及び垂直成分の精度を落とすように構成されている。
【０２７０】
本変更例において、参照画像生成部４５が、上述の実施形態２と同様に、第１の参照画像を生成した後、第２の参照画像として空間解像度を１/２画素精度又は整数画素精度に落とした強い平滑化のかかった参照画像を生成する。
【０２７１】
第２の参照画像における１/２画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、第１の参照画像に（１，２，１）/４フィルタを作用させてダウンサンプリングする方法を示す。
【０２７２】
また、整数画素精度の空間解像度の強い平滑化のかかった参照画像を生成する方法の一例として、１/２画素精度の平滑化画像に、さらに（１，２，１）/４フィルタを作用させてダウンサンプリングする方法を示す。
【０２７３】
本変更例において、「参照フレーム画像番号」と「参照画像の生成方法の識別情報」との組み合わせによる「参照フレームコード」の一例としては、上述の実施形態２と同様のものを考える。
【０２７４】
例えば、第２の参照画像として、空間解像度を１/２画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第１の参照画像での動きベクトルを（ＭＶｘ、ＭＶｙ）とすると、第２の参照画像での動きベクトルでは、以下の読みかえを行う。
【０２７５】
第１の参照画像の画素位置：ＭＶｘ、ＭＶｙ  （単位は１/４画素）
第２の参照画像の画素位置：ＭＶｘ//２、ＭＶｙ//２
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
【０２７６】
また、第２の参照画像として、空間解像度を整数画素精度に落とした強い平滑化のかかった参照画像を生成する場合、第１の参照画像での動きベクトルを（ＭＶｘ、ＭＶｙ）とすると、第２の参照画像での動きベクトルでは、以下の読みかえを行う。
【０２７７】
第１の参照画像の画素位置：ＭＶｘ、ＭＶｙ  （単位は１/４画素）
第２の参照画像の画素位置：ＭＶｘ//４、ＭＶｙ//４
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
【０２７８】
したがって、第２の参照画像では、同じ動きベクトルＭＶ＝（ＭＶｘ、ＭＶｙ）に対して、複数の値を持つことになる。
【０２７９】
例えば、第２の参照画像を１/２画素精度に落とした場合、（３，３）、（２，３）、（３，２）、（２，２）は、同じ動きベクトルを指す。
【０２８０】
したがって、第２の参照画像では、可変長符号化部４０において符号化を行う際に、発生する符号量の少ない動きベクトル（例えば、（２，２））を代表として送出すれば良い。
【０２８１】
あるいは、第２の参照画像では、空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行うこととし、送出する動きベクトルの差分情報の値を小さくする、すなわち、符号化量を小さくすることとしてもよい。
【０２８２】
この場合、第２の参照画像から空間解像度の大きい第１の参照画像について、予測動きベクトル並びに動きベクトルの差分情報ＭＶＤの算出を行う場合には、逆に第２の参照画像に係る動きベクトルＭＶの空間解像度を上げる読み替えを行うこととなる。
【０２８３】
以上の変更により、参照フレーム画像５にノイズが重畳されている場合、低い空間解像度の第２の参照画像を参照することにより、効率の良い符号化が期待される。
【０２８４】
また、本変更例では、低い空間解像度の第２の参照画像では、動きベクトルの空間解像度を下げており、動きベクトルの符号化時の冗長度を省いているところが特徴である。
【０２８５】
また、本変更例において、参照フレームコード（Ｒｅｆ＿ｆｒａｍｅ）を用いて、動き補償に用いた参照画像の空間解像度を明示的にシグナルするのではなく、符号化対象の所定領域（マクロブロック）の符号化条件に応じて、参照画像の空間解像度を自動的に切り替えて一意に決定してもよい。
【０２８６】
例えば、符号化対象の所定領域（マクロブロック）が細かく分割されるような「マクロブロックモード（ＭＢ＿Ｔｙｐｅ：予測モード）」で符号化される領域には、複雑な動きがあると考えられ、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。
【０２８７】
また、量子化ステップ（ＱＰ値）の大きなマクロブロックにおいても、動き補償で用いられる参照画像は、高い画素値精度を必要としないと考えられる。
【０２８８】
したがって、動きベクトルが検出される単位（サブブロック）の数や量子化ステップが所定の閾値を越えるマクロブロックに関しては、強い平滑の程度である（すなわち、低い空間解像度である）第２の参照画像を常に用いることとしてもよい。
【０２８９】
かかる場合、生成される参照画像が、符号化条件によって一意に決定するため、参照フレーム画像番号を用いて平滑度を識別する情報を必要とせず、「Ｈ．２６Ｌ符号化方式」に比べて、参照フレームコードやマクロブロックモードコードの変更によるビット量の増加がない。
【０２９０】
さらに、上述の符号化条件（マクロブロックモードや量子化ステップ等）に応じて、平滑度及び空間解像度を自動的に切り替えて一意に決定することもできる。
【０２９１】
かかる場合、サブブロックの分割数や量子化ステップが所定の閾値を越えるマクロブロックについては、空間解像度を１/２画素精度又は整数画素精度に落とし、強い平滑度をかけるフィルタを使用した参照画像を常に用い、動きベクトルの水平成分及び垂直成分の画素精度を落とすように構成して、発生する動きベクトルの符号量を少なくする。
【０２９２】
（実施形態３）
実施形態３に係る動画像符号化装置２０及び動画像復号化装置５０について説明する。上述の実施形態２では、「参照画像の生成方法の識別情報（第１の参照画像又は第２の参照画像）」と「参照フレーム画像番号」とを組み合わせた「参照画像に係る情報（参照フレームコード又はマクロブロックモードコード）」をシグナリングすることで、符号化対象の所定領域（マクロブロック）ごとに通常の参照画像（第１の画像情報）及び強い平滑化のかかった参照画像（第２の画像情報）を用いた動き補償を行うことを可能とする動画像符号化装置２０及び動画像復号化装置５０について説明した。
【０２９３】
本実施形態では、空間解像度ごとの階層からなるピラミッドを構成して、３種類以上の異なる画素精度を有する参照画像を生成することが可能である動画像符号化装置２０及び動画像復号化装置５０について説明する。
【０２９４】
図１９に、本実施形態に係る動画像符号化装置２０の概略構成を示し、図２０に、動画像復号化装置５０の概略構成を示す。
【０２９５】
本実施形態に係る動画像符号化装置２０及び動画像復号化装置５０と、従来技術に係る動画像符号化装置２０及び動画像復号化装置５０とを比較すると、動き検出部３２と動き補償部３３、７２と可変長符号化部４０の構成が変更されている点、及び階層参照画像生成部４６、８１が新たに追加されている点を除いて、両者の基本動作は、ほぼ同じである。
【０２９６】
本実施形態において、階層参照画像生成部４６、８１が、参照フレーム画像５から複数の異なる画像処理を施して複数の異なる参照画像（階層参照画像１８）を生成する参照画像生成部を構成する。ここで、上述の画像処理として、平滑度を変更する処理や空間解像度を変更する処理等が考えられる。本実施形態では、上述の画像処理として、空間解像度を変更する処理を用いた場合について説明する。
【０２９７】
また、階層参照画像生成部４６、８１は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の空間解像度の参照画像（階層参照画像１８）を生成する。ここで、「画像処理を示す情報、すなわち空間解像度を示す情報（Ｌａｙｅｒ）」は、フィルタを識別するものである。
【０２９８】
また、動き検出部３２が、参照画像（階層参照画像１８）を用いて検出した「動きベクトル（ＭＶｘ，ＭＶｙ）」と当該「参照画像（階層参照画像１８）の空間解像度を示す情報（Ｌａｙｅｒ）」とを関連付けて「３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）」を生成する３次元動きベクトル生成部を構成する。
【０２９９】
また、動き検出部３２は、低い空間解像度の参照画像（例えば、レイヤー３等）に対して、３次元動きベクトルの精度を落とすように構成されていてもよい。
【０３００】
また、動き補償部３３（７２）が、参照画像（階層参照画像１８）を参照フレーム画像５の代わりに用いて、符号化（復号化）対象の所定領域（マクロブロック）について動き補償値を算出するものである。
【０３０１】
また、動き補償部３３は、フレーム画像内の符号化された所定領域（符号化済みマクロブロック）と符号化対象の所定領域（符号化対象のマクロブロック）との相関（例えば、算術符号化におけるコンテクストの切り替え）を利用して、３次元動きベクトルを予測する３次元動きベクトル予測部を構成する。
【０３０２】
可変長符号化部４０は、「３次元動きベクトル」と「動き補償値を示す情報」とを組み合わせて伝送する伝送部を構成する。
【０３０３】
また、可変長符号化部４０は、動き検出部３２により生成された３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）と動き補償部３３により予測された３次元動きベクトル（ＰＬａｙｅｒ，ＰＭＶｘ，ＰＭＶｙ）との差分情報（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）と動き補償値を示す情報とを組み合わせて伝送してもよい。
【０３０４】
また、可変長復号化部７１は、復号化対象の所定領域の３次元動きベクトルを復号化する復号化部を構成する。
【０３０５】
まず、本実施形態において用いる概念を、図２１及び図２２を用いて説明する。
【０３０６】
階層参照画像生成部４６、８１が、動き補償部３３、７２による動き補償で用いられる参照フレーム画像５に対して、３つのレイヤーを生成する。
【０３０７】
第１に、階層参照画像生成部４６,８１は、図２１及び図２２に示すように、参照フレーム画像５に対して、８タップフィルタによるアップサンプリングすることによって、階層化参照画像１８の一つである１/４画像精度のレイヤー１を生成する。ここで用いられる８タップフィルタの一例を以下に示す。・１/４画素位置用：
（-３，１２，-３７，２２９，７１，-２１，６，-１）/２５６・２/４画素位置用：
（-３，１２，-３９，１５８，１５８，-３９，１２，-３）/２５６・３/４画素位置用：
（-１，６，-２１，７１，２２９，-３７，１２，-３）/２５６
ここで、整数画素位置の画素値は、参照フレーム画像５の同位置の画素値がコピーされ、整数画素位置間の１/４画素位置，２/４画素位置，３/４画素位置にある画素値は、整数画素位置の画素値に対して、上述のフィルタ係数の積和演算を行うことにより求められる。このフィルタ処理は、水平方向及び垂直方向に分離されて行われる。
【０３０８】
かかるフィルタ処理は、従来の「ＴＭＬ-８」の１/８画素精度のアップサンプリング処理に記載されているので、詳細は省略する。
【０３０９】
第２に、階層参照画像生成部４６、８１は、生成された１/４画像精度のレイヤー１に対して、３タップフィルタ（低域通過型フィルタ）によるダウンサンプリングすることによって、階層参照画像１８の一つである１/２画素精度のレイヤー２を生成する。ここで用いられる３タップフィルタの一例が「（１，２，１）/４」である。
【０３１０】
第３に、階層参照画像生成部４６、８１は、生成された１/２画像精度のレイヤー２に対して、３タップフィルタによるダウンサンプリングすることによって、階層参照画像１８の一つである整数画素精度のレイヤー３を生成する。ここで用いられる３タップフィルタは、先に用いられた３タップフィルタと同じものである。
【０３１１】
注目すべきは、レイヤー１は、従来技術と同じく１/４画素精度であるが、１/４画素位置の画素値は、線形補間により算出されたものではなく、上述のフィルタ処理により原画像（参照フレーム画像５）の持つ空間解像度を保持するように算出されている点である。
【０３１２】
以上のように、階層参照画像生成部４６、８１は、複数の異なる通過帯域を有するフィルタによるフィルタ処理を施して複数の異なる空間解像度を有する参照画像（レイヤー１乃至レイヤー３）を生成する。
【０３１３】
本実施形態では、動き補償部３３は、このように生成された階層参照画像１８を用いて動き補償を行う。
【０３１４】
この際、動きベクトル３は、（ＭＶｘ，ＭＶｙ）の２項組（２次元動きベクトル）ではなく、（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）の３項組（３次元動きベクトル）となる。
【０３１５】
動き検出部３２は、２次元動きベクトル（ＭＶｘ，ＭＶｙ）を検出する代わりに、３次元動きベクトル（Ｌａｙｅｒ，ＭＶｘ，ＭＶｙ）を検出する。
【０３１６】
レイヤー２は、レイヤー１の半分の空間解像度であり、さらに、レイヤー３は、レイヤー２の半分の空間解像度であるので、以下の読みかえを行う。
【０３１７】
レイヤー１の画素位置：ＭＶｘ，ＭＶｙ（単位は１/４画素）
レイヤー２の画素位置：ＭＶｘ//２，ＭＶｙ//２
レイヤー３の画素位置：ＭＶｘ//４，ＭＶｙ//４
ここで、“//”は、零方向への丸め処理を伴う整数除算である。
【０３１８】
したがって、レイヤー２，レイヤー３では、同じ動きベクトルに対して、複数の（ＭＶｘ，ＭＶｙ）の値を持つことになる。
【０３１９】
例えば、レイヤー２，レイヤー３では、（２，３，３）、（２，２，３）、（２，２，３）、（２，２，２）は、同じ動きベクトルを指す。
【０３２０】
したがって、上位レイヤー（レイヤー２やレイヤー３）では、可変長符号化部４０において符号化を行う際に、発生する符号量の少ない動きベクトル（例えば、上述の場合、（２，２，２））を代表として送出すれば良い。
【０３２１】
あるいはまた、レイヤー２、レイヤー３では、各レイヤーの空間解像度に合わせた読み替えを行った後の動きベクトルを用いて、予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行うこととし、送出する動きベクトルの差分情報ＭＶＤの値を小さくする、すなわち、符号量を小さくすることとしてもよい。
【０３２２】
この場合、これらのレイヤーからレイヤー１等の空間解像度の大きい動きベクトルの予測動きベクトルＰＭＶ並びに動きベクトルの差分情報ＭＶＤの算出を行う場合には、逆に各レイヤーの動きベクトルの空間解像度を上げる読み替えを行うこととなる。
【０３２３】
この概念を用いて、動き補償部３３の予測動きベクトル算出部３３ｃは、上述の実施形態１の場合とほぼ同じ方法で、図２３に示すように、複数の空間解像度へ拡張した３次元動きベクトルについての予測を行う。
【０３２４】
図２３において、「ＰＭＶｘＥ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測動きベクトルＰＭＶＥの水平成分を示し、「ＰＭＶｙＥ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測動きベクトルＰＭＶＥの垂直成分を示す。
【０３２５】
「ＰＬａｙｅｒＥ」は、符号化対象の所定領域（マクロブロック）Ｅについての予測空間解像度を示す。
【０３２６】
「ＭＶＤｘＥ」、「ＭＶＤｙＥ」は、符号化対象の所定領域（マクロブロック）Ｅに係る１/４画素精度の動きベクトルの差分情報を示す。「ＬａｙｅｒＤ」は、符号化対象の所定領域（マクロブロック）Ｅに係る空間解像度の差分情報を示す。
【０３２７】
したがって、符号化処理は（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）の３項組に対して行われる。
【０３２８】
また、動き補償部３３は、フレーム画像信号２内の符号化された所定領域（マクロブロック）の３次元動きベクトルを用いて、符号化対象の所定領域（マクロブロック）の３次元動きベクトルを予測し、予測された３次元動きベクトルと動きベクトル検出部３２により検出された３次元動きベクトルとの差分情報を算出し、算出された３次元動きベクトルの差分情報を用いて動き補償を行ってもよい。
【０３２９】
ここで、ＬａｙｅｒＤは、通常、零に集中すると予測され、また、レイヤー１やレイヤー３から見れば、その遷移は、非対称である。
【０３３０】
そこで、本実施形態において、従来技術で実現されている「適応算術符号化」を用いることとして、さらに、近傍領域のマクロブロックとの相関を利用するように、ＰＬａｙｅｒのコンテクストモデルの３状態を新たに付加した拡張を行ってもよい。
【０３３１】
上述のように、Ｌａｙｅｒについては、近傍領域のマクロブロックとの相関を利用した符号化を行うことができる。
【０３３２】
上述では、ＰｌａｙｅｒとＬａｙｅｒＤを用いた予測差分符号化を行うこととしたが、予測差分符号化を行うことは、算術符号化においてコンテクストモデリングを行うことと同等である。
【０３３３】
したがって、近傍領域のマクロブロックとの相関を、直接、若しくは、Ｐｌａｙｅｒのような中間値により、コンテクストモデルとして利用する（コンテクストの切り替えを用いる）こととして、ＬａｙｅｒＤではなく、Ｌａｙｅｒそのものを、算術符号化を用いて符号化することとしてもよい。
【０３３４】
なお、「適応算術符号化」の概念と詳細は、従来「Ｃｏｎｔｅｘｔ-ｂａｓｅｄ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ」として述べられているので、詳細は省略する。
【０３３５】
以上、本実施形態では、上述の実施形態１，２やそれらの変更例のように、「２次元動きベクトル」と「画像処理を示す情報（空間解像度を示す情報）」を伝送する代わりに、「２次元動きベクトル」を「画像処理（空間解像度）を示す情報（Ｌａｙｅｒ）」を含む「３次元動きベクトル」として拡張した新しい動き補償について説明した。
【０３３６】
図２４に、本実施形態に係る動画像符号化装置２０における動き補償の動作について説明する。
【０３３７】
ステップ１２０１において、階層参照画像生成部４６が、フレームメモリ３４から抽出した参照フレーム画像５を用いて、階層参照画像１８を生成する。
【０３３８】
ステップ１２０２において、動き検出部３２が、階層参照画像生成部４６からの階層参照画像１８を参照して、符号化対象の所定領域（マクロブロック）の３次元動きベクトルを検出する。
【０３３９】
ステップ１２０３において、動き補償部３３が、動き検出部３２からの３次元動きベクトルと階層参照画像生成部４６からの階層参照画像１８とに基づいて、予測画像信号６を生成する。
【０３４０】
本実施形態によれば、参照フレーム画像５にノイズが重畳されている場合、適応的に低い空間解像度のレイヤー画像を参照することにより、効率の良い符号化が期待される。
【０３４１】
また、低い空間解像度のレイヤー画像（例えば、レイヤー２，３画像）では、３次元動きベクトルの空間解像度を落としており、３次元動きベクトルの符号化時の冗長度を省いているところが特徴である。
【０３４２】
また、本実施形態では、３次元動きベクトルを採用したが、この３次元動きベクトルのパラメータ空間上でベクトルの分布は、空間的に連続であることが予想され、符号化の効率向上が期待できる。
【０３４３】
本実施形態において示した予測画像信号あるいは動き補償値の生成方法は、一例であり、本実施形態で行う動き補償値の算出方法の切り替えを実現するために必要な任意の生成方法を用いることができる。
【０３４４】
（実施形態３に係る動画像符号化装置及び動画像復号化装置の作用・効果）
本発明に係る動画像符号化装置によれば、動き検出部３２が、階層参照画像１７に応じて３次元動きベクトルを生成するため、符号化対象の所定領域ごとに、異なる画素精度の動き補償を行うことができる。
【０３４５】
（変更例３Ａ）
上述の実施形態３の変更例３Ａについて説明する。以下、図２５を参照して、本変更例と実施形態３との相違点について説明する。
【０３４６】
第１に、本変更例では、１/４画素精度ではなく１/２画素精度で動き補償を行う点で、上述の実施形態３の場合と相違する。
【０３４７】
すなわち、本変更例では、階層参照画像生成部４６、８１が、従来の「ＴＭＬ-８」で用いられていた６タップフィルタ「（１，−５，２０，２０，−５，１）/３２」を、参照フレーム画像５に適用してアップサンプリングすることによって、１/２画素精度のレイヤー１を生成する。
【０３４８】
第２に、階層参照画像生成部４６、８１が、レイヤー１に対して、平滑化フィルタ「（１，２，１）/４」を水平・垂直に独立に適用して、レイヤー２を生成する点で、上述の実施形態３の場合と異なる。
【０３４９】
第３に、本変更例では、レイヤーが、２つ（レイヤー１及びレイヤー２）であり、両者の空間解像度が同じである点で、上述の実施形態３の場合と異なる。
【０３５０】
したがって、
レイヤー１の画素位置：ＭＶｘ，ＭＶｙ（単位は１/２画素）
レイヤー２の画素位置：ＭＶｘ，ＭＶｙ（単位は１/２画素）となる。
【０３５１】
以上の変更を加えて、従来技術と同じ方法で「中間値予測」を行って、（ＬａｙｅｒＤ，ＭＶＤｘ，ＭＶＤｙ）の３次元動きベクトルを符号化する。「適応算術符号化」は、上述の実施形態３の場合とは異なり、ＰｌａｙｅｒＥのコンテクストが２状態となる。
【０３５２】
以上の変更により、１/２画素精度で動き補償を行いつつ、参照フレーム画像５にノイズが乗っている場合は、適応的に低い空間解像度に切り替えながら動き補償を行うことが可能になる。
【０３５３】
特に、低レート符号化では、１/４画素精度は不要であると予想され、むしろ、１/４画素精度の動き補償を平滑化したものが用いられる傾向があるため、ここでは、明示的に低い空間解像度の画像に切り替える方式を本変更例として示した。
【０３５４】
なお、本変更例では、レイヤー２画像を生成するためのフィルタを「（１，２，１）/４」の単純な低域通過型フィルタとしたが、エッジ保存型の平滑化フィルタとしても良い。
【０３５５】
例えば、このようなエッジ保存型の平滑化フィルタとしては、３画素×３画素の領域の中間値を求める「メディアンフィルタ」や米国特許６,０４１,１４５「Ｄｅｖｉｃｅ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｓｍｏｏｔｈｉｎｇ  ｐｉｃｔｕｒｅ  ｓｉｇｎａｌ,  ｄｅｖｉｃｅ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｅｎｃｏｄｉｎｇ  ｐｉｃｔｕｒｅ  ａｎｄ  ｄｅｖｉｃｅ  ａｎｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｄｅｃｏｄｉｎｇ  ｐｉｃｔｕｒｅ」記載の「動的重み付けフィルタ」が利用できる。
【０３５６】
上述の「動的重み付けフィルタ」は、平滑化の中心画素値とその近傍画素値の差分絶対値を計算し、この差分絶対値に逆比例したフィルタ係数を周辺画素値（８近傍）に与えることにより適応的な平滑化を行うものである。
【０３５７】
なお、コンピュータ１００を、本発明に係る動画像符号化装置２０及び動画像復号化装置５０として機能させるためのプログラムを、コンピュータ読み取り可能な記録媒体に記録することができる。
【０３５８】
このコンピュータ読み取り可能な記録媒体として、図２６に示すように、例えば、フロッピィーディスク１０１、コンパクトディスク１０２、ＩＣチップ１０３、カセットテープ１０４等が挙げられる。このようなプログラムを記憶したコンピュータ読み取り可能な記録媒体によれば、上述のプログラムの保存、運搬、販売等を容易に行うことができる。
【符号の説明】
【０３５９】
２０…動画像符号化装置３１…入力部３２…動き検出部３３…動き補償部３３ａ…動きベクトル入力部３３ｂ…参照フレーム画像入力部３３ｃ…予測動きベクトル算出部３３ｄ…判断部３３ｅ…予測画像信号生成部３４…フレームメモリ３５…空間予測部３６…予測モード決定部３８…直交変換部３９…量子化部４０…可変長符号化部４１…逆量子化部４２…逆直交変換部４６…階層参照画像生成部５０…動画像復号化装置７１…可変長復号化部７２…動き補償部７３…フレームメモリ７４…空間予測部７６…逆量子化部７７…逆直交変換部８０…出力部８１…階層参照画像生成部
【図１】
2010114933.tif 000003
【図２】
2010114933.tif 000004
【図３】
2010114933.tif 000005
【図４】
2010114933.tif 000006
【図５】
2010114933.tif 000007
【図６】
2010114933.tif 000008
【図７】
2010114933.tif 000009
【図８】
2010114933.tif 000010
【図９】
2010114933.tif 000011
【図１０】
2010114933.tif 000012
【図１１】
2010114933.tif 000013
【図１２】
2010114933.tif 000014
【図１３】
2010114933.tif 000015
【図１４】
2010114933.tif 000016
【図１５】
2010114933.tif 000017
【図１６】
2010114933.tif 000018
【図１７】
2010114933.tif 000019
【図１８】
2010114933.tif 000020
【図１９】
2010114933.tif 000021
【図２０】
2010114933.tif 000022
【図２１】
2010114933.tif 000023
【図２２】
2010114933.tif 000024
【図２３】
2010114933.tif 000025
【図２４】
2010114933.tif 000026
【図２５】
2010114933.tif 000027
【図２６】
2010114933.tif 000028