(57)【特許請求の範囲】
【請求項１】
参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする動画像符号化方法。
【請求項２】
前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項１または請求項２記載の動画像符号化方法。
【請求項４】
前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１ないし請求項３のいずれかに記載の動画像符号化方法。
【請求項５】
前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であることを特徴とする請求項１ないし請求項４のいずれかに記載の動画像符号化方法。
【請求項６】
入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択するステップと、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をするステップと、を有する動画像復号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする動画像復号化方法。
【請求項７】
前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項６記載の動画像復号化方法。
【請求項８】
前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項６または請求項７記載の動画像復号化方法。
【請求項９】
前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項６ないし請求項８のいずれかに記載の動画像復号化方法。
【請求項１０】
小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間するステップと、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出するステップと、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をするステップと、検出されたフィルタと動きベクトルの情報を可変長符号化するステップとを有する動画像符号化方法であって、
補間するステップにて、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像符号化方法。
【請求項１１】
入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択するステップと、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をするステップと、を有する動画像復号化方法であって、
フィルタを選択するステップにて、選択候補のフィルタの位相がそれぞれ異なることを特徴とする動画像復号化方法。
【請求項１２】
請求項１１記載の動画像復号化方法において、
前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像復号化方法。
【請求項１３】
参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化装置であって、
前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする動画像符号化装置。
【請求項１４】
前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１３記載の動画像符号化装置。
【請求項１５】
前記異なる位相量のずらしの精度は小数点画素精度であることを特徴とする請求項１３または請求項１４記載の動画像符号化装置。
【請求項１６】
前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１３ないし請求項１５のいずれかに記載の動画像符号化装置。
【請求項１７】
前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であることを特徴とする請求項１３ないし請求項１６のいずれかに記載の動画像符号化装置。
【請求項１８】
入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択する手段と、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をする手段と、を有する動画像復号化方法であって、
前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする動画像復号化装置。
【請求項１９】
前記補間処理された参照画像の画素の位置は、前記動きベクトルが示す位置であることを特徴とする請求項１８記載の動画像復号化装置。
【請求項２０】
前記異なるずらしの位相量の精度は小数点画素精度であることを特徴とする請求項１８または請求項１９記載の動画像復号化装置。
【請求項２１】
前記動きベクトルの画素精度は小数点画素精度であることを特徴とする請求項１８ないし請求項２０のいずれかに記載の動画像復号化装置。
【請求項２２】
小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間する手段と、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出する手段と、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をする手段と、検出されたフィルタと動きベクトルの情報を可変長符号化する手段とを有する動画像符号化装置であって、
補間する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像符号化装置。
【請求項２３】
入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択する手段と、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をする手段と、を有する動画像復号化装置であって、
フィルタを選択する手段は、選択候補のフィルタの位相がそれぞれ異なることを特徴とする動画像復号化装置。
【請求項２４】
請求項２３記載の動画像復号化装置において、
フィルタを選択する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする動画像復号化装置。
【請求項２５】
請求項１ないし請求項５、請求項１０のいずれかに記載の動画像符号化方法をコンピュータに実行させるプログラム。
【請求項２６】
請求項６ないし請求項９、請求項１１、請求項１２のいずれかに記載の動画像復号化方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像の符号化／復号技術に関し、特に、動き補償に用いる小数点画素の補間を、フィルタ係数を適応的に切り替えて符号化を行う動画像符号化／復号プログラム、方法および装置に関する。
【０００２】
【従来の技術】
ディジタル放送システムやサービス等において、多くの動画像信号は圧縮符号化されて伝送・蓄積される。
【０００３】
図１６は、典型的な動画像信号の符号化器の構成を示すブロック図である。図１６に示される符号化器は、局所的復号器を含んでおり、周波数変換器１１、量子化装置１２、可変長符号化器１３、逆量子化装置１４、逆周波数変換手段器１５、フレームメモリ１６、動き補償装置１７，および動きベクトル検出装置１８より構成されている。
【０００４】
入力画像は、符号化器に入力されて複数のブロックに分割される。入力画像にフレーム間予測が行われる場合、それぞれのブロックは、動き補償装置１７によって、過去に復号された画像から生成された予測値が減じられる。ここで、フレーム間予測とは、過去に再構築された参照画像を用いて、現在の画像を符号化する方法である。
【０００５】
次に、この画像ブロックは、周波数変換器１１によって周波数領域に変換される。周波数領域に変換された画像ブロックは、量子化装置１２によって量子化される。上記量子化された画像ブロックは、可変長符号化器１３によってエントロピー符号化されて、蓄積される。
【０００６】
局所的復号として、上記量子化された画像ブロックは、逆量子化装置１４、逆周波数変換器１５により、再びもとの空間領域に戻される。
【０００７】
フレーム間予測の場合、上記予測値が画像ブロックに加えられ、再構築画像を形成する。この再構築画像は、次の画像の符号化に用いられるので参照画像と呼ばれる。上記参照画像はフレームメモリ１６に格納されて、動きベクトル検出装置１８、動き補償装置１７に用いられる。動きベクトル検出装置１８は、入力画像のブロックと上記参照画像から、動きベクトルを検出する。動き補償装置１７は、上記動きベクトルと上記参照画像から予測値を生成する。
【０００８】
図１７は図１６に示した符号化器に対応する復号器の構成を示すブロック図である。図１７に示される復号器は、可変長復号化器１９、逆量子化装置２０、逆周波数変換器２１、動き補償装置２２、フレームメモリ２３で構成されている。逆量子化装置２０、逆周波数変換器２１、動き補償装置２２およびフレームメモリ２３の動作は、符号化器の内部復号器の逆量子化装置１４、逆周波数変換手段器１５、動き補償装置１７およびフレームメモリ１６と同じである。
【０００９】
復号では、まず、可変長復号化器１９により、入力を符号化された表現からもとの表現に戻す。次に、復号された変換係数に、逆量子化、逆周波数変換を行い、変換係数を空間領域の画像ブロックに戻す。フレーム間予測の場合、空間領域に戻された画像ブロックに予測値を加え、再構築画像を形成する。この予測値は、フレームメモリ２３に格納された参照画像と可変長復号化器１９から供給される動きベクトルによって生成される。再構築画像は、次に復号する画像に利用されるのでフレームメモリ２３に格納される。
【００１０】
【発明が解決しようとする課題】
上記の動画像信号の符号化効率を改善する手段として、プレフィルタを用いることや小数点画素精度の動き補償などがある。プレフィルタは、入力画像の帯域をフィルタによって操作することで符号化効率を改善する。これに対して、小数点画素精度の動き補償は、参照画像に小数精度の動きを作り出すことによって符号化効率を改善する。
【００１１】
プレフィルタは、入力画像の帯域制限を行うので、動画像の符号化効率を直接向上させるものではない。また、従来方式における小数点画素精度の動き補償は、小数点画素を固定のフィルタを用いて補間する。このため、動画像の性質、ビットレートに応じた小数点画素の補間ができない。
【００１２】
本発明は上述したような従来技術に鑑みてなされたものであって、動き補償の効果を高め、符号化効率を改善することのできる動画像の符号化／復号方法を実現することを目的とする。
【００１３】
【課題を解決するための手段】
本発明の動画像符号化方法は、参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
また、前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であるとしてもよい。
【００１４】
本発明の動画像復号化方法は、入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択するステップと、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をするステップと、を有する動画像復号化方法であって、
前記補間処理は前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングであることを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
本発明の他の形態による動画像符号化方法は、小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間するステップと、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出するステップと、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をするステップと、検出されたフィルタと動きベクトルの情報を可変長符号化するステップとを有する動画像符号化方法であって、
補間するステップにて、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする。
【００１５】
本発明の動画像復号化方法は、入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択するステップと、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をするステップと、を有する動画像復号化方法であって、
フィルタを選択するステップにて、選択候補のフィルタの位相がそれぞれ異なることを特徴とする。
この場合、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なるとしてもよい。
【００１６】
本発明の動画像符号化装置は、参照画像に複数の補間処理を行い、前記複数の補間処理された参照画像と入力画像から最良の符号化効率となる動きベクトルと補間処理を求める動画像符号化装置であって、
前記補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
また、前記最良の符号化効率とは、参照画像と入力画像との差分量と、動きベクトルと補間処理を同定する符号の伝送符号量の重み付け和が最小であるとしてもよい。
【００１７】
本発明の動画像復号化装置は、入力された補間処理の情報によって、複数の補間処理から１つの補間処理を選択する手段と、入力された動きベクトルの情報と選択した補間処理に基づいて、動き補償予測をする手段と、を有する動画像復号化装置であって、
前記複数の補間処理を、前記参照画像の画素の画素値から前記補間処理された参照画像の画素の画素値を求める際に前記参照画像の画素と前記補間処理された参照画像の画素の位置の差に相当する位相量とは異なる位相量のずらしを行うフィルタリングとして行う補間フィルタを有することを特徴とする。
前記補間処理された参照画像の画素の位置とは、前記動きベクトルが示す位置としてもよい。
また、前記異なるずらしの位相量の精度は小数点画素精度であるとしてもよい。
また、前記動きベクトルの画素精度は小数点画素精度であるとしてもよい。
【００１８】
本発明の他の形態による動画像符号化装置は、小数点精度の動きベクトルで表現される参照画像の小数点位置に、複数のフィルタを用いて複数の画像を補間する手段と、前記補間された参照画像と入力画像から最も符号化効率が良い動きベクトルとフィルタの組を検出する手段と、検出された動きベクトルの小数点位置と検出されたフィルタに対応する参照画像を用いて小数点精度の動き補償予測をする手段と、検出されたフィルタと動きベクトルの情報を可変長符号化する手段とを有する動画像符号化装置であって、
補間する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なることを特徴とする。
【００１９】
本発明の他の形態による動画像復号化装置は、入力されたフィルタの情報によって、小数点精度の動きベクトルで表現される参照画像の小数点位置を補間するフィルタを選択する手段と、入力された動きベクトルの情報と選択したフィルタに基づいて、小数点精度の動き補償予測をする手段と、を有する動画像復号化装置であって、
フィルタを選択する手段は、選択候補のフィルタの位相がそれぞれ異なるとしてもよい。
また、フィルタを選択する手段は、前記フィルタの位相の小数点精度が、動きベクトルの小数点精度とは異なるとしてもよい。
【００２０】
本発明のプログラムは上記のいずれかに記載の動画像符号化方法をコンピュータに実行させる。
【００２１】
本発明の他の形態によるプログラムは上記のいずれかに記載の動画像復号化方法をコンピュータに実行させる。
【００２２】
【発明の実施の形態】
次に、本発明の実施形態について図面を参照して詳細に説明する。
【００２３】
第１実施形態
図１は本発明による第１実施形態の構成を示すブロック図である。本実施形態は、制御装置、記憶装置、入力装置および表示装置からなる一般的なコンピュータシステムを用いて構成されるものであり、図１にはその要部となる部分のみが示されている。
【００２４】
フィルタ／補間画像記憶装置１０１、動きベクトル／フィルタ係数検出装置１０２、予測値生成装置１０３を含む。これらは、図１６に示した符号化方式のフレームメモリ／動き補償部／動きベクトル検出に相当するものであり、これら以外の構成は図１６に示した符号化器と同じ構成とされている。このため、以下の説明では図１６も参照して本実施形態について説明する。
【００２５】
本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があり、補間画像を複数格納できる場合に構築されるものであり、以下にその構成と動作を説明する。
【００２６】
フィルタ／補間画像記憶装置１０１は、フィルタ１０１１と補間画像記憶装置１０２１とが組合わされた複数の組と、各組の補間画像記憶装置１０２１出力を入力し、いずれかを選択的に動きベクトル／フィルタ検出装置１０２および予測値生成装置１０３へ出力するスイッチ１０１３とで構成される。
【００２７】
各フィルタ１０１１はそれぞれ異なるフィルタ特性を有するもので、入力される再構築画像から小数点位置補間画像を生成し、補間画像記憶装置１０２１に供給する。
【００２８】
補間画像記憶装置１０２１は、フィルタ１０１１から供給される補間画像を格納する。
【００２９】
なお、再構築画像を記憶する手段を別途に設け、必要に応じて逐次読み出す構成とする場合には、補間画像記憶装置１０２１を設けることなく、フィルタ１０１１で逐次計算された結果を出力することとしてもよい。
【００３０】
動きベクトル／フィルタ検出装置１０２は、動きベクトル検出装置１０２１とフィルタ検出装置１０２２で構成される。この動きベクトル／フィルタ検出装置１０２は、スイッチ１０１３を操作可能に構成されており、入力画像と補間画像から、最も符号化効率の良い動きベクトルとフィルタの組を検出し、予測値生成装置１０３および可変長符号化器１３（図１６参照）へ供給する。
【００３１】
動きベクトル検出装置１０２１は、画像を入力し、また、スイッチ１０１３を操作可能に構成されており、スイッチ１０１３を順次切り替えて各補間画像記憶装置１０１２に格納されている各補間画像を入力して参照し、参照した補間画像と入力画像から、後述するブロックコストを求め、最もブロックコストの小さな動きベクトルと予測誤差の組をフィルタ検出装置１０２２へ供給する。なお、予測誤差とは、入力画像と再構築画像の差分である。
【００３２】
フィルタ検出装置１０２２は、動きベクトル検出装置１０２１から供給される各補間画像記憶装置１０１２に格納されている各補間画像の動きベクトルと予測誤差、および、フィルタ情報を用いて後述する符号化コストを求め、最も符号化コストの小さな画像を生成したフィルタ１０１１を検出する。また、検出された動きベクトルとフィルタの組を予測値生成１０３および可変長符号化器１３へ供給する。
【００３３】
ここで、動きベクトル検出１０２１とフィルタ検出１０２２を一体化し、ブロックコストおよび符号化コストの最も小さな動きベクトルとフィルタの組を検出するように構成してもよい。
【００３４】
予測値生成装置１０３は動きベクトル検出装置１０２１と同様に、スイッチ１０１３を操作可能に構成されており、動きベクトル／フィルタ検出装置１０２より供給される動きベクトルとフィルタを用いて予測値を生成する。具体的には、フィルタに対応する補間画像をスイッチ１０１３の切り替えにより参照し、動きベクトルを用いて補間画像から予測値を読み出す。なお、動きベクトル／フィルタ検出装置１０２に予測値を記憶する機能を設け、動きベクトル／フィルタ検出装置１０２が、予測値を直接生成できるように構成してもよい。
【００３５】
次に、本実施形態の動作について、図２を参照して説明する。図２は本実施形態の動作を示すフローチャートである。
【００３６】
ステップＳ１０１では、再構築画像にフィルタ／補間画像記憶装置１０１を用いて複数の小数点位置補間画像を生成し、複数の補間画像を格納する。
【００３７】
画像を構成する画素をｘ（ｉ，ｊ）、画像のサイズをＷｘＨ，補間フィルタ係数（ｆ１，ｆ２，ｆ３，ｆ４）とすると、ｘ（ｉ，ｊ）とｘ（ｉ＋１，ｊ）の中間に位置する２分の１画素は、以下の数式で補間される。
【００３８】
【数１】
0004102973.tif 000002
【００３９】
式１を画像の横方向、縦方向に適応させることで２分の１画素の補間が完了する。２分の１小数点位置の補間画像のサイズは４ｘＷｘＨとなる。４分の１画素、８分の１画素は、上記を繰り返すことで得られ、それぞれの補間画像サイズは１６ｘＷｘＨ、６４ｘＷｘＨとなる。
【００４０】
また、ｎ分の１画素の補間を行う場合に一般的な、補間精度と小数点画素位置に応じたフィルタを用いて直接補間することとしてもよい。
【００４１】
続くステップＳ１０２では、ステップＳ１０１で得られた各補間画像から、動きベクトル／フィルタ検出装置１０２を用いて各補間画像別にブロックコストが最も小さな動きベクトルと予測誤差の組を求める。
【００４２】
ブロックコスト（Block cost）は、動きベクトル検出装置１０２１により算出され、入力画像を構成する画素をｓ（ｉ，ｊ），補間された再構築画像を構成する画素をｓ（ｉ，ｊ），ブロックのサイズをＭｘＮ、動きベクトルを（ｖｘ，ｖｙ）、動きベクトル予測を（ｐｘ，ｐｙ）、ベクトル符号量を求める関数をＶＦ（ｘ，ｙ）、αをベクトル符号量の重みづけパラメータとすると以下の数式で示される。
【００４３】
【数２】
0004102973.tif 000003
【００４４】
続くステップＳ１０３では、ステップＳ１０２で得られた動きベクトルと予測誤差の組と補間画像を特定するフィルタ係数を用いて、フィルタ検出１０２２により、符号化コスト（Encode cost）を求める。予測誤差の符号量をＥ，フィルタ係数をcoeff１、フィルタ係数の符号量を求める関数をＦＦ（coeff）とすると、このフィルタ係数に対する符号化コストは、以下で与えられる
【００４５】
【数３】
0004102973.tif 000004
【００４６】
なお、式３−１における第１項の予測誤差符号量を求める演算量を削減しようとする場合には、符号化コストは、ブロックコストを再利用して、
【００４７】
【数４】
0004102973.tif 000005
【００４８】
としてもよい。
【００４９】
もし、フィルタを、サイズのブロックＰ個の単位で切り替える場合（フレームはブロックの集合でもある）、フィルタ係数coeff１に対する符号化コストは、
【００５０】
【数５】
0004102973.tif 000006
【００５１】
で与えられる。ブロックコストには、当然ながら予測誤差の符号量を用いることができる。ただしブロックの集合単位で、フィルタ係数の切り替えを行う場合、ブロックの個数だけ、動きベクトルと予測誤差およびブロックコストを記憶しておくことが必要となり、フィルタ検出装置１０２２はこれらを記憶する機能を備えている。
【００５２】
続くステップＳ１０４では、ステップＳ１０３で得られた最も符号化コストの小さなフィルタ係数と動きベクトルの組を、可変長符号化器１３および予測値生成装置１０３に供給する。
【００５３】
続くステップＳ１０５では、ステップＳ１０４により得られたフィルタ係数と動きベクトルを用いた予測値生成装置１０３による予測値の生成が行なわれる。予測値の生成において予測値生成装置１０３は、フィルタ係数に応じてスイッチ１０１３を切り替えて参照する補間画像を選択し、動きベクトルを用いて予測値を読出して生成する。
【００５４】
以上のステップは、予め求められたフィルタ係数をどのようにして選択するかについて述べているが、フィルタ係数そのものを見積もるアルゴリズムと用意に組み合わせることが可能なことは言うまでもない。
【００５５】
第２実施形態
次に、本発明の第２の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕がなく、補間画像を複数格納できない場合に構築されるものであり、以下にその構成と動作を説明する。
【００５６】
図３は本発明の第２の実施形態の要部構成を示すブロック図である。
【００５７】
本実施形態は、フィルタ／補間画像蓄積１０１ｂ、動きベクトル／フィルタ係数検出１０２ｂ、予測値生成１０３ｂとを備えている。図１に示した実施形態の構成要素と比較すると、フィルタ／補間画像蓄積装置１０１ｂはフィルタ／補間画像蓄積装置１０１、動きベクトル／フィルタ係数検出装置１０２ｂは動きベクトル／フィルタ係数検出装置１０２、予測値生成装置１０３ｂは予測値生成装置１０３と同様の動作を行う。これらの相違点は、フィルタ／補間画像蓄積装置１０１ｂを構成するフィルタ１０１１ｂと補間画像記憶装置１０１２ｂが一組しかなく、動きベクトル／フィルタ検出装置１０２ｂおよび予測値生成装置１０３ｂがフィルタ係数を更新する信号線を備えていることである。また、フィルタ１０１１ｂと補間画像記憶装置１０１２ｂが一組しかないことからスイッチ１０１３は設けられていない。
【００５８】
図４は、図３に示した実施形態の動作を示すフローチャートである。
【００５９】
図４に示されるフローチャートはステップＳ１０１ｂ〜Ｓ１０７ｂから構成されるが、図２に示した第1の実施形態のフローチャートと比較すると、ステップＳ１０１ｂはステップＳ１０１，ステップＳ１０２ｂはステップＳ１０２，ステップＳ１０３ｂはステップＳ１０３，ステップＳ１０４ｂはステップＳ１０４，ステップＳ１０５ｂはステップＳ１０１，ステップＳ１０６ｂはステップＳ１０５と同様の処理を行う。
【００６０】
本実施形態と第1の実施形態とが動作において大きく異なる点は、ステップＳ１０１ｂにて行なわれる小数点画素補間、ステップＳ１０２ｂにて行なわれる動きベクトル検出、ステップＳ１０３ｂにて行なわれるコスト比較において、補間画像記憶装置１０１２ｂに格納された補間画像を上書きしながら最適なフィルタと動きベクトルの組を検出する点で異なり、さらに、ステップＳ１０４ｂの後に、予測生成装置１０３ｂが参照したい補間画像が補間画像記憶装置１０１２ｂに格納されているかの確認を行い、補間画像が補間画像記憶装置１０１２ｂに格納されていない場合には、ステップＳ１０５にて再度小数点画素の補間を行ってから、ステップＳ１０６にて予測値生成を行う点である。
【００６１】
本実施形態の構成は、主記憶に余裕が無いときに有効である。ただし、参照したい補間画像が補間画像記憶１０１２ｂに残っていない場合には、再度フィルタで補間画像を生成する必要があるので、第１の実施形態の構成よりも演算量が増加する。
【００６２】
第３実施形態
次に、本発明の第３の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に復号において余裕がなく、小数点位置補間画像を格納できない場合に構築されるものであり、以下にその構成と動作を説明する。
【００６３】
図５は本実施形態の要部構成を示すブロック図である。本実施形態は、フィルタ切替装置２０１、予測値生成装置２０２を含む。これらは、図１６に示した符号化方式のフレームメモリ／動き補償部／動きベクトル検出に相当するものであり、これら以外の構成は図１６に示した符号化器と同じ構成とされている。このため、以下の説明では図１６も参照して本実施形態について説明する。
【００６４】
フィルタ切替装置２０１は、可変長復号から供給されるフィルタ係数情報に応じて、予測値生成装置２０２のフィルタ係数を切り替える。
【００６５】
予測値生成装置２０２は、整数画素読出し装置２０２１、フィルタ２０２２、予測値読出し装置２０２３で構成されており、可変長復号から供給される動きベクトルを用いて、再構築画像から整数画素を読出し、フィルタリングを行い、予測値を生成する。
【００６６】
整数画素読み出し装置２０２１は、可変長復号から供給される動きベクトルを用いて、予測値を含む整数画素を再構築画像から読み込む。読み込んだ整数画素は、フィルタ２０２２に供給される。
【００６７】
フィルタ２０２２は、フィルタ切替装置２０１によって切り替えられたフィルタ係数を用いて、整数画素読出し装置２０２１から供給される整数画素に小数点画素を補間する。もちろん、フィルタ係数が、可変長復号から供給されるフィルタ係数情報によって直接切り替え可能なことは言うまでもない。
【００６８】
予測値読出し装置２０２３は、フィルタ２０２２から供給される補間画素と可変長復号から供給される動きベクトルを用いて、予測値ブロックを読み出す。
【００６９】
図６は、図５に示した実施形態の動作を示すフローチャートである。
【００７０】
ステップＳ２０１では、可変長復号より供給される動きベクトルを用いて、整数画素読み出し装置２０２１によって、再構築画像から整数画素ブロックを読み出す。
【００７１】
ステップＳ２０２では、可変長復号より供給されるフィルタ係数情報を用いて、フィルタ切替装置２０１により、フィルタ２０２２のフィルタ係数を切り替える。
【００７２】
ステップＳ２０３では、整数画素読み出し装置２０１から供給される整数画素を、ステップＳ２０２によって切り替えられたフィルタ係数を用いて、フィルタ２０２２により小数点画素を補間する。
【００７３】
ステップＳ２０４では、ステップＳ２０３で得られた補間画像から、可変長復号より供給される動きベクトルを用いて、予測値読出し装置２０２３により予測値を読み出す。
【００７４】
第４実施形態
次に、本発明の第４の実施形態について説明する。本実施形態は、本実施形態を含むコンピュータシステムの主記憶に余裕があり、複数の小数点位置補間画像を格納できる場合に構築されるものであり、以下にその構成と動作を説明する。
【００７５】
図７は本発明の第４の実施形態の要部構成を示すブロック図である。
【００７６】
図７に示されるように、本実施形態は、選択補間画像切替装置２０１ｂ、予測値生成装置２０２ｂを含む。選択補間画像切替装置２０１ｂは、可変長復号から供給されるフィルタ係数情報によって、予測値生成装置２０２ｂが、参照する補間画像を切り替える。
【００７７】
予測値生成装置２０２は、複数の組のフィルタ２０２１ｂと補間画像記憶装置２０２２ｂ、予測値読出し装置２０２３ｂで構成される。
【００７８】
フィルタ２０２１ｂと補間画像蓄積２０２２ｂは、フィルタ計算を行って小数点画素補間画像を格納する。予測値読出し装置２０２３ｂは、選択補間画像切替装置２０１ｂによって選択された、補間画像を参照し、可変長復号から供給される動きベクトルを用いて予測値を読み出す。
【００７９】
図８は、図７に示した実施形態の動作を示すフローチャートである。
【００８０】
ステップＳ２０１ｂでは、複数組のフィルタ２０２１ｂと補間画像記憶２０２２ｂによって、再構築画像から複数の小数点位置補間画像を生成し、格納する。
【００８１】
ステップＳ２０２ｂでは、可変長復号から供給されるフィルタ係数情報を用いて選択補間画像切替装置２０１ｂによって、予測値読出し装置２０３ｂが参照する補間画像を選択する。
【００８２】
ステップＳ２０３ｂでは、可変長復号から供給される動きベクトルと選択補間画像切り替え装置２０１ｂが選択する補間画像記憶２０２２ｂに格納された補間画像を用いて、予測値生成装置２０２３ｂによって、予測値を読み出す。
【００８３】
上記の構成は、領域、ブロック、あるいは、画素単位での小数点位置補間画像フィルタの切り替えが不要になる。よって、プロセッサのアーキテクチャが、フィルタ係数切り替えのオーバーヘッドを嫌い、かつ、主記憶を大量にもつ場合に有効である。
【００８４】
第５実施形態
次に、本発明の第５の実施形態について説明する。本実施形態の要部構成は図１に示した第１の実施形態、または、図３に示した第２の実施形態と同様であるため、構成については図示省略する。
【００８５】
本実施形態は、第１または第２の実施形態におけるフィルタ１０１１，１０１１ｂで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第１実施形態または第２の実施形態と同様である。
【００８６】
本実施形態の効果について、まず、フィルタの位相をずらすことによる効果について説明する。
【００８７】
まず、従来行なわれている４分の１画素補間の動作について説明する。小数点画素の補間は、図９に示すようにフィルタ１を用いる１段目の処理により整数画素から２分の１画素を生成し、フィルタ２を用いる２段目の処理で２分の１画素から４分の１画素を生成するといったように２段階の処理により行われる。
【００８８】
上記の２段階の処理により、図１０（ａ）〜（ｃ）に示すように中間位置の補間を繰り返す。補間により、横方向に並んだ整数画素と整数画素の間には、３つの小数点画素が作り出される。
【００８９】
ここで、図１１（ａ）〜（ｃ）に示すように、故意に１段目の補間フィルタだけを右方向に４分の１だけずらすと、見かけ上は４分の１刻みだが、２段目の補間で１／８，５／８画素を作り出すことができる。また、図１１（ｄ）〜（ｆ）に示すように、左方向に４分の１だけずらした場合には、２段目の補間で３／８，７／８画素を作り出すことができる。
【００９０】
上記のように左右に４分の１ずれたフィルタによって、見かけ上４分の１画素精度の動き補償でも、整数画素と整数画素の間に補間される３つの小数点画素が、８分の１刻みの値をとることができる。もちろん、位相のずらしかたにより、１６分の１、３２分の１画素刻みの値をとれることは言うまでも無い。
【００９１】
次に、本実施形態で行なわれる位相をずらす方法について説明する。
【００９２】
図１２（ａ），（ｂ）は、１／２画素を補間するフィルタおよび１／４画素を補間するフィルタのフィルタ係数をそれぞれ示している。
【００９３】
各図において、破線は理想フィルタを示し、実線は破線を１／２または１／４画素ずらしたフィルタを示している。図１２（ａ）に示す例では、１／２画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数(a,b,c,c,b,a)は、理想フィルタを１／２ずらすことによって得られる。P(i)を画素値とすると、1/2位置の画素値P(1/2)は、以下の式によって求められる。
【００９４】
【数６】
0004102973.tif 000007
【００９５】
図１２（b）に示す例では、１／4画素位置の画素値を求めるフィルタ係数を示しており、このフィルタ係数(d,e,f,g,h,i)は、理想フィルタを１／4ずらすことによって得られる。1/2位置の場合と同様に、1/4位置の画素値P(1/4)は、以下の式によって求められる。
【００９６】
【数７】
0004102973.tif 000008
【００９７】
補間された小数点位置の画素を右に４分の１ずらすには、１／２位置に１／２画素を補間するフィルタＡの代わりに、同じ１／２位置に１／４画素を補間するフィルタＢを用いる。つまり、フィルタ係数そのものを切り替えることで、位相を操作することができる。
【００９８】
本実施形態における各フィルタ１０１１または１０１１ｂは上記のように位相が異なるフィルタ係数とされており、これらを用いて補間を行なうことにより、第１または第２の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。
【００９９】
第６実施形態
次に、本発明の第６の実施形態について説明する。本実施形態の要部構成は図５に示した第３の実施形態、または、図７に示した第４の実施形態と同様であるため、構成については図示省略する。
【０１００】
本実施形態は、第３または第４の実施形態におけるフィルタ２０２１，２０２１ｂで用いるフィルタ係数として、少なくとも位相の異なる複数のフィルタ係数を用いることを特徴とするもので、動作は第３実施形態または第４の実施形態と同様である。
【０１０１】
また、位相の異なるフィルタは、第５の実施形態で示したフィルタと同じであるため、詳細な説明は省略する。
【０１０２】
本実施形態においては、第３または第４の実施形態の効果に加えて、細かな精度の動き補償が可能となり、符号化効率が改善されたものとなる。
【０１０３】
第７実施形態
次に、本発明の第７の実施形態について説明する。本実施形態の要部構成は図１に示した第１の実施形態、または、図３に示した第２の実施形態と同様であるため、構成については図示省略する。
【０１０４】
本実施形態は、第１または第２の実施形態におけるフィルタ１０１１，１０１１ｂとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第１実施形態または第２の実施形態と同様である。
【０１０５】
本実施形態の効果について、まず、フィルタ帯域を変えることで得られる効果について説明する。
【０１０６】
図１３は広帯域なフィルタで小数点画素を補間した場合と、狭帯域なフィルタで小数点画素を補間した場合を示す図である。
【０１０７】
図１３（ａ）に示す画像を図１３（ｂ）に示される広帯域な振幅特性のフィルタと狭帯域な振幅特性のフィルタを用いることにより、図１３（ｃ），（ｄ）に示す補間画像が得られる。広帯域なフィルタで小数点画素を補間した方が、エッジ情報を保存できることが図１３（ｃ）からわかる。エッジが多い、つまり、高域成分が多い画像は、広帯域なフィルタを使うことでエッジ情報が保存され、動き補償の効果が改善される。
【０１０８】
ただし、低ビットレートで量子化雑音が、偽エッジとして多く生じる場合、広帯域なフィルタを用いて小数点画素の補間を行うと雑音までも保存されてしまう。図１４（ａ）〜（ｄ）はこのような保存状態を示す図である。このため、動き補償の効果が悪くなる。よって低ビットレートでは、狭帯域なフィルタ係数を用いて小数点画素補間することで符号化効率が改善できる。
【０１０９】
次に、小数点画素が保存する帯域を変更の方法を示す。
【０１１０】
図１３および図１４に示した広帯域フィルタの係数をＡ，狭帯域フィルタの係数をＢとする。フィルタ係数をＡからＢへ切り替えることで、狭帯域なフィルタで小数点補間することができ、フィルタ係数をＢからＡへ切り替えることで、広帯域なフィルタで小数点補間することができる。
【０１１１】
つまり、各帯域特性に対応するフィルタ係数を切り替えて、内挿を行うことで小数点画素が保存する帯域を変えることができる。
【０１１２】
第８実施形態
次に、本発明の第８の実施形態について説明する。本実施形態の要部構成は図５に示した第３の実施形態、または、図７に示した第４の実施形態と同様であるため、構成については図示省略する。
【０１１３】
本実施形態は、第３または第４の実施形態におけるフィルタ２０２１，２０２１ｂとして、少なくとも帯域の異なるフィルタ係数のものを用いることを特徴とするもので、動作は第３実施形態または第４の実施形態と同様である。また、帯域の異なるフィルタは、第７実施形態で示したフィルタと同じであるため、詳細な説明は省略する。
【０１１４】
本実施形態においては、第３または第４の実施形態の効果に加えて、小数点画素が保存する帯域を変えることができる。
【０１１５】
図１５は、本発明による動画像符号化／復号装置をインプリメントした情報処理システムの一例の概略構成を示すブロック図である。
【０１１６】
本発明による動画像符号化／復号装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１１７】
図１７に示す情報処理システムは、プロセッサ３０１，プログラムメモリ３０２，記憶媒体３０３および３０４からなる。記憶媒体３０３および３０４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【０１１８】
【発明の効果】
本発明により、動画像の性質やビットレートに応じた小数点位置補間するフィルタ係数を切り替えることで、動画像の符号化効率を改善できる。このフィルタ係数の切り替えは、フィルタ選択と見積もりを含む。フィルタ選択は、帯域および位相の異なるフィルタ係数を予め用意しておき、用意しておいたフィルタ係数から最適なフィルタ係数を選択することを意味する。一方のフィルタ見積もりは、フィルタ係数を適応アルゴリズム等によって算出し、算出されたフィルタ係数を切り替えに用いることを意味する。
【０１１９】
フィルタの位相を操作することで、細かい精度の動き補償が可能となり、符号化効率が改善し、フィルタの帯域操作によって、画像の高域成分および量子化雑音をコントロールできるので、動き補償の効果が高まり符号化効率が改善する。
【０１２０】
また、フィルタ係数を画像ブロック単位以上で切り替える場合、フィルタリングの演算量は変わらず、切り替えによるオーバーヘッド演算量も小さいので、復号の演算量増加も小さい。
【図面の簡単な説明】
【図１】本発明による第１実施形態で複数の補間画像記憶を備える場合の構成を表すブロック図である。
【図２】本発明による第１実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図３】本発明による第２実施形態で１つの補間画像記憶を備える場合の構成を表すブロック図である。
【図４】本発明による第２実施形態で補間画像記憶を備えない場合の動作を表すフローチャートである。
【図５】本発明による第３実施形態で補間画像記憶を備えない場合の構成を表すブロック図である。
【図６】本発明による第３実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図７】本発明による第４実施形態で複数の補間画像記憶を備える場合の構成を表すブロック図である。
【図８】本発明による第４実施形態で複数の補間画像記憶を備える場合の動作を表すフローチャートである。
【図９】小数点画素の補間ステップを示す図である。
【図１０】位相をずらさず小数点画素を補間した場合の図である。
【図１１】位相をずらして小数点画素を補間した場合の図である。
【図１２】２分の１画素を補間するフィルタと４分の１画素を補間するフィルタの違いを示す図である。
【図１３】帯域の広いフィルタで補間をおこなうことでエッジが保存されることを示す図である。
【図１４】帯域の広いフィルタがノイズも保存してしまうことを示す図である。
【図１５】本発明による動画像符号化／復号装置をインプリメントした情報処理システムの一般的な概略的ブロック構成図である。
【図１６】従来方式の符号化ブロック図である。
【図１７】従来方式の復号ブロック図である。
【符号の説明】
１１    周波数変換装置
１２    量子化装置
１３    可変長符号化装置
１４    逆量子化装置
１５    逆周波数変換装置
１６    フレームメモリ
１７    動き補償装置
１８    動きベクトル検出装置
１９    可変長復号化装置
２０    逆量子化装置
２１    逆周波数変換装置
２２    動き補償装置
２３    フレームメモリ
１０１    フィルタ／補間画像記憶装置
１０１１    フィルタ
１０１２    補間画像記憶装置
１０２    動きベクトル／フィルタ検出装置
１０２１    動きベクトル検出装置
１０２２    フィルタ検出装置
１０３    予測画像生成装置
１０１ｂ    フィルタ／補間画像記憶装置
１０１１ｂ    フィルタ
１０１２ｂ    補間画像記憶装置
１０２ｂ    動きベクトル／フィルタ検出装置
１０２１ｂ    動きベクトル検出装置
１０２２ｂ    フィルタ検出装置
１０３ｂ    予測画像生成装置
２０１    フィルタ切替装置
２０２    予測値生成装置
２０２１    整数画素読み出し装置
２０２２    フィルタ
２０２３    予測値読出し装置
２０１ｂ    選択補間画像切替装置
２０２ｂ    予測値生成装置
２０２１ｂ    フィルタ
２０２２ｂ    補間画像記憶装置
２０２３ｂ    予測値読出装置
３０１    プロセッサ
３０２    プログラムメモリ
３０３    記憶媒体
３０４    記憶媒体
【図１】
0004102973.tif 000009
【図２】
0004102973.tif 000010
【図３】
0004102973.tif 000011
【図４】
0004102973.tif 000012
【図５】
0004102973.tif 000013
【図６】
0004102973.tif 000014
【図７】
0004102973.tif 000015
【図８】
0004102973.tif 000016
【図９】
0004102973.tif 000017
【図１０】
0004102973.tif 000018
【図１１】
0004102973.tif 000019
【図１２】
0004102973.tif 000020
【図１３】
0004102973.tif 000021
【図１４】
0004102973.tif 000022
【図１５】
0004102973.tif 000023
【図１６】
0004102973.tif 000024
【図１７】
0004102973.tif 000025