(57)【特許請求の範囲】
【請求項１】
小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置であって、
前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定手段と、
前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択手段と
を備えたことを特徴とする動画像符号化装置。
【請求項２】
小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置における動画像符号化方法であって、
前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定ステップと、
前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択ステップと
を有することを特徴とする動画像符号化方法。
【請求項３】
小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置上のコンピュータに動画像符号化処理を行わせる動画像符号化プログラムであって、
前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定ステップと、
前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択ステップと
を前記コンピュータに行わせることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラムに関する。
【背景技術】
【０００２】
動画像符号化において、異なる画面間で予測を実行する面間予測符号化（動き補償）では、すでに復号されたフレームを参照して、予測誤差電力を最小にするように動きベクトルが求められ、その残差信号に対して直交変換・量子化が施され、さらに、エントロピー符号化を経て、符号化データが生成される。このため、符号化効率を高めるためには予測誤差電力の低減が不可欠であり、高精度の予測方式が求められる。
【０００３】
映像符号化標準方式には数多くの画面間予測の精度を高めるためのツールが導入されており、その一つに、小数画素精度動き補償がある。これは、１／２画素精度、１／４画素精度といった整数画素以下の動き量を用いて、前述の画面間予測を行う方法である。例えば、規格Ｈ．２６４／ＡＶＣでは、最大１／４画素単位での小数画素位置の参照が可能である。なお、こうした小数画素位置を参照するためには、同位置における画素値を生成する必要があり、線形フィルタを用いた補間画像生成の方法が規定されている。規格Ｈ．２６４が規定しているのは、フィルタ係数が固定の線形フィルタである。固定係数を用いる補間フィルタについて、以下の説明においては、ＩＦと略記する。１／２精度の画素を補間するときは、対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。垂直方向については上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は、それぞれ［（１，−５，２０，２０，−５，１）／３２］となっている。１／２精度の画素が補間された後、１／４精度の画素は［１／２，１／２］の平均値フィルタを用いて補間を行う。
【０００４】
この小数画素位置の補間画像生成の改良として、フィルタ係数を入力映像の特徴に応じて適応的に制御する適応補間フィルタ（ＡＩＦ）と呼ばれる技術が検討されている（例えば、非特許文献１参照）。適応補間フィルタにおけるフィルタ係数は、予測誤差電力（予測誤差の二乗和）を最小にするように決定される。適応補間フィルタがフレーム単位でフィルタ係数を設定したのに対し、画像の有する局所性を考慮して、フィルタ係数をフレーム内の局所領域毎に設定可能とし、フレーム内で複数のフィルタ係数を用いる領域分割適応補間フィルタ（ＲＢＡＩＦ）が検討されている。
【０００５】
ここで、適応補間フィルタのフィルタ係数算出アルゴリズムについて説明する。補間フィルタ係数を適応的に変化させる方式が非特許文献１では提案されており、非分離型の適応補間フィルタと呼ばれている。この方式では、２次元の補間フィルタ（６×６の計３６フィルタ係数）を考えており、予測誤差電力を最小にするようにフィルタ係数が決定される。規格Ｈ．２６４／ＡＶＣに用いられている１次元６ｔａｐの固定補間フィルタを用いるよりも高い符号化効率が実現できたが、フィルタ係数を求める上での計算複雑度が非常に高いため、その計算複雑度を低減するための提案が非特許文献２で紹介されている。
【０００６】
非特許文献２で紹介されている手法は分離型適応補間フィルタ（ＳＡＩＦ：Separable Adaptive Interpolation Filter）と呼ばれ、２次元の補間フィルタを用いるのではなく、１次元の６ｔａｐ補間フィルタを用いる。手順としては、まず水平方向の画素（非特許文献文献２のＦｉｇ．１におけるａ，ｂ，ｃ）を補間する。フィルタ係数の決定には整数精度画素Ｃ１からＣ６が用いられる。式（１）の予測誤差電力関数Ｅを最小化するような水平方向フィルタ係数が、解析的に決定される。
【数１】
0005552092.tif 000002
【０００７】
ここで、Ｓは原画像、Ｐは復号済参照画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、〜ｘ＝ｘ＋ＭＶｘ−ＦｉｌｔｅｒＯｆｆｓｅｔ（〜はｘの頭に付く）であり、ＭＶｘは事前に得られた動きベクトルの水平成分、ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタのタップ長を２で割った値）を示している。垂直方向については、〜ｙ＝ｙ＋ＭＶｙ（〜はｙの頭に付く）となり、ＭＶｙは動きベクトルの垂直成分を示す。ｗｃｉは求めるべき水平方向フィルタ係数群ｃｉ（０≦ｃｉ＜６）を示す。
【０００８】
予測誤差エネルギー関数Ｅの最小化処理は、水平方向の各小数画素位置ごとに独立に実施される。この最小化処理を経て、３種類の６ｔａｐフィルタ係数群が求まり、そのフィルタ係数を用いて小数画素（非特許文献２のＦｉｇ．１におけるａ，ｂ，ｃ）が補間される。水平方向の画素補間が完了した後、垂直方向の補間処理を実施する。水平方向と同様の線形問題を解くことで垂直方向のフィルタ係数を決定する。具体的には式（２）の予測誤差エネルギー関数Ｅを最小化するような垂直方向フィルタ係数が、解析的に決定される。
【数２】
0005552092.tif 000003
【０００９】
ここでＳは原画像、＾Ｐ（＾Ｐの頭に付く）は復号後に水平方向に補間処理された画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、〜ｘ＝４・（ｘ＋ＭＶｘ）（〜はｘの頭に付く）で表現され、ＭＶｘは丸められた動きベクトルの水平成分を示す。垂直方向については、〜ｙ＝ｘ＋ＭＶｙ−ＦｉｌｔｅｒＯｆｆｓｅｔ（〜はｙの頭に付く）で表現され、ＭＶｙは動きベクトルの垂直成分、ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタのタップ長を２で割った値）を示す。ｗｃｊは求めるべき垂直方向フィルタ係数群ｃｊ（０≦ｃｊ＜６）を示す。
【００１０】
最小化処理は各小数精度画素ごとに独立に実施され、１２種類の６ｔａｐフィルタが得られる。このフィルタ係数を用いて、残りの小数精度画素（非特許文献２のＦｉｇ．１におけるｄ〜ｏ）が補間される。以上より、合計９０（＝６×１５）のフィルタ係数を符号化して復号側に伝送する必要がある。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】Y. Vatis, B. Edler, D. Nguyen, and J. Ostermann. Two-dimensional non-separable adaptive wiener interpolation filter for H.264/AVC. In ITU-T Q.6/SG16 VCEG, VCEG-Z17r1, Apr. 2005.
【非特許文献２】S. Wittmann and T. Wedi. Separable adaptive interpolation filter for video coding. In IEEE International Conference on image Processing, pp. 2500 . 2503, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、固定係数を用いる補間フィルタ（ＩＦ）、適応補間フィルタ（ＡＩＦ）、領域分割適応補間フィルタ（ＲＢＡＩＦ）を比較すると、予測誤差エネルギーは、ＩＦ、ＡＩＦ、ＲＢＡＩＦの順に低減する。一方、フィルタ係数を表現する符号量は、ＩＦについては不要であり、ＡＩＦ、ＲＢＡＩＦを比較するとＡＩＦ、ＲＢＡＩＦの順に増加する。このため、ＩＦ、ＡＩＦ、ＲＢＡＩＦの優劣は一概には言えず、予測誤差エネルギーとフィルタ係数の符号量を考慮した符号化効率の観点から、フレーム毎に、最適なフィルタを選択する必要がある。
【００１３】
フレーム毎のフィルタの選択に用いる規範としては、復号信号の符号化歪量とフレーム内の総発生符号量との加重和であるＲＤコストが用いられる。
Ｊ＝Ｄ＋λＲ
ここで、Ｄは復号信号の符号化歪量であり、Ｒはフレーム内の総発生符号量であり、λは外部から与えれる重み係数である。なお、Ｒについては、フィルタ係数の符号量ρとそれ以外の符号量ｒ（予測誤差を表現する符号量ｒ（ｅ）、動きベクトルを表現する符号量ｒ（ｍ）、各種ヘッダ情報を表現する符号量ｒ（ｈ）の和）に分離可能である。
【００１４】
以下、ＩＦ、ＡＩＦ、ＲＢＡＩＦに関する符号量を以下のように表記する。
ＲI＝ｒI＝ｒI（ｅ）＋ｒI（ｍ）＋ｒI（ｈ）
ＲＡ＝ｒＡ＋ρＡ＝ｒＡ（ｅ）＋ｒＡ（ｍ）＋ｒＡ（ｈ）＋ρＡ
ＲＲ＝ｒＲ＋ρＲ＝ｒＲ（ｅ）＋ｒＲ（ｍ）＋ｒＲ（ｈ）＋ρＲ
上式において、ｒX（ｅ）,ｒX（ｍ）, ｒX（ｈ）（Ｘ＝Ｉ，Ａ，Ｒ）は、各々、各補間フィルタを用いた場合の予測誤差を表現する符号量、動きベクトルを表現する符号量、各種ヘッダ情報を表現する符号量を表す。ρＡ，ρＲは、各々、ＡＩＦ、ＲＢＡＩＦを用いた場合のフィルタ係数の符号量である。なお、ＩＦは固定値のフィルタ係数を用いるため、フィルタ係数の符号量は不要となる。
【００１５】
ＩＦ、ＡＩＦ、ＲＢＡＩＦから最適なフィルタを選択する場合、各補間フィルタを用いた場合の各ＲＤコストを求め、ＲＤコストを最小化するフィルタを選択する。ＩＦ、ＡＩＦ、ＲＢＡＩＦを用いた場合のＲＤコストを各々、式（３），式（４），式（５）として表す。
ＪＩ＝ＤＩ＋λｒＩ  ・・・（３）
ＪＡ＝ＤＡ＋λ（ｒＡ＋ρＡ）・・・（４）
ＪＲ＝ＤＲ＋λ（ｒＲ＋ρＲ）・・・（５）
【００１６】
ＲＤコストを規範として、補間フィルタを選択することで、高い符号化効率を達成可能である。しかし、ＲＤコスト算出は、多くの演算量を要するため、ＲＤコスト算出の演算量削減が重要な課題である。
【００１７】
本発明は、このような事情に鑑みてなされたもので、符号化効率の低下を抑えながら、補間フィルタの選択にかかる演算量を削減することができる補間フィルタ選択機能を有する動画像符号化装置、動画像符号化方法及び動画像符号化プログラムと、この符号化装置、動画像符号化方法、動画像符号化プログラムによって符号化された動画像を復号する動画像復号装置、動画像復号方法、動画像復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明は、小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置であって、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定手段と、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択手段とを備えたことを特徴とする。
【００１９】
本発明は、前記動画像符号化装置によって符号化された動画像を復号することを特徴とする。
【００２０】
本発明は、小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置における動画像符号化方法であって、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定ステップと、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択ステップとを有することを特徴とする。
【００２１】
本発明は、前記動画像符号化方法によって符号化された動画像を復号することを特徴とする。
【００２２】
本発明は、小数画素位置の補間画素値を生成する補間フィルタとして、固定値の係数を用いる固定補間フィルタと、補間フィルタの係数を適応的に設定する適応補間フィルタと、フレーム内を複数の領域に分割して、各分割領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応補間フィルタとを備え、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置上のコンピュータに動画像符号化処理を行わせる動画像符号化プログラムであって、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタのうち、符号量・歪コスト関数に基づき最適な補間フィルタを選択する際、前記領域分割対応適応補間フィルタを用いた場合の発生符号量及び符号化歪量に基づき、前記適応補間フィルタを用いた場合の符号量・歪コスト関数の下限値を推定する下限値推定ステップと、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数よりも大きな値となる場合は、前記固定補間フィルタおよび前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択し、前記下限値が前記固定補間フィルタに対する符号量・歪コスト関数以下となる場合のみ、前記固定補間フィルタ、前記適応補間フィルタ及び前記領域分割対応適応補間フィルタの符号量・歪コスト関数の比較に基づき、最適な補間フィルタを選択する補間フィルタ選択ステップとを前記コンピュータに行わせることを特徴とする。
【００２３】
本発明は、前記動画像符号化プログラムによって符号化された動画像を復号することを特徴とする。
【発明の効果】
【００２４】
本発明によれば、ＲＤコストに基づき、分割領域数の異なる適応補間フィルタを選択する場合、領域数の少ない適応補間フィルタに対するＲＤコスト算出の要否について、同ＲＤコストの算出を行うことなく判定することが可能となるため、ＲＤコスト算出の演算量を削減可能となり、適応補間フィルタを選択するための演算量を低減することが可能になるという効果が得られる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すＩＦを用いた符号化およびＲＤコスト算出処理部１の構成を示すブロック図である。
【図３】図１に符号化処理・ＲＤコスト算出処理部３２、５２の詳細な構成を示すブロック図である。
【図４】図１に示す動画像符号化装置の処理動作を示すフローチャートである。
【図５】図１に示すＩＦを用いた符号化・ＲＤコスト算出処理部１が、図４に示す「ＩＦを用いた符号化処理を行い、発生符号量、符号化歪を算出する」処理を行う詳細動作を示すフローチャートである。
【図６】図１に示す符号化処理・ＲＤコスト算出処理部３２、５２が、図４に示す発生符号量、符号化歪を算出する処理の詳細動作を示すフローチャートである。
【図７】領域分割適応補間フィルタのフィルタ係数算出の処理動作を示すフローチャートである。
【図８】動画像伝送システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して、本発明の一実施形態による補間フィルタ選択機能を有する動画像符号化装置を説明する。動画像符号化装置の詳細な説明を行う前に、本発明の一実施形態による動画像符号化装置の動作原理について説明する。本発明では、適応補間フィルタのＲＤコストの下限値を見積もり、同下限値に基づき、適応補間フィルタのＲＤコスト算出の要否を判定し、判定結果に応じて、適応補間フィルタのＲＤコスト算出を省略し、演算量の低減を図るようにする。
【００２７】
以下の説明では、例として、領域分割適応補間フィルタは、画面内を２領域に分割し、各分割領域毎にフィルタ係数を付与するものとする。ＲＤコストの算出を固定係数を用いる補間フィルタ、適応補間フィルタ、領域分割適応補間フィルタの順で行うものとする。
【００２８】
まず、固定係数を用いる補間フィルタに対するＲＤコストを算出する。
ＪＩ＝ＤＩ＋λｒＩ
この際、求めた画面間予測に関連する情報（予測を行うブロックのサイズ、動きベクトル、動き補償の参照画像等）を動きベクトル関連情報として格納する。なお、前記の動きベクトル関連情報を求めるための動き推定等のアルゴリズムは、外部から与えられるものとする。例えば、文献「K. P. Lim, G. Sullivan, and T. Wiegand. Text description of joint model reference encoding methods and decoding concealment methods. Technical Report R095, Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG,Jan. 2006.」に記載されたものを用いる。
【００２９】
次に、動きベクトル関連情報を読み込み、与えられた分割方法に基づき、領域分割を行う。さらに、前記動きベクトル関連情報を用いて、各領域毎にフィルタ係数を算出する。フィルタ係数算出は予測誤差エネルギー最小化の規範に基づいて行う。詳細については、後述する。この処理により求めた領域分割適応補間フィルタを用いた場合のＲＤコストを算出する。
ＪＲ＝ＤＲ＋λ（ｒＲ＋ρＲ）
【００３０】
ここで、適応補間フィルタを用いた場合のＲＤコストの下限値を見積もる。適応補間フィルタと領域分割適応補間フィルタを比較した場合、符号化歪に関しては、以下の関係がある。
ＤＡ≧ＤＲ
【００３１】
フレーム内の総発生符号量ＲＡ＝ｒＡ＋ρＡ＝ｒＡ（ｅ）＋ｒＡ（ｍ）＋ｒＡ（ｈ）＋ρＡ，及びＲＲ＝ｒＲ＋ρＲ＝ｒＲ（ｅ）＋ｒＲ（ｍ）＋ｒＲ（ｈ）＋ρＲに関しては、以下の関係がある。領域分割適応補間フィルタと適応補間フィルタで、動きベクトル関連情報として、共通の情報を用いるとすれば、
ｒＡ（ｍ）＝ｒＲ（ｍ）
である。領域分割適応補間フィルタの方が適応補間フィルタよりも予測誤差を低減可能なことから予測誤差を表現する符号量については、
ｒＡ（ｅ）≧ｒＲ（ｅ）
である。ヘッダ情報については、ほぼ同程度とみなすことができる。
ｒＡ（ｅ）≒ｒＲ（ｅ）
【００３２】
さらに、フィルタ係数の符号量については、領域分割適応補間フィルタは分割領域毎にフィルタ係数を付加情報として表現する必要があるため、
ρＡ≦ρＲ
となる。ここで、β≦１を用いて、上記の不等式は次式の形式で表すことができる。
ρＡ＝βρＲ
【００３３】
領域分割適応補間フィルタが２つの分割領域を対象とした場合、各分割領域のフィルタ係数の符号量は、フレームに対して付与される適応補間フィルタのフィルタ係数の符号量と大きな差がない場合、β＝０．５とすれば、上式の形式で表現できることになる。
【００３４】
このとき、適応補間フィルタのＲＤコストについて、以下のように下限値を見積もることが可能である。
ＪＡ＝ＤＡ＋λ（ｒＡ＋ρＡ）・・・（６）
≧ＤＲ＋λ（ｒＲ＋βρＲ）・・・（７）
【００３５】
上式で示す適応補間フィルタのＲＤコストの下限値と固定係数を用いる補間フィルタのＲＤコストとの大小比較を行い、同下限値の方が大きな値となる場合は、適応補間フィルタのＲＤコストは固定係数を用いる補間フィルタのＲＤコストよりも大きな値になる。このため、適応補間フィルタのＲＤコストを算出するまでもなく、適応補間フィルタがＲＤコストを最小化できないことが判定できる。従って、適応補間フィルタのＲＤコスト算出を省略する。なお、βの値は、外部から与えられる、もしくは、別途、設定されるものとする。
【００３６】
次に、図７を参照して、領域分割適応補間フィルタのフィルタ係数算出アルゴリズムについて説明する。まず、指定された動きベクトル関連情報を読み込む（ステップＳ５１）。続いて、予め定められた規範に基づき、フレーム内を分割する（ステップＳ５２）。例えば、画面内を水平分割し上側領域と下側領域の２領域に分割する、もしくは、画面内を垂直分割し左側領域と右側領域の２領域に分割するといった方法が適用可能である。このとき、分割位置を示す情報は、別途、与えられるものとする。あるいは、動きベクトルの成分情報に基づき、動き補償のブロック単位で分類を行うことも可能である。具体的には、動きベクトルの水平成分ＭＶｘおよび垂直成分ＭＶｙに基づき、表１に示す形で２種類に分類して、領域分割を行う。
【表１】
0005552092.tif 000004
【００３７】
以下、分離型のフィルタを対象として、フィルタ係数を最適化する手順を示すが、非分離型のフィルタについても同様に行える。また、以下では、水平方向の補間フィルタ係数、垂直方向の補間フィルタ係数の順に導出する。もちろん、この導出順序は逆にすることも可能である。
【００３８】
次に、領域分割の結果から、領域毎にフィルタ係数を算出する（ステップＳ５３）。水平方向の各小数精度画素に対する補間フィルタ係数として、式（８）の予測誤差エネルギーを最小化するｗｃｉ（０≦ｃｉ＜ｌ）を求める。
【数３】
0005552092.tif 000005
【００３９】
ここで、α（１≦α≦２）は分類された領域番号、Ｓは原画像、＾Ｐ（＾はＰの頭に付く）は復号済参照画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、〜ｘ＝ｘ＋ＭＶｘ−ｌ／２（〜はｘの頭に付く）であり、ＭＶｘは事前に得られた動きベクトルの水平成分を示している。垂直方向については、〜ｙ＝ｙ＋ＭＶｙ（〜はｙの頭に付く）となり、ＭＶｙは動きベクトルの垂直成分を示す。ｌはフィルタのタップ長である。
【００４０】
次に、得られた２種類の水平方向の補間フィルタ係数を用いて、フレーム内の各領域ごとに独立して、水平方向の小数画素補間（非特許文献２のＦｉｇ．１におけるａ，ｂ，ｃの補間）を実施する（ステップＳ５４）。
【００４１】
次に、垂直方向の補間フィルタ係数を求める（ステップＳ５５）。垂直方向の各小数精度画素に対する補間フィルタ係数として、式（９）の予測誤差エネルギーを最小化するｗｃｊ（０≦ｃｊ＜ｌ）を求める。
【数４】
0005552092.tif 000006
【００４２】
ここで、α（１≦α≦２）は分類された領域番号、Ｓは原画像、＾Ｐ（＾はＰの頭に付く）はステップＳ５４にて水平方向に補間処理された画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、〜ｘ＝４・（ｘ＋ＭＶｘ）（〜はｘの頭に付く）で表現され、ＭＶｘは丸められた動きベクトルの水平成分を示す。垂直方向については、〜ｙ＝ｘ＋ＭＶｙ−ｌ／２（〜はｙの頭に付く）で表現され、ＭＶｙは動きベクトルの垂直成分を示す。ｌはフィルタのタップ長である。
【００４３】
次に、得られた２種類の垂直方向の補間フィルタ係数を用いて、フレーム内の各領域ごとに独立して、垂直方向の小数画素補間（非特許文献２のＦｉｇ．１におけるｄ〜ｏの補間）を実施する（ステップＳ５６）。そして、新しい補間画像に対して動きベクトルを探索し（ステップＳ５７）、各種補間フィルタ係数群を符号化する（ステップＳ５８）。
【００４４】
なお、本実施形態で説明している補間フィルタ係数の切り替え機能は、輝度信号だけでなく、色差信号にも適用可能である。また、分割数はここでは２だが、分類の定義によって任意の数を取ることが可能である。
【００４５】
次に、図１を参照して、本発明の一実施形態による補間フィルタ選択機能を有する動画像符号化装置の構成を説明する。図１は、同実施形態の構成を示すブロック図である。ＩＦを用いた符号化・ＲＤコスト算出処理部１は、補間フィルタとして固定係数を用いる補間フィルタを用いた場合の符号化処理を行い、ＲＤコストを算出する。このＲＤコストは、補間フィルタ選択処理部６へ送られる。また、符号化処理で得られた符号化データ、復号画像、動きベクトル関連情報は、各々、符号化データ記憶部８、復号画像記憶部７、動きベクトル関連情報記憶部２へ格納される。
【００４６】
補間フィルタ設定部３１は、後続の符号化処理・ＲＤコスト算出部３２において使用する補間フィルタとして、領域分割適応補間フィルタを設定する。符号化処理・ＲＤコスト算出部３２は、補間フィルタとして領域分割適応補間フィルタを用いた場合の符号化処理を行い、ＲＤコストを算出する。このＲＤコストは、補間フィルタ選択処理部６へ送られる。また、符号化処理で得られた符号化データ、復号画像は、各々、符号化データ記憶部８、復号画像記憶部７に送られる。
【００４７】
ＡＩＦに対するＲＤコスト算出実行判定部４は、領域分割適応補間フィルタのＲＤコスト算出に用いた符号化歪量、発生符号量に基づき、適応補間フィルタのＲＤコストの下限値を求め、同下限値と固定係数を用いる補間フィルタのＲＤコストの大小比較を行い、下限値の方が小さい場合は、符号化処理・ＲＤコスト算出処理部５２により処理を行う。また、符号化処理・ＲＤコスト算出処理部５２の出力として、ＲＤコスト、符号化処理で得られた符号化データ、復号画像を各々、補間フィルタ選択処理部６、符号化データ記憶部８、復号画像記憶部７へ送ることを許可する。
【００４８】
補間フィルタ設定部５１は、後続の符号化処理・ＲＤコスト算出部５２において使用する補間フィルタとして、適応補間フィルタを設定する。符号化処理・ＲＤコスト算出処理部５２は、補間フィルタとして適応補間フィルタを用いた場合の符号化処理を行い、ＲＤコストを算出する。また、符号化処理で得られた符号化データ、復号画像を出力する。
【００４９】
補間フィルタ選択処理部６は、入力されたＲＤコストの大小に基づき、ＲＤコストを最小化する補間フィルタを選択する。また、選択された補間フィルタを用いた場合の符号化データを符号化データ記憶部８から読出し、最終的な符号化データとして出力する。さらに、選択された補間フィルタを用いた場合の復号画像を復号画像記憶部７から読出し、参照画像記憶部９に格納する。
【００５０】
次に、図２を参照して、図１に示すＩＦを用いた符号化・ＲＤコスト算出処理部１の詳細な構成を説明する。図２は、動きベクトル関連情報の算出を行う場合に、ＩＦを用いた符号化およびＲＤコスト算出処理部１の構成を示すブロック図である。
【００５１】
変換・量子化処理部１１は、予測誤差信号を入力として読み込み、予測誤差信号に対して、直交変換処理を行い、さらに、直交変換の変換係数に対して、量子化を行い、変換係数の量子化インデックスを出力する。エントロピー符号化処理部１２１は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックスをエントロピー符号化し、符号化データを出力する。エントロピー符号化処理部１２２は、動きベクトル関連情報を入力として読み込み、同動きベクトル関連情報をエントロピー符号化し、符号化データを出力する。
【００５２】
逆変換・逆量子化処理部１３は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックを逆量子化し、さらに逆変換処理を行い、予測誤差信号の復号信号を生成する。デブロッキングフィルタ処理部１４は、予測誤差信号の復号信号及び予測画像を加算して生成した信号を入力として読み込み、その加算結果に対して、フィルタ処理を行い、復号画像を生成し、出力する。なお、フィルタ処理の例としては、規格Ｈ．２６４において用いられるデブロッキングフィルタなどを適用可能である。
【００５３】
動き補償予測処理部１６１は、入力画像、動き補償予測処理部１６１から読み込んだ補間画像及び参照画像を入力として読み込み、入力画像に対して、参照画像を用いた動き推定処理を行い、動きベクトル関連情報を算出する。小数画素位置補間処理部１６２は、参照画像を入力として読み込み、補間フィルタとして固定係数を用いる補間フィルタを用いて小数画素位置の画素値を生成する。動きベクトル関連情報算出部１６３は、参照画像及び小数画素位置補間処理部１６２で求めた動きベクトル関連情報を入力として読み込み、参照画像及び動きベクトル関連情報を用いて、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する。
【００５４】
符号化歪量算出部１７は、入力画像及びデブロッキングフィルタ処理部１４で出力された復号画像を入力として読み込み、両画像の差分を求め、符号化歪量を算出する。ＲＤコスト１８は、予測処理部１６で生成された符号化データのデータ量（発生符号量）及び、符号化歪量算出部１７で算出された符号化歪量を入力として、ＲＤコストを算出する。
【００５５】
次に、図３を参照して、図１に示す符号化処理・ＲＤコスト算出処理部３２、５２の詳細な構成を説明する。図３は、図１に符号化処理・ＲＤコスト算出処理部３２、５２の詳細な構成を示すブロック図である。
【００５６】
変換・量子化処理部３２１は、予測誤差信号を入力として読み込み、予測誤差信号に対して、直交変換処理を行い、さらに、直交変換の変換係数に対して、量子化を行い、変換係数の量子化インデックスを出力する。エントロピー符号化処理部３２２は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックスをエントロピー符号化し、符号化データを出力する。エントロピー符号化処理部３２７は、動きベクトル関連情報を入力として読み込み、同動きベクトル関連情報をエントロピー符号化し、符号化データを出力する。
【００５７】
逆変換・逆量子化処理部３２１は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックを逆量子化し、さらに逆変換処理を行い、予測誤差信号の復号信号を生成する。デブロッキングフィルタ処理部３２４は、予測誤差信号の復号信号及び予測画像を加算して生成した信号を入力として読み込み、その加算結果に対して、フィルタ処理を行い、復号画像を生成し、出力する。参照画像記憶部３２５は、参照画像を記憶する。
【００５８】
小数画素位置補間処理部３２６１は、参照画像を入力として読み込み、入力画像、参照画像及び動きベクトル関連情報記憶部３２６２で読み込んだ動きベクトル関連情報を入力として読み込み、補間フィルタ設定処理部３２９で設定された補間フィルタ（適応補間フィルタもしくは領域分割適応補間フィルタ）に対するフィルタ係数を算出する。具体的な算出方法は、前述した通りである。さらに、算出されたフィルタ係数を用いて、小数画素位置の画素値を生成する。
【００５９】
動きベクトル関連情報記憶部３２６２は、入力画像及び参照画像に対する画面間予測に用いる動きベクトル関連情報を外部から読み込み、格納する。
。動き補償予測処理部３２６３は、参照画像、小数画素位置補間処理部３２６１から読み込んだ補間画像及び動きベクトル関連情報記憶部３２６２から読み込んだ動きベクトル関連情報を入力として読み込み、参照画像及び動きベクトル関連情報を用いて、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する。
【００６０】
符号化歪量算出部３２７は、入力画像及びデブロッキングフィルタ処理部３２４で出力された復号画像を入力として読み込み、両画像の差分を求め、符号化歪量を算出する。ＲＤコスト３２８は、予測処理部３２６で生成された符号化データのデータ量（発生符号量）及び、符号化歪量算出部３２７で算出された符号化歪量を入力として、ＲＤコストを算出する。補間フィルタ設定処理部３２９は、補間フィルタとして用いるフィルタを設定する。
【００６１】
次に、図４を参照して、図１に示す動画像符号化装置の処理動作を説明する。図４は、図１に示す動画像符号化装置の処理動作を示すフローチャートである。まず、ＩＦを用いた符号化・ＲＤコスト算出処理部１は、フレーム間予測に用いる参照画像を読み込み（ステップＳ１）、補間フィルタとして固定係数を用いる補間フィルタを用いて、符号化処理を行い、発生符号量ＲＩ、符号化歪ＤＩを算出する（ステップＳ２）。そして、ＩＦを用いた符号化・ＲＤコスト算出処理部１は、固定係数を用いる補間フィルタを用いた場合のＲＤコストとして、ＪＩ＝ＤＩ＋λＲＩを算出する（ステップＳ３）。
【００６２】
次に、符号化・ＲＤコスト算出処理部３２は、補間フィルタとして領域分割適応補間フィルタを用いて、符号化処理を行い、発生符号量ＲＲ、符号化歪ＤＲを算出し（ステップＳ４）、領域分割適応補間フィルタを用いた場合のＲＤコストとして、ＪＲ＝ＤＲ＋λＲＲを算出する（ステップＳ５）。ここで、発生符号量ＲＲは、ＲＲ＝ｒＲ＋ρＲとして分解できる。
【００６３】
次に、パラメータβの値を読み込み、適応補間フィルタのＲＤコストの下限値として、ＤＲ＋λ（ｒＲ＋βρＲ）を求め（ステップＳ６）、ステップＳ６で求めた適応補間フィルタのＲＤコストの下限値とステップＳ２で求めた固定係数を用いる補間フィルタのＲＤコストを比較し（ステップＳ７）、前者の方が大きい場合は、ステップＳ８へ移る。そうでなければ、ステップＳ１１へ移る。
【００６４】
次に、ＡＩＦのＲＤコストの下限値がＩＦのＲＤコストよりも大きくない場合、符号化処理・ＲＤコスト算出処理部５２は、補間フィルタとして適応補間フィルタを用いて、符号化処理を行い、発生符号量ＲＡ、符号化歪ＤＡを算出し（ステップＳ８）、適応補間フィルタを用いた場合のＲＤコストとして、ＪＡ＝ＤＡ＋λＲＡを算出する（ステップＳ９）。補間フィルタ選択処理部６は、固定係数を用いる補間フィルタ、適応補間フィルタ、領域分割適応補間フィルタの各ＲＤコストＪＩ，ＪＡ，ＪＲを比較し、同コストを最小とする補間フィルタを選択する（ステップＳ１０）。
【００６５】
一方、ＡＩＦのＲＤコストの下限値がＩＦのＲＤコストよりも大きい場合、補間フィルタ選択処理部６は、固定係数を用いる補間フィルタ、領域分割適応補間フィルタの各ＲＤコストＪＩ，ＪＲを比較し、同コストを最小とする補間フィルタを選択する（ステップＳ１１）。
【００６６】
次に、図５を参照して、図４に示す「ＩＦを用いた符号化処理を行い、発生符号量、符号化歪を算出する」処理（ステップＳ２）の詳細動作を説明する。図５は、図１に示すＩＦを用いた符号化・ＲＤコスト算出処理部１が、図４に示す「ＩＦを用いた符号化処理を行い、発生符号量、符号化歪を算出する」処理を行う詳細動作を示すフローチャートである。
【００６７】
まず、ＩＦを用いた符号化・ＲＤコスト算出処理部１は、フレーム間予測に用いる参照画像を読み込む（ステップＳ２１）。そして、小数画素位置補間処理部１６２は、参照画像を入力として読み込み、補間フィルタとして固定係数を用いる補間フィルタを用いて小数画素位置の画素値を生成する（ステップＳ２２）。続いて、動きベクトル関連情報算出部１６３は、入力画像及び参照画像を入力として読み込み、入力画像に対して、参照画像を用いた動き推定処理を行い、動きベクトル関連情報を算出する（ステップＳ２３）。
【００６８】
次に、動き補償予測処理部１６１は、参照画像及び求めた動きベクトル関連情報を入力として読み込み、参照画像及び求めた動きベクトル関連情報を用いて、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する（ステップＳ２４）。続いて、予測画像と入力画像を入力として読み込み、両画像の差分を求め、予測誤差信号を生成する（ステップＳ２５）。
【００６９】
次に、変換・量子化処理部１１は、予測誤差信号を入力として読み込み、予測誤差信号に対して、直交変換処理を行い、さらに、直交変換の変換係数に対して、量子化を行い、変換係数の量子化インデックスを出力する（ステップＳ２６）。続いて、エントロピー符号化処理部１２１は、変換係数の量子化インデックス、動きベクトル関連情報を入力として読み込み、同量子化インデックス、および動きベクトル関連情報をエントロピー符号化し、符号化データを出力する（ステップＳ２７）。
【００７０】
次に、逆変換・逆量子化処理部１３は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックを逆量子化し、さらに逆変換処理を行い、予測誤差信号の復号信号を生成する（ステップＳ２８）。続いて、生成された予測誤差信号の復号信号及び生成された予測画像を入力として読み込み、両者を加算し、さらに、その加算結果に対して、デブロッキングフィルタ処理部１４によりフィルタ処理を行い、復号画像を生成し、出力する（ステップＳ２９）。
【００７１】
次に、符号化歪量算出部１７は、入力画像及び出力された復号画像を入力として読み込み、両画像の差分を求め、符号化歪量を算出する（ステップ３０）。続いて、ＲＤコスト算出部１８は、生成された符号化データを入力として読み込み、同データのデータ量に基づき、発生符号量を算出し（ステップＳ３１）、符号化歪量と発生符号量の加重和として、ＲＤコストを算出する（ステップＳ３２）。
【００７２】
次に、図６を参照して、図１に示す符号化処理・ＲＤコスト算出処理部３２、５２が、図４に示す発生符号量、符号化歪を算出する（ステップＳ４、Ｓ８）処理の詳細動作を説明する。図６は、図１に示す符号化処理・ＲＤコスト算出処理部３２、５２が、図４に示す発生符号量、符号化歪を算出する処理の詳細動作を示すフローチャートである。
【００７３】
まず、符号化・ＲＤコスト算出処理部３２、５２は、フレーム間予測に用いる参照画像を読み込む（ステップＳ４１）。そして、動きベクトル関連情報記憶部３３６２は、動き推定処理に必要な動きベクトル関連情報を読み込む（ステップＳ４２）。続いて、入力画像、参照画像及び読み込んだ動きベクトル関連情報を入力として読み込み、本処理の入力として与えられた補間フィルタ（領域分割適応補間フィルタもしくは適応補間フィルタ）に対するフィルタ係数を算出する（ステップＳ４３）。
【００７４】
次に、小数画素位置補間処理部３２６１は、参照画像を入力として読み込み、本処理の入力として与えられた補間フィルタ（領域分割適応補間フィルタもしくは適応補間フィルタ）を用いて小数画素位置の画素値を生成する（ステップＳ４４）。続いて、動き補償予測処理部３２６３は、読み込んだ動きベクトル関連情報及び、参照画像を入力として読み込み、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する（ステップＳ４５）。そして、予測画像と入力画像を入力として読み込み、両画像の差分を求め、予測誤差信号を生成する（ステップＳ４６）。
【００７５】
次に、変換・量子化処理部３２１は、予測誤差信号を入力として読み込み、予測誤差信号に対して、直交変換処理を行い、さらに、直交変換の変換係数に対して、量子化を行い、変換係数の量子化インデックスを出力する（ステップＳ４７）。続いて、エントロピー符号化処理部３２２は、変換係数の量子化インデックス、動きベクトル関連情報を入力として読み込み、同量子化インデックス、および動きベクトル関連情報をエントロピー符号化し、符号化データを出力する（ステップＳ４８）。
【００７６】
次に、逆変換・逆量子化処理部３２３は、変換係数の量子化インデックスを入力として読み込み、同量子化インデックを逆量子化し、さらに逆変換処理を行い、予測誤差信号の復号信号を生成する（ステップＳ４９）。続いて、生成された予測誤差信号の復号信号及び生成された予測画像を入力として読み込み、両者を加算し、さらに、その加算結果に対して、デブロッキングフィルタ処理部３２４によりフィルタ処理を行い、復号画像を生成し、出力する（ステップＳ５０）。
【００７７】
次に、符号化歪量算出部３２７は、入力画像及び出力された復号画像を入力として読み込み、両画像の差分を求め、符号化歪量を算出する（ステップ５１）。続いて、ＲＤコスト算出部３２８は、生成された符号化データを入力として読み込み、同データのデータ量に基づき、発生符号量を算出し（ステップＳ５２）、符号化歪量と発生符号量の加重和として、ＲＤコストを算出する（ステップＳ５３）。
【００７８】
次に、図８を参照して、図１に示す動画像符号化装置を含む動画像伝送システムの構成を説明する。図８は、動画像伝送システムの構成を示すブロック図である。図８において、符号１０１は、カメラ等で撮像した動画像を入力する動画像入力部である。符号１０２は、図１に示す動画像符号化装置であり、動画像入力部１によって入力した動画像を符号化して送信する。符号１０３は、動画像符号化装置１０２から送信された符号化動画像のデータを伝送する伝送路である。符号１０４４は、伝送路１０３によって伝送された符号化動画像のデータを受信し、符号化動画像のデータを復号して出力する動画像復号装置である。符号１０５は、動画像復号装置１０４において復号された動画像を表示装置等へ出力する動画像出力部である。
【００７９】
次に、図８を参照して、図８に示す動画像伝送システムの動作を説明する。動画像符号化装置１０２は、動画像入力部１を介して、動画像のデータを入力し、動画像のフレーム毎に符号化を行う。このとき、図１に示す補間フィルタ選択処理が行われるとともに、図２、図３に示す符号化処理とＲＤコスト算出処理が行われる。そして、動画像符号化装置１０２は、符号化した動画像データを伝送路１０３を介して動画像復号装置１０４に対して送信する。動画像復号装置１０４は、この符号化動画像データを復号し、動画像出力部１０５を介して、表示装置等に動画像を表示する。
【００８０】
以上説明したように、ＲＤコストに基づき、分割領域数の異なる適応補間フィルタを選択する場合、領域数の少ない適応補間フィルタに対するＲＤコスト算出の要否について、同ＲＤコストの算出を行うことなく判定することが可能となるため、ＲＤコスト算出の演算量を削減可能となり、適応補間フィルタを選択するための演算量を低減することが可能となる。
【００８１】
なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより領域分割対応適応フィルタ処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８２】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００８３】
符号化効率の低下を抑えながら、補間フィルタの選択にかかる演算量を削減することが不可欠な用途に適用できる。
【符号の説明】
【００８４】
１・・・ＩＦを用いた符号化・ＲＤコスト算出処理部、２・・・動きベクトル関連情報記憶部、３１・・・補間フィルタ設定部、３２・・・符号化処理・ＲＤコスト算出処理部、４・・・ＡＩＦに対するＲＤコスト算出実行判定部、５１・・・補間フィルタ設定部、５２・・・符号化処理・ＲＤコスト算出処理部、６・・・補間フィルタ選択処理部、７・・・復号画像記憶部、８・・・符号化データ記憶部、９・・・参照画像記憶部、１１、３２１・・・変換・量子化処理部、１２１、３２２・・・エントロピー符号化処理部、１２２・・・エントロピー符号化処理部、１３、３２３・・・逆変換・逆量子化処理部、１４、３２４・・・デブロッキングフィルタ処理部、１５、３２５・・・参照画像記憶部、１６、３２６・・・予測処理部、１６１、３２６３・・・動き補償予測処理部、１６２、３２６１・・・小数画素位置補間処理部、１６３、３２６２・・・動きベクトル関連情報算出部、１７、３２７・・・符号化歪量算出部、１８、３２８・・・ＲＤコスト算出部、３２９・・・補間フィルタ設定処理部、１０１・・・動画像入力部、１０２・・・動画像符号化装置、１０３・・・伝送路、１０４・・・動画像復号装置、１０５・・・動画像出力部
【図１】
0005552092.tif 000007
【図２】
0005552092.tif 000008
【図３】
0005552092.tif 000009
【図４】
0005552092.tif 000010
【図５】
0005552092.tif 000011
【図６】
0005552092.tif 000012
【図７】
0005552092.tif 000013
【図８】
0005552092.tif 000014