(57)【要約】【課題】符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる。【解決手段】符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を符号化対象画像と予測画像間の誤差が最小になるように決定し（Ｓ１０１〜Ｓ１０３）、符号化済み画像についてＳ１０３で決定された補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し（Ｓ１０４）、生成された補間画像に対して動き補償予測を行うことより予測画像を生成する（Ｓ１０５〜Ｓ１０６）。【選択図】図４
2005318297.tif 000002
【特許請求の範囲】
【請求項１】
動き補償予測を用いる動画像符号化方法において、
符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定するステップと、
前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成するステップと、
前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成するステップとを具備する動画像符号化方法。
【請求項２】
前記予測誤差に対して直交変換を施すことにより直交変換係数を生成するステップと、
前記直交変換係数を量子化するステップと、
量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数対してエントロピー符号化を行って符号化データを出力するステップとをさらに具備する請求項１記載の動画像符号化方法。
【請求項３】
前記補間画像を生成するステップは、前記符号化対象画像と予測画像間の平均二乗誤差の前記補間係数についての偏微分係数を０とおいて前記補間係数を求める請求項１記載の動画像符号化方法。
【請求項４】
前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項１記載の動画像符号化方法。
【請求項５】
前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項１記載の動画像符号化方法。
【請求項６】
動き補償予測を用いる動画像符号化装置において、
符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定する手段と、
前記符号化済み画像について前記補間係数を用いて小数点画素の補間を行うことより補間画像を生成する手段と、
前記補間画像を用いて動き補償予測を行うことより前記予測画像を作成する手段とを具備する動画像符号化装置。
【請求項７】
入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求めるステップと、
前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成するステップと、
前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成するステップと、
前記直交変換係数から予測誤差を求めるステップと、
前記予測画像及び予測誤差から前記復号対象画像を再生するステップとを具備する動画像復号化方法。
【請求項８】
前記補間画像を生成するステップは、水平方向及び垂直方向共に前記隣接画素間の位置にある画素を補間する際に、水平方向及び垂直方向のいずれか一方については補間フィルタと前記補間係数を用いて補間を行い、他方については前記補間フィルタのみを用いて補間を行う請求項７記載の動画像復号化方法。
【請求項９】
前記補間係数を決定するステップは、前記補間係数として水平方向及び垂直方向の双方に共通の係数を決定する請求項７記載の動画像復号化方法。
【請求項１０】
入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を求める手段と、
前記復号済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間することより補間画像を生成する手段と、
前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成する手段と、
前記直交変換係数から予測誤差を求める手段と、
前記予測画像及び予測誤差から前記復号対象画像を再生する手段とを具備する動画像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化済み画像について画素補間を行って得られる補間画像を用いて動き補償予測を行う動画像符号化・復号方法及び装置に関する。
【背景技術】
【０００２】
動画像の符号化に用いられる技術の一つとして、動き補償予測がある。動き補償予測では、動画像符号化装置において新たに符号化しようとする符号化対象画像と局部復号により得られる既に符号化された符号化済み画像を用いて動きベクトルを求め、動きベクトルを用いて動き補償を行って得られる予測画像を生成する。符号化対象画像と予測画像間の予測誤差を直交変換し、直交変換係数を量子化する。量子化された直交変換係数と、動き補償に用いた動きベクトルの情報を符号化して復号装置に送る。復号装置では、入力された符号化データを復号し、復号済み画像と予測誤差及び動きベクトル情報を用いて予測画像を生成し、元の画像を復号する。
【０００３】
動き補償予測の方法として、フィルタを用いて符号化済み画像について小数点画素を補間することにより補間画像を生成し、補間画像と動きベクトルを用いて予測を行う方法が知られている。小数点画素とは、符号化済み画像の隣接画素間の位置の画素であり、例えば隣接画素間のちょうど中間位置の画素は1/2画素と呼ばれる。これに対して、符号化済み画像に元々ある画素を整数画素と呼ぶ。小数点画素の補間を行う場合、符号化対象画像に合わせてフィルタを適応的に切り替える方法が知られている。また、符号化対象画像の画素と予測画像の画素との間の二乗誤差が最小になるように、小数点画素の補間を行うフィルタを決定する方法が知られている（例えば、非特許文献１参照）。
【０００４】
一方、特許文献１には符号化対象画像信号の輝度Y及び色差Cb, Crを符号化済み画像信号の輝度Y’及び色差Cb’, Cr’’を用いて、Y=αY’+β, Cb=αCb’, Cr=αCr’ のように予測する技術が示されている。
【特許文献１】特開平１０−２４８０７２公報
【非特許文献１】T. Wedi, “Adaptive Interpolation Filter for Motion Compensated Prediction, ”Proc. IEEE International Conference on Image Processing, Rochester, New York USA, September 2002
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１によると、一つのフィルタを固定して用いるより予測誤差、すなわち符号化対象画像と予測画像間の誤差が小さくなる。しかし、非特許文献１ではフィルタを用いて小数点画素の補間を行う際に、フェードイン・フェードアウト画像に含まれるような、符号化対象画像と符号化済み画像間での画素値の変化を考慮していない。従って、このような画素値の変化があると予測誤差が増大する。
【０００６】
一方、特許文献１においては符号化対象画像と符号化済み画像間での画素値の変化を考慮している。ただし、特許文献１の技術は時間方向の予測に関するものであり、動き補償予測のための補間に関するものではない。
【０００７】
本発明は、符号化対象画像と符号化済み画像間での画素値の変化を考慮した小数点画素の補間を行うことにより予測画像の誤差を減少させる動画像符号化・復号方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一つの観点によると、動き補償予測を用いる動画像符号化に際して、符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数を前記符号化対象画像と予測画像間の誤差が最小になるように決定し、前記符号化済み画像について前記補間係数を用いて隣接画素間の位置にある画素を補間して補間画像を生成し、前記補間画像に対して前記動き補償予測を行うことより前記予測画像を生成する。
【０００９】
また、前記予測誤差に対して直交変換を施すことにより直交変換係数を生成して量子化し、量子化された直交変換係数、前記動き補償予測に用いる動きベクトル及び前記補間係数を含めた補間係数の組に対してエントロピー符号化を行って符号化データを出力する。
【００１０】
本発明の他の観点によると、入力される符号化データを復号して、量子化された直交変換係数、動きベクトル及び復号対象画像と復号済み画像間の画素値の変化を表す補間係数を含めた補間係数の組を求め、前記復号済み画像について補間係数の組を用いて隣接画素間の位置にある画素を補間することより補間画像を生成し、前記補間画像について前記動きベクトルを用いて動き補償予測を行うことより予測画像を生成し、前記直交変換係数から予測誤差を求め、前記予測画像及び予測誤差から前記復号対象画像を再生する。
【発明の効果】
【００１１】
本発明によれば、符号化対象画像と符号化済み画像間の画素値の変化を考慮した小数点画素の補間を行うことにより、フェードイン・フェードアウト画像のような画素値が時間的に変化する画像に対する予測誤差を減少させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を参照して説明する。  
（第１の実施形態）  
まず、図１を参照して本発明の第１の実施形態に係る動画像符号化装置について説明する。符号化対象画像の入力動画像信号１１は減算器１０１に入力され、ここで入力動画像信号１１と予測画像信号１５との差分がとられることにより、予測誤差信号１２が生成される。予測誤差信号１２に対して直交変換器１０２により直交変換が施され、直交変換係数が生成される。直交変換係数は、量子化器１０３により量子化される。
【００１３】
量子化された直交変換係数情報は、逆量子化器１０４により逆量子化された後、逆直交変換器１０５により逆直交変換される。加算器１０６では、再生された予測誤差信号と予測画像信号１５が加算されることによって、局部復号画像信号１４が生成される。局部復号画像信号１４はフレームメモリ１０７に蓄積され、フレームメモリ１０７から読み出される局部復号画像信号は、動き補償予測器１０８に入力される。
【００１４】
動き補償予測器１０８では、フレームメモリ１０７に蓄積されている局部復号画像信号と入力動画像信号１１を受けて局部復号画像信号に対して動き補償予測が行われ、予測画像信号１５が生成される。予測画像信号１５は、入力動画像信号１１との差分をとるために減算器１０１に送られ、さらに局部復号画像信号１４を生成するために加算器１０６にも送られる。
【００１５】
量子化器１０３により量子化された直交変換係数情報１３は、例えば算術符号化器のようなエントロピー符号化器１０９にも入力され、エントロピー符号化が施される。動き補償予測器１０８からは、動き補償予測に用いられた動きベクトル情報１６と小数点画素の補間に用いる係数を示す補間係数情報１７が出力され、エントロピー符号化器１０９によりエントロピー符号化される。エントロピー符号化器１０９から、量子化された直交変換係数情報１３、動きベクトル情報１６及び補間係数情報１７に対応して出力される符号は多重化器１１０によって多重化され、ビットストリームの符号化データ１８として出力される。符号化データ１８は、図示しない蓄積系あるいは伝送路へ送出される。
【００１６】
次に、図２を用いて動き補償予測器１０８について説明する。  
画素補間器２０１においては、後に詳しく説明するように図１の加算器１０６からの局部復号画像信号１４と係数決定器２０６から与えられる係数情報１７に基づいて、補間画像信号１９が生成される。補間画像信号１９は、スイッチ２０２に入力される。スイッチ２０２では、補間画像信号１９を予測画像生成器２０３と動き検出器２０４の両方に送るか、あるいは動き検出器２０４のみに送るかが選択される。動き検出器２０４では、補間画像信号１９と入力動画像信号１１から動きベクトルが検出される。予測画像生成器２０３では、補間画像信号１９と動きベクトルから予測画像信号１５が生成される。
【００１７】
動き検出器２０４により検出された動きベクトルは、スイッチ２０５に入力される。スイッチ２０５では、動きベクトルの情報を予測画像生成器２０３及び図１のエントロピー符号化器１０９に送るか、あるいは係数決定器２０６に送るかが選択される。係数決定器２０６は、動きベクトル、入力動画像信号１１及び局部復号画像信号１６から前述の補間係数を決定する。具体的には、補間係数は符号化対象画像である入力動画像信号１１と予測画像信号１５間の二乗誤差を最小化するように決定される。また、補間係数は符号化対象画像である入力動画像信号１１と符号化済み画像であるフレームメモリ１０７から読み出される局部復号画像信号間の画素値の変化を反映させるように決定される。
【００１８】
決定された補間係数を示す係数情報１７は、画素補間器２０１に送られると共に、図１に示したエントロピー符号化器１０９に送られる。係数決定器３０６の詳細な動作については、後に説明する。
【００１９】
次に、図３を用いて画素補間器２０１について説明する。  
水平方向に小数点画素の補間を行う場合、まず整数画素の信号である局部復号画像信号１４の画素値がラスタスキャン順にフィルタ３００に入力される。フィルタ３００において、局部復号画像信号１４の入力画素値は遅延器３０１に蓄積され、同時に遅延器３０１に一時点前に入力され蓄積されていた画素値が出力される。他の遅延器３０２、３０３、３０４及び３０５においても、同様の動作が行われる。
【００２０】
係数乗算器３０６においては、局部復号画像信号１４の入力画素値に定数[ｈ(-3)]numを乗じる。ここでnumは２n であり、[ｒ]numは分母をnumに揃えたときのｒの分子を表すことにする。他の係数乗算器３０７、３０８、３０９、３１０及び３１１においても、同様に入力画素値に定数[ｈ(-2)]num，[ｈ(-1)]num，[ｈ(0)]num，[ｈ(1)]num，[ｈ(2)]numをそれぞれ乗じる。次に、加算器３１２において全ての係数乗算器３０６〜３１１から出力される値の和がとられ、フィルタ３００の出力信号となる。
【００２１】
次に、遅延器３０１〜３０５、係数乗算器３０６〜３１１及び加算器３１２を含むフィルタ３００からの出力信号に対して、加算器３１３により定数[ａ]num が加算される。定数[ａ]num には、例えば後述するように符号化対象画像と符号化済み画像間の画素値の変化を示す係数の分子が用いられる。加算器３１３からの出力信号は、ｎビットシフト演算器３１４でｎビットシフトされ、すなわち1/2n ＝1/num倍されることによって、最終的に補間画像信号１９が求められる。図３では６つの画素値を用いて補間画像の画素値を計算する例を示したが、任意の複数の画素値を用いて補間画像の画素値を計算することができる。上述した画素補間器２０１のさらに詳細な動作については、後に説明する。
【００２２】
次に、図４に示すフローチャートを用いて動き補償予測器１０８の処理手順について説明する。  
まず、ステップＳ１０１で画素補間器２０１を用いて局部復号画像信号１４から1/2画素精度の補間画像信号１９を生成する。この場合、1/2画素精度の補間に適当なフィルタを用いる。例えば、ITU-T H.264/MPEG-4 Part10 AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。
【００２３】
次のステップＳ１０２では、動き検出器２０４によって入力動画像信号１１と画素補間器２０１からの補間画像信号１９に基づき動きベクトルを求める。動きベクトルの検出法は周知であるため、ここでは詳しい説明を省略する。
【００２４】
次のステップＳ１０３では、係数決定器２０６によって入力動画像信号１１、動き検出器２０４からの動きベクトル、フレームメモリ１０７からの局部復号画像信号１４に基づき、入力画像信号１１の符号化対象画像と入力動画像信号１１と予測画像信号１５間の二乗誤差を最小にする補間係数の決定を行う。補間係数の決定法については、後に詳しく述べる。
【００２５】
次のステップＳ１０４では、係数決定器２０６により決定された補間係数を用いて、画素補間器２０１によって補間画像信号１９を生成する。次のステップＳ１０５では、ステップＳ１０４で生成された補間画像信号１９を用いて動き検出器２０４により再び動き検出を行う。このとき、検出された動きベクトルは、スイッチ２０５を介して予測画像生成器２０３及びエントロピー符号化器１０９に送られる。最後に、ステップＳ１０６では、予測画像生成器２０３により予測画像信号１５を生成し、動き補償予測が終了する。
【００２６】
次に、ステップＳ１０３における入力動画像信号１１と予測画像信号１５間の二乗誤差を最小にする補間係数の決定方法について詳しく説明する。予測画像信号１５の画素は、動きベクトルによって以下の３種類に分けられる。すなわち、動きベクトルの指し示す符号化済み画像上の位置がｘ方向（水平方向）について1/2画素の位置(x-1/2, y)である画素、ｙ方向（垂直方向）について1/2画素の位置(x, y-1/2)である画素、及びｘ方向とｙ方向の双方について1/2画素の位置(x-1/2, y-1/2)である画素である。これらの画素のうち、動きベクトルの指し示す位置が(x-1/2, y)である画素と(x, y-1/2)である画素を補間係数の決定に用いる。
以下、図５を用いて動きベクトルの指し示す符号化済み画像上の位置が(x-1/2, y)である画素を補間係数の決定に用いる場合を例にとり、係数決定器２０６の動作を説明する。図５は、時点ｔの符号化対象画像上の画素を１時刻前の時点ｔ-1の符号化済み画像上の画素から予測する動き補償予測の様子を示している。
【００２７】
時点ｔでの画素ｓt (x, y)の予測は、動きベクトル(ｕt (x, y), ｖt (x, y)) 及び時点ｔ-1での画素ｓt -1(x, y)を用いて次式（１）で行うものとする。
【数１】
2005318297.tif 000003
【００２８】
図５中の二重丸で示されるように、動きベクトル(ｕt (x, y), ｖt (x, y))で指し示される時点ｔ-1の符号化済み画像上の位置(ｘ+ｕt (x, y), y+ｖt (x, y))の画素ｓt-1(ｘ+ut (x, y), ｙ+ｖt (x, y))がｘ方向（水平方向）について1/2画素、ｙ方向（垂直方向）について整数画素である場合、画素ｓt-1(ｘ+ut (x, y), ｙ+ｖt (x, y))はｘ方向の補間により求まる。このとき、画素ｓt (x, y)の予測は、次式（２）のように係数ａt , ｈt (l) (l = -L, -L+１, ─ , L-１) を用いて行う。
【数２】
2005318297.tif 000004
【００２９】
式（２）の右辺第２項は、図３中のフィルタ３００の演算により実現される。式（２）の右辺第１項の係数ａt の加算は、図３中の加算器３１３による定数[ａ]num の加算とｎビットシフト演算器３１４によって実現される。すなわち、式（２）においては係数ａt により符号化対象画像と符号化済み画像間の画素値の変化を考慮している。
【００３０】
符号化対象画像と予測画像の相対応する画素間の誤差ｅ(x, y)を式（４）に示すように画素ｓt (x, y)とその予測画素との差で定義すると、符号化対象画像と予測画像間の平均二乗誤差は式（５）で表される。
【数３】
2005318297.tif 000005
【００３１】
ここで、Ｚは整数を表す。式（５）では、動きベクトルの指し示す位置が(x-1/2, y)である画素について和がとられている。
次に、式（５）を最小にする係数を求める。まず、式（５）に示した符号化対象画像と予測画像間の平均二乗誤差ＭＳＥの、式（２）中の係数ａt 及びｈt (l)についての偏微分係数を次式（６）（７）により求める。
【数４】
2005318297.tif 000006
【００３２】
式（６）（７）の偏微分係数を０とおき、方程式を解くことにより係数ａt , ｈt (l) を求めることができる。このようにして求められる係数ａt , ｈt (l) を式（２）に代入することにより、画素ｓt (x, y)の予測を行う。動きベクトルの指し示す位置が(x, y-1/2)の画素についても、同様に係数ｂt, ,ｇt (m) (m= -M, -M+1,   , M-1)を求めることができる。
【００３３】
係数ａt, ｈt(l), ｂt, ｇt(m)は、本実施形態では分母を２n ＝numに揃えたときの係数の分子[ａt ]num, [ｈt (l)]num, [ｂt ]num, [ｇt (m)]numに変換される。ただし、係数の分子は整数に丸められる。例えば、[ａt ]numは次式となる。
【数５】
2005318297.tif 000007
【００３４】
係数の分子[ａt ]num, [ｈt (l)]num, [ｂt ]num, [ｇt (m)]num及び分母の指数部nが係数情報１７として係数決定器２０６からエントロピー符号化器２０４に送られ、エントロピー符号化されると共に、画素補間器２０１に送られる。
【００３５】
次に、図６を用いてステップＳ１０４における画素補間器２０１での補間画像信号１９の生成法について説明する。  
位置(x, y)と(x-１, y)の間にある1/2画素ｓ(x-1/2, y)は、係数決定器２０６から与えられる係数の分子[ａt ]num, [ｈt (l)]num及び分母の指数部ｎにより、次式（９）で求められる。
【数６】
2005318297.tif 000008
【００３６】
位置(x, y)と(x, y-１)の間にある1/2画素ｓ(x, y-1/2)は、係数決定器２０６から与えられる係数の分子[ｂt ]num, [ｇt (m)]num及び分母の指数部ｎを用いて次式（１０）で求められる。
【数７】
2005318297.tif 000009
【００３７】
式（９）または（１０）が画素のダイナミックレンジの最大値より大きいか、あるいは最小値より小さい場合、それぞれダイナミックレンジの最大値、最小値に修正するクリッピング処理を行う。以下、計算により求められたすべての画素値について、クリッピング処理が行われるものとする。
【００３８】
画素位置(x-1/2, y-1/2)の画素ｓ(x-1/2, y-1/2)については、仮に従来の技術と同様の手順で式（９）により水平方向に補間された画素を用いて、式（１０）により垂直方向に補間を行うと、画素値は次式で求められる。
【数８】
2005318297.tif 000010
【００３９】
式（１１）に含まれるｓ(x-1/2, y+m)については、式（９）で符号化対象画像と符号化済み画像間にある画素値の変化を表す係数の分子[ａt ]numが含まれている。式（１１）においても同様に画素値の変化を表す係数の分子[ｂt ]numが含まれており、二重に画素値の変化を考慮してしまうことになる。
【００４０】
そこで本実施形態では、図７及び図８に示すように式（９）を用いて水平方向に補間された位置(x-1/2, y)の画素にフィルタを用いて垂直方向の補間を行い、画素ｓ(x-1/2, y-1/2)を求める。フィルタには、1/2画素精度の補間に適当なものを用いる。例えば、ステップＳ１０１で用いたようなH.264 / AVCで用いられるフィルタ係数(1/32, -5/32, 20/32, 20/32, -5/32, 1/32)のフィルタを用いる。画素位置が(x-1/2, y-1/2)の画素ｓ(x-1/2, y-1/2)は、次式（１２）で求められる。
【数９】
2005318297.tif 000011
【００４１】
ここで、[ｃ(m)]numは係数の分子[ａt ]num等と同様に、次式（１３）で表されるものとする。
【数１０】
2005318297.tif 000012
【００４２】
なお、式（９）により水平方向に補間された画素にフィルタを用いて垂直方向の補間をする方法を示したが、フィルタを用いて水平方向に補間された画素に式（１０）により垂直方向の補間を行ってもよい。生成された補間画像信号はスイッチ２０２を介して予測画像生成器２０３及び動き検出器２０４に送られる。
【００４３】
ステップＳ１０１，S１０４での補間及びステップＳ１０３の補間係数の決定において用いる画素の位置は、画面の範囲外になる場合がある。画面の範囲外の画素については、画面の縁に位置する画素が延長されているか、あるいは画面の縁を基準に画像信号が対称になるように画素が延長されていると仮定する。
【００４４】
次に、補間係数のエントロピー符号化について説明する。エントロピー符号化器１０９では、係数情報１７として係数の分子[ａt ]num, [ｈt (l)]num, [ｂt ]num, [ｇt (m)]num及び係数の分母の指数部ｎを受け、これらをフレーム毎、フィールド毎、スライス単位、またはＧＯＰ単位などシンタクス上の単位で符号化する。
【００４５】
なお、本実施形態では二乗誤差を最小とする方法を示したが、他の誤差の基準で補間係数を求めてもよい。また、時点ｔ-1の画像から動き補償予測を行う方法を示したが、時点ｔ-１以前の符号化済み画像から同様に動き補償予測を行うこともできる。
【００４６】
次に、図９を用いて第１の実施形態に係る動画像復号装置について説明する。復号対象の符号化データ２１として、図１の動画像符号化装置から出力される符号化データ１８が蓄積系または伝送系を経て入力される。復号対象の符号化データ２１には、量子化された直交変換係数情報、動きベクトル情報及び補間係数情報の符号が含まれている。これらの各符号は多重化分離器４０１により分離され、エントロピー復号化器４０２によって復号されることにより、量子化された直交変換係数情報２２、動きベクトル情報２３及び補間係数情報２４が出力される。補間係数情報２４は、図１に示した動画像符号化装置側では符号化対象画像と符号化済み画像間の画素値の変化を表す補間係数の情報であるが、動画像復号化装置側で見れば復号対象画像と復号済み画像間の画素値の変化を表す補間係数の情報である。
【００４７】
エントロピー復号化器４０２から出力される情報のうち、量子化された直交変換係数情報２２は逆量子化器４０３に、動きベクトル情報２３は予測画像生成器４０６に、そして補間係数情報２４である係数の分子[ａt ]num, [ｈt (l)]num, [ｂt ]num, [ｇt (m)]num及び係数の分母の指数部ｎは補間画像生成器４０７にそれぞれ送られる。
【００４８】
量子化された直交変換係数情報２２は逆量子化器４０３によって逆量子化された後、逆直交変換器４０４により逆直交変換されることによって、予測誤差信号２５が得られる。加算器４０５では予測誤差信号２５に予測画像信号２７が加算されることにより、動画像信号２８が再生される。再生される動画像信号２８は、フレームメモリ４０８に蓄積される。
【００４９】
画素補間器４０７においては、フレームメモリ４０８に蓄積されている動画像信号と多重化分離器４０１から与えられる補間係数情報である係数の分子[ａt ]num, [ｈt (l)]num, [ｂt ]num, [ｇt (m)]num及び係数の分母の指数部ｎを用いて補間画像信号２６が生成される。ここで、画素補間器４０７は第１の実施形態における図２中の画素補間器２０１と同様に補間を行う。最後に、こうして生成された補間画像について動きベクトル情報２３を用いて予測画像生成器４０６により予測画像が生成され、動画像信号２８を得るために加算器４０５に送られる。
【００５０】
（第２の実施形態）  
次に、本発明の第２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。本実施形態は、水平方向及び垂直方向の画像信号の性質が同じであると仮定し、次式（１４）（１５）のように水平方向及び垂直方向共に同一の補間係数を用いる。
【数１１】
2005318297.tif 000013
【００５１】
補間係数の決定においては、第１の実施形態の式（５）（６）（７）を動きベクトルの指し示す位置が(x-1/2, y)にある画素及び位置(x, y-1/2)にある画素双方の和をとるように変更する。平均二乗誤差及び偏微分係数は、次式（１６）（１７）（１８）となる。
【数１２】
2005318297.tif 000014
【００５２】
式（１７）（１８）の偏微分係数を０とおいて方程式を解くことにより、水平方向及び垂直方向双方の補間に共通の補間係数であるａt , ｈt (l) が得られる。補間については図７及び図１０に示すように、決定された係数の分子[ａt ]num, [ｈt (l)]numを水平方向及び垂直方向に共通に用いて、第１の実施形態のステップＳ１０４と同様に行う。
【００５３】
第２の実施形態によれば、水平方向及び垂直方向の補間に用いる補間係数を別々に設ける場合に比べ、補間係数の個数を削減することができる。従って、エントロピー符号化を行うべき係数の分子の数も減少するので、係数情報１７を送るために必要な符号量を第１の実施形態の場合より削減することができる。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係る動画像符号化装置のブロック図
【図２】図１中の動き補償予測器のブロック図
【図３】図２中の画素補間器のブロック図
【図４】図１中の動き補償予測器の処理手順を示すフローチャート
【図５】動き補償予測について説明する図
【図６】水平方向の補間について説明する図
【図７】水平方向に小数点画素位置にある画素を補間する際の水平方向の補間について説明する図
【図８】水平方向及び垂直方向共に小数点画素位置にある画素を補間する際の垂直方向の補間について説明する図
【図９】本発明の第１の実施形態に係る動画像復号装置のブロック図
【図１０】本発明の第２の実施形態における垂直方向の補間について説明する図
【符号の説明】
【００５５】
１１…入力動画像信号
１２…予測誤差信号
１３…量子化直交変換係数
１４…局部復号画像信号
１５…予測画像信号
１６…動きベクトル情報
１７…係数情報
１８…符号化データ
１９…補間画像信号
１０１…減算器
１０２…直交変換器
１０３…量子化器
１０４…逆量子化器
１０５…逆直交変換器
１０６…加算器
１０７…フレームメモリ
１０８…動き補償予測器
１０９…エントロピー符号化器
１１０…多重化器
２０１…画素補間器
２０２…スイッチ
２０３…予測画像生成器
２０４…動き検出器
２０５…スイッチ
２０６…係数決定器
３０１〜３０５…遅延器
３０６〜３１１…係数乗算器
３１２…加算器
３１３…加算器
３１４…ビットシフト演算器
２１…符号化データ
２２…量子化直交変換係数
２３…動きベクトル情報
２４…係数情報
２５…予測誤差信号
２６…補間画像信号
２７…予測画像信号
２８…出力動画像信号
４０１…多重化分離器
４０２…エントロピー復号化器
４０３…逆量子化器
４０４…逆直交変換器
４０５…加算器
４０６…予測画像生成器
４０７…画素補間器
４０８…フレームメモリ
【図１】
2005318297.tif 000015
【図２】
2005318297.tif 000016
【図３】
2005318297.tif 000017
【図４】
2005318297.tif 000018
【図５】
2005318297.tif 000019
【図６】
2005318297.tif 000020
【図７】
2005318297.tif 000021
【図８】
2005318297.tif 000022
【図９】
2005318297.tif 000023
【図１０】
2005318297.tif 000024