(57)【特許請求の範囲】
【請求項１】
入力動画像を少なくとも１画素からなる小ブロックに分割し、
所定の方法により上記入力動画像の小ブロックの符号化難易度を計算し、
上記入力動画像の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を示す代表フィルタ特性を求め、
上記代表フィルタ特性と、上記入力動画像の小ブロックが画像間予測で参照する小ブロックを符号化処理する際に当該符号化処理の前に使われたローパスフィルタ処理のフィルタ特性制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施すとともに、
上記決定された入力動画像の小ブロックに使うフィルタ特性におけるローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックを符号化処理する際に当該符号化処理の前に使われたローパスフィルタのフィルタ特性における帯域制限値である第２の帯域制限値とを比較し、
当該第１及び第２の帯域制限値の変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御することを特徴とする動画像符号化方法。
【請求項２】
上記入力動画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成し、
当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求め、
当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
上記入力動画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求め、
当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項１記載の動画像符号化方法。
【請求項５】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項１記載の動画像符号化方法。
【請求項６】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項１記載の動画像符号化方法。
【請求項７】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項１記載の動画像符号化方法。
【請求項８】
入力動画像を少なくとも１画素からなる小ブロックに分割する分割手段と、
所定の方法により上記入力動画像の小ブロックの符号化難易度を計算する計算手段と、
上記入力動画像の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を示す代表フィルタ特性を求め、当該代表フィルタ特性と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックを符号化処理する際に当該符号化処理の前に使われたローパスフィルタ処理のフィルタ特性制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段と、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施す符号化手段とを有し、
上記フィルタ特性決定手段は、上記決定された入力動画像の小ブロックに使うフィルタ特性におけるローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックを符号化処理する際に当該符号化処理の前に使われたローパスフィルタの帯域制限値である第２の帯域制限値とを比較して当該第１及び第２の帯域制限値の変化量を求める比較手段と、上記第１及び第２の帯域制限値の変化量が予め決められた閾値より大きい場合は当該変化量を上記閾値以内に抑えるように第１の帯域制限値を制御する制御手段とを備えることを特徴とする動画像符号化装置。
【請求項９】
上記計算手段は、上記入力動画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成する係数データ生成手段と、当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求める発生符号量生成手段とを備え、当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項８記載の動画像符号化装置。
【請求項１０】
上記計算手段は、上記入力動画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求める予測残差生成手段を備え、当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項８記載の動画像符号化装置。
【請求項１１】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項８記載の動画像符号化装置。
【請求項１２】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項８記載の動画像符号化装置。
【請求項１３】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項８記載の動画像符号化装置。
【請求項１４】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項８記載の動画像符号化装置。
【請求項１５】
入力動画像について、フレーム内符号化画像を適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照する参照画像に、また、フレーム間符号化画像を適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照しない非参照画像に分類し、
上記入力動画像を少なくとも１画素からなる小ブロックに分割し、
上記入力動画像がフィルタ特性の参照画像である場合は、所定の方法により計算した当該入力動画像内の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を選択し、選択したローパスフィルタ特性を上記入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて修正して、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、
上記入力動画像がフィルタ特性の非参照画像の場合は、上記入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施すとともに、
上記入力動画像がフィルタ特性の参照画像である場合には、上記入力動画像内の全小ブロックの符号化難易度を当該入力動画像内で平滑化して算出した小ブロックのローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値である第２の帯域制限値とを比較して当該第１及び第２の帯域制限値の変化量を求め、当該変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御し、
上記入力動画像がフィルタ特性の非参照画像である場合には、当該入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第３の帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第４の帯域制限値から、所定の方法で内挿補間によって上記第１の帯域制限値を計算し、当該第１の帯域制限値と当該入力動画像に時間的に近接する画像の空間的に同じ位置の小ブロックで使われたローパスフィルタの帯域制限値である第５の帯域制限値とを比較して当該第１及び第５の帯域制限値の変化量を求め、
当該変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御することを特徴とする動画像符号化方法。
【請求項１６】
上記参照画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成し、当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求め、当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項１５記載の動画像符号化方法。
【請求項１７】
上記参照画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求め、当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項１５記載の動画像符号化方法。
【請求項１８】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項１５記載の動画像符号化方法。
【請求項１９】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項１５記載の動画像符号化方法。
【請求項２０】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項１５記載の動画像符号化方法。
【請求項２１】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項１５記載の動画像符号化方法。
【請求項２２】
入力動画像を少なくとも１画素からなる小ブロックに分割する分割手段と、
上記入力動画像をフレーム内符号化画像であるフィルタ特性の参照画像とフレーム間画像であるフィルタ特性の非参照画像に分類する分類手段と、
上記入力動画像がフィルタ特性の参照画像である場合には、所定の方法により当該入力動画像の小ブロックの符号化難易度を計算する計算手段と、
上記入力動画像の小ブロックの符号化難易度と、当該入力動画像内の全小ブロックの符号化難易度を平滑化する平滑化手段と、
上記入力動画像がフィルタ特性の参照画像である場合は、所定の方法により計算した当該入力動画像内の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を選択し、選択したローパスフィルタ特性を上記入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて修正して、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、また、入力動画像がフィルタ特性の非参照画像の場合は、上記入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段と、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施す符号化処理手段とを有し、
上記フィルタ特性決定手段は、上記入力動画像がフィルタ特性の非参照画像である場合に、当該入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第３の帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第４の帯域制限値から、内挿補間によって上記第１の帯域制限値を計算する内挿補間手段と、上記入力動画像がフィルタ特性の参照画像である場合には、上記入力動画像内の全小ブロックの符号化難易度を当該入力動画像内で平滑化して算出した小ブロックのローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値である第２の帯域制限値とを比較して、当該第１及び第２の帯域制限値の変化量を求め、上記入力動画像がフィルタ特性の非参照画像である場合には、上記内挿補間手段により求めた第１の帯域制限値と当該入力動画像に時間的に近接する画像の空間的に同じ位置の小ブロックで使われたローパスフィルタの帯域制限値である第５の帯域制限値とを比較して当該第１及び第５の帯域制限値の変化量を求める比較手段と、上記比較手段により求めた変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御する制御手段とを備えることを特徴とする動画像符号化装置。
【請求項２３】
上記計算手段は、上記入力動画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成する係数データ生成手段と、上記係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求める発生符号量生成手段とを備え、上記小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２４】
上記計算手段は、上記入力動画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求める予測残差生成手段を備え、上記小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２５】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２６】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２７】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２８】
上記入力動画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力動画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項２２記載の動画像符号化装置。
【請求項２９】
ＭＰＥＧ方式で符号化された入力動画像について、ＩピクチャとＢピクチャを適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照する参照画像に、または、Ｐピクチャを適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照しない非参照画像に分類し、
上記入力動画像を少なくとも１画素からなる小ブロックに分割し、
上記入力動画像がフィルタ特性の参照画像である場合は、所定の方法により計算した当該入力動画像内の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を選択し、選択したローパスフィルタ特性を上記入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて修正して、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、
上記入力動画像がフィルタ特性の非参照画像の場合は、上記入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施すとともに、
上記入力動画像がフィルタ特性の参照画像である場合には、上記入力動画像内の全小ブロックの符号化難易度を当該入力動画像内で平滑化して算出した小ブロックのローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値である第２の帯域制限値とを比較して当該第１及び第２の帯域制限値の変化量を求め、当該変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御し、
上記入力動画像がフィルタ特性の非参照画像である場合には、当該入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第３の帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第４の帯域制限値から、所定の方法で内挿補間によって上記第１の帯域制限値を計算し、当該第１の帯域制限値と当該入力動画像に時間的に近接する画像の空間的に同じ位置の小ブロックで使われたローパスフィルタの帯域制限値である第５の帯域制限値とを比較して当該第１及び第５の帯域制限値の変化量を求め、
当該変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御することを特徴とする動画像符号化方法。
【請求項３０】
ＭＰＥＧ方式で符号化された入力動画像を少なくとも１画素からなる小ブロックに分割する分割手段と、
上記入力動画像において、ＩピクチャとＢピクチャをフィルタ特性の参照画像に、Ｐピクチャをフィルタ特性の非参照画像に分類する分類手段と、
上記入力動画像がフィルタ特性の参照画像である場合には、所定の方法により当該入力動画像の小ブロックの符号化難易度を計算する計算手段と、
上記入力動画像の小ブロックの符号化難易度と、当該入力動画像内の全小ブロックの符号化難易度を平滑化する平滑化手段と、
上記入力動画像がフィルタ特性の参照画像である場合は、所定の方法により計算した当該入力動画像内の小ブロックの符号化難易度が大きいほど通過帯域の狭いローパスフィルタ特性を選択し、選択したローパスフィルタ特性を上記入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて修正して、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、また、入力動画像がフィルタ特性の非参照画像の場合は、上記入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいて、上記入力動画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段と、
上記決定されたフィルタ特性でローパスフィルタ処理された動画像信号に対し、符号化処理を施す符号化処理手段とを有し、
上記フィルタ特性決定手段は、上記入力動画像がフィルタ特性の非参照画像である場合に、当該入力動画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第３の帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値である第４の帯域制限値から、内挿補間によって上記第１の帯域制限値を計算する内挿補間手段と、上記入力動画像がフィルタ特性の参照画像である場合には、上記入力動画像内の全小ブロックの符号化難易度を当該入力動画像内で平滑化して算出した小ブロックのローパスフィルタの帯域制限値である第１の帯域制限値と、当該入力動画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値である第２の帯域制限値とを比較して、当該第１及び第２の帯域制限値の変化量を求め、上記入力動画像がフィルタ特性の非参照画像である場合には、上記内挿補間手段により求めた第１の帯域制限値と当該入力動画像に時間的に近接する画像の空間的に同じ位置の小ブロックで使われたローパスフィルタの帯域制限値である第５の帯域制限値とを比較して当該第１及び第５の帯域制限値の変化量を求める比較手段と、上記比較手段により求めた変化量が予め決められた閾値より大きい場合は、当該変化量を上記閾値以内に抑えるように、上記第１の帯域制限値を制御する制御手段とを備えることを特徴とする動画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録したり、テレビ会議システム，テレビ電話システムや放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送する場合などに用いて好適な動画像符号化方法及び装置に関する。
【０００２】
【従来の技術】
例えば、テレビ会議システムやテレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、高品質の伝送を実現するために、上記動画像信号をディジタル化することが行われている。また、動画像信号を信号記録媒体に記録する場合においても、同様にディジタル化した動画像信号を記録することが行われている。
【０００３】
ここで、ディジタル化した動画像信号はデータ量が膨大であるので、記録又は伝送する場合には、データの符号化（圧縮）が行われることが多い。しかし、動画像信号を符号化（圧縮）すると、多少の画質劣化は避けられないものである。この画質劣化としては、例えば、ブロック状歪みや輪郭部のリンギング（モスキートノイズ）がある。このような画質劣化を少なくするために、従来より、プリフィルタ（例えばローパスフィルタ）を使用し、符号化前の入力画像信号に対してフィルタリング処理を施すことが多い。
【０００４】
図２３には、上記プリフィルタを使用する従来の動画像信号の符号化装置の一例を示す。
【０００５】
図２３に示す符号化装置おいて、端子２０１から入力されるディジタル動画像信号Ｓ２１０は、プリフィルタ回路２０２でフィルタリング処理される。上記フィルタリング処理がなされた処理画像信号Ｓ２１１は、次段の符号化回路２０５へ入力される。
【０００６】
符号化回路２０５は、動き補償フレーム間予測とＤＣＴ（離散コサイン変換）などの変換符号化を組み合わせたハイブリッド符号化方法を用いてディジタル動画像信号を符号化するものである。すなわち符号化回路２０５は、入力信号Ｓ２１１に対して、フレーム間／内適応予測を施し、演算器２０６にて予測誤差信号Ｓ２１２を取り出す。さらに、ＤＣＴ器２０７にて予測誤差信号に対して２次元ＤＣＴを施す。そして、量子化器２０８にて、上記計算されたＤＣＴ係数を量子化し、符号化出力信号Ｓ２１５を端子２２０から出力する。ここで、量子化器２０８は、出力信号Ｓ２１５のビットレートが一定となるような量子化ステップサイズを決定している。
【０００７】
一方、出力信号Ｓ２１５は、逆量子化器２０９にて逆量子化された後、逆ＤＣＴ器２１０にて逆ＤＣＴ処理され予測誤差信号が復元され、さらに演算器２１１にて当該予測誤差信号に予測画像信号が加算されて局部復号がなされる。この加算により得られた復号画像信号Ｓ２１３がフレームメモリ２１２へ記憶される。
【０００８】
一般に、符号化回路２０５では、入力動画像の絵柄が複雑だったり、動きが大きい程、予測残差信号Ｓ２１２が大きくなる。この時、符号化の発生情報量を定められたビットレートに抑えるために、量子化器２０８にて粗い量子化を用いると、視覚上目立つブロック歪みが発生し、主観画質が劣化する。
【０００９】
そこで、図２３に示した符号化装置では、入力画像のフレーム間差分信号の大きさがフレーム間予測符号化の発生符号量に影響を与えることを考慮して、入力画像のフレーム間差分信号の大きさに応じて、入力画像に対するプリフィルタのローパス（Ｌｏｗ  Ｐａｓｓ）通過帯域を制限している。これにより、予測誤差信号Ｓ２１２のエネルギが減衰され、粗い量子化を防ぐことができるので、主観的な画質を向上させることができる。
【００１０】
この符号化装置における可変プリフィルタ制御方法を説明する。
【００１１】
演算器２０４では、端子２０１から入力される画像信号Ｓ２１０とフレームメモリ２１２から入力される画像信号Ｓ２１４とのフレーム間差分ｒが計算される。ここで、画像信号Ｓ２１４は、入力画像信号Ｓ２１０のフレーム間予測で参照される信号である。フレーム間差分ｒは、プリフィルタ制御器２０３へ入力され、このプリフィルタ制御器２０３では、上記フレーム間差分ｒの大きさに応じて、プリフィルタ２０２のローパス通過帯域を制御するためのパラメータとしてプリフィルタ係数ｋを生成出力する。当該プリフィルタ２０２は、図２４の２次元ローパスフィルタ特性を持ち、ローパス通過帯域は、上記プリフィルタ係数ｋに対して単調増加である。図２５には、フレーム間差分ｒとプリフィルタ係数ｋの関係を示す。このように、プリフィルタ制御器２０３では、上記関係により、入力画像のフレーム間差分信号の大きさに応じてプリフィルタのローパス特性を制御している。
【００１２】
【発明が解決しようとする課題】
ところで、フレームの中では、局所的に予測残差の大きい部分と予測残差の小さい部分が存在する。例えば、前者は、局所的に動きが速い部分又は絵柄が複雑な部分であり、後者は、動きが遅い部分又は絵柄が平坦な部分である。そして、人間の目は、動きの速い部分又は絵柄が複雑な部分では解像度の低下に鈍感であるが、動きの遅い部分又は絵柄が平坦な部分では、解像度の低下に敏感である。したがって、予測残差の大きい部分では、通過帯域の比較的狭いローパスフィルタを使用し、一方、予測残差の小さい部分には、通過帯域の比較的広いローパスフィルタを使用することが好ましく、これにより発生情報量が低減される共に、主観的な画質が向上することになる。
【００１３】
しかしながら、図２３の構成のように、プリフィルタ２０２は、符号化回路２０５の予測符号化ループの外に置かれているため、フレームの内部で部分的に、プリフィルタの特性を頻繁に変更すると、予測画像間でローパスの通過帯域が異なった場合に、符号化効率が低下してしまう可能性がある。すなわち、予測画像間で使用したプリフィルタの特性が異なるためにお互いの画像信号の帯域が異なると、図２３の構成において、入力画像信号Ｓ２１０とその予測画像信号Ｓ２１４の予測残差信号のエネルギよりも、フィルタ処理された画像信号Ｓ２１１とその予測画像信号Ｓ２１４の予測残差信号のエネルギの方が大きくなる可能性がある。例えば、入力画像信号Ｓ２１０がローパスフィルタ処理され、画像信号Ｓ２１１では高周波数成分が減衰していている一方で、予測画像信号Ｓ２１４では高周波数成分が残っている場合、入力画像信号Ｓ２１０と予測画像信号Ｓ２１４の予測残差信号のエネルギよりも、フィルタ処理された画像信号Ｓ２１１と予測画像信号Ｓ２１４の予測残差信号のエネルギの方が大きくなり、符号化効率が低下してしまう虞れがある。
【００１４】
そこで、本発明は、このような状況に鑑みてなされたものであり、フレーム間予測符号化回路の前段にプリフィルタを置く構成の動画像符号化装置において、フレームの中で部分的に、ローパスプリフィルタの特性を変更できるとともに、予測画像間でお互いの画像信号の帯域が異なることによる符号化効率の低下を小さくすることを可能にするものである。
【００１５】
すなわち、本発明の目的は、フレームの中で部分的に、局所的な予測残差の相違に従ってローパスプリフィルタの特性を変更して、主観画質を改善できるようにした動画像符号化方法及び動画像符号化装置を提供することにある。
【００１６】
また、本発明の他の目的は、参照する画像間でお互いの画像信号の帯域が異なることによる符号化効率の低下を小さくして、主観画質を改善できるようにした動画像符号化方法及び動画像符号化装置を提供することにある。
【００１７】
また、本発明の他の目的は、時間的に近接する画像間でお互いの画像信号の帯域が極端に異なることによる主観的画質の劣化を小さくするようにした動画像符号化方法及び動画像符号化装置を提供することにある。
【００１８】
さらに、本発明の他の目的は、同一画像内で空間的に近接する小ブロック間の画像信号の帯域が極端に異なることによる主観的画質の劣化を小さくするようにした動画像符号化方法及び動画像符号化装置を提供することにある。
【００１９】
【課題を解決するための手段】
本発明では、入力動画像を少なくとも１画素からなる小ブロックに分割し、所定の方法により小ブロックの符号化難易度を計算し、この小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、当該小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することにより、上述の課題を解決する。
【００２０】
すなわち、本発明によれば、入力動画像信号に対するローパスフィルタ処理の際のフィルタ特性を決定する場合に、現在の符号化対象の小ブロックの符号化難易度とともに、画像間予測で参照される小ブロックで使われたフィルタ制御情報を合わせて考慮している。これにより、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることが可能となる。
【００２１】
また、本発明では、フィルタ特性を決定するために参照するフィルタ特性画像と、参照しない非フィルタ特性画像に入力動画像を分類して、フィルタ特性を次のように決定する。
【００２２】
すなわち、上記入力動画像がフィルタ特性画像である場合は、当該入力動画像を少なくとも１画素からなる小ブロックに分割し、小ブロックの符号化難易度を計算し、当該入力動画像内で小ブロックの符号化難易度を平滑化する。そして、この小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて、当該小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する。
【００２３】
また、上記入力動画像が非フィルタ特性画像である場合は、画像を少なくとも１画素からなる小ブロックに分割し、当該入力画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいた所定の方法による内挿補間により当該小ブロックのフィルタ特性に対してローパスフィルタ処理を施す際のフィルタ特性を算出する。更に、近接する画像の空間的に同じ位置の小ブロックのフィルタ制御情報に基づいて最終的なフィルタ特性を決定する。
【００２４】
このように、本発明では、入力動画像信号に対するローパスフィルタ処理の際のフィルタ特性を決定する場合に、フィルタ特性画像として互いに類似の符号化難易度特性を持つ画像、例えばＭＰＥＧ方式におけるＰピクチャなど、を選択してフィルタ特性を算出し、非フィルタ特性画像としてフィルタ特性画像と符号化難易度特性の異なる画像、例えばＭＰＥＧ方式におけるＩピクチャ、Ｂピクチャなど、を選択して、フィルタ特性画像より内挿補間を行ってフィルタ特性を算出することで、連続する画像間のローパスの通過帯域が極端に異なることをなくす。
【００２５】
また、フィルタ特性画像、非フィルタ特性画像の双方で、現在の符号化対象の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報を考慮することで、フィルタ係数の極端な相違による符号化効率の低下を防ぐ。
【００２６】
これらにより、ローパスプリフィルタ処理された動画像は、従来よりもさらに符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることが可能となる。
【００２７】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２８】
本発明の動画像符号化方法が適用される動画像符号化装置の第１の構成例を図１に示す。
【００２９】
この図１に示す本発明の第１の構成例の動画像符号化装置において、入力端子２０から入力されるディジタル動画像信号Ｓ３０は、フレームメモリ群２１に送られ、記憶される。
【００３０】
このフレームメモリ群２１に記憶された画像データＳ２３を用いて、動きベクトル検出回路２４は、フレーム間の動きベクトルを検出する。具体的に言うと、動きベクトル検出回路２４では、フレームを小ブロックに分割し、この小ブロック単位に動きベクトルＭＶを計算する。ここで、小ブロックは例えば１６画素×１６ラインで構成されており、動きベクトル検出は例えば参照フレームと現在の小ブロックとのパターンマッチングで行う。すなわち、式（１）  に示すように、現在の小ブロックの信号Ａｉｊと、任意の動きベクトルにより参照される小ブロックの信号Ｆｉｊの差の絶対値の和Ｅｆ  を求める。
【００３１】
Ｅｆ  ＝  Σ｜Ａｉｊ−Ｆｉｊ｜            （ｉ＝０〜１５，  ｊ＝０〜１５）                    （１）
動きベクトル検出回路２４は、上記Ｅｆ  の値が最小となる動きベクトルを動きベクトル信号ＭＶとして出力する。
【００３２】
画像データＳ２３と動きベクトル信号ＭＶは、符号化難易度測定回路２６へ入力され、ここで入力画像の小ブロック毎に、その符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）  が計算される。この第１の構成例での符号化難易度ｄは、後述する動画像符号化回路２３での発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータである。符号化難易度測定回路２６の具体的な構成例については、後述する。
【００３３】
次に、プリフィルタ制御回路２７へは、上述のように求めた現在の符号化対象の小ブロックの符号化難易度ｄが入力される。
【００３４】
また、プリフィルタ制御情報記憶回路２５には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路２５には、現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓと現在の小ブロックの動きベクトル信号ＭＶとが入力され、それらに基づいて、このプリフィルタ制御情報記憶回路２５では、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆを読み出す。このフィルタ係数ｋ＿ｒｅｆは、プリフィルタ制御回路２７へ入力される。なお、上記フィルタ係数ｋ＿ｒｅｆを読み出す場合には、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ｒｅｆとして読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路２５へ動きベクトル信号ＭＶを入力する必要はない。
【００３５】
プリフィルタ制御回路２７は、上記符号化難易度ｄとフィルタ係数ｋ＿ｒｅｆが入力されると、これらに基づいて、現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｃｕｒｒｅｎｔを生成出力し、これをプリフィルタ２２へ入力する。ここで、当該プリフィルタ２２の特性は、例えば前述した図２４のような特性とする。したがって、ここでは、フィルタ係数ｋ＿ｃｕｒｒｅｎｔが小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【００３６】
なお、プリフィルタ２２の特性は、前記図２４に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【００３７】
プリフィルタ制御回路２７で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔは、また、プリフィルタ制御情報記憶回路２５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ｒｅｆ）として利用されることになる。
【００３８】
フィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算方法の例について以下に説明する。ここでは、図２に示すように入力動画像の入力順にＮフレーム毎（Ｎ≧１）のグループを作り、このグループを処理の１単位としている。以下、図３のフローチャートを用いて、プリフィルタ係数の制御について説明する。
【００３９】
図３に示すフローチャートにおいて、先ず、ステップＳＴ４０では、現在の符号化対象のフレームを含むＮフレーム間でのフィルタの制御を開始する。
【００４０】
ステップＳＴ４１では、そのＮフレーム間での符号化難易度の平均値ｄ＿ａｖｅを計算し、次のステップＳＴ４２では、そのＮフレーム間でのプリフィルタ係数の代表値ｋ＿ｇｏｐを計算する。プリフィルタ係数の代表値ｋ＿ｇｏｐは、Ｎフレーム間での符号化難易度の平均値ｄ＿ａｖｅに対して、代表的な（平均的な）プリフィルタ係数への対応が、予め経験的に決められている。ここでは、前記図２５で説明したように、符号化難易度が大きいほど、通過帯域の狭いローパスフィルタ特性を対応付けておく（すなわちｋ＿ｇｏｐが小さくなる）。上記符号化難易度の平均値ｄ＿ａｖｅとプリフィルタ係数の代表値ｋ＿ｇｏｐの対応関係は、例えば図４に示すようになる。
【００４１】
次に、ステップＳＴ４３では、１フレーム内でのフィルタの制御を開始する。
【００４２】
先ず、ステップＳＴ４４では、現在の符号化対象の小ブロックの符号化難易度ｄ（以下ｄ＿ｃｕｒｒｅｎｔとする）を読み込み、ステップＳＴ４５では、図２に示すように現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆを読み込む。
【００４３】
次に、ステップＳＴ４６では、上記符号化難易度ｄ＿ｃｕｒｒｅｎｔ  とローパスプリフィルタ係数ｋ＿ｒｅｆから現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔを計算する。
【００４４】
上記ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算例を図５に示す。この図５に示す計算例では、先ず、式（ａ）  のように、上記ｄ＿ｃｕｒｒｅｎｔとｋ＿ｇｏｐとから統計的にｋ＿ｃｕｒｒｅｎｔを仮に計算するが、ここでは、上記ｄ＿ｃｕｒｒｅｎｔが上記ｄ＿ａｖｅより大きければ、上記ｋ＿ｃｕｒｒｅｎｔは上記ｋ＿ｇｏｐよりも小さくなり（すなわち通過帯域の狭いローパスフィルタ特性となり）、逆に、上記ｄ＿ｃｕｒｒｅｎｔが上記ｄ＿ａｖｅより小さければ、上記ｋ＿ｃｕｒｒｅｎｔは上記ｋ＿ｇｏｐよりも大きくなる（すなわち通過帯域の広いローパスフィルタ特性となる）。上記符号化難易度ｄ＿ｃｕｒｒｅｎｔと上記ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔとの対応関係は、例えば図６に示すようになる。
【００４５】
この図５に示す計算例では、次に、条件（ｂ）及び条件（ｃ）のように、上記ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔと現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆとを比較する。そして、上記ｋ＿ｃｕｒｒｅｎｔとｋ＿ｒｅｆの変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。具体的には、図５に示す計算例では、条件（ｂ）  のように、上記ｋ＿ｃｕｒｒｅｎｔがｋ＿ｒｅｆのＡ倍（Ａ＞１）より大きい時は、当該ｋ＿ｃｕｒｒｅｎｔをＡ倍のｋ＿ｒｅｆへ変更する。また、条件（ｃ）  のように、上記ｋ＿ｃｕｒｒｅｎｔが上記ｋ＿ｒｅｆのＢ倍（Ｂ＜１）より小さい時は、上記ｋ＿ｃｕｒｒｅｎｔをＢ倍のｋ＿ｒｅｆへ変更する。以上のようにして、現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔを計算する。
【００４６】
図３のフローチャートに戻って、上述したステップＳＴ４６の次のステップＳＴ４７では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ４７の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ４４へ戻る。一方、このステップＳＴ４７の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ４８へ進む。
【００４７】
ステップＳＴ４８では、現在のフレームがＮフレームからなるグループの最後のフレームであるか否かの判定をする。このステップＳＴ４８の判定において、現在のフレームがＮフレームからなるグループの最後のフレームでないと判定した場合はステップＳＴ４３へ戻り、一方、現在のフレームがＮフレームからなるグループの最後のフレームであると判定した場合はステップＳＴ４９に進む。
【００４８】
このステップＳＴ４９にて、Ｎフレームからなるグループでのフィルタの制御を終了する。
【００４９】
以上のようにして、プリフィルタ制御回路２７は、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔを決定する。
【００５０】
なお、図３のフローチャートにおいて、ステップＳＴ４５，ＳＴ４６において、上記フィルタ係数ｋ＿ｒｅｆを使用する代わりに、現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆを使用しても良い。
【００５１】
この場合のプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算方法の例について、図７に示すフローチャートを用いて説明する。この図７のフローチャートにおいて前述の図３のフローチャートとの違いは、ステップＳＴ５５とステップＳＴ５６であり、それぞれ図３ではステップＳＴ４５とステップＳＴ４６に対応する。なお、この図７におけるステップＳＴ５０からステップＳＴ５４までは、図３におけるステップＳＴ４０からステップＳＴ４４の場合と同じであり、図７のステップＳＴ５７以降も図３のステップＳＴ４７以降と同じであるので、それらのステップの説明は省略する。
【００５２】
この図７のフローチャートにおいて、ステップＳＴ５５では、図２に示したように現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆを読み込む。
【００５３】
次にステップＳＴ５６では、現在の符号化対象の小ブロックの符号化難易度ｄ＿ｃｕｒｒｅｎｔと上記符号化難易度ｄ＿ｒｅｆから現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔを計算する。
【００５４】
図８には、当該ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算例を示す。この図８に示す計算例では、条件（ｄ）  と条件（ｅ）  のように、上記現在の符号化対象の小ブロックの符号化難易度ｄ＿ｃｕｒｒｅｎｔと現在の小ブロックがフレーム間予測で参照する小ブロックで使用された符号化難易度ｄ＿ｒｅｆとを比較する。そして、ｄ＿ｃｕｒｒｅｎｔとｄ＿ｒｅｆの変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。具体的には、条件（ｄ）  のように、上記ｄ＿ｃｕｒｒｅｎｔが上記ｄ＿ｒｅｆのＣ倍（Ｃ＞１）より大きい時は、当該ｄ＿ｃｕｒｒｅｎｔをＣ倍のｄ＿ｒｅｆへ変更する。また、条件（ｅ）  のように、上記ｄ＿ｃｕｒｒｅｎｔが上記ｄ＿ｒｅｆのＤ倍（Ｄ＜１）より小さい時は、当該ｄ＿ｃｕｒｒｅｎｔ  をＤ倍のｄ＿ｒｅｆ  へ変更する。以上のようにして、現在の小ブロックで使用する符号化難易度ｄ＿ｃｕｒｒｅｎｔを検査する。次に、図８の式（ｆ）  のように、上記ｄ＿ｃｕｒｒｅｎｔとｋ＿ｇｏｐとから統計的にｋ＿ｃｕｒｒｅｎｔを仮に計算する。この時の特性は、前記図６で説明したものと同様である。
【００５５】
上述した図７のフローチャートの場合、図１のプリフィルタ制御情報記憶回路２５には、過去に計算された小ブロックの符号化難易度ｄ＿ｒｅｆが記憶されていて、現在の小ブロックのブロックアドレスｍｂ＿ａｄｄｒｅｓｓと動きベクトル信号ＭＶからフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆを読み出す。
【００５６】
なお、この時、前述したように、上記符号化難易度ｄ＿ｒｅｆを読み出す場合に、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｄ＿ｒｅｆ  として読み出しても良い。この場合は、プリフィルタ制御情報記憶回路２５へ動きベクトル信号ＭＶを入力する必要がない。
【００５７】
図１に戻って、プリフィルタ２２は、現在の小ブロックに対して、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔで指定されるローパスフィルタ処理を施して、処理画像信号Ｓ２２を出力する。
【００５８】
当該処理画像信号Ｓ２２とその動きベクトル信号ＭＶは、動画像符号化回路２３へ入力され、ここで所定のフレーム間予測符号化処理が施され、符号化ビットストリームＳ２４として出力端子２８から出力される。
【００５９】
図９には、図１の動画像符号化回路２３の構成例を示す。なお、この図９には、動画像符号化回路２３の具体例として、例えばいわゆるＭＰＥＧ方式のような動き補償フレーム間予測とＤＣＴとを組み合わせたハイブリッド符号化を行うものを示している。
【００６０】
この図９において、入力端子６１には前記動きベクトル検出回路２４から入力される動きベクトル信号ＭＶが供給される。一方、入力端子５０からは、当該動画像符号化回路（ハイブリッド符号化器）２３への入力動画像信号Ｓ６５が供給される。
【００６１】
また、当該符号化回路２３の動き補償フレーム間／内予測回路５７は、画像メモリを備え、上記入力端子６１からの動きベクトル信号ＭＶに基づいて当該画像メモリから読み出した予測画像信号Ｓ６８を出力する。
【００６２】
演算器５１は、上記入力端子５０からの入力動画像信号Ｓ６５を加算信号とし、上記動き補償フレーム間／内予測回路５７からの上記予測画像信号Ｓ６８を減算信号として加算処理を行うことにより、上記入力動画像信号Ｓ６５と予測画像信号Ｓ６８の差分を計算し、当該差分を予測残差信号Ｓ６６として出力する。なお、シーンチェンジがあった時は予測を行わず、入力動画像信号Ｓ６５がそのまま取り出される。
【００６３】
次に、予測残差信号Ｓ６６（予測を行わない時は原信号）は、ＤＣＴ回路５２に送られる。このＤＣＴ回路５２では上記予測残差信号Ｓ６６に対して２次元ＤＣＴを施す。このＤＣＴ回路５２から出力されたＤＣＴ係数は、量子化回路５３にてスカラー量子化される。この量子化回路５３の量子化出力信号は、可変長符号化（ＶＬＣ）回路５８と逆量子化回路５４とに送られる。ＶＬＣ回路５８では、上記量子化出力信号に対して例えばハフマン符号化を施す。このＶＬＣ回路５８の出力信号はバッファメモリ５９に送られる。当該バッファメモリ５９では出力端子６０から伝送路に出力するデータ列のビットレートを平滑化する。また、当該バッファメモリ５９がオーバーフローしそうになった時には、そのことを量子化制御情報として量子化回路５３にフィードバックする。このとき、量子化回路５３では量子化ステップを大きくし、これにより量子化回路５３から出力される情報量が小さくなされる。
【００６４】
一方、逆量子化回路５４では、量子化回路５３より供給される量子化ステップ情報ｑ＿ｓｔｅｐ  に対応して、上記量子化出力信号に逆量子化処理を施す。当該逆量子化回路５４の出力は、逆ＤＣＴ回路５５に入力され、ここで逆ＤＣＴ処理されて復号された予測残差信号Ｓ６７が、演算器５６へ入力される。
【００６５】
また、この演算器５６には、演算器５１に供給されている予測画像信号Ｓ６８と同一の信号が供給されている。演算器５６は、上記予測残差信号Ｓ６７に予測画像信号Ｓ６８を加算する。これにより、局所復号した画像信号が得られる。この画像信号は、受信側での出力画像と同じ信号である。
【００６６】
次に、図１０には、図１の符号化難易度測定回路２６の構成例を示す。この図１０の構成は、基本的には図９で説明した動画像符号化回路と同じであり、異なる点は、量子化回路７３で固定の量子化スケールが使用される点と、ＶＬＣ回路７８からの発生符号量についてバッファメモリの占有量の管理をしない点である。すなわち、ＶＬＣ回路７８からの発生符号量は、カウンタ７９にて、小ブロック毎にビット量が数えあげられ、符号化難易度ｄが出力端子８０から出力される。なお、他の図９と同じ構成要素の説明については省略する。
【００６７】
以上のような構成の動画像符号化装置では、入力動画像信号Ｓ３０の現在の符号化対象となっているフレームを、少なくとも１画素からなる小ブロックに分割し、この小ブロック単位に符号化難易度（動画像符号化装置の発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータ）を計算し、当該現在の符号化対象の小ブロックに対してローパスプリフィルタ処理を施す場合に、現在の小ブロックの符号化難易度と現在の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報とに基づいて適応的にローパスプリフィルタの特性を決定し、この特性によりローパスプリフィルタ処理した動画像信号に対して符号化処理を施す。
【００６８】
すなわち、本発明の第１の構成例の動画像符号化装置では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を決定する場合に、現在の符号化対象の小ブロックの符号化難易度とともに、フレーム間予測で参照される小ブロックで使われたプリフィルタ制御情報を合わせて考慮している。具体的には、先ず第１段階として、視覚特性を考慮して、局所的に速い動きや複雑な絵柄であって符号化難易度の大きい部分では、通過帯域の比較的狭いローパスフィルタを選択し、一方、遅い動きや平坦な絵柄であって符号化難易度の小さい部分では、通過帯域の比較的広いローパスフィルタを選択するようにしている。次に第２段階として、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報を考慮して、フレーム間予測符号化効率が低下しないように、第１段階で選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしている。これにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとなる。
【００６９】
次に、本発明の第２の構成例の動画像符号化装置を図１１に示す。
【００７０】
この図１１に示す第２の構成例において、上述した第１の構成例の動画像符号化装置との大きな違いは、プリフィルタ制御回路９７に入力する符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）として、動きベクトル検出回路９６から出力される予測残差、すなわち前述の式（１）  で計算される、現在のブロックの信号Ａｉｊと任意の動きベクトルにより参照されるブロックの信号Ｆｉｊの差の絶対値の和Ｅｆ  を用いている点である。
【００７１】
この図１１において、入力端子９０から入力されるディジタル動画像信号Ｓ１００は、フレームメモリ群９１に送られ、記憶される。このフレームメモリ群９１に記憶された画像データＳ１０３を用いて、動きベクトル検出回路９６は、フレーム間の動きベクトルを前記第１の構成例で説明したように検出する。そして、動きベクトル検出回路９６は、入力画像の小ブロック毎に動きベクトル信号ＭＶと上述の式（１）から計算される予測残差Ｅｆを計算する。当該予測残差Ｅｆは、その小ブロックの符号化難易度ｄとして、動きベクトル検出回路９６から出力される。
【００７２】
プリフィルタ制御回路９７へは、現在の符号化対象の小ブロックの符号化難易度ｄが入力される。また、プリフィルタ制御情報記憶回路９５には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路９５には、現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓと現在の小ブロックの動きベクトル信号ＭＶが入力され、このプリフィルタ制御情報記憶回路９５では、これらに基づいて現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｒｅｆを読み出し、これをプリフィルタ制御回路９７へ入力する。なお、フィルタ係数ｋ＿ｒｅｆを読み出す場合は、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｋ＿ｒｅｆとして読み出しても良い。この場合は、プリフィルタ制御情報記憶回路９５へ動きベクトル信号ＭＶを入力する必要はない。
【００７３】
プリフィルタ制御回路９７は、上記符号化難易度ｄとフィルタ係数ｋ＿ｒｅｆが入力されると、これらの基づいて現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｃｕｒｒｅｎｔを生成出力し、これをプリフィルタ回路９２へ入力する。ここで、当該プリフィルタ回路９７の特性は、例えば前述した図２４のような特性とする。したがって、ここでは、上記フィルタ係数ｋ＿ｃｕｒｒｅｎｔが小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【００７４】
なお、プリフィルタ９２の特性は、図２４に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【００７５】
プリフィルタ制御回路９７で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔは、また、プリフィルタ制御情報記憶回路９５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値ｋ＿ｒｅｆとして利用されることになる。
【００７６】
フィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算方法の例は、第１の構成例において図５を用いて説明した方法と同様である。
【００７７】
プリフィルタ回路９２は、現在の小ブロックに対して、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔで指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１０２を出力する。
【００７８】
当該処理画像信号Ｓ１０２とその動きベクトル信号ＭＶは、動画像符号化回路９３へ入力され、所定のフレーム間予測符号化処理（例えばいわゆるＭＰＥＧ方式の符号化処理）が施され、この符号化ビットストリームＳ１０４が出力端子９８から出力される。動画像符号化回路９３の構成は、第１の構成例において図９を用いて説明したものと同様である。
【００７９】
このような構成の動画像符号化装置では、プリフィルタ制御回路９７に入力する符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）として、動きベクトル検出回路９６から出力される予測残差、すなわち、現在のブロックの信号Ａｉｊと任意の動きベクトルにより参照されるブロックの信号Ｆｉｊの差の絶対値の和Ｅｆ  を用いることにより、フレーム間予測符号化効率が低下しないように、選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。これにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることできる。
【００８０】
なお、特開平６−２２５２７６号公報に開示されている動画像符号化におけるプリフィルタ制御方法及び装置も、入力画像信号に対してプリフィルタ処理を行うようにしているが、この公報記載の技術は、１画面内でプリフィルタ係数を変えることは行っておらず画面内では一定で、また複数フレーム単位でフィルタ係数を一定にしている。
【００８１】
これに対して、上述のような第１の構成例や第２の構成例の画像符号化装置では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を、画面を分割する小ブロック単位の符号化難易度ｄに応じて適応的に変更可能としているので、視覚特性を考慮して、画面内の局所的に速い動きや複雑な絵柄であり符号化難易度の大きい部分では通過帯域の比較的狭いローパスフィルタを選択でき、一方、遅い動きや平坦な絵柄であり符号化難易度の小さい部分では通過帯域の比較的広いローパスフィルタを選択できる。さらにこの小ブロック単位のプリフィルタ係数を決定する場合には、上記小ブロックの符号化難易度ｄだけでなく、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報をも合わせて考慮しており、フレーム間予測符号化効率が低下しないように、上述のように選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしているので、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることできる。
【００８２】
ところで、ＭＰＥＧ方式などで用いられているフレーム間予測符号化では、図１２に示すように予測を行わないで内部符号化するＩピクチャと、順方向予測のみを行うＢピクチャと、双方向予測を行うＢピクチャがあり、一般に、これらの画像間では符号化難易度のダイナミックレンジや小ブロック毎の符号化難易度の分布が異なっている。ＭＰＥＧ方式では、このように符号化難易度の特性の異なる画像が連続しているため、全入力画像の符号化難易度に従ってローパスフィルタ処理のフィルタ特性を決定すると、時間的に近接する画像間でフィルタ特性が極端に異なることに起因する主観的画質の劣化が生じる可能性がある。
【００８３】
上述の第１及び第２の構成例により説明した実施の形態においては、入力画像の小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、ローパスフィルタ処理のフィルタ特性を決定しているが、内部符号化を行うＩピクチャや、フィルタ特性の参照画像との間にＢピクチャが存在するＰピクチャ及び時間的に連続する画像間のフィルタ特性に関して考慮していない。
【００８４】
また、フレーム間予測を行う画像において、予測を行わずに内部符号化を行う小ブロックが存在することがあるため、同一画像内においても、空間的に近接する小ブロックと比較して、極端に符号化難易度の高い小ブロックが存在することがある。
【００８５】
このような画像に対して、小ブロック毎の符号化難易度に従って適応的にローパスフィルタ処理のフィルタ特性を決定すると、時間的／空間的に局所的にローパスの通過帯域の異なる小ブロックが存在することになり、主観的画質の劣化が生じる可能性がある。
【００８６】
そこで、図１３に示す本発明の第３の構成例の動画像符号化装置では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を決定する場合に、入力動画像信号Ｓ３０の現在の符号化対象となっているフレームを、少なくとも１画素からなる小ブロックに分割し、現在の符号化対象の画像がフィルタ特性画像であるか非フィルタ特性画像であるかの判定を行い、現在の小ブロックのプリフィルタ情報とともに、フレーム間予測で参照される小ブロックで使われたプリフィルタ制御情報及び時間的に近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタ制御情報を合わせて考慮している。
【００８７】
具体的には、先ず第１段階として、ＭＰＥＧ方式における、Ｉ、Ｐ、Ｂピクチャなどの符号化タイプによって符号化難易度が異なることを考慮して、特定の符号化タイプの入力画像をフィルタ特性画像として判定し、それ以外の符号化タイプの画像を非フィルタ特性画像として判定する。ここで、例えばフィルタ特性画像にはＰピクチャを用い、非フィルタ特性画像にはＩ、Ｂピクチャを用いる。
【００８８】
入力画像をフィルタ特性画像として判定した場合は所定の方法で当該画像の小ブロック毎の符号化難易度を計算し、所定の方法で当該画像内で当該符号化難易度を平滑化する。
【００８９】
第２段階として視覚特性を考慮して、局所的に速い動きや複雑な絵柄であるために符号化難易度の大きい小ブロックでは、通過帯域の比較的狭いローパスフィルタを選択し、一方、遅い動きや平坦な絵柄であるために符号化難易度の小さい小ブロックでは、通過帯域の比較的広いローパスフィルタを選択するようにしている。更に、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報を考慮し、主観的に画質が劣化せず、かつ、フレーム間予測符号化効率が低下しないように、選択されたフィルタ特性を修正して、現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。
【００９０】
非フィルタ特性画像の場合は、第２段階として現在の符号化対象の小ブロックがフレーム間予測で参照する過去参照画像の小ブロックで使われたプリフィルタ制御情報と未来参照画像の小ブロックで使われたプリフィルタ制御情報から所定の方法で内挿補間を行い当該画像の小ブロックのプリフィルタ特性を算出する。更に、時間的に近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタの制御情報を考慮して、主観的に画質が劣化せず、かつ、フレーム間予測符号化効率が低下しないように、算出したフィルタ特性を修正して、現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。
【００９１】
ここで、非フィルタ特性画像が予測を用いない内部符号化画像、例えばＭＰＥＧ方式におけるＩピクチャである場合には、時間的に前後するＰピクチャの空間的に同じ位置の小ブロックのプリフィルタ制御情報に基づいて内挿補間を行い、現在の符号化対象の小ブロックのプリフィルタ特性を決定する。
【００９２】
これらにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとなる。
【００９３】
この図１３に示す本発明の第３の構成例の動画像符号化装置において、入力端子１２０から入力されるディジタル動画像信号Ｓ３０は、フレームメモリ群１２１に送られ、記憶される。
【００９４】
ＭＰＥＧ方式においては、予測符号化を行う際に、双方向予測を行うことから、図１４（ａ），（ｂ）に示すように画像の入力順序と符号化順序が異なるため、フレームメモリ群２１では符号化順序に従って入力画像の順序入替えを行う。
【００９５】
このフレームメモリ群１２１に記憶された画像データＳ２３を用いて、動きベクトル検出回路１２４は、フレーム間の動きベクトルを検出する。具体的に言うと、動きベクトル検出回路１２４では、フレームを小ブロックに分割し、この小ブロック単位に動きベクトルＭＶを計算する。ここで、小ブロックは例えば１６画素×１６ラインで構成されており、動きベクトル検出は例えば参照フレームと現在の小ブロックとのパターンマッチングで行う。すなわち、上述の式（１）  により、現在の小ブロックの信号Ａｉｊと、任意の動きベクトルにより参照される小ブロックの信号Ｆｉｊの差の絶対値の和Ｅｆ  を求める。
【００９６】
動きベクトル検出回路１２４は、上記Ｅｆ  の値が最小となる動きベクトルを動きベクトル信号ＭＶとして出力する。
【００９７】
画像処理タイプ判定回路１２８では、入力された画像データＳ２３のピクチャータイプによって、出力する回路切替え信号ｐｉｃｔ＿ｔｙｐｅ  の内容を変え、以降の処理を変える。
【００９８】
画像データＳ２３がフィルタ特性画像として用いる画像、例えばＰピクチャ、であったならば、画像データＳ２３を符号化難易度参照回路１２６に入力し、回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）を動きベクトル検出回路１２４及びプリフィルタ制御情報記憶回路１２５に入力する。
【００９９】
回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）を入力された動きベクトル検出回路１２４では、動きベクトル信号ＭＶを動画像符号化回路１２３、プリフィルタ制御情報記憶回路１２５及び符号化難易度測定回路１２６に入力する。
【０１００】
画像データＳ２３と動きベクトル信号ＭＶを入力された符号化難易度測定回路１２６では、入力画像の小ブロック毎に、その符号化難易度ｄ（ｄ＿ｒａｗ）  を計算する。
【０１０１】
この第３の構成例での符号化難易度ｄ（ｄ＿ｒａｗ）  、後述する動画像符号化回路１２３での発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータである。符号化難易度測定回路１２６の具体的な構成例については、後述する。
【０１０２】
符号化難易度平滑化回路１２９では、近接する小ブロック間で、フィルタ係数が極端に異なることを避けるために、入力したｄ（ｄ＿ｒａｗ）  をフレーム内で平滑化し、平滑化符号化難易度情報ｄ（ｄ＿ｃｕｒｒｅｎｔ）  を計算する。符号化難易度平滑化回路１２９では、横方向にｉ番目、縱方向にｊ番目の現在の符号化対象の小ブロックの符号化難易度をｄ（ｉ，ｊ）としたとき、  例えば次の式（２）
ｄ（ｄ＿ｃｕｒｒｅｎｔ）＝｛ｄ（ｉ−１，ｊ−１）＋ｄ（ｉ，ｊ−１）＋ｄ（ｉ−１，ｊ＋１）＋ｄ（ｉ−１，ｊ）    ＋ｄ（ｉ，ｊ）    ＋ｄ（ｉ＋１，ｊ）＋ｄ（ｉ−１，ｊ＋１）＋ｄ（ｉ，ｊ＋１）＋ｄ（ｉ＋１，ｊ＋１）｝／９      （２）
により平滑化を行う。
【０１０３】
次に、プリフィルタ制御回路１２７へは、上述のように求めた現在の符号化対象の小ブロックの符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）  が入力される。
【０１０４】
また、プリフィルタ制御情報記憶回路１２５には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。
【０１０５】
ここで、このプリフィルタ制御情報記憶回路１２５には、現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  と現在の小ブロックの動きベクトル信号ＭＶ及び回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）が入力され、それらに基づいて、このプリフィルタ制御情報記憶回路１２５では、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（１）を読み出し、プリフィルタ制御回路１２７へ入力する。
【０１０６】
なお、上記フレーム間予測で参照する小ブロックのフィルタ係数ｋ＿ｒｅｆ（１）を読み出す場合には、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓの  位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ｒｅｆ（１）として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路１２５へ動きベクトル信号ＭＶを入力する必要はない。
【０１０７】
プリフィルタ制御回路１２７は、上記符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）  とフィルタ係数ｋ＿ｒｅｆ（１）が入力されると、これらに基づいて、現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力し、これをプリフィルタ１２２へ入力する。
【０１０８】
プリフィルタ制御回路１２７で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  は、また、プリフィルタ制御情報記憶回路２５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ｒｅｆ）  として利用されることになる。
【０１０９】
次に、画像データＳ２３が非フィルタ特性画像、例えばＭＰＥＧ方式におけるＩ、Ｂピクチャ、であったならば、画像処理タイプ判定回路１２８は現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  をプリフィルタ制御情報記憶回路１２５に入力し、回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（２）を動きベクトル検出回路１２４及びプリフィルタ制御情報記憶回路１２５に入力する。
【０１１０】
回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（２）を入力された動きベクトル検出回路１２４では、動きベクトル信号ＭＶを動画像符号化回路１２３及びプリフィルタ制御情報記憶回路１２５に入力する。
【０１１１】
現在の小ブロックのブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  と現在の小ブロックの動きベクトルＭＶを入力されたプリフィルタ制御情報記憶回路１２５は現在の小ブロックがフレーム間予測で参照する未来参照画像と過去参照画像の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）と時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（４）を読み出し、内挿補間回路１３０に入力する。
【０１１２】
なお、上記フィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）を読み出す場合には、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路１２５へ動きベクトル信号ＭＶを入力する必要はない。
【０１１３】
現在の小ブロックのパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）、ｋ＿ｒｅｆ（４）を入力された内挿補間回路１３０は、過去参照画像のフィルタ係数ｋ＿ｒｅｆ（２）と未来参照画像のフィルタ係数ｋ＿ｒｅｆ（３）を基に内挿補間を行い、更に時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ｒｅｆ（４）を用いて現在の小ブロックのフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力し、これをプリフィルタ１２２へ入力する。
【０１１４】
ここで、現在の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたフィルタ係数ｋ＿ｒｅｆ（４）を用いず、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたフィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）のみを読み出して現在の小ブロックのフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力すようにしても良い。
【０１１５】
また、非フィルタ特性画像が例えばＭＰＥＧ方式のＩピクチャーのように、フレーム間予測を行わない画像であった場合には、時間的に前後するフィルタ特性画像の空間的に同じ位置の小ブロックのフィルタ係数を過去参照画像のフィルタ係数ｋ＿ｒｅｆ（２）と未来参照画像のフィルタ係数ｋ＿ｒｅｆ（３）として読み出し、内挿補間を行う。この場合は時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ｒｅｆ（４）は用いない。
【０１１６】
内挿補間回路で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  は、また、プリフィルタ制御情報記憶回路１２５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ｒｅｆ  ）として利用されることになる。
【０１１７】
以上のようにして、適応的にプリフィルタ１２２のフィルタ係数を決定し、符号化画質の主観的印象が良く、かつ符号化効率の良い符号化方式を実現する。
【０１１８】
ここで、当該プリフィルタ１２２の特性は、例えば上述の図２５のような特性とする。したがって、ここでは、フィルタ係数ｋ＿ｃｕｒｒｅｎｔ  が小さいほど、通過帯域の狭いローパスフィルタ特性となる。また、プリフィルタ１２２は、上述の図２４に示した特性のローパスフィルタやこれ以外の特性をもつローパスフィルタを用いることができる。
【０１１９】
フィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算方法の例について以下に説明する。ここでは、図１５に示すように入力動画像の入力順に、フィルタ特性画像、非フィルタ特性画像の双方を含むＮフレーム毎（Ｎ≧１）のグループを作り、このグループを処理の１単位としている。図１６のフローチャートを用いて、プリフィルタ係数の制御について説明する。
【０１２０】
図１６のフローチャートにおいて、先ず、ステップＳＴ１４０では、現在の符号化対象のフレームを含むＮフレーム間でのフィルタの制御を開始する。
【０１２１】
ステップＳＴ１４１では、そのＮフレーム間でのフィルタ特性画像の符号化難易度の平均値ｄ＿ａｖｅ  を計算し、次のステップＳＴ４２では、そのＮフレーム間でのプリフィルタ係数の代表値ｋ＿ｇｏｐ  を計算する。プリフィルタ係数の代表値ｋ＿ｇｏｐ  は、Ｎフレーム間での符号化難易度の平均値ｄ＿ａｖｅ  に対して、代表的な（平均的な）プリフィルタ係数への対応が、予め経験的に決められている。ここでは、上述の図２５に示したように、符号化難易度が大きいほど、通過帯域の狭いローパスフィルタ特性を対応付けておく（すなわちｋ＿ｇｏｐ  が小さくなる）。上記符号化難易度の平均値ｄ＿ａｖｅ  とプリフィルタ係数の代表値ｋ＿ｇｏｐ  の対応関係は、例えば上述の図６に示すようになる。
【０１２２】
次に、ステップＳＴ１４３では、現在符号化対象フレームがフィルタ特性画像であるか、非フィルタ特性画像であるかの判定を行う。フィルタ特性画像であるならば、ステップＳＴ１４４へ進み、非フィルタ特性画像であるならば、ステップＳＴ１５１に移る。
【０１２３】
ステップＳＴ１４４では、フィルタ特性画像の１フレーム内でのフィルタの制御を開始する。先ず、ステップＳＴ１４５では、現在の符号化対象の小ブロックの平滑化した符号化難易度ｄ（以下ｄ＿ｃｕｒｒｅｎｔ  とする）を読み込み、ステップＳＴ１４６では、図１５（ａ）に示すように現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆ（１）を読み込む。
【０１２４】
次に、ステップＳＴ１４７では、上記符号化難易度ｄ＿ｃｕｒｒｅｎｔ  とローパスプリフィルタ係数ｋ＿ｒｅｆ（１）から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を例えば上述の図７に示した計算例と同様に計算する。
【０１２５】
次のステップＳＴ１４８では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ１４８の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ１４５へ戻る。一方、このステップＳＴ１４８の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ１４９へ進む。
【０１２６】
ステップＳＴ１４９では、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像であるか否かの判定をする。このステップＳＴ１４９の判定において、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像でないと判定した場合はステップＳＴ１４３へ戻り、一方、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像であると判定した場合はステップＳＴ１５０に進む。
【０１２７】
ステップＳＴ１５１では、非フィルタ特性画像の１フレーム内でのフィルタの制御を開始する。先ず、ステップＳＴ１５２では、図１５（ｂ）に示すように現在の小ブロックがフレーム間予測で参照する、過去参照画像と未来参照画像の小ブロックで各々使用されたローパスプリフィルタ係数ｋ＿ｒｅｆ（２）とｋ＿ｒｅｆ（３）を読み込み、ステップＳＴ１５３では、図１５（ｂ）に示すように時間的に近接するフレームの空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆ（４）を読み込む次に、ステップＳＴ５４では、上記フィルタ係数ｋ＿ｒｅｆ（２）とｋ＿ｒｅｆ（３）とｋ＿ｒｅｆ（４）から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔを計算する。
【０１２８】
図１７に上記ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算例を示す。現在の符号化対象画像と過去参照画像、未来参照画像が図１５（ｂ）に示すような位置関係である場合、図１７に示す計算例では、先ず、式（ｇ）  のように、上記ｋ＿ｒｅｆ（２）とｋ＿ｒｅｆ（３）からｋ＿ｃｕｒｒｅｎｔ  を各々の画像の距離に従った内挿補間によって計算する。次に、条件（ｈ）及び条件（ｉ）のように、現在の符号化対象画像の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆ（４）とを比較する。そして、上記ｋ＿ｃｕｒｒｅｎｔ  とｋ＿ｒｅｆ（４）の変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。
【０１２９】
具体的には、図１７に示す計算例では、条件（ｈ）  のように、上記ｋ＿ｃｕｒｒｅｎｔ  がｋ＿ｒｅｆ（４）のＥ倍（Ｅ＞１）より大きい時は、当該ｋ＿ｃｕｒｒｅｎｔ  をＥ倍のｋ＿ｒｅｆ（４）へ変更する。また、条件（ｉ）  のように、上記ｋ＿ｃｕｒｒｅｎｔ  が上記ｋ＿ｒｅｆ（４）のＦ倍（Ｄ＜１）より小さい時は、上記ｋ＿ｃｕｒｒｅｎｔ  をＦ倍のｋ＿ｒｅｆ（４）へ変更する。以上のようにして、現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を決定する。
【０１３０】
また、非フィルタ特性画像がＩピクチャである場合は、過去参照画像の同じ位置の小ブロックで使用したローパスフィルタ係数をｋ＿ｒｅｆ（２）とし、未来参照画像の同じ位置の小ブロックで使用したローパスフィルタ係数をｋ＿ｒｅｆ（３）として同様に計算する。
【０１３１】
図１６のフローチャートに戻って、上述したステップＳＴ１５４の次のステップＳＴ１５５では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ１５５の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ１５２へ戻る。一方、このステップＳＴ１５５の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ１５６へ進む。
【０１３２】
ステップＳＴ１５６では、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像であるか否かの判定をする。このステップＳＴ１５６の判定において、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像でないと判定した場合はステップＳＴ１５６へ戻り、一方、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像であると判定した場合はステップＳＴ１５０に進む。
【０１３３】
このステップＳＴ１５０にて、Ｎフレームからなるグループでのフィルタの制御を終了する。
【０１３４】
以上のようにして、プリフィルタ制御回路１２７及び、内挿補間回路１３０では、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を決定する。
【０１３５】
なお、図１６のステップＳＴ１４６，ＳＴ１４７，ＳＴ１５２，ＳＴ１５３，ＳＴ１５４において、上記フィルタ係数ｋ＿ｒｅｆ（１），ｋ＿ｒｅｆ（２），ｋ＿ｒｅｆ（３），ｋ＿ｒｅｆ（４）を使用する代わりに、現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆ（１），ｄ＿ｒｅｆ（２），ｄ＿ｒｅｆ（３），ｄ＿ｒｅｆ（４）を使用しても良い。
【０１３６】
なお、この場合は、像処理タイプ判定回路１２８において入力画像を非フィルタ特性画像と判定した場合でも画像データＳ１２３を符号化難易度測定回路１２６に入力し、動きベクトル検出回路１２４から動きベクトル信号ＭＶを符号化難易度測定回路１２６に入力して符号化難易度ｄ＿ｒｅｆ（４）を計算する必要がある。
【０１３７】
この場合のプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算方法の例について、図１８を用いて説明する。この図１８において前述の図１６のフローチャートとの違いは、ステップＳＴ１６４，ＳＴ１６５，ＳＴ１７０，ＳＴ１７１，ＳＴ１７２であり、それぞれ図１６ではステップＳＴ１４５，ＳＴ１４７，ＳＴ１５２，ＳＴ１５３，ＳＴ１５４に対応する。なお、この図１８のステップＳＴ１５８〜ＳＴ１６３，ステップＳＴ１６６〜ＳＴ１６９，ステップＳＴ１７２以降は各々、図１６のステップＳＴ１４０〜ＳＴ１４５，ステップＳＴ１４８〜ステップＳＴ１５１，ステップＳＴ１５５以降と同じであるので、それらのステップの説明は省略する。
【０１３８】
この図１８において、ステップＳＴ１６４では、図１５（ａ）に示したように現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆ（１）を読み込む。次にステップＳＴ１６５では、現在の符号化対象の小ブロックの符号化難易度ｄ＿ｃｕｒｒｅｎｔ  と上記符号化難易度ｄ＿ｒｅｆ（１）から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を例えば上述の図８に示した計算例と同様に計算する。
【０１３９】
また、ステップＳＴ７０では、図１５（ｂ）に示すように現在の小ブロックがフレーム間予測で参照する、過去参照画像と未来参照画像の小ブロックで各々使用された符号化難易度ｄ＿ｒｅｆ（２）とｄ＿ｒｅｆ（３）を読み込み、ステップＳＴ５３では、図１５（ｂ）に示すように時間的に近接するフレームの空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ｒｅｆ（４）を読み込む。
【０１４０】
図１９には上記ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算例を示す。現在の符号化対象画像と過去参照画像、未来参照画像が図１５（ｂ）に示すような位置関係である場合、図１９に示す計算例においては、先ず、式（ｊ）  のように、上記ｄ＿ｒｅｆ（２）とｄ＿ｒｅｆ（３）からｄ＿ｃｕｒｒｅｎｔを内挿補間によって計算する。次に、条件（ｋ）及び条件（ｌ）のように、現在の符号化対象画像の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックの符号化難易度係数ｄ＿ｒｅｆ（４）とを比較する。そして、上記ｄ＿ｃｕｒｒｅｎｔ  とｄ＿ｒｅｆ（４）の変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。
【０１４１】
具体的には、図１９に示す計算例では、条件（ｋ）  のように、上記ｄ＿ｃｕｒｒｅｎｔ  がｄ＿ｒｅｆ（４）のＣ倍（Ｃ＞１）より大きい時は、当該ｄ＿ｃｕｒｒｅｎｔ  をＣ倍のｄ＿ｒｅｆ（４）へ変更する。また、条件（ｌ）  のように、上記ｄ＿ｃｕｒｒｅｎｔ  が上記ｄ＿ｒｅｆ（４）のＤ倍（Ｄ＜１）より小さい時は、上記ｄ＿ｃｕｒｒｅｎｔ  をＤ倍のｄ＿ｒｅｆ（４）へ変更する。以上のようにして、現在の小ブロックの符号化難易度ｄ＿ｃｕｒｒｅｎｔ  を決定する。そして、条件（ｊ）のように上記符号化難易度ｄ＿ｃｕｒｒｅｎｔ  とｋ＿ｇｏｐから現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を計算する。
【０１４２】
また、非フィルタ特性画像がＩピクチャである場合は、過去参照画像の同じ位置の小ブロックの符号化難易度をｄ＿ｒｅｆ（２）とし、未来参照画像の同じ位置の小ブロックの符号化難易度をｄ＿ｒｅｆ（３）とする。
【０１４３】
上述した図１８のフローチャートの場合、プリフィルタ制御情報記憶回路１２５には、過去に計算された小ブロックの符号化難易度ｄ＿ｒｅｆ  が記憶されていて、現在の小ブロックのブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  と動きベクトル信号ＭＶからフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ｒｅｆ  を読み出す。
【０１４４】
なお、この時、前述したように、上記符号化難易度ｄ＿ｒｅｆ  を読み出す場合に、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｄ＿ｒｅｆとして読み出しても良い。この場合は、プリフィルタ制御情報記憶回路１２５へ動きベクトル信号ＭＶを入力する必要がない。
【０１４５】
図１３に戻って、プリフィルタ１２２は、現在の小ブロックに対して、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  で指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１２２を出力する。
【０１４６】
当該処理画像信号Ｓ２２とその動きベクトル信号ＭＶは、動画像符号化回路１２３へ入力され、ここで所定のフレーム間予測符号化処理が施され、符号化ビットストリームＳ２４として出力端子１２８から出力される。
【０１４７】
プリフィルタ１２２の構成例を図２０に示す。この図２０に示す構成例において、入力端子３００には当該プリフィルタ１２２への入力画像信号Ｓ３００が供給される。一方、入力端子３０５にはプリフィルタ制御回路１２７又は内挿補間によるプリフィルタ制御回路１３０から入力されるローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  が入力される。
【０１４８】
ここで、ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  は、０≦ｋ＿ｃｕｒｒｅｎｔ  ≦１の値を取るように定める。
【０１４９】
入力画像信号Ｓ３００は、ローパスフィルタ３０１に入力され、ここでローパスフィルタ処理される。ローパスフィルタ３０１による処理画像信号Ｓ３０１は、演算器３０２に入力される。演算器３０２は、処理画像信号Ｓ３０１と入力画像信号Ｓ３００との差分信号Ｓ３０２を出力する。ここに、
Ｓ３０２＝Ｓ３０１−Ｓ３００
である。
【０１５０】
次に、差分信号Ｓ３０２は、演算器３０３に入力される。演算器３０３は、差分信号Ｓ３０２にローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を乗算した信号Ｓ３０３を出力する。ここに、
Ｓ３０３＝Ｓ３０２×ｋ＿ｃｕｒｒｅｎｔ
である。
【０１５１】
次に、演算器３０３からの信号Ｓ３０３は、演算器３０４に入力される。演算器３０４は、信号Ｓ３０３と入力画像信号Ｓ３００との加算信号であるプリフィルタ処理画像信号Ｓ３０４を出力する。ここに、
0003551666.tif 000002
である。
【０１５２】
また、動画像符号化回路１２３には、例えば上述の図９に示した構成のものが用いられる。また、符号化難易度測定回路１２６には、例えば上述の図１０に示した構成のものが用いられる。
【０１５３】
次に、本発明の第４の構成例の動画像符号化装置を図２１に示す。
【０１５４】
この図２１に示す第４の構成例において、上述した第３の構成例の動画像符号化装置との大きな違いは、プリフィルタ制御回路１９７に入力する符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ  ）として、動きベクトル検出回路１９６から出力される予測残差、すなわち前述の式（１）  で計算される、現在のブロックの信号Ａｉｊと任意の動きベクトルにより参照されるブロックの信号Ｆｉｊの差の絶対値の和Ｅｆ  を用いている点である。
【０１５５】
この図２１において、入力端子１９０から入力されるディジタル動画像信号Ｓ１００は、フレームメモリ群１９１に送られ、記憶される。このフレームメモリ群１９１に記憶された画像データＳ１０３を用いて、動きベクトル検出回路１９６は、フレーム間の動きベクトルを前記第３の構成例で説明したにように検出する。
【０１５６】
動きベクトル検出回路１９６では、入力画像の小ブロック毎に動きベクトル信号ＭＶと上述の式（１）  から計算される予測残差Ｅｆ  を計算し、動きベクトル信号ＭＶを動画像符号化回路１９３とプリフィルタ制御情報記憶回路１９５に入力する。
【０１５７】
画像処理タイプ判定回路１９４では、入力された画像データの処理番号ｐｉｃｔ＿ｎｕｍｂｅｒより、現在処理中の画像がフィルタ特性画像であるか非フィルタ特性画像であるかの判定を行う。現在処理中の画像がフィルタ特性画像、例えばＰピクチャ、であったならば、回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）をフィルタ制御情報記憶回路１９５と動きベクトル検出回路１９６に入力する。
【０１５８】
回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）  を入力された動きベクトル検出回路９６では、予測残差Ｅｆ  を、その小ブロックの符号化難易度ｄ（ｄ＿ｒａｗ）として出力する。
【０１５９】
符号化難易度平滑化回路１０９では、近接する小ブロック間で、フィルタ係数が極端に異なることを避けるために、入力したｄ（ｄ＿ｒａｗ  ）をフレーム内で平滑化し、平滑化符号化難易度情報ｄ（ｄ＿ｃｕｒｒｅｎｔ  ）を計算する。符号化難易度平滑化回路１９９での平滑化処理は第３の構成例と同様に行う。プリフィルタ制御回路１９７へは、現在の符号化対象の小ブロックの符号化難易度ｄ（ｄ＿ｃｕｒｒｅｎｔ）  が入力される。また、プリフィルタ制御情報記憶回路１９５には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路１９５には、現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  と現在の小ブロックの動きベクトル信号ＭＶ及び、回路切替え信号ｐｉｃｔ＿ｔｙｐｅ（１）が入力される。
【０１６０】
このプリフィルタ制御情報記憶回路１９５では、これらに基づいて現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｒｅｆ（１）を読み出し、これをプリフィルタ制御回路１９７へ入力する。
【０１６１】
なお、フィルタ係数ｋ＿ｒｅｆ（１）を読み出す場合は、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｋ＿ｒｅｆ  として読み出しても良い。この場合は、プリフィルタ制御情報記憶回路１９５へ動きベクトル信号ＭＶを入力する必要はない。
【０１６２】
プリフィルタ制御回路１９７は、上記符号化難易度ｄとフィルタ係数ｋ＿ｒｅｆ（１）が入力されると、これらに基づいて現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力し、これをプリフィルタ１９２へ入力する。ここで、当該プリフィルタ１９７の特性は、例えば前述した図２４のような特性とする。したがって、ここでは、上記フィルタ係数ｋ＿ｃｕｒｒｅｎｔ  が小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【０１６３】
なお、プリフィルタ１９２の特性は、図２４に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【０１６４】
プリフィルタ制御回路１９７で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  は、また、プリフィルタ制御情報記憶回路１９５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値ｋ＿ｒｅｆ  として利用されることになる。
【０１６５】
また、画像処理タイプ判定回路１９４において、入力されたｐｉｃｔ＿ｎｕｍｂｅｒ  より、現在処理中の画像が非フィルタ特性画像、例えばＩ、Ｂピクチャ、であると判定した場合、回路切替え信号  ｐｉｃｔ＿ｔｙｐｅ（２）  をフィルタ制御情報記憶回路１９５と動きベクトル検出回路１９６に入力し、現在の小ブロックのフレーム上での位置を表すブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  をプリフィルタ制御情報記憶回路１９５と内挿補間回路２００に入力する。
【０１６６】
回路切替え信号  ｐｉｃｔ＿ｔｙｐｅ（２）  を入力された動きベクトル検出回路１９６では、予測残差Ｅｆ  の出力を行わない。
【０１６７】
現在の小ブロックのブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  と現在の小ブロックの動きベクトルＭＶ及び、回路切替え信号  ｐｉｃｔ＿ｔｙｐｅ（２）  を入力されたプリフィルタ制御情報記憶回路１９５は現在の小ブロックがフレーム間予測で参照する未来参照画像と過去参照画像の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）と時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ｒｅｆ（４）を読み出し、内挿補間回路２００に入力する。
【０１６８】
なお、上記フィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）を読み出す場合には、ブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスｍｂ＿ａｄｄｒｅｓｓ  の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ｒｅｆ（２），ｋ＿ｒｅｆ（３）として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路１９５へ動きベクトル信号ＭＶを入力する必要はない。
【０１６９】
現在の小ブロックの動きベクトル信号ＭＶ及び、パラメータとしてのフィルタ係数ｋ＿ｒｅｆ（２），ｋ＿ｒｅｆ（３），ｋ＿ｒｅｆ（４）を入力された内挿補間回路２００は、過去参照画像のフィルタ係数ｋ＿ｒｅｆ（２）と未来参照画像のフィルタ係数ｋ＿ｒｅｆ（３）を基に内挿補間を行い、更に時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ｒｅｆ（４）を用いて現在の小ブロックのフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力し、これをプリフィルタ２９２へ入力する。
【０１７０】
ここで、現在の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたフィルタ係数ｋ＿ｒｅｆ（４）を用いず、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたフィルタ係数ｋ＿ｒｅｆ（２）、ｋ＿ｒｅｆ（３）のみを読み出して現在の小ブロックのフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  を生成出力すようにしても良い。
【０１７１】
また、非フィルタ特性画像が例えばＭＰＥＧ方式のＩピクチャーのように、フレーム間予測を行わない画像であった場合には、時間的に前後するフィルタ特性画像の空間的に同じ位置の小ブロックのフィルタ係数を過去参照画像のフィルタ係数ｋ＿ｒｅｆ（２）と未来参照画像のフィルタ係数ｋ＿ｒｅｆ（３）として読み出し、内挿補間を行う。この場合は時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ｒｅｆ（４）は用いない。
【０１７２】
また、Ｉピクチャーにおいても、動き予測を行っている場合には、Ｉピクチャーもフィルタ特性画像として用いても良い。ここで、当該プリフィルタ１９２の特性は、例えば前述した図２４のような特性とする。したがって、ここでは、フィルタ係数ｋ＿ｃｕｒｒｅｎｔ  が小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【０１７３】
内挿補間回路で計算されたフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  は、また、プリフィルタ制御情報記憶回路１９５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ｒｅｆ  ）として利用されることになる。
【０１７４】
以上のようにして、適応的にプリフィルタ１９２のフィルタ係数を決定し、符号化画質の主観的印象が良く、かつ符号化効率の良い符号化方式を実現する。
【０１７５】
フィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算方法は、第１の構成例において図５を用いて説明した計算例と同様である。
【０１７６】
プリフィルタ１９２は、現在の小ブロックに対して、プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  で指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１０２を出力する。
【０１７７】
当該処理画像信号Ｓ１０２とその動きベクトル信号ＭＶは、動画像符号化回路１９３へ入力され、所定のフレーム間予測符号化処理（例えばいわゆるＭＰＥＧ方式の符号化処理）が施され、この符号化ビットストリームＳ１０４が出力端子１９８から出力される。動画像符号化回路１９３の構成は、第２の構成例において図９を用いて説明したものと同様である。
【０１７８】
このような第３の構成例の動画像符号化装置では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を、画面を分割する小ブロック単位の符号化難易度ｄに応じて適応的に変更可能としているので、視覚特性を考慮して、画面内の局所的に速い動きや複雑な絵柄であり符号化難易度の大きい部分では通過帯域の比較的狭いローパスフィルタを選択でき、一方、遅い動きや平坦な絵柄であり符号化難易度の小さい部分では通過帯域の比較的広いローパスフィルタを選択できる。
【０１７９】
また、ＭＰＥＧ方式のように画像毎に符号化難易度の異なる符号化方式を考慮し、連続する画像間で極端にプリフィルタ係数が異なることがないようにするために、符号化難易度を参照する画像を特定している。
【０１８０】
更に、第４の構成例の動画像符号化装置では、上記小ブロックの符号化難易度ｄだけでなく、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロック及び、近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタ制御情報をも合わせて考慮しており、フレーム間予測符号化効率が低下しないように、上述のように選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしているので、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることができる。
【０１８１】
ここで、上述した第１乃至第４の構成例の動画像符号化装置での符号化により得られた符号化ビットストリームは、信号記録媒体に記録されたり、伝送路を介して伝送されることになる。
【０１８２】
図２２には、信号記録媒体の一例として光ディスク７０４を用いた例について説明する。この図２２において、端子７００には、上記符号化ビットストリームと、量子化スケール等の後の復号化に必要な情報とからなるデータ列が供給される。このデータ列は、ＥＣＣエンコーダ７０１によってエラーコレクションコードが付加され、変調回路７０２に送られる。当該変調回路７０２では上記ＥＣＣエンコーダ７０１の出力に対して、所定の変調処理、例えば８−１４変調等の処理を施す。この変調回路７０２の出力は記録ヘッド７０３に送られ、当該記録ヘッド７０３にて光ディスク７０４に記録される。
【０１８３】
なお、図２２の例では、信号記録媒体として光ディスクを例に挙げたが、磁気テープ等のテープ状記録媒体や、ハードディスクやフレキシブルディスク等の磁気ディスク媒体、ＩＣカードや各種メモリ素子等の半導体記憶媒体等の信号記録媒体に対して、本発明装置にて符号化した信号を記録することも可能である。また、光ディスクとしては、ピットによる記録がなされるディスクや、光磁気ディスクの他に、相変化型光ディスクや有機色素型光ディスク、紫外線レーザ光により記録がなされる光ディスク、多層記録膜を有する光ディスク等の各種のディスクを用いることができる。
【０１８４】
【発明の効果】
以上の説明で明らかなように、本発明においては、入力動画像を少なくとも１画素からなる小ブロックに分割し、所定の方法により小ブロックの符号化難易度を計算し、この小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、当該小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することにより、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることが可能となる。すなわち、本発明によれば、フレーム間予測符号化回路の前段にプリフィルタを置く構成の動画像符号化装置において、フレームの中で部分的に、ローパスプリフィルタの特性を変更できるとともに、予測画像間でお互いの画像信号の帯域が異なることによる符号化効率の低下を小さくすることが可能である。
【０１８５】
また、本発明においては、入力動画像を少なくとも１画素からなる小ブロックに分割し、入力画像をフィルタ特性画像と非フィルタ特性画像に分類し、所定の方法によりフィルタ特性画像の小ブロックの符号化難易度を計算し、フィルタ特性画像においては、この小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、当該小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、非フィルタ特性画像においては、過去の参照画像と未来の参照画像とから所定の方法により内挿補間を用いて、当該小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を算出することにより、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることが可能となる。すなわち、本発明によれば、フレーム間予測符号化回路の前段にプリフィルタを置く構成の動画像符号化装置において、フレームの中で部分的に、ローパスプリフィルタの特性を変更できるとともに、予測画像間でお互いの画像信号の帯域が異なることによる符号化効率の低下を小さくすることが可能である。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置の第１の構成例を示すブロック回路図である。
【図２】フレームと小ブロックの関係を示す図である。
【図３】プリフィルタ制御方法の一例を示すフローチャートである。
【図４】符号化難易度の平均値ｄ＿ａｖｅとプリフィルタ係数の代表値ｋ＿ｇｏｐの対応関係を示す図である。
【図５】現在の小ブロックのフレーム間予測で参照される小ブロックで使われたプリフィルタ特性を考慮して、プリフィルタ係数を計算する一例を示す図である。
【図６】符号化難易度ｄ＿ｃｕｒｒｅｎｔとローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔとの対応関係を示す図である。
【図７】プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算方法の一例を示すフローチャートである。
【図８】ローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔの計算例を示す図である。
【図９】本発明構成例の動画像符号化装置内の動画像符号化回路の構成例を示すブロック回路図である。
【図１０】本発明構成例の動画像符号化装置内の符号化難易度測定回路の構成例を示すブロック回路図である。
【図１１】本発明の動画像符号化装置の第２の構成例を示すブロック回路図である。
【図１２】ＭＰＥＧ方式の予測構造及び各ピクチャタイプの構成を示す図である。
【図１３】本発明の動画像符号化装置の第３の構成例を示すブロック回路図である。
【図１４】ＭＰＥＧ方式における表示順序と符号化順序を示す図である。
【図１５】フィルタ特性画像と非フィルタ特性画像のフレームと小ブロックの関係を示す図である。
【図１６】プリフィルタ制御方法の一例を示すフローチャートである。
【図１７】非フィルタ特性画像において、現在の小ブロックのフレーム間予測で参照される小ブロックで使われたプリフィルタ特性を用いて内挿補間により、プリフィルタ係数を計算する一例を示す図である。
【図１８】プリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算方法の一例を示すフローチャートである。
【図１９】非フィルタ特性画像のローパスプリフィルタ係数ｋ＿ｃｕｒｒｅｎｔ  の計算例を示す図である。
【図２０】プリフィルタの構成例を示す図である。
【図２１】本発明の動画像符号化装置の第４の構成例を示すブロック回路図である。
【図２２】信号記録媒体の一例として光ディスクに符号化ビットストリームを記録するための構成を示すブロック回路図である。
【図２３】従来の動画像符号化装置の構成例を示すブロック回路図である。
【図２４】プリローパスフィルタの係数を示す図である。
【図２５】プリフィルタ係数と符号化難易度の関係を示す図である。
【符号の説明】
２１，９１，１２１，１９１  フレームメモリ群、２２，９２，１２２，１９２  プリフィルタ、２３，９３，１２３，１９３  動画像符号化回路、２４，９６，１２４，１９６  動きベクトル検出回路、２５，９５，１２５，１９５  プリフィルタ制御情報記憶回路、２６，１２６  符号化難易度測定回路、２７，９７，１２７，１９７  プリフィルタ制御回路、３０１  ローパスフィルタ、３０２，３０３，３０４  演算器
【図１】
0003551666.tif 000003
【図２】
0003551666.tif 000004
【図３】
0003551666.tif 000005
【図４】
0003551666.tif 000006
【図５】
0003551666.tif 000007
【図６】
0003551666.tif 000008
【図７】
0003551666.tif 000009
【図８】
0003551666.tif 000010
【図９】
0003551666.tif 000011
【図１０】
0003551666.tif 000012
【図１１】
0003551666.tif 000013
【図１２】
0003551666.tif 000014
【図１３】
0003551666.tif 000015
【図１４】
0003551666.tif 000016
【図１５】
0003551666.tif 000017
【図１６】
0003551666.tif 000018
【図１７】
0003551666.tif 000019
【図１８】
0003551666.tif 000020
【図１９】
0003551666.tif 000021
【図２０】
0003551666.tif 000022
【図２１】
0003551666.tif 000023
【図２２】
0003551666.tif 000024
【図２３】
0003551666.tif 000025
【図２４】
0003551666.tif 000026
【図２５】
0003551666.tif 000027