(57)【特許請求の範囲】
【請求項１】
入力画像に圧縮符号化処理及び復号処理を施す画像信号処理装置において、
入力画像にフィルタリング処理を施すフィルタ手段と、
上記フィルタ手段が行うフィルタリング処理のフィルタレベルを検出するフィルタレベル検出手段と、
上記フィルタ手段でフィルタリング処理が施された画像にブロック符号化処理を施す圧縮符号化手段と、
上記圧縮符号化手段で圧縮符号化された画像に復号処理を施す復号手段と、
上記フィルタレベルに応じて上記復号手段で復号処理が施された画像のブロック歪を少なくとも低減する処理を行うノイズ低減手段とを備え、
上記フィルタレベル検出手段は、検出したフィルタレベルを上記ノイズ低減手段に供給し、上記フィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、上記ノイズ低減手段により高い周波数帯域の小振幅のノイズを低減することを特徴とする画像信号処理装置。
【請求項２】
上記ノイズ低減手段は、画面内におけるノイズを低減し、次に画面間で発生するノイズを低減することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
画像に画質補正処理を行う画質補正手段を備え、上記画質補正手段は、上記ノイズ低減手段によりノイズ低減処理がなされた入力画像に画質補正処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
【請求項４】
上記フィルタ手段は、入力画像にフィルタリング処理を行うことで、上記復号手段で復号された画像に生ずるモスキートノイズを低減することを特徴とする請求項１に記載の画像信号処理装置。
【請求項５】
上記フィルタ手段は、入力画像を少なくとも１画素からなる小ブロックに分割する分割手段と、所定の方法により上記入力画像の小ブロックの符号化難易度を計算する計算手段と、上記入力画像の小ブロックの符号化難易度と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段とを有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項６】
上記フィルタ特性決定手段は、上記入力画像の小ブロックに使うローパスフィルタの帯域制限値と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値とを比較して比較値を求める比較手段と、上記比較値が予め決められた閾値より大きいときには当該比較値を上記閾値以内に抑えるように上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を制御する制御手段とを備えることを特徴とする請求項５に記載の画像信号処理装置。
【請求項７】
上記計算手段は、上記入力画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成する係数データ生成手段と、当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求める発生符号量生成手段とを備え、当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項５に記載の画像信号処理装置。
【請求項８】
上記計算手段は、上記入力画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求める予測残差生成手段を備え、当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項５に記載の画像信号処理装置。
【請求項９】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項５に記載の画像信号処理装置。
【請求項１０】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項６に記載の画像信号処理装置。
【請求項１１】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項５に記載の画像信号処理装置。
【請求項１２】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項６に記載の画像信号処理装置。
【請求項１３】
上記フィルタ手段は、入力画像を少なくとも１画素からなる小ブロックに分割する分割手段と、上記入力画像をフィルタ特性の参照画像とフィルタ特性の非参照画像に分類する分類手段と、上記入力画像がフィルタ特性の参照画像である場合には、所定の方法により当該入力画像の小ブロックの符号化難易度を計算する計算手段と、上記入力画像の小ブロックの符号化難易度と、当該入力画像内の全小ブロックの符号化難易度を平滑化する平滑化手段と、上記入力画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、当該入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段と、上記入力画像がフィルタ特性の非参照画像である場合には、当該入力画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたフィルタ制御情報と未来参照画像における小ブロックで使われたフィルタ制御情報と時間的に近接する画像の空間的に同じ位置の小ブロックで使われたフィルタ制御情報とに基づいて、上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定するフィルタ特性決定手段とを有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項１４】
上記フィルタ特性決定手段は、上記入力画像がフィルタ特性の参照画像である場合に、上記入力画像の小ブロックに使うローパスフィルタの帯域制限値と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値とを比較して比較値を求める比較手段と、上記比較値が予め決められた閾値より大きいときには当該比較値を上記閾値以内に抑えるように上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を制御する制御手段と、上記入力画像がフィルタ特性の非参照画像である場合に、上記入力画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値から、内挿補間によって当該入力画像の小ブロックのローパスフィルタの帯域制限値を得る内挿補間手段とを備えることを特徴とする請求項１３に記載の画像信号処理装置。
【請求項１５】
上記計算手段は、上記入力画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成する係数データ生成手段と、上記係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求める発生符号量生成手段とを備え、上記小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項１３に記載の画像信号処理装置。
【請求項１６】
上記計算手段は、上記入力画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求める予測残差生成手段を備え、上記小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項１３に記載の画像信号処理装置。
【請求項１７】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項１３に記載の画像信号処理装置。
【請求項１８】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項１４に記載の画像信号処理装置。
【請求項１９】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項１３に記載の画像信号処理装置。
【請求項２０】
上記フィルタ特性決定手段は、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックに基づいて上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することを特徴とする請求項１４に記載の画像信号処理装置。
【請求項２１】
上記ノイズ低減手段は、入力画像のエッジ成分を抽出するエッジ抽出手段と、入力画像の動きを検出する動き検出手段と、入力画像からブロック歪判定に必要なパラメータを算出するパラメータ算出手段と、上記エッジ抽出の結果、上記動き検出の結果、及び上記パラメータ演算の結果に基づいてブロック歪を判定するブロック歪判定手段と、上記ブロック歪を低減するための補正値を算出する補正値算出手段と、上記ブロック歪の判定結果に応じた上記補正値による補正を入力画像に対して施して出力する手段とを有することを特徴とする請求項１に記載の画像信号処理装置。
【請求項２２】
上記ブロック歪判定手段からの判定結果に応じて、上記補正された信号と、上記入力画像とを切り換えて出力する切換選択手段を有することを特徴とする請求項２１に記載の画像信号処理装置。
【請求項２３】
上記フィルタ手段は、輝度信号及び色信号からなる入力画像にフィルタリング処理を施し、上記ノイズ低減手段では、上記輝度信号及び上記色信号の少なくとも一方に対して上記ノイズ低減処理を施すことを特徴とする請求項１に記載の画像信号処理装置。
【請求項２４】
上記ノイズ低減手段は、入力画像の垂直方向、水平方向の少なくとも一方に対してノイズ低減処理を行うことを特徴とする請求項１に記載の画像信号処理装置。
【請求項２５】
入力画像を記録媒体に記録するとともに、記録媒体に記録された入力画像を再生する記録再生手段を備え、上記記録再生手段は、上記圧縮符号化手段で圧縮符号化された入力画像を記録媒体に記録するとともに、記録媒体に記録された圧縮符号化された入力画像を再生することを特徴とする請求項１に記載の画像信号処理装置。
【請求項２６】
上記圧縮符号化手段は、上記フィルタレベル検出手段で検出したフィルタレベルを入力画像に付加して入力画像の圧縮符号化を行い、上記記録再生手段は、上記圧縮符号化手段でフィルタレベルが付加された入力画像を記録媒体に記録することを特徴とする請求項２５に記載の画像信号処理装置。
【請求項２７】
上記フィルタレベル検出手段は、検出したフィルタレベルを上記画質補正手段に供給し、上記画質補正手段は、上記復号処理が施された入力画像に上記フィルタレベルが強い程大きな利得で画質補正処理を行うことを特徴とする請求項３に記載の画像信号処理装置。
【請求項２８】
入力画像に圧縮符号化処理及び復号処理を施す画像信号処理方法において、
入力画像にフィルタリング処理を施し、
上記フィルタリング処理におけるフィルタレベルを検出し、
上記フィルタリング処理が施された画像にブロック符号化処理を施し、
上記ブロック符号化処理が施された画像に復号処理を施し、
上記復号処理が施された画像のブロック歪を少なくとも低減するノイズ低減処理を行い、
上記ノイズ低減処理では、検出した上記フィルタリング処理におけるフィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、高い周波数帯域の小振幅のノイズを低減するノイズ低減処理を行うことを特徴とする画像信号処理方法。
【請求項２９】
上記ノイズ低減処理が行われた画像に画質補正処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項３０】
画像の画面内におけるノイズを低減し、次に画面間で発生するノイズを低減することで上記ノイズ低減処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項３１】
上記フィルタリング処理を行うことで、上記復号処理を行うことで画像に生ずるモスキートノイズを少なくとも低減することを特徴とする請求項２８に記載の画像信号処理方法。
【請求項３２】
画像を少なくとも１画素からなる小ブロックに分割し、 所定の方法により上記画像の小ブロックの符号化難易度を計算し、上記画像の小ブロックの符号化難易度と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することで上記フィルタリング処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項３３】
上記入力画像の小ブロックに使うローパスフィルタの帯域制限値と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値とを比較して比較値を求め、当該比較値が予め決められた閾値より大きいときには、当該比較値を上記閾値以内に抑えるように、上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を制御することを特徴とする請求項３２に記載の画像符号化方法。
【請求項３４】
上記入力画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成し、当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求め、当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項３２に記載の画像符号化方法。
【請求項３５】
上記入力画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求め、当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項３３に記載の画像信号処理方法。
【請求項３６】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項３２に記載の画像信号処理方法。
【請求項３７】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項３３に記載の画像信号処理方法。
【請求項３８】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項３２に記載の画像信号処理方法。
【請求項３９】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項３３に記載の画像信号処理方法。
【請求項４０】
入力画像を所定の方法により、適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照する参照画像と、適応的にローパスフィルタ処理を施す際のフィルタ特性を決定する際に参照しない非参照画像に分類し、上記入力画像を少なくとも１画素からなる小ブロックに分割し、上記入力画像がフィルタ特性の参照画像である場合は、所定の方法により計算した当該入力画像内の小ブロックの符号化難易度及び上記小ブロックに近接する同一画像内の小ブロックの符号化難易度と、上記入力画像の小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報に基づいて、上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定し、上記入力画像がフィルタ特性の非参照画像の場合は、上記入力画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックのフィルタ制御情報と、未来参照画像における小ブロックのフィルタ制御情報とに基づいて、上記入力画像の小ブロックに対して適応的にローパスフィルタ処理を施す際のフィルタ特性を決定することで上記ノイズ低減処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項４１】
上記入力画像がフィルタ特性の参照画像である場合には、上記入力画像内の全小ブロックの符号化難易度を当該入力画像内で平滑化して算出した小ブロックのローパスフィルタの帯域制限値と、当該入力画像の小ブロックが画像間予測で参照する小ブロックで使われたローパスフィルタの帯域制限値とを比較して比較値を求め、当該比較値が予め決められた閾値より大きいときには、当該比較値を上記閾値以内に抑えるように、上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を制御し、上記入力画像がフィルタ特性の非参照画像である場合には、当該入力画像の小ブロックが画像間予測で参照する過去参照画像における小ブロックで使われたローパスフィルタの帯域制限値と未来参照画像における小ブロックで使われたローパスフィルタの帯域制限値から、所定の方法で内挿補間によって上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を計算し、当該帯域制限値と当該入力画像に時間的に近接する画像の空間的に同じ位置の小ブロックで使われたローパスフィルタの帯域制限値とを比較して比較値を求め、当該比較値が予め決められた閾値より大きいときには、当該比較値を上記閾値以内に抑えるように、上記入力画像の小ブロックに使うローパスフィルタの帯域制限値を制御することを特徴とする請求項４０記載の画像信号処理方法。
【請求項４２】
上記参照画像に対して予測符号化及び／又は直交変換符号化を施して係数データを生成し、当該係数データを一定の量子化ステップで量子化することにより上記小ブロック単位の発生符号量を求め、当該小ブロック単位で求めた発生符号量を上記符号化難易度とすることを特徴とする請求項４０に記載の画像信号処理方法。
【請求項４３】
上記参照画像の画像間の動きベクトルを上記小ブロック単位で検出して予測残差を求め、当該小ブロック単位で求めた予測残差を上記符号化難易度とすることを特徴とする請求項４０に記載の画像信号処理方法。
【請求項４４】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項４０に記載の画像信号処理方法。
【請求項４５】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックの動きベクトルにより参照される位置にある小ブロックであることを特徴とする請求項４１に記載の画像信号処理方法。
【請求項４６】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項４０に記載の画像信号処理方法。
【請求項４７】
上記入力画像の小ブロックが画像間予測で参照する小ブロックは、フレーム間予測で参照されるフレーム上において上記入力画像の小ブロックと同じ空間的位置にある小ブロックであることを特徴とする請求項４１に記載の画像信号処理方法。
【請求項４８】
上記決定されたフィルタ特性でローパスフィルタ処理された画像信号に対し、符号化処理を施すことを特徴とする請求項４０に記載の画像信号処理方法。
【請求項４９】
入力画像のエッジ成分を抽出し、上記入力画像の動きを検出し、上記入力画像からブロック歪判定に必要なパラメータを演算し、上記エッジ抽出の結果、上記動き検出の結果、及び上記パラメータ演算の結果に基づいてブロック歪を判定し、上記ブロック歪を低減するための補正値を算出し、上記ブロック歪の判定結果に応じた上記補正値による補正を上記入力画像に対して施して出力することで上記ノイズ低減処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項５０】
上記ブロック歪を判定するときには、ブロック歪の複数段階の強さを判定し、判定された強さに応じた補正量で補正を行わせることを特徴とする請求項４９に記載の画像信号処理方法。
【請求項５１】
上記入力画像が輝度信号及び色信号からなり、上記輝度信号及び上記色信号の少なくとも一方に対して上記ノイズ低減処理を施すことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項５２】
上記ノイズ低減処理は、画像の垂直方向、水平方向の少なくとも一方に対してノイズ低減処理を行うことを特徴とする請求項２８に記載の画像信号処理方法。
【請求項５３】
上記符号化処理された入力画像を記録媒体に記録し、記録媒体に記録された圧縮符号化された入力画像を再生することを特徴とする請求項２８に記載の画像信号処理方法。
【請求項５４】
上記復号処理が施された入力画像に、検出したフィルタレベルが強い程大きな利得で、上記画質補正処理を行うことを特徴とする請求項２９に記載の画像信号処理方法。
【請求項５５】
検出したフィルタレベルを入力画像に付加して画像の圧縮符号化を行い、フィルタレベルが付加された画像を記録媒体に記録することを特徴とする請求項２８に記載の画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像信号及び静止画像信号を、例えば光ディスクや磁気テープ等の記録媒体に記録再生したり、テレビ会議システム、テレビ電話システムや放送機器等、動画像信号及び静止画像信号を転送路を介して送信側から受信側に伝送する場合等に用いて好適な画像信号処理装置及び画像信号処理方法に関する。
【０００２】
【従来の技術】
従来、静止画データや動画像データ等を効率よく圧縮符号化するための符号化方式として、ブロックＤＣＴ（離散コサイン変換）符号化等のブロック符号化が知られている。
【０００３】
このように符号化による画像データ等の圧縮／伸張の際には、リンギングノイズ（モスキートノイズ）やブロック歪が発生することがあり、圧縮率が高くなるほどノイズを発生させ易い。また、このノイズは、入力される画像データが複雑であるほど生じさせ易い。この結果、圧縮／伸張された画像データが示す画像には、ノイズによる劣化が生ずるという不都合が生ずる。
【０００４】
このような圧縮／伸張の際に生ずる画像データのノイズによる画像劣化を少なくするために、従来では、例えばＬＰＦ（ローパスフィルタ）等のプリフィルタを使用し、符号化を行う前の入力画像を示す画像データに対してフィルタリング処理を施すことが多い。
【０００５】
図４４は、上記プリフィルタを使用する従来の動画像信号の符号化装置の一例である。
【０００６】
図４４に示す符号化装置では、端子２０１から入力されるディジタル動画像信号は、プリフィルタ回路２０２でフィルタリング処理される。このフィルタリング処理がなされた処理画像信号Ｓ２１１は、符号化回路２０５へ入力される。
【０００７】
符号化回路２０５は、動き補償フレーム間予測とＤＣＴ等の変換符号化を組み合わせたハイブリッド符号化方法を用いてディジタル動画像信号に符号化処理を施すものである。すなわち、符号化回路２０５は、入力信号Ｓ２１１に対してフレーム間／内適応予測を施し、演算器２０６にて予測誤差信号にＤＣＴを施す。そして、量子化器２０８にて、上記計算されたＤＣＴ係数を量子化し、符号化出力信号Ｓ２１５を端子２２０から出力する。ここで、量子化器２０８は、出力信号Ｓ２１５のビットレートが一定となるような量子化ステップサイズを決定している。
【０００８】
一方、出力信号Ｓ２１５は、逆量子化器２０９にて逆量子化された後、逆ＤＣＴ器２１０にて逆ＤＣＴ処理され予測誤差信号が復元され、さらに演算器２１１にて当該予測誤差信号に予測画像信号が加算されて局部復号がなされる。この加算により得られた復号画像信号Ｓ２１３がフレームメモリ２１２へ記憶される。
【０００９】
一般に、符号化回路２０５では、入力動画像の絵柄が複雑だったり、動きが大きい程、フレーム間差分信号Ｓ２１２が大きくなる。このとき、符号化の発生情報量を定められたビットレートに抑えるために、量子化器２０８にて粗い量子化を用いると、視覚上目立つブロック歪が発生し、主観画質が劣化する。
【００１０】
そこで、図４４に示した符号化装置では、入力画像のフレーム間差分信号の大きさがフレーム間予測符号化の発生符号量に影響を与えることを考慮して、入力画像のフレーム間差分信号の大きさに応じて、入力画像に対するプリフィルタのローパス通過帯域を制限している。これにより、予測誤差信号のエネルギが減衰され、粗い量子化を防ぐことができるので、主観画質を向上させることができる。
【００１１】
つぎに、この符号化装置における可変プリフィルタ制御方法について説明する。
【００１２】
演算器２０４では、端子２０１から入力される画像信号Ｓ２１０とフレームメモリ２１２から入力される画像信号Ｓ２１４とのフレーム間差分ｒが計算される。ここで、画像信号Ｓ２１４は、入力画像信号Ｓ２１０のフレーム間予測で参照される信号である。フレーム間差分ｒは、プリフィルタ制御部２０３へ入力され、このプリフィルタ処理部２０３では、上記フレーム間差分ｒの大きさに応じてプリフィルタのローパス通過帯域を制御するためのパラメータとしてプリフィルタ係数ｋを生成出力する。当該プリフィルタ２０２は、図４５の２次元ローパスフィルタ特性を持ち、ローパス通過帯域は、上記プリフィルタ係数ｋに対して単調増加である。図４６には、フレーム間差分ｒとプリフィルタ係数ｋの関係を示す。このように、プリフィルタ制御器２０３では、上記関係により、入力画像のフレーム間差分信号の大きさに応じてプリフィルタのローパス特性を制御している。
【００１３】
また、復号後に、モスキートノイズ及びブロック歪を低減する手法としては、画像の局所統計量と符号化情報をもとにブロックレベルのマクロな特性と画素レベルのミクロな特性から画素単位の雑音量の予測を行い、適応フィルタリングにより雑音の成分を除去する方式を採用したものがある。
【００１４】
また、ブロック歪又はモスキートノイズを低減する手法としては、上述の手法の他に、画像信号を復号して出力するとき、復号後の画像信号にフィルタリングを行うポストフィルタ処理を行う手法がある。
【００１５】
【発明が解決しようとする課題】
ところで、上述した符号化前のプリフィルタ処理により、モスキートノイズを抑制できるものの、特に動きが激しい絵柄の画像においては、ブロック歪を効果的に除去できないばかりか、プリフィルタ処理により高周波成分が低減され、プリフィルタ処理を施した画像について復号処理を行うと、ブロック歪のみが目につくといった問題点がある。
【００１６】
また一方で、後者の復号処理後のポストフィルタ処理は、符号化側での処理を行わないため符号化後の符号化効率に変化はなく、特に動きが激しく、動きの予測が困難な入力画像に対して、全体に渡って量子化が粗くなることに改善効果が得られないという問題点がある。
【００１７】
すなわち、従来の画像符号化／復号装置では、符号化前のプリフィルタ処理と復号後のポストフィルタ処理が独立に行われており、効果的なノイズ除去を行うことができないという欠点がある。
【００１８】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、入力された動画像または静止画像を符号化または復号するときに生ずるモスキートノイズを抑制するとともにブロック歪を抑制する画像信号処理装置及び画像信号処理方法を提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明は、入力画像に圧縮符号化処理及び復号処理を施す画像信号処理装置において、入力画像にフィルタリング処理を施すフィルタ手段と、上記フィルタ手段が行うフィルタリング処理のフィルタレベルを検出するフィルタレベル検出手段と、上記フィルタ手段でフィルタリング処理が施された画像にブロック符号化処理を施す圧縮符号化手段と、上記圧縮符号化手段で圧縮符号化された画像に復号処理を施す復号手段と、上記フィルタレベルに応じて上記復号手段で復号処理が施された画像のブロック歪を少なくとも低減する処理を行うノイズ低減手段とを備え、上記フィルタレベル検出手段は、検出したフィルタレベルを上記ノイズ低減手段に供給し、上記フィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、上記ノイズ低減手段により高い周波数帯域の小振幅のノイズを低減することを特徴とする。
【００２０】
このような画像信号処理装置によれば、入力された画像に対して圧縮符号化手段を通過させる前にフィルタ手段でフィルタリング処理を行い、復号手段で復号された画像のブロック歪をノイズ低減手段で低減する処理を行う。
【００２１】
また、本発明は、入力画像に圧縮符号化処理及び復号処理を施す画像信号処理方法において、入力画像にフィルタリング処理を施し、上記フィルタリング処理におけるフィルタレベルを検出し、上記フィルタリング処理が施された画像にブロック符号化処理を施し、上記ブロック符号化処理が施された画像に復号処理を施し、上記復号処理が施された画像のブロック歪を少なくとも低減するノイズ低減処理を行い、上記ノイズ低減処理では、検出した上記フィルタリング処理におけるフィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、高い周波数帯域の小振幅のノイズを低減するノイズ低減処理を行うことを特徴とする。
【００２２】
このような画像信号方法によれば、入力された画像に対して圧縮符号化を行う前にフィルタリング処理を行い、復号された後に画像のブロック歪を低減する処理を行う。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２４】
本発明に係る画像信号処理装置及び画像信号処理方法は、図１に示す光ディスク記録再生装置１に適用される。
【００２５】
この図１に示す光ディスク記録再生装置１の記録系は、入力端子２から画像信号が入力されるＡ／Ｄ変換回路３と、Ａ／Ｄ変換回路３から画像データが入力されるＮＴＳＣ（National Television System Committee）デコーダ４と、ＮＴＳＣデコーダ４から画像データが入力されるＭＰＥＧ（Moving Picture Experts Group）エンコーダ５と、ＭＰＥＧエンコーダ５から画像データが入力されるＥＣＣエンコーダ６と、ＥＣＣ（Error Correction Codes）エンコーダ６から画像データが入力される８−１４変調回路７と、８−１４変調回路７から画像データが入力されるＲＦアンプ８とで構成されている。
【００２６】
Ａ／Ｄ変換回路３は、入力端子２からのＮＴＳＣ方式の画像信号が入力されて、Ａ／Ｄ変換処理を施す。このＡ／Ｄ変換回路３は、Ａ／Ｄ変換処理を施すことで、アナログ方式の画像信号をディジタル方式の画像データとする。そして、このＡ／Ｄ変換回路３は、画像データをＮＴＳＣデコーダ４に出力する。
【００２７】
ＮＴＳＣデコーダ４には、Ａ／Ｄ変換回路３からのＮＴＳＣ方式の画像データが入力される。このＮＴＳＣデコーダ４は、ＮＴＳＣ方式のコンポジット信号にデコード処理を施す。このＮＴＳＣデコーダ４は、デコード処理を施すことで、画像データをベースバンド信号に変換する。そして、このＮＴＳＣデコーダ４は、画像データをＭＰＥＧエンコーダ５に出力する。
【００２８】
ＭＰＥＧエンコーダ５は、ＮＴＳＣデコーダ４からの画像データにブロックＤＣＴ（Discrete Cosine Transform：離散コサイン変換）符号化処理を施す。このＭＰＥＧエンコーダ５は、画像データに符号化処理を施すことで、ＭＰＥＧ方式の画像データとする。このとき、ＭＰＥＧエンコーダ５では、例えば量子化スケール等の符号化情報を画像データに付加してビットストリームとする。
【００２９】
また、このＭＰＥＧエンコーダ５には、詳細な構成を後述するプリフィルタを備えている。このＭＰＥＧエンコーダ５は、プリフィルタにより、フィルタリング処理を行うことで、圧縮符号化された画像データに生ずるブロック歪や、モスキートノイズを低減させる。そして、このＭＰＥＧエンコーダ５は、画像データをＥＣＣエンコーダ６に出力する。
【００３０】
ＥＣＣエンコーダ６は、ＭＰＥＧエンコーダ５からのビットストリームにエラーコレクションを付加する。そして、このＥＣＣエンコーダ６は、このビットストリームを８−１４変調回路７に出力する。
【００３１】
８−１４変調回路７は、ＥＣＣエンコーダ６からのビットストリームに８−１４変調等の信号処理を施す。この８−１４変調回路７は、８−１４変調等を施したビットストリームをＲＦアンプ８に出力する。
【００３２】
ＲＦアンプ８は、８−１４変調回路７からのビットストリームに増幅処理を施して、光ピックアップ９に出力する。
【００３３】
そして、この光ディスク記録再生装置１の記録系は、光ディスクＤに光ピックアップ９を介して画像を示すビットストリームを記録する。
【００３４】
また、光ディスク記録再生装置１の再生系は、光ディスクＤに記録された画像データを光ピックアップ９を介して入力されるＲＦアンプ１０と、ＲＦアンプ１０から画像データが入力される８−１４復調回路１１と、８−１４復調回路１１から画像データが入力されるＥＣＣデコーダ１２と、ＥＣＣデコーダ１２から画像データが入力されるＭＰＥＧデコーダ１３と、ＭＰＥＧデコーダ１３から画像データが入力されるノイズ低減回路１４と、ノイズ低減回路１４からノイズが抑制された画像データが入力される画質補正回路１５と、画質補正回路１５から画像補正がなされた画像データが入力されるＮＴＳＣエンコーダ１６と、ＮＴＳＣエンコーダ１６からＮＴＳＣ方式の画像データが入力されるＤ／Ａ変換回路１７とで構成されている。
【００３５】
ＲＦアンプ１０は、光ピックアップ９で検出した光ディスクＤからの画像データに増幅処理を施す。このＲＦアンプ１０は、増幅処理を施した画像データを８−１４復調回路１１に出力する。
【００３６】
８−１４復調回路１１は、ＲＦアンプ１０からの画像データに８−１４復調処理を施す。この８−１４復調回路１１は、復調処理を施した画像データをＥＣＣデコーダ１２に出力する。
【００３７】
ＥＣＣデコーダ１２は、８−１４復調回路１１からの画像データにデコード処理を施すことで、上述のＥＣＣエンコーダ６で付加したエラーコレクションの処理を行う。そして、このＥＣＣデコーダ１２は、デコード処理を施した画像データをＭＰＥＧデコーダ１３に出力する。
【００３８】
ＭＰＥＧデコーダ１３は、ＥＣＣデコーダ１２からのＭＰＥＧ方式の画像データにデコード処理を施す。このＭＰＥＧデコーダ１３は、デコード処理を施した画像データをノイズ低減回路１４に出力する。
【００３９】
ノイズ低減回路１４は、詳細な構成を後述するが、フィルタリング処理を行うことで、ＭＰＥＧデコーダ１３からの画像データに対してノイズ低減処理を施す。このノイズ低減回路１４は、ノイズ低減処理を施すことで、ＭＰＥＧデコーダ１３でデコード処理を行ったことで生じたモスキートノイズやブロック歪を低減する。また、このノイズ低減回路１４は、後述する制御回路１９と接続されており、この制御回路１９からの制御信号に応じて制御動作する。そして、このノイズ低減回路１４では、ノイズ低減処理を施した画像データを画質補正回路１５に出力する。
【００４０】
画質補正回路１５は、ノイズ低減回路１４からの画像データに画質補正処理を施す。この画質補正回路１５は、画質補正処理として例えば輪郭補正処理等を行う。また、この画質補正回路１５は、後述する制御回路１９と接続されており、この制御回路１９からの制御信号に応じて制御動作される。そして、この画質補正回路１５は、画質補正処理を施した画像データをＮＴＳＣエンコーダ１６に出力する。
【００４１】
ＮＴＳＣエンコーダ１６は、画質補正回路１５からの画像データに同期信号の付加、色信号の変調などの処理を施す。このＮＴＳＣエンコーダ１６は、エンコード処理を施すことで、画像データをＮＴＳＣ方式の映像信号とする。そして、このＮＴＳＣエンコーダ１６は、圧ＮＴＳＣ映像信号をＤ／Ａ変換回路１７に出力する。
【００４２】
Ｄ／Ａ変換回路１７は、ＮＴＳＣエンコーダ１６からのＮＴＳＣ方式の画像データにＤ／Ａ変換処理を施す。このＤ／Ａ変換回路１７は、Ｄ／Ａ変換処理を施すことで、アナログ方式のＮＴＳＣ方式の画像信号とする。そして、このＤ／Ａ変換回路１７は、Ｄ／Ａ変換処理を施した画像信号を出力端子１８に出力する。
【００４３】
さらに、この光ディスク記録再生装置１の再生系には、上述のノイズ低減回路１４及び画質補正回路１５に制御信号を供給する制御回路１９と、例えばユーザにより操作されて制御回路１９に入力信号を供給する操作入力部２０とが備えられている。
【００４４】
制御回路１９は、例えばマイクロコンピュータ等で構成され、上述のノイズ低減回路１４または画質補正回路１５に制御信号を供給する。この制御回路１９は、操作入力部２０からの入力信号に応じて例えばブロック歪の低減を行うための制御信号をノイズ低減回路１４に供給する。また、この制御回路１９は、画質補正を行うか否かを示す制御信号や、画質補正の程度を示す制御信号を画質補正回路１５に供給する。
【００４５】
操作入力部２０は、例えばユーザ等がブロック歪低減のオン／オフの制御を行うときに選択的に例えばスイッチ等が押圧されることで入力信号を生成出力する。また、この操作入力部２０は、画質補正の程度をユーザが制御することができるスイッチ等も設けられており、ユーザが選択的にスイッチを押圧することで入力信号を生成出力する。
【００４６】
つぎに、上述したプリフィルタを備えるＭＰＥＧエンコーダ５の構成の一例について説明する。
【００４７】
図２に示す第１の構成例のＭＰＥＧエンコーダ５において、入力端子２１から入力されるディジタル動画像信号Ｓ３０は、フレームメモリ群２２に送られ、記憶される。
【００４８】
このフレームメモリ群２２に記憶された画像データＳ２３を用いて、動きベクトル検出回路２５は、フレーム間の動きベクトルを検出する。具体的に言うと、動きベクトル検出回路２５では、フレームを小ブロックに分割し、この小ブロック単位に動きベクトルＭＶを計算する。ここで、小ブロックは例えば１６画素×１６ラインで構成されており、動きベクトル検出は例えば参照フレームと現在の小ブロックとのパターンマッチングで行う。すなわち、式(1) に示すように、現在の小ブロックの信号Ａijと、任意の動きベクトルにより参照される小ブロックの信号Ｆijの差の絶対値の和Ｅf を求める。
【００４９】
Ｅf ＝ Σ｜Ａij−Ｆij｜      （i=0〜15, j=0〜15）          (1)
動きベクトル検出回路２５は、上記Ｅf の値が最小となる動きベクトルを動きベクトル信号ＭＶとして出力する。
【００５０】
画像データＳ２３と動きベクトル信号ＭＶは、符号化難易度測定回路２７へ入力され、ここで入力画像の小ブロック毎に、その符号化難易度ｄ(d_current) が計算される。この第１の構成例での符号化難易度ｄは、後述する動画像符号化回路２４での発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータである。符号化難易度測定回路２７の具体的な構成例については、後述する。
【００５１】
次に、プリフィルタ制御回路２８へは、上述のように求めた現在の符号化対象の小ブロックの符号化難易度ｄが入力される。
【００５２】
また、プリフィルタ制御情報記憶回路２６には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路２６には、現在の小ブロックのフレーム上での位置を表すブロックアドレスmb_addressと現在の小ブロックの動きベクトル信号ＭＶとが入力され、それらに基づいて、このプリフィルタ制御情報記憶回路２６では、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ_refを読み出す。このフィルタ係数ｋ_refは、プリフィルタ制御回路２８へ入力される。なお、上記フィルタ係数ｋ_refを読み出す場合には、ブロックアドレスmb_addressだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb_addressの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ_refとして読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要はない。
【００５３】
プリフィルタ制御回路２８は、上記符号化難易度ｄとフィルタ係数ｋ_refが入力されると、これらに基づいて、現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ_currentを生成出力し、これをプリフィルタ２３へ入力する。ここで、当該プリフィルタ２３の特性は、図４６に示すような特性とする。従って、ここでは、フィルタ係数ｋ_currentが小さいほど、通過帯域の狭いローパスフィルタ特性とする。
【００５４】
なお、プリフィルタ２３の特性は、図４６に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【００５５】
プリフィルタ制御回路２８で計算されたフィルタ係数ｋ_currentは、また、プリフィルタ制御情報記憶回路２６へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ_ref）として利用されることになる。
【００５６】
フィルタ係数ｋ_currentの計算方法の例について以下に説明する。ここでは、図３に示すように入力動画像の入力順にＮフレーム毎（Ｎ≧１）のグループを作り、このグループを処理の１単位としている。以下、図４のフローチャートを用いて、プリフィルタ係数の制御について説明する。
【００５７】
図４に示すフローチャートにおいて、先ず、ステップＳＴ１１では、現在の符号化対象のフレームを含むＮフレーム間でのフィルタの制御を開始する。
【００５８】
ステップＳＴ１２では、そのＮフレーム間での符号化難易度の平均値ｄ_aveを計算し、次のステップＳＴ１３では、そのＮフレーム間でのプリフィルタ係数の代表値ｋ_gopを計算する。プリフィルタ係数の代表値ｋ_gopは、Ｎフレーム間での符号化難易度の平均値ｄ_aveに対して、代表的な（平均的な）プリフィルタ係数への対応が、予め経験的に決められている。ここでは、図４６で示すように、符号化難易度が大きいほど、通過帯域の狭いローパスフィルタ特性を対応付けておく（すなわちｋ_gopが小さくなる）。上記符号化難易度の平均値ｄ_aveとプリフィルタ係数の代表値ｋ_gopの対応関係は、例えば図５に示すようになる。
【００５９】
次に、ステップＳＴ１４では、１フレーム内でのフィルタの制御を開始する。
【００６０】
先ず、ステップＳＴ１５では、現在の符号化対象の小ブロックの符号化難易度ｄ（以下ｄ_currentとする）を読み込み、ステップＳＴ１６では、図３に示すように現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ_refを読み込む。
【００６１】
次に、ステップＳＴ１７では、上記符号化難易度ｄ_current とローパスプリフィルタ係数ｋ_refから現在の小ブロックで使用するローパスプリフィルタ係数ｋ_currentを計算する。
【００６２】
上記ローパスプリフィルタ係数ｋ_currentの計算例を図６に示す。この図６に示す計算例では、先ず、式(a) のように、上記ｄ_currentとｋ_gopとから統計的にｋ_currentを仮に計算するが、ここでは、上記ｄ_currentが上記ｄ_aveより大きければ、上記ｋ_currentは上記ｋ_gopよりも小さくなり（すなわち通過帯域の狭いローパスフィルタ特性となり）、逆に、上記ｄ_currentが上記ｄ_aveより小さければ、上記ｋ_currentは上記ｋ_gopよりも大きくなる（すなわち通過帯域の広いローパスフィルタ特性となる）。上記符号化難易度ｄ_currentと上記ローパスプリフィルタ係数ｋ_currentとの対応関係は、例えば図７に示すようになる。この図６に示す計算例では、次に、条件(b)及び条件(c)のように、上記ローパスプリフィルタ係数ｋ_currentと現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ_refとを比較する。そして、上記ｋ_currentとｋ_refの変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。具体的には、図６に示す計算例では、条件(b) のように、上記ｋ_currentがｋ_refのＡ倍（Ａ＞１）より大きい時は、当該ｋ_currentをＡ倍のｋ_refへ変更する。また、条件(c) のように、上記ｋ_currentが上記ｋ_refのＢ倍（Ｂ＜１）より小さい時は、上記ｋ_currentをＢ倍のｋ_refへ変更する。以上のようにして、現在の小ブロックで使用するローパスプリフィルタ係数ｋ_currentを計算する。
【００６３】
図４のフローチャートに戻って、上述したステップＳＴ１７の次のステップＳＴ１８では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ１８の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ１５へ戻る。一方、このステップＳＴ１８の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ１９へ進む。
【００６４】
ステップＳＴ１９では、現在のフレームがＮフレームからなるグループの最後のフレームであるか否かの判定をする。このステップＳＴ１９の判定において、現在のフレームがＮフレームからなるグループの最後のフレームでないと判定した場合はステップＳＴ１４へ戻り、一方、現在のフレームがＮフレームからなるグループの最後のフレームであると判定した場合はステップＳＴ２０に進む。
【００６５】
このステップＳＴ４９にて、Ｎフレームからなるグループでのフィルタの制御を終了する。
【００６６】
以上のようにして、プリフィルタ制御回路２８は、プリフィルタ係数ｋ_currentを決定する。
【００６７】
なお、図４のフローチャートにおけるステップＳＴ１６，ＳＴ１７において、上記フィルタ係数ｋ_refを使用する代わりに、現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ_refを使用しても良い。
【００６８】
この場合のプリフィルタ係数ｋ_currentの計算方法の例について、図８に示すフローチャートを用いて説明する。この図８のフローチャートにおいて前述の図４のフローチャートとの違いは、ステップＳＴ２６とステップＳＴ２７であり、それぞれ図４ではステップＳＴ１６とステップＳＴ１７に対応する。なお、この図８におけるステップＳＴ２１からステップＳＴ２５までは、図４におけるステップＳＴ１１からステップＳＴ１５の場合と同じであり、図８のステップＳＴ２８以降も図４のステップＳＴ１８以降と同じであるので、それらのステップの説明は省略する。
【００６９】
この図８のフローチャートにおいて、ステップＳＴ２６では、図３に示したように現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ_refを読み込む。
【００７０】
次にステップＳＴ２７では、現在の符号化対象の小ブロックの符号化難易度ｄ_currentと上記符号化難易度ｄ_refから現在の小ブロックで使用するローパスプリフィルタ係数ｋ_currentを計算する。
【００７１】
図９には、当該ローパスプリフィルタ係数ｋ_currentの計算例を示す。この図９に示す計算例では、条件(d) と条件(e) のように、上記現在の符号化対象の小ブロックの符号化難易度ｄ_currentと現在の小ブロックがフレーム間予測で参照する小ブロックで使用された符号化難易度ｄ_refとを比較する。そして、ｄ_currentとｄ_refの変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。具体的には、条件(d) のように、上記ｄ_currentが上記ｄ_refのＣ倍（Ｃ＞１）より大きい時は、当該ｄ_currentをＣ倍のｄ_refへ変更する。また、条件(e) のように、上記ｄ_currentが上記ｄ_refのＤ倍（Ｄ＜１）より小さい時は、当該ｄ_current をＤ倍のｄ_ref へ変更する。以上のようにして、現在の小ブロックで使用する符号化難易度ｄ_currentを検査する。次に、図９の式(f) のように、上記ｄ_currentとｋ_gopとから統計的にｋ_currentを仮に計算する。
【００７２】
上述した図９のフローチャートの場合、図２のプリフィルタ制御情報記憶回路２６には、過去に計算された小ブロックの符号化難易度ｄ_refが記憶されていて、現在の小ブロックのブロックアドレスmb_addressと動きベクトル信号ＭＶからフレーム間予測で参照する小ブロックの符号化難易度ｄ_refを読み出す。
【００７３】
なお、この時、前述したように、上記符号化難易度ｄ_refを読み出す場合に、ブロックアドレスmb_addressだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb_addressの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数d_ref として読み出しても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要がない。
【００７４】
図２に戻って、プリフィルタ２３は、現在の小ブロックに対して、プリフィルタ係数ｋ_currentで指定されるローパスフィルタ処理を施して、処理画像信号Ｓ２２を出力する。
【００７５】
当該処理画像信号Ｓ２２とその動きベクトル信号ＭＶは、動画像符号化回路２４へ入力され、ここで所定のフレーム間予測符号化処理が施され、符号化ビットストリームＳ２４として出力端子２９から出力される。
【００７６】
図１０は、図２の動画像符号化回路２４の構成例を示したものである。なお、この図１０には、動画像符号化回路２４の具体例として、例えばいわゆるＭＰＥＧ方式のような動き補償フレーム間予測とＤＣＴとを組み合わせたハイブリッド符号化を行うものを示している。
【００７７】
この図１０において、入力端子３０には前記動きベクトル検出回路２５から入力される動きベクトル信号ＭＶが供給される。一方、入力端子３１からは、当該動画像符号化回路（ハイブリッド符号化器）２４への入力動画像信号Ｓ６５が供給される。
【００７８】
また、当該動画像符号化回路２４の動き補償フレーム間／内予測回路３２は、画像メモリを備え、上記入力端子３０からの動きベクトル信号ＭＶに基づいて当該画像メモリから読み出した予測画像信号Ｓ６８を出力する。
【００７９】
演算器３３は、上記入力端子３１からの入力動画像信号Ｓ６５を加算信号とし、上記動き補償フレーム間／内予測回路３２からの上記予測画像信号Ｓ６８を減算信号として加算処理を行うことにより、上記入力動画像信号Ｓ６５と予測画像信号Ｓ６８の差分を計算し、当該差分を予測残差信号Ｓ６６として出力する。なお、シーンチェンジがあった時は予測を行わず、入力動画像信号Ｓ６５がそのまま取り出される。
【００８０】
次に、予測残差信号Ｓ６６（予測を行わない時は原信号）は、ＤＣＴ回路３４に送られる。このＤＣＴ回路３４では上記予測残差信号Ｓ６６に対して２次元ＤＣＴを施す。このＤＣＴ回路３４から出力されたＤＣＴ係数は、量子化回路３５にてスカラー量子化される。この量子化回路３５の量子化出力信号は、可変長符号化（ＶＬＣ）回路３６と逆量子化回路３７とに送られる。ＶＬＣ回路３６では、上記量子化出力信号に対して例えばハフマン符号化を施す。このＶＬＣ回路３６の出力信号はバッファメモリ３８に送られる。当該バッファメモリ３８では出力端子３１から伝送路に出力するデータ列のビットレートを平滑化する。また、当該バッファメモリ３８がオーバーフローしそうになった時には、そのことを量子化制御情報として量子化回路３５にフィードバックする。このとき、量子化回路３５では量子化ステップを大きくし、これにより量子化回路３５から出力される情報量が小さくなされる。
【００８１】
一方、逆量子化回路３７では、量子化回路３５より供給される量子化ステップ情報ｑ_step に対応して、上記量子化出力信号に逆量子化処理を施す。当該逆量子化回路３７の出力は、逆ＤＣＴ回路３９に入力され、ここで逆ＤＣＴ処理されて復号された予測残差信号Ｓ６７が、演算器４０へ入力される。
【００８２】
また、この演算器４０には、演算器３３に供給されている予測画像信号Ｓ６８と同一の信号が供給されている。演算器４０は、上記予測残差信号Ｓ６７に予測画像信号Ｓ６８を加算する。これにより、局所復号した画像信号が得られる。この画像信号は、受信側での出力画像と同じ信号である。
【００８３】
次に、図１１には、図２の符号化難易度測定回路２７の構成例を示す。この図１１の構成は、基本的には図１０で説明した動画像符号化回路２４と同じであり、異なる点は、量子化回路４１で固定の量子化スケールが使用される点と、ＶＬＣ回路３６からの発生符号量についてバッファメモリの占有量の管理をしない点である。すなわち、ＶＬＣ回路３６からの発生符号量は、カウンタ４２にて、小ブロック毎にビット量が数えあげられ、符号化難易度ｄが出力端子４３から出力される。
【００８４】
以上のような構成の動画像符号化回路２４では、入力動画像信号Ｓ３０の現在の符号化対象となっているフレームを、少なくとも１画素からなる小ブロックに分割し、この小ブロック単位に符号化難易度（動画像符号化装置の発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータ）を計算し、当該現在の符号化対象の小ブロックに対してローパスプリフィルタ処理を施す場合に、現在の小ブロックの符号化難易度と現在の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報とに基づいて適応的にローパスプリフィルタの特性を決定し、この特性によりローパスプリフィルタ処理した動画像信号に対して符号化処理を施す。
【００８５】
すなわち、本発明の第１の構成例の動画像符号化回路２４では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を決定する場合に、現在の符号化対象の小ブロックの符号化難易度とともに、フレーム間予測で参照される小ブロックで使われたプリフィルタ制御情報を合わせて考慮している。
【００８６】
具体的には、先ず第１段階として、視覚特性を考慮して、局所的に速い動きや複雑な絵柄であって符号化難易度の大きい部分では、通過帯域の比較的狭いローパスフィルタを選択し、一方、遅い動きや平坦な絵柄であって符号化難易度の小さい部分では、通過帯域の比較的広いローパスフィルタを選択するようにしている。次に第２段階として、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報を考慮して、フレーム間予測符号化効率が低下しないように、第１段階で選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしている。これにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとなる。
【００８７】
次に、ＭＰＥＧエンコーダ５の第２の構成例の動画像符号化装置を図１２に示す。
【００８８】
この図１２に示す第２の構成例において、上述した第１の構成例の動画像符号化回路２４との大きな違いは、プリフィルタ制御回路２８に入力する符号化難易度ｄ（ｄ_current）として、動きベクトル検出回路４４から出力される予測残差、すなわち前述の式(1) で計算される、現在のブロックの信号Ａijと任意の動きベクトルにより参照されるブロックの信号Ｆijの差の絶対値の和Ｅf を用いている点である。なお、以下に説明する第２の構成例については、ＭＰＥＧエンコーダ５と同一部分については同一符号を符することでその説明を省略する。
【００８９】
この図１２において、入力端子２１から入力されるディジタル動画像信号Ｓ１００は、フレームメモリ群２２に送られ、記憶される。このフレームメモリ群２２に記憶された画像データＳ１０３を用いて、動きベクトル検出回路４４は、フレーム間の動きベクトルを前記第１の構成例で説明したように検出する。そして、動きベクトル検出回路４４は、入力画像の小ブロック毎に動きベクトル信号ＭＶと上述の式(1)から計算される予測残差Ｅｆを計算する。当該予測残差Ｅｆは、その小ブロックの符号化難易度ｄとして、動きベクトル検出回路４４から出力される。
【００９０】
プリフィルタ制御回路２８へは、現在の符号化対象の小ブロックの符号化難易度ｄが入力される。また、プリフィルタ制御情報記憶回路２６には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路２６には、現在の小ブロックのフレーム上での位置を表すブロックアドレスmb_addressと現在の小ブロックの動きベクトル信号ＭＶが入力され、このプリフィルタ制御情報記憶回路２６では、これらに基づいて現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ_refを読み出し、これをプリフィルタ制御回路２８へ入力する。なお、フィルタ係数ｋ_refを読み出す場合は、ブロックアドレスmb_addressだけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb_addressの位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｋ_refとして読み出しても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要はない。
【００９１】
プリフィルタ制御回路２８は、上記符号化難易度ｄとフィルタ係数ｋ_refが入力されると、これらの基づいて現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ_currentを生成出力し、これをプリフィルタ２３へ入力する。ここで、当該プリフィルタ２３の特性は、例えば前述した図４５のような特性とする。したがって、ここでは、上記フィルタ係数ｋ_currentが小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【００９２】
なお、プリフィルタ２３の特性は、図４５に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【００９３】
プリフィルタ制御回路２３で計算されたフィルタ係数ｋ_currentは、また、プリフィルタ制御情報記憶回路２６へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値ｋ_refとして利用されることになる。
【００９４】
なお、フィルタ係数ｋ_currentの計算方法の例は、第１の構成例において図６を用いて説明した方法と同様である。
【００９５】
プリフィルタ２３は、現在の小ブロックに対して、プリフィルタ係数ｋ_currentで指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１０２を出力する。
【００９６】
当該処理画像信号Ｓ１０２とその動きベクトル信号ＭＶは、動画像符号化回路２４へ入力され、所定のフレーム間予測符号化処理（例えばいわゆるＭＰＥＧ方式の符号化処理）が施され、この符号化ビットストリームＳ１０４が出力端子２９から出力される。なお、動画像符号化回路２４の構成は、第１の構成例において図１０を用いて説明したものと同様である。
【００９７】
このような構成の動画像符号化装置では、プリフィルタ制御回路２８に入力する符号化難易度ｄ（ｄ_current）として、動きベクトル検出回路４４から出力される予測残差、すなわち、現在のブロックの信号Ａijと任意の動きベクトルにより参照されるブロックの信号Ｆijの差の絶対値の和Ｅf を用いることにより、フレーム間予測符号化効率が低下しないように、選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。これにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることできる。
【００９８】
なお、特開平６−２２５２７６号公報に開示されている動画像符号化におけるプリフィルタ制御方法及び装置も、入力画像信号に対してプリフィルタ処理を行うようにしているが、この公報記載の技術は、１画面内でプリフィルタ係数を変えることは行っておらず画面内では一定で、また複数フレーム単位でフィルタ係数を一定にしている。
【００９９】
これに対して、上述のような第１の構成例や第２の構成例の動画像符号化回路では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を、画面を分割する小ブロック単位の符号化難易度ｄに応じて適応的に変更可能としているので、視覚特性を考慮して、画面内の局所的に速い動きや複雑な絵柄であり符号化難易度の大きい部分では通過帯域の比較的狭いローパスフィルタを選択でき、一方、遅い動きや平坦な絵柄であり符号化難易度の小さい部分では通過帯域の比較的広いローパスフィルタを選択できる。さらにこの小ブロック単位のプリフィルタ係数を決定する場合には、上記小ブロックの符号化難易度ｄだけでなく、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報をも合わせて考慮しており、フレーム間予測符号化効率が低下しないように、上述のように選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしているので、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることできる。
【０１００】
ところで、ＭＰＥＧ方式などで用いられているフレーム間予測符号化では、図１３に示すように予測を行わないで内部符号化するＩピクチャと、順方向予測のみを行うＰピクチャと、双方向予測を行うＢピクチャがあり、一般に、これらの画像間では符号化難易度のダイナミックレンジや小ブロック毎の符号化難易度の分布が異なっている。ＭＰＥＧ方式では、このように符号化難易度の特性の異なる画像が連続しているため、全入力画像の符号化難易度に従ってローパスフィルタ処理のフィルタ特性を決定すると、時間的に近接する画像間でフィルタ特性が極端に異なることに起因する主観的画質の劣化が生じる可能性がある。
【０１０１】
上述の第１及び第２の構成例により説明した動画像符号化回路においては、入力画像の小ブロックの符号化難易度と当該小ブロックが画像間予測で参照する小ブロックで使われたフィルタ制御情報とに基づいて、ローパスフィルタ処理のフィルタ特性を決定しているが、内部符号化を行うＩピクチャや、フィルタ特性の参照画像との間にＢピクチャが存在するＰピクチャ及び時間的に連続する画像間のフィルタ特性に関して考慮していない。
【０１０２】
また、フレーム間予測を行う画像において、予測を行わずに内部符号化を行う小ブロックが存在することがあるため、同一画像内においても、空間的に近接する小ブロックと比較して、極端に符号化難易度の高い小ブロックが存在することがある。
【０１０３】
このような画像に対して、小ブロック毎の符号化難易度に従って適応的にローパスフィルタ処理のフィルタ特性を決定すると、時間的／空間的に局所的にローパスの通過帯域の異なる小ブロックが存在することになり、主観的画質の劣化が生じる可能性がある。
【０１０４】
そこで、図１４に示す本発明の第３の構成例の動画像符号化回路では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を決定する場合に、入力動画像信号Ｓ３０の現在の符号化対象となっているフレームを、少なくとも１画素からなる小ブロックに分割し、現在の符号化対象の画像がフィルタ特性画像であるか非フィルタ特性画像であるかの判定を行い、現在の小ブロックのプリフィルタ情報とともに、フレーム間予測で参照される小ブロックで使われたプリフィルタ制御情報及び時間的に近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタ制御情報を合わせて考慮している。なお、以下の第３の構成例の説明においては、上述の第１の構成例と同一の部分については同一符号を付することでその説明を省略する。
【０１０５】
具体的には、先ず第１段階として、ＭＰＥＧ方式における、Ｉ、Ｐ、Ｂピクチャなどの符号化タイプによって符号化難易度が異なることを考慮して、特定の符号化タイプの入力画像をフィルタ特性画像として判定し、それ以外の符号化タイプの画像を非フィルタ特性画像として判定する。ここで、例えばフィルタ特性画像にはＰピクチャを用い、非フィルタ特性画像にはＩ、Ｂピクチャを用いる。
【０１０６】
入力画像をフィルタ特性画像として判定した場合は所定の方法で当該画像の小ブロック毎の符号化難易度を計算し、所定の方法で当該画像内で当該符号化難易度を平滑化する。
【０１０７】
第２段階として視覚特性を考慮して、局所的に速い動きや複雑な絵柄であるために符号化難易度の大きい小ブロックでは、通過帯域の比較的狭いローパスフィルタを選択し、一方、遅い動きや平坦な絵柄であるために符号化難易度の小さい小ブロックでは、通過帯域の比較的広いローパスフィルタを選択するようにしている。更に、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロックで使われたプリフィルタ制御情報を考慮し、主観的に画質が劣化せず、かつ、フレーム間予測符号化効率が低下しないように、選択されたフィルタ特性を修正して、現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。非フィルタ特性画像の場合は、第２段階として現在の符号化対象の小ブロックがフレーム間予測で参照する過去参照画像の小ブロックで使われたプリフィルタ制御情報と未来参照画像の小ブロックで使われたプリフィルタ制御情報から所定の方法で内挿補間を行い当該画像の小ブロックのプリフィルタ特性を算出する。更に、時間的に近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタの制御情報を考慮して、主観的に画質が劣化せず、かつ、フレーム間予測符号化効率が低下しないように、算出したフィルタ特性を修正して、現在の符号化対象の小ブロックに対するプリフィルタ特性を決定する。
【０１０８】
ここで、非フィルタ特性画像が予測を用いない内部符号化画像、例えばＭＰＥＧ方式におけるＩピクチャである場合には、時間的に前後するＰピクチャの空間的に同じ位置の小ブロックのプリフィルタ制御情報に基づいて内挿補間を行い、現在の符号化対象の小ブロックのプリフィルタ特性を決定する。
【０１０９】
これらにより、ローパスプリフィルタ処理された動画像は、符号化画質の主観的印象が良く、かつ符号化効率の良いものとなる。
【０１１０】
この図１４に示す本発明の第３の構成例の動画像符号化回路において、入力端子２１から入力されるディジタル動画像信号Ｓ３０は、フレームメモリ群２２に送られ、記憶される。
【０１１１】
ＭＰＥＧ方式においては、予測符号化を行う際に、双方向予測を行うことから、図１５（ａ），（ｂ）に示すように画像の入力順序と符号化順序が異なるため、フレームメモリ群２２では符号化順序に従って入力画像の順序入替えを行う。このフレームメモリ群２２に記憶された画像データＳ２３を用いて、動きベクトル検出回路２５は、フレーム間の動きベクトルを検出する。具体的に言うと、動きベクトル検出回路２５では、フレームを小ブロックに分割し、この小ブロック単位に動きベクトルＭＶを計算する。ここで、小ブロックは例えば１６画素×１６ラインで構成されており、動きベクトル検出は例えば参照フレームと現在の小ブロックとのパターンマッチングで行う。すなわち、上述の式(1) により、現在の小ブロックの信号Ａijと、任意の動きベクトルにより参照される小ブロックの信号Ｆijの差の絶対値の和Ｅf を求める。
【０１１２】
動きベクトル検出回路２５は、上記Ｅf の値が最小となる動きベクトルを動きベクトル信号ＭＶとして出力する。
【０１１３】
画像処理タイプ判定回路４５では、入力された画像データＳ２３のピクチャータイプによって、出力する回路切替え信号pict_type の内容を変え、以降の処理を変える。
【０１１４】
画像データＳ２３がフィルタ特性画像として用いる画像、例えばＰピクチャ、であったならば、画像データＳ２３を符号化難易度測定回路４６に入力し、回路切替え信号pict_type(1)を動きベクトル検出回路２５及びプリフィルタ制御情報記憶回路２６に入力する。
【０１１５】
回路切替え信号pict_type(1)を入力された動きベクトル検出回路２５では、動きベクトル信号ＭＶを動画像符号化回路２４、プリフィルタ制御情報記憶回路２６及び符号化難易度測定回路４６に入力する。
【０１１６】
画像データＳ２３と動きベクトル信号ＭＶを入力された符号化難易度測定回路４６では、入力画像の小ブロック毎に、その符号化難易度ｄ(ｄ＿raw) を計算する。
【０１１７】
この第３の構成例での符号化難易度ｄ(ｄ＿raw) 、後述する動画像符号化回路２４での発生符号量を定められたビットレートに圧縮する時の難易度を表すパラメータである。符号化難易度測定回路４６の具体的な構成例については、後述する。
【０１１８】
符号化難易度平滑化回路４７では、近接する小ブロック間で、フィルタ係数が極端に異なることを避けるために、入力したｄ(ｄ＿raw) をフレーム内で平滑化し、平滑化符号化難易度情報ｄ(ｄ＿current) を計算する。符号化難易度平滑化回路４７では、横方向にi番目、縱方向にj番目の現在の符号化対象の小ブロックの符号化難易度をｄ(i,j)としたとき、 例えば次の式(2)
0004186242.tif 000002
により平滑化を行う。
【０１１９】
次に、プリフィルタ制御回路２８へは、上述のように求めた現在の符号化対象の小ブロックの符号化難易度ｄ(ｄ＿current) が入力される。
【０１２０】
また、プリフィルタ制御情報記憶回路２６には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。
【０１２１】
ここで、このプリフィルタ制御情報記憶回路２６には、現在の小ブロックのフレーム上での位置を表すブロックアドレスmb＿address と現在の小ブロックの動きベクトル信号ＭＶ及び回路切替え信号pict_type(1)が入力され、それらに基づいて、このプリフィルタ制御情報記憶回路２６では、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ref(1)を読み出し、プリフィルタ制御回路２８へ入力する。
【０１２２】
なお、上記フレーム間予測で参照する小ブロックのフィルタ係数ｋ＿ref(1)を読み出す場合には、ブロックアドレスmb＿address だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb＿addressの 位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ref(1)として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要はない。
【０１２３】
プリフィルタ制御回路２８は、上記符号化難易度ｄ(ｄ＿current) とフィルタ係数ｋ＿ref(1)が入力されると、これらに基づいて、現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿current を生成出力し、これをプリフィルタ２３へ入力する。
【０１２４】
プリフィルタ制御回路２８で計算されたフィルタ係数ｋ＿current は、また、プリフィルタ制御情報記憶回路２６へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ref） として利用されることになる。
【０１２５】
次に、画像データＳ２３が非フィルタ特性画像、例えばＭＰＥＧ方式におけるＩ、Ｂピクチャ、であったならば、画像処理タイプ判定回路４５は現在の小ブロックのフレーム上での位置を表すブロックアドレスmb＿address をプリフィルタ制御情報記憶回路２６に入力し、回路切替え信号pict_type(2)を動きベクトル検出回路２５及びプリフィルタ制御情報記憶回路２６に入力する。
【０１２６】
回路切替え信号pict_type(2)を入力された動きベクトル検出回路２５では、動きベクトル信号ＭＶを動画像符号化回路２４及びプリフィルタ制御情報記憶回路２６に入力する。
【０１２７】
現在の小ブロックのブロックアドレスmb＿address と現在の小ブロックの動きベクトルＭＶを入力されたプリフィルタ制御情報記憶回路２６は現在の小ブロックがフレーム間予測で参照する未来参照画像と過去参照画像の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ref(2)、ｋ＿ref(3)と時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ref(4)を読み出し、内挿補間回路４８に入力する。
【０１２８】
なお、上記フィルタ係数ｋ＿ref(2)、ｋ＿ref(3)を読み出す場合には、ブロックアドレスmb＿address だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb＿address の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ref(2)、ｋ＿ref(3)として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要はない。
【０１２９】
現在の小ブロックのパラメータとしてのフィルタ係数ｋ＿ref(2)、ｋ＿ref(3)、ｋ＿ref(4)を入力された内挿補間回路４８は、過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照画像のフィルタ係数ｋ＿ref(3)を基に内挿補間を行い、更に時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)を用いて現在の小ブロックのフィルタ係数ｋ＿current を生成出力し、これをプリフィルタ２３へ入力する。
【０１３０】
ここで、現在の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたフィルタ係数ｋ＿ref(4)を用いず、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたフィルタ係数ｋ＿ref(2)、ｋ＿ref(3)のみを読み出して現在の小ブロックのフィルタ係数ｋ＿current を生成出力すようにしても良い。
【０１３１】
また、非フィルタ特性画像が例えばＭＰＥＧ方式のＩピクチャーのように、フレーム間予測を行わない画像であった場合には、時間的に前後するフィルタ特性画像の空間的に同じ位置の小ブロックのフィルタ係数を過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照画像のフィルタ係数ｋ＿ref(3)として読み出し、内挿補間を行う。この場合は時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)は用いない。
【０１３２】
内挿補間回路４８で計算されたフィルタ係数ｋ＿current は、また、プリフィルタ制御情報記憶回路２６へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ref ）として利用されることになる。
【０１３３】
以上のようにして、適応的にプリフィルタ２３のフィルタ係数を決定し、符号化画質の主観的印象が良く、かつ符号化効率の良い符号化方式を実現する。
【０１３４】
ここで、当該プリフィルタ２３の特性は、例えば上述の図４５のような特性とする。したがって、ここでは、フィルタ係数ｋ＿current が小さいほど、通過帯域の狭いローパスフィルタ特性となる。また、プリフィルタ２３は、上述の図４５に示した特性のローパスフィルタやこれ以外の特性をもつローパスフィルタを用いることができる。
【０１３５】
フィルタ係数ｋ＿current の計算方法の例について以下に説明する。ここでは、図１６に示すように入力動画像の入力順に、フィルタ特性画像、非フィルタ特性画像の双方を含むＮフレーム毎（Ｎ≧１）のグループを作り、このグループを処理の１単位としている。図１７のフローチャートを用いて、プリフィルタ係数の制御について説明する。
【０１３６】
図１７のフローチャートにおいて、先ず、ステップＳＴ３１では、現在の符号化対象のフレームを含むＮフレーム間でのフィルタの制御を開始する。
【０１３７】
ステップＳＴ３２では、そのＮフレーム間でのフィルタ特性画像の符号化難易度の平均値ｄ＿ave を計算し、次のステップＳＴ３３では、そのＮフレーム間でのプリフィルタ係数の代表値ｋ＿gop を計算する。プリフィルタ係数の代表値ｋ＿gop は、Ｎフレーム間での符号化難易度の平均値ｄ＿ave に対して、代表的な（平均的な）プリフィルタ係数への対応が、予め経験的に決められている。ここでは、上述の図４６に示したように、符号化難易度が大きいほど、通過帯域の狭いローパスフィルタ特性を対応付けておく（すなわちｋ＿gop が小さくなる）。上記符号化難易度の平均値ｄ＿ave とプリフィルタ係数の代表値ｋ＿gop の対応関係は、例えば上述の図５に示すようになる。
【０１３８】
次に、ステップＳＴ３４では、現在符号化対象フレームがフィルタ特性画像であるか、非フィルタ特性画像であるかの判定を行う。フィルタ特性画像であるならば、ステップＳＴ３５へ進み、非フィルタ特性画像であるならば、ステップＳＴ４２に移る。
【０１３９】
ステップＳＴ３５では、フィルタ特性画像の１フレーム内でのフィルタの制御を開始する。先ず、ステップＳＴ３６では、現在の符号化対象の小ブロックの平滑化した符号化難易度ｄ（以下ｄ＿current とする）を読み込み、ステップＳＴ３７では、図１６（ａ）に示すように現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタ係数ｋ＿ref(1)を読み込む。
【０１４０】
次に、ステップＳＴ３８では、上記符号化難易度ｄ＿current とローパスプリフィルタ係数ｋ＿ref(1)から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿current を例えば上述の図９に示した計算例と同様に計算する。
【０１４１】
次のステップＳＴ３９では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ３９の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ３６へ戻る。一方、このステップＳＴ３９の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ４０へ進む。
【０１４２】
ステップＳＴ４０では、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像であるか否かの判定をする。このステップＳＴ４０の判定において、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像でないと判定した場合はステップＳＴ３４へ戻り、一方、現在のフレームがＮフレームからなるグループの最後のフィルタ特性画像であると判定した場合はステップＳＴ４１に進む。
【０１４３】
ステップＳＴ４２では、非フィルタ特性画像の１フレーム内でのフィルタの制御を開始する。先ず、ステップＳＴ４３では、図１６（ｂ）に示すように現在の小ブロックがフレーム間予測で参照する、過去参照画像と未来参照画像の小ブロックで各々使用されたローパスプリフィルタ係数ｋ＿ref(2)とｋ＿ref(3)を読み込み、ステップＳＴ４４では、図１６（ｂ）に示すように時間的に近接するフレームの空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ref(4)を読み込む次に、ステップＳＴ５４では、上記フィルタ係数ｋ＿ref(2)とｋ＿ref(3)とｋ＿ref(4)から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿currentを計算する。
【０１４４】
図１８に上記ローパスプリフィルタ係数ｋ＿current の計算例を示す。現在の符号化対象画像と過去参照画像、未来参照画像が図１６（ｂ）に示すような位置関係である場合、図１８に示す計算例では、先ず、式(g) のように、上記ｋ＿ref(2)とｋ＿ref(3)からｋ＿current を各々の画像の距離に従った内挿補間によって計算する。次に、条件(h)及び条件(i)のように、現在の符号化対象画像の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ref(4)とを比較する。そして、上記ｋ＿current とｋ＿ref(4)の変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。
【０１４５】
具体的には、図１８に示す計算例では、条件(h) のように、上記ｋ＿current がｋ＿ref(4)のＥ倍（Ｅ＞１）より大きい時は、当該ｋ＿current をＥ倍のｋ＿ref(4)へ変更する。また、条件(i) のように、上記ｋ＿current が上記ｋ＿ref(4)のＦ倍（Ｄ＜１）より小さい時は、上記ｋ＿current をＦ倍のｋ＿ref(4)へ変更する。以上のようにして、現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿current を決定する。
【０１４６】
また、非フィルタ特性画像がＩピクチャである場合は、過去参照画像の同じ位置の小ブロックで使用したローパスフィルタ係数をｋ＿ref(2)とし、未来参照画像の同じ位置の小ブロックで使用したローパスフィルタ係数をｋ＿ref(3)として同様に計算する。
【０１４７】
図１７のフローチャートに戻って、上述したステップＳＴ４５の次のステップＳＴ４６では、現在の小ブロックがフレーム内の最後のブロックであるか否かの判定をする。このステップＳＴ４６の判定において、現在の小ブロックがフレーム内の最後のブロックでないと判定した場合は、ステップＳＴ４３へ戻る。一方、このステップＳＴ４６の判定において、現在の小ブロックがフレーム内の最後のブロックであると判定した場合は、ステップＳＴ４７へ進む。
【０１４８】
ステップＳＴ４７では、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像であるか否かの判定をする。このステップＳＴ４７の判定において、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像でないと判定した場合はステップＳＴ４７へ戻り、一方、現在のフレームがＮフレームからなるグループの最後の非フィルタ特性画像であると判定した場合はステップＳＴ４１に進む。
【０１４９】
このステップＳＴ４１にて、Ｎフレームからなるグループでのフィルタの制御を終了する。
【０１５０】
以上のようにして、プリフィルタ制御回路２８及び、内挿補間回路４８では、プリフィルタ係数ｋ＿current を決定する。
【０１５１】
なお、図１７のステップＳＴ３７，ＳＴ３８，ＳＴ４３，ＳＴ４４，ＳＴ４５において、上記フィルタ係数ｋ＿ref(1)，ｋ＿ref(2)，ｋ＿ref(3)，ｋ＿ref(4)を使用する代わりに、現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ref(1)，ｄ＿ref(2)，ｄ＿ref(3)，ｄ＿ref(4)を使用しても良い。
【０１５２】
なお、この場合は、画像処理タイプ判定回路４５において入力画像を非フィルタ特性画像と判定した場合でも画像データＳ１２３を符号化難易度測定回路４６に入力し、動きベクトル検出回路２５から動きベクトル信号ＭＶを符号化難易度測定回路４６に入力して符号化難易度ｄ＿ref(4)を計算する必要がある。      この場合のプリフィルタ係数ｋ＿current の計算方法の例について、図１９を用いて説明する。この図１９において前述の図１７のフローチャートとの違いは、ステップＳＴ５７，ＳＴ５８，ＳＴ６３，ＳＴ６４，ＳＴ６５であり、それぞれ図１７ではステップＳＴ３６，ＳＴ３８，ＳＴ４３，ＳＴ４４，ＳＴ４５に対応する。なお、この図１９のステップＳＴ５１〜ＳＴ５６，ステップＳＴ５９〜ＳＴ６２，ステップＳＴ６５以降は各々、図１７のステップＳＴ３１〜ＳＴ３６，ステップＳＴ３９〜ステップＳＴ４２，ステップＳＴ４６以降と同じであるので、それらのステップの説明は省略する。
【０１５３】
この図１９において、ステップＳＴ５７では、図１６（ａ）に示したように現在の小ブロックがフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ref(1)を読み込む。次にステップＳＴ５８では、現在の符号化対象の小ブロックの符号化難易度ｄ＿current と上記符号化難易度ｄ＿ref(1)から現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿current を例えば上述の図９に示した計算例と同様に計算する。
【０１５４】
また、ステップＳＴ６３では、図１６（ｂ）に示すように現在の小ブロックがフレーム間予測で参照する、過去参照画像と未来参照画像の小ブロックで各々使用された符号化難易度ｄ＿ref(2)とｄ＿ref(3)を読み込み、ステップＳＴ６４では、図１６（ｂ）に示すように時間的に近接するフレームの空間的に同じ位置の小ブロックで使用されたローパスプリフィルタ係数ｋ＿ref(4)を読み込む。
【０１５５】
図２０には上記ローパスプリフィルタ係数ｋ＿current の計算例を示す。現在の符号化対象画像と過去参照画像、未来参照画像が図１６（ｂ）に示すような位置関係である場合、図２０に示す計算例においては、先ず、式(j) のように、上記ｄ＿ref(2)とｄ＿ref(3)からｄ＿currentを内挿補間によって計算する。次に、条件(k)及び条件(l)のように、現在の符号化対象画像の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックの符号化難易度係数ｄ＿ref(4)とを比較する。そして、上記ｄ＿current とｄ＿ref(4)の変化が、予め決めた閾値より大きい時は、その変化を抑えるように制御する。
【０１５６】
具体的には、図２０に示す計算例では、条件(k) のように、上記ｄ＿current がｄ＿ref(4)のＣ倍（Ｃ＞１）より大きい時は、当該ｄ＿current をＣ倍のｄ＿ref(4)へ変更する。また、条件(l) のように、上記ｄ＿current が上記ｄ＿ref(4)のＤ倍（Ｄ＜１）より小さい時は、上記ｄ＿current をＤ倍のｄ＿ref(4)へ変更する。以上のようにして、現在の小ブロックの符号化難易度ｄ＿current を決定する。そして、条件(j)のように上記符号化難易度ｄ＿current とｋ＿gopから現在の小ブロックで使用するローパスプリフィルタ係数ｋ＿current を計算する。
【０１５７】
また、非フィルタ特性画像がＩピクチャである場合は、過去参照画像の同じ位置の小ブロックの符号化難易度をｄ＿ref(2)とし、未来参照画像の同じ位置の小ブロックの符号化難易度をｄ＿ref(3)とする。
【０１５８】
上述した図１９のフローチャートの場合、プリフィルタ制御情報記憶回路２６には、過去に計算された小ブロックの符号化難易度ｄ＿ref が記憶されていて、現在の小ブロックのブロックアドレスmb＿address と動きベクトル信号ＭＶからフレーム間予測で参照する小ブロックの符号化難易度ｄ＿ref を読み出す。
【０１５９】
なお、この時、前述したように、上記符号化難易度ｄ＿ref を読み出す場合に、ブロックアドレスmb＿address だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb＿address の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数d＿refとして読み出しても良い。この場合は、プリフィルタ制御情報記憶回路２６へ動きベクトル信号ＭＶを入力する必要がない。
【０１６０】
図１４に戻って、プリフィルタ２３は、現在の小ブロックに対して、プリフィルタ係数ｋ＿current で指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１２２を出力する。
【０１６１】
当該処理画像信号Ｓ２２とその動きベクトル信号ＭＶは、動画像符号化回路２４へ入力され、ここで所定のフレーム間予測符号化処理が施され、符号化ビットストリームＳ２４として出力端子２９から出力される。
【０１６２】
プリフィルタ２３の構成例を図２１に示す。この図２１に示す構成例において、入力端子５０には当該プリフィルタ２３への入力画像信号Ｓ３００が供給される。一方、入力端子５１にはプリフィルタ制御回路２８又は内挿補間によるプリフィルタ制御回路２８から入力されるローパスプリフィルタ係数ｋ＿current が入力される。
【０１６３】
ここで、ローパスプリフィルタ係数ｋ＿current は、０≦ｋ＿current ≦１の値を取るように定める。
【０１６４】
入力画像信号Ｓ３００は、ローパスフィルタ５２に入力され、ここでローパスフィルタ処理される。ローパスフィルタ５２による処理画像信号Ｓ３０１は、演算器５３に入力される。演算器５３は、処理画像信号Ｓ３０１と入力画像信号Ｓ３００との差分信号Ｓ３０２を出力する。ここに、
Ｓ３０２＝Ｓ３０１−Ｓ３００
である。
【０１６５】
次に、差分信号Ｓ３０２は、演算器５４に入力される。演算器５４は、差分信号Ｓ３０２にローパスプリフィルタ係数ｋ＿current を乗算した信号Ｓ３０３を出力する。ここに、
Ｓ３０３＝Ｓ３０２×ｋ＿current
である。
【０１６６】
次に、演算器５４からの信号Ｓ３０３は、演算器５５に入力される。演算器５５は、信号Ｓ３０３と入力画像信号Ｓ３００との加算信号であるプリフィルタ処理画像信号Ｓ３０４を出力する。ここに、
0004186242.tif 000003
である。
【０１６７】
また、動画像符号化回路２４には、例えば上述の図１１に示した構成のものが用いられる。また、符号化難易度測定回路４６には、例えば上述の図１１に示した構成のものが用いられる。
【０１６８】
次に、本発明の第４の構成例の動画像符号化回路を図２２に示す。
【０１６９】
この図２２に示す第４の構成例において、上述した第３の構成例の動画像符号化回路との大きな違いは、プリフィルタ制御回路６７に入力する符号化難易度ｄ（ｄ＿current ）として、動きベクトル検出回路６６から出力される予測残差、すなわち前述の式(1) で計算される、現在のブロックの信号Ａijと任意の動きベクトルにより参照されるブロックの信号Ｆijの差の絶対値の和Ｅf を用いている点である。
【０１７０】
この図２２において、入力端子６０から入力されるディジタル動画像信号Ｓ１００は、フレームメモリ群６１に送られ、記憶される。このフレームメモリ群６１に記憶された画像データＳ１０３を用いて、動きベクトル検出回路６６は、フレーム間の動きベクトルを前記第３の構成例で説明したにように検出する。
【０１７１】
動きベクトル検出回路６６では、入力画像の小ブロック毎に動きベクトル信号ＭＶと上述の式(1) から計算される予測残差Ｅf を計算し、動きベクトル信号ＭＶを動画像符号化回路６３とプリフィルタ制御情報記憶回路６５に入力する。
【０１７２】
画像処理タイプ判定回路６４では、入力された画像データの処理番号pict＿numberより、現在処理中の画像がフィルタ特性画像であるか非フィルタ特性画像であるかの判定を行う。現在処理中の画像がフィルタ特性画像、例えばＰピクチャ、であったならば、回路切替え信号pict_type(1)をフィルタ制御情報記憶回路６５と動きベクトル検出回路６６に入力する。
【０１７３】
回路切替え信号pict_type(1) を入力された動きベクトル検出回路６６では、予測残差Ｅf を、その小ブロックの符号化難易度ｄ(ｄ＿raw)として出力する。
【０１７４】
符号化難易度平滑化回路６９では、近接する小ブロック間で、フィルタ係数が極端に異なることを避けるために、入力したｄ(ｄ＿raw )をフレーム内で平滑化し、平滑化符号化難易度情報ｄ(ｄ＿current )を計算する。符号化難易度平滑化回路６９での平滑化処理は第３の構成例と同様に行う。プリフィルタ制御回路６７へは、現在の符号化対象の小ブロックの符号化難易度ｄ(ｄ＿current) が入力される。また、プリフィルタ制御情報記憶回路６５には、過去に入力された小ブロックで使われたプリフィルタ係数が記憶されている。ここで、このプリフィルタ制御情報記憶回路６５には、現在の小ブロックのフレーム上での位置を表すブロックアドレスmb＿address と現在の小ブロックの動きベクトル信号ＭＶ及び、回路切替え信号pict_type(1)が入力される。
【０１７５】
このプリフィルタ制御情報記憶回路６５では、これらに基づいて現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿ref(1)を読み出し、これをプリフィルタ制御回路６７へ入力する。
【０１７６】
なお、フィルタ係数ｋ＿ref(1)を読み出す場合は、ブロックアドレスmb＿address だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb＿address の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータをフィルタ係数ｋ＿ref として読み出しても良い。この場合は、プリフィルタ制御情報記憶回路６５へ動きベクトル信号ＭＶを入力する必要はない。
【０１７７】
プリフィルタ制御回路６７は、上記符号化難易度ｄとフィルタ係数ｋ＿ref(1)が入力されると、これらに基づいて現在の小ブロックに使用するローパスプリフィルタの通過帯域制限を指定するパラメータとしてフィルタ係数ｋ＿current を生成出力し、これをプリフィルタ６２へ入力する。ここで、当該プリフィルタ６２の特性は、例えば前述した図４５のような特性とする。したがって、ここでは、上記フィルタ係数ｋ＿current が小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【０１７８】
なお、プリフィルタ６２の特性は、図４５に示した特性のローパスフィルタに限らず、これ以外の特性をもつローパスフィルタであってもよい。
【０１７９】
プリフィルタ制御回路６７で計算されたフィルタ係数ｋ＿current は、また、プリフィルタ制御情報記憶回路６５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値ｋ＿ref として利用されることになる。
【０１８０】
また、画像処理タイプ判定回路６４において、入力されたpict＿number より、現在処理中の画像が非フィルタ特性画像、例えばＩ、Ｂピクチャ、であると判定した場合、回路切替え信号 pict_type(2) をフィルタ制御情報記憶回路６５と動きベクトル検出回路６６に入力し、現在の小ブロックのフレーム上での位置を表すブロックアドレスmb＿address をプリフィルタ制御情報記憶回路６５と内挿補間回路７０に入力する。
【０１８１】
回路切替え信号 pict_type(2) を入力された動きベクトル検出回路６６では、予測残差Ｅf の出力を行わない。
【０１８２】
現在の小ブロックのブロックアドレスmb＿address と現在の小ブロックの動きベクトルＭＶ及び、回路切替え信号 pict_type(2) を入力されたプリフィルタ制御情報記憶回路６５は現在の小ブロックがフレーム間予測で参照する未来参照画像と過去参照画像の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ref(2)、ｋ＿ref(3)と時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータとしてのフィルタ係数ｋ＿ref(4)を読み出し、内挿補間回路７０に入力する。
【０１８３】
なお、上記フィルタ係数ｋ＿ref(2)、ｋ＿ref(3)を読み出す場合には、ブロックアドレスmb＿address だけを使用して、フレーム間予測で参照するフレーム上の同じブロックアドレスmb＿address の位置にある小ブロックで使用されたローパスプリフィルタの通過帯域制限を指定するパラメータを上記フィルタ係数ｋ＿ref(2)，ｋ＿ref(3)として読み出すようにしても良い。この場合は、プリフィルタ制御情報記憶回路６５へ動きベクトル信号ＭＶを入力する必要はない。
【０１８４】
現在の小ブロックの動きベクトル信号ＭＶ及び、パラメータとしてのフィルタ係数ｋ＿ref(2)，ｋ＿ref(3)，ｋ＿ref(4)を入力された内挿補間回路７０は、過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照画像のフィルタ係数ｋ＿ref(3)を基に内挿補間を行い、更に時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)を用いて現在の小ブロックのフィルタ係数ｋ＿current を生成出力し、これをプリフィルタ６２へ入力する。
【０１８５】
ここで、現在の小ブロックと時間的に近接する画像の空間的に同じ位置の小ブロックで使用されたフィルタ係数ｋ＿ref(4)を用いず、現在の小ブロックがフレーム間予測で参照する小ブロックで使用されたフィルタ係数ｋ＿ref(2)、ｋ＿ref(3)のみを読み出して現在の小ブロックのフィルタ係数ｋ＿current を生成出力するようにしても良い。
【０１８６】
また、非フィルタ特性画像が例えばＭＰＥＧ方式のＩピクチャーのように、フレーム間予測を行わない画像であった場合には、時間的に前後するフィルタ特性画像の空間的に同じ位置の小ブロックのフィルタ係数を過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照画像のフィルタ係数ｋ＿ref(3)として読み出し、内挿補間を行う。この場合は時間的に近接する画像の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)は用いない。
【０１８７】
また、Ｉピクチャーにおいても、動き予測を行っている場合には、Ｉピクチャーもフィルタ特性画像として用いても良い。ここで、当該プリフィルタ６２の特性は、例えば前述した図４５のような特性とする。したがって、ここでは、フィルタ係数ｋ＿current が小さいほど、通過帯域の狭いローパスフィルタ特性となる。
【０１８８】
内挿補間回路７０で計算されたフィルタ係数ｋ＿current は、また、プリフィルタ制御情報記憶回路６５へ入力されて記憶され、これが未来に入力される小ブロックに使うプリフィルタ係数を決定する時の参照値（フィルタ係数ｋ＿ref ）として利用されることになる。
【０１８９】
以上のようにして、適応的にプリフィルタ６２のフィルタ係数を決定し、符号化画質の主観的印象が良く、かつ符号化効率の良い符号化方式を実現する。
【０１９０】
フィルタ係数ｋ＿current の計算方法は、第１の構成例において図６を用いて説明した計算例と同様である。
【０１９１】
プリフィルタ６２は、現在の小ブロックに対して、プリフィルタ係数ｋ＿current で指定されるローパスフィルタ処理を施して、処理画像信号Ｓ１０２を出力する。
【０１９２】
当該処理画像信号Ｓ１０２とその動きベクトル信号ＭＶは、動画像符号化回路６３へ入力され、所定のフレーム間予測符号化処理（例えばいわゆるＭＰＥＧ方式の符号化処理）が施され、この符号化ビットストリームＳ１０４が出力端子６８から出力される。動画像符号化回路６３の構成は、第２の構成例において図１０を用いて説明したものと同様である。
【０１９３】
このような第３の構成例の動画像符号化回路では、フレーム間予測符号化を施す動画像信号に対するプリフィルタ処理の際のフィルタ特性を、画面を分割する小ブロック単位の符号化難易度ｄに応じて適応的に変更可能としているので、視覚特性を考慮して、画面内の局所的に速い動きや複雑な絵柄であり符号化難易度の大きい部分では通過帯域の比較的狭いローパスフィルタを選択でき、一方、遅い動きや平坦な絵柄であり符号化難易度の小さい部分では通過帯域の比較的広いローパスフィルタを選択できる。
【０１９４】
また、ＭＰＥＧ方式のように画像毎に符号化難易度の異なる符号化方式を考慮し、連続する画像間で極端にプリフィルタ係数が異なることがないようにするために、符号化難易度を参照する画像を特定している。
【０１９５】
更に、第４の構成例の動画像符号化装置では、上記小ブロックの符号化難易度ｄだけでなく、現在の符号化対象の小ブロックがフレーム間予測で参照する小ブロック及び、近接する画像の空間的に同じ位置の小ブロックで使われたプリフィルタ制御情報をも合わせて考慮しており、フレーム間予測符号化効率が低下しないように、上述のように選択されたフィルタ特性を修正して、最終的に現在の符号化対象の小ブロックに対するプリフィルタ特性を決定するようにしているので、ローパスプリフィルタ処理された動画像は、従来よりも、符号化画質の主観的印象が良く、かつ符号化効率の良いものとすることができる。
【０１９６】
ここで、上述した第１乃至第４の構成例の動画像符号化装置での符号化により得られた符号化ビットストリームは、信号記録媒体に記録されたり、伝送路を介して伝送されることになる。
【０１９７】
つぎに、上述したノイズ低減回路１４の構成の一例について説明する。このノイズ低減回路１４は、図２３に示すように、入力端子７１から入力されたＭＰＥＧデコーダ１３からの画像データが入力されるブロック歪低減回路７２と、ブロック歪低減回路７２から画像データが入力されるフィールド巡回型ノイズ低減回路７３とを備え、フィールド巡回型ノイズ低減回路７３からの出力を出力端子７４から上述の画質補正回路１５に出力する。
【０１９８】
ブロック歪低減回路７２は、図２４に示すように構成されている。この図２４に示したブロック歪低減回路７２において、クロマ信号入力端子７６には、上述のＭＰＥＧエンコーダ５でブロック符号化等の圧縮符号化が施された後にＭＰＥＧデコーダ１３で復号された画像データのクロマ成分が入力され、輝度信号入力端子７７には、輝度成分が入力される。
【０１９９】
ＨＤ・ＶＤ入力端子７８には、水平同期信号及び垂直同期信号が入力され、制御信号発生部７９に送られて、各回路で必要なタイミング信号が作成される。
【０２００】
輝度信号入力端子７７より入力された輝度信号は、補正信号算出部８０と、パラメータ算出部８１と、エッジ抽出部８２と、切換選択スイッチ８３と、動き検出部８４とに送られる。
【０２０１】
補正信号算出部８０において、上記入力された輝度信号が加算器８５及び補正値算出部８６に送られている。補正値算出部８６では、境界の両隣の画素の隣接差分から補正後の傾きを予測して補正値を求め、また、ブロック歪判定部からの補正強／弱情報に基づいてこれに応じた補正を求め、さらに境界の距離に反比例した各画素毎の補正値を求める。この補正値算出部８６からの補正値を加算器８５に送って上記入力輝度信号と加算している。
【０２０２】
また、入力輝度信号は、エッジ抽出部８２のＨＰＦ（ハイパスフィルタ）８７に入力され、エッジ要素の検出の為に２次微分を行なう。本実施の形態では、例えばラプラシアンを用いて、エッジ要素の抽出を行なう。ＨＰＦ８７でエッジ抽出された信号は、最大値抽出部８８に入力される。ここでは、次段の２値化部８９で必要なしきい値を求める為に、ブロック境界をはさんだエッジ抽出ブロック内において最大値の検出を行なう。
【０２０３】
２値化部８９では、最大値抽出部８８で求められたしきい値と、ＨＰＦ８７でエッジ要素抽出された信号が入力され、しきい値をもとに、信号の２値化を行なう。ハフ変換部９０では、２値化された信号をもとに、ブロック境界をはさむエッジ抽出ブロック内でハフ変換を行ない、これによりエッジ要素をパラメータ空間（ρ、θ）に写像することにより、ブロック内の直線（ρ０、θ０）を求める。求まったρ０、θ０はブロック歪判定部９１へ入力される。
【０２０４】
また、輝度信号入力端子７７からの上記入力輝度信号は、パラメータ演算部８１のパラメータ演算回路９２へ入力され、ブロック歪判定部９１で必要な補正ブロック内のパラメータを求める。
【０２０５】
また、上記入力輝度信号は、動き検出部８４のメモリ９３へ入力され、メモリコントローラ９４からの制御によって書き込みが行われる。メモリコントローラ９４によって、メモリ９３から読みだされた前フィールドの輝度信号は、パターンマッチング部９５へ入力され、一方で入力された輝度信号とパターンマッチングが行なわれる。このパターンマッチングの演算結果は動きベクトル判定部９６へ入力され、動きの大きさを判断できる。ここで、求まった動きの有無はブロック歪判定部９１に入力される。
【０２０６】
ブロック歪判定部９１では、エッジ抽出部からのブロック内の直線成分（ρ０、θ０）とパラメータ演算部からの補正ブロック内のパラメータと動き検出部からの動きの大きさを用いて、ブロック歪か否かの判定、ブロック歪補正値を制御して使うか（弱）否か（強）の判定を行ない、この補正強／弱信号を補正信号算出部８０の補正値算出回路３２へ送り、また補正ＯＮ／ＯＦＦ信号を切換選択スイッチ（セレクタ）８３のコントロール端子に送る。
【０２０７】
また、上記入力輝度信号は、補正信号算出部８０の加算器８５に入力され、輝度信号と補正値算出部８６から求めた補正値を加算することにより、ブロック歪除去された信号が求められ、切換選択スイッチ（セレクタ）８３へ送られる。
【０２０８】
セレクタ８３では、ブロック歪判定部９１からのブロック歪ＯＮ／ＯＦＦ信号に応じて、入力された輝度信号をそのまま出力するか、補正された信号を出力するかを選択する。
【０２０９】
一方、入力されたクロマ信号は遅延回路９７に入力され、補正回路を通過する輝度信号との遅延を合わせる。
【０２１０】
なお、セレクタ８３を使わずに、ブロック歪判定部９１からのブロック歪ＯＮ／ＯＦＦ信号がＯＦＦの場合には補正値算出部８５からの出力である補正信号を０にする方法を用いてもよい。
【０２１１】
なお、この図２４のノイズ除去回路７２では、輝度信号についてのみブロック歪低減処理を施すことを想定しているが、クロマ信号についても同様の処理を施すことができる。
【０２１２】
次に、上記図２４で示す構成のブロック歪低減回路７２におけるブロック歪低減処理のアルゴリズムについて、さらに詳細に説明する。
図２５は、本発明の実施の形態となるブロック歪低減方法のアルゴリズムを説明するためのフローチャートを示している。この図２５の例では、Ｈ（水平）方向についての処理のアルゴリズムを示しているが、Ｖ（垂直）方向についてのブロック歪低減アルゴリズムは、Ｈ方向の処理がＶ方向に変わる以外は同様であるため説明を省略する。
【０２１３】
この図２５において、最初のステップＳＴ７１では、Ｈ方向の総てのブロック境界について、ブロック歪低減処理が終了したか否かを判別しており、ＹＥＳの場合は処理を終了し、ＮＯの場合に次のステップＳＴ７２に進む。
【０２１４】
ここで、ブロック歪低減処理のために用いられる画素について、図２６を参照しながら説明する。この図２６の例では、例えば、ブロック符号化にＤＣＴ符号化が用いられ、８×８画素でＤＣＴブロックを構成する場合の処理対象の具体例を示している。すなわち、図中の左右のＤＣＴブロック１００Ｌ，１００Ｒのブロック境界から左側及び右側にそれぞれ５画素ずつがブロック歪低減処理に用いられ、ブロック境界から４画素ずつが補正範囲とされるとき、エッジ抽出ブロック１０１はブロック境界を中心とする８×８画素のブロックであり、ブロック歪補正処理ブロック１０３は、このエッジ抽出ブロック１０１内の１ライン上の８画素から成るブロックである。上記図２６の最初のステップＳＴ７１では、ブロック歪補正処理が全ての補正処理ブロック１０２について行われたか否かを判別している。
【０２１５】
次のステップＳＴ７２では、ブロック歪か否かの判定に必要とされるパラメータとしての境界差分｜tmp0｜、アクティビティ｜tmp｜ 及び隣接差分｜diff｜を、次の計算式により求める。
【０２１６】
0004186242.tif 000004
これらの計算式から明らかなように、境界差分｜tmp0｜は、図２７のＤＣＴブロックの境界を挟んで隣接する画素ｅ，ｆ間の差分の絶対値であり、アクティビティ｜tmp｜ は、ブロック歪処理ブロック１０２についての各隣接画素間（ただしｅ，ｆ間を除く）の差分の絶対値の平均値であり、隣接差分｜diff｜は、画素ｃ，ｄ間、ｄ，ｅ間、ｆ，ｇ間、ｇ，ｈ間の各差分の絶対値である。
【０２１７】
次に、ステップＳＴ７３において、補正処理ブロックに対応する上記エッジ抽出ブロック１０１内のエッジ抽出を行ない、直線成分（ρ０、θ０）を求める。このエッジ抽出処理の詳細については、後ほど説明する。
【０２１８】
次に、ステップＳＴ７４に進んで、補正処理ブロックを挟む上記２つのＤＣＴブロック１００Ｌ，１００Ｒについて、動きの大きさを調べる。この動き検出動作の詳細については、後ほど説明する。
【０２１９】
次に、ステップＳＴ７５ａでは、上記各ステップＳＴ７２，ＳＴ７３，ＳＴ７４で求めたパラメータ、直線成分（ρ０、θ０）、及び動きの大きさを用いて、このブロック境界にブロック歪があるかどうかの判定と補正の強さの判定処理を行なう。このブロック歪判定処理の一例については、後ほど説明する。
【０２２０】
次のステップＳＴ７５ｂで、ブロック歪ありとされればステップＳＴ７６ａに進み、ブロック歪無しとされればステップＳＴ７８に進む。
【０２２１】
ブロック歪と判定されれば、ステップＳＴ７６ａに進み、画像の性質、特に線形性に基づいて、隣接差分から補正後の境界段差｜step｜を、
｜step｜＝｜diff3＋diff4｜／２
の式から求める。そして、補正後にこれだけの境界段差｜step｜を持たせるために必要な補正量｜σ｜を、
｜σ｜＝（｜tmp0｜−｜step｜）／２
により求める。ここで、上記境界差分｜tmp0｜を所定の閾値corr_th で弁別して補正の強さを切り換えることが好ましく、この場合、｜tmp0｜＜corr_th となって補正の強さを強（補正強）とするとき、補正量｜σ｜を、
｜σ｜＝（｜tmp0｜−｜step｜）／２
とし、｜tmp0｜≧corr_th となって補正弱のとき、上記補正量｜σ｜を半分に減らして、
｜σ｜＝（｜tmp0｜−｜step｜）／４
の補正を行う。
【０２２２】
これは、上記境界差分｜tmp0｜が所定の閾値corr_th より大きい場合は、本当はブロック境界にエッジが存在するのに、ブロック歪判定で誤判定された可能性もあるので、誤補正を回避するために、上記補正の強さを強／弱に切り換えるものである。
【０２２３】
次のステップＳＴ７６ｂでは、得られた補正値｜σ｜から、各画素毎の補正値を求める。隣の補正範囲とのつなぎ目を滑らかにする為、またブロック歪は境界付近程強く現れることから、次の式に示すように、境界からの距離に反比例した補正値を求める。
【０２２４】
具体的には、図２７の補正範囲１０２内の各画素ｂ〜ｉについての各補正値をそれぞれ｜σb｜〜｜σi｜とするとき、上記補正値｜σ｜を用いて、
｜σe｜＝｜σ｜      ，｜σf｜＝｜σ｜
｜σd｜＝｜σ｜／２  ，｜σg｜＝｜σ｜／２
｜σc｜＝｜σ｜／４  ，｜σh｜＝｜σ｜／４
｜σb｜＝｜σ｜／８  ，｜σi｜＝｜σ｜／８
のような各補正値をそれぞれ求める。
【０２２５】
次のステップＳＴ７６ｃでは、上記ステップＳＴ７６ｂで求められた各画素ｂ〜ｉ毎の補正値｜σb｜〜｜σi｜を用いて、ブロック歪補正された映像信号（画像データ）ＳＢb〜ＳＢiを求める。
【０２２６】
具体的には、補正前の各画素ｂ〜ｉの入力画像データをＳb〜Ｓiとするとき、上記tmp0の正負に応じて、補正された画像データＳＢb〜ＳＢiを、
tmp0≧０：ＳＢb＝Ｓb＋｜σb｜  ，tmp0＜０：ＳＢb＝Ｓb−｜σb｜
tmp0≧０：ＳＢc＝Ｓc＋｜σc｜  ，tmp0＜０：ＳＢc＝Ｓc−｜σc｜
tmp0≧０：ＳＢd＝Ｓd＋｜σd｜  ，tmp0＜０：ＳＢd＝Ｓd−｜σd｜
tmp0≧０：ＳＢe＝Ｓe＋｜σe｜  ，tmp0＜０：ＳＢe＝Ｓe−｜σe｜
tmp0≧０：ＳＢf＝Ｓf−｜σf｜  ，tmp0＜０：ＳＢf＝Ｓf＋｜σf｜
tmp0≧０：ＳＢg＝Ｓg−｜σg｜  ，tmp0＜０：ＳＢg＝Ｓg＋｜σg｜
tmp0≧０：ＳＢh＝Ｓh−｜σh｜  ，tmp0＜０：ＳＢh＝Ｓh＋｜σh｜
tmp0≧０：ＳＢi＝Ｓi−｜σi｜  ，tmp0＜０：ＳＢi＝Ｓi＋｜σi｜
とするような補正を行う。
【０２２７】
次のステップＳＴ７７では、このようにブロック歪補正処理された信号を出力する。
【０２２８】
上記ステップＳＴ７５ｂでブロック歪でないと判定されれば、ステップＳＴ７８に進んで、補正範囲の原信号をそのまま出力する。
【０２２９】
次に、上記ステップＳＴ７３におけるエッジ検出処理の動作の一例について、図２７を参照しながら説明する。
【０２３０】
図２７の最初のステップＳＴ８１では、エッジ要素抽出の為、エッジ抽出ブロック内の入力信号に対して、２次元ＨＰＦ（ハイパスフィルタ）、例えばラプラシアンフィルタをかけている。
【０２３１】
この２次元のラプラシアンフィルタとしては、例えば図２８の係数のようなものが挙げられるが、この図２８の例に限定されるものではなく、また例えば、 Sobelオペレータ、 Prewittオペレータ、Kirschオペレータ、Robinsonオペレータ等の種々の変形が考えられる。
【０２３２】
次に、ステップＳＴ８２に進んで、上記ＨＰＦをかけたブロック内の信号の最大値Ｍaxを検出し、次のステップＳＴ８３でこの最大値Ｍaxに基づく閾値Thresh（例えばThresh＝Ｍax／２）を用いて２値化を行い、エッジ要素を抽出する。すなわちこの２値化は、入力信号Ｓin＞Threshのとき、出力信号Ｓout ＝１とし、Ｓin≦Threshのとき、Ｓout ＝０とするような処理である。
【０２３３】
次に、ステップＳＴ８４に進んで、抽出されたエッジ要素に、ハフ変換を行ない、パラメータ空間（ρ，θ）に写像する。このハフ変換は、ブロック内のエッジ要素（ｘ，ｙ）をパラメータ空間（ρ，θ）に、
ｘcosθ＋ｙsinθ＝ρ
の式により写像するものである。
【０２３４】
次のステップＳＴ８５で、このパラメータ空間で多くの点が集まる（ρ０，θ０）を検出する。この（ρ０，θ０）を通過する直線がエッジ抽出ブロック内で検出された直線エッジということになり、ステップＳＴ８６でパラメータ（ρ，θ）を出力している。
【０２３５】
次に、上記図２５のステップＳＴ７４での動き検出処理の動作の一例について、図２９を参照しながら説明する。
【０２３６】
この図２９の動き検出処理においては、上記図２７における処理する補正処理ブロックのブロック境界を挟む左右のＤＣＴブロック１００Ｌ，１００Ｒについて、パターンマッチングを行なう。
【０２３７】
パターンマッチングはＤＣＴブロック内の総ての画素について、同一位置の前フィールドの画素をメモリーから読みだし（ステップＳＴ９２）、次の式（１）に示す演算式の処理を行い（ステップＳＴ９３）、メモリに現フィールドの画素を書き込む（ステップＳＴ９４）。
【０２３８】
この式（１）において、Ｓn(i,j)は、ｎフィールドにおける位置（ｉ，ｊ）の画素の輝度信号を示し、BLK_H，BLK_Vは、それぞれＨ，Ｖ方向のＤＣＴブロックサイズを示している。
【０２３９】
これらのステップＳＴ９２〜ＳＴ９４の処理について、ＤＣＴ（Ｍ×Ｎ）ブロック内の全ての画素について、処理が終わったか否かを最初のステップＳＴ９１で判別し、ＹESのとき（処理が終了したとき）にはステップＳＴ９５に進んで、上記式（１）で求めたＣｒの値に応じて、動き判定を行っている。
【０２４０】
このステップＳＴ９５の動き判定としては、上記Ｃｒの値に対して所定の閾値mov_thＬ，mov_thＨ（ただしmov_thＬ＜mov_thＨ）を設定し、
Ｃｒ＜mov_thＬ            のとき、動き小
mov_thＬ≦Ｃｒ＜mov_thＨ  のとき、動き中
mov_thＨ≦Ｃｒ            のとき、動き大
のような判定を行うことが挙げられる。
【０２４１】
なお、この図２９の例では、パターンマッチングをＤＣＴブロック内の総ての画素について行ったが、この例にのみ限定されるものではなく、例えば、ＬＰＦをかけ、２、４画素の間引き処理を行なった後、間引かれた画素についてパターンマッチングを行なう等の変形も考えられる。
【０２４２】
また、図２９の例では、動きの大きさを求める手段として、同一位置のＤＣＴブロックに対するパターンマッチングを用いたが、この例にのみ限定されるものではなく、例えば、動き補償範囲内のすべての試行ベクトルについてパターンマッチングＣ（ｋ）を比較し、最小のＣ（ｋ）を与える試行ベクトルを動きベクトルとして動きの有無を求める変形や、代表点マッチングを行なう等の変形も考えられる。
【０２４３】
次に、上記図２５のステップＳＴ７５ａ，ＳＴ７５ｂにおけるブロック歪判定動作の一例について、図３０を参照しながら説明する。
【０２４４】
この図３０に示す例においては、パラメータ判定と動き検出による判定とを組み合わせて用いている。
【０２４５】
まず、上記図２６の補正処理ブロックのブロック境界を挟む左右のＤＣＴブロック１００Ｌ，１００Ｒについて、上述したようなパターンマッチングを行って、動きの大きさを調べ、ステップＳＴ１０１で、検出された動きが小であるか否かを判別する。両方のＤＣＴブロック１００Ｌ，１００Ｒ内の動きが小さいとされれば、量子化誤差は無いと判断し、ステップＳＴ１０６に進んで、ブロック歪補正をかけずに処理を終了する。
【０２４６】
ステップＳＴ１０１でＮＯ、すなわち動きが小さくないときには、次のステップＳＴ１０２に進んで、直線エッジがブロック境界上に存在するか否かを判別する。このとき、ρ０＝エッジ抽出ブロックサイズ／２，θ０＝π／２とする。ステップＳＴ１０２で境界上にあると判別されれば、強いブロック歪があるとされ、ステップＳＴ１０８に進んで、ブロック歪（強）の補正をかける。
【０２４７】
ステップＳＴ１０２でＮＯと判別されれば、ステップＳＴ１０３に進んで、上記図４の左右のＤＣＴブロック１００Ｌ，１００Ｒの境界の近傍領域（エリア）内を直線エッジが通過するか否かを判別する。通過すれば、弱いブロック歪があるとして、ステップＳＴ１０７に進んで、ブロック歪（弱）の補正をかける。
【０２４８】
ステップＳＴ８３でＮＯと判別されたときには、パラメータを用いてブロック歪の判定を行って、補正強か（ステップＳＴ１０４）、補正弱か（ステップＳＴ１０５）の判別を行う。補正強と判別されたときにはステップＳＴ１０８に進み、補正弱と判別されたときにはステップＳＴ１０７に進む。それ以外は、補正ｏｆｆとされ、ステップＳＴ１０６に進む。
【０２４９】
ここで、上記ブロック歪判定の一例を説明すると、上記パラメータ｜tmp0｜、｜tmp｜ 及び｜diff｜に基づいて、次のような条件判別を行うことによりブロック歪か否かの判定を行う。この判定条件は、
(1) 周辺と比べて突出した段差であるか否か。
：境界差分｜tmp0｜＞アクティビティ｜tmp｜
(2) 直流成分及び低周波成分の量子化誤差による段差であるか、すなわち、ブロック歪による段差であるか否か。
：境界差分｜tmp0｜＜閾値div_th
ここで、閾値div_thとしては、本実施の形態では固定値を用いたが、各ブロックの量子化ステップサイズの最大値に比例した値を用いることもできる。
(3) 境界の両隣に境界の段差より大きな段差がないか、すなわち、境界の両隣にエッジがないか否か。
：隣接差分｜diff3｜≦境界差分｜tmp0｜
かつ、隣接差分｜diff4｜≦境界差分｜tmp0｜
の３つである。
【０２５０】
これらの３つの判定条件の全てが満たされれば、ブロック歪ありとされる。また、補正の強さは、上記境界差分｜tmp0｜が所定の閾値corr_th より小さいか否かに応じて決定しており、
｜tmp0｜＜corr_th   のとき、補正強
｜tmp0｜≧corr_th   のとき、補正弱
ただし、corr_th＜div_th
としている。
【０２５１】
ここで、上記各閾値div_th，corr_th の値は、上記動き検出処理により得られた動きの大きさによって適応的（アダプティブ）に変化させることが好ましい。例えば、
動き大のとき、div_th ＝DIV_TH （定数）
corr_th＝CORR_TH（定数）
動き中のとき、div_th ＝DIV_TH／２
corr_th＝CORR_TH／２
とすればよい。
【０２５２】
なお、動き検出処理における動きの大きさは、大／中／小の３段階にのみ限定されるものではなく、上記各閾値div_th，corr_th の値も上記動き大／中の２段階には限定されず、さらに細かい段階に変化させるようにしてもよい。
【０２５３】
次に、上記図２７と共に説明したエッジ抽出処理の方法としては、前述のハフ変換を用いずに、以下に述べるような簡易な方法で行うこともできる。
【０２５４】
この簡易なエッジ抽出の場合の動作を説明するためのフローチャートを図３１に示し、このエッジ抽出を用いる場合のブロック歪低減回路の概略構成のブロック図を図３２に示す。
【０２５５】
この例においては、先ず、図３１のステップＳＴ１１１に示すように、エッジ抽出を１次元（水平方向）の２次微分（ＢＰＦ：バンドパスフィルタ）により行なっている。２次微分特性の伝達関数Ｈ（ｚ）としては、例えば、
Ｈ（ｚ）＝（−１＋２ｚ-1−ｚ-2）／４
が挙げられる。
【０２５６】
２次微分信号の絶対値をとった後、ステップＳＴ１１２では処理ブロック内で最大値の検出を行い、この最大値を用いて次のステップＳＴ１１３でＢＰＦ処理画像の２値化を行い、エッジ検出を行なう。２値化する際の閾値は、前述の例と同様に、例えばブロック内で２次微分および絶対値処理して得た最大値の１／２とすればよい。
【０２５７】
図３２のエッジ抽出部８２’では、端子７７からの輝度信号入力を、ＢＰＦ８７’で上述のように２次微分し、絶対値化回路１１０で絶対値をとり、最大値検出回路８８で最大値を検出している。最大値検出回路８８からの閾値２値化回路８９に送り、絶対値化回路１１０からの信号を２値化している。２値化回路８９からの出力は、垂直相関検出部１１１に送られる。
【０２５８】
垂直相関検出部１１１では、このようにして抽出されたエッジ成分のブロック境界における垂直相関の強さを求める。このときの垂直相関の強さを求める方法の一例を図３３を用いて説明する。
【０２５９】
この図３３において、注目するブロック境界を含む領域ｂとその近傍の領域ａおよびｃに分割する。先に抽出したエッジ成分の数を各領域毎に算出する。これらをＥａ、Ｅｂ、Ｅｃとする。図３３において、エッジとして抽出された画素を１と記し、エッジではないと判別された画素を０と記している。本例では、Ｅａ＝５、Ｅｂ＝１２、Ｅｃ＝５となる。
【０２６０】
ブロック境界を含む領域とそうでない領域におけるエッジ成分の数の比Ｋｖを求め、クラス分けを行なう（図３１のステップＳＴ１１４）。
【０２６１】
例えば、
Ｋｖ≧４    の時、    クラス１
２≦Ｋｖ＜４    の時、    クラス２
１≦Ｋｖ＜２    の時、    クラス３
Ｋｖ＜１    の時、    クラス４
とする。図３４の例では、
Ｋｖ＝（２×１２）／（５＋５）
＝２．４
なのでクラス２となる。
【０２６２】
次に、図３２のブロック歪の判定部９１’の役割について説明する。各クラスに応じて重み係数Ｋｃを割り当てる。この各クラス毎の重み係数Ｋｃとしては、例えば
0004186242.tif 000005
とすることが挙げられる。
【０２６３】
一方、パラメータ算出部で求めた各パラメータ値から、補正ＯＦＦ／弱／強の判定を行ない、重み係数Ｋｐを得る。
【０２６４】
0004186242.tif 000006
重み係数ＫｃおよびＫｐの積（Ｋｃｐ＝Ｋｃ×Ｋｐ）後を補正値算出部に送り、ブロック歪補正量の制御を行なう。
【０２６５】
よって、ブロック境界部の垂直相関が強い場合には、補正量が大きくなり、ブロック歪の除去が効果的に行うことができる。つまり、ブロック歪の検出精度を高めることになる。
【０２６６】
なお、図３２の他の構成及び動作は、上述した図２５の例と同様であるため、対応する部分に同じ指示符号を付して説明を省略する。
【０２６７】
本例では、クラスおよび補正段階をそれぞれ４および３段階として説明したが、特にこれに限定されず、例えば重み係数Ｋcを下記の式により求めても良い。
【０２６８】
Ｋc＝Ｅb／（Ｅa＋Ｅb＋Ｅc）
また、相関検出部から得たクラスにより、ブロック歪判定部の検出の閾値であるdiv-thの値を制御してもよい。例えば、垂直相関が弱い程、ブロック歪である可能性が低いので、検出の閾値div_thの値を大きくし、検出しにくい方向へ制御する。
【０２６９】
なお、本発明の実施の形態におけるエッジ抽出部、補正信号算出部、ブロック歪判定パラメータ算出部等については、上述したようなアルゴリズムを用いたが、これらのアルゴリズムにのみ限定されるものではなく、例えば、補正信号算出部にはＬＰＦを用いたり、エッジ抽出部にはエッジ追跡によるエッジ抽出法などの種々のエッジ抽出法、ブロック歪判定部には種々のパラメータを使うといった種々の変形が考えられる。
【０２７０】
また、上述した実施の形態は輝度信号の水平方向に対してブロック歪補正をかける例であるが、この例にのみ限定されるものではなく、例えば、垂直方向やクロマ信号にブロック歪補正をかけるといった種々の変形が考えられる。
【０２７１】
上述のブロック歪低減回路によれば、入力画像データのエッジ成分を抽出し、動きを検出し、ブロック歪判定に必要なパラメータを求め、これらのエッジ抽出結果、動き検出結果、及びパラメータ演算結果に基づいてブロック歪を判定し、この判定結果に応じてブロック歪補正をかけているため、ブロック歪の判定にエッジ成分情報や動き検出情報を用いることによりブロック歪の判定が有効に行え、誤判定を防止できる。従って、ブロック歪の誤判定により生じていた弊害、例えば完全に歪が除去できなかったり、エッジを誤補正して擬似エッジを発生させたりするような問題点を回避することができる。
【０２７２】
次に、フィールド巡回型ノイズ低減回路７３の具体例について、図３４を参照しながら説明する。
【０２７３】
図３４の入力端子１２０には、上記図２４のブロック歪低減回路７２からの映像信号が入力されている。この入力映像信号Ｖinが減算器１２１、１２２にそれぞれ供給される。減算器１２１からの出力信号は、出力端子１２３を介して取り出されると共に、フィールドメモリ１２４に書き込まれる。フィールドメモリ１２４と関連して、メモリコントローラ１２５が設けられている。メモリコントローラ１２５は、フィールドメモリ１２４の書き込み動作及び読み出し動作を制御するためのもので、フィールドメモリ１２４の読出データは、書き込みデータに対して１フィールド遅延されたものである。すなわち、出力信号をＶout とし、フィールド遅延をＦ-1と表すとき、フィールドメモリ１２４からの出力信号は、Ｖout・Ｆ-1 となり、このフィールド遅延出力信号が減算器１２４に供給される。減算器１２２では、入力信号Ｖinから上記フィールド遅延出力信号Ｖout・Ｆ-1 を減算して出力する。
【０２７４】
減算器１２２からの出力信号は、帯域制限用のＬＰＦ（ローパスフィルタ）１２６を介し、非線形回路１２７に送られる。非線形回路１２７は、入力信号であるＬＰＦ１２６からの出力のレベルに応じて帰還係数Ｋを乗じるもので、例えばＲＯＭにより構成される。この非線形回路１２７は、小さい範囲のフィールド差分をノイズ成分として出力し、大きいフィールド差分は、動きにより発生したものとして、出力を０とするような入出力特性を有している。すなわち、ノイズ成分はフィールド間の相関が小さくかつ小振幅である、という特性を利用して、非線形回路１２７がノイズ成分を抽出する。
【０２７５】
この非線形回路１２７からの出力信号Ｋ・（Ｖin−Ｖout・Ｆ-1） が減算器１２１に供給され、入力映像信号Ｖinから減算される。これは、減算器１２１において抽出されたノイズ成分を入力映像信号Ｖinから減算することによって、ノイズの低減された出力映像信号Ｖout を得ることに相当する。
【０２７６】
ここで、
Ｖout ＝ Ｖin−Ｋ・（Ｖin−Ｖout・Ｆ-1）
Ｖout・（１−Ｋ・Ｆ-1） ＝ Ｖin・（１−Ｋ）
より、出力映像信号Ｖout は、
Ｖout ＝ Ｖin・（１−Ｋ）／（１−Ｋ・Ｆ-1）
となる。
【０２７７】
次に、図１の画質補正回路１５の具体例としての輪郭強調回路について、図３５を参照しながら説明する。
【０２７８】
図３５は、画質補正回路１５となる輪郭強調回路の構成例を示している。この図３５において、入力端子１３０には、図１のノイズ低減回路１４からの画像データ、より具体的には図３４のフィールド巡回型ノイズ低減回路７３から出力端子７４を介して得られた画像データが供給される。入力端子１３０からの入力信号は、ＢＰＦ（バンドパスフィルタ）１３１及び加算器１３２に供給される。ＢＰＦ１３１では、画像の輪郭成分などの中高周波数成分が抽出される。この抽出された輪郭成分などは、コアリング回路１３３に送られて、小振幅信号であるノイズ成分などを除去するような非線形処理（コアリング処理）が施された後、利得制御（ゲインコントロール）回路１３４に送られて、補正量の制御がなされ、補正信号として加算器１３２に送られる。
【０２７９】
また、端子１３５には、上記図１のマイクロコンピュータなどを制御回路１９からの制御信号が供給されており、この制御信号はコアリング回路１３３及び利得制御回路１３４に送られている。すなわち、図１の操作入力部２０には、輪郭強調の制御スイッチなども設けられており、このスイッチなどを操作することにより輪郭強調の効果の程度を制御できるようになっている。
【０２８０】
このようにして、輪郭強調回路において映像信号の中高周波数成分が強調され、画像の精細度を上げている。
【０２８１】
以上説明した画質補正回路１５によれば、ブロックＤＣＴ符号化等を用いて画像圧縮／伸張した際に発生するブロック歪などのノイズを先に除去しているため、この後に輪郭強調等の画質補正を効果的に行うことができる。
【０２８２】
また、画質補正回路１５では、輪郭強調回路などの後処理において、重み付けした符号化情報を用いて適応的処理を施しても良い。
【０２８３】
すなわち、ブロック歪判定の誤判定による破綻を軽減するために、ブロック歪の補正量を例えばブロック境界の段差の大きさに応じて制御することが考えられる。この場合、ブロック境界の段差が大きいとき、補正量は小さくなり、ブロック境界の段差は若干残ることになる。そこで、このような残留ブロック歪を強調しないように、重み付けした符号化情報を用いて輪郭強調の適応的処理を行う。図３６は、このような変形例における輪郭強調回路の構成を示すブロック図である。この図３６の利得制御回路１３４において、上記図１の制御回路１９から端子１３５を介して供給される制御信号に対して、例えば端子１３６からの符号化情報として量子化ステップの値、端子１３７からの復号画像情報としてブロック境界の段差の値及びブロック境界からの距離により、ウェイティング（重み付け）回路１３８ｂで重み付けを行う。利得制御回路１３４に供給するパラメータとしてのゲイン（利得）値Ｇは、上記図１の制御回路１９におけるゲイン（利得）設定値をＧst、量子化ステップ重み付け係数をＫQ 、境界距離の重み付け係数をＬW とするとき、例えば次の式により求める。
Ｇ ＝ Ｇst×（ＫQ／８）×（ＬW／４）
この式中の１／８，１／４は、正規化のための除数である。
【０２８４】
ここで、図３７は量子化ステップコード及びブロック境界段差に対する量子化ステップ重み付け係数を示し、図３８はブロック境界距離に対する境界距離重み付け係数を示している。
【０２８５】
具体例を挙げて説明する。端子１３５からの制御信号としてのゲイン設定値が２のとき、量子化ステップコード及びブロック境界段差が与えられて図３７のテーブルより量子化ステップ重み付け係数が例えば４となり、ブロック境界からの距離１が図３８のテーブルに与えられて境界距離重み付け係数値２を得たとする。このときの利得制御回路１３４に供給されるパラメータ、すなわちゲインＧは、
Ｇ ＝ ２ ×（４／８）×（２／４） ＝ ０．５
となり、輪郭強調効果は弱まる。
【０２８６】
これは、コアリング回路１３３に関しても同様である。
すなわち、図３６のコアリング回路１３３において、端子１３５から供給される制御信号としてのパラメータに対して、例えば端子１３６からの符号化情報としての量子化ステップの値、端子１３７からの復号画像情報としてのブロック境界の段差の値及びブロック境界からの距離により、ウェイティング（重み付け）回路１３８ａで重み付けを行う。
【０２８７】
図３９は量子化ステップコード及びブロック境界段差に対するコアリング重み付け係数を示している。コアリング回路１３３に供給するパラメータの値Ｃは、上記図１の制御回路１９におけるコアリング設定値をＣst、重み付け係数をＫC 、境界距離の重み付け係数をＬW とするとき、例えば次の式により求める。
Ｃ ＝ Ｃst×ＫC×（ＬW／４）
この式中の１／４は、正規化のための除数である。
【０２８８】
ところで、上述した図３６〜図３９の特性は一例であって、これらに限定されるものではない。また、上述したＭＰＥＧ規格で圧縮／伸張される場合、量子化ステップはマクロブロック単位で変化する。このため、注目するブロック境界において、隣接するマクロブロックの量子化ステップの差分を加味してもよい。
【０２８９】
なお、画質補正回路１５は、上述した一例に限定されるものではなく、例えば、上記実施の形態においては、水平（Ｈ）方向の処理について述べたが、垂直（Ｖ）方向についても同様に適用可能である。また、輝度信号の処理のみならず、色信号についても同様に適用可能であることは勿論である。
【０２９０】
したがって、この輪郭補正回路を含む画質補正回路１５では、圧縮符号化された映像信号を復号して信号処理する際に、復号された映像信号のノイズを低減した後、ノイズ低減された映像信号に対して画質補正を行っているため、輪郭強調等の画質補正を効果的に行うことができる。
【０２９１】
具体的には、ブロックＤＣＴ符号化等の画像圧縮／伸張に伴って発生するブロック歪やモスキートノイズ等の量子化歪やノイズを低減、除去した後に、輪郭強調等の画質補正を行うことにより、効果的なブロック歪やモスキートノイズの除去と輪郭強調等の画質補正を行うことができる。
【０２９２】
また、上記ノイズ低減の際に、映像信号の画面内におけるノイズを低減し、次に画面間で発生するノイズを低減することにより、画面内で発生する歪やノイズと、画面間で発生する歪やノイズとを効果的に除去することができる。
【０２９３】
なお、上述の光ディスク記録再生装置１において、ＭＰＥＧエンコーダ５では、プリフィルタのオン／オフを含む強さをシーケンス毎、ＧＯＰ毎、ピクチャ毎、スライス毎、或いはマクロブロック毎にコード化し、例えば画像データのヘッダにデータとして付加して光ディスクＤに記録しても良い。また、このプリフィルタの強さを示すデータを伝送路を介してノイズ低減回路１４に伝送しても良い。
【０２９４】
このように、光ディスク記録再生装置１において、スライス毎にプリフィルタの強さを示すデータを画像データに付加するときの一例について図２に示すＭＰＥＧエンコーダ５を用いて説明する。
【０２９５】
スライス毎にプリフィルタ２３の強さを示すデータを生成するときには、スライス毎におけるフィルタ係数ｋ＿currentの各スライス毎における代表値を決定することで生成する。この各スライス毎における代表値を決定するときには、図４０に示すように、例えば４段階にコード化することで決定する。この図４０によれば、フィルタ係数ｋ＿currentの大きさに応じてプリフィルタレベル（プリフィルタの強さ）のコード値を決定する。すなわち、このプリフィルタレベルは、例えばフィルタをオフ状態としている場合を０とし、弱，中，強である場合をそれぞれ１，２，３としてコード値を決定して、コード化を行う。
【０２９６】
この代表値は、例えば各スライス内における小ブロックの平均値とする。そして、このコード化されたプリフィルタ２３の強さが他の種々の付加情報とともに画像データのヘッダとして付加される。そして、このプリフィルタ２３の強さを示すプリフィルタレベルは、例えば動画像符号化回路２４で画像データに付加されて光ディスクＤに記録される。そして、このプリフィルタレベルは、ＭＰＥＧデコーダ１３を介してノイズ低減回路１４及び画質補正回路１５に供給される。
【０２９７】
また、このフィルタの強さを示すプリフィルタレベルは、符号化情報として、例えばプリフィルタ２３からノイズ低減回路１４及び／又は画質補正回路１５に伝送路を介して入力されても良い。
【０２９８】
このプリフィルタの強さを示すデータをノイズ低減回路１４で用いる一例について説明する。
【０２９９】
上述のブロック歪低減回路７２でプリフィルタレベルを用いる場合には、例えばＭＰＥＧエンコーダ５からのコード値に応じた係数Ｋｆｂを用いて、上述の重み係数Ｋcを変化させる。すなわち、このブロック歪低減回路７２では、プリフィルタレベルに応じてブロック歪の補正の重み付け係数Ｋｃｆを下記のように定める。
【０３００】
Ｋｃｆ＝Ｋｃ×Ｋｆｂ
ここで、Ｋｆｂは、プリフィルタレベルに応じて図４１に示すように割り当てる。
【０３０１】
また、フィールド巡回型ノイズ低減回路においては、図４２に示すように構成しても良い。すなわち、この図４２に示したフィールド巡回型ノイズ低減回路７３は、減算器１２１，減算器１２２と、周波数帯域を制限するＬＰＦ１４０ａ，ＢＰＦ１４０ｂ，ＢＰＦ１４０ｃと、非線形回路１４１ａ〜１４１ｃとフィールドメモリ１２４と、メモリコントローラ１２５とで構成されている。なお、以下の説明においては、上述のフィールド巡回型ノイズ低減回路と同一の部分は同一の符号を付することでその詳細な説明を省略する。
【０３０２】
このフィールド巡回型ノイズ低減回路７３では、ＬＰＦ１４０ａ，ＢＰＦ１４０ｂ，ＢＰＦ１４０ｃを設けることで、周波数帯域毎に帰還量を制御する。すなわち、このフィールド巡回型ノイズ低減回路７３では、端子１４２からプリフィルタレベルが非線形回路１４１ａ〜１４１ｃに供給され、ＭＰＥＧエンコーダ５からのプリフィルタレベルに応じて帰還量を変化させる。ここで、非線形回路１４１ａ〜１４１ｃでは、供給されるプリフィルタレベルに応じて入出力特性を変化させる。
【０３０３】
このフィールド巡回型ノイズ低減回路７３では、例えば、プリフィルタレベルが強いときには高い周波数帯域の帰還量を大きくするように制御する。これにより、このフィールド巡回型ノイズ低減回路７３では、フィールド差分信号の高い周波数帯域の小振幅のノイズを低減することができる。なお、このフィールド巡回型ノイズ低減回路７３では、各周波数帯域毎の境界で急激に帰還量が変化しないように、なだらかにソフトスイッチングを行うことが望ましい。
【０３０４】
そして、各非線形回路１４１ａ〜１４１ｃを通過した画像データは、加算器１４３で加算処理されて、減算器１２１に供給される。
【０３０５】
これにより、上述のＭＰＥＧエンコーダ５でプリフィルタが施された部分について復号を施した後に生ずる高周波成分を効率的に除去することができる。したがって、このフィールド巡回型ノイズ低減回路では、プリフィルタレベルの強さを示すデータを用いることで、ＭＰＥＧエンコーダ５で符号化を行って、復号した後の画像データに生ずるブロック歪やモスキートノイズを除去することができる。
【０３０６】
つぎに、プリフィルタレベルを図３６で示す画質補正回路１５で用いる一例について説明する。
【０３０７】
この画質補正回路１５では、ウェイティング回路１３８ａ，１３８ｂで生成する重み付け係数を変化させる。すなわち、この画質補正回路１５では、利得制御回路１３４のゲインにプリフィルタレベルに応じた係数Ｋｆｓを乗算し、コアリング回路１３３のコアリング設定値にプリフィルタレベルに応じた係数Ｋｆｃを乗算する。すなわち、コアリング回路ではコアリング設定値をＣst’＝Ｃst×Ｋｆｓとし、利得制御回路１３４では、ゲインをＧ’＝Ｇ×Ｋｆｃとする。このプリフィルタレベルに応じた重み付け係数Ｋｆｓ，Ｋｆｃは、図４３（ａ）及び図４３（ｂ）に示すように、プリフィルタレベルに応じて変化させる。なお、上述のフィールド巡回型ノイズ低減回路７３と同様に、周波数帯域によって急激にゲイン、コアリング設定値が変化しないように、周波数的になだらかにスイッチングすることが望ましい。
【０３０８】
したがって、このような画質補正回路１５によれば、符号化して復号した後に生じた高周波成分に応じて画質の補正を行うことができ、効率的に画質の補正を行うことができる。
【０３０９】
【発明の効果】
以上詳細に説明したように、本発明では、入力画像に圧縮符号化処理及び復号処理を施す画像信号処理装置において、入力画像にフィルタリング処理を施すフィルタ手段と、上記フィルタ手段が行うフィルタリング処理のフィルタレベルを検出するフィルタレベル検出手段と、上記フィルタ手段でフィルタリング処理が施された画像にブロック符号化処理を施す圧縮符号化手段と、上記圧縮符号化手段で圧縮符号化された画像に復号処理を施す復号手段と、上記フィルタレベルに応じて上記復号手段で復号処理が施された画像のブロック歪を少なくとも低減する処理を行うノイズ低減手段とを備え、上記フィルタレベル検出手段は、検出したフィルタレベルを上記ノイズ低減手段に供給し、上記フィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、上記ノイズ低減手段により高い周波数帯域の小振幅のノイズを低減するので、入力された画像に対して圧縮符号化手段を通過させる前にフィルタ手段でフィルタリング処理を行い、復号手段で復号された画像のブロック歪をノイズ低減手段で低減する処理を行うことができる。したがって、この画像信号処理装置では、フィルタリング処理を行うことで符号化効率を向上させることができ、さらに復号後に生ずるブロック歪やモスキートノイズを低減することができる。
【０３１０】
したがって、このような画像信号処理装置では、フィルタリング処理を行うことにより、入力した画像の高周波成分を減少させることにより、復号後に生ずるブロック歪等を顕著にし、当該ブロック歪等の検出制度を向上させることができる。したがって、この画像信号処理装置では、復号後において効率的にノイズ低減手段によりノイズを低減させることができる。
【０３１３】
また、本発明では、入力画像に圧縮符号化処理及び復号処理を施す画像信号処理方法において、入力画像にフィルタリング処理を施し、上記フィルタリング処理におけるフィルタレベルを検出し、上記フィルタリング処理が施された画像にブロック符号化処理を施し、上記ブロック符号化処理が施された画像に復号処理を施し、上記復号処理が施された画像のブロック歪を少なくとも低減するノイズ低減処理を行い、上記ノイズ低減処理では、検出した上記フィルタリング処理におけるフィルタレベルが強いときには高い周波数帯域の帰還量を大きくして、高い周波数帯域の小振幅のノイズを低減するノイズ低減処理を行うので、入力された画像に対して圧縮符号化を行う前にフィルタリング処理を行い、復号された画像のブロック歪を低減するノイズ低減処理を行うことができる。したがって、この画像信号処理方法では、フィルタリング処理を行うことで符号化効率を向上させることができ、さらに復号後に生ずるブロック歪やモスキートノイズを低減することができる。
【０３１４】
したがって、このような画像信号処理方法では、フィルタリング処理を行うことにより、入力した画像の高周波成分を減少させ、復号後に生ずるブロック歪等を顕著にし、当該ブロック歪等の検出精度を向上させることができる。したがって、この画像処理方法では、復号後において効率的にノイズを低減させることができる。
【図面の簡単な説明】
【図１】本実施の形態にかかる光ディスク記録再生装置の一例を示すブロック図である。
【図２】プリフィルタを含むＭＰＥＧエンコーダの一例を示すブロック図である。
【図３】フれーむと小ブロックの関係を示す図である。
【図４】プリフィルタ制御方法の一例を示すフローチャートである。
【図５】符号化難易度の平均値ｄ_aveとプリフィルタ係数の代表値ｋ_gopの対応関係を示す図である。
【図６】現在の小ブロックのフレーム間予測で参照される小ブロックで使われたプリフィルタ特性を考慮して、プリフィルタ係数を計算する一例を示す図である。
【図７】符号化難易度ｄ_currentとローパスプリフィルタ係数ｋ_currentとの対応関係を示す図である。
【図８】プリフィルタ係数ｋ_currentの計算方法の一例を示すフローチャートである。
【図９】ローパスプリフィルタ係数ｋ_currentの計算例を示す図である。
【図１０】動画像符号化装置内の動画像符号化回路の構成例を示すブロック回路図である。
【図１１】動画像符号化装置内の符号化難易度測定回路の構成例を示すブロック回路図である。
【図１２】動画像符号化装置の第２の構成例を示すブロック回路図である。
【図１３】ＭＰＥＧ方式の予測構造及び各ピクチャタイプの構成を示す図である。
【図１４】動画像符号化装置の第３の構成例を示すブロック回路図である。
【図１５】ＭＰＥＧ方式における表示順序と符号化順序を示す図である。
【図１６】フィルタ特性画像と非フィルタ特性画像のフレームと小ブロックの関係を示す図である。
【図１７】プリフィルタ制御方法の一例を示すフローチャートである。
【図１８】非フィルタ特性画像において、現在の小ブロックのフレーム間予測で参照される小ブロックで使われたプリフィルタ特性を用いて内挿補間により、プリフィルタ係数を計算する一例を示す図である。
【図１９】プリフィルタ係数ｋ＿current の計算方法の一例を示すフローチャートである。
【図２０】非フィルタ特性画像のローパスプリフィルタ係数ｋ＿current の計算例を示す図である。
【図２１】プリフィルタの構成例を示す図である。
【図２２】動画像符号化装置の第４の構成例を示すブロック回路図である。
【図２３】ノイズ低減回路の構成例を示すブロック図である。
【図２４】本発明に係る実施の形態となる画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図２５】ブロック歪低減方法の処理手順を説明するためのフローチャートである。
【図２６】ブロック歪補正のためのブロック境界近傍の画素を示す図である。
【図２７】エッジ抽出処理の動作の一例を説明するためのフローチャートである。
【図２８】ラプラシアンフィルタの係数の一例を示す図である。
【図２９】動き検出処理の動作の一例を説明するためのフローチャートである。
【図３０】ブロック歪判定処理の動作の一例を説明するためのフローチャートである。
【図３１】１次元の２次微分によりエッジ抽出を行う場合の処理動作の一例を説明するためのフローチャートである。
【図３２】図３１のエッジ抽出を行う場合の画像データのブロック歪低減装置の概略構成を示すブロック図である。
【図３３】垂直相関の強さを求める方法を説明するためのＤＣＴブロック境界近傍の画素を示す図である。
【図３４】フィールド巡回型ノイズ低減回路の一例を示すブロック図である。
【図３５】画質補正手段としての輪郭強調回路の一例の概略構成を示すブロック図である。
【図３６】輪郭強調回路の他の具体例を示すブロック図である。
【図３７】量子化ステップコード及びブロック境界段差に対する量子化ステップ重み付け係数の具体例を示す図である。
【図３８】ブロック境界距離に対する境界距離重み付け係数の具体例を示す図である。
【図３９】量子化ステップコード及びブロック境界段差に対するコアリング重み付け係数の具体例を示す図である。
【図４０】プリフィルタレベルと、フィルタ係数ｋ＿currentとの関係を示す図である。
【図４１】コード値に応じた係数Ｋｆｂとプリフィルタレベルとの関係を示す図である。
【図４２】フィールド巡回型ノイズ低減回路の他の一例を示すブロック図である。
【図４３】（ａ）が重み付け係数Ｋｆｓとプリフィルタレベルとの関係を示す図であり、（ｂ）が重み付け係数Ｋｆｃとプリフィルタレベルとの関係を示す図である。
【図４４】従来のノイズ低減回路の一例を示すブロック図である。
【図４５】プリローパスフィルタの係数を示す図である。
【図４６】プリフィルタ係数と符号化難易度との関係を示す図である。
【符号の説明】
１  光ディスク記録再生装置、５  ＭＰＥＧエンコーダ、１３  ＭＰＥＧデコーダ、１４  ノイズ低減回路、１５  画質補正回路、１９  制御回路、２０  操作入力部、２２，６１  フレームメモリ群、２３，６２  プリフィルタ、２４，６３  動画像符号化回路、２５，４４，６６  動きベクトル検出回路、２６，６５プリフィルタ制御情報記憶回路、２７，４６  符号化難易度測定回路、２８  プリフィルタ制御回路、４５  画像処理タイプ判定回路、４７，６９  符号化難易度平滑化回路、４８，７０  内挿補間回路、５２  ローパスフィルタ、７２  ブロック歪低減回路、７３  フィールド巡回型ノイズ低減回路
【図１】
0004186242.tif 000007
【図２】
0004186242.tif 000008
【図３】
0004186242.tif 000009
【図４】
0004186242.tif 000010
【図５】
0004186242.tif 000011
【図６】
0004186242.tif 000012
【図７】
0004186242.tif 000013
【図８】
0004186242.tif 000014
【図９】
0004186242.tif 000015
【図１０】
0004186242.tif 000016
【図１１】
0004186242.tif 000017
【図１２】
0004186242.tif 000018
【図１３】
0004186242.tif 000019
【図１４】
0004186242.tif 000020
【図１５】
0004186242.tif 000021
【図１６】
0004186242.tif 000022
【図１７】
0004186242.tif 000023
【図１８】
0004186242.tif 000024
【図１９】
0004186242.tif 000025
【図２０】
0004186242.tif 000026
【図２１】
0004186242.tif 000027
【図２２】
0004186242.tif 000028
【図２３】
0004186242.tif 000029
【図２４】
0004186242.tif 000030
【図２５】
0004186242.tif 000031
【図２６】
0004186242.tif 000032
【図２７】
0004186242.tif 000033
【図２８】
0004186242.tif 000034
【図２９】
0004186242.tif 000035
【図３０】
0004186242.tif 000036
【図３１】
0004186242.tif 000037
【図３２】
0004186242.tif 000038
【図３３】
0004186242.tif 000039
【図３４】
0004186242.tif 000040
【図３５】
0004186242.tif 000041
【図３６】
0004186242.tif 000042
【図３７】
0004186242.tif 000043
【図３８】
0004186242.tif 000044
【図３９】
0004186242.tif 000045
【図４０】
0004186242.tif 000046
【図４１】
0004186242.tif 000047
【図４２】
0004186242.tif 000048
【図４３】
0004186242.tif 000049
【図４４】
0004186242.tif 000050
【図４５】
0004186242.tif 000051
【図４６】
0004186242.tif 000052