(57)【要約】【課題】画像の特性に適合したフィルタリングを行え、フィルタによる画像のぼけを防止しつつ、適切に雑音が低減された復号画像を得ることが可能な画像復号装置を提供する。【解決手段】雑音低減フィルタ部１１２ではブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する。ブロック分類部１０９ではエッジ抽出部１０８で復号画像から抽出したエッジの状態によりブロックを分類する。量子化パラメータ演算部１１０では、画像フレームを所定の処理単位に分割し、その処理単位において前記ブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する。フィルタ制御部１１１では、ブロック毎の分類結果とそのブロックが属する画像フレームの所定の処理単位における量子化パラメータの状態に従い、雑音低減フィルタ部１１２によるフィルタリングを制御する。【選択図】図１
2006032999.tif 000002
【特許請求の範囲】
【請求項１】
ブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する雑音低減フィルタ手段と、前記復号画像からエッジを抽出するエッジ抽出手段と、該エッジ抽出手段で抽出したエッジの状態によりブロックを分類するブロック分類手段と、画像フレームを所定の処理単位に分割し、その処理単位において前記ブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する量子化パラメータ演算手段と、前記ブロック毎の分類結果とそのブロックが属する前記画像フレームの所定の処理単位における量子化パラメータの状態に従い前記雑音低減フィルタ手段によるフィルタリングを制御するフィルタ制御手段とを備えることを特徴とする画像復号装置。
【請求項２】
前記雑音低減フィルタ手段は、前記復号画像のブロックひずみを低減するブロックひずみ低減手段と、前記復号画像のモスキート雑音を低減するモスキート雑音低減手段とを有することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記エッジ抽出手段は、前記復号画像を微分処理する微分処理手段と、該微分処理手段の出力に基づき復号画像のエッジ部分を判定するエッジ判定手段とを有することを特徴とする請求項１又は２に記載の画像復号装置。
【請求項４】
前記エッジ判定手段は、前記微分処理手段の出力を所定のしきい値と比較し、画素毎にエッジと非エッジとを判定することを特徴とする請求項３に記載の画像復号装置。
【請求項５】
前記ブロック分類手段は、エッジと判定された画素を前記ブロック毎に数える計数手段を有し、エッジ画素数が所定のしきい値以上の場合に、ブロックをエッジブロックと分類し、所定のしきい値より小さい場合には、ブロックを非エッジブロックと分類することを特徴とする請求項１乃至４のいずれか１項に記載の画像復号装置。
【請求項６】
前記ブロック分類手段は、エッジブロックと分類されたブロックに対し、エッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点を数え、変化点数が所定のしきい値以上の場合に、そのブロックをテクスチャブロックと分類し、所定のしきい値より小さい場合には、そのブロックを有意エッジブロックと分類することを特徴とする請求項１乃至５のいずれか１項に記載の画像復号装置。
【請求項７】
前記量子化パラメータ演算手段は、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロック毎の量子化スケールを加算して量子化スケールの平均値を算出し、これを各処理単位における量子化パラメータの状態とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像復号装置。
【請求項８】
前記量子化パラメータ演算手段は、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロックの予測符号化モード別に、ブロック毎の量子化スケールを加算してフレーム内符号化と非フレーム内符号化で別々に量子化スケールの平均値を算出して、これを各処理単位におけるフレーム内符号化と非フレーム内符号化の量子化パラメータの状態とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像復号装置。
【請求項９】
前記処理単位は、画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位とし、スライス、或いはビデオパケット、或いはグループオブブロックとすることを特徴とする請求項１乃至８のいずれか１項に記載の画像復号装置。
【請求項１０】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１１】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１２】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がテクスチャブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果が有意エッジブロックの場合は、前記第二のフィルタ強度より強いフィルタリングが実施されるような第三のフィルタ強度を決定し、このブロック内すべての画素が第三のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１３】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ブロックの予測符号化モードがフレーム内符号化の場合は、非フレーム内符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１４】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ピクチャタイプが双方向予測符号化の場合はフレーム内符号化及びフレーム間順方向予測符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１５】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１６】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１７】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１８】
前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１乃至９のいずれか１項に記載の画像復号装置。
【請求項１９】
ブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する雑音低減フィルタステップと、前記復号画像からエッジを抽出するエッジ抽出ステップと、該エッジ抽出ステップで抽出したエッジの状態によりブロックを分類するブロック分類ステップと、画像フレームを所定の処理単位に分割し、その処理単位において前記ブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する量子化パラメータ演算ステップと、前記ブロック毎の分類結果とそのブロックが属する前記画像フレームの所定の処理単位における量子化パラメータの状態に従い前記雑音低減フィルタステップによるフィルタリングを制御するフィルタ制御ステップとを含んでなることを特徴とする画像復号方法。
【請求項２０】
前記雑音低減フィルタステップは、前記復号画像のブロックひずみを低減するブロックひずみ低減ステップと、前記復号画像のモスキート雑音を低減するモスキート雑音低減ステップとを有することを特徴とする請求項１９に記載の画像復号方法。
【請求項２１】
前記エッジ抽出ステップは、前記復号画像を微分処理する微分処理ステップと、該微分処理ステップの出力に基づき復号画像のエッジ部分を判定するエッジ判定ステップとを有することを特徴とする請求項１９又は２０に記載の画像復号方法。
【請求項２２】
前記エッジ判定ステップは、前記微分処理ステップの出力を所定のしきい値と比較し、画素毎にエッジと非エッジとを判定することを特徴とする請求項２１に記載の画像復号方法。
【請求項２３】
前記ブロック分類ステップは、エッジと判定された画素を前記ブロック毎に数える計数ステップを有し、エッジ画素数が所定のしきい値以上の場合に、ブロックをエッジブロックと分類し、所定のしきい値より小さい場合には、ブロックを非エッジブロックと分類することを特徴とする請求項１９乃至２２のいずれか１項に記載の画像復号方法。
【請求項２４】
前記ブロック分類ステップは、エッジブロックと分類されたブロックに対し、エッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点を数え、変化点数が所定のしきい値以上の場合に、そのブロックをテクスチャブロックと分類し、所定のしきい値より小さい場合には、そのブロックを有意エッジブロックと分類することを特徴とする請求項１９乃至２３のいずれか１項に記載の画像復号方法。
【請求項２５】
前記量子化パラメータ演算ステップは、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロック毎の量子化スケールを加算して量子化スケールの平均値を算出し、これを各処理単位における量子化パラメータの状態とすることを特徴とする請求項１９乃至２４のいずれか１項に記載の画像復号方法。
【請求項２６】
前記量子化パラメータ演算ステップは、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロックの予測符号化モード別に、ブロック毎の量子化スケールを加算してフレーム内符号化と非フレーム内符号化で別々に量子化スケールの平均値を算出して、これを各処理単位におけるフレーム内符号化と非フレーム内符号化の量子化パラメータの状態とすることを特徴とする請求項１９乃至２４のいずれか１項に記載の画像復号方法。
【請求項２７】
前記処理単位は、画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位とし、スライス、或いはビデオパケット、或いはグループオブブロックとすることを特徴とする請求項１９乃至２６のいずれか１項に記載の画像復号方法。
【請求項２８】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項２９】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３０】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がテクスチャブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果が有意エッジブロックの場合は、前記第二のフィルタ強度より強いフィルタリングが実施されるような第三のフィルタ強度を決定し、このブロック内すべての画素が第三のフィルタ強度でフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３１】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ブロックの予測符号化モードがフレーム内符号化の場合は、非フレーム内符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３２】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ピクチャタイプが双方向予測符号化の場合はフレーム内符号化及びフレーム間順方向予測符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３３】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３４】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３５】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【請求項３６】
前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴とする請求項１９乃至２７のいずれか１項に記載の画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置及び画像復号方法に関し、より詳細には、画像通信，画像記録等で利用される画像符号化データを復号する際に、復号画像に発生するブロックひずみとモスキート雑音を低減する画像復号装置及び画像復号方法に関する。
【背景技術】
【０００２】
近年、広帯域の通信手段や、大容量の記録メディアの普及に伴い、動画像データの利用が盛んになっている。動画像データはデータ量が膨大であるので、通信手段の広帯域化や記録メディアの大容量化が進んでいるとはいえ、動画像データを利用するためには、符号化によるデータ量の圧縮が必要不可欠となっている。
【０００３】
動画像の符号化方式としては、国際標準であるＭＰＥＧ−２やＭＰＥＧ−４などが知られている。これらは画像の統計的な性質を利用して、その画像に含まれる冗長性を取り除くことにより、情報量の削減を行っている。具体的には、画像フレームを基本処理単位であるブロックに分割してブロック単位で符号化を行う動き補償予測と離散コサイン変換（ＤＣＴ）を組合せたハイブリッド符号化方式である。
【０００４】
一方、上述のごとき符号化方式を用いた符号化画像を復号して得られた復号画像には、圧縮による符号化雑音として、ブロックひずみとモスキート雑音が発生して画質を劣化させる。したがって、画像復号装置側でこれらを低減するポストフィルタを実施して画質の改善を行っている。
【０００５】
また、静止画像符号化方式であるＪＰＥＧも上記の動画像符号化方式と同様に画像フレームのブロック単位でＤＣＴを実施している。そのため、符号化雑音としてブロックひずみとモスキート雑音が発生する。一方、圧縮効率を向上させたＪＰＥＧ２０００では、ＤＣＴの代わりに離散ウェーブレット変換（ＤＷＴ）を用いているが、この変換において発生する量子化雑音の折返し成分が原因でモスキート雑音と同様のリンギング雑音が発生する。また、ＪＰＥＧ２０００でもＪＰＥＧのブロック分割と同様にタイル分割してＤＷＴを実施した場合にはタイル間境界が見えて、ブロックひずみと同様の画質劣化が生じる。したがって、静止画像の場合でも画像復号装置側でこれらを低減するポストフィルタを実施して画質の改善を行っている。
【０００６】
このような画像復号装置においては、ポストフィルタによる画質のぼけ等の劣化を防止しながらブロックひずみ及びモスキート雑音のみを低減することが課題となる。
【０００７】
図１２は、従来技術による画像復号装置の構成例を示すブロック図である。
以下、図１２を参照して、動き補償予測と２次元直交変換を用いた場合の従来技術による画像復号装置について説明する。図１２において、１２０１は可変長復号部、１２０２は逆量子化部、１２０３は逆直交変換部、１２０４は加算器、１２０５はフレームメモリ部、１２０６は動き補償予測部、１２０７はスイッチ、１２０８はフィルタ制御部、１２０９は雑音低減フィルタ部を示しており、ここで説明する画像復号装置はこれらの構成要素によって構成される。
【０００８】
可変長復号部１２０１に、符号化情報である符号化ビットストリームが入力される。符号化ビットストリームは、動画像符号化装置により生成した画像の直交変換係数やピクチャタイプ（Ｉピクチャ／Ｐピクチャ／Ｂピクチャ）等のヘッダ情報、符号化の状態を表す符号化モード、即ち、符号化実施の有無や動きベクトルや予測符号化モードであるフレーム内（イントラ）符号化／フレーム間予測（インター）符号化の情報などが可変長符号化され、多重化されたものである。
【０００９】
可変長復号部１２０１では、符号化ビットストリームを復号して量子化された直交変換係数や動きベクトル、イントラ符号化／インター符号化などの符号化モード情報を得る。逆量子化部１２０２では、量子化された直交変換係数に逆量子化を実施して直交変換係数を得て、これを逆直交変換部１２０３で２次元逆直交変換して差分画像を得る。
【００１０】
予測符号化モード１２１０がインター符号化であるときは、スイッチ１２０７の出力が動き補償予測部１２０６の出力となるようにして、差分画像を加算器１２０４でフレームメモリ部１２０５に蓄積された前フレームの復号画像に基づき、動き補償予測部１２０６からの動き補償予測値と加算して、フレームメモリ部１２０５に現フレームの復号画像を蓄積する。
【００１１】
また、ブロックがイントラ符号化である場合は、スイッチ１２０７が動き補償予測部１２０６と切断され、逆直交変換部１２０３からの出力に加算されるものがないので結果的に逆直交変換部１２０３の出力がそのままフレームメモリ部１２０５に復号画像として蓄積されることになる。
【００１２】
フィルタ制御部１２０８では、量子化スケール１２１１の大きさにより、適応的にフィルタを制御する。雑音低減フィルタ部１２０９では、加算器１２０４からの出力である現フレームの復号画像に対して、フィルタ制御部１２０８からの制御情報１２１２に従いフィルタ係数やタップ数を切替えて、ブロックひずみ及びモスキート雑音を低減するポストフィルタを適応的に施し、雑音を低減した復号画像を出力する。
【００１３】
また、動きの大きな画像に対して符号量を減らすために量子化ステップを大きくとった場合に発生するブロックひずみを低減するとともに画像の輪郭がぼけるのを防止して、表示画質を向上させることを目的とした画像復号装置が提案されている（例えば、特許文献１を参照）。
【００１４】
特許文献１に記載の技術によれば、フィルタ制御部１２０８で量子化パラメータに基づいてフィルタを制御するため、量子化精度が高い部分へのローパスフィルタの作用をなくし、ブロックひずみの存在しない部分にはローパスフィルタが作用しない。一方、量子化精度が低い部分にはブロックひずみが存在するので、ローパスフィルタが作用するようにしている。また、量子化パラメータからブロックひずみやモスキート雑音の発生を予測し、雑音の発生しない部分に対しては輪郭強調フィルタを作用させて、画質改善を行っている。
【特許文献１】特開２００３−１８６００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、特許文献１に記載の技術では、量子化パラメータの大きさのみをフィルタの制御に使用している。したがって、画像の特性が異なるエッジ，テクスチャ、平坦部分を判別せずにフィルタリングを実施するので、ポストフィルタによる画像のぼけ、或いは雑音を適切に低減できないという問題がある。
【００１６】
また、フィルタを作用させるブロックの予測符号化モード（イントラ符号化と非イントラ符号化）やピクチャタイプ（Ｉ，Ｐ，Ｂピクチャ）という各種の情報も利用しないので、画像の特性に応じてきめ細やかなフィルタリングを実施できない。
【００１７】
さらには画質は、各画像フレームの総符号量やＤＣＴ係数符号量と動きベクトル符号量とそれ以外の符号量の割合により大きく変化するにも関わらず、これらの情報をフィルタの制御に利用していない。したがって、適切な雑音低減は望めない。
【００１８】
また、特許文献１に記載の技術は、画像フレームに局所的なフィルタブロックを設定し、その中に含まれる各画素の量子化パラメータ値に、画素数を加重することでフィルタブロックの平均量子化値を算出している。しかしながら、この方法ではフィルタブロックが局所的であるため、フィルタブロック単位で平均量子化値が変化するのでフィルタ後の画像に違和感を生じる。しかも、量子化パラメータはマクロブロック毎に得られるのにも関わらず、前述のように画素数を加重した平均を求めているので、フィルタ制御の指針である平均量子化値の算出のための処理量が大きいという欠点がある。
【００１９】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像符号化データを復号する際に、画像の特性に適合したフィルタリングが行え、適切にブロックひずみやモスキート雑音が低減された復号画像を得ることが可能な、画像復号装置及び画像復号方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明は、上述のごとき課題を解決するために、以下の各技術手段によって構成される。
第１の技術手段は、画像復号装置において、ブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する雑音低減フィルタ手段と、前記復号画像からエッジを抽出するエッジ抽出手段と、該エッジ抽出手段で抽出したエッジの状態によりブロックを分類するブロック分類手段と、画像フレームを所定の処理単位に分割し、その処理単位において前記ブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する量子化パラメータ演算手段と、前記ブロック毎の分類結果とそのブロックが属する前記画像フレームの所定の処理単位における量子化パラメータの状態に従い前記雑音低減フィルタ手段によるフィルタリングを制御するフィルタ制御手段とを備えることを特徴としたものである。
【００２１】
第２の技術手段は、第１の技術手段において、前記雑音低減フィルタ手段は、前記復号画像のブロックひずみを低減するブロックひずみ低減手段と、前記復号画像のモスキート雑音を低減するモスキート雑音低減手段とを有することを特徴としたものである。
【００２２】
第３の技術手段は、第１又は第２の技術手段において、前記エッジ抽出手段は、前記復号画像を微分処理する微分処理手段と、該微分処理手段の出力に基づき復号画像のエッジ部分を判定するエッジ判定手段とを有することを特徴としたものである。
【００２３】
第４の技術手段は、第３の技術手段において、前記エッジ判定手段は、前記微分処理手段の出力を所定のしきい値と比較し、画素毎にエッジと非エッジとを判定することを特徴としたものである。
【００２４】
第５の技術手段は、第１乃至第４のいずれかの技術手段において、前記ブロック分類手段は、エッジと判定された画素を前記ブロック毎に数える計数手段を有し、エッジ画素数が所定のしきい値以上の場合に、ブロックをエッジブロックと分類し、所定のしきい値より小さい場合には、ブロックを非エッジブロックと分類することを特徴としたものである。
【００２５】
第６の技術手段は、第１乃至第５のいずれかの技術手段において、前記ブロック分類手段は、エッジブロックと分類されたブロックに対し、エッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点を数え、変化点数が所定のしきい値以上の場合に、そのブロックをテクスチャブロックと分類し、所定のしきい値より小さい場合には、そのブロックを有意エッジブロックと分類することを特徴としたものである。
【００２６】
第７の技術手段は、第１乃至第６のいずれかの技術手段において、前記量子化パラメータ演算手段は、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロック毎の量子化スケールを加算して量子化スケールの平均値を算出し、これを各処理単位における量子化パラメータの状態とすることを特徴としたものである。
【００２７】
第８の技術手段は、第１乃至第６のいずれかの技術手段において、前記量子化パラメータ演算手段は、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロックの予測符号化モード別に、ブロック毎の量子化スケールを加算してフレーム内符号化と非フレーム内符号化で別々に量子化スケールの平均値を算出して、これを各処理単位におけるフレーム内符号化と非フレーム内符号化の量子化パラメータの状態とすることを特徴としたものである。
【００２８】
第９の技術手段は、第１乃至第８のいずれかの技術手段において、前記処理単位は、画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位とし、スライス、或いはビデオパケット、或いはグループオブブロックとすることを特徴としたものである。
【００２９】
第１０の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００３０】
第１１の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００３１】
第１２の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がテクスチャブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果が有意エッジブロックの場合は、前記第二のフィルタ強度より強いフィルタリングが実施されるような第三のフィルタ強度を決定し、このブロック内すべての画素が第三のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００３２】
第１３の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ブロックの予測符号化モードがフレーム内符号化の場合は、非フレーム内符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３３】
第１４の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ピクチャタイプが双方向予測符号化の場合はフレーム内符号化及びフレーム間順方向予測符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３４】
第１５の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３５】
第１６の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３６】
第１７の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３７】
第１８の技術手段は、第１乃至第９のいずれかの技術手段において、前記フィルタ制御手段は、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００３８】
第１９の技術手段は、画像復号方法において、ブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する雑音低減フィルタステップと、前記復号画像からエッジを抽出するエッジ抽出ステップと、該エッジ抽出ステップで抽出したエッジの状態によりブロックを分類するブロック分類ステップと、画像フレームを所定の処理単位に分割し、その処理単位において前記ブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する量子化パラメータ演算ステップと、前記ブロック毎の分類結果とそのブロックが属する前記画像フレームの所定の処理単位における量子化パラメータの状態に従い前記雑音低減フィルタステップによるフィルタリングを制御するフィルタ制御ステップとを含んでなることを特徴としたものである。
【００３９】
第２０の技術手段は、第１９の技術手段において、前記雑音低減フィルタステップは、前記復号画像のブロックひずみを低減するブロックひずみ低減ステップと、前記復号画像のモスキート雑音を低減するモスキート雑音低減ステップとを有することを特徴としたものである。
【００４０】
第２１の技術手段は、第１９又は第２０の技術手段において、前記エッジ抽出ステップは、前記復号画像を微分処理する微分処理ステップと、該微分処理ステップの出力に基づき復号画像のエッジ部分を判定するエッジ判定ステップとを有することを特徴としたものである。
【００４１】
第２２の技術手段は、第２１の技術手段において、前記エッジ判定ステップは、前記微分処理ステップの出力を所定のしきい値と比較し、画素毎にエッジと非エッジとを判定することを特徴としたものである。
【００４２】
第２３の技術手段は、第１９乃至第２２のいずれかの技術手段において、前記ブロック分類ステップは、エッジと判定された画素を前記ブロック毎に数える計数ステップを有し、エッジ画素数が所定のしきい値以上の場合に、ブロックをエッジブロックと分類し、所定のしきい値より小さい場合には、ブロックを非エッジブロックと分類することを特徴としたものである。
【００４３】
第２４の技術手段は、第１９乃至第２３のいずれかの技術手段において、前記ブロック分類ステップは、エッジブロックと分類されたブロックに対し、エッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点を数え、変化点数が所定のしきい値以上の場合に、そのブロックをテクスチャブロックと分類し、所定のしきい値より小さい場合には、そのブロックを有意エッジブロックと分類することを特徴としたものである。
【００４４】
第２５の技術手段は、第１９乃至第２４のいずれかの技術手段において、前記量子化パラメータ演算ステップは、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロック毎の量子化スケールを加算して量子化スケールの平均値を算出し、これを各処理単位における量子化パラメータの状態とすることを特徴としたものである。
【００４５】
第２６の技術手段は、第１９乃至第２４のいずれかの技術手段において、前記量子化パラメータ演算ステップは、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とし、その処理単位内でブロックの予測符号化モード別に、ブロック毎の量子化スケールを加算してフレーム内符号化と非フレーム内符号化で別々に量子化スケールの平均値を算出して、これを各処理単位におけるフレーム内符号化と非フレーム内符号化の量子化パラメータの状態とすることを特徴としたものである。
【００４６】
第２７の技術手段は、第１９乃至第２６のいずれかの技術手段において、前記処理単位は、画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位とし、スライス、或いはビデオパケット、或いはグループオブブロックとすることを特徴としたものである。
【００４７】
第２８の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００４８】
第２９の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００４９】
第３０の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がテクスチャブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果が有意エッジブロックの場合は、前記第二のフィルタ強度より強いフィルタリングが実施されるような第三のフィルタ強度を決定し、このブロック内すべての画素が第三のフィルタ強度でフィルタリングが実施されるように制御することを特徴としたものである。
【００５０】
第３１の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ブロックの予測符号化モードがフレーム内符号化の場合は、非フレーム内符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００５１】
第３２の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、ピクチャタイプが双方向予測符号化の場合はフレーム内符号化及びフレーム間順方向予測符号化よりも強いフィルタ強度になるように前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００５２】
第３３の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００５３】
第３４の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームの総符号量に基づき前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００５４】
第３５の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、或いは前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【００５５】
第３６の技術手段は、第１９乃至第２７のいずれかの技術手段において、前記フィルタ制御ステップは、前記所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき第一のフィルタ強度を決定し、前記ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるようにし、前記ブロックの分類結果がエッジブロックの場合は、前記第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるようにし、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて前記第一のフィルタ強度、及び前記第二のフィルタ強度を変更してフィルタリングが実施されるように制御することを特徴としたものである。
【発明の効果】
【００５６】
本発明によれば、画像符号化データを復号する際に、ブロック毎のエッジの状態による分類結果、所定の処理単位で算出した量子化パラメータの状態、及び各種の符号化情報などを基に、フィルタを適応的に制御するので、画像の特性に適合したフィルタリングが行え、フィルタによる画像のぼけを防止しつつ、適切にブロックひずみやモスキート雑音が低減された復号画像を得ることができる。
【発明を実施するための最良の形態】
【００５７】
図１は、本発明の一実施形態に係る画像復号装置の一構成例のブロック図である。図１において、１０１は可変長復号部、１０２は逆量子化部、１０３は逆直交変換部、１０４は加算器、１０５はフレームメモリ部、１０６は動き補償予測部、１０７はスイッチ、１０８はエッジ抽出部、１０９はブロック分類部、１１０は量子化パラメータ演算部、１１１はフィルタ制御部、１１２は雑音低減フィルタ部を示している。また、図１において、１１３，１１４，１１５，１１６，１１７，１１８は、それぞれ、予測符号化モード，ブロック分類結果，量子化スケール，量子化スケール平均値，ピクチャタイプ，フィルタパラメータの伝送経路を表しているが、以下の説明では、これらの参照番号を単に伝送される情報そのもの（例えば１１３を予測符号化モード）として説明する。
【００５８】
本発明に係る画像復号装置は、後述する雑音低減フィルタ手段，エッジ抽出手段，ブロック分類手段，量子化パラメータ演算手段，フィルタ制御手段を少なくとも備えるものとする。本発明に係る画像復号処理では、復号画像の雑音低減の際、量子化パラメータの大きさのみをフィルタの制御に使用するのではなく、ブロック毎のエッジの状態による分類結果、所定の処理単位で算出した量子化パラメータの状態、及び各種の符号化情報などを基に、フィルタを適応的に制御する。例えば、画像の特性が異なるエッジ，テクスチャ，平坦部分を判別してフィルタリングを実施する。
【００５９】
以下、本発明の一実施形態に係る画像復号装置が、エッジ抽出手段で構成されるエッジ抽出部１０８、ブロック分類手段で構成されるブロック分類部１０９、量子化パラメータ演算手段で構成される量子化パラメータ演算部１１０、フィルタ制御手段で構成されるフィルタ制御部１１１、及び雑音低減フィルタ手段で構成される雑音低減フィルタ部１１２に加え、可変長復号部１０１、逆量子化部１０２、逆直交変換部１０３、加算器１０４、フレームメモリ部１０５、動き補償予測部１０６、及びスイッチ１０７をその構成要素とする例を中心に、各部について説明する。また、本発明に係る画像復号方法についての説明は、以下に説明する画像復号装置における処理手順で代用する。
【００６０】
＜可変長復号＞
可変長復号部１０１は、入力された符号化ビットストリームを可変長復号する手段により構成される。可変長復号部１０１には、画像符号化装置により画像に対して離散コサイン変換（ＤＣＴ）を実施して当該ＤＣＴ係数を量子化した量子化ＤＣＴ係数、イントラ符号化／インター符号化の情報である予測符号化モード、量子化の大きさを示すパラメータである量子化スケールと量子化マトリクス、動きベクトル、符号化実施の有無の情報等を可変長符号化して多重化された符号化ビットストリームを生成したもの、例えば国際標準であるＭＰＥＧ−２規格（ＩＳＯ／ＩＥＣ  １３８１８−２）に従う符号化ビットストリームが入力される。そして、ここで可変長復号を行うことで、ブロック毎に量子化されたＤＣＴ係数、イントラ符号化／インター符号化の情報（予測符号化モード）、量子化スケール、動きベクトル、符号化実施の有無の情報等の符号化情報を得る。
【００６１】
＜逆量子化＞
逆量子化部１０２は、可変長復号部１０１に接続されており、量子化された直交変換係数を逆量子化する手段で構成される。逆量子化部１０２では、可変長復号部１０１で得られた量子化されたＤＣＴ係数を量子化スケールと量子化マトリクスに従い逆量子化して逆量子化されたＤＣＴ係数を得る。
【００６２】
＜逆直交変換＞
逆直交変換部１０３は、逆量子化部１０２に接続されており、直交変換係数を２次元逆直交変換して差分画像を求める手段で構成される。逆直交変換部１０３は、逆量子化されたＤＣＴ係数に２次元逆ＤＣＴを実施して差分画像を得る。
【００６３】
＜加算＞
加算器１０４は、逆直交変換部１０３とスイッチ１０７に接続されており、逆直交変換部１０３で得られた差分画像と動き補償予測値とを加算する手段で構成され、加算によって復号画像を求める。加算器１０４では、ブロックがインター符号化であった場合はフレームメモリ部１０５に蓄積された前フレームの復号画像からブロックの動きベクトルに基づき算出された動き補償予測値、或いはそのブロックがイントラ符号化であった場合はスイッチ１０７により動き補償予測値をゼロとするような出力とを切替え、逆直交変換部１０３で得られた差分画像を加算して復号画像を得る。
【００６４】
＜復号画像蓄積＞
フレームメモリ部１０５は、加算器１０４に接続されており、加算器１０４で得られた復号画像を蓄積する手段で構成されていればよい。
【００６５】
＜動き補償予測＞
動き補償予測部１０６は、可変長復号部１０１とフレームメモリ部１０５に接続されており、動き補償予測値を出力する手段で構成される。動き補償予測部１０６では、フレームメモリ部１０５の前フレームの復号画像と可変長復号部１０１からの情報である動きベクトルに基づき、動き補償予測値を求める。
【００６６】
＜切替え＞
スイッチ１０７は、可変長復号部１０１と動き補償予測部１０６に接続されており、動き補償予測値の出力を切替える手段で構成される。スイッチ１０７は、可変長復号部１０１で復号された予測符号化モード１１３の情報に従い、加算器１０４への入力を切替える。加算器１０４からの出力はフレームメモリ部１０５に出力されるとともに、雑音低減フィルタ部１１２にも出力される。
【００６７】
＜エッジ抽出＞
エッジ抽出部１０８は、フレームメモリ部１０５に接続されており、復号画像から画像のエッジ部分を抽出するエッジ抽出手段により構成される。エッジ抽出手段は、復号画像を微分処理する微分処理手段と、微分処理手段の出力に基づき復号画像のエッジ部分を判定するエッジ判定手段とを有することが好ましい。さらに、エッジ判定手段は、微分処理手段の出力を所定のしきい値と比較し、画素毎にエッジと非エッジとを判定する手段とすることが好ましい。
【００６８】
図２は、図１の画像復号装置におけるエッジ抽出部の構成例を説明するための図で、図３は、図２のエッジ抽出部における微分処理部での微分処理を説明するための図である。図２及び図３において、２０１は微分処理手段で構成される微分処理部、２０２はエッジ判定手段で構成されるエッジ判定部、３０１は３×３画素のウィンドウ内の復号画像の輝度値を示している。
【００６９】
エッジ抽出部１０８は、フレームメモリ部１０５に接続された微分処理部２０１と、微分処理部２０１に接続されたエッジ判定部２０２とで構成するとよい。微分処理部２０１は、フレームメモリ部１０５から入力した復号画像を微分処理する。エッジ判定部２０２は、微分処理部２０１による微分処理結果に基づいてエッジ画素を判定する。
【００７０】
ここで上述のごとく構成されたエッジ抽出部１０８の動作を説明する。
微分処理部２０１は、フレームメモリ部１０５に蓄積されている復号画像に対して、Ｓｏｂｅｌオペレータを用いて微分処理を施し、微分画像を作成する。このオペレータにより得られる微分値Ｇｉ，ｊは、図３において３×３画素のウィンドウ内の復号画像の輝度値をＡ〜Ｉとしたとき、下式（１）で表される。
【００７１】
Ｇｉ，ｊ＝｜Ａ＋２Ｂ＋Ｃ−Ｇ−２Ｈ−Ｉ｜
＋｜Ａ＋２Ｄ＋Ｇ−Ｃ−２Ｆ−Ｉ｜            …  （１）
【００７２】
エッジ判定部２０２では、前記微分画像からエッジを抽出するため下式（２）のように、所定のしきい値ＴＨｇでしきい値処理して、２値のエッジ画像を得る。下式（２）において、Ｇｉ，ｊは微分画像を表し、Ｅｉ，ｊはエッジ画像を表す。また、Ｅｉ，ｊ＝１である画素をエッジ画素と定義する。
【００７３】
Ｇｉ，ｊ≧ＴＨｇのとき  Ｅｉ，ｊ＝１
Ｇｉ，ｊ＜ＴＨｇのとき  Ｅｉ，ｊ＝０                …  （２）
【００７４】
＜ブロック分類＞
ブロック分類部１０９は、エッジ抽出部１０８に接続されており、エッジ画像の属性を判定してブロックを分類するブロック分類手段で構成される。ブロック分類手段は、エッジ抽出手段で抽出したエッジの状態によりブロックを分類する手段であればよい。
【００７５】
また、他の好ましい形態として、ブロック分類手段は、エッジと判定された画素をブロック毎に数える計数手段を備えるとよい。そして、ブロック分類手段は、エッジ画素数が所定のしきい値以上の場合に、ブロックをエッジブロックと分類し、所定のしきい値より小さい場合には、ブロックを非エッジブロックと分類する。
【００７６】
また、他の好ましい形態として、ブロック分類手段は、エッジブロックと分類されたブロックに対し、エッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点を数え、変化点数が所定のしきい値以上の場合に、そのブロックをテクスチャブロックと分類し、所定のしきい値より小さい場合には、そのブロックを有意エッジブロックと分類する。この形態は、上述したエッジブロックと非エッジブロックとの分類後に採用してもよい。
【００７７】
図４は、図１の画像復号装置におけるブロック分類部で分類される、有意エッジブロックとテクスチャブロックとを説明するための図である。図４（Ａ）において４０１はエッジブロックの例を示し、図４（Ｂ）において４０２はエッジブロックの他の例を示している。図４を参照して、上述した、ブロック分類部１０９の好ましい形態を説明する。
【００７８】
ブロック分類部１０９では、前記エッジ画像を用いて復号画像のブロックを、有意エッジ，テクスチャ，非エッジの３種類のブロックに分類する。この処理は、まずエッジ画像をブロック毎に調べ、ブロック内のエッジ画素が所定のしきい値ＴＨｆより少ないものを非エッジブロックと分類する。次に、所定のしきい値ＴＨｆ以上のエッジ画素を含むエッジブロックに対し、横方向及び縦方向でエッジ画素から非エッジ画素、及び非エッジ画素からエッジ画素の変化点数を数える。そして、縦・横方向の変化点数を合計し、その値をエッジブロックのエッジ変化点数とする。ここで、エッジ変化点数が少なければエッジ画素が集中している、即ち、明確なエッジをもつと判断できる。一方、エッジ変化点数が多ければきめ細かなランダムな模様をもつテクスチャと判断できる。
【００７９】
したがって、この特徴を利用してエッジブロックを有意エッジブロックとテクスチャブロックに分類できる。即ち、各エッジブロックにおけるエッジ変化点数をＶｋ，ｌとしたとき、下式（３）で示すように、しきい値ＴＨｖを用いてテクスチャブロックと有意エッジブロックに分類する。
【００８０】
Ｖｋ，ｌ≧ＴＨｖのとき、テクスチャブロック
Ｖｋ，ｌ＜ＴＨｖのとき、有意エッジブロック                …  （３）
【００８１】
エッジブロック４０１，４０２で例示するエッジブロックにおいて、●で示す画素４０３はエッジ画素であり、○で示す画素４０４は非エッジ画素である。ここで、エッジブロック４０１のエッジ変化点数は３２、エッジブロック４０２のエッジ変化点数は７１となる。しきい値ＴＨｖを６０とすると、エッジブロック４０１は有意エッジブロック、エッジブロック４０２はテクスチャブロックと分類できる。また、エッジ変化点数を縦方向のみ、或いは横方向のみで算出してもよい。
【００８２】
以上のように、ブロック分類部１０９からブロック分類結果１１４として、ブロック毎に有意エッジブロック，テクスチャブロック，非エッジブロックの３種類うちいずれかを示す情報が出力される。これにより、モスキート雑音とブロックひずみに適した雑音低減処理の制御が可能となる。即ち、エッジブロック（有意エッジブロック、テクスチャブロック）にはブロック内部にモスキート雑音が発生するので、この分類結果を用いることでブロック内の全画素にフィルタリングを実施する制御が可能となる。一方、非エッジブロックにはブロック内部にモスキート雑音が発生しないのでブロック境界のみがフィルタリングされればよく、この分類結果を用いてブロックひずみ低減に適したフィルタリング制御が可能となる。また、処理量軽減の観点からエッジ変化点を求めないでブロックの分類結果を、エッジブロックと非エッジブロックの２つに分類してもよい。
【００８３】
＜量子化パラメータ演算＞
量子化パラメータ演算部１１０は、可変長復号部１０１に接続されており、量子化スケールから量子化パラメータの状態を算出する手段で構成される。この手段は、これに限らず次の量子化パラメータ演算手段であればよい。即ち、量子化パラメータ演算手段は、画像フレームを所定の処理単位に分割し、その処理単位においてブロックの符号化データの量子化パラメータに対して所定の演算を実施して、各処理単位における量子化パラメータの状態を算出する。
【００８４】
他の好ましい形態として、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位としてもよい。そして、量子化パラメータ演算手段は、その処理単位内でブロック毎の量子化スケールを加算して量子化スケールの平均値を算出し、これを各処理単位における量子化パラメータの状態とする。
【００８５】
画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とする他の好ましい形態として、量子化パラメータ演算手段は、その処理単位内でブロックの予測符号化モード別に、ブロック毎の量子化スケールを加算してフレーム内（イントラ）符号化と非フレーム内（非イントラ）符号化で別々に量子化スケールの平均値を算出するとよい。そして、量子化パラメータ演算手段は、算出したものを各処理単位におけるフレーム内（イントラ）符号化と非フレーム内（非イントラ）符号化の量子化パラメータの状態とする。
【００８６】
また、処理単位に関する好ましい形態としては、画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位とし、スライス、或いはビデオパケット、或いはグループオブブロック（ＧＯＢ）とするとよい。この形態にあっては、画像フレームを複数のブロックで構成する帯状に分割したものを処理単位とする形態と併用可能である。
【００８７】
図５は、図１の画像復号装置における量子化パラメータ演算部の構成例を説明するための図で、図６は、図５の量子化パラメータ演算部における処理単位の分割を説明するための図で、図７は、図５の量子化パラメータ演算部における処理単位の分割、特にＭＰＥＧ−４のビデオパケットに係る処理単位の分割を説明するための図である。
【００８８】
図５乃至図７を参照して、上述した、量子化パラメータ演算部１１０の好ましい形態を説明する。図５において、５０１は処理単位分割部、５０２は量子化スケール加算部、５０３は量子化スケール平均値算出部を示しており、量子化パラメータ演算部１１０はこれらの構成要素により構成されるものとして説明する。また、図６及び図７において、６０１，７０１は画像フレームの例を示している。
【００８９】
量子化パラメータ演算部１１０は、処理単位分割部５０１、量子化スケール加算部５０２、及び量子化スケール平均値算出部５０３で構成される。
【００９０】
処理単位分割部５０１は、可変長復号部１０１に接続されており、量子化パラメータの状態を算出するために画像フレームを処理単位に分割する。量子化スケール加算部５０２は、処理単位分割部５０１と可変長復号部１０１に接続されており、処理単位内でブロックの予測符号化モード１１３に従い量子化スケールを加算する。量子化スケール平均値算出部５０３は、量子化スケール加算部５０２に接続されており、処理単位内での量子化スケールの平均値を算出する。
【００９１】
処理単位分割部５０１では、画質を表す指針である量子化スケールの状態を求める単位に画像フレームを分割する部分であり、画像フレームにおいて大局的でなく、かつ局所的過ぎないことが重要である。即ち、この処理単位を画像フレーム全体とするとフレーム全体で一様でない画像、例えば、ある部分は平坦で情報量が少ないが、別の部分は細かなテクスチャがあり多くの情報量をもつような画像に対しては、画像の部分毎に正確な量子化スケールの状態を把握することはできない。一方、局所的過ぎると、例えば、１マクロブロック（ＭＢ）毎では、フィルタ制御部１１１で決定されるフィルタ強度がマクロブロック単位で変動し、それによりフィルタリングを行うとマクロブロック単位で画質が変動する可能性があるので、好ましくない。したがって、画像フレームを横方向に分割して複数のブロックで構成する処理単位が望ましい。
【００９２】
本構成例では、図６に示すように画像フレーム６０１を１６ライン幅のマクロブロックの帯で分割したスライスを処理単位とする（例えば、図６のスライス６０２、スライス６０３、スライス６０６）。但し、１マクロブロックで構成するスライス６０４は局所的過ぎるので、この場合は次のスライス６０５と融合したものを１つの処理単位として扱う。即ち、処理単位は、２マクロブロック以上で構成することになる。
【００９３】
また、本処理単位は、図７に示すＭＰＥＧ−４の画像フレーム（ＶＯＰ）７０１におけるビデオパケット７０２，ビデオパケット７０３，ビデオパケット７０４に合わせ、画像フレームの右端に達した場合は１行下の左端に連続してもよい。ここで重要なことは、本処理単位を画像フレームで独立に画像を復号できる２つ以上のマクロブロックで構成する符号化単位、即ちスライスやビデオパケットやグループオブブロック（ＧＯＢ）等の大きさにすることである。これは、一般的にこれらの符号化単位内では同一の符号化条件を用いて符号化するので、画質が均一である。したがって、雑音低減フィルタもこの符号化単位内で頻繁に変動しないことが望ましいため、本処理単位で量子化スケールの状態を求めることとする。
【００９４】
量子化スケール加算部５０２は、処理単位分割部５０１で分割した処理単位毎に、可変長復号部１０１からの出力である予測符号化モード１１３別に量子化スケールの値を加算する。即ち、各処理単位において予測符号化モード１１３に従って、イントラ符号化のマクロブロックと非イントラ符号化のマクロブロックについて、それぞれの量子化スケールの値を加算する。また、イントラ符号化のマクロブロック数と非イントラ符号化のマクロブロック数も求めておく。
【００９５】
量子化スケール平均値算出部５０３では、量子化スケール加算部５０２で求めた量子化スケールの値を加算結果からイントラ符号化のマクロブロックと非イントラ符号化のマクロブロックの量子化スケールの平均値を算出する。その値は、量子化スケール平均値１１６として出力される。
【００９６】
また、処理量軽減の観点から予測符号化モード１１３によらず、処理単位内で全量子化スケールの平均値を算出してもよい。また、ＩＴＵ−Ｔ勧告Ｈ．２６４、Ｈ．２６３、Ｈ．２６１等における量子化ステップサイズは、本構成例における量子化スケールと同等の扱いが可能である。
【００９７】
＜フィルタ制御＞
フィルタ制御部１１１は、可変長復号部１０１とブロック分類部１０９と量子化パラメータ演算部１１０に接続されており、フィルタの動作を制御するフィルタ制御手段で構成される。このフィルタ制御手段は、ブロック毎の分類結果とそのブロックが属する画像フレームの所定の処理単位における量子化パラメータの状態に従い、雑音低減フィルタ手段によるフィルタリング、即ち雑音低減フィルタ部１１２におけるフィルタリングを制御する。
【００９８】
フィルタ制御手段は、第一，第二の２つのフィルタ強度、或いは第三も加えた３つのフィルタ強度で雑音低減フィルタ部１１２を制御することが好ましい。そして、この第一のフィルタ強度は、フィルタ制御手段が、所定の処理単位毎に算出された量子化スケールの平均値の大きさに基づき決定するとよい。第二のフィルタ強度及びその第一のフィルタ強度との関係や制御方法については、次に説明する様々な形態（Ｉ〜ＶＩＩ）のいずれか、或いはそれらの組み合わせを採用することが好ましい。
【００９９】
［Ｉ．非エッジブロック／エッジブロック別の制御ａ］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御する。
【０１００】
［ＩＩ．非エッジブロック／エッジブロック別の制御ｂ］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御する。
【０１０１】
［ＩＩＩ．非エッジブロック／テクスチャブロック／有意エッジブロック別の制御］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックのブロック境界画素のみが第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がテクスチャブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロック内すべての画素が第二のフィルタ強度でフィルタリングが実施されるように制御する。さらに、ブロックの分類結果が有意エッジブロックの場合は、第二のフィルタ強度より強いフィルタリングが実施されるような第三のフィルタ強度を決定し、このブロック内すべての画素が第三のフィルタ強度でフィルタリングが実施されるように制御する。
【０１０２】
［ＩＶ．非エッジブロック／エッジブロック別・イントラ／非イントラ別の制御］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御する。さらに、ブロックの予測符号化モードがフレーム内（イントラ）符号化の場合は、非フレーム内（非イントラ）符号化よりも強いフィルタ強度になるように第一のフィルタ強度或いは第二のフィルタ強度を変更してフィルタリングが実施されるように制御する。
【０１０３】
［Ｖ．非エッジブロック／エッジブロック別・Ｂ／Ｉ／Ｐピクチャ別の制御］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御する。さらに、ピクチャタイプが双方向予測符号化（Ｂピクチャ）の場合は、フレーム内符号化（Ｉピクチャ）及びフレーム間順方向予測符号化（Ｐピクチャ）よりも強いフィルタ強度になるように第一のフィルタ強度或いは第二のフィルタ強度を変更してフィルタリングが実施されるように制御する。
【０１０４】
［ＶＩ．非エッジブロック／エッジブロック別・フレーム総符号量別の制御］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御する。さらに、各フレームの総符号量に基づき第一のフィルタ強度或いは第二のフィルタ強度を変更してフィルタリングが実施されるように制御する。また、フィルタ制御手段は、フィルタ強度のいずれかを変更するのではなく、第一のフィルタ強度及び第二のフィルタ強度の双方を変更するようにしてもよい。
【０１０５】
［ＶＩＩ．非エッジブロック／エッジブロック別・ＤＣＴ係数等の符号量別の制御］
フィルタ制御手段は、ブロック毎の分類結果が非エッジブロックの場合は、このブロックを第一のフィルタ強度でフィルタリングが実施されるように制御する。また、ブロックの分類結果がエッジブロックの場合は、第一のフィルタ強度より強いフィルタリングが実施されるような第二のフィルタ強度を決定し、このブロックを第二のフィルタ強度でフィルタリングが実施されるように制御する。さらに、各フレームにおけるＤＣＴ係数符号量、動きベクトル符号量、それ以外の符号量の割合に基づいて、第一のフィルタ強度或いは第二のフィルタ強度を変更してフィルタリングが実施されるように制御する。また、フィルタ制御手段は、フィルタ強度のいずれかを変更するのではなく、第一のフィルタ強度及び第二のフィルタ強度の双方を変更するようにしてもよい。
【０１０６】
以下、上述したＩ〜ＶＩＩの形態を組み合わせた例を挙げて説明するが、個々の形態についての詳細はその説明を流用すれば理解可能である。この形態におけるフィルタ制御部１１１は、ブロック分類結果１１４，量子化スケール平均値１１６，予測符号化モード１１３，ピクチャタイプ１１７に基づきフィルタ強度を決定し、ブロック毎のフィルタリングを制御する。
【０１０７】
図８は、図１の画像復号装置におけるフィルタ制御部によりブロック毎のフィルタ強度を決定する処理の流れを説明するためのフロー図で、図９は、図８の処理において決定される、量子化スケール平均値とフィルタ強度の関係を示した図である。図８を参照した説明において、特に説明がない場合はブロック単位での処理を意味するものとする。また、図９において、９０１，９０２はフィルタ強度ラインの例を示している。
【０１０８】
フィルタ制御部１１１は、まず、フィルタ対象のブロックが非イントラ符号化か否かを判定する（ステップＳ１）。ここでの判定処理は、予測符号化モード１１３を基に判定し、非イントラ符号化の場合には処理がステップＳ２に進み、そうでない場合には処理がステップＳ３に進む。
【０１０９】
ステップＳ２では、非イントラ符号化の場合のフィルタ強度を決定する。図９で示す、量子化スケール平均値１１６とフィルタ強度の関係では、量子化スケール平均値が大きくなるほどフィルタ強度が強くなっているのが分かる。これを基に量子化スケール平均値１１６に対するフィルタ強度を、非イントラ符号化のフィルタ強度ライン９０１から求める。
【０１１０】
ステップＳ３では、イントラ符号化の場合のフィルタ強度を決定する。この場合は、図９に示すイントラ符号化のフィルタ強度ライン９０２を基に、フィルタ強度を求める。これは、イントラ符号化の場合は非イントラ符号化よりも一般的に高圧縮が施され画質が劣化するので、非イントラ符号化と同じ量子化スケール平均値でも強いフィルタが実施されるように設定しておく。なお、フィルタ強度ライン９０１及びフィルタ強度ライン９０２は、直線でなく曲線であってもよく、また、適当なオフセットをもたせてもよい。
【０１１１】
ステップＳ２，Ｓ３に続いて、フィルタ制御部１１１は、フィルタ対象のブロックが非エッジブロックか否かを判定する（ステップＳ４）。ここでの判定処理は、ブロック分類結果１１４を基に判定し、非エッジブロックの場合には処理がステップＳ８に進み、そうでない場合には処理がステップＳ５に進む。
【０１１２】
ステップＳ５は、フィルタ対象のブロックがテクスチャブロックか否かの判定処理である。ここでの判定処理は、ブロック分類結果１１４を基に判定し、テクスチャブロックの場合には処理がステップＳ６に進み、そうでない場合には処理がステップＳ７に進む。
【０１１３】
ステップＳ６では、テクスチャブロックの場合のフィルタ強度を決定する。ここでは、ステップＳ２或いはステップＳ３で決定したフィルタ強度に対し、所定の値α（α＞０）を加算して新たなフィルタ強度とする。このようにすることで、非エッジブロックよりも強いフィルタリングが実施されるようにする。これは、テクスチャ部分とはいえモスキート雑音が非エッジ部分よりも多く発生する可能性があり、効果的に雑音を低減するためである。
【０１１４】
ステップＳ７では、有意エッジブロックの場合のフィルタ強度を決定する。ここでは、ステップＳ２或いはステップＳ３で決定したフィルタ強度に対し、β＞αの関係をもつ所定の値β（β＞０）を加算して新たなフィルタ強度とする。このようにすることで、非エッジブロック及びテクスチャブロックよりも強いフィルタリングが実施されるようにする。これは、明確なエッジをもつ部分には多くのモスキート雑音が発生する可能性があり、より効果的に雑音を低減するためである。
【０１１５】
ステップＳ８は、フィルタ対象のブロックのピクチャタイプがＢピクチャか否かの判定処理である。ここでの判定処理は、ピクチャタイプ１１７を基に判定し、Ｂピクチャの場合には処理がステップＳ９に進み、そうでない場合には処理がステップＳ１０に進む。
【０１１６】
ステップＳ９では、フィルタ対象ブロックがＢピクチャに属する場合のフィルタ強度を決定する。ここでは、ステップＳ８までの処理によって決定したフィルタ強度に対し、所定の値γ（γ＞０）を加算して新たなフィルタ強度とする。このようにすることで、Ｉピクチャ及びＰピクチャよりも、一般的に高圧縮され画質が劣化するＢピクチャに対して強いフィルタリングを実施し、効果的に雑音を低減するようにする。
【０１１７】
ステップＳ１０では、ステップＳ９までの処理で得られたフィルタ強度とブロック分類結果をフィルタパラメータ１１８として、雑音低減フィルタ部１１２に出力して処理を終了する。
【０１１８】
＜雑音低減フィルタ＞
雑音低減フィルタ部１１２は、加算器１０４と前述のフィルタ制御部１１１に接続されており、フィルタ制御部１１１による制御に基づいて、復号画像にフィルタを施し雑音を低減する手段で構成される。この手段は、ブロック毎に符号化された画像フレームを復号し、復号画像に発生する雑音を低減する雑音低減フィルタ手段であればよいが、前述のフィルタ制御手段によってその制御がなされる。
【０１１９】
また、この雑音低減フィルタ手段は、復号画像のブロックひずみを低減するブロックひずみ低減手段と、復号画像のモスキート雑音を低減するモスキート雑音低減手段とを有することが好ましい。
【０１２０】
図１０及び図１１は、図１の画像復号装置における雑音低減フィルタ部の動作を説明するための図で、図１０はエッジブロック及び非エッジブロックにおけるフィルタリングの対象となる画素を説明するための図、図１１は雑音低減フィルタの例を説明するための図である。図１０（Ａ）において１００１はエッジブロック（テクスチャブロック及び有意エッジブロック）の例を示し、図１０（Ｂ）において１００２は非エッジブロックの例を示し、図１１において１１０１は雑音低減フィルタの例としての非線形フィルタの例を示している。また、図１０では、エッジブロック及び非エッジブロックにおけるフィルタリングの対象となる画素とならない画素とを示すため、●でフィルタリング対象画素を、○で非フィルタリング対象画素を示している。
【０１２１】
雑音低減フィルタ部１１２では、加算器１０４からの出力である復号画像に対し、フィルタ制御部１１１で決定したフィルタパラメータ１１８を基に、雑音を低減するためのフィルタリングを実施する。
【０１２２】
図１０で●で例示するようなフィルタリング対象画素に対してのみ、フィルタパラメータ１１８のフィルタ強度で雑音低減フィルタが実施される。非フィルタリング対象画素にはフィルタリングを行わず、そのままの値を出力する。具体的な動作は、次のとおりである。
【０１２３】
図１０（Ａ）で例示したように、フィルタパラメータ１１８がエッジブロック（テクスチャブロック及び有意エッジブロック）の場合、モスキート雑音を低減するためにブロック内の全画素に対して、フィルタパラメータ１１８のフィルタ強度に従いフィルタリングを実施する。一方、図１０（Ｂ）で例示したように、フィルタパラメータ１１８が非エッジブロックの場合、ブロックひずみを低減するためにブロック内の境界画素に対して、フィルタパラメータ１１８のフィルタ強度に従いフィルタリングを実施する。したがって、エッジブロックと非エッジブロック毎にそれぞれの雑音に適したフィルタリングが実施されるので、無駄なフィルタリングを防止しつつモスキート雑音とブロックひずみの双方の雑音が低減できる。
【０１２４】
また、本構成例では、雑音低減フィルタとして非線形フィルタを用いる。これは、図１１に示すようにフィルタリング対象画素を注目画素Ｘｉ，ｊとして、それを中心とした３×３画素のウィンドウを設定し、下式（４）により出力画素Ｙｉ，ｊを得て、Ｘｉ，ｊと置き換える。ここで、εはフィルタパラメータ１１８のフィルタ強度である。
【０１２５】
【数１】
2006032999.tif 000003
【０１２６】
上述のごとき処理により、フィルタパラメータ１１８に基づき復号画像の適応的なフィルタリングが可能となる。復号画像はエッジの状態等により適切に雑音が低減されており、これを雑音低減フィルタ部１１２の出力とする。
【０１２７】
なお、本実施例では、式（４）のような非線形フィルタを用いたが、メディアンフィルタや平滑化フィルタなど、従来提案されている様々な手法が使用可能である。したがって、ここでは特に限定しない。
【０１２８】
以上、本発明の各実施形態について説明したが、本発明に係る画像復号装置及び画像復号方法は、上述した各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施形態に係る画像復号装置の一構成例のブロック図である。
【図２】図１の画像復号装置におけるエッジ抽出部の構成例を説明するための図である。
【図３】図２のエッジ抽出部における微分処理部での微分処理を説明するための図である。
【図４】図１の画像復号装置におけるブロック分類部で分類される、有意エッジブロックとテクスチャブロックとを説明するための図である。
【図５】図１の画像復号装置における量子化パラメータ演算部の構成例を説明するための図である。
【図６】図５の量子化パラメータ演算部における処理単位の分割を説明するための図である。
【図７】図５の量子化パラメータ演算部における処理単位の分割、特にＭＰＥＧ−４のビデオパケットに係る処理単位の分割を説明するための図である。
【図８】図１の画像復号装置におけるフィルタ制御部によりブロック毎のフィルタ強度を決定する処理の流れを説明するためのフロー図である。
【図９】図８の処理において決定される、量子化スケール平均値とフィルタ強度の関係を示した図である。
【図１０】図１の画像復号装置における雑音低減フィルタ部の動作を説明するための図で、エッジブロック及び非エッジブロックにおけるフィルタリングの対象となる画素を説明するための図である。
【図１１】図１の画像復号装置における雑音低減フィルタ部の動作を説明するための図で、雑音低減フィルタの例を説明するための図である。
【図１２】従来技術による画像復号装置の構成例を示すブロック図である。
【符号の説明】
【０１３０】
１０１…可変長復号部、１０２…逆量子化部、１０３…逆直交変換部、１０４…加算器、１０５…フレームメモリ部、１０６…動き補償予測部、１０７…スイッチ、１０８…エッジ抽出部、１０９…ブロック分類部、１１０…量子化パラメータ演算部、１１１…フィルタ制御部、１１２…雑音低減フィルタ部、１１３…予測符号化モード、１１４…ブロック分類結果、１１５…量子化スケール、１１６…量子化スケール平均値、１１７…ピクチャタイプ、１１８…フィルタパラメータ、２０１…微分処理部、２０２…エッジ判定部、５０１…処理単位分割部、５０２…量子化スケール加算部、５０３…量子化スケール平均値算出部。
【図１】
2006032999.tif 000004
【図２】
2006032999.tif 000005
【図３】
2006032999.tif 000006
【図４】
2006032999.tif 000007
【図５】
2006032999.tif 000008
【図６】
2006032999.tif 000009
【図７】
2006032999.tif 000010
【図８】
2006032999.tif 000011
【図９】
2006032999.tif 000012
【図１０】
2006032999.tif 000013
【図１１】
2006032999.tif 000014
【図１２】
2006032999.tif 000015