(57)【特許請求の範囲】
【請求項１】
任意のブロックごとに符号化されて圧縮された入力画像情報を伸張して復号する画像復号化装置であって、
前記復号化後の画像情報について、圧縮ブロックの境界の特徴を抽出する処理として、圧縮ブロックの境界の画素の凹凸の情報を求める処理と、圧縮ブロックの境界の段差の絶対値を求める処理とを行うブロック境界特徴抽出手段と、
前記ブロック境界特徴抽出手段の抽出結果に基づき、前記復号化後の画像情報をブロック歪みとして補正すべきか否かを判定する処理として、少なくとも、前記段差の絶対値が第１の閾値以下であるか否かを判断して前記第１の閾値以下でない場合はブロック歪みでないと判定し、さらに、前記段差の絶対値が前記第１の閾値以下である場合に、前記段差の絶対値が前記凹凸の情報の値以上であるか否かを判断して前記凹凸の情報の値以上でない場合はブロック歪みでないと判定する処理を行うブロック歪み判定手段と、
ブロック歪みの補正量を計算する処理として、前記ブロック境界特徴抽出手段の抽出結果に基づいて基本の補正量を計算する処理と、前記ブロック歪み判定手段でブロック歪みであると判定された場合に、前記段差の絶対値が第２の閾値以下である否か判断し、該第２の閾値以下である場合は前記基本の補正量をそのまま補正量として決定し、該第２の閾値以下でない場合は前記段差の絶対値が第３の閾値以下である否か判断し、該第３の閾値以下である場合は前記基本の補正量の２分の１を補正量として決定し、該第３の閾値以下でない場合は前記基本の補正量の４分の１を補正量として決定する処理とを行うブロック歪み補正強度計算手段と、
前記ブロック歪み判定手段，前記ブロック歪み補正強度計算手段に、前記第１の閾値，前記第２の閾値及び前記第３の閾値として０≦第２の閾値≦第３の閾値≦第１の閾値となる値を供給するとともに、前記第１の閾値を任意に設定可能とし、且つ、低ビットレートの画像情報に対しては高ビットレートの画像情報よりも前記第２の閾値及び前記第３の閾値を大きくする制御手段と、
前記復号化後の画像情報に対して、前記ブロック歪み補正強度計算手段によって計算されたブロック歪みの補正量を用いて前記圧縮ブロックの境界に生じるブロック歪みの低減を行うブロック歪み低減手段とを有する
画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式を用いて圧縮符号化された画像情報を伸張復号する際に使用して好適な画像復号化装置に関する。詳しくは、例えばＭＰＥＧ方式のような画像情報の圧縮伸張システムで、ビットレートに応じて発生する歪みに対する低減特性を可変にして、常に良好な画像情報の復号を行うことができるようにするものである。
【０００２】
【従来の技術】
例えばＭＰＥＧ方式の画像情報の圧縮伸張システムにおいては、圧縮時のビットレートが不足すると、圧縮過程で画像情報の高周波成分を削減することが行われる。そのような場合に、伸張復号化された画像情報においては圧縮ブロックの境界にブロック歪みが発生するものである。この対策としては、例えばビットレートを上げて高周波成分の削減量を少なくする方法や、伸張復号化された画像情報にブロック歪みを低減するブロック歪み低減処理を施す方法が考えられる。
【０００３】
ところがこれらの対策において、ビットレートを上げる方法はシステムの変更等を伴うために実施が困難である。このため従来から、伸張復号化された画像情報にブロック歪みを低減するブロック歪み低減処理を施す方法が一般的に採られている。しかしながら従来のブロック歪み低減処理では、用いられているブロック歪み低減処理の判定基準等が常時一定であり、ＭＰＥＧ方式のサーチ画等の低ビットレートの画像情報に対しては画質の改善効果が少ないものであった。
【０００４】
【発明が解決しようとする課題】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、用いられているブロック歪み低減処理の判定基準等が常時一定であり、例えば低ビットレートの画像情報に対しては良好な画質の改善効果を得ることができなかったというものである。
【０００５】
【課題を解決するための手段】
このため本発明においては、補正量を定める閾値を、低ビットレート時は大きく与えることにより通常の補正量とする範囲を広く取り、高ビットレート時は小さく与えるようにしたものであって、これによれば、低ビットレートの画像情報に対して良好な画質の改善効果を得ることができると共に、高ビットレートの画像情報に対しては過剰な補正の行われるようなことがなく、各種のビットレートの画像情報に対して常に最適な画質の改善効果を得ることができる。
【０００６】
【発明の実施の形態】
すなわち本発明においては、任意のブロックごとに符号化されて圧縮された入力画像情報を伸張して復号する画像復号化装置であって、
前記復号化後の画像情報について、圧縮ブロックの境界の特徴を抽出する処理として、圧縮ブロックの境界の画素の凹凸の情報を求める処理と、圧縮ブロックの境界の段差の絶対値を求める処理とを行うブロック境界特徴抽出手段と、
前記ブロック境界特徴抽出手段の抽出結果に基づき、前記復号化後の画像情報をブロック歪みとして補正すべきか否かを判定する処理として、少なくとも、前記段差の絶対値が第１の閾値以下であるか否かを判断して前記第１の閾値以下でない場合はブロック歪みでないと判定し、さらに、前記段差の絶対値が前記第１の閾値以下である場合に、前記段差の絶対値が前記凹凸の情報の値以上であるか否かを判断して前記凹凸の情報の値以上でない場合はブロック歪みでないと判定する処理を行うブロック歪み判定手段と、
ブロック歪みの補正量を計算する処理として、前記ブロック境界特徴抽出手段の抽出結果に基づいて基本の補正量を計算する処理と、前記ブロック歪み判定手段でブロック歪みであると判定された場合に、前記段差の絶対値が第２の閾値以下である否か判断し、該第２の閾値以下である場合は前記基本の補正量をそのまま補正量として決定し、該第２の閾値以下でない場合は前記段差の絶対値が第３の閾値以下である否か判断し、該第３の閾値以下である場合は前記基本の補正量の２分の１を補正量として決定し、該第３の閾値以下でない場合は前記基本の補正量の４分の１を補正量として決定する処理とを行うブロック歪み補正強度計算手段と、
前記ブロック歪み判定手段，前記ブロック歪み補正強度計算手段に、前記第１の閾値，前記第２の閾値及び前記第３の閾値として０≦第２の閾値≦第３の閾値≦第１の閾値となる値を供給するとともに、前記第１の閾値を任意に設定可能とし、且つ、低ビットレートの画像情報に対しては高ビットレートの画像情報よりも前記第２の閾値及び前記第３の閾値を大きくする制御手段と、
前記復号化後の画像情報に対して、前記ブロック歪み補正強度計算手段によって計算されたブロック歪みの補正量を用いて前記圧縮ブロックの境界に生じるブロック歪みの低減を行うブロック歪み低減手段とを有するものである。
【０００７】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した画像復号化装置の要部となるブロック歪み低減手段の一実施形態の構成を示すブロック図である。
【０００８】
図１において、入力端子１には、例えば伸張された画像情報（８ビット）が入力される。この入力端子１からの画像情報が、例えば隣合う８×８画素の圧縮ブロックの境界の特徴を抽出するブロック境界特徴抽出部２に供給される。このブロック境界特徴抽出部２では、ブロック境界のアクティビティ、境界段差等が計算され、計算結果が後段のブロック歪みであるか否かを判定するためのブロック歪み判定部３に供給される。
【０００９】
さらにこのブロック歪み判定部３では、ブロック境界特徴抽出部２から供給されるアクティビティ、境界段差と、外部のコントローラー部１００から供給される任意に設定された閾値１（８ビット）等によって、画像情報をブロック歪みとして補正すべきか否かの判定が行われる。そしてこのブロック歪み判定部３での判定結果が、後段のブロック歪みの補正レベルを計算するためのブロック歪み補正強度計算部４に供給される。
【００１０】
また、このブロック歪み補正強度計算部４では、ブロック境界周辺の画素、ブロック境界の段差、及びコントローラー部１００から供給される任意に設定された閾値２、閾値３（それぞれ８ビット）等によって、ブロック歪みの補正量が計算される。そしてこのブロック歪み補正強度計算部４で計算されたブロック歪みの補正量が、後段の実際にブロック歪みの補正を行うためのブロック歪み補正部５に供給される。
【００１１】
さらにこのブロック歪み補正部５においては、入力端子１から供給される画像情報のブロック境界周辺の画素に対して、上述のブロック歪みの補正量を加減算して、ブロック歪みが低減されるようにするものである。さらにこのブロック歪み補正部５でブロック歪みの低減された画像情報が、スイッチ６で入力端子１からの画像情報と選択されて出力端子７に取り出される。このようにしてブロック歪みの低減された画像情報が出力端子７に取り出される。
【００１２】
そしてこの装置において、ブロック境界特徴抽出部２における具体的なブロックの特徴抽出の動作は次のようになっている。すなわち図２には、例えば隣合う８×８画素の圧縮ブロックについてブロック境界と補正範囲が示されている。これらの画素について、ブロック境界の前後５画素に対して画素の凹凸の情報（アクティビティ：以下、ａｃｔと略称する）が次式によって調べられる。
ａｃｔ＝（｜ｂ−ａ｜＋｜ｃ−ｂ｜＋｜ｄ−ｃ｜＋｜ｅ−ｄ｜＋｜ｇ−ｆ｜＋｜ｈ−ｇ｜＋｜ｉ−ｈ｜＋｜ｊ−ｉ｜）／８
【００１３】
また、８×８画素の圧縮ブロック境界の段差の絶対値（以下、ａｔｍｐ０と略称する）が次式によって求められる。
ａｔｍｐ０＝｜ｆ−ｅ｜
【００１４】
さらにこれらの情報が後段のブロック歪み判定部３に供給される。このブロック歪み判定部３での具体的なブロック歪み判定の動作は次のように行われる。すなわち図３には、ブロック歪みの判定アルゴリズムを示す。この図３において、動作が開始されると、ステップ〔１〕で絶対値〔ａｔｍｐ０〕が任意に設定される閾値１以下であるか否か判断される。ここで〔ａｔｍｐ０≦閾値１〕でないとき（Ｎ）は、ステップ〔２〕でブロック歪みでないと判定されて終了される。
【００１５】
またステップ〔１〕で〔ａｔｍｐ０≦閾値１〕であるとき（Ｙ）は、ステップ〔３〕で絶対値〔ａｔｍｐ０〕がアクティビティ〔ａｃｔ〕以上であるか否か判断される。ここで〔ａｔｍｐ０≧ａｃｔ〕でないとき（Ｎ）は、ステップ〔２〕でブロック歪みでないと判定されて終了される。
【００１６】
さらにステップ〔３〕で〔ａｔｍｐ０≧ａｃｔ〕であるとき（Ｙ）は、ステップ〔４〕で絶対値〔ａｔｍｐ０〕が値〔｜ｅ−ｆ｜〕より大きいか否か判断される。ここで〔ａｔｍｐ０＞｜ｅ−ｆ｜〕でないとき（Ｎ）は、ステップ〔２〕でブロック歪みでないと判定されて終了される。
【００１７】
またステップ〔４〕で〔ａｔｍｐ０＞｜ｅ−ｆ｜〕であるとき（Ｙ）は、ステップ〔５〕で絶対値〔ａｔｍｐ０〕が値〔｜ｇ−ｆ｜〕より大きいか否か判断される。ここで〔ａｔｍｐ０＞｜ｅ−ｆ｜〕でないとき（Ｎ）は、ステップ〔２〕でブロック歪みでないと判定されて終了される。そして上述のステップ〔１〕及びステップ〔３〕〜〔５〕がすべて（Ｙ）とされたときに、ステップ〔６〕でブロック歪みであると判定されて終了される。
【００１８】
すなわち上述の判定において、ステップ〔１〕は、境界の段差が大きい場合、それはブロック圧縮でできた段差ではなく、本来の画像の段差であることが多いという特徴を利用したものである。なおここでは閾値１の設定により、判定値を任意に変更できるようになっている。
【００１９】
またステップ〔３〕は、ブロック歪みの場合、周辺画素の凹凸具合よりも境界段差が大きいという特徴を利用したものである。さらにステップ〔４〕〔５〕は、ブロック歪みの場合、境界の両端の段差よりも境界段差が大きいという特徴を利用したものである。
【００２０】
このようにして判定されたブロック歪みに対して、ブロック歪み補正強度計算部４においてブロック歪みの基本の補正量（以下、ｓｉｇｍａ０と略称する）が次式によって計算される。
ｓｉｇｍａ０＝｜ａｔｍｐ０−｛｜（ｅ−ｄ）＋（ｇ−ｆ）｜／２｝｜／２
【００２１】
そしてこのように計算されたブロック歪みの基本の補正量〔ｓｉｇｍａ０〕に対して、さらに任意に設定される閾値２、閾値３によって、例えば図４に示すように補正量の修正が行われる。なおこの動作で、閾値１、閾値２、閾値３の関係は、０≦閾値２≦閾値３≦閾値１とする。
【００２２】
すなわち図４において、動作が開始されると、ステップ〔１１〕でブロック歪みであるか否か判断される。ここでブロック歪みであるか否かの判断は、上述の図３のステップ〔２〕または〔６〕によるものである。そしてブロック歪みでないとき（Ｎ）は、ステップ〔１２〕で補正量＝０にされて動作が終了される。
【００２３】
またステップ〔１１〕でブロック歪みであるとき（Ｙ）は、ステップ〔１３〕で絶対値〔ａｔｍｐ０〕が任意に設定される閾値２以下である否か判断される。ここで〔ａｔｍｐ０≦閾値２〕であるとき（Ｙ）は、ステップ〔１４〕で補正量＝〔ｓｉｇｍａ０〕にされて動作が終了される。
【００２４】
さらにステップ〔１３〕で〔ａｔｍｐ０≦閾値２〕でないとき（Ｎ）は、ステップ〔１５〕で絶対値〔ａｔｍｐ０〕が任意に設定される閾値３以下である否か判断される。ここで〔ａｔｍｐ０≦閾値３〕であるとき（Ｙ）は、ステップ〔１６〕で補正量＝〔ｓｉｇｍａ０／２〕にされて動作が終了される。またステップ〔１５〕で〔ａｔｍｐ０≦閾値３〕でないとき（Ｎ）は、ステップ〔１７〕で補正量＝〔ｓｉｇｍａ０／４〕にされて動作が終了される。
【００２５】
このようにして補正量が決定される。そしてこの場合に、閾値２、閾値３を外部から設定できるようにしたことにより、いろいろなビットレートに応じた最適なパラメータを得ることができる。
【００２６】
すなわち高ビットレートの時、ブロック歪みと判定された場合でもブロック境界の段差が大きい場合、ブロック圧縮であらわれた段差ではなく、本来の画像の段差であることが多い。よって高ビットレート時は、外部制御により閾値２、閾値３を小さく与えることにより、誤補正を軽減することができる。
【００２７】
また、低ビットレート時のブロック境界段差は、大きくてもブロック圧縮であらわれた段差であることがほとんどである。よって低ビットレート時は、外部制御により閾値２、閾値３を大きく与えることにより、通常の補正量とする範囲を広く取り、画質の向上が見込めるようにすることができる。
【００２８】
さらに、このように決定された補正量がブロック歪み補正部５に供給される。そしてこのブロック歪み補正部５では、供給される補正量を用いて、入力される画像情報に対するブロック歪みの補正が行われる。すなわちブロック境界の画素に対しては供給される補正量のそのものを用い、１画素離れた画素に対しては供給される補正量の１／２を用い、２画素離れた画素に対しては供給される補正量の１／４を用い、３画素離れた画素に対しては供給される補正量の１／８を用いて、それぞれ境界段差が小さくなるように補正が行われる。
【００２９】
このようにして、例えば図５に○で示すようなブロック境界に段差を有する画像情報が、画素ａ、ｊに対しては補正無し、画素ｂ、ｉに対しては基本補正量の１／８、画素ｃ、ｈに対しては基本補正量の１／４、画素ｄ、ｇに対しては基本補正量の１／２、画素ｅ、ｆに対しては基本補正量として、それぞれ境界段差が小さくなるように補正量の加減算が行われることで、例えば図５に△で示すようにブロック歪みを低減する補正が行われる。
【００３０】
そして上述のように、これらの補正量を定める閾値１、閾値２、閾値３を、外部のコントローラー部１００によって、例えばＭＰＥＧ方式のサーチ画等の低ビットレートの画像情報であることを判断して適応的に制御することにより、
・サーチ画等の低ビットレートの画像情報に対してはブロック歪みを低減する効果を高めることができる。
・通常画像等の高ビットレートの画像情報に対しては過補正による破綻が少なくすることができる。
などの効果を得ることができる。
【００３１】
従ってこの実施形態において、入力画像情報のビットレートに応じてブロック歪み低減手段の特性を変化させるようにしたことによって、低ビットレートの画像情報に対して良好な画質の改善効果を得ることができると共に、高ビットレートの画像情報に対しては過剰な補正の行われるようなことがなく、各種のビットレートの画像情報に対して常に最適な画質の改善効果を得ることができる。
【００３２】
これによって、従来の装置では、用いられているブロック歪み低減処理の判定基準等が常時一定であり、例えば低ビットレートの画像情報に対しては良好な画質の改善効果を得ることができなかったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【００３３】
こうして上述の画像復号化装置によれば、任意のブロックごとに符号化されて圧縮された入力画像情報を伸張して復号する画像復号化装置であって、復号化後の画像情報に対してブロックの境界に生じるブロック歪みの低減を行うブロック歪み低減手段を有し、入力画像情報のビットレートに応じてブロック歪み低減手段の特性を変化させることにより、低ビットレートの画像情報に対して良好な画質の改善効果を得ることができると共に、高ビットレートの画像情報に対しては過剰な補正の行われるようなことがなく、各種のビットレートの画像情報に対して常に最適な画質の改善効果を得ることができるものである。
【００３４】
なお本発明は、上述の説明した実施の形態に限定されるものではなく、本発明の精神を逸脱することなく種々の変形が可能とされるものである。
【００３５】
【発明の効果】
従って請求項１の発明によれば、補正量を定める第２の閾値及び第３の閾値を、低ビットレート時は大きく与えることにより通常の補正量とする範囲を広く取り、高ビットレート時は小さく与えるようにしたことによって、低ビットレートの画像情報に対して良好な画質の改善効果を得ることができると共に、高ビットレートの画像情報に対しては過剰な補正の行われるようなことがなく、各種のビットレートの画像情報に対して常に最適な画質の改善効果を得ることができるものである。
【００４０】
これによって、従来の装置では、用いられているブロック歪み低減処理の判定基準等が常時一定であり、例えば低ビットレートの画像情報に対しては良好な画質の改善効果を得ることができなかったものを、本発明によればこれらの問題点を容易に解消することができるものである。
【図面の簡単な説明】
【図１】本発明を適用した画像復号化装置の要部となるブロック歪み低減手段の一実施形態の構成を示すブロック図である。
【図２】その説明のための図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その効果の説明のための図である。
【符号の説明】
１…入力端子、２…ブロック境界特徴抽出部、３…ブロック歪み判定部、４…ブロック歪み補正強度計算部、５…ブロック歪み補正部、６…スイッチ、７…出力端子、１００…外部のコントローラー部
【図１】
0004696412.tif 000002
【図２】
0004696412.tif 000003
【図３】
0004696412.tif 000004
【図４】
0004696412.tif 000005
【図５】
0004696412.tif 000006