(57)【要約】【課題】矩形ブロック分割と波形変換に基づく画像符号化方式で符号化された圧縮データの画像情報復号処理において復号処理後の画像情報のブロックノイズを除去するデブロッキングフィルタに係る処理量を削減する。【解決手段】対象矩形ブロックと隣接矩形ブロックの画像情報復号時に得られる２次元ＤＣＴ符号化データの直流および周波数成分に対して累積差分演算処理することで、処理量が少ない方法で評価を行ってデブロッキングフィルタ処理回路の適用動作を制御する。【選択図】図１
2010045636.tif 000002
【特許請求の範囲】
【請求項１】
分割された矩形ブロックを２次元ＤＣＴ変換することによって画像情報を符号化した圧縮データを復号する画像情報復号装置であって、
前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数と、上辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第１の差分演算処理手段と、
前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数と、左辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第２の差分演算処理手段と、
前記第１および第２の差分演算処理手段により求められた該当矩形ブロックの第１および第２の累積差分値とあらかじめ設定した差分累積値とを比較し、その比較結果に基づいて少なくとも４種類の歪み除去適用モード信号を出力するモード判定手段と、
前記モード判別手段からの前記歪み除去適用モード信号に応じて前記矩形ブロックの境界毎にブロック歪み除去処理を実行するブロック歪み除去処理手段と
を有することを特徴とする画像情報復号装置。
【請求項２】
分割された矩形ブロックを２次元ＤＣＴ変換することによって画像情報を符号化するＭＰＥＧ４（ＩＳＯ／ＩＥＣ  １４４９６−２）の規格に準拠した圧縮データを復号する画像情報復号装置であって、
前記矩形ブロックに隣接する矩形ブロックの２次元ＤＣＴ符号化データの直流成分よりＡＣＤＣ予測結果を求めるＡＣＤＣ予測手段と、
前記ＡＣＤＣ予測結果に基づき変換係数の差分が左辺隣接ブロックとの間で設定されていると判定される場合、前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数と、上辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第１の差分演算処理手段と、
前記ＡＣＤＣ予測結果に基づき変換係数の差分が上辺隣接ブロックとの間で設定されていると判定される場合、前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数と、左辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第２の差分演算処理手段と、
前記矩形ブロックの圧縮データに含まれる２次元ＤＣＴ符号化データの直流成分の変換係数の差分と垂直方向周波数成分のみを表す変換係数の差分の累積差分値を算出する第３の差分演算処理手段と、
前記矩形ブロックの圧縮データに含まれる２次元ＤＣＴ符号化データの直流成分の変換係数の差分と水平方向周波数成分のみを表す変換係数の差分の累積差分値を算出する第４の差分演算処理手段と、
前記第１または第２の差分演算処理手段により求められた前記矩形ブロックの第１または第２の累積差分値と、前記第３または前記第４の差分演算処理手段により求められた前記矩形ブロックの第３または第４の累積差分値と、あらかじめ設定した差分累積値とを比較し、その比較結果に基づいて少なくとも４種類の歪み除去適用モード信号を出力するモード判定手段と、
前記モード判別手段からの前記歪み除去適用モード信号に応じて前記矩形ブロックの境界毎にブロック歪み除去処理を実行するブロック歪み除去処理手段と
を有することを特徴とする画像情報復号装置。
【請求項３】
分割された矩形ブロックを２次元ＤＣＴ変換することによって画像情報を符号化するＭＰＥＧ４（ＩＳＯ／ＩＥＣ  １４４９６−２）の規格に準拠した圧縮データを復号する画像情報復号装置であって、
前記矩形ブロックに隣接する矩形ブロックの２次元ＤＣＴ符号化データの直流成分よりＡＣＤＣ予測結果を求めるＡＣＤＣ予測手段と、
前記ＡＣＤＣ予測結果に基づき変換係数の差分が左辺隣接ブロックとの間で設定されていると判定される場合、前記矩形ブロックの圧縮データに含まれる２次元ＤＣＴ符号化データの直流成分の変換係数の差分と垂直方向周波数成分のみを表す変換係数の差分の累積差分値を算出する第３の差分演算処理手段と、
前記ＡＣＤＣ予測結果に基づき変換係数の差分が上辺隣接ブロックとの間で設定されていると判定される場合、前記矩形ブロックの圧縮データに含まれる２次元ＤＣＴ符号化データの直流成分の変換係数の差分と水平方向周波数成分のみを表す変換係数の差分の累積差分値を算出する第４の差分演算処理手段と、
前記ＡＣＤＣ予測結果に基づき、前記第３または前記第４の差分演算処理手段により求められた前記矩形ブロックの第３または第４の累積差分値とあらかじめ設定した差分累積値とを比較し、その比較結果に基づいて少なくとも３種類の歪み除去適用モード信号を出力するモード判定手段と、
前記モード判別手段からの前記歪み除去適用モード信号に応じて前記矩形ブロックの境界毎にブロック歪み除去処理を実行するブロック歪み除去処理手段と
を有することを特徴とする画像情報復号装置。
【請求項４】
前記ブロック歪み除去処理手段がＭＰＥＧ４（ＩＳＯ／ＩＥＣ  １４４９６−２）のＡＮＮＥＸ  Ｆの規格に準拠して複数のブロック歪み除去処理手段を有したものであって、
前記ＡＣＤＣ予測結果に基づき、前記第３または前記第４の差分演算手段により求められた差分累積値と前記あらかじめ設定した差分累積値とを比較する第３のモード判定処理手段と、
前記第３のモード判定手段の出力により複数のブロック歪み除去処理の一つを適用制御することを特徴とする請求項２または請求項３に記載の画像情報復号装置。
【請求項５】
分割された矩形ブロックを２次元ＤＣＴ変換することによって画像情報を符号化した圧縮データを復号する画像情報復号装置の画質改善方法であって、
前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数と、上辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分および水平方向周波数成分のみを表す変換係数との差分を順次演算し、
演算した前記差分の絶対値の第１の累積差分値を算出し、
前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数と、左辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分および垂直方向周波数成分のみを表す変換係数との差分を順次演算し、
演算した前記差分の絶対値の第２の累積差分値を算出し、
前記矩形ブロックの前記第１および第２の累積差分値とあらかじめ設定した差分累積値とを比較して、少なくとも４種類の歪み除去適用モードを判定し、
前記４種類の歪み除去適用モードに基づいてブロック境界毎にブロック歪み除去処理を実行する
ことを特徴とする画像情報復号装置の画質改善方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像情報復号装置および画像情報復号装置の画質改善技術に関する。
【背景技術】
【０００２】
近年、動画の画像データを符号化して圧縮し、情報量を削減することでデータの取り扱いを容易にすることが行われている。この符号化は、矩形ブロック分割と波形変換（例えば、ＤＣＴ：Discrete Cosine Transform）によって実現されることが多い。このような画像符号化方式で符号化された圧縮データを復号化して画像を再生する画像情報復号装置が開発されている。
【０００３】
復号化処理により得られた矩形ブロックの復号画像は、各矩形ブロック単位ではデータ圧縮による情報劣化は少ないものの、各矩形ブロックの圧縮、復号が独立に行われるため分割した矩形ブロック境界にノイズが生じて、復号画像の画質が低下する。
【０００４】
この復号画像の画質低下を低減させるため従来の画像情報復号装置では、圧縮された符号化データのビット列を入力して矩形ブロックの画像復号に必要となる有意な情報（２次元の量子化されたＤＣＴ係数［２次元量子化インデックス］とブロック毎の量子化ステップ幅）に変換する圧縮データ解析部と、２次元量子化インデックスと対応する量子化ステップ幅を入力して逆量子化処理を行って元のスケールに戻されたＤＣＴ係数に変換する逆量子化部と、矩形ブロックの画像情報に対応するＤＣＴ係数を逆ＤＣＴ変換処理を行って復号画像情報に変換するＤＣＴ係数逆変換部とから構成される画像情報復号化処理部に、ブロック歪み除去部が追加される。
【０００５】
このブロック歪み除去部は、復号化処理により得られた復号画像の分割した矩形ブロック境界に生じた歪み（ノイズ）を除去するため、対象の矩形ブロックの上辺および左辺に隣接していて既に復号化処理され歪み除去処理が行われて画質向上が図られ保存されている矩形ブロックの画像を入力してデブロッキングフィルタ（ブロック歪みを除去するフィルタ）処理を実行して主観画質を向上させた画像情報に変換し出力するようになっている。なお、ここで上辺および左辺の隣接矩形ブロックの表記は、通常、画像処理の符号化や復号化がフレーム（表示一画面）の左、上の隅の矩形ブロックより右方向に処理が行われ、その行の右端のブロックの処理が終了すると一列下の行の左端のブロックから右方向に処理され、最終的に右、下の隅の矩形ブロックの処理が行われることを前提として使用している。
【０００６】
しかし、このデブロッキングフィルタ処理に要する演算量は大きく、再生処理にとって負担となっている。矩形ブロック境界の両側の複数の画素を比較して、ブロックノイズ除去処理が必要かを評価し、評価結果によって必要となった矩形ブロックに対してデブロッキングフィルタ処理を行うようにして再生処理の負担を減らす技術が発明されている（例えば、特許文献１参照。）。
【特許文献１】特開２００７−１４３１７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述のブロック境界の両側の画素を比較する方法では、例えば８×８ブロックの場合は各矩形ブロックの評価でそれぞれ１６画素より多くの画素値に対する演算が必要となり評価処理の負担が大きい問題がある。
【０００８】
本発明は、上記問題を解決するためになされたもので、デブロッキング処理の適用評価を可能としながら、少ない演算量で同様の評価が可能となる画像情報復号装置および画像情報復号装置の画質改善方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像情報復号装置は、分割された矩形ブロックを２次元ＤＣＴ変換することによって画像情報を符号化した圧縮データを復号する画像情報復号装置であって、前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数と、上辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および水平方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第１の差分演算処理手段と、前記矩形ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数と、左辺隣接ブロックの２次元ＤＣＴ符号化データの直流成分の変換係数および垂直方向周波数成分のみを表す変換係数との差分を順次演算し、前記演算された差分の絶対値の累積差分値を算出する第２の差分演算処理手段と、前記第１および第２の差分演算処理手段により求められた前記矩形ブロックの第１および第２の累積差分値とあらかじめ設定した差分累積値とを比較し、その比較結果に基づいて少なくとも４種類の歪み除去適用モード信号を出力するモード判定手段と、前記モード判別手段からの前記歪み除去適用モード信号に応じて前記矩形ブロックの境界毎にブロック歪み除去処理を実行するブロック歪み除去処理手段とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、デブロッキング処理の適用評価を可能としながら、少ない演算量で同様の評価が可能となる画像情報復号装置および画像情報復号装置の画質改善方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施例を説明する。
【実施例１】
【００１２】
本発明に係る画像情報復号装置の実施例１を、図１乃至図５を参照して説明する。
【００１３】
図１は、実施例１に係る符号化データを復号して画像を再生する画像情報復号装置に含まれる画質改善装置の構成を示すブロック図である。図２は、矩形ブロックの２次元の量子化されたＤＣＴ係数を表す平面図である。図３は、フレーム上で隣接する矩形ブロックの関係を示す平面図である。図４および図５は、画質改善装置の変換係数差分計算部およびモード判定部の処理手順を示すフローチャートである。
【００１４】
図１に示す画像情報復号装置１００は、圧縮データ解析部１１０と、逆量子化部１２０と、逆変換部１３０と、画質改善装置１４０とから構成される。そして、画質改善装置１４０は、ブロック歪み除去部１５０と、変換係数差分計算部１６０と、モード判定部１７０とから構成される。
【００１５】
圧縮データ解析部１１０は、符号化データ１０１のビット列を入力して画像の復号に必要となる有意な情報１１１（２次元の量子化されたＤＣＴ係数［以下、２次元量子化インデックスと記す］、ブロック毎の量子化ステップ幅など）に変換し、逆量子化部１２０に出力する。
【００１６】
逆量子化部１２０は、圧縮データ解析部１１０から２次元量子化インデックスと、それに対応する量子化ステップ幅とを含む情報１１１を入力して、逆量子化処理を行って元のスケールに戻された２次元ＤＣＴ係数１２１に変換し、逆変換部１３０に出力する。
【００１７】
逆変換部１３０は、逆量子化部１２０から２次元ＤＣＴ係数１２１を入力して、逆ＤＣＴ変換処理を行って復号画像情報１３１に変換し画質改善装置１４０のブロック歪み除去部１５０に出力する。
【００１８】
一方、画質改善装置１４０の変換係数差分計算部１６０には、圧縮データ解析部１１０より対象矩形ブロックの２次元量子化インデックスと、それに対応する量子化ステップ幅とを含む情報１１２が入力される。更に、変換係数差分計算部１６０には、図示しないが対象矩形ブロックの上辺と左辺に隣接する矩形ブロックの保存された２次元量子化インデックスと、それに対応する量子化ステップ幅とを含む情報が入力される。
【００１９】
変換係数差分計算部１６０は、入力された対象矩形ブロックと隣接する矩形ブロックの２次元ＤＣＴ係数の差分合計１６１を求めて、モード判定部１７０に出力する。
【００２０】
モード判定部１７０は、変換係数差分計算部１６０から入力されたＤＣＴ係数の差分合計１６１の値とあらかじめ定めた基準値とを比較して、どの隣接ブロックの画像情報との間でどのようにデブロッキングフィルタ処理を適用するかを制御するモード信号１７１を生成して、ブロック歪み除去部１５０に出力する。
【００２１】
そして、画質改善装置１４０のブロック歪み除去部１５０は、入力されたモード信号１７１に従って、対象矩形ブロックの復号画像情報１３１とともに、入力された隣接矩形ブロックの画像情報との間でデブロッキングフィルタ（ブロック境界に生じた歪み（ノイズ）を除去するフィルタ）処理を実行して、主観画像を向上させた画像情報１５１に変換し出力する。
【００２２】
ここで、圧縮データ解析部１１０より出力される矩形ブロックの２次元量子化インデックスについて説明する。以下の説明では、矩形ブロックのサイズを８×８画素としているが、例えば１６×１６画素などであっても良い。
【００２３】
図２に示す２次元量子化インデックス２００は、圧縮データ解析部１１０からの情報１１１では、８×８の６４個の数値が、量子化ステップ幅とともに逆量子化部１２０に入力されて最終的に画像情報に変換される。また、情報１１２では、直流成分２１０と７個の水平方向周波数成分２１１〜２１７と、７個の垂直方向周波数成分２２０、２３０、２４０、２５０、２６０、２７０、２８０の合計１５個の数値が量子化ステップ幅とともに、変換係数差分計算部１６０に入力されて最終的にモード信号１７１に変換される。
【００２４】
水平方向周波数成分は、この矩形ブロックが画像情報に復号変換された時の矩形ブロックの画像のテクスチャの集約された性質の水平方向の変化を表す係数の集まりであり、２１１から２１７に向かって順に高い周波数成分を表している。また、垂直方向周波数成分は、同様に復号された矩形ブロックの画像のテクスチャの集約された性質の垂直方向の変化を表す係数の集まりであり、２２０から２８０に向かった順に高い周波数成分を表している。
【００２５】
図３に示す平面図は、情報１１２における、対象矩形ブロック３１０（Ｑ［ｉ、ｊ］）と、上辺に隣接する矩形ブロック３２０（Ｑ［ｉ、ｊ−１］）、および左辺に隣接する矩形ブロック３３０（Ｑ［ｉ−１、ｊ］）の位置関係と、変換係数差分計算部１６０に入力される１５＋８×２個の係数のそれぞれの矩形ブロック内の位置（図３の網掛けされた実線で囲まれた丸の位置）を示している。
【００２６】
次に、変換係数差分計算部１６０の動作を図３の平面図と、図４の処理手順を参照しながら説明する。
【００２７】
最初に、変数係数差分計算部１６０は、圧縮データ解析部１１０より新たな矩形ブロックのデータが出力されると、変数係数差分計算部１６０内のデータ（制御変数ｎ、およびｍ、差分データ累積変数ＳＵＭ＿Ｈ、およびＳＵＭ＿Ｖ）の初期化を行う（ステップＳ１００）。
【００２８】
次に、上辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］の（ｎ、０）の位置の係数に、その矩形ブロック３２０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ−１］を乗算した値から、対象矩形ブロック３１０Ｑ［ｉ、ｊ］の（ｎ、０）の位置の係数にその対象矩形ブロック３１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算した値を、減算したものを差分変数Ｄに保存する（ステップＳ１１０）。例えば、制御変数ｎ＝０の時は、上辺隣接矩形ブロック３２０Ｑ［ｉ、ｊ−１］と対象矩形ブロック３１０Ｑ［ｉ、ｊ］の直流成分を示す係数に、それぞれの量子化ステップ幅を掛けたものの差分を求めて差分変数Ｄに保存することになる。
【００２９】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿ＨにステップＳ１１０で求めた差分変数Ｄの絶対値を加算する（ステップＳ１２０）。
【００３０】
次に、制御変数ｎに＋１を加算する（ステップＳ１３０）。
【００３１】
次に、制御変数ｎが８未満であるか調べ（ステップＳ１４０）、８未満の時は、ステップＳ１１０に戻り、８以上の時は次のステップＳ１５０に進む。
【００３２】
矩形ブロックのサイズが８×８であるので、制御変数ｎが８となった時には、ステップＳ１１０〜ステップＳ１４０の処理が繰り返し実行されたことによって対象矩形ブロック３１０Ｑ［ｉ、ｊ］と上辺に隣接した矩形ブロック３２０Ｑ［ｉ、ｊ−１］との間で、逆量子化した水平方向周波数成分の差分の累積値ＳＵＭ＿Ｈが求められたことになる。
【００３３】
次に、左辺に隣接する矩形ブロック３３０Ｑ［ｉ−１、ｊ］の（０、ｍ）の位置の係数に、その矩形ブロック３３０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ−１、ｊ］を乗算した値から、対象矩形ブロック３１０Ｑ［ｉ、ｊ］の（０、ｍ）の位置の係数に、その対象矩形ブロック３１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算した値を、減算したものを差分変数Ｄに保存する（ステップＳ１５０）。例えば、制御変数ｍ＝０の時は、左辺隣接矩形ブロック３３０Ｑ［ｉ−１、ｊ］と対象矩形ブロック３１０Ｑ［ｉ、ｊ］の直流成分を示す係数にそれぞれの量子化ステップ幅を掛けたものの差分を求めて差分変数Ｄに保存することになる。
【００３４】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＶにステップＳ１５０で求めた差分変数Ｄの絶対値を加算する（ステップＳ１６０）。
【００３５】
次に、制御変数ｍに＋１を加算する（ステップＳ１７０）。
【００３６】
次に、制御変数ｍが８未満であるか調べ（ステップＳ１８０）、８未満の時は、ステップＳ１５０に戻り、８以上の時は変数係数差分計算の処理を終了する。
【００３７】
矩形ブロックのサイズが８×８であるので、制御変数ｍが８となった時には、ステップＳ１５０〜ステップＳ１８０の処理が繰り返し実行されたことによって対象矩形ブロック３１０Ｑ［ｉ、ｊ］と左辺に隣接した矩形ブロック３３０Ｑ［ｉ−１、ｊ］との間で、逆量子化した垂直方向周波数成分の差分データ累積値ＳＵＭ＿Ｖが求められたことになる。
【００３８】
変数係数差分計算部１６０は、上述の１６回の差分および累積加算演算により、水平および垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＨとＳＵＭ＿Ｖの値を求めて、差分合計１６１としてモード判定部１７０に出力する。なお、係数ならびにステップ幅は、整数値であり、上述の処理における演算では複雑な演算処理回路は用いない。
【００３９】
次に、モード判定部１７０の動作を図５の処理手順を参照しながら説明する。
【００４０】
最初に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈがあらかじめ定めた比較値ｔｈより小さいかを判定する（ステップＳ２００）。水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ以上の値であれば次のステップＳ２１０の比較ステップに進み、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ未満である場合は、ステップＳ２４０の比較ステップに進む。この比較値ｔｈの値は、最終的に得られた画像の評価より定められ、実験的に「８」という値で良い主観特性が得られているが、必要とされる画像の性質に合わせて適当な値を選んでも良い。なお、この比較値ｔｈの値は、フレーム内のブロックの処理では固定値が用いられる。
【００４１】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖがあらかじめ定めた比較値ｔｈより小さいかを判定する（ステップＳ２１０）。垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ以上であれば次のステップＳ２２０に進み、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ未満である場合は、ステップＳ２３０に進む。
【００４２】
次に、差分データ累積変数ＳＵＭ＿ＨならびにＳＵＭ＿Ｖが比較値ｔｈ以上である場合は、上辺ならびに左辺との隣接矩形ブロック３２０Ｑ［ｉ、ｊ−１］，３３０Ｑ［ｉ−１、ｊ］との間のブロック歪み除去処理が必要であるとして、モード判定部１７０よりモード信号１７１をモード「０状態」としてブロック歪み除去部１５０に出力する（ステップＳ２２０）。そして、モード判定処理を終了する。
【００４３】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈがｔｈ以上で、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖがｔｈ未満である場合は、上辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］との間のブロック歪み除去処理が必要であるが、左辺に隣接する矩形ブロック３３０Ｑ［ｉ−１、ｊ］との間のブロック歪み除去処理は不要であるとして、モード判定部１７０よりモード信号１７１をモード「１状態」としてブロック歪み除去部１５０に出力する（ステップＳ２３０）。そして、モード判定処理を終了する。
【００４４】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ未満である場合において垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖがあらかじめ定めた比較値ｔｈより小さいかを判定する（ステップＳ２４０）。垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ以上であれば次のステップＳ２５０に進み、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ未満である場合は、ステップＳ２６０に進む。
【００４５】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ未満で、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ以上である場合は、左辺に隣接する矩形ブロック３３０Ｑ［ｉ−１、ｊ］との間のブロック歪み除去処理が必要であるが、上辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］との間のブロック歪み除去処理は不要であるとして、モード判定部１７０よりモード信号１７１をモード「２状態」としてブロック歪み除去部１５０に出力する（ステップＳ２５０）。そして、モード判定処理を終了する。
【００４６】
次に、水平および垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＨおよびＳＵＭ＿Ｖが比較値ｔｈ未満である場合は、上辺ならびに左辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］，３３０Ｑ［ｉ−１、ｊ］との間のブロック歪み除去処理は不要であるとして、モード判定部１７０よりモード信号１７１をモード「３状態」としてブロック歪み除去部１５０に出力する（ステップＳ２６０）。そして、モード判定処理を終了する。
【００４７】
モード判定部１７０は、上述のように、入力した左辺隣接矩形ブロック３３０Ｑ［ｉ−１、ｊ］との間の逆量子化した垂直方向周波数成分の差分の累積値より、左辺隣接矩形ブロック３３０Ｑ［ｉ−１、ｊ］との間の境界の歪みの大きさを矩形ブロック全体画像の傾向より判定する。また、入力した上辺隣接矩形ブロック３２０Ｑ［ｉ、ｊ−１］との間の逆量子化した水平方向周波数成分の差分の累積値より、上辺隣接矩形ブロック３２０Ｑ［ｉ、ｊ−１］との間の境界の歪みの大きさを矩形ブロック全体画像の傾向より判定する。そして、判定結果に基づいてモード信号１７１を生成して、ブロック歪み除去部１５０に入力する。
【００４８】
画質改善装置１４０のブロック歪み除去部１５０は、隣接および対象矩形ブロック３１０Ｑ［ｉ、ｊ］の復元画像データからブロック境界歪みの状態を調べる計算を行うことなく、モード信号１７１に従って上辺ならびに左辺の隣接矩形ブロック３２０Ｑ［ｉ、ｊ−１］，３３０Ｑ［ｉ−１、ｊ］の復元画像との間で歪み除去処理を行う。
【００４９】
上辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］の８個の水平方向周波数成分と量子化ステップ幅を１行分の保存する必要があるが、本実施例の画質改善装置１４０では、対象矩形ブロック３１０Ｑ［ｉ、ｊ］と上辺および左辺に隣接する矩形ブロック３２０Ｑ［ｉ、ｊ−１］，３３０Ｑ［ｉ−１、ｊ］の復元画像データにおける境界領域の歪みの程度を調べる演算に比べ少ない回数（本実施例では１６回の演算が必要であるが、例えばブロック境界両側の２画素分の比較で歪み計算を行う場合は、最低３２回の演算が必要となる）で、ブロック歪み除去処理の適用の有無を判定することが可能となり、画質改善装置１４０の処理を高速化できる。
【００５０】
本実施例では、上辺および左辺に隣接した矩形ブロックの変換係数の間で差分とその累積差分値を求めて、あらかじめ定めた累積差分値との大小比較を行った結果に基づきモード信号を生成して、ブロック歪み除去処理の適用の有無を制御した。これに限らず、どちらか一方の隣接矩形ブロックの変換係数の間での差分とその累積差分値を求めて、あらかじめ定めた累積差分値との大小を比較してその比較結果に基づいて、その差分を求めたブロック境界のブロック歪み除去処理の適用を制御し、他方のブロック境界のブロック歪み除去処理は従来のブロック歪み除去処理適用判定処理演算を行うようにしても良い。その場合は、上述の画質改善装置１４０に比べると判定の処理量が増えて低速となるが、従来のブロック歪み除去処理による画質改善装置に比べ処理を高速化できる。
【実施例２】
【００５１】
次に、本発明に係る画像情報復号装置の実施例２を、図６乃至図９および図５を参照して説明する。
【００５２】
図６は、実施例２に係る符号化データを復号して画像を再生する画像情報復号装置に含まれる画質改善装置の構成を示すブロック図である。図７は、ＡＣＤＣ予測におけるフレーム上で隣接する矩形ブロックの関係を示す平面図である。図８および図９は、画質改善装置の変換係数差分計算部の処理手順を示すフローチャートである。
【００５３】
この実施例２に係る画像情報復号装置４００の構成と処理手順において、上記実施例１に係る画像情報復号装置１００と同一部分には同一符号を付し、詳細な説明を省略する。
【００５４】
この実施例２の画像情報復号装置４００が実施例１と異なる点は、入力される圧縮データがＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ４：ＩＳＯ／ＩＥＣ  １４４９６−２）の規格に準拠したもので、ＡＣＤＣ（交流・直流成分）予測を用いて情報圧縮が行われていることである。この圧縮データには、ＡＣＤＣ予測に基づいて相関の高い隣接の矩形ブロック間で２次元ＤＣＴ係数の直流成分と水平方向の周波数成分または垂直方向の周波数成分の差分値が求められ用いられている。すなわち、実施例１でモード判定のために求めた累積差分値の一方の計算において、差分値を求める差分計算することなく圧縮データ解析部から得ることができることである。
【００５５】
図６に示す画像情報復号装置４００は、圧縮データ解析部４１０と、ＡＣＤＣ予測部４１５と、逆量子化部１２０と、逆変換部１３０と、画質改善装置４４０とから構成される。そして、画質改善装置４４０は、ブロック歪み除去部１５０と、変換係数差分計算部４６０と、モード判定部１７０とから構成される。
【００５６】
圧縮データ解析部４１０は、圧縮された符号化データ４０１のビット列を入力して、画像の復号に必要となる有意な情報４１１（２次元量子化インデックスとブロック毎の量子化ステップ幅など）に変換し、ＡＣＤＣ予測部４１５に出力する。
【００５７】
ＡＣＤＣ予測部４１５は、圧縮データ解析部４１０からの情報４１１と、図示しないが上辺（Ｑ［ｉ、ｊ−１］）と左辺（Ｑ［ｉ−１、ｊ］）および上左辺（Ｑ［ｉ−１、ｊ−１］）の隣接矩形ブロックの直流成分と、それぞれの量子化ステップ幅を入力して、ＡＣＤＣ予測計算を行い、予測結果４１７を出力する。また、予測結果に基づき上辺または左辺の隣接矩形              ブロックＱ［ｉ、ｊ−１］、Ｑ［ｉ−１、ｊ］の水平方向または垂直方向の周波数成分と差分値とを加算して、２次元量子化インデックスを復元するとともに、それに対応する量子化ステップ幅を情報４１６として、逆量子化部１２０に出力する。
【００５８】
逆量子化部１２０は、ＡＣＤＣ予測部４１５から２次元量子化インデックスと、それに対応する量子化ステップ幅を含む情報４１６を入力して、逆量子化処理を行って元のスケールに戻されたＤＣＴ係数１２１に変換し、逆変換部１３０に出力する。
【００５９】
逆変換部１３０は、逆量子化部１２０からＤＣＴ係数１２１を入力して、逆ＤＣＴ変換処理を行い、復号画像情報１３１に変換し画質改善装置４４０のブロック歪み除去部１５０に出力する。
【００６０】
一方、画質改善装置４４０の変換係数差分計算部４６０には、圧縮データ解析部４１０より対象矩形ブロックの２次元量子化インデックスと対応する量子化ステップ幅を含む情報４１２が入力される。更に、変換係数差分計算部４６０には、ＡＣＤＣ予測部４１５よりＡＣＤＣ予測結果４１７が入力されるとともに、図示しないが対象矩形ブロックの上辺と左辺に隣接する矩形ブロックの保存された２次元量子化インデックスと、それに対応する量子化ステップ幅が入力される。
【００６１】
そして、変換係数差分計算部４６０は、ＡＣＤＣ予測結果４１７から入力されたＡＣＤＣ予測結果４１７の値に従って、情報４１２の左辺または上辺のブロック境界に配置された２次元ＤＣＴ係数の差分値の差分合計を求めるとともに、入力された対象矩形ブロックと予測結果で第２番目の相関関係であるとされた隣接する矩形ブロックとの２次元ＤＣＴ係数の差分合計を求めて、差分合計４６１としてモード判定部１７０に出力する。
【００６２】
モード判定部１７０は、変換係数差分計算部４６０から入力された差分合計４６１のＤＣＴ係数の差分合計値とあらかじめ定めた基準値とを比較して、どの隣接ブロックの画像情報との間でどのようにデブロッキングフィルタ処理を適用するかを制御するモード信号１７１を生成して、ブロック歪み除去部１５０に出力する。
【００６３】
そして、画質改善装置４４０のブロック歪み除去部１５０は、モード判定部１７０から入力されたモード信号１７１に従って、対象ブロックの復号画像情報１３１とともに入力された隣接ブロックの画像情報との間でデブロッキングフィルタ処理を実行して、主観画像を向上させた画像情報１５１に変換し出力する。
【００６４】
ここで、圧縮データ解析部４１０より出力される矩形ブロックの２次元量子化インデックスについて説明する。
【００６５】
ＡＣＤＣ予測部４１５のＡＣＤＣ予測に基づいて圧縮された２次元量子化インデックスは、図７の「Ａ」「Ｂ」「Ｃ」で示す３つの各矩形ブロックのＤＣＴ係数の直流成分の値から求められる対象矩形ブロック５１０Ｑ［ｉ、ｊ］の上辺または左辺の矩形ブロック５２０Ｑ［ｉ、ｊ−１］または５３０Ｑ［ｉ−１、ｊ］との相関の高さに従って、例えば、左辺ブロックとの相関が高い場合は、対象矩形ブロック５１０Ｑ［ｉ、ｊ］の垂直方向の周波数成分（図２の２１０、２２０、２３０、２４０、２５０、２６０、２７０、２８０の係数）には、左辺の垂直方向の周波数成分との差分値が設定されている。
【００６６】
次に、ＡＣＤＣ予測部４１５のＡＣＤＣ予測結果４１７を出力する動作を、図７および図８の処理手順を参照しながら説明する。
【００６７】
最初に、図７の「Ｂ」で示す上辺に隣接する矩形ブロック５２０Ｑ［ｉ、ｊ−１］の直流成分に、その矩形ブロック５２０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ−１］を乗算した値から、「Ａ」で示す上左辺に隣接する矩形ブロック５４０Ｑ［ｉ−１、ｊ−１］の直流成分に、その矩形ブロック５４０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ−１、ｊ−１］を乗算した値との差分値Ｄｈを求める。また、「Ｃ」で示す左辺に隣接する矩形ブロック５３０Ｑ［ｉ−１、ｊ］の直流成分に、その矩形ブロック５３０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ−１、ｊ］を乗算した値から、「Ａ」で示す上左辺に隣接する矩形ブロック５４０Ｑ［ｉ−１、ｊ−１］の直流成分に、その矩形ブロック５４０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ−１、ｊ−１］を乗算した値の差分値Ｄｖを求める（ステップＳ３００）。
【００６８】
次に、差分値Ｄｈの絶対値より差分値Ｄｖの絶対値を減算して、差分差ＤＲを求める（ステップＳ３１０）。
【００６９】
このようにして、ＡＣＤＣ予測ブロック４１５は、ＡＣＤＣ予測結果４１７を計算して変換係数差分計算部４６０に出力することにより、上辺の隣接矩形ブロック５２０Ｑ［ｉ、ｊ−１］または左辺の隣接矩形ブロック５３０Ｑ［ｉ−１、ｊ］の相関の高さを示す差分差信号４１７（ＤＲ）が画質改善装置４４０の変換係数差分計算部４６０に入力される。差分差ＤＲが「０」より大きい場合は、上辺隣接矩形ブロック５２０Ｑ［ｉ、ｊ−１］との相関が高いことを示す。
【００７０】
次に、変換係数差分計算部４６０の動作を、図７の平面図と図９および図１０の処理手順を参照しながら説明する。
【００７１】
最初に、変数係数差分計算部４６０は、圧縮データ解析部４１０より新たな矩形ブロックのデータが出力されると、変数係数差分計算部４６０内のデータ（制御変数ｎ、およびｍ、差分データ累積変数ＳＵＭ＿Ｈ、およびＳＵＭ＿Ｖ）の初期化を行う（ステップＳ４００）。
【００７２】
次に、差分差ＤＲが「０」より大きいか調べる（ステップＳ４１０）。大きければ図１０に示すステップＳ５００に進み、差分差ＤＲが「０」以下であれば次のステップＳ４２０に進む。
【００７３】
次に、上辺に隣接する矩形ブロック５２０Ｑ［ｉ、ｊ−１］の（ｎ、０）の位置の係数に、その矩形ブロック５２０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ−１］を乗算した値から、対象矩形ブロック５１０Ｑ［ｉ、ｊ］の（ｎ、０）の位置の係数に、その対象矩形ブロック５１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算した値を、減算したものを差分変数Ｄに保存する（ステップＳ４２０）。
【００７４】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿ＨにステップＳ４２０で求めた差分変数Ｄの絶対値を加算する（ステップＳ４３０）。
【００７５】
次に、制御変数ｎに＋１を加算する（ステップＳ４４０）。
【００７６】
次に、制御変数ｎが８未満であるか調べ（ステップＳ４５０）、８未満の時は、ステップＳ４２０に戻り、８以上の時は次のステップＳ４６０に進む。
【００７７】
制御変数ｎが８となった時には、ステップＳ４２０〜ステップＳ４５０の処理が繰り返し実行されたことによって対象矩形ブロック５１０Ｑ［ｉ、ｊ］と上辺に隣接した矩形ブロック５２０Ｑ［ｉ、ｊ−１］との間で、逆量子化した水平方向周波数成分の差分データ累積値ＳＵＭ＿Ｈが求められたことになる。
【００７８】
次に、対象矩形ブロック５１０Ｑ［ｉ、ｊ］の（０、ｍ）の位置の係数に、対象矩形ブロック５１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算して、差分変数Ｄを求める（ステップＳ４６０）。
【００７９】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＶにステップＳ４６０で求めた差分変数Ｄの絶対値を加算する（ステップＳ４７０）。
【００８０】
次に、制御変数ｍに＋１を加算する（ステップＳ４８０）。
【００８１】
次に、制御変数ｍが８未満であるか調べ（ステップＳ４９０）、８未満の時は、ステップＳ４６０に戻り、８以上の時は変数係数差分計算の処理を終了する。
【００８２】
制御変数ｍが「８」となった時には、ステップＳ４６０〜ステップＳ４９０の処理が繰り返し実行されたことによって対象矩形ブロック５１０Ｑ［ｉ、ｊ］と左辺に隣接した矩形ブロック５３０Ｑ［ｉ−１、ｊ］との間で、逆量子化した垂直方向周波数成分の差分データ累積値ＳＵＭ＿Ｖが求められたことになる。
【００８３】
次に、対象矩形ブロック５１０Ｑ［ｉ、ｊ］の（ｎ、０）の位置の係数に、対象矩形ブロック５１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算して、差分変数Ｄを求める（ステップＳ５００）。
【００８４】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿ＨにステップＳ５００で求めた差分変数Ｄの絶対値を加算する（ステップＳ５１０）。
【００８５】
次に、制御変数ｎに＋１を加算する（ステップＳ５２０）。
【００８６】
次に、制御変数ｎが８未満であるか調べ（ステップＳ５３０）、８未満の時は、ステップＳ５００に戻り、８以上の時は次のステップＳ５４０に進む。
【００８７】
制御変数ｎが「８」となった時には、ステップＳ５００〜ステップＳ５３０の処理が繰り返し実行されたことによって対象矩形ブロック５１０Ｑ［ｉ、ｊ］と上辺に隣接した矩形ブロック５２０Ｑ［ｉ、ｊ−１］との間で、逆量子化した水平方向周波数成分の差分データ累積値ＳＵＭ＿Ｈが求められたことになる。
【００８８】
次に、左辺に隣接する矩形ブロック５３０Ｑ［ｉ−１、ｊ］の（０、ｍ）の位置の係数に、その矩形ブロック５３０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ−１、ｊ］を乗算した値から、対象矩形ブロック５１０Ｑ［ｉ、ｊ］の（０、ｍ）の位置の係数に、その対象矩形ブロック５１０の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算した値を減算したものを、差分変数Ｄに保存する（ステップＳ５４０）。
【００８９】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＶにステップＳ５４０で求めた差分変数Ｄの絶対値を加算する（ステップＳ５５０）。
【００９０】
次に、制御変数ｎに＋１を加算する（ステップＳ５６０）。
【００９１】
次に、制御変数ｎが８未満であるか調べ（ステップＳ５７０）、８未満の時は、ステップＳ５４０に戻り、８以上の時は変数係数差分計算の処理を終了する。
【００９２】
変数係数差分計算部４６０は、上述の累積加算演算により、水平および垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＨとＳＵＭ＿Ｖの値を求めて、差分合計４６１としてモード判定部１７０に入力する。
【００９３】
そしてモード判定部１７０は、実施例１で説明したように動作する。
【００９４】
また、画質改善装置４４０のブロック歪み除去部１５０は、隣接および対象矩形ブロック５１０の復元画像データからブロック境界歪みの状態を調べる計算を行うことなく、モード信号１７１に従って上辺ならびに左辺の隣接矩形ブロック５２０、５３０の復元画像との間で歪み除去処理を行う。
【００９５】
本実施例２の画質改善装置４４０では、ＡＣＤＣ予測部４１５のＡＣＤＣ予測結果に従って、圧縮データ解析部４１０から出力される２次元量子化インデックスの左辺または上辺の隣接する矩形ブロック５２０、５３０との間の差分値を用いることで、実施例１の変換係数差分計算部１６０に比べ上辺または左辺の差分計算が不要となって、更に計算量が削減されて、ブロック歪み除去処理の適用の有無を判定することが可能となり、画質改善装置４４０の処理を高速化できる。
【実施例３】
【００９６】
次に、本発明に係る画像情報復号装置の実施例３を、主として図１１乃至図１３を参照して説明する。
【００９７】
図１１は、実施例３に係る符号化データを復号して画像を再生する画像情報復号装置に含まれる画質改善装置の構成を示すブロック図である。図１２および図１３は、画質改善装置の変換係数差分加算部およびモード判定部の処理手順を示すフローチャートである。
【００９８】
この実施例３に係る画像情報復号装置６００の構成と処理手順において、上記実施例１および実施例２に係る画像情報復号装置１００および４００と同一部分には同一符号を付し、詳細な説明を省略する。
【００９９】
この実施例３の画像情報復号装置６００が実施例１と異なる点は、実施例２と同様に入力される圧縮データがＭＰＥＧ−４の規格に準拠したもので、ＡＣＤＣ（交流・直流成分）予測を用いて情報圧縮が行われていることである。
【０１００】
図１１に示す画像情報復号装置６００は、圧縮データ解析部４１０と、ＡＣＤＣ予測部４１５と、逆量子化部１２０と、逆変換部１３０と、画質改善装置６４０とから構成される。そして、画質改善装置６４０は、ブロック歪み除去部１５０と、変換係数差分加算部６６０と、モード判定部６７０とから構成される。
【０１０１】
圧縮データ解析部４１０は、圧縮された符号化データ４０１のビット列を入力して、画像の復号に必要となる有意な情報４１１（２次元量子化インデックスとブロック毎の量子化ステップ幅など）に変換し、ＡＣＤＣ予測部４１５に出力する。
【０１０２】
ＡＣＤＣ予測部４１５は、圧縮データ解析部４１０からの情報４１１と、図示しないが上辺（Ｑ［ｉ、ｊ−１］）と左辺（Ｑ［ｉ−１、ｊ］）および上左辺（Ｑ［ｉ−１、ｊ−１］）の隣接矩形ブロックの直流成分とそれぞれの量子化ステップ幅を入力して、ＡＣＤＣ予測計算を行い、予測結果４１７を出力する。また、予測結果に基づき上辺または左辺の隣接矩形ブロックＱ［ｉ、ｊ−１］またはＱ［ｉ−１、ｊ］の水平方向または垂直方向の周波数成分と差分値を加算して２次元量子化インデックスを復元するとともに、それに対応する量子化ステップ幅を情報４１６として、逆量子化部１２０に出力する。
【０１０３】
逆量子化部１２０は、圧縮データ解析部４１０から２次元量子化インデックスと対応する量子化ステップ幅を含む情報４１６を入力して、逆量子化処理を行って元のスケールに戻されたＤＣＴ係数１２１に変換し、逆変換部１３０に出力する。
【０１０４】
逆変換部１３０は、逆量子化部１２０からＤＣＴ係数１２１を入力して、逆ＤＣＴ変換処理を行って復号画像情報１３１を求め画質改善装置６４０に出力する。
【０１０５】
画質改善装置６４０のブロック歪み除去部１５０には、この復号化処理により逆変換部１３０から得られた矩形ブロックの復号画像情報１３１が入力される。
【０１０６】
一方、画質改善装置６４０の変換係数差分加算部６６０には、圧縮データ解析部４１０より対象矩形ブロックの２次元量子化インデックスと、それに対応する量子化ステップ幅を含む情報４１２が入力される。更に、変換係数差分加算部６６０には、ＡＣＤＣ予測部４１５よりＡＣＤＣ予測結果４１７が入力されるとともに、図示しないが対象矩形ブロックＱ［ｉ、ｊ］の上辺と左辺に隣接する矩形ブロックＱ［ｉ、ｊ−１］，Ｑ［ｉ−１、ｊ］の保存された２次元量子化インデックスと対応する量子化ステップ幅が入力される。
【０１０７】
そして変換係数差分加算部６６０は、ＡＣＤＣ予測部４１５から入力されたＡＣＤＣ予測結果４１７の値に従って、情報４１２の左辺または上辺のブロック境界に配置された２次元ＤＣＴ係数の差分値の差分合計を求める。そして、ＡＣＤＣ予測結果４１７とともに差分合計を差分合計６６１として、モード判定部６７０に出力する。
【０１０８】
モード判定部６７０は、変換係数差分加算部６６０から入力された差分合計６６１のＡＣＤＣ予測結果４１７を参照するとともに、入力したＤＣＴ係数の差分合計値６６１とあらかじめ定めた基準値とを比較して、どの隣接矩形ブロックの画像情報との間でどのようにデブロッキングフィルタ処理を適用するかを制御するモード信号６７１を生成して、ブロック歪み除去部１５０に出力する。
【０１０９】
そして、画質改善装置６４０のブロック歪み除去部１５０は、モード判定部６７０から入力されたモード信号６７１に従って、逆変換部１３０からの対象ブロックの復号画像情報１３１とともに入力された隣接矩形ブロックの画像情報との間でデブロッキングフィルタ処理を実行して、主観画像を向上させた画像情報１５１に変換し出力する。
【０１１０】
次に、変換係数差分加算部６６０の動作を、主として図１２の処理手順を参照しながら説明する。
【０１１１】
最初に、変数係数差分加算部６６０は、圧縮データ解析部４１０より新たな矩形ブロックのデータが出力されると、変数係数差分加算部６６０内のデータ（制御変数ｎ、およびｍ、水平および垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈ、およびＳＵＭ＿Ｖ）の初期化を行う（ステップＳ６００）。
【０１１２】
次に、差分差ＤＲが「０」より大きいか調べる（ステップＳ６１０）。大きければステップＳ６６０に進み、「０」以下であれば次のステップＳ６２０に進む。
【０１１３】
次に、対象矩形ブロックＱ［ｉ、ｊ］の（０、ｍ）の位置の係数に、対象矩形ブロックＱ［ｉ、ｊ］の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算して、差分変数Ｄを求める（ステップＳ６２０）。
【０１１４】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＶにステップＳ６２０で求めた差分変数Ｄの絶対値を加算する（ステップＳ６３０）。
【０１１５】
次に、制御変数ｍに＋１を加算する（ステップＳ６４０）。
【０１１６】
次に、制御変数ｍが８未満であるか調べ（ステップＳ６５０）、８未満の時は、ステップＳ６２０に戻り、８以上の時は変数係数差分加算の処理を終了する。
【０１１７】
制御変数ｎが８となった時には、ステップＳ６２０〜ステップＳ６５０の処理が繰り返し実行されたことによって対象矩形ブロックＱ［ｉ、ｊ］と上辺に隣接した矩形ブロックＱ［ｉ、ｊ−１］との間で、逆量子化した垂直方向周波数成分の差分データ累積値ＳＵＭ＿Ｖが求められたことになる。
【０１１８】
次に、対象矩形ブロックＱ［ｉ、ｊ］の（ｎ、０）の位置の係数に、対象矩形ブロックＱ［ｉ、ｊ］の量子化ステップ幅ｑ＿ｓｔｅｐ［ｉ、ｊ］を乗算して、差分変数Ｄを求める（ステップＳ６６０）。
【０１１９】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿ＨにステップＳ６６０で求めた差分変数Ｄの絶対値を加算する（ステップＳ６７０）。
【０１２０】
次に、制御変数ｎに＋１を加算する（ステップＳ６８０）。
【０１２１】
次に、制御変数ｎが８未満であるか調べ（ステップＳ６９０）、８未満の時は、ステップＳ６６０に戻り、８以上の時は変数係数差分加算の処理を終了する。
【０１２２】
制御変数ｎが８となった時には、ステップＳ６６０〜ステップＳ６９０の処理が繰り返し実行されたことによって対象矩形ブロックＱ［ｉ、ｊ］と左辺に隣接した矩形ブロックＱ［ｉ−１、ｊ］との間で、逆量子化した水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが求められたことになる。
【０１２３】
変数係数差分加算部６６０は、上述の累積加算演算により、水平または垂直方向周波数成分の差分データ累積変数ＳＵＭ＿ＨまたはＳＵＭ＿Ｖの値を求める。そして、ＡＣＤＣ予測４１７とともに差分合計１６１として出力してモード判定部６７０に入力する。
【０１２４】
次に、モード判定部６７０の動作を図１３の処理手順を参照しながら説明する。
【０１２５】
最初に、差分差ＤＲが「０」より大きいか調べる（ステップＳ７００）。「０」以下であれば、ステップＳ７４０に進み、「０」より大きければ次のステップＳ７１０に進む。
【０１２６】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈがあらかじめ定めた比較値ｔｈより小さいかを判定する（ステップＳ７１０）。
【０１２７】
水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ以上であれば次のステップＳ７２０に進み、差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ未満である場合は、ステップＳ７３０に進む。
【０１２８】
次に、差分差ＤＲが「０」より大きくて水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ以上である場合は、上辺ならびに左辺との隣接矩形ブロックＱ［ｉ、ｊ−１］，Ｑ［ｉ−１、ｊ］との間のブロック歪み除去処理が必要であるとして、モード判定部６７０よりモード信号６７１をモード「０状態」としてブロック歪み除去部１５０に出力する（ステップＳ７２０）。そして、モード判定処理を終了する。
【０１２９】
次に、水平方向周波数成分の差分データ累積変数ＳＵＭ＿Ｈが比較値ｔｈ未満である場合は、左辺に隣接する矩形ブロックＱ［ｉ−１、ｊ］との間のブロック歪み除去処理が必要であるが、上辺に隣接する矩形ブロックＱ［ｉ、ｊ−１］との間のブロック歪み除去処理は不要であるとして、モード判定部６７０よりモード信号６７１をモード「２状態」としてブロック歪み除去部１５０に出力する（ステップＳ７３０）。そして、モード判定処理を終了する。
【０１３０】
次に、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖがあらかじめ定めた比較値ｔｈより小さいかを判定する（ステップＳ７４０）。垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ未満であれば次のステップＳ７５０に進み、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ以上である場合は、ステップＳ７２０に進む。
【０１３１】
次に、差分差ＤＲが「０」以下で、垂直方向周波数成分の差分データ累積変数ＳＵＭ＿Ｖが比較値ｔｈ未満である場合は、上辺に隣接する矩形ブロックＱ［ｉ、ｊ−１］との間のブロック歪み除去処理が必要であるが、左辺に隣接する矩形ブロックＱ［ｉ−１、ｊ］との間のブロック歪み除去処理は不要であるとして、モード判定部６７０よりモード信号６７１をモード「１状態」としてブロック歪み除去部１５０に出力する（ステップＳ７５０）。そして、モード判定処理を終了する。
【０１３２】
モード判定部６７０は、上述のように、ＡＣＤＣ予測部４１５のＡＣＤＣ予測結果（ＤＲ）により相関の高い境界と判定される隣接ブロックとの間の逆量子化した垂直または水平方向の周波数成分の差分の累積値より、ブロック境界の歪み除去が必要かを判定し、残りの左辺または上辺の境界については必ずブロック境界の歪み除去を行うようにモード信号６７１を生成してブロック歪み除去部１５０に入力する。
【０１３３】
画質改善装置６４０のブロック歪み除去部１５０は、隣接および対象矩形ブロックの復元画像データからブロック境界歪みの状態を調べる計算を行うことなく、モード信号６７１に従って、上辺ならびに左辺の隣接矩形ブロックＱ［ｉ、ｊ−１］，Ｑ［ｉ−１、ｊ］の復元画像との間で歪み除去処理を行う。
【０１３４】
本実施例の画質改善装置６４０では、ＡＣＤＣ予測部４１５のＡＣＤＣ予測結果に従って圧縮データ解析部から出力される２次元量子化インデックスの左辺または上辺の隣接する矩形ブロックＱ［ｉ−１、ｊ］またはＱ［ｉ、ｊ−１］との間の差分合計のみを用いることで、実施例１の変換係数差分計算部１６０に比べ上辺および左辺の差分計算が不要となって、更に計算量が削減されて、ブロック歪み除去処理の適用の有無を判定することが可能となり、画質改善装置６４０の処理を高速化できる。
【０１３５】
本発明は、上記実施例１乃至３に限定されるものではなく、発明の要旨を逸脱しない範囲で、種々、変形して実施できることは勿論である。
【０１３６】
例えば、ブロック歪み除去部１５０に、ＭＰＥＧ−４規格のＡＮＮＥＸ  Ｆを用いた場合、ＡＮＮＥＸ  Ｆのデブロッキングフィルタ処理にはｄｅｆａｕｌｔ  ｍｏｄｅ（処理量が少なく、平滑化効果の弱いフィルタ）とｏｆｆｓｅｔ  ｍｏｄｅ（処理量が多く、平滑化効果の強いフィルタ）の２つが用意されていて、そのどちらを適用するかの演算が必要である。本発明のモード判定部１７０または６７０でモード１、２、３と判定され、歪み除去処理をスキップするとされたブロック境界に、強制的にｄｅｆａｕｌｔ  ｍｏｄｅを採用する。これにより、ＡＮＮＥＸ  Ｆで規定されているデブロッキングフィルタ処理のモード選択処理を一部省略できることに加え、主観画質の向上への寄与が少ないブロック境界にｏｆｆｓｅｔ  ｍｏｄｅが実行されることが少なくなり、画質改善装置の処理を高速化できる。
【０１３７】
例えば、上辺および左辺に隣接する矩形ブロックの２次元ＤＣＴ係数を記憶して入力するようにして、変換係数差分計算部１６０に逆量子化部１２０より２次元ＤＣＴ係数を入力して差分を求めるようにすれば、上述の（ステップＳ１１０やステップＳ１５０など）２次元量子化インデックスに量子化ステップ幅を乗算する必要がなくなり変換係数差分計算部の計算量を減らすことができて、画質改善装置の処理を高速化できる。
【図面の簡単な説明】
【０１３８】
【図１】本実施例１の画質改善装置を含む画像情報復号装置の構成を示すブロック図。
【図２】矩形ブロックの２次元量子化インデックスを表す平面図。
【図３】フレーム上で隣接する矩形ブロックの関係を示す平面図。
【図４】本実施例１の変換係数差分計算部の処理手順を示すフローチャート図。
【図５】本実施例１および２のモード判定部の処理手順を示すフローチャート図。
【図６】本実施例２の画質改善装置を含む画像情報復号装置の構成を示すブロック図。
【図７】ＡＣＤＣ予測に係る隣接する矩形ブロックの関係を示す平面図。
【図８】ＡＣＤＣ予測部の予測結果を求める処理手順を示すフローチャート図。
【図９】本実施例２の変換係数差分計算部の処理手順を示すフローチャート図。
【図１０】本実施例２の変換係数差分計算部の処理手順を示すフローチャート図。
【図１１】本実施例３の画質改善装置を含む画像情報復号装置の構成を示すブロック図。
【図１２】本実施例３の変換係数加算計算部の処理手順を示すフローチャート図。
【図１３】本実施例３のモード判定部の処理手順を示すフローチャート図。
【符号の説明】
【０１３９】
１００、４００、６００  画像情報復号装置
１０１、４０１  符号化データ
１１０、４１０  圧縮データ解析部
１１１、４１６  ２次元量子化インデックスと量子化ステップ幅を含む情報
１１２、４１２  直流成分と垂直および水平方向周波数成分と量子化ステップ幅を含む情報
１２０  逆量子化部
１２１  ２次元ＤＣＴ係数
１３０  逆変換部
１３１  復号画像情報
１４０、４４０、６４０  画質改善装置
１５０  ブロック歪み除去部
１５１  画質改善後の画像情報
１６０、４６０  変換係数差分計算部
１６１、４６１、６６１  差分合計情報
１７０、６７０  モード判定部
１７１、６７１  モード信号
４１１  差分係数を有する２次元量子化インデックスと量子化ステップ幅を含む情報
４１５  ＡＣＤＣ予測部
４１７  ＡＣＤＣ予測結果情報
６６０  変換係数加算部
【図１】
2010045636.tif 000003
【図２】
2010045636.tif 000004
【図３】
2010045636.tif 000005
【図４】
2010045636.tif 000006
【図５】
2010045636.tif 000007
【図６】
2010045636.tif 000008
【図７】
2010045636.tif 000009
【図８】
2010045636.tif 000010
【図９】
2010045636.tif 000011
【図１０】
2010045636.tif 000012
【図１１】
2010045636.tif 000013
【図１２】
2010045636.tif 000014
【図１３】
2010045636.tif 000015