(57)【特許請求の範囲】
【請求項１】
直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、
前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、
前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、
前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、
保持している前記クラスごとの予測係数に基づいて、前記クラス決定部により決定されたクラスに対応した予測係数を発生する予測係数発生部と、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、
前記予測タップ構築部により構築された予測タップと、前記予測係数発生部により発生された予測係数との積の和を演算して前記注目画素の画素値を算出する予測演算部とを備える画像信号処理装置。
【請求項２】
前記クラス決定部は、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティから成るベクトルデータを生成する第１のベクトルデータ変換部と、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布を代表する代表ベクトルデータを記憶した第１のクラスコード記憶部と、
前記クラスコード記憶部に記憶された代表ベクトルデータの中から、前記第１のベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定する第１の最小値判定部とを備える請求項１に記載の画像信号処理装置。
【請求項３】
前記ブロック分割部によって分割された複数の第２のブロックに関し、互いに隣接する第２のブロックの所定画素における差分値を算出するブロック間差分算出部を備え、
前記クラス決定部は、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値の分布から前記第２のブロックのクラスを決定する請求項１に記載の画像信号処理装置。
【請求項４】
前記クラス決定部は、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値から成るベクトルデータを生成する第２のベクトルデータ変換部と、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティと、前記ブロック間差分算出部により算出された差分値の分布を代表する代表ベクトルデータを記憶した第２のクラスコード記憶部と、
前記クラスコード記憶部に記憶された代表ベクトルデータの中から、前記第２のベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定する第２の最小値判定部とを備える請求項３に記載の画像信号処理装置。
【請求項５】
前記第２のブロックにおける注目画素とその周辺の画素における波形の特徴量からクラスを算出する波形クラス算出部と、
前記クラス決定部により決定されたクラスと前記波形クラス算出部により決定されたクラスを統合してクラスを決定するクラス統合部とを備え、
前記予測係数発生部は、前記クラス統合部により決定されたクラスに対応した予測係数を発生する請求項４に記載の画像信号処理装置。
【請求項６】
画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、
分割された第２のブロック毎にアクティビティを算出するステップと、
前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、
再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有する画像信号処理方法。
【請求項７】
画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、
分割された第２のブロック毎にアクティビティを算出するステップと、
前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、
再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有する画像信号処理方法をコンピュータに実行させるためのプログラム。
【請求項８】
第１のブロックに分割された画像信号に直交変換を用いた符号化を行う符号化部と、
前記符号化部により符号化された画像信号を復号化する復号化部と、
前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、
前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、
前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、
前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、
前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、
前記クラス決定部により決定されたクラス、前記予測タップ構築部により構築された予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出する予測係数演算部とを備える予測係数生成装置。
【請求項９】
画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
符号化された前記画像信号を復号化するステップと、
前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、
分割された第２のブロック毎にアクティビティを算出するステップと、
前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、
再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有する予測係数生成方法。
【請求項１０】
画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、
符号化された前記画像信号を復号化するステップと、
前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、
分割された第２のブロック毎にアクティビティを算出するステップと、
前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、
再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、
算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、
前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、
前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有する予測係数生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、直交変換を用いて符号化を行う画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムに関する。詳しくは、再符号化した際の差分やブロックのアクティビティによってブロックの劣化度合いを特徴づけることで、ブロックの劣化度合いに応じた適切な歪み除去を行うことができるようにしたものである。
【背景技術】
【０００２】
近年、直交変換を用いた符号化として、ＤＣＴ（離散コサイン変換）を用いたものがＪＰＥＧやＭＰＥＧ等で広く使われている。この符号化による歪みとして、ブロック間の段差が目立つブロック歪みや、エッジ付近で発生しやすいモスキートノイズがよく知られている。こうした歪みを除去する場合、ブロック歪みやモスキートノイズと思われる箇所にローパスフィルタを適用するなどして歪みを除去する。
【０００３】
しかしながら、ブロック歪みでないエッジ部分や、モスキートノイズでないディテール箇所にまで歪み除去を適用してしまうことがあり、画質の劣化につながっていた。この問題を解決するために、例えば特許文献１では、注目ブロックや隣接ブロックの平均値データをクラスコードとして、エッジやディテールを含むブロックとブロック歪みが出やすいブロックを切り分けている。これにより、それぞれに適した処理を行うことができる。また特許文献２では、ＤＣＴ係数の所定の位置において、係数の値に孤立したものがあるかどうかを調べることで、モスキートノイズ箇所を検出するものである。
【０００４】
【特許文献１】特開平９−３３１５２６号公報
【特許文献２】特開２００６−１２１１３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、従来例に係る特許文献１によれば、エッジやディテールを含むブロックとブロック歪みが出やすいブロックを切り分けている。しかしながら、切り分けが適切に行われないと劣化が生じる問題がある。
【０００６】
また、特許文献２によれば、係数の値に孤立したものがあるかどうかを調べることでモスキートノイズ箇所を検出しているが、係数の値が孤立していなくても、モスキートノイズが発生する箇所もあり、ノイズ除去性能として不十分な場合がある。
【０００７】
そこで、本発明はこのような従来例に係る課題を解決したものであって、ブロックの劣化度合いに応じた適切な歪み除去を行うことができるようにした画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、本発明に係る画像信号処理装置は、直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、保持している前記クラスごとの予測係数に基づいて、前記クラス決定部により決定されたクラスに対応した予測係数を発生する予測係数発生部と、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、前記予測タップ構築部により構築された予測タップと、前記予測係数発生部により発生された予測係数との積の和を演算して前記注目画素の画素値を算出する予測演算部とを備えるものである。
【０００９】
本発明に係る画像信号処理装置によれば、ブロック分割部は、直交変換を用いる符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割する。アクティビティ算出部は、このブロック分割部により分割された第２のブロック毎にアクティビティを算出する。再符号化部は、ブロック分割部により分割された第２のブロックに対して、直交変換を用いた再符号化を行う。再符号化差分算出部は、再符号化部により再符号化された第２のブロックと、直交変換を用いた符号化の第１のブロックとの差分値であって、符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する。
【００１０】
クラス決定部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布から、符号化が行われた画像信号の劣化度合いに応じた第２のブロックのクラスを決定する。例えば、クラス決定部は、そのベクトルデータ変換部が、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティから成るベクトルデータを生成する。そして、クラスコード記憶部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布を代表する代表ベクトルデータを記憶する。そして、最小値判定部は、クラスコード記憶部に記憶された代表ベクトルデータの中から、ベクトルデータ変換部のベクトルデータとのノルムが最も小さくなる代表ベクトルデータを判定して第２のブロックのクラスを決定する。これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
【００１１】
上述した課題を解決するために、本発明に係る画像信号処理方法は、画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、前記符号化の処理単位である前記第１のブロックとは位置が異なる第２のブロックに前記符号化後の画像信号を分割するステップと、分割された第２のブロック毎にアクティビティを算出するステップと、前記第２のブロックに対して、前記直交変換を用いた符号化を再び行うステップと、再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、保持している前記クラスごとの予測係数に基づいて、決定したクラスに対応した予測係数を発生するステップと、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、構築した予測タップと前記予測係数との積の和を演算して前記注目画素の画素値を算出するステップとを有するものである。また、この発明に係るプログラムは、上述の画像信号処理方法をコンピュータに実行させるためのものである。
【００１２】
上述した課題を解決するために、本発明に係る予測係数生成装置は、第１のブロックに分割された画像信号に直交変換を用いた符号化を行う符号化部と、前記符号化部により符号化された画像信号を復号化する復号化部と、前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するブロック分割部と、前記ブロック分割部により分割された第２のブロック毎にアクティビティを算出するアクティビティ算出部と、前記ブロック分割部により分割された第２のブロックに対して、前記直交変換を用いた符号化を行う再符号化部と、前記再符号化部により再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する再符号化差分算出部と、前記再符号化差分算出部により算出された差分値と、前記アクティビティ算出部により算出されたアクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するクラス決定部と、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する予測タップ構築部と、前記クラス決定部により決定されたクラス、前記予測タップ構築部により構築された予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出する予測係数演算部とを備えるものである。
【００１３】
本発明に係る予測係数生成装置によれば、符号化部は、第１のブロックに分割された画像信号に直交変換を用いた符号化を行う。復号化部は、この符号化部により符号化された画像信号を復号化する。ブロック分割部は、この符号化後の画像信号に対して、直交変換を用いた符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割する。アクティビティ算出部は、ブロック分割部により分割された第２のブロック毎にアクティビティを算出する。再符号化部は、ブロック分割部により分割された第２のブロックに対して、直交変換を用いた符号化を行う。再符号化差分算出部は、再符号化部により再符号化された第２のブロックと、直交変換を用いた符号化の第１のブロックとの差分値であって、符号化が行われた画像信号の劣化度合いと比例関係にある値を算出する。クラス決定部は、再符号化差分算出部により算出された差分値と、アクティビティ算出部により算出されたアクティビティの分布から、符号化が行われた画像信号の劣化度合いに応じた第２のブロックのクラスを決定する。予測タップ構築部は、第２のブロックにおける注目画素の画素値を算出するため、注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築する。予測係数演算部は、クラス決定部により決定されたクラス、予測タップ構築部により構築された予測タップ及び第１のブロックに分割された画像信号の画素値から、クラス毎に、当該予測タップと予測係数を用いて得られる注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、差分を最小にする予測係数を算出する。
【００１４】
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うための予測係数を提供できる。この予測係数を用いて予測演算することにより、例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができるようになる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができるようになる。
【００１５】
上述した課題を解決するために、本発明に係る予測係数生成方法は、画像信号を第１のブロックに分割して当該画像信号に直交変換を用いた符号化を行うステップと、符号化された前記画像信号を復号化するステップと、前記直交変換を用いた符号化が行われた画像信号を入力し、当該符号化後の画像信号に対して、前記符号化の処理単位である第１のブロックとは位置が異なる第２のブロックに分割するステップと、分割された第２のブロック毎にアクティビティを算出するステップと、前記第２のブロックに対して前記直交変換を用いた符号化を再び行うステップと、再符号化された第２のブロックと、前記直交変換を用いた符号化の第１のブロックとの差分値であって、前記符号化が行われた画像信号の劣化度合いと比例関係にある値を算出するステップと、算出された差分値と前記アクティビティの分布から、前記符号化が行われた画像信号の劣化度合いに応じた前記第２のブロックのクラスを決定するステップと、前記第２のブロックにおける注目画素の画素値を算出するため、前記注目画素の位置に対して所定の範囲の画素を抽出することで予測タップを構築するステップと、前記クラス、前記予測タップ及び前記第１のブロックに分割された画像信号の画素値から、前記クラス毎に、当該予測タップと予測係数を用いて得られる前記注目画素の画素値と当該第１のブロックの画素値との差分を示す方程式において、前記差分を最小にする予測係数を算出するステップとを有するものである。また、この発明に係るプログラムは、上述の予測係数生成方法をコンピュータに実行させるためのものである。
【発明の効果】
【００１６】
本発明に係る画像信号処理装置、画像信号処理方法及びそのプログラムによれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけることを行ものである。
【００１７】
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
【００１８】
本発明に係る予測係数生成装置、予測係数生成方法及びそのプログラムによれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけるための予測係数を生成するものである。
【００１９】
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うための予測係数を提供できる。この予測係数を用いて予測演算することにより、例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができるようになる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができるようになる。
【発明を実施するための最良の形態】
【００２０】
続いて、図面を参照しながら本発明に係る画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラムの実施の形態について説明する。なお、以下の説明において、入力される画像信号はＤＣＴ（離散コサイン変換）による符号化が行われているものとする。図１は、本発明に係る画像処理装置１００の構成例を示すブロック図である。図１に示す画像処理装置１００は、再符号化した際の差分によってブロックの劣化度合いを特徴づけている。ＤＣＴは、その符号化の性質上、一度符号化した後に位相をずらして再度符号化すると、元の劣化度合いに応じて再符号化後の劣化が生じる性質がある。
【００２１】
画像処理装置１００は、ブロック分割部１０１、クラス分類部１０２Ａ、係数メモリ１０３及び予測演算部１０４を備えている。ブロック分割部１０１は、入力端子１０５から画像信号Ｖｉｎを入力する。この画像信号Ｖｉｎは、１度だけＤＣＴによる符号化が行われた画像信号である。ブロック分割部１０１では、入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックとは異なる位置にブロックＢＬを分割する。なお、このブロックＢＬは、第２のブロックの一例である。
【００２２】
例えば、図２は、ブロック分割部１０１の動作例を示す概念図である。図２に示す破線の８×８のブロックＢＬ’は第１のブロックの一例であり、入力端子１０５から入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックである。図２に示す実線の８×８ブロックＢＬは、ブロック分割部１０１によりブロックＢＬ’から水平方向に４画素ずらした位置に分割したブロックである。このように、ブロック分割部１０１は、入力した画像信号Ｖｉｎに施されたＤＣＴの処理ブロックＢＬ’とは異なる位置にブロックＢＬを分割する。
【００２３】
図１に戻り、ブロック分割部１０１で分割されたブロックＢＬは、クラス分類部１０２Ａと予測演算部１０４へ出力される。このクラス分類部１０２Ａは、ブロックＢＬからブロック毎のクラスを求める。
【００２４】
例えば、図３は、クラス分類部１０２Ａの構成例を示すブロック図である。図３に示すクラス分類部１０２Ａは、アクティビティ算出部１０２１、再符号化部１０２２、再符号化差分算出部１０２３及びクラス決定部１０２４を備えている。ブロックＢＬは、アクティビティ算出部１０２１、再符号化部１０２２および再符号化差分算出部１０２３へ出力される。
【００２５】
アクティビティ算出部１０２１では、ブロックＢＬ毎にアクティビティを算出する。例えば、アクティビティの算出には、注目画素Ｐi,jに対して、水平方向で＋１画素隣の画素Ｐi+1,j、水平方向で−１画素隣の画素Ｐi-1,j、垂直方向で＋１画素隣の画素Ｐi,j+1、垂直方向に−１画素隣の画素Ｐi,j-1を用いる。そして、以下の式（１）を用いてアクティビティを計算する。
【００２６】
【数１】
0004656452.tif 000002
【００２７】
式（１）の計算をブロックＢＬ内の全ての画素で行い、その結果を総和した以下の式（２）で求められる値を、ブロックＢＬのアクティビティＡｃｔとして出力する。このようにして、図３に示すアクティビティ算出部１０２１は、ブロックＢＬのアクティビティＡｃｔを求める。
【００２８】
【数２】
0004656452.tif 000003
【００２９】
続いて図３に示す再符号化部１０２２について説明する。図４は、再符号化部１０２２の構成例を示すブロック図である。図４に示す再符号化部１０２２は、符号化部１０２２１及び復号化部１０２２２を備えている。この符号化部１０２２１は、入力されるブロックＢＬに対してＤＣＴによる符号化を行い、符号化された信号ＢＬｅを出力する。ここでの符号化による量子化は、入力した信号をある程度削減するものであれば、任意の量子化を行うことが可能である。ここでは一例として、ＤＣＴのＱ値が５０の量子化を行う。復号化部１０２２２は、符号化された信号ＢＬｅを復号する。そして、復号化部１０２２２は、再符号化（２回符号化）されたブロックＢＬＥとして出力する。
【００３０】
図３に示す再符号化差分算出部１０２３は、ブロックＢＬ及びブロックＢＬＥを入力する。ここで、ブロックＢＬは、１度符号化されたブロックである。また、ブロックＢＬＥは、このブロックＢＬが、再符号化部１０２２で再度符号化されたブロックである。再符号化差分算出部１０２３は、ブロックＢＬとブロックＢＬＥの差分絶対値総和ＢＬｄ（以下単に差分ＢＬｄとも称する）を算出する。差分の算出には、ブロックＢＬの注目画素Ｐi,jに対して、ブロックＢＬＥの同じ画素位置における画素ＰＥi,jを用いて、以下の式（３）を用いて計算する。
【００３１】
【数３】
0004656452.tif 000004
【００３２】
ＤＣＴは、その符号化の性質上、一度符号化した後に位相をずらして再度符号化すると、元の劣化度合いに応じて再符号化後の劣化が生じる性質がある。この性質を利用して、再符号化した際の差分ＢＬｄによってブロックの劣化度合いを特徴づけることを行っている。
【００３３】
図５は、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。図５に示す上段の結果は、符号化を行っていない、すなわち原画状態の画像１〜画像５にＤＣＴを行い、原画状態の画像１〜画像５とこの符号化後の画像１〜画像５とのＳＮ比を示している。
【００３４】
また、図５に示す下段の結果は、１度符号化された画像１〜画像５を水平方向に１画素ずらしてＤＣＴを行い、原画状態の画像１〜画像５と、この再符号化した画像１〜画像５とのＳＮ比を示している。例えば、画像１の符号化におけるＳＮ比は、「３４．７２ｄＢ」である。これに対して、画像１の再符号化におけるＳＮ比は、「３３．００ｄＢ」である。このように、画像１の再符号化におけるＳＮ比が、画像１の符号化におけるＳＮ比よりも小さくなっている。従って、一度符号化を行った後、位相をずらして再度符号化を行うと劣化が生じていることが分かる。また、画像２〜画像５に関しても同様な結果を示している。なお、この例で、ＤＣＴの量子化はＱ値が６０の場合を用いた。
【００３５】
図６は、位相をずらす量を変えた場合における、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。この例では、図５に示した画像４に対して、ずらす位相を変えた場合における原画と再符号化のＳＮ比を示している。例えば、図６に示す水平位相ずれ量および垂直位相ずれ量が０の場合、再符号化によるＳＮ比は原画にＤＣＴを行った場合のＳＮ比と同じ値「３７．０２ｄＢ」になる。すなわち位相ずれが全く生じていない状態では、再符号化によるＳＮ比の変化がない。
【００３６】
これに対して、水平位相ずれ量が１〜４、垂直位相ずれ量が１〜４においては、ＳＮ比が小さくなり、再度符号化を行うと劣化が生じている。ところで、水平および垂直の位相ずれ量が１〜４において、この位相ずれ量１〜４の間で劣化の量に偏りがない。これにより、位相のずれ量がいくつであっても、原画とのＳＮ比においては、ほぼ同一の値になることが分かる。
【００３７】
続いて、原画に対しＤＣＴで符号化を行った符号化信号と、この符号化信号に対して位相をずらした後、ＤＣＴで再符号化を行った再符号化信号の関係を説明する。図７Ａは、符号化信号と再符号化信号との関係を示す模式図である。図７Ａに示すように、原画に対してＤＣＴで符号化を行って符号化信号を生成する。そして、この符号化信号に対してＤＣＴで符号化を行って再符号化信号を生成する。なお、この例では、原画に対するＤＣＴの量子化はＱ値が７５の場合を用い、位相のずれ量は水平方向に１画素、符号化信号に対するＤＣＴの量子化はＱ値が５０の場合を用いている。
【００３８】
図７Ｂは、原画と符号化信号の差分絶対値総和、及び符号化信号と再符号化信号の差分絶対値総和ＢＬｄの関係を示した図である。図７Ｂの横軸には、原画と符号化信号の差分絶対値総和を指定し、縦軸には、符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
【００３９】
図７Ｂには、符号化信号に対して位相をずらした全てのブロックにおいて、原画と符号化信号の差分絶対値総和の値と、符号化信号と再符号化信号の差分絶対値総和の値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ１として簡略化して示している。図７Ｂによれば、原画と符号化信号の差分絶対値総和と、符号化信号と再符号化信号の差分絶対値総和には右上がりの比例関係が生じている。
【００４０】
これにより、原画と符号化信号の差分絶対値総和が大きくなれば、符号化信号と再符号化信号の差分絶対値総和も大きくなることが分かる。従って、符号化信号が歪んでいるほど、位相をずらして再符号化した際の歪みが大きくなる傾向にあることが分かる。
【００４１】
しかし、図７Ｂにおいて、原画と符号化信号の差分絶対値総和が同じでも、再符号化信号との差分絶対値総和が異なる箇所が存在する。例えば、図７Ｂに示す原画と符号化信号の差分絶対値総和の値ｘ１に対して、再符号化信号との差分絶対値総和ＢＬｄには、ｙ１〜ｙ２の幅がある。これは、原画と符号化信号の差分絶対値総和が同じでも、再符号化の際のブロック内の波形に高周波成分が存在するか否かに依存するものである。一般に、ブロック内に高周波成分を含む場合、再符号化時にブロック内の高周波成分の影響で符号化信号と再符号化信号との差分が大きくなる。例えば、図７Ｂに示す値ｘ１に対して、差分ＢＬｄの値がｙ１の場合、ブロック内の波形に高周波成分がほとんど存在していない。また、値ｘ１に対して、差分ＢＬｄの値がｙ２の場合、ブロック内の波形に高周波成分が存在している。
【００４２】
このように、原画と符号化信号の差分絶対値総和が同じ値ｘ１でも、ブロック内に含まれる高周波成分によって、符号化信号と再符号化信号との差分絶対値総和の値には、ｙ１〜ｙ２の開きが生じる。
【００４３】
また、本発明に係る画像処理装置１００は、符号化が行われた画像信号Ｄｉｎを入力して歪み除去を行うので、図７Ｂに示す原画と符号化信号との差分絶対値総和は分からない。このため、符号化信号と再符号化信号との差分絶対値総和ＢＬｄだけでは、原画との差分が分からない。例えば、符号化信号と再符号化信号との差分絶対値総和ＢＬｄの値ｙ２だけでは、原画との差分が小さい（値ｘ１）のに、再符号化時にブロック内の高周波成分の影響で再符号化信号との差分が大きくなったブロックであるか分からない。また、この値ｙ２だけでは、原画との差分が大きくて（値ｘ２）、再符号化信号との差分も大きいブロックなのかの分からず、高周波成分の影響を受けているか否かの切り分けが行えない。
【００４４】
従って、再符号化の際に、どれくらい劣化が生じやすいかの指標も必要である。本発明では、この指標として、図３に示したアクティビティ算出部１０２１によるブロックのアクティビティＡｃｔを用いており、具体的には上述した式（１）、式（２）を用いることにしている。
【００４５】
図８は、図７と同様のブロックで、ブロックのアクティビティＡｃｔ、及び符号化信号と再符号化信号の差分絶対値総和ＢＬｄの関係を示した図である。図８の横軸には、ブロックのアクティビティＡｃｔを指定し、縦軸には、符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
【００４６】
図８には、符号化信号に対して位相をずらした全てのブロックにおいて、ブロックのアクティビティＡｃｔの値と、符号化信号と再符号化信号の差分絶対値総和ＢＬｄの値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ２として簡略化して示している。図８によれば、アクティビティＡｃｔと、符号化信号と再符号化信号の差分絶対値総和ＢＬｄには右上がりの比例関係が生じている。これにより、アクティビティＡｃｔが大きくなれば、位相をずらして再符号化した際の歪みが大きくなる傾向にあることが分かる。
【００４７】
また、アクティビティを指標に用いることで、高周波成分の影響を受けているか否かの切り分けを行うことができる。例えば、符号化信号と再符号化信号との差分絶対値総和の値ｙ３において、アクティビティの値ｘ３の場合、再符号化時にブロック内の高周波成分の影響を受けていないので、ブロックが歪んでいることが分かる。また、この値ｙ３において、アクティビティの値ｘ４の場合、再符号化時にブロック内の高周波成分の影響を受けているので、ブロックが歪んでいないことが分かる。
【００４８】
続いて、図９を参照して、図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって分割した一例を説明する。
【００４９】
図９は、図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって領域ｖ１〜ｖ４に分割した一例を示す説明図である。図９に示す領域ｖ１は、原画と符号化信号との差分絶対値総和が最も小さい領域である。領域ｖ２は、原画と符号化信号との差分絶対値総和が２番目に小さい領域である。領域ｖ３は、原画と符号化信号との差分絶対値総和が３番目に小さい領域である。領域ｖ４は、原画と符号化信号との差分絶対値総和が最も大きい領域である。
【００５０】
図９に示すように、同じアクティビティの値でも、再符号化信号の歪みが大きいほど、原画との歪みも大きいことが分かる。例えば、アクティビティの値ｘ５において、再符号化信号の歪みを示す値ｙ４は、原画と符号化信号との差分絶対値総和が２番目に小さい領域ｖ２に属している。また、再符号化信号の歪みを示す値ｙ５は、原画と符号化信号との差分絶対値総和がこの領域ｖ２より大きい領域ｖ３に属している。従って、同じアクティビティの値でも、再符号化信号の歪みが大きいほど、原画との歪みも大きいことが分かる。従って、符号化歪み除去を行うにあたり、対象とするブロックのアクティビティ、および再符号化による歪みを用いて、対象とするブロックの歪み量を特徴付けることを行う。
【００５１】
図３に戻り、アクティビティ算出部１０２１で算出されるブロックＢＬのアクティビティＡｃｔ、および再符号化差分算出部１０２３で算出されるブロックＢＬとブロックＢＬＥの差分ＢＬｄは、クラス決定部１０２４へ出力される。
【００５２】
続いて、クラス決定部１０２４の構成例について説明する。図１０は、クラス決定部１０２４の構成例を示すブロック図である。図１０に示すクラス決定部１０２４は、図３に示した再符号化差分算出部１０２３により算出された差分ＢＬｄと、アクティビティ算出部１０２１により算出されたアクティビティＡｃｔの分布からブロックＢＬ毎のクラスを決定する。クラス決定部１０２４は、第１のベクトルデータ変換部１０２４１、第１のクラスコードブック１０２４２及び第１の最小値判定部１０２４３を備えている。
【００５３】
第１のベクトルデータ変換部１０２４１は、ブロックＢＬのアクティビティＡｃｔ、ブロックＢＬとブロックＢＬＥの差分ＢＬｄを入力する。このベクトルデータ変換部１０２４１は、入力される複数の値を、ベクトルデータＶとしてまとめることを行う。なお後述する第１の最小値判定部１０２４３での判定において、特定のベクトルの影響が大きくならないように、入力される値の正規化も行う。ブロックＢＬのアクティビティＡｃｔのとり得る値の範囲は、ブロックＢＬとブロックＢＬＥの差分ＢＬｄのとり得る値の範囲に対し、およそ１０倍である。このため、ベクトルデータ変換部１０２４１は、以下の式（４）のように、ベクトルデータＶを生成する。
【００５４】
【数４】
0004656452.tif 000005
【００５５】
生成されたベクトルデータＶは、最小値判定部１０２４３へ出力される。最小値判定部１０２４３では、第１のクラスコード記憶部の一例であるクラスコードブック１０２４２に記憶されたベクトルデータＶｃの中から、ベクトルデータ変換部１０２４１のベクトルデータＶとのノルムが最も小さくなるベクトルデータＶｃを判定する。そして、最小値判定部１０２４３は、このベクトルデータＶｃの番号をクラスＣとして出力する。
【００５６】
このクラスコードブック１０２４２については後述するが、ベクトルデータＶと同じ次元数のベクトルデータが複数記録されているものである。ベクトルデータＶの各要素を、以下の式（５）、式（６）のように定義する。また、ベクトルデータＶとクラスコードブック１０２４２のベクトルデータＶｃのノルムＮｃを、以下の式（７）のように計算する。そしてノルムＮｃが最小となるＶｃを判定する。
【００５７】
【数５】
0004656452.tif 000006
【００５８】
次に、クラスコードブック１０２４２のＶｃの詳細について説明する。クラスコードブック１０２４２のＶｃは、画像全般におけるアクティビティＡｃｔと再符号化による差分絶対値総和ＢＬｄの分布から、分布を代表する任意の個数のベクトルデータを表すものとなる。
【００５９】
図１１は、クラスコードブック１０２４２のＶｃを決定する際の構成例を示すブロック図である。図１１に示すクラスコードブック決定部１０２５以外は、図３の構成と同一のものである。なお、入力されるブロックの信号は、ＤＣＴで符号化された任意の画像信号におけるブロックでよいため、ここではＢＬｔと記載する。図３と同様に、ブロックＢＬｔに対して、アクティビティＡｃｔ、および再符号化による差分ＢＬｄが計算され、クラスコードブック決定部１０２５へ出力される。
【００６０】
図１２は、クラスコードブック決定部１０２５の構成例を示すブロック図である。図１２に示すクラスコードブック決定部１０２５は、ベクトルデータ変換部１０２５１及び代表ベクトル決定部１０２５２を備えている。
【００６１】
クラスコードブック決定部１０２５では、アクティビティＡｃｔ、および再符号化による差分ＢＬｄは、ベクトルデータ変換部１０２５１へ出力される。なお、ベクトルデータ変換部１０２５１は、図１０におけるベクトルデータ変換部１０２４１と同様のものである。ベクトルデータ変換部１０２５１で変換されたベクトルデータＶは、代表ベクトル決定部１０２５２へ出力される。
【００６２】
代表ベクトル決定部１０２５２では、入力される全てのベクトルデータＶに対し、ベクトルデータＶの分布を最適に代表する任意の個数のベクトルデータＶｃを算出する。ベクトルデータＶｃの算出には、ベクトルデータＶに対し、例えばＬＢＧアルゴリズムを適用して、任意の個数のベクトルデータＶｃを算出する。ここで算出されるベクトルデータＶｃをクラスコードブックとして保持し、図１０におけるクラスコードブック１０２４２として用いることとする。
【００６３】
以上のような構成を用いることで、入力される画像信号のブロックＢＬの劣化度合いをクラスとして扱うことになり、後述する予測処理において、劣化度合いに応じた予測処理を行うことができる。
【００６４】
図１に戻り、係数メモリ１０３は予測係数発生部の一例であり、クラス分類部１０２Ａで決定されたクラスＣに対応した予測係数ｗｉを発生する。この予測係数ｗｉは、注目画素のブロックＢＬ内の位置によって異なる係数である。すなわちあるクラスＣにおいて、ブロックＢＬ内の位置が６４通りあるため、クラスＣの係数は６４個存在する。よってクラスＣの総個数がＣＮとすると、係数の総個数はＣＮ×６４個となる。なお、予測係数ｗｉの生成方法については後述する。
【００６５】
図１３は、予測演算部１０４の構成例を示すブロック図である。図１３に示す予測演算部１０４は、予測タップ構築部１０４１及び予測演算部１０４２を備えている。予測タップ構築部１０４１では、ブロックＢＬにおける注目画素を算出するための予測タップを構築する。
【００６６】
図１４に予測タップ構築部１０４１の動作例を示す。予測タップ構築部１０４１は、注目画素位置Ｐ１に対し、所定の画素を予測タップとして抽出する。例えば注目画素位置Ｐ１に対し、ひし形の予測タップを用いる場合、図１４に示す１３個の画素を抽出する。ここで抽出される画素はｘｉとして、図１３に示す予測演算部１０４２へ出力される。
【００６７】
予測演算部１０４２では、予測タップ構築部１０４１からの予測タップ画素ｘｉと、係数メモリ１０３から入力される予測係数ｗｉから、以下の式（８）を用いて、予測演算を行い、注目画素位置における出力画素値を算出する。ただしｍは予測タップの数である。
【００６８】
【数６】
0004656452.tif 000007
【００６９】
以上の処理を、ブロックＢＬ内の全ての画素に対して行い、また全てのブロックＢＬについても同様に行うことで、歪みが除去された出力画像Ｖｏｕｔが出力端子１０６から得られることになる。
【００７０】
このように、本発明に係る画像処理装置１００及び画像信号処理方法によれば、再符号化した際の差分やブロックのアクティビティによって、ブロックの劣化度合いを特徴づけることを行ものである。
【００７１】
これにより、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズは除去し、ディテールをつぶすことがない歪み除去を行うことができる。
【００７２】
続いて、予測係数ｗｉを生成する方法について説明する。図１５は、予測係数生成装置２００の構成例を示すブロック図である。図１５に示す予測係数生成装置２００は、符号化部２０１、復号化部２０２、ブロック分割部２０３、クラス分類部２０４、予測タップ構築部２０５、正規方程式生成部２０６及び予測係数算出部２０７を備えている。なお、正規方程式生成部２０６及び予測係数算出部２０７は、予測係数演算部の一例である。
【００７３】
入力端子２０８から符号化が行われていない画像信号Ｖｓが入力される。次に画像信号Ｖｓに対し、符号化部２０１でＤＣＴによる符号化を行う。そして、復号化部２０２で符号化された信号を復号化し、符号化された画像信号Ｖｓｅを生成する。なお符号化部２０１におけるＤＣＴの量子化は任意のものでよく、ブロックに応じて変更してもよい。
【００７４】
符号化された画像信号Ｖｓｅに対し、ブロック分割部２０３で、ブロックに分割する。なおブロック分割部２０３は、図１におけるブロック分割部１０１と同様である。ブロック分割部２０３で分割されたブロックに対し、クラス分類部２０４で、ブロックＢＬのクラスＣを決定し、正規方程式生成部２０６へ送る。なおクラス分類部２０４は、図１におけるクラス分類部１０２Ａと同様である。
【００７５】
さらに予測タップ構築部２０５で、ブロックＢＬに対し、注目画素位置における予測タップｘiを構築し、正規方程式生成部２０６へ出力する。なお予測タップ構築部２０５は、図１３における予測タップ構築部１０４１と同様である。さらに正規方程式生成部２０６には、注目画素位置に対応する画像信号Ｖｓの画素値ｙも出力される。
【００７６】
正規方程式生成部２０６は、クラス分類部２０４から出力されるクラスＣ、およびブロックＢＬにおける注目画素毎に、画像信号Ｖｓの画素値ｙと、予測タップ構築部２０５で抽出される予測タップｘiを元に、以下の式（９）のような予測式を生成する。
【００７７】
【数７】
0004656452.tif 000008
【００７８】
ただしｙkは、画像信号Ｖｓの画素値で、同一の予測式となる画素の中でｋ番目の画素値を表しており、ｘkiは同一の予測式となる画素の中でｋ番目の予測タップｉの画素値、ｍは予測タップの数、ｗｉは予測係数を表す。よって予測式の生成に用いる画素数をＮとすると、以下の式（１０）のｗｉを予測係数としてもとめることができる。
【００７９】
【数８】
0004656452.tif 000009
【００８０】
よって、式（１０）から、以下の式（１１）のようにすることで、予測係数を算出することができる。
【００８１】
【数９】
0004656452.tif 000010
【００８２】
式（１１）を展開すると、以下の式（１２）、式（１３）を用いて、以下の式（１４）が算出される。
【００８３】
【数１０】
0004656452.tif 000011
【００８４】
式（１４）は、一般に正規方程式とよばれている。以上のように正規方程式生成部２０６は、式（１４）の正規方程式を、クラスＣ、およびブロックＢＬにおける注目画素の位置毎に生成し、係数算出部２０７へ出力する。
【００８５】
係数算出部２０７では、正規方程式生成部２０６で生成された式（１４）の正規方程式を、掃き出し法（Gauss-Jordanの消去法）等を用いて、ｗｉについて解き、予測係数として出力する。出力された予測係数ｗｉは、図１における係数メモリ１０３に保持される。
【００８６】
このように、本発明に係る予測係数生成装置２００及び予測係数生成方法によれば、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティも同時に特徴量として用いることで、両者の値からクラス分類を行い、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。よって例えば、モスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができる。従って、モスキートノイズを除去して、ディテールをつぶすことがない歪み除去を行うことが可能である。
【００８７】
また本発明のクラス分類手法は、図３に示したクラス分類部１０２Ａ以外にも複数存在するため、以下では、その詳細について説明する。図１６は、本発明に係る第２の実施形態としてのクラス分類部１０２Ｂの構成例を示すブロック図である。図１６に示すクラス分類部１０２Ｂには、図３に示したクラス分類部１０２Ａにブロック間差分算出部１０２６が追加されている。ブロック間差分算出部１０２６の追加に伴い、クラス決定部１０２７で扱うベクトルの次元数が増えたこと以外は、図３の構成と同様である。
【００８８】
図１７は、ブロック間差分算出部１０２６の動作例を示す説明図である。ブロックＢＬが図２に示したように分割されていた場合、ブロック間差分算出部１０２６は、図１７に示すように、複数のブロックＢＬに関し、互いに隣接するブロックＢＬの水平方向の境界における境界画素におけるブロック間差分Ｄｉｆを算出する。水平方向における境界となる画素の左側をＰＬ、右側をＰＲとすると、ブロック間差分算出部１０２６は、以下の式（１５）を用いて算出される。
【００８９】
【数１１】
0004656452.tif 000012
【００９０】
上述した処理の構成を用いる理由として、本発明に係る第２の実施形態では、図３の構成に加え、ブロック間差分も特徴量として加えている。これにより、入力される画像信号に施されたＤＣＴの処理ブロックの水平方向の境界の劣化度合いも含めて歪み除去を行うことにある。
【００９１】
図１８Ａは、図８に対して、ブロック間差分Ｄｉｆも加えて、ブロックのアクティビティＡｃｔと、ブロック間差分Ｄｉｆ、および符号化信号と再符号化信号との差分絶対値総和ＢＬｄの値をプロットした解析データに基づいて、そのプロット点の分布を領域Ｗ３として簡略化して示している。図１８Ａの横軸にはブロック間差分Ｄｉｆを指定し、縦軸にはブロックのアクティビティＡｃｔを指定し、高さ方向の軸には符号化信号と再符号化信号の差分絶対値総和ＢＬｄを指定している。
【００９２】
図１８Ａによれば、ブロック間差分ＤｉｆおよびアクティビティＡｃｔの値が大きくなれば、再符号化による差分ＢＬｄも大きくなっていることが分かる。
【００９３】
続いて、図１８Ｂを参照して、図１８Ａに示したプロット点の分布を示す領域Ｗ３を、原画と符号化信号との差分絶対値総和の値によって分割した一例を説明する。
【００９４】
図１８Ｂは、図１８Ａに示したプロット点の分布を示す領域Ｗ３を、原画と符号化信号との差分絶対値総和の値によって領域ｖ５〜ｖ８に分割した一例を示す説明図である。図１８Ｂに示す領域ｖ５は、原画と符号化信号との差分絶対値総和が最も小さい領域である。領域ｖ６は、原画と符号化信号との差分絶対値総和が２番目に小さい領域である。領域ｖ７は、原画と符号化信号との差分絶対値総和が３番目に小さい領域である。領域ｖ８は、原画と符号化信号との差分絶対値総和が最も大きい領域である。
【００９５】
図１８Ｂによれば、同一のブロック間差分Ｄｉｆの値においても、ブロックのアクティビティＡｃｔや再符号化による差分ＢＬｄによって、原画と符号化信号との差分が異なることが分かる。従って、これら３つの特徴量を用いることで、ブロック境界の劣化度合いに応じた歪み除去を行うことが可能となることが分かる。
【００９６】
図１９は、クラス決定部１０２７の構成例を示すブロック図である。図１９に示すクラス決定部１０２７の構成は、図１０に示したクラス決定部１０２４と同様であるが、クラス分類部１０２Ｂでは、扱うベクトルデータの次元数がブロック間差分Ｄｉｆの分だけ１つ増えることになる。
【００９７】
第２のベクトルデータ変換部１０２７１は、入力される複数の値を、ベクトルデータＶとしてまとめることを行う。なお後述する第２の最小値判定部１０２７３での判定において、特定のベクトルの影響が大きくならないように、入力される値の正規化も行う。ブロックＢＬのアクティビティＡｃｔのとり得る値の範囲は、ブロックＢＬとブロックＢＬＥの差分ＢＬｄのとり得る値の範囲、および入力される画像信号に施されたＤＣＴの処理ブロックの水平方向の境界におけるブロック間差分Ｄｉｆに対し、およそ１０倍である。このため、第２のベクトルデータ変換部１０２７１は、以下の式（１６）のように、ベクトルデータＶを生成する。
【００９８】
【数１２】
0004656452.tif 000013
【００９９】
生成されたベクトルデータＶは、第２の最小値判定部１０２７３へ出力される。最小値判定部１０２７３では、ベクトルデータ変換部１０２７１からのベクトルデータＶに対し、第２のクラスコードブック１０２７２から出力されるＶｃの中から、最もノルムの小さいＶｃを判定し、Ｖｃの番号Ｃをクラスとして出力する。
【０１００】
第２のクラスコード記憶部の一例であるクラスコードブック１０２７２については後述するが、ベクトルデータＶと同じ次元数のベクトルデータが複数記録されているものである。ベクトルデータＶの各要素を、上述の式（５）、式（６）、および以下の式（１７）のように定義し、ベクトルデータＶとクラスコードブック１０２７２のＶｃのノルムＮｃを、以下の式（１８）のように計算する。そしてノルムが最小となるＶｃを判定する。
【０１０１】
【数１３】
0004656452.tif 000014
【０１０２】
次にクラスコードブック１０２７２のＶｃの詳細について説明する。クラスコードブック１０２７２のＶｃは、画像全般におけるアクティビティＡｃｔとブロック間差分Ｄｉｆと再符号化による差分ＢＬｄの分布から、分布を代表する任意の個数のベクトルデータを表すものとなる。
【０１０３】
図２０は、クラスコードブック１０２７２のＶｃを決定する際の構成を示すブロック図である。図２０に示すクラスコードブック決定部１０２８以外は、図１６の構成と同一のものである。なお、入力されるブロックの信号は、ＤＣＴで符号化された任意の画像信号におけるブロックでよいため、ここではＢＬｔと記載する。図１６と同様に、ブロックＢＬｔに対して、アクティビティＡｃｔ、ブロック間差分Ｄｉｆ、および再符号化による差分ＢＬｄが計算され、クラスコードブック決定部１０２８へ出力される。
【０１０４】
図２１は、クラスコードブック決定部１０２８の構成例を示すブロック図である。図２１に示すクラスコードブック決定部１０２８は、ベクトルデータ変換部１０２８１及び代表ベクトル決定部１０２８２を備えている。
【０１０５】
クラスコードブック決定部１０２８では、アクティビティＡｃｔ、ブロック間差分Ｄｉｆ、および再符号化による差分ＢＬｄは、ベクトルデータ変換部１０２８１へ出力される。なおベクトルデータ変換部１０２８１は、図１９におけるベクトルデータ変換部１０２７１と同様のものである。ベクトルデータ変換部１０２８１で変換されたベクトルデータＶは、代表ベクトル決定部１０２８２へ出力される。
【０１０６】
代表ベクトル決定部１０２８２では、入力される全てのベクトルデータＶに対し、ベクトルデータＶの分布を最適に代表する任意の個数のベクトルデータＶｃを算出する。ベクトルデータＶｃの算出には、ベクトルデータＶに対し、例えばＬＢＧアルゴリズムを適用して、任意の個数のベクトルデータＶｃを算出する。ここで算出されるベクトルデータＶｃをクラスコードブックとして保持し、図１９におけるクラスコードブック１０２７２として用いることとする。
【０１０７】
また、クラス分類部１０２Ｂの構成に伴い、係数メモリ１０３に保持される予測係数ｗｉの作成は、図１５におけるクラス分類部２０４の構成を、クラス分類部１０２Ｂの構成に変えるだけであり、その他の動作は全て同じである。
【０１０８】
このように、本発明に係る第２の実施形態としてのクラス分類部１０２Ｂでは、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティとブロック間差分も同時に特徴量として用いることで、３つの値からクラス分類を行い、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。従って、例えばモスキートノイズが発生している箇所とディテール箇所の切り分けを行うことができ、モスキートノイズを除去してディテールをつぶすことがない歪み除去を行うことができる。さらに、ブロック境界においてブロック歪みが発生している箇所と、ブロック境界がエッジである箇所の切り分けも行うことができる。そして、ブロック歪みは除去し、エッジをつぶすことがない歪み除去を行うことができる。
【０１０９】
図１３に示したクラス分類部１０２Ａ、および図１６に示したクラス分類部１０２Ｂの構成の違いから分かるように、ブロックＢＬの特徴量に応じて、クラス決定部１０２４やクラス決定部１０２７で用いるベクトルの次元数が決まっている。よってブロックＢＬの特徴量をさらに増やす場合は、増やした数に応じて、ベクトルの次元数が増えることになる。例えば、クラス分類部１０２Ｂの構成に加えて、垂直方向のブロック境界における差分も特徴量として追加する場合、図１のブロック分割部１０１で、水平方向に４画素、垂直方向に４画素ずらした位置でブロックＢＬを設定し、図１７と同様に、垂直方向でのブロック境界での差分を新たに加えればよい。
【０１１０】
図２２は、本発明に係る第３の実施形態としてのクラス分類部１０２Ｃの構成例を示すブロック図である。波形クラス算出部１０２９とクラス統合部１０２ａが追加されたこと以外は、図１６に示したクラス分類部１０２Ｂの構成と同様である。またクラス決定部１０２７で決定されるクラスを、波形クラス算出部１０２９で算出されるクラスと分けて表記するため、クラス決定部１０２７で決定されるクラスをＣｂと表記している。
【０１１１】
図２３は、波形クラス算出部１０２９の動作例を示す説明図である。波形クラス算出部１０２９は、注目画素とその周辺の画素における波形の特徴量からクラスを算出するため、例えば図２３に示す画素を抽出する。波形の特徴量としては、例えば、ＡＤＲＣ（Adaptive Dynamic Range Coding）を用いる。ＡＤＲＣでは、画素データの最大値をｍａｘ、最小値をｍｉｎ、ダイナミックレンジをＤＲ（ｍａｘ−ｍｉｎ＋1）再量子化ビット数をＰとすると、予測タップ画素ｘｉに対して、以下の式（１９）の演算より、再量子化コードＱｉが得られる。ただし式（１９）において[ ]は切り捨て処理を意味している。
【０１１２】
【数１４】
0004656452.tif 000015
【０１１３】
そして、各画素データで得られる再量子化コードＱｉから、以下の式（２０）において、クラスＣｌが得られる。ただし画素データとして、Ｎａ個の画素データがあるとする。
【０１１４】
【数１５】
0004656452.tif 000016
【０１１５】
クラス統合部１０２ａは、クラス決定部１０２７で決定されるクラスＣｂと、波形クラス算出部１０２９で決定されるクラスＣｌを統合してクラスを決定する。クラスＣｌの総クラスがＮｃｌである時、クラス統合部１０２ａは、以下に式（２１）を用いて、最終的なクラスＣを決定する。
【０１１６】
【数１６】
0004656452.tif 000017
【０１１７】
すなわち、先のクラス分類部１０２Ａ、およびクラス分類部１０２Ｂに対し、クラス分類部１０２Ｃでは、注目画素における波形特徴量もクラスに用いた構造になっている。
【０１１８】
またクラス分類部１０２Ｃに伴い、係数メモリ１０３に保持される予測係数ｗｉの作成は、図１５におけるクラス分類部２０４の構成を、クラス分類部１０２Ｃに変えるだけであり、その他の動作は全て同じである。
【０１１９】
以上のようにクラス分類部１０２Ｃでは、クラス分類部１０２Ｂに対し、注目画素の波形特徴量もクラスに用いることで、注目画素周辺の波形情報を利用することができ、クラス分類部１０２Ｂと比べ、より性能の高い歪み除去を行うことができる。
【０１２０】
このように、本発明に係る第３の実施形態としてのクラス分類部１０２Ｃでは、ブロックの劣化度合いを、再符号化した際の差分によって特徴づけることを行う。またブロックのアクティビティやブロック間差分、さらに注目画素の波形特徴も同時に特徴量として用いることで、ブロックの劣化度合いに応じた適切な歪み除去を行うことができる。また本発明では、直交変換による符号化としてＤＣＴを例に説明したが、他の直交変換を用いた符号化、例えばＤＳＴやスラント変換を用いた場合でも同様の特性を用いた歪み除去を行うことができる。
【０１２１】
さらに、上述の処理はハードウェアだけでなくソフトウェアで実現するものとしても良い。この場合の構成を図２４に示す。図２４は、本発明に係るプログラムにより実行するコンピュータの一例である画像処理装置３００の構成例を示すブロック図である。この画像処理装置３００は、図２４に示すようにＣＰＵ(Central Processing Unit)３０１を内蔵しており、このＣＰＵ３０１にはバス３２０を介してＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、入出力インタフェース３０５が接続されている。さらに、入出力インタフェース３０５には入力部３１１や記録媒体ドライブ３１２、通信部３１３、画像信号入力部３１４、画像信号出力部３１５が接続されている。
【０１２２】
外部装置から命令が入力されたり、キーボードやマウス等の操作手段あるいはマイク等の音声入力手段等を用いて構成された入力部３１１から命令が入力されたりすると、この命令が入出力インタフェース３０５を介してＣＰＵ３０１に供給される。
【０１２３】
ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４に記憶されているプログラムを実行して、供給された命令に応じた処理を行う。さらに、ＲＯＭ３０２やＲＡＭ３０３あるいはＨＤＤ３０４には、上述の画像処理装置１００と同様な処理を画像処理装置３００で実行させるための画像処理プログラムを予め記憶させて、画像信号入力部３１４に入力された入力画像信号に基づき、出力画像を生成して、画像信号出力部３１５から出力する。
【０１２４】
また、記録媒体に画像処理プログラムを記録しておくものとし、記録媒体ドライブ３１２によって、画像処理プログラムを記録媒体に記録しあるいは記録媒体に記録されている画像処理プログラムを読み出して画像処理装置３００で実行するものとしても良い。さらに、通信部３１３によって、伝送路を介した画像処理プログラムの送信あるいは受信を行うものとし、受信した画像処理プログラムを画像処理装置３００で実行するものとしても良い。
【０１２５】
図２５は、本発明に係るソフトウェアによる画像処理装置３００の動作例を示すフローチャートである。ステップＳＴ１０で、入力画像に対して、ブロック分割が行われる。次にステップＳＴ１１で、クラス分類が行われる。次にステップＳＴ１２で、クラスに応じた予測係数が読み出される。次にステップＳＴ１３で、予測演算が行われる。次にステップＳＴ１４で、全ての画素で処理が終了したかを判定し、終了していなければ、ステップＳＴ１１に戻り、処理を継続する。処理が終了していれば、画像を出力し処理を終了する。
【０１２６】
図２６は、図２５のステップＳＴ１１におけるクラス分類の第１の構成におけるフローチャートである。ステップＳＴ１１０で、ブロックのアクティビティが算出される。次にステップＳＴ１１１でブロックを再符号化する。次にステップＳＴ１１２で、再符号化したデータを復号化する。次にステップＳＴ１１３で、再符号化の前後での差分を算出する。次にステップＳＴ１１４で、ステップＳＴ１１０とステップＳＴ１１３の結果からクラスを決定する。
【０１２７】
図２７は、図２６のステップＳＴ１１４におけるクラス決定のフローチャートである。ステップＳＴ１１４０で、図２６におけるステップＳＴ１１０とステップＳＴ１１３の結果を、ベクトルデータに変換する。次にステップＳＴ１１４１で、クラスコードブックを読み出す。次にステップＳＴ１１４２で、ステップＳＴ１１４１で読み出したクラスコードブックの中から、ステップＳＴ１１４０で変換したベクトルデータに最もノルムが近いものを判定する。次にステップＳＴ１１４３で、ステップＳＴ１１４２で判定されたクラスコードブックの番号をクラスとして出力する。
【０１２８】
図２８は、図２７におけるクラスコードブックの決定方法を示すフローチャートである。ステップＳＴ２０でブロックのアクティビティが算出される。次にステップＳＴ２１でブロックを再符号化する。次にステップＳＴ２２で、再符号化したデータを復号化する。次にステップＳＴ２３で、再符号化の前後での差分を算出する。次にステップＳＴ２４で、ステップＳＴ２０とステップＳＴ２３の結果をベクトルデータに変換する。次にステップＳＴ２５で、ステップＳＴ２４で得られたベクトルデータの分布から、ＬＢＧアルゴリズム等で、任意の個数の代表ベクトルを算出し、算出された代表ベクトルをクラスコードブックとして決定する。
【０１２９】
図２９は、予測係数の生成を示すフローチャートである。ステップＳＴ３１で、入力画像に対して符号化を行う。次にステップＳＴ３２で、ステップＳＴ３１で符号化したデータを復号化する。次にステップＳＴ３３で、ステップＳＴ３２で復号化した画像に対し、ブロック分割が行われる。次にステップＳＴ３４、クラス分類が行われる。次にステップＳＴ３５で、クラス、およびブロック内の注目画素位置毎に、予測係数を算出するための正規方程式を生成する。次にステップＳＴ３６で、正規方程式を解くことで、予測係数を算出する。
【０１３０】
図３０は、図２５のステップＳＴ１１におけるクラス分類の第２の構成におけるフローチャートである。ステップＳＴ１１５で、ブロックのアクティビティが算出される。次にステップＳＴ１１６で、入力に対して行われた符号化のブロック境界における差分を算出する。次にステップＳＴ１１７でブロックを再符号化する。次にステップＳＴ１１８で、再符号化したデータを復号化する。次にステップＳＴ１１９で、再符号化の前後での差分を算出する。次にステップＳＴ１１ａで、ステップＳＴ１１５とステップＳＴ１１６、およびステップＳＴ１１９の結果からクラスを決定する。なおクラス決定のフローチャートは、図２７と同様で、クラスコードブックの決定のフローチャートは、図２８と同様であり、扱うベクトルデータの次元数が１つ多いだけである。
【０１３１】
図３１は、図２５のステップＳＴ１１におけるクラス分類の第３の構成におけるフローチャートである。ステップＳＴ１１ｂで、ブロックのアクティビティが算出される。次にステップＳＴ１１ｃで、入力に対して行われた符号化のブロック境界における差分を算出する。次にステップＳＴ１１ｄでブロックを再符号化する。次にステップＳＴ１１ｅで、再符号化したデータを復号化する。次にステップＳＴ１１ｆで、再符号化の前後での差分を算出する。次にステップＳＴ１１ｇで、ステップＳＴ１１ｂとステップＳＴ１１ｃ、およびステップＳＴ１１ｆの結果からクラスを決定する。次にステップＳＴ１１ｈで、注目画素における波形クラスを算出する。次にステップＳＴ１１ｉで、ステップＳＴ１１ｇとステップＳＴ１１ｉで決定されたクラスを統合し、最終的なクラスとして出力する。
【産業上の利用可能性】
【０１３２】
直交変換を用いて符号化を行う画像信号処理装置などに適用して好適である。
【図面の簡単な説明】
【０１３３】
【図１】本発明に係る第１の実施形態としての画像処理装置１００の構成例を示すブロック図である。
【図２】ブロック分割部１０１の動作例を示す概念図である。
【図３】第１の実施形態としてのクラス分類部１０２Ａの構成例を示すブロック図である。
【図４】再符号化部１０２２の構成例を示すブロック図である。
【図５】ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。
【図６】位相をずらす量を変えた場合における、ブロックの劣化度合いを示すＳＮ比の一例を示す説明図である。
【図７】符号化信号−再符号化信号の差分ＢＬｄと原画−符号化信号の差分の関係を示す説明図である。
【図８】符号化信号−再符号化信号の差分ＢＬｄとブロックのアクティビティＡｃｔの関係を示す説明図である。
【図９】図８に示したプロット点の分布を示す領域Ｗ２を、原画と符号化信号との差分絶対値総和の値によって領域ｖ１〜ｖ４に分割した一例を示す説明図である。
【図１０】クラス決定部１０２４の構成例を示すブロック図である。
【図１１】クラスコードブック１０２４２のＶｃを決定する際の構成例を示すブロック図である。
【図１２】クラスコードブック決定部１０２５の構成例を示すブロック図である。
【図１３】予測演算部１０４の構成例を示すブロック図である。
【図１４】予測タップ構築部１０４１の動作例を示す説明図である。
【図１５】予測係数生成装置２００の構成例を示すブロック図である。
【図１６】本発明に係る第２の実施形態としてのクラス分類部１０２Ｂの構成例を示すブロック図である。
【図１７】ブロック間差分算出部１０２６の動作例を示す説明図である。
【図１８】符号化信号−再符号化信号の差分ＢＬｄとブロックのアクティビティＡｃｔとブロック間差分Ｄｉｆの関係を示す説明図である。
【図１９】クラス決定部１０２７の構成例を示すブロック図である。
【図２０】クラスコードブック１０２７２のＶｃを決定する際の構成例を示すブロック図である。
【図２１】クラスコードブック決定部１０２８の構成例を示すブロック図である。
【図２２】本発明に係る第３の実施形態としてのクラス分類部１０２Ｃの構成例を示すブロック図である。
【図２３】波形クラス算出部１０２９の動作例を示す説明図である。
【図２４】本発明に係るソフトウェアによる画像処理装置３００の構成例を示すブロック図である。
【図２５】画像処理装置３００の動作例を示すフローチャートである。
【図２６】図２５のステップＳＴ１１におけるクラス分類の第１の構成における動作例を示すフローチャートである。
【図２７】図２６のステップＳＴ１１４におけるクラス決定の動作例を示すフローチャートである。
【図２８】図２７におけるクラスコードブックの決定方法を示すフローチャートである。
【図２９】予測係数の生成例を示すフローチャートである。
【図３０】図２５のステップＳＴ１１におけるクラス分類の第２の構成における動作例を示すフローチャートである。
【図３１】図２５のステップＳＴ１１におけるクラス分類の第３の構成における動作例を示すフローチャートである。
【符号の説明】
【０１３４】
１０３・・・係数メモリ（予測係数発生部）、２０１・・・符号化部、２０２・・・復号化部、２０３・・・ブロック分割部、２０６・・・正規方程式生成部（予測係数演算部）、２０７・・・予測係数算出部（予測係数演算部）、１０２１・・・アクティビティ算出部、１０２２・・・再符号化部、１０２３・・・再符号化差分算出部、１０２４・・・クラス決定部、１０２６・・・ブロック間差分算出部、１０２９・・・波形クラス算出部、１０２ａ・・・クラス統合部、１０４１・・・予測タップ構築部、１０４２・・・予測演算部、１０２４１・・・第１のベクトルデータ変換部、１０２４２・・・第１のクラスコードブック（第１のクラスコード記憶部）、１０２４３・・・第１の最小値判定部、１０２７１・・・第２のベクトルデータ変換部、１０２７２・・・第２のクラスコードブック（第２のクラスコード記憶部）、１０２７３・・・第２の最小値判定部
【図１】
0004656452.tif 000018
【図２】
0004656452.tif 000019
【図３】
0004656452.tif 000020
【図４】
0004656452.tif 000021
【図５】
0004656452.tif 000022
【図６】
0004656452.tif 000023
【図７】
0004656452.tif 000024
【図８】
0004656452.tif 000025
【図９】
0004656452.tif 000026
【図１０】
0004656452.tif 000027
【図１１】
0004656452.tif 000028
【図１２】
0004656452.tif 000029
【図１３】
0004656452.tif 000030
【図１５】
0004656452.tif 000031
【図１６】
0004656452.tif 000032
【図１８】
0004656452.tif 000033
【図１９】
0004656452.tif 000034
【図２０】
0004656452.tif 000035
【図２１】
0004656452.tif 000036
【図２２】
0004656452.tif 000037
【図２４】
0004656452.tif 000038
【図２５】
0004656452.tif 000039
【図２６】
0004656452.tif 000040
【図２７】
0004656452.tif 000041
【図２８】
0004656452.tif 000042
【図２９】
0004656452.tif 000043
【図３０】
0004656452.tif 000044
【図３１】
0004656452.tif 000045
【図１４】
0004656452.tif 000046
【図１７】
0004656452.tif 000047
【図２３】
0004656452.tif 000048