(57)【要約】【課題】処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する量子化誤差推定部と、を備える画像処理装置が提供される。【選択図】図１
2013150066.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、
エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、
前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定する量子化誤差推定部と、
を備えることを特徴とする、画像処理装置。
【請求項２】
前記量子化誤差推定部は、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、前記量子化誤差を推定することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記量子化誤差推定部は、前記非線形最適化処理において、前記エッジ分割領域における水平方向および垂直方向それぞれに対応する離散コサイン変換係数の次数を設定することを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記量子化誤差推定部は、前記エッジ判定部において判定されたエッジの方向に基づいて、前記離散コサイン変換係数の次数を、前記判定されたエッジの方向に対応するように適応的に設定することを特徴とする、請求項３に記載の画像処理装置。
【請求項５】
前記増分符号算出部は、
前記増分符号を算出する算出部と、
前記エッジ分割領域におけるエッジに対応する画素をマスキングするエッジ画素マスキング部と、
を備え、
前記量子化誤差推定部は、マスキングされた画素に対応する増分符号を、前記量子化誤差の推定に用いないことを特徴とする、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、前記入力画像信号のノイズを低減するノイズ低減部をさらに備えることを特徴とする、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップと、
エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップと、
前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定するステップと、
を有することを特徴とする、画像処理方法。
【請求項８】
入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップ、
エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップ、
前記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、前記エッジ分割領域ごとに推定するステップ、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えばＶＯＤ（Video  On  Demand）などのように、インターネット（Internet）を介して動画像を配信するサービスの普及が進んでおり、また、ＵＧＣ（User  Generated  Contents）をテレビ受像機やＰＣ（Personal  Computer）などを用いてユーザが視聴できる環境も整いつつある。また、例えば日本では、テレビジョン放送がデジタル化している。例えば上記のような、画像配信サービスや、デジタルテレビジョン放送において、高解像度のデジタル画像の配信や放送を可能とした技術の一つとして、画像圧縮技術がある。画像圧縮技術の規格としては、例えば、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８）や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣが挙げられる。
【０００３】
例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣでは、所定の符号化方式にて画像が非可逆に圧縮される。そのため、例えば上記のような符号化方式が用いられる場合には、画像のデータ量の削減には有利であるが、その反面、例えばブロックノイズ、モスキートノイズ、リンギングノイズなどの符号化に起因するノイズ（歪み。以下、「符号化ノイズ」と示す場合がある。）が、画像をみるユーザに認識されてしまうことが起こりうる。
【０００４】
このような中、符号化に起因するノイズの低減を図る技術が開発されている。符号化に起因するノイズの低減を図る技術としては、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、非特許文献１に記載の技術に記載の技術が挙げられる。
【０００５】
また、画像の特徴を表現する技術も開発されている。隣接する、または任意の２画素間の輝度の大小関係を“０”または“１”のバイナリ・ビットである増分符号（Increment  Sign:ＩＳ）で表現する技術としては、例えば、非特許文献２に記載の技術に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１１−３２３３３号公報
【特許文献２】特開２００６−３３２９８７号公報
【非特許文献】
【０００７】
【非特許文献１】HARASHIMA  H.,  ODAJIMA  K.,  SHISHIKUI  Y.,  and  MIYAKAWA,  H.,”  Epsilon-separating  nonlinear  digital  filter  and  its  applications”,  Electronics  and  Communications  in  Japan,  (ISSN  0424-8368).  Vol.  65,  pp.  11-19.  Apr.  1982.
【非特許文献２】S.  Kaneko,  et  al:  “Robust  image  registration  by  increment  sign  correlation”,  Pattern  Recognition,  35(10):2223-2234,  October  2002.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば非特許文献１に記載の技術では、エッジを含む領域（例えばＭＰＥＧ−２では８×８画素単位のブロック）を検出し、検出された領域内部においてエッジ保存平滑化を行うことによって、符号化ノイズを低減する。
【０００９】
しかしながら、例えば非特許文献１に記載の技術を用いる場合には、本来画像に含まれているテクスチャと符号化ノイズ成分との両方に基づいてノイズ量を推定してしまう可能性があることから、ノイズの平滑化時に、本来の画像テクスチャ（すなわち、画像における平滑化してはならない部分）も平滑化してしまう恐れがある。
【００１０】
また、例えば特許文献１に記載の技術では、ビットストリームから復号した離散コサイン変換（Discrete  Cosine  Transform。以下、「ＤＣＴ」と示す場合がある。）係数に基づいて、ブロックノイズとモスキートノイズの線形和からなるエネルギー関数を定義する。そして、例えば特許文献１に記載の技術では、上記エネルギー関数が画像全体で最小となるように、ガウス・ザイデル法を用いた反復演算処理により最適化をすることによって、圧縮ノイズ（特許文献１に記載の技術においては、ブロックノイズおよびモスキートノイズ。）を発生させる、ＤＣＴ係数の量子化誤差成分を推定している。
【００１１】
ここで、特許文献１に記載の技術では、ブロック境界部分の輝度段差を、ブロックノイズのエネルギーとして用いている。また、特許文献１に記載の技術では、ブロック内の量子化雑音が一様でない性質を、モスキートノイズのエネルギーとして用いている。上記は、量子化ステップの高さが最小ＤＣＴ係数より高いときに、量子化ノイズ（雑音）がホワイトノイズでなくなることを、周波数領域においてモデル化したものである。
【００１２】
しかしながら、例えば特許文献１に記載の技術では、上記エネルギー関数の最適化を画像全体で行うので、例えば局所的に発生しうるモスキートノイズなどによるノイズ量を、局所的に推定することはできない。
【００１３】
また、例えば特許文献２に記載の技術では、ＤＣＴ量子化によって失われる基底関数の周波数成分を検出する二つの変換係数列を用意し、これらの変換係数列と原画像とを畳み込むことによって得られる二つの相関値を算出する。そして、特許文献２に記載の技術では、算出された二つの相関値が２次元平面上で遷移する軌跡形状に基づいて、処理対象の画像信号がモスキートノイズにより劣化しているか否か（すなわち、モスキートノイズを含んでいるか否か）を判定する。ここで、特許文献２に記載の技術の原理は、画像における平坦部分からのエッジの立ち上がり部分（または立ち下がり部分）のリンギングに対して、上記変換係数列を一画素ずつずらして畳み込んだときの出力が、ある特定の遷移パターンになることを利用してエッジ近傍のリンギング状態を検出するものである。
【００１４】
しかしながら、特許文献２に記載の技術に係る方法では、モスキートノイズの発生の有無を判定することができる可能性はあるが、ＤＣＴ係数の量子化誤差成分を推定することはできない。
【００１５】
さらに、例えば特許文献２に記載の技術を用いる場合には、モスキートノイズの低減のために、例えば、一般的なローパス・フィルターやε−フィルタなどの非線形フィルタなどの平滑化フィルタを用いる必要がある。よって、例えば特許文献２に記載の技術を用いる場合には、画像における平滑化してはならない部分も平滑化してしまう恐れがある。
【００１６】
また、例えば非特許文献２に記載の技術に係る増分符号は、明度変動に対してロバストである。そのため、例えば非特許文献２に記載の技術に係る増分符号は、例えばＦＡ（Factory  Automation）分野におけるパターンマッチングにおいてよく用いられている。しかしながら、非特許文献２では、符号化ノイズを検出することについて、何らの考慮もなされていない。
【００１７】
上記のように、例えば、特許文献１に記載の技術や、特許文献２に記載の技術、非特許文献１に記載の技術、非特許文献２に記載の技術を用いたとしても、画像信号が示す画像において発生しうる、離散コサイン変換係数の量子化により生じる量子化誤差を、推定することができるとは限らない。
【００１８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明の第１の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するエッジ判定部と、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する増分符号算出部と、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定する量子化誤差推定部と、を備える画像処理装置が提供される。
【００２０】
かかる構成によって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【００２１】
また、上記量子化誤差推定部は、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、上記量子化誤差を推定してもよい。
【００２２】
また、上記量子化誤差推定部は、上記非線形最適化処理において、上記エッジ分割領域における水平方向および垂直方向それぞれに対応する離散コサイン変換係数の次数を設定してもよい。
【００２３】
また、上記量子化誤差推定部は、上記エッジ判定部において判定されたエッジの方向に基づいて、上記離散コサイン変換係数の次数を、上記判定されたエッジの方向に対応するように適応的に設定してもよい。
【００２４】
また、上記増分符号算出部は、上記増分符号を算出する算出部と、上記エッジ分割領域におけるエッジに対応する画素をマスキングするエッジ画素マスキング部と、を備え、上記量子化誤差推定部は、マスキングされた画素に対応する増分符号を、上記量子化誤差の推定に用いなくてもよい。
【００２５】
また、上記入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、上記入力画像信号のノイズを低減するノイズ低減部をさらに備えてもよい。
【００２６】
また、上記目的を達成するために、本発明の第２の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップと、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップと、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定するステップと、を有する画像処理方法が提供される。
【００２７】
かかる方法を用いることによって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【００２８】
また、上記目的を達成するために、本発明の第３の観点によれば、入力画像信号が示す離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像が、分割された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定するステップ、エッジを含むと判定された分割領域であるエッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出するステップ、上記エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を、上記エッジ分割領域ごとに推定するステップ、をコンピュータに実行させるためのプログラムが提供される。
【００２９】
かかるプログラムを用いることによって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【発明の効果】
【００３０】
本発明によれば、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】画像圧縮過程の概念を示す説明図である。
【図３】非圧縮画像（原画像）、観測画像、および符号化ノイズ成分の関係の一例を示す説明図である。
【図４】本発明の実施形態に係る増分符号算出部の構成の一例を示すブロック図である。
【図５】本発明の実施形態に係る入力画像信号が示す画像（観測画像）における増分符号の一例を示す説明図である。
【図６】本発明の実施形態に係る量子化誤差推定部における処理の一例を示すブロック図である。
【図７】本発明の実施形態に係るノイズ低減部の構成の一例を示す説明図である。
【図８】本発明の実施形態に係る画像処理装置におけるノイズ低減処理の効果の一例を示す説明図である。
【発明を実施するための形態】
【００３２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００３３】
（本発明の実施形態に係る画像処理方法）
本発明の実施形態に係る画像処理装置の構成について説明する前に、本発明の実施形態に係る画像処理方法について説明する。また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（処理対象の画像信号）に対して、本発明の実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００３４】
ここで、本発明の実施形態に係る入力画像信号としては、例えば、離散コサイン変換（ＤＣＴ）を含む符号化処理および量子化処理により非可逆圧縮された動画像（または、複数の静止画像）、または静止画像を示す画像信号（例えば、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像を示す画像信号）が挙げられる。以下では、本発明の実施形態に係る画像処理装置が、フレーム画像（静止画像）からなる動画像を示す画像信号を処理するものとして説明する。ここで、本発明の実施形態に係るフレーム画像とは、例えば、動画像の１フレーム（動画像がインタレース画像の場合には、１フィールドに対応する。）に対応する画像である。以下では、本発明の実施形態に係る画像処理装置が、時間順に１フレームずつ入力される画像信号を処理する場合を例に挙げて説明する。
【００３５】
また、本発明の実施形態に係る画像処理装置は、例えば、本発明の実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号を、入力画像信号として処理する。なお、本発明の実施形態に係る画像処理装置が処理する入力画像信号は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、ネットワークを介して（または直接的に）外部装置から送信された入力画像信号を処理することも可能である。また、本発明の実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、本発明の実施形態に係る画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を処理してもよい。さらに、本発明の実施形態に係る画像処理装置が、例えば、画像（動画像／静止画像）を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本発明の実施形態に係る画像処理装置が撮像装置として機能する場合には、本発明の実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を処理してもよい。
【００３６】
離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号（入力画像信号）を処理する再生側の装置では、一般的に、圧縮前の原画像が未知であることが多い。そこで、本発明の実施形態に係る画像処理装置は、符号化ノイズの発生要因として、下記に示す（Ｉ）、（ＩＩ）の２つの条件を前提条件として入力画像信号を処理することによって、符号化ノイズを検出する（より具体的には、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。）。
【００３７】
（Ｉ）エッジ強度の大きな画素（コントラストの大きな画素）がより大きな符号化ノイズを発生させる。
（ＩＩ）画像のテクスチャ部分における輝度の振幅は、エッジ部分における輝度振幅より小さいと仮定し、画像のテクスチャ部分から発生する符号化ノイズは小さい、または、無いとする。
【００３８】
より具体的には、本発明の実施形態に係る画像処理装置は、入力画像信号に基づいて、分割領域ごとにエッジを検出し、エッジを含む分割領域（以下、「エッジ分割領域」と示す。）を判定する（エッジ判定処理）。
【００３９】
ここで、本発明の実施形態に係る分割領域としては、例えば、８×８画素の矩形の領域や１６×１６画素の矩形の領域など、予め規定された大きさの領域が挙げられる。上記予め規定された大きさの領域は、例えば、本発明の実施形態に係る画像処理装置の用途（例えば、テレビジョン放送の再生や、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標）の再生など）に応じて、設定される。なお、本発明の実施形態に係る分割領域は、上記に限られない。例えば、本発明の実施形態に係る画像処理装置は、入力画像信号をデコードしたデコーダから、ブロック境界の情報（または、コーデックの情報）を取得する場合には、当該ブロック境界の情報が示すブロック境界に対応する領域を、分割領域としてもよい。また、本発明の実施形態に係る画像処理装置は、ビットストリームに基づいて分割領域を設定することも可能である。
【００４０】
また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する（増分符号算出処理）。ここで、本発明の実施形態に係る増分符号としては、例えば、隣接する２画素間の輝度値の差分値の正負に基づき値が設定されるバイナリ・ビットが挙げられる。本発明の実施形態に係る画像処理装置は、例えば、隣接する２画素間の輝度値の差分値を算出し、差分値が正の値のとき増分符号として“１”を設定し、また、差分値が負の値のとき増分符号として“０”を設定する。
【００４１】
なお、本発明の実施形態に係る増分符号は、上記のように“０”または“１”の二値で表されるバイナリ・ビットに限られない。例えば、本発明の実施形態に係る増分符号は、“−１”、“０”、“１”の三値で表されてもよい。三値で表される本発明の実施形態に係る増分符号の例については、後述する。
【００４２】
また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに算出された増分符号に基づいて、離散コサイン変換（ＤＣＴ）係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する（量子化誤差推定処理）。より具体的には、本発明の実施形態に係る画像処理装置は、例えば、算出された増分符号と、ＤＣＴ係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、エッジ分割領域ごとに量子化誤差を推定する。
【００４３】
ここで、入力画像信号が示す画像（以下、「観測画像」と示す場合がある。）に対応する増分符号と、ＤＣＴ係数の高周波領域の基底画像パターンに対する増分符号とは、エッジ分割領域内の平坦部分における輝度の振幅が小さい場合に類似度が高くなる。また、類似度が高い場合には、ＤＣＴ係数の量子化誤差成分の推定精度が高くなる。よって、本発明の実施形態に係る画像処理装置は、非線形最適化処理として、算出された増分符号と基底増分符号との差分の二乗和を最小化することによって、ＤＣＴ係数の量子化により生じる量子化誤差の推定精度を向上させる。なお、本発明の実施形態に係る画像処理装置における非線形最適化処理の一例については、後述する。
【００４４】
本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば上記のようなエッジ判定処理、増分符号算出処理、および量子化誤差推定処理、を行うことによって、入力画像信号（処理対象の画像信号）に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。
【００４５】
ここで、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとにＤＣＴ係数の量子化により生じる量子化誤差を推定する。よって、本発明の実施形態に係る画像処理装置は、局所的に（分割領域ごとに）ＤＣＴ係数の量子化により生じる量子化誤差を推定することができる。
【００４６】
また、本発明の実施形態に係る画像処理装置は、上記のように、エッジ分割領域ごとにＤＣＴ係数の量子化により生じる量子化誤差を推定する。よって、本発明の実施形態に係る量子化誤差の推定結果を用いることによって、平滑化処理を行わずにノイズを低減することができる。本発明の実施形態に係るノイズ低減処理については、後述する
【００４７】
なお、本発明の実施形態に係る画像処理方法に係る処理は、上記エッジ判定処理〜上記量子化誤差推定処理に限られない。例えば、本発明の実施形態に係る画像処理装置は、さらに、上記量子化誤差推定処理における量子化誤差の推定結果に基づいて、入力画像信号のノイズを低減してもよい（ノイズ低減処理）。本発明の実施形態に係る画像処理装置は、例えば、入力画像信号から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。
【００４８】
より具体的には、本発明の実施形態に係る画像処理装置は、推定された量子化誤差に基づいてノイズ画像を生成する。そして、本発明の実施形態に係る画像処理装置は、入力画像信号から、生成されたノイズ画像を示す信号を減算する。上記のように、入力画像信号（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号）から、本発明の実施形態に係る生成されたノイズ画像を示す信号を減算することによって、入力画像信号に含まれうるノイズが低減される。ここで、本発明の実施形態に係るノイズ低減処理は、圧縮前の原画像を推定する処理に相当する。
【００４９】
上記のように、本発明の実施形態に係るノイズ低減処理では、平滑化処理を行わずにノイズが低減される。よって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行うことによって、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴って生じうる副作用を回避することができる。
【００５０】
以下、本発明の実施形態に係る画像処理装置の構成の一例について説明をすると共に、本発明の実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００５１】
また、以下では、入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８）により符号化される画像信号、すなわち、８×８画素のブロックにて符号化される画像信号である場合を例に挙げて、本発明の実施形態に係る画像処理装置の構成の一例、および本発明の実施形態に係る画像処理方法に係る処理の具体例について説明する。なお、本発明の実施形態に係る入力画像信号が、ＭＰＥＧ−２（ＩＳＯ／ＩＥＣ  １３８１８）により符号化される画像信号に限られないことは、言うまでもない。
【００５２】
また、以下では、本発明の実施形態に係る画像処理装置が、入力画像信号（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像を示す画像信号）から生成したノイズ画像を示す信号を減算する、本発明の実施形態に係るノイズ低減処理を行う機能を有する場合を例に挙げて説明する。なお、本発明の実施形態に係る画像処理装置の構成は、本発明の実施形態に係るノイズ低減処理を行う機能を有する構成に限られない。例えば、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行う機能を有さずに、本発明の実施形態に係る量子化誤差の推定結果を示す信号（ノイズの検出結果を示す信号）、または、本発明の実施形態に係る量子化誤差の推定結果を示す信号と入力画像信号とを、本発明の実施形態に係るノイズ低減処理を行う機能を有する外部装置に送信してもよい。
【００５３】
（本発明の実施形態に係る画像処理装置）
図１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、分割領域設定部１０２と、エッジ判定部１０４と、増分符号算出部１０６と、量子化誤差推定部１０８と、ノイズ低減部１１０とを備える。
【００５４】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read  Only  Memory。図示せず）、ＲＡＭ（Random  Access  Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）、撮像部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
【００５５】
ここで、制御部（図示せず）は、例えば、ＣＰＵ（Central  Processing  Unit）や各種処理回路などで構成され、画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、分割領域設定部１０２、エッジ判定部１０４、増分符号算出部１０６、量子化誤差推定部１０８、およびノイズ低減部１１０（または、これらのうちの１または２以上の部）の役目を果たしてもよい。なお、分割領域設定部１０２、エッジ判定部１０４、増分符号算出部１０６、量子化誤差推定部１０８、およびノイズ低減部１１０は、各部の処理を実現可能な専用の（または汎用の）処理回路で構成されていてもよいことは、言うまでもない。
【００５６】
また、制御部（図示せず）は、例えば、ノイズ低減処理が行われた画像信号（以下、「出力画像信号」と示す。）をエンコードして、記憶部（図示せず）に記録する、および／または、出力画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、出力画像信号に対する処理を行う役目を果たしてもよい。
【００５７】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００５８】
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００５９】
操作部（図示せず）としては、例えば、ボタンや、方向キー、あるいは、これらの組み合わせなどが挙げられる。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することも可能である。
【００６０】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display；ＬＣＤ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００６１】
通信部（図示せず）は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本発明の実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００６２】
撮像部（図示せず）は、静止画像または動画像を撮像する役目を果たす。撮像部（図示せず）を備える場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された画像信号を処理することが可能である。
【００６３】
ここで、本発明の実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【００６４】
画像処理装置１００は、例えば図１の構成によって、入力される入力画像信号に基づいて処理を行い、入力画像信号に含まれるノイズが低減された出力画像信号を出力する。ここで、本発明の実施形態に係る入力画像信号は、例えばＪＰＥＧやＭＰＥＧなどのように、符号化処理過程にＤＣＴを含むコーデックによって圧縮された画像（離散コサイン変換を含む符号化処理および量子化処理により非可逆圧縮された画像）を示す。
【００６５】
図２は、画像圧縮過程の概念を示す説明図である。図２において、“Ｘ”は、圧縮前の原画像（非圧縮画像）のブロック分割画像を示し、“Ｘ’”は、圧縮後のブロック分割画像（観測画像）を示している。また、図２において“Ｃ”は、ＤＣＴ係数を示し、“ＣＱ”は、量子化されたＤＣＴ係数、“Ｑ（）”は、量子化関数を示している。ここで、量子化とは、ＤＣＴ係数に対して情報量を削減するために行われる処理である。また、図２に示すエントロピー符号化、およびエントロピー復号化は、多値データを２値データに変換、逆変換する可逆的な処理である。また、図２に示す“Ｃ’”は、逆量子化されたＤＣＴ係数を示しており、“Ｑ−１（）”は、逆量子化関数を示している。また、図２に示す“Ｎ”は、符号化ノイズ成分を示している。
【００６６】
画像処理装置１００は、原画像が未知である状態において、ＤＣＴ係数の量子化により生じる量子化誤差を推定することにより符号化ノイズ成分“Ｎ”を推定して、推定された符号化ノイズ成分（検出された符号化ノイズ）を低減する。
【００６７】
ここで、図２に示す“Ｃ’”のｉ，ｊ成分“ｃ’ｉｊ”は、例えば下記の数式１で表される。数式１に示す“ｃｉｊ”は、圧縮する前のＤＣＴ係数のｉ，ｊ成分であり、数式１に示す“Δｉｊ”は、基本量子化マトリクスＱのｉ，ｊ成分である。また、数式１に示す“ＱＳ”は、量子化スケールである。
【００６８】
【数１】
2013150066.tif 000003
・・・（数式１）
【００６９】
画像処理装置１００が推定する対象の量子化誤差は、図２に示す“Ｃ’”のｉ，ｊ成分“ｃ’ｉｊ”と、圧縮する前のＤＣＴ係数のｉ，ｊ成分“ｃｉｊ”との差であり、例えば下記の数式２で表される。数式２に示す量子化誤差“ｃｎｉｊ”が、図２に示すノイズ成分Ｎの原因となる。
【００７０】
【数２】
2013150066.tif 000004
・・・（数式２）
【００７１】
また、図２に示す“Ｘ”（非圧縮画像）、“Ｘ’”（観測画像）、および“Ｎ”（符号化ノイズ成分）の関係は、例えば下記の数式３で表される。
【００７２】
【数３】
2013150066.tif 000005
・・・（数式３）
【００７３】
図３は、非圧縮画像（原画像）、観測画像、および符号化ノイズ成分の関係の一例を示す説明図である。ここで、図３に示すＡは、観測画像を示しており、また、図３に示すＢは、非圧縮画像（原画像）、図３に示すＣは、符号化ノイズ成分をそれぞれ示している。また、図３は、原画像が、輝度が階段状（ステップ状）に変化するエッジである、ステップエッジを示す場合における例を示している。
【００７４】
例えば図３に示すように、非圧縮画像（原画像）、観測画像、および符号化ノイズ成分は、上記数式１の関係を有する。
【００７５】
以下、図１に示す画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００７６】
分割領域設定部１０２は、入力画像信号に基づいて、入力画像信号が示す画像に対して分割領域を設定する。
【００７７】
エッジ判定部１０４は、本発明の実施形態に係る画像処理方法に係る上記エッジ判定処理を主導的に行う役目を果たし、設定された分割領域ごとに、分割領域が示す画像がエッジを含むか否かを判定する。エッジ判定部１０４は、例えば、判別分析法（大津の２値化）を用いて、分割領域に対応する画像内の輝度ヒストグラムが特定の２つの値に集中していることを調べることによって、例えばステップエッジやラインエッジなどのエッジを含むか否かを判定する。ここで、ラインエッジとは、例えば、輝度の変化がパルス状となるエッジである。
【００７８】
なお、本発明の実施形態に係るエッジ判定部１０４における処理は、上記に限られない。例えば、エッジ判定部１０４は、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮して、エッジを含むか否かを判定してもよい。隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４では、例えば、分割領域に対応する画像が市松模様を示す場合において、当該分割領域がエッジを含む分割領域であると誤判定することを防止することが可能となる。つまり、隣接画素間の微分値と、当該微分値の空間的な連続性とをさらに考慮することによって、エッジ判定部１０４は、エッジの検出精度をさらに向上させることができる。
【００７９】
また、エッジ判定部１０４は、設定された分割領域ごとに、文字領域（例えば、テロップを含む領域）をさらに検出する機能を有していてもよい。ここで、例えば、放送に係る画像では、文字のまわりにモスキートノイズが目立つことが多い。また、文字を構成するエッジはステップエッジであることが多く、文字内部の輝度分布は平坦かグラデーションであることが多い。よって、例えば、エッジ判定部１０４が文字領域をさらに検出する機能を有する場合には、エッジの検出精度をさらに向上させることができる。
【００８０】
画像処理装置１００では、後述する増分符号算出部１０６、量子化誤差推定部１０８において、エッジ分割領域に対して処理が行われる。よって、例えば上記のように、エッジ判定部１０４がエッジの検出精度をさらに向上させることによって、画像処理装置１００は、量子化誤差の推定精度をさらに向上させることができる。
【００８１】
増分符号算出部１０６は、本発明の実施形態に係る画像処理方法に係る上記増分符号算出処理を主導的に行う役目を果たし、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。
【００８２】
図４は、本発明の実施形態に係る増分符号算出部１０６の構成の一例を示すブロック図である。増分符号算出部１０６は、例えば、算出部１１２と、エッジ画素マスキング部１１４とを備える。
【００８３】
算出部１１２は、エッジ分割領域ごとに、増分符号を算出する。より具体的には、算出部１１２は、例えば下記の数式４、数式５に示す演算を行うことによって、増分符号を算出する。ここで、数式４に示す“Ｉ（ｘ，ｙ）”は、画素の位置（ｘ，ｙ）における輝度値であり、数式４に示す“δ（ｘ，ｙ）”は、隣接する２画素間の輝度値の差分を示している。また、数式５に示す“ＩＳ（ｘ，ｙ）”は、増分符号を示している。
【００８４】
【数４】
2013150066.tif 000006
・・・（数式４）
【数５】
2013150066.tif 000007
・・・（数式５）
【００８５】
算出部１１２は、エッジ分割領域ごとに、エッジ分割領域内の画素について上記数式４、数式５の演算を行うことによって増分符号を算出する。
【００８６】
エッジ画素マスキング部１１４は、エッジ分割領域におけるエッジに対応する画素をマスキングする。より具体的には、エッジ画素マスキング部１１４は、コントラストの大きいエッジ画素をマスキングし、マスキングされた画素が後述する量子化誤差推定部１０８における処理に用いられないようにする。ここで、本発明の実施形態に係るマスキングとは、例えば、該当する画素を量子化誤差推定部１０８が処理に用いることができない状態にすることをいう。エッジ画素マスキング部１１４は、量子化誤差推定部１０８が処理に用いられない状態にすることができれば、任意の方法を用いてマスキングを行うことが可能である。
【００８７】
ここで、エッジ部分の画素については、観測画像に対応する増分符号（算出された増分符号）と、ＤＣＴ係数の量子化によって生じるＤＣＴ基底ノイズパターンとの類似度が低くなる可能性がある（後述する）。また、上記類似度が低くなると、後述する量子化誤差推定部１０８における非線形最適化処理に係る演算において、解が収束しないことも起こる可能性はある。
【００８８】
そこで、画像処理装置１００は、エッジ画素マスキング部１１４を備え、エッジに対応する画素をマスキングすることによって、上記解が収束しないことが生じる可能性を低減する。より具体的には、エッジ画素マスキング部１１４は、エッジ分割領域内の画素のうち、上記数式４に示す“δ（ｘ，ｙ）”の絶対値が所定の閾値以上の画素（または、所定の閾値よりも大きい画素）を、エッジ画素と判定して、当該エッジ画素をマスキングする。ここで、上記所定の閾値は、例えば、“δ（ｘ，ｙ）”の絶対値の分布に対して大津の２値化などの手法を用いることによって、設定することができる。なお、本発明の実施形態に係る上記所定の閾値の設定方法が、上記に限られないことは、言うまでもない。
【００８９】
なお、上記数式５では、本発明の実施形態に係る増分符号が“０”または“１”の二値で表される例を示しているが、上述したように、本発明の実施形態に係る増分符号は、“０”または“１”の二値に限られない。例えば、増分符号算出部１０６（より厳密には、算出部１１２）は、例えば下記の数式６、数式７に示す演算を行うことによって、“−１”、“０”、“１”の三値で表される増分符号を算出することも可能である。
【００９０】
【数６】
2013150066.tif 000008
・・・（数式６）
【数７】
2013150066.tif 000009
・・・（数式７）
【００９１】
ここで、数式６に示す“Ｉ（ｘ，ｙ）”は、画素の位置（ｘ，ｙ）における輝度値であり、数式６に示す“δ（ｘ，ｙ）”は、隣接する２画素間の輝度値の差分を示している。また、数式７に示す“ＩＳ（ｘ，ｙ）”は、増分符号を示している。また、数式７に示す“Ｔｆ”は、輝度変化の少ない画素を判別するための閾値を示し、数式７に示す“Ｔｍ”は、エッジ画素を判別するための閾値を示している。ここで、上記閾値“Ｔｍ”は、例えば、“δ（ｘ，ｙ）”の絶対値の分布に対して大津の２値化などの手法を用いることによって、設定される。また、上記閾値“Ｔｆ”は、例えば、予め設定されている固定値であってもよいし、ユーザにより変更可能の可変値であってもよい。なお、本発明の実施形態に係る上記閾値“Ｔｆ”、“Ｔｍ”の設定方法が、上記に限られないことは、言うまでもない。
【００９２】
算出部１１２が上記数式６、数式７により増分符号を算出する場合、エッジ画素マスキング部１１４は、例えば、“δ（ｘ，ｙ）”の絶対値が“Ｔｍ”より大きい場合（または、“δ（ｘ，ｙ）”の絶対値が“Ｔｍ”以上の場合）には、“δ（ｘ，ｙ）”に対応する画素をエッジ画素と判定して、当該エッジ画素をマスキングする。
【００９３】
また、上記数式４、数式６では、増分符号算出部１０６（より厳密には、算出部１１２）が、水平方向に隣接する画素間の輝度値の差分に基づいて増分符号を算出する例を示しているが、本発明の実施形態に係る増分符号算出処理は、上記に限られない。例えば、増分符号算出部１０６は、垂直方向に隣接する画素間の輝度値の差分に基づいて増分符号を算出することも可能である。
【００９４】
増分符号算出部１０６は、例えば図４に示す構成によって、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。
【００９５】
なお、本発明の実施形態に係る増分符号算出部１０６の構成は、図４に示す構成に限られない。例えば、増分符号算出部１０６は、図４に示すエッジ画素マスキング部１１４を備えない構成をとることも可能である。増分符号算出部１０６が上記構成をとる場合であっても、本発明の実施形態に係る画像処理装置１００は、上述した本発明の実施形態に係る画像処理方法に係る処理を実現することが可能である。よって、増分符号算出部１０６が上記構成をとる場合であっても、本発明の実施形態に係る画像処理装置１００は、処理対象の画像信号に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を推定することができる。以下では、増分符号算出部１０６が、上述した図４に示す構成である場合を例に挙げて説明する。
【００９６】
また、本発明の実施形態に係る画像処理装置１００は、図４に示すエッジ画素マスキング部１１４を、増分符号算出部１０６と別体の構成要素として備えていてもよい。また、本発明の実施形態に係る画像処理装置１００は、図４に示すエッジ画素マスキング部１１４を、図４に示すエッジ画素マスキング部１１４の前段に備える構成をとることも可能である。
【００９７】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。量子化誤差推定部１０８は、本発明の実施形態に係る画像処理方法に係る上記量子化誤差推定処理を主導的に行う役目を果たし、増分符号算出部１０６においてエッジ分割領域ごとに算出された増分符号に基づいて、ＤＣＴ係数の量子化により生じる量子化誤差を、エッジ分割領域ごとに推定する。より具体的には、量子化誤差推定部１０８は、例えば、増分符号算出部１０６において算出された増分符号と、ＤＣＴ係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、量子化誤差を推定する。
【００９８】
ここで、まず、ＤＣＴ係数の量子化誤差を推定するための原理について説明する。
【００９９】
一般的な傾向として、エッジ部分における“Ｘ’”（観測画像）の増分符号と、“Ｎ”（符号化ノイズ成分）の増分符号（例えば、ＤＣＴ係数の高周波成分の基底パターンから算出される増分符号。以下、「基底増分符号」と示す。）とは、異なることが多い。これは、ノイズ振幅よりもエッジコントラストの方が大きいため、エッジ部分にノイズが重畳しても隣接画素間の増分符号が変化しないためである。
【０１００】
そこで、本発明の実施形態では、エッジ近傍の非エッジ部分（例えば、平坦部分や微小振幅テクスチャ部分）において下記の数式８が成立するものとする。ここで、数式８に示す“ＩＳ（Ｘ’）”は、観測画像の増分符号パターン、すなわち、算出された増分符号のパターンを示し、数式８に示す“ＩＳ（Ｘ＋Ｎ）”は、原画像に符号化ノイズ成分を加えた画像に対応する増分符号パターンを示している。また、数式８に示す“ＩＳ（Ｎ）”は、符号化ノイズ成分に対応する増分符号パターンを示す。
【０１０１】
【数８】
2013150066.tif 000010
・・・（数式８）
【０１０２】
また、数式８より下記の数式９が成立する。ここで、数式９は、例えば文字などコントラストの強いエッジの近傍部分（平坦部分）において、観測画像“Ｘ’”の増分符号パターンＩＳ（Ｘ’）と、真のノイズ成分“Ｎ”（未知）の増分符号パターンＩＳ（Ｎ）とが類似していることを意味する。
【０１０３】
【数９】
2013150066.tif 000011
・・・（数式９）
【０１０４】
図５は、本発明の実施形態に係る入力画像信号が示す画像（観測画像）における増分符号の一例を示す説明図である。図５は、上記数式３の関係の具体例を示している。ここで、図５に示すＡは、原画像の一例を示している。また、図５に示すＢは、図５のＡに示す原画像に対応する圧縮画像Ｘ’の一例を示し、図５に示すＣは、図５のＢに示す圧縮画像Ｘ’に対応する増分符号を示している。また、図５に示すＤは、符号化ノイズ成分Ｎが示す画像の一例を示し、図５に示すＥは、図５のＤに示す符号化ノイズ成分Ｎが示す画像に対応する増分符号を示している。また、図５のＢ〜Ｅの各図に示す数値は、エッジ分割領域内の各画素の輝度値を示している。
【０１０５】
例えば図５のＢに示すように、エッジ分割領域においてエッジ画素と判定された画素は、エッジ画素マスキング部１１４によりマスキングされる。また、図５のＢに示すように、エッジ分割領域には、例えば隣接する画素間の輝度値の差分を算出できないことに起因して、計算対象外部分が生じる。
【０１０６】
また、図５のＣ、Ｅに示す異符号部分は、図５のＣに示す増分符号と図５のＥに示す増分符号とが相違する部分を示している。例えば、図５のＣ、Ｅの異符号部分と、図５のＢに示すマスク部分とを比較すると明らかなように、図５のＣに示す増分符号と図５のＥに示す増分符号とが相違する異符号部分は、エッジ画素と一致することが多い。そこで、図５のＣ、Ｅに示すような異符号部分の影響を除外するために、画像処理装置１００は、エッジ画素マスキング部１１４において、エッジ画素と判定された画素をマスキングする。エッジ画素がマスキングがされることによって、画像処理装置１００は、上記数式９に示す関係を、より等しい状態に近づけることができる。
【０１０７】
量子化誤差推定部１０８は、上記数式３の性質、および上記数式９を用いて、例えば、真のノイズ成分“Ｎ”に対応するノイズ成分のＤＣＴ係数“Ｃ＾”を推定する。真のノイズ成分“Ｎ”に対応するＤＣＴ係数“Ｃ＾”が推定されることによって、真のノイズ成分“Ｎ”に対応する推定ノイズ成分“Ｎ＾”を推定することが可能となる。
【０１０８】
図６は、本発明の実施形態に係る量子化誤差推定部１０８における処理の一例を示すブロック図である。ここで、図６に示す“ＩＳ”は、増分符号演算を示し、図５に示す“ＩＤＣＴ”は、逆離散コサイン変換を示している。また、図６のＡに示す“ＩＳ（Ｘ’）”は、増分符号算出部１０６から伝達される観測画像“Ｘ’”の増分符号パターンを示しており、図６のＢに示す“Ｃ＾”は、ノイズ成分のＤＣＴ係数を示している。量子化誤差推定部１０８は、例えば、“Ｃ＾”の値として初期値を設定する。なお、“Ｃ＾”の値は適宜更新されていくので、例えば初期値は任意の値であってもよい。また、量子化誤差推定部１０８は、例えば、“Ｎ＾”の値を初期値に設定して処理を行ってもよい。
【０１０９】
量子化誤差推定部１０８は、例えば下記の数式１０で表される評価関数を最適化（Optimization）することにより、ノイズ成分のＤＣＴ係数“Ｃ＾”を推定する。真のノイズ成分“Ｎ”に対応するＤＣＴ係数“Ｃ＾”が推定されれば、真のノイズ成分“Ｎ”に対応する推定ノイズ成分“Ｎ＾”が推定されることとなる。
【０１１０】
【数１０】
2013150066.tif 000012
・・・（数式１０）
【０１１１】
ここで、後述するように、量子化誤差推定部１０８は、非線形関数であるｓｉｇｎ関数を用いて増分符号“ＩＳ（Ｎ＾）”を算出するので、上記数式１０の最適化には、例えばシンプレックス（Simplex）法などの非線形最適化手法を用いる。以下、数式１０を最適化するための処理の一例について、より具体的に示す。
【０１１２】
ＤＣＴの定式に基づくことにより、推定される符号化ノイズ成分“Ｎ＾”は、例えば下記の数式１１で表される。ここで、数式６に示す“Ｂｍｎ”は、次数ｍｎのＤＣＴ基底画像を示す。また、数式６に示す“Ｃｍｎ”は、次数ｍｎのＤＣＴ係数であり、数式６の最適化によって推定すべき変数である。
【０１１３】
【数１１】
2013150066.tif 000013
・・・（数式１１）
【０１１４】
また、符号化ノイズ成分Ｎ＾が示す画像（以下、「ノイズ画像Ｎ＾」と示す場合がある。）の位置(ｉ，ｊ)における画素値は、例えば下記の数式１２で表される。
【０１１５】
【数１２】
2013150066.tif 000014
・・・（数式１２）
【０１１６】
また、上記数式１２が示す画素値に対応する増分符号は、例えば下記の数式１３で算出される。
【０１１７】
【数１３】
2013150066.tif 000015
・・・（数式１３）
【０１１８】
ここで、ＤＣＴ係数の量子化誤差によって、例えばモスキートノイズなどの符号化ノイズを発生させる周波数帯域を下記の数式１４で定義する。ここで、数式１４は、量子化誤差推定部１０８が、ＤＣＴ係数の垂直方向、および水平方向ともに次数４以上のＤＣＴ係数を用いることを表している。
【０１１９】
【数１４】
2013150066.tif 000016
・・・（数式１４）
【０１２０】
数式１４に示すように、量子化誤差推定部１０８は、非線形最適化処理において、エッジ分割領域における水平方向および垂直方向それぞれに対応するＤＣＴ係数の次数を設定する。
【０１２１】
なお、上記数式１４では、ＤＣＴ係数の垂直方向、および水平方向ともに次数４以上のＤＣＴ係数を用いることを示しているが、本発明の実施形態に係る量子化誤差推定部１０８が行う、符号化ノイズを発生させる周波数帯域の定義は、上記に限られない。例えば、変換符号化を行う分割領域内に垂直方向に伸びる強いエッジが存在する場合には、モスキートノイズは当該エッジに沿って強く表れる傾向があり、その場合には、数式１４に示すｍの広い範囲で量子化誤差が発生することが起こりうる。また、例えば、変換符号化を行う分割領域内に水平方向に伸びる強いエッジが存在する場合には、数式１４に示すｎの広い範囲で量子化誤差が発生することが起こりうる。
【０１２２】
よって、量子化誤差推定部１０８は、例えば、エッジ判定部１０４において判定されたエッジの方向に基づいて、ＤＣＴ係数の次数を、判定されたエッジの方向に対応するように適応的に設定してもよい。ＤＣＴ係数の次数が適応的に設定された例としては、例えば下記の数式１５、数式１６が挙げられる。ここで、数式１５は、垂直方向にエッジが検出された場合において設定されるＤＣＴ係数の次数の一例を示し、また、数式１５は、水平方向にエッジが検出された場合において設定されるＤＣＴ係数の次数の一例を示している。
【０１２３】
【数１５】
2013150066.tif 000017
・・・（数式１５）
【数１６】
2013150066.tif 000018
・・・（数式１６）
【０１２４】
上記のように、ＤＣＴ係数の次数を判定されたエッジの方向に対応するように適応的に設定することによって、量子化誤差推定部１０８は、モスキートノイズなどの符号化ノイズを発生させるＤＣＴ係数の量子化誤差を効率的に推定することができる。
【０１２５】
以下では、量子化誤差推定部１０８が、上記数式１４に示すように、エッジ分割領域における水平方向および垂直方向それぞれに対応するＤＣＴ係数の次数を設定する場合を例に挙げて、量子化誤差推定部１０８における量子化誤差推定処理の一例について説明する。
【０１２６】
数式１４より、数式１３は、例えば下記の数式１７で表される。
【０１２７】
【数１７】
2013150066.tif 000019
・・・（数式１７）
【０１２８】
以下では、説明の便宜上、数式１７をベクトル形式で表現する。まず、推定すべき未知ベクトルは、例えば下記の数式１８で表される。
【０１２９】
【数１８】
2013150066.tif 000020
・・・（数式１８）
【０１３０】
次に、係数ベクトルを、下記の数式１９のように定義する。
【０１３１】
【数１９】
2013150066.tif 000021
・・・（数式１９）
【０１３２】
上記数式１８、上記数式１９より、上記数式１７は、例えば下記の数式２０で表される。
【０１３３】
【数２０】
2013150066.tif 000022
・・・（数式２０）
【０１３４】
また、上記数式９より、増分符号“ＩＳ（Ｎ＾）”と増分符号“ＩＳ（Ｘ’）”との関係は、下記の数式２１で表される。
【０１３５】
【数２１】
2013150066.tif 000023
・・・（数式２１）
【０１３６】
よって、上記数式２０は、上記数式２１より下記の数式２２で表すことができる。
【０１３７】
【数２２】
2013150066.tif 000024
・・・（数式２２）
【０１３８】
エッジ分割領域における上記数式２２が成立する領域（エッジ近傍の平坦に近い領域）を“ＸＰ”とすると、“ＸＰ”の画素数|ＸＰ|の数分、上記数式２２の値が得られる（|ＸＰ|＜６４（例えば、分割領域が８×８画素のサイズの場合））。ここで、下記の数式２３、数式２４のように定義し、上記数式２２の|ＸＰ|個の方程式を一つの行列ベクトル方程式とすると、当該行列ベクトル方程式は、下記の数式２５で表される。
【０１３９】
【数２３】
2013150066.tif 000025
・・・（数式２３）
【数２４】
2013150066.tif 000026
・・・（数式２４）
【数２５】
2013150066.tif 000027
・・・（数式２５）
【０１４０】
数式２５を用いると、最適化すべき評価関数Ｊは、例えば下記の数式２６で表される。
【０１４１】
【数２６】
2013150066.tif 000028
・・・（数式２６）
【０１４２】
評価関数Ｊを微分することができる場合には、例えば通常の最小二乗法を用いて評価関数の最適化を行うことが可能である。ここで、数式２６に示す評価関数Ｊは、ｓｉｇｎ関数を含むので微分することができない。そこで、量子化誤差推定部１０８は、例えばシンプレックス法などを用いて、評価関数Ｊの最適化を行う。
【０１４３】
ここで、量子化誤差推定部１０８は、数式２６に示す演算を反復して行うので、数式２６に示す“ｙ”に初期値を設定する。量子化誤差推定部１０８は、例えば、入力画像信号が示す画像（観測画像）Ｘに対して平滑化を行い、入力画像信号から平滑化後の画像に対応する信号を減算したものを上記数式１１の“Ｎ＾”とすることによって、ｙの初期値、すなわち数式１１に示す“Ｃｍｎ”を設定する。なお、本発明の実施形態に係る量子化誤差推定部１０８における数式２６に示す“ｙ”の初期値の設定方法が、上記に限られないことは、言うまでもない。
【０１４４】
量子化誤差推定部１０８は、上記数式２６に示す評価関数Ｊの最適化によって“ｙ”を求める。ここで、最適化により求められた“ｙ”は、上記数式１１の“Ｃｍｎ”、すなわち、推定すべき変数であるＤＣＴ係数に該当する。また、“Ｃｍｎ”が求められれば、上記数式１１によって符号化ノイズ成分“Ｎ＾”が算出される。
【０１４５】
よって、量子化誤差推定部１０８は、例えば上記のように、上記数式２６に示す評価関数Ｊを最適化してＤＣＴ係数“Ｃｍｎ”を推定することによって、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。
【０１４６】
なお、本発明の実施形態に係る量子化誤差推定部１０８の推定結果は、上記ＤＣＴ係数に限られない。例えば、量子化誤差推定部１０８は、上記数式１１に示す演算を行うことによって、符号化ノイズ成分“Ｎ＾”を、ＤＣＴ係数の量子化により生じる量子化誤差として推定してもよい。以下では、量子化誤差推定部１０８が、ＤＣＴ係数の量子化により生じる量子化誤差として、ＤＣＴ係数“Ｃｍｎ”を推定する場合を例に挙げて説明する。
【０１４７】
再度図１を参照して、本発明の実施形態に係る画像処理装置１００の構成の一例について説明する。ノイズ低減部１１０は、本発明の実施形態に係る画像処理方法に係る上記ノイズ低減処理を主導的に行う役目を果たし、入力画像信号から、量子化誤差推定部１０８において推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。
【０１４８】
図７は、本発明の実施形態に係るノイズ低減部１１０の構成の一例を示す説明図である。ノイズ低減部１１０は、例えば、ノイズ画像生成部１１６と、ノイズ減算部１１８とを備える。
【０１４９】
ノイズ画像生成部１１６は、量子化誤差推定部１０８において推定された量子化誤差に基づいて、ノイズ画像を生成する。より具体的には、ノイズ画像生成部１１６は、量子化誤差推定部１０８において推定された量子化誤差に該当する“Ｃｍｎ”に基づいて上記数式１１の演算を行うことによって符号化ノイズ成分を算出し、当該符号化ノイズ成分を合成してノイズ画像を生成する。ここで、ノイズ画像生成部１１６における処理は、量子化誤差推定部１０８において推定されたＤＣＴ係数をＩＤＣＴすることによって、空間領域のノイズ画像を求めることに相当する。
【０１５０】
ノイズ減算部１１８は、入力画像信号から、ノイズ画像生成部１１０から伝達されるノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。また、ノイズ減算部１１８が、入力画像信号からノイズ画像を示す信号を減算することによって、画像処理装置１００は、原画像を推定することができる。
【０１５１】
ノイズ低減部１１０は、例えば、ノイズ画像生成部１１６とノイズ減算部１１８とを備えることによって、入力画像信号のノイズを低減する。
【０１５２】
ここで、２次元画像の場合、従来の平滑化手法を用いるときには、テクスチャが失われる可能性があるが、ノイズ低減部１１０（より厳密には、ノイズ減算部１１８）は、平滑化処理を行わずにノイズを低減するので、テクスチャが失われるなどのノイズ低減処理に起因する副作用は原理的に発生しない。よって、ノイズ低減部１１０は、ノイズ低減処理に起因する画質の低下を防止しつつ、例えばモスキートノイズなどのような符号化ノイズを低減することができる。
【０１５３】
なお、本発明の実施形態に係るノイズ低減部１１０の構成は、図７に示す構成に限られない。例えば、量子化誤差推定部１０８が、符号化ノイズ成分“Ｎ＾”をＤＣＴ係数の量子化により生じる量子化誤差として推定する場合には、ノイズ低減部１１０は、ノイズ画像生成部１１６を備えていなくてもよい。
【０１５４】
画像処理装置１００は、例えば、図１に示す構成によって、本発明の実施形態に係る画像処理方法に係る処理（例えば、エッジ判定処理、増分符号算出処理、量子化誤差推定処理、およびノイズ低減処理）を実現する。ここで、画像処理装置１００は、観測画像の空間周波数などからノイズらしい成分を推定する従来技術に係る手法に対して、上述したように、観測画像の増分符号パターンと類似した増分符号パターンを数するＤＣＴ基底画像を非線形最適化処理によって推定し、モスキートノイズなどの符号化ノイズを低減する。
【０１５５】
図８は、本発明の実施形態に係る画像処理装置１００におけるノイズ低減処理の効果の一例を示す説明図である。ここで、図８に示すＡは、入力画像信号が示す画像（観測画像）を示しており、圧縮前の原画像を圧縮した画像に、符号化ノイズが重畳された画像の一例を示している。また、図８に示すＢは、本発明の実施形態に係る画像処理方法に係る処理によって、図８のＡに示す画像に含まれる符号化ノイズが低減された画像の一例を示している。また、図８に示すＣは、図８のＡに示す画像を示す信号から図８のＢに示す画像を示す信号を減算した結果得られるノイズ画像、すなわち、本発明の実施形態に係る画像処理方法に係る処理によって推定される符号化ノイズ成分に対応する画像の一例を示している。
【０１５６】
図８のＢに示すように、画像処理装置１００は、本発明の実施形態に係る画像処理方法に係る処理を行うことによって、符号化ノイズ量を推定し、平滑化処理をすることなく低減することができる。また、図８のＣには、ＤＣＴの高周波成分の基底パターンが現れていることから、画像処理装置１００が、本発明の実施形態に係る画像処理方法に係る処理によって、ＤＣＴ量子化誤差を直接推定していることが分かる。
【０１５７】
なお、本発明の実施形態に係る画像処理装置の構成は、図１に示す構成に限られない。例えば、図１では、本発明の実施形態に係る画像処理装置が分割領域設定部１０２を備える構成を示しているが、本発明の実施形態に係る画像処理装置は、分割領域設定部１０２を備えず、エッジ判定部１０４が分割領域設定部１０２の機能をさらに有していてもよい。
【０１５８】
以上のように、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、例えば、エッジ判定処理、増分符号算出処理、および量子化誤差推定処理、を行う。ここで、本発明の実施形態に係る画像処理装置は、入力画像信号（処理対象の画像信号）に基づいてエッジ分割領域を判定し、エッジ分割領域ごとに、隣接する画素間の輝度値の差分に基づいて増分符号を算出する。また、本発明の実施形態に係る画像処理装置は、例えば、算出された増分符号と、離散コサイン変換係数の高周波成分の基底パターンから算出される基底増分符号との差分の二乗和を非線形最適化処理することによって、エッジ分割領域ごとに、ＤＣＴ係数の量子化により生じる量子化誤差を推定する。
【０１５９】
したがって、本発明の実施形態に係る画像処理装置は、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【０１６０】
また、本発明の実施形態に係る画像処理装置は、エッジ分割領域ごとに離散コサイン変換係数の量子化により生じる量子化誤差を推定することが可能であるので、局所的に（分割領域ごとに）量子化誤差を推定することができる。
【０１６１】
また、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係る画像処理方法に係る処理として、さらにノイズ低減処理を行ってもよい。ここで、本発明の実施形態に係る画像処理装置は、入力画像信号（処理対象の画像信号）から、推定された量子化誤差に基づくノイズ画像を示す信号を減算して、入力画像信号のノイズを低減する。つまり、本発明の実施形態に係る画像処理装置は、平滑化処理を行わずにノイズを低減する。よって、本発明の実施形態に係る画像処理装置は、例えば画像のディティールが損われるなどのような、ノイズを低減する処理に伴って生じうる副作用を回避することができる。
【０１６２】
したがって、本発明の実施形態に係る画像処理装置は、本発明の実施形態に係るノイズ低減処理を行うことによって、符号化ノイズ（離散コサイン変換係数の量子化により生じる量子化誤差）を低減しつつ、処理後の画像における画質の低下を防止することができる。
【０１６３】
以上、本発明の実施形態として画像処理装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣやサーバなどのコンピュータ、テレビ受像機などの表示装置、携帯電話やスマートフォンなどの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機など、画像信号の処理が可能な様々な機器に適用することができる。また、本発明の実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１６４】
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（例えば、エッジ判定処理、増分符号算出処理、および量子化誤差推定処理など、本発明の実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号に基づいて、離散コサイン変換係数の量子化により生じる量子化誤差を推定することができる。
【０１６５】
また、コンピュータを、図１に示すノイズ低減部１１０を備える画像処理装置として機能させるためのプログラム（例えば、さらにノイズ低減処理を実行することが可能なプログラム）によって、符号化ノイズ（離散コサイン変換係数の量子化により生じる量子化誤差）を低減しつつ、処理後の画像における画質の低下を防止することができる。
【０１６６】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１６７】
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【符号の説明】
【０１６８】
１００    画像処理装置
１０２    分割領域設定部
１０４    エッジ判定部
１０６    増分符号算出部
１０８    量子化誤差推定部
１１０    ノイズ低減部
１１２    算出部
１１４    エッジ画素マスキング部
１１６    ノイズ画像生成部
１１８    ノイズ減算部
【図１】
2013150066.tif 000029
【図２】
2013150066.tif 000030
【図３】
2013150066.tif 000031
【図４】
2013150066.tif 000032
【図６】
2013150066.tif 000033
【図７】
2013150066.tif 000034
【図５】
2013150066.tif 000035
【図８】
2013150066.tif 000036