(57)【要約】【課題】符号化や電子透し等のメディア処理を施した場合に、処理後の画像における元画像に対する品質劣化について、人間の感覚にあった評価をできるうにする。【解決手段】画像（オリジナル画像）および該オリジナル画像にメディア処理を施した画像（メディア処理後画像）を入力する画像入力手段１０１、前記入力されたオリジナル画像およびメディア処理後画像を蓄積する画像蓄積手段１０２、前記メディア処理後画像を前記オリジナル画像と比較した際の品質劣化度合いを、人間の空間知覚特性に基づいて計算する品質計算手段１０７、前記品質計算手段で得られた計算結果を出力する出力手段１０６を備える。【選択図】        図１
2004348293.tif 000002
【特許請求の範囲】
【請求項１】
画像（以下、オリジナル画像）および該オリジナル画像にメディア処理を施した画像（以下、メディア処理後画像）を入力する画像入力手段と、
前記入力されたオリジナル画像およびメディア処理後画像を蓄積する画像蓄積手段と、
前記メディア処理後画像を前記オリジナル画像と比較した際の品質劣化度合いを、人間の空間知覚特性に基づいて計算する品質計算手段と、
前記品質計算手段で得られた計算結果を出力する出力手段と、
を有することを特徴とする画像品質計算装置。
【請求項２】
請求項１に記載の画像品質計算装置において、品質計算手段は、オリジナル画像およびメディア処理後画像のそれぞれについて、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換し、該空間的な粗密情報に対して人間の知覚特性に基づく処理を行い、該処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換する手段と、前記逆変換された情報に基づき、前記メディア処理後画像の品質劣化度合いを計算する手段とからなることを特徴とする画像品質計算装置。
【請求項３】
請求項２記載の画像品質計算装置において、空間的な粗密情報に対して人間の知覚特性に基づく処理では、画像の周波数帯域に応じて所定の帯域幅の周波数部分のみを抽出することを特徴とする画像品質計算装置。
【請求項４】
請求項２もしくは３記載の画像品質計算装置において、逆変換されたオリジナル画像およびメディア処理後画像の情報について、人間の空間周波数特性に応じたフィルタリング処理を行って、メディア処理後画像の品質劣化度合いを計算することを特徴とする画像品質計算装置。
【請求項５】
画像の品質を計算する方法であって、
画像（以下、オリジナル画像）を入力するステップと、前記オリジナル画像に対して、メディア処理を施した画像（以下、メディア処理後画像）を入力するステップと、前記入力されたオリジナル画像およびメディア処理後画像をメモリに蓄積するステップと、前記オリジナル画像およびメディア処理後画像に対し、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップと、
を有することを特徴とする画像品質計算方法。
【請求項６】
画像の品質を計算する方法であって、
画像（以下、オリジナル画像）を入力するステップと、前記入力されたオリジナル画像に対してメディア処理を実行するステップと、前記オリジナル画像およびメディア処理後画像に対し、当該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粒密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップと、
を有することを特徴とする画像品質計算方法。
【請求項７】
請求項５もしくは６に記載の画像品質計算方法において、オリジナル画像およびメディア処理後画像の空間的な粗密情報に対して人間の知覚特性に基づく処理を行うステップでは、明るさ方向に特化した知覚特性を用いて行うことを特徴とする画像品質計算方法。
【請求項８】
請求項５乃至７のいずれか１項に記載の画像品質計算方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項５乃至７のいずれか１項に記載の画像品質計算方法をコンピュータに実行されるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、白黒画像やカラー画像に対して、符号化や電子透かし等のメディア処理を施した場合に、処理後の画像において元画像に対する品質劣化を計算する技術に関する。
【０００２】
【従来の技術】
静止画や映像においては、圧縮のための符号／復号処理による画像劣化や、電子透かし等による処理で画像の品質が劣化することが知られており、適切な圧縮や電子透かし等を施こす上で、原画像に対しての劣化の尺度を客観的に測定する手法が必要である（例えば、非特許文献１参照）。なお、以下では静止画および映像を画像と総称することにする。
【０００３】
画像の品質を測定する手法には、大きく分けて２通りある。１つめは、被験者に画像を見せてＳＤ法や一対比較等の評価手法を用いる方法である。２つめは、画像における画素値の差に着目して計算的に求める手法である。前者は、被験者の人数が一定以上あればある程度の客観性が得られるが、被験者を集めての評価実験が必要であるという煩雑さがある。そのため、一般には、後者の画素値の情報から自動的に計算して求める方法が用いられる。
【０００４】
後者の場合、一般的には、ＳＮＲ（Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）で画像の品質劣化を求める方法がある。ＳＮＲとは、元の信号とノイズによる影響の比の対数で表される尺度であり、以下のように表される。
ＳＮＲ＝１０・ｌｏｇ（Ｐｓ／Ｐｎ）                              （１）
ここで、Ｐｓは原信号であり、Ｐｎはノイズ信号を表す。ＳＮＲが大きいほど、品質が高いことを示す。なお、ｌｏｇは常用対数である。
【０００５】
上述の定義を画像に当てはめると、以下のようになる。
【数１】
2004348293.tif 000003
【数２】
2004348293.tif 000004
ただし、Ｒｉｊ，Ｇｉｊ，Ｂｉｊは、それぞれ、画像上の座標（ｉ，ｊ）における画素値、すなわち、画像のＲＧＢ成分である。また、Ｒｉｊ’，Ｇｉｊ’，Ｂｉｊ’は、ノイズによる影響を受けた後の画像上の座標（ｉ，ｊ）における画素値のＲＧＢ成分である。ＮおよびＭは画像の水平方向、垂直方向のピクセル数である。
【０００６】
画像の符号化や電子透かしは、人間の知覚特性に基づき画像の空間周波数空間で圧縮処理や情報埋め込み処理を行うため、個々の画素値が、数階調（８ビット表現の場合、最大値２５５に対して、５，６程度から１０数程度）増減する。処理後の画像は、人間の知覚上は目立たないが、上述のＳＮＲで求めると、どの画素に対しても原画像との差分があるため、（１）式の結果は大きくなり、実際の知覚とは合わない結果となることが問題であった。
【０００７】
【非特許文献１】
「カラー画像と画質評価」  株式会社技術情報協会、１９９２年６月２５日
【０００８】
【発明が解決しようとする課題】
上述のように、従来の画像品質計算技術では、画像の各座標における数値、即ち、画素値間での差分に基づいているため、人間の知覚上では目立たないにもかかわらず、品質が悪く計算されることが問題であった。
【０００９】
本発明は、上記のような問題点を解決するためになされたものであり、その目的とするところは、人間の感覚と合った画像品質計算装置および方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の画像品質計算装置は、画像（オリジナル画像）および該オリジナル画像にメディア処理を施した画像（メディア処理後画像）を入力する画像入力手段と、前記入力されたオリジナル画像およびメディア処理後画像を蓄積する画像蓄積手段と、前記メディア処理後画像を前記オリジナル画像と比較した際の品質劣化度合いを、人間の空間知覚特性に基づいて計算する品質計算手段と、前記品質計算手段で得られた計算結果を出力する出力手段とを有することを特徴とする。
【００１１】
本発明の画像品質計算装置において、品質計算手段は、オリジナル画像およびメディア処理後画像のそれぞれについて、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換し、該空間的な粗密情報に対して人間の知覚特性に基づく処理を行い、該処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換する手段と、前記逆変換された情報に基づき、前記メディア処理後画像の品質劣化度合いを計算する手段とから構成される。
【００１２】
また、本発明の画像品質計算方法は、画像（オリジナル画像）を入力するステップと、前記オリジナル画像に対して、メディア処理を施した画像（メディア処理後画像）を入力するステップと、前記入力されたオリジナル画像およびメディア処理後画像をメモリに蓄積するステップと、前記オリジナル画像およびメディア処理後画像に対し、該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップとを有することを特徴とする。
【００１３】
また、本発明の画像品質計算方法は、画像（オリジナル画像）を入力するステップと、前記入力されたオリジナル画像に対してメディア処理を実行するステップと、前記オリジナル画像およびメディア処理後画像に対し、当該画像を表現する各画素値の成分から構成される情報を、空間的な粗密情報に変換するステップと、前記オリジナル画像およびメディア処理後画像に対応する空間的な粗密情報に対して、人間の知覚特性に基づく処理を行うステップと、前記オリジナル画像およびメディア処理後画像に対応する前記処理後の空間的な粒密情報を画素値の成分から構成される情報に逆変換するステップと、前記逆変換された情報に基づき、メディア処理後画像の品質劣化度合いを計算するステップと、前記計算して得られた結果を出力するステップとを有することを特徴とする。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の一実施例を示すブロック図である。１０１は画像入力部、１０２は画像蓄積部、１０３は画像空間変換部、１０４は周波数帯域抽出部、１０５は差分計算部、１０６は出力部である、このうち、画像空間変換部１０３と周波数帯域抽出部１０４と差分計算部１０５とで画像品質計算部１０７を構成している。該画像品質計算部１０７はコンピュータにおけるＣＰＵに相当している。
【００１５】
図２に本実施例の全体の処理フローチャートを示す。以下、図２にもとづいて本実施例の処理の流れ、各部の動作を説明する。
【００１６】
画像入力部１０１は、１ないし複数の画像を入力機器を介して入力し、画像蓄積部１０２に転送する（ステップ２０１、２０２）。入力対象となる画像は、オリジナルな画像、および、それらに対して、画像処理済み、例えば、符号化処理（符号化後に復号したもの）や、電子透かし等のメディア処理を施した画像である。
【００１７】
画像蓄積部１０２は、オリジナル画像およびそのメディア処理後の画像の情報を蓄積する（ステップ２０３）。画像蓄積部１０２は、コンピュータにおけるハードディスク等に相当し、オリジナル画像およびそのメディア処理時の画像の情報各々を、例えば、名画素値が、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の組として表現されるような形式で蓄積する。ここで、画素値を表す色空間は、ＲＧＢの他に、ＸＹＺ三刺激値、均等色空間であるＬＵＶやＬＡＢ、知覚空間であるＨＳＶとかＨＳＩ等の空間における数値であっても構わない。
【００１８】
画像品質計算部１０７は、画像蓄積部１０２に蓄積されている画像に対し、メディア処理済みの画像がオリジナル画像に比較して劣化度合いを計算する処理を実行する。以下、画像品質計算部１０７を構成する画像空間変換部１０３、周波数帯域抽出部１０４および差分計算部１０５の各部での処理について説明する。
【００１９】
画像空間変換部１０３は、画像蓄積部１０２に蓄積されているオリジナル画像およびそのメディア処理後の画像に対し、画像情報で表現されている空間から空間周波数の空間に変換したり、その逆変換を行う。これは、例えば、２次元フーリエ変換とその逆変換、離散的フーリエ変換（ＤＣＴ）とその逆変換、ウェーブレット変換とその逆変換などに相当し、いずれの技術を用いてもよい。
【００２０】
画像空間変換部１０３では、まず、画像蓄積部１０２に蓄積されているオリジナル画像およびそのメディア処理後の画像について、その画像情報で表現されている空間から空間周波数の空間に変換する（ステップ２０４）。すなわち、オリジナル画像およびそのメディア変換後の画像について、その各画素値の成分から構成される情報（例えば濃度情報）を、空間的な粗密情報（スペクトル）に変換する。
【００２１】
周波数帯域抽出部１０４は、オリジナル画像およびそのメディア変換後の画像それぞれについて、画像空間変換部１０３で得られた当該画像の空間周波数の空間に対して、周波数帯域に応じて予め定めた帯域幅の周波数部分のみを抽出し、すなわち、フィルタリング処理し、結果を画像空間変換部１０３へ返却する（ステップ２０５）。本処理は、一般的に、ローパスフィルタリング（低周波数低分のみの抽出）とかハイパスフィルタリング（高周波数成分のみの抽出）等で言われている画像処理と同様である。ただし、ここでは、低周波、高周波に限らず、一定帯域幅の周波数に含まれる画像領域の抽出という概念も含む。
【００２２】
人間の空間知覚特性は、空間周波数に応じて感度が異なることが知られており（例えば、先の非特許文献１）、空間周波数が高いほど感度特性が下がる傾向にある。ＭＰＥＧ１やＭＰＥＧ２で採用されている画像の圧縮方式は、上述の人間の空間知覚特性に基づいて画像の高周波成分への重みを小さくする特性をもっている。また、Ｗｉｌｓｏｎらによれば、空間知覚特性は、６種類の帯域（０．７５，１．５，２．８，４．４，８．０，１６．Ｏ  ｃ／ｄｅｇにピークをもつ）幅をもつという結果が調べられている（Ｗｉｌｓｏｎほか“Ｓｐａｔｉａｌ  Ｆｒｅｑｕｅｎｃｙ  Ｔｕｎｌｎｇ  ｏｆ  Ｏｒｉｅｎｔａｔｉｏｎ  Ｓｅｌｅｃｔｉｖｅ  Ｕｎｉｔｓ  Ｅｓｔｉｍａｔｅｄ  ｂｙ  Ｏｂｌｉｑｕｅ  Ｍａｓｋｉｎｇ”，Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，Ｖｏｌ．２３，Ｎｏ．９，ｐｐ．８７３−８８２，１９８３）。したがって、人間が画像を知覚する際には、空間周波数に応じて、感度を高く感じる部分と比較的、違いに鈍感な部分があるため、画素値自体に差分があっても、実際には、差分として知覚されないということになる。
【００２３】
本発明では、上述の特性を用いて、オリジナル画像およびそのメディア処理後の画像それぞれについて、周波数帯域ごとに画像を抽出し、帯域に応じた感度特性に応じてフィルタリング処理を行うものである。図３はこれを説明する図で、３００が空間周波数画像を示し、ここでは、中心部の低周波成分３０１、中間の中周波数成分３０２、周辺の高周波成分を抽出（フィルタリング）することを示している。
【００２４】
画像空間変換部１０３は、オリジナル画像およびそのメディア処理後の画像それぞれについて、周波数帯域抽出部１０４で抽出された空間周波数の情報をもとに逆変換し、すなわち、フィルタリング処理後の空間的な粗密情報を画素値の成分から構成される情報に逆変換し、差分計算部１０５へ渡す（ステップ２０６）。
【００２５】
差分計算部１０５では、周波数成分に対応する画像領域に応じて、オリジナル画像およびメディア処理後の画像に対して、更に人間の空間周波数特性に応じたフィルタリング処理を行った上で、差分を計算する処理を行う（ステップ２０７）。
【００２６】
先に述べたように、画像は空間周波数帯域で分割して表すことができる。図３では、３種類の周波数成分帯に画像を分割した例であるが、Ｗｉｌｓｏｎらによる６分割の周波数帯に応じた分割でも構わないし、等間隔、等比感覚で分割しても構わない。ここでの周波数成分による画像は、低周波数成分画像は、エッジの抜けたような画像であり、高周波成分は、境界線が際立った画像になる。式で表すと以下のように表される。なお、ここでは、簡単のため、明るさ方向（輝度情報）のみに着目する。
Ｌ（ｉ，ｊ）＝Ｌｌｏｗ（ｉ，ｊ）＋Ｌｍｉｄ（ｉ，ｊ）＋Ｌｈｉｇｈ（ｉ，ｊ）        （４）
Ｌ’（ｉ，ｊ）＝Ｌ’ｌｏｗ（ｉ，ｊ）＋Ｌ’ｍｉｄ（ｉ，ｊ）＋Ｌ’ｈｉｇｈ（ｉ，ｊ）        （５）
ここで、画像上の座標（ｉ，ｊ）における、オリジナル画像の輝度Ｌ（ｉ，ｊ）、メディア処理後画像の輝度Ｌ’（ｉ，ｊ）を表している。なお、下つきのｌｏｗ，ｍｉｄおよびｈｉｇｈは、それぞれ、輝度画像における、低周波成分、中周波数成分、高周波数成分である。
【００２７】
差分計算部１０５では、まず、オリジナル画像およびメディア処理後の画像それぞれについて、周波数成分毎の逆変換された画像に対して、人間の空間周波数特性の感度に応じた係数をかける。すなわち、一種のフィルタリング処理を行う。
ここで係数とは、先のＷｉｌｓｏｎらの文献における６つの波長帯域の感度係数だったり、非特許文献１における周波数特性を等間隔で分割した際の、感度係数であっても構わない。この処理は次式で表される。
2004348293.tif 000005
ただし、ｋ１、ｋ２、およびｋ３は、空間周波数特性の感度係数であり、例えばｋ１＞ｋ２＞ｋ３と設定する。
【００２８】
ここで、得られたＬｐ（ｉ，ｊ）およびＬｐ’（ｉ，ｊ）は、それぞれ、オリジナル画像、メディア処理後の画像における空間周波数特性を考慮した人間が知覚する画像である。
【００２９】
次に、差分計算部１０５では、式（６）およひ式（７）によって得られた画像に対して、以下のように、画像の差分を計算する。
【数３】
2004348293.tif 000006
【数４】
2004348293.tif 000007
【００３０】
上述の式によって得られた、ＰｓｐおよびＰｎｐに対して、以下の式により、ＳＮＲｐを計算する。
2004348293.tif 000008
【００３１】
ここでは、輝度画像について説明したが、ＲＧＢ空間、ＸＹＺ三刺激値、均等色空間であるＬＵＶやＬＡＢ、知覚空間であるＨＳＶとかＨＳＩ等の空間における数値であっても構わない。
【００３２】
差分計算部１０５では、得られた結果を出力部１０６へ転送する。出力部１０６では、差分計算部１０５での結果をモニタやプリンタなどの出力機器に出力する（ステップ２０８）。
【００３３】
以上、本発明の一実施例について説明したが、例えば、メディア処理のアルゴリズム（アプリケーション）をあらかじめロードしておけば、本装置内において、オリジナル画像に当該アルゴリズムに基づくメディア処理を実行してメディア処理済み画像を生成することが可能である。この場合、パラメータ等を変えることにより、種々の品質のメディア処理処理済み画像を得ることができる。
【００３４】
なお、図１で示した装置における各部の一部もしくは全部の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図２で示したような処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤやＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、人間の空間周波数に対応した特性を反映した画像に変換してからメディア処理における差分（ＳＮＲ等）を計算するので、単純に画素値だけから得られる差分よりも、人間の感覚にあった画像の評価値を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明にかかる画像品質計算装置の一実施例を示すブロック図である。
【図２】図１の処理フローチャートである。
【図３】周波数空間上のフィルタリング処理を説明する図である。
【符号の説明】
１０１  画像入力部
１０２  画像蓄積部
１０３  画像空間変換部
１０４  周波数帯域抽出部
１０５  差分計算部
１０６  出力部
１０７  画像品質計算部
【図１】
2004348293.tif 000009
【図２】
2004348293.tif 000010
【図３】
2004348293.tif 000011