(57)【特許請求の範囲】
【請求項１】
歪んだ画像Ｙと、前記歪んだ画像Ｙと同じ数の画素行および画素列を有する歪みのない参照画像Ｘとの間の相似性を特徴付ける、前記歪んだ画像Ｙの品質指標を演算する方法であり、
（ａ）前記歪んだ画像Ｙの変換および前記歪みのない参照画像Ｘの変換をそれぞれ生成する変換処理であり、変換される画像に関して全ての情報を含まないブラインド性を有することにより処理中において前記画像の特定パターンが認識されない変換処理を用いて、前記歪んだ画像Ｙおよび前記歪みのない参照画像Ｘを変換する段階と、
（ｂ）前記歪みのない参照画像Ｘおよび前記歪んだ画像Ｙの画素の空間シフトを同じ所定量の画素の分だけ行うことにより、前記歪みのない参照画像Ｘの空間シフトされたバージョンＸ２および前記歪んだ画像Ｙの空間シフトされたバージョンＹ２をそれぞれ生成する段階であり、前記空間シフトは、前記空間シフトされたバージョンＸ２、Ｙ２に適用される前記変換処理の間、前記特定のパターンが検出可能となるよう選択される段階と、
（ｃ）前記変換処理を用いて、前記空間シフトされたバージョンＹ２および前記空間シフトされたバージョンＸ２の変換を行い、前記空間シフトされたバージョンＹ２の変換および前記空間シフトされたバージョンＸ２の変換をそれぞれ生成する段階と、
（ｄ）前記歪んだ画像Ｙの前記変換、前記歪みのない参照画像Ｘの前記変換、前記空間シフトされたバージョンＹ２の前記変換、および前記空間シフトされたバージョンＸ２の前記変換の関数として、前記歪んだ画像Ｙの前記品質指標を決定する段階と
を備える方法。
【請求項２】
前記段階（ｂ）は、
前記歪みのない参照画像Ｘの画素をＷ×Ｗ画素の複数のブロックに分割する段階と、
前記歪んだ画像Ｙの画素を対応するＷ×Ｗ画素の複数のブロックに分割する段階と
をさらに有し、
前記Ｗは、前記画素行および前記画素列の数よりも小さな数値である、請求項１に記載の方法。
【請求項３】
前記Ｗは２Ｎに等しく、
指数Ｎは前記変換処理の分解レベルである、請求項２に記載の方法。
【請求項４】
前記段階（ｂ）は、
水平方向に第１の所定量だけ空間シフトする段階、
垂直方向に第２の所定量だけ空間シフトする段階、または
水平方向に第１の所定量だけ、および垂直方向に第２の所定量だけ空間シフトする段階をさらに有する、請求項１から３のいずれか１項に記載の方法。
【請求項５】
前記第１の所定量と前記第２の所定量とは同じである、または、
前記第１および前記第２の所定量はそれぞれ、１および（Ｗ／２−１）のうち大きい方であり、前記Ｗは、前記画素行および前記画素列の数よりも小さな数値である、または、
前記第１および前記第２の所定量は、前記Ｗ未満の奇数である、請求項４に記載の方法。
【請求項６】
前記段階（ｄ）は、
前記歪んだ画像Ｙの前記変換および前記歪みのない参照画像Ｘの前記変換を用いて第１の近似画像品質メトリックＩＱＭＡを演算する段階と、
前記空間シフトされたバージョンＹ２の前記変換および前記空間シフトされたバージョンＸ２の前記変換を用いて第２の近似画像品質メトリックＩＱＭ'Ａを演算する段階と、
前記第１の近似画像品質メトリックＩＱＭＡおよび前記第２の近似画像品質メトリックＩＱＭ'Ａを処理して、前記歪んだ画像Ｙの前記品質指標を生成する段階と
をさらに有する、請求項１から５のいずれか１項に記載の方法。
【請求項７】
前記段階（ｄ）は、
（ｉ）前記歪んだ画像Ｙの前記変換および前記歪みのない参照画像Ｘの前記変換を用いて第１のエッジ画像品質メトリックＩＱＭＥを演算する段階と、
（ｉｉ）前記空間シフトされたバージョンＹ２の前記変換および前記空間シフトされたバージョンＸ２の前記変換を用いて第２のエッジ画像品質メトリックＩＱＭ'Ｅを演算する段階と、
（ｉｉｉ）ＩＱＭＡ、ＩＱＭ'Ａ、ＩＱＭＥ、およびＩＱＭ'Ｅの関数として、前記歪んだ画像Ｙの前記品質指標を決定する段階と
をさらに有する、請求項６に記載の方法。
【請求項８】
前記段階（ｉｉｉ）は、
前記第１の近似画像品質メトリックＩＱＭＡおよび前記第２の近似画像品質メトリックＩＱＭ'Ａを処理して、近似品質スコアＳＡを生成する段階と、
前記第１のエッジ画像品質メトリックＩＱＭＥおよび前記２のエッジ画像品質メトリックＩＱＭ'Ｅを処理して、エッジ品質スコアＳＥを生成する段階と、
前記近似品質スコアＳＡおよび前記エッジ品質スコアＳＥの関数として、前記歪んだ画像Ｙの前記品質指標を決定する段階と
をさらに有する、請求項７に記載の方法。
【請求項９】
前記変換処理は、
コサイン変換、
サイン変換、
ウェーブレット変換、
ハール変換、および
Ｄａｕｂｅｃｈｉｅｓ変換
のうちいずれか１つである、請求項１から８のいずれか１項に記載の方法。
【請求項１０】
歪んだ画像Ｙと、前記歪んだ画像Ｙと同じ数の画素行および画素列を有する歪みのない参照画像Ｘとの間の相似性を特徴付ける、前記歪んだ画像Ｙの品質指標を演算するシステムであり、
プロセッサと、
非一時的なコンピュータ可読記憶媒体であり、前記プロセッサに実行されることにより、前記プロセッサに
（ａ）前記歪んだ画像Ｙの変換および前記歪みのない参照画像Ｘの変換をそれぞれ生成する変換処理であり、変換される画像に関して全ての情報を含まないブラインド性を有することにより処理中において前記画像の特定パターンが認識されない変換処理を用いて、前記歪んだ画像Ｙおよび前記歪みのない参照画像Ｘを変換する手順と、
（ｂ）前記歪みのない参照画像Ｘおよび前記歪んだ画像Ｙの画素の空間シフトを同じ所定量の画素の分だけ行うことにより、前記歪みのない参照画像Ｘの空間シフトされたバージョンＸ２および前記歪んだ画像Ｙの空間シフトされたバージョンＹ２をそれぞれ生成する手順であり、前記空間シフトは、前記空間シフトされたバージョンＸ２、Ｙ２に適用される前記変換処理の間、前記特定のパターンが検出可能となるよう選択される手順と、
（ｃ）前記変換処理を用いて、前記空間シフトされたバージョンＹ２および前記空間シフトされたバージョンＸ２の変換を行い、前記空間シフトされたバージョンＹ２の変換および前記空間シフトされたバージョンＸ２の変換をそれぞれ生成する手順と、
（ｄ）前記歪んだ画像Ｙの前記変換、前記歪みのない参照画像Ｘの前記変換、前記空間シフトされたバージョンＹ２の前記変換、および前記空間シフトされたバージョンＸ２の前記変換の関数として、前記歪んだ画像Ｙの前記品質指標を決定する手順と
を実行させるコンピュータ可読命令を格納した非一時的なコンピュータ可読記憶媒体と
を備えるシステム。
【請求項１１】
前記プロセッサは、
前記歪みのない参照画像Ｘの画素をＷ×Ｗ画素の複数のブロックに分割する手順と、
前記歪んだ画像Ｙの画素をＷ×Ｗ画素の対応する複数のブロックに分割する手順と
をさらに実行し、
前記Ｗは、前記画素行および前記画素列の数よりも小さな数値である、請求項１０に記載のシステム。
【請求項１２】
前記Ｗは２Ｎに等しく、
指数Ｎは前記変換処理の分解レベルである、請求項１１に記載のシステム。
【請求項１３】
さらに、前記歪みのない参照画像および前記歪んだ画像Ｙの画素を
水平方向に第１の所定量だけ空間シフトする、または、
垂直方向に第２の所定量だけ空間シフトする、または、
水平方向に第１の所定量だけ、および垂直方向に第２の所定量だけ空間シフトする、請求項１０から１２のいずれか１項に記載のシステム。
【請求項１４】
前記第１の所定量と前記第２の所定量とは同じである、または、
前記第１および前記第２の所定量はそれぞれ、１および（Ｗ／２−１）のうち大きい方であり、前記Ｗは、前記画素行および前記画素列の数よりも小さな数値である、または、
前記第１および前記第２の所定量は、前記Ｗ未満の奇数である、請求項１３に記載のシステム。
【請求項１５】
さらに、
前記歪んだ画像Ｙの前記変換および前記歪みのない参照画像Ｘの前記変換を用いて第１の近似画像品質メトリックＩＱＭＡを演算し、
前記空間シフトされたバージョンＹ２の前記変換および前記空間シフトされたバージョンＸ２の前記変換を用いて第２の近似画像品質メトリックＩＱＭ'Ａを演算し、
前記第１の近似画像品質メトリックＩＱＭＡおよび前記第２の近似画像品質メトリックＩＱＭ'Ａを処理して、前記歪んだ画像Ｙの前記品質指標を生成する、請求項１０から１４のいずれか１項に記載のシステム。
【請求項１６】
さらに、
（ｉ）前記歪んだ画像Ｙの前記変換および前記歪みのない参照画像Ｘの前記変換を用いて第１のエッジ画像品質メトリックＩＱＭＥを演算し、
（ｉｉ）前記空間シフトされたバージョンＹ２の前記変換および前記空間シフトされたバージョンＸ２の前記変換を用いて第２のエッジ画像品質メトリックＩＱＭ'Ｅを演算し、
（ｉｉｉ）ＩＱＭＡ、ＩＱＭ'Ａ、ＩＱＭＥ、およびＩＱＭ'Ｅの関数として、前記歪んだ画像Ｙの前記品質指標を決定する、請求項１５に記載のシステム。
【請求項１７】
さらに、
前記第１の近似画像品質メトリックＩＱＭＡおよび前記第２の近似画像品質メトリックＩＱＭ'Ａを処理して、近似品質スコアＳＡを生成し、
前記第１のエッジ画像品質メトリックＩＱＭＥおよび前記２のエッジ画像品質メトリックＩＱＭ'Ｅを処理して、エッジ品質スコアＳＥを生成し、
前記近似品質スコアＳＡおよび前記エッジ品質スコアＳＥの関数として、前記歪んだ画像Ｙの前記品質指標を決定する、請求項１６に記載のシステム。
【請求項１８】
前記変換処理は、
コサイン変換、
サイン変換、
ウェーブレット変換、
ハール変換、および
Ｄａｕｂｅｃｈｉｅｓ変換
のうちいずれか１つである、請求項１０から１７のいずれか１項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１１年５月４日に提出された米国仮特許出願第６１／４８２，４７２号の便益を主張する。当該米国仮特許出願は、その内容の全体が参照により本明細書に組み込まれる。
【０００２】
本願発明は、画像品質の評価に関し、特に、改善された知覚性能を有する、画像の向上した品質指標またはメトリックを決定する方法およびシステムに関する。
【背景技術】
【０００３】
画像および動画の圧縮および修正などを行う様々な画像および動画アプリケーションの開発および検証において、画像品質評価は重要な役割を果たす。客観的な品質モデルは、通常、参照画像の利用可能性に基づいて分類される。歪みのない参照画像が利用可能である場合、品質メトリックはフル参照（ＦＲ）評価方法と見なされる。いくつかの画像および動画アプリケーションにおいては、品質の評価をリアルタイムで行うことが求められる。結果として、品質評価方法に関する演算複雑性が解決すべき重要な課題となる。考慮すべき他の要素は、品質評価方法により演算された品質スコアが人の意見とどの程度一致するかを示す正確性である。したがって、複雑性を低く維持したまま品質評価方法の正確性を向上させる方法およびシステムが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本願発明は、空間シフトを用いて視覚品質メトリックのロバスト性を向上させる方法およびシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の第１の態様は、
歪んだ画像Ｙと、歪んだ画像Ｙと同じ数の画素行および画素列を有する歪みのない参照画像Ｘとの間の相似性を特徴付ける、歪んだ画像Ｙの品質指標を演算する方法であり、
（ａ）歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換をそれぞれ生成する変換処理であり、変換される画像に関して全ての情報を含まないブラインド性を有することにより処理中において画像の特定パターンが認識されない変換処理を用いて、歪んだ画像Ｙおよび歪みのない参照画像Ｘを変換する段階と、
（ｂ）歪みのない参照画像Ｘおよび歪んだ画像Ｙの画素の空間シフトを同じ所定量の画素の分だけ行うことにより、歪みのない参照画像Ｘの空間シフトされたバージョンＸ２および歪んだ画像Ｙの空間シフトされたバージョンＹ２をそれぞれ生成する段階であり、空間シフトは、空間シフトされたバージョンＸ２、Ｙ２に適用される変換処理の間、特定のパターンが検出可能となるよう選択される段階と、
（ｃ）変換処理を用いて、空間シフトされたバージョンＹ２および空間シフトされたバージョンＸ２の変換を行い、空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換をそれぞれ生成する段階と、
（ｄ）歪んだ画像Ｙの変換、歪みのない参照画像Ｘの変換、空間シフトされたバージョンＹ２の変換、および空間シフトされたバージョンＸ２の変換の関数として、歪んだ画像Ｙの品質指標を決定する段階と
を備える方法を提供する。
【０００６】
段階（ｂ）は、
歪みのない参照画像Ｘの画素をＷ×Ｗ画素の複数のブロックに分割する段階と、
歪んだ画像Ｙの画素を対応するＷ×Ｗ画素の複数のブロックに分割する段階と
をさらに有し、
Ｗは、画素行および画素列の数よりも小さな数値である。
【０００７】
段階（ｂ）は、
水平方向に第１の所定量だけ空間シフトする段階、
垂直方向に第２の所定量だけ空間シフトする段階、または
水平方向に第１の所定量だけ、および垂直方向に第２の所定量だけ空間シフトする段階をさらに有する。
【０００８】
好ましくは、第１の所定量と第２の所定量とは同じである。
【０００９】
本願発明の一実施形態において、Ｗは２Ｎに等しく、指数Ｎは変換処理の分解レベルである。
【００１０】
例えば、第１および第２の所定量はそれぞれ、１と（Ｗ／２−１）とのうち大きい方である。
【００１１】
本願発明の一実施形態において、第１および第２の所定量は、Ｗ未満の奇数である。
【００１２】
上述の方法において、変換処理は、コサイン変換、サイン変換、およびウェーブレット変換のうちいずれか１つである。
【００１３】
本願発明の実施形態において、変換処理はハール変換である。代替的に、変換処理はＤａｕｂｅｃｈｉｅｓ変換であり得る。
【００１４】
上述の方法において、
段階（ｄ）は、
歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１の近似画像品質メトリックＩＱＭＡを演算する段階と、
空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２の近似画像品質メトリックＩＱＭ'Ａを演算する段階と、
第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを処理して、歪んだ画像Ｙの品質指標を生成する段階と
をさらに有する。
【００１５】
本願発明の実施形態において、第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、段階（ｄ）は
参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成する段階と、
近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングを実行する段階と、
近似品質スコアＳＡを用いて品質指標を決定する段階と
をさらに有する。
【００１６】
段階（ｄ）は、
（ｉ）歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１のエッジ画像品質メトリックＩＱＭＥを演算する段階と、
（ｉｉ）空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２のエッジ画像品質メトリックＩＱＭ'Ｅを演算する段階と、
（ｉｉｉ）ＩＱＭＡ、ＩＱＭ'Ａ、ＩＱＭＥ、およびＩＱＭ'Ｅの関数として、歪んだ画像Ｙの品質指標を決定する段階と
をさらに有する。
【００１７】
段階（ｉｉｉ）は、
第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを処理して、近似品質スコアＳＡを生成する段階と、
第１および２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅを処理して、エッジ品質スコアＳＥを生成する段階と、
近似品質スコアＳＡおよびエッジ品質スコアＳＥの関数として、歪んだ画像Ｙの品質指標を決定する段階と
をさらに有する。
【００１８】
本願発明の実施形態において、品質指標は最終スコアＳＦ＝ａ＊ＳＡ＋（１−ａ）＊ＳＥとして演算され、ＳＦは０から１の範囲の値である。
【００１９】
上述の方法において、第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、第１および第２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅはそれぞれ第１および第２のエッジ品質マップであり、段階（ｄ）は
（ｄ１）参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成する段階と、
（ｄ２）近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングを実行する段階と、
（ｄ３）エッジ品質スコアＳＥを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２のエッジ品質マップの加重プーリングを実行する段階と、
（ｄ４）近似品質スコアＳＡおよびエッジ品質スコアＳＥを処理して、品質指標を決定する段階と
をさらに有する。
【００２０】
第１および第２のコントラストマップを生成する段階は、参照画像Ｘの第１および第２の近似品質マップ、並びに、第１および第２のエッジマップ、加えて、空間シフトされたバージョンＸ２の画素に対し、それらの人の視覚システムにおける重要度に従って値を割り当てる段階をさらに含む。
【００２１】
段階（ｄ２）は、第１の近似品質マップおよび第２の近似品質マップを平均化する段階、および、近似品質スコアＳＡを生成すべく第１の近似品質マップおよび第２の近似品質マップの最小値を用いる段階のいずれかをさらに含む。
【００２２】
本願発明の他の態様は、
歪んだ画像Ｙと、歪んだ画像Ｙと同じ数の画素行および画素列を有する歪みのない参照画像Ｘとの間の相似性を特徴付ける、歪んだ画像Ｙの品質指標を演算するシステムであり、
プロセッサと、
非一時的なコンピュータ可読記憶媒体であり、プロセッサに実行されることにより、プロセッサに
（ａ）歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換をそれぞれ生成する変換処理であり、変換される画像に関して全ての情報を含まないブラインド性を有することにより処理中において画像の特定パターンが認識されない変換処理を用いて、歪んだ画像Ｙおよび歪みのない参照画像Ｘを変換する手順と、
（ｂ）歪みのない参照画像Ｘおよび歪んだ画像Ｙの画素の空間シフトを同じ所定量の画素の分だけ行うことにより、歪みのない参照画像Ｘの空間シフトされたバージョンＸ２および歪んだ画像Ｙの空間シフトされたバージョンＹ２をそれぞれ生成する手順であり、空間シフトは、空間シフトされたバージョンＸ２、Ｙ２に適用される変換処理の間、特定のパターンが検出可能となるよう選択される手順と、
（ｃ）変換処理を用いて、空間シフトされたバージョンＹ２および空間シフトされたバージョンＸ２の変換を行い、空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換をそれぞれ生成する手順と、
（ｄ）歪んだ画像Ｙの変換、歪みのない参照画像Ｘの変換、空間シフトされたバージョンＹ２の変換、および空間シフトされたバージョンＸ２の変換の関数として、歪んだ画像Ｙの品質指標を決定する手順と
を実行させるコンピュータ可読命令を格納した非一時的なコンピュータ可読記憶媒体と
を備えるシステムを提供する。
【００２３】
上述のシステムにおいて、コンピュータ可読命令はプロセッサにさらに
歪みのない参照画像Ｘの画素をＷ×Ｗ画素の複数のブロックに分割する手順と、
歪んだ画像Ｙの画素をＷ×Ｗ画素の複数のブロックに分割する手順と、
をさらに実行させ、
Ｗは、画素行および画素列の数よりも小さな数値である。
【００２４】
コンピュータ可読命令はプロセッサにさらに、
水平方向に第１の所定量だけ空間シフトさせる、
垂直方向に第２の所定量だけ空間シフトさせる、または
水平方向に第１の所定量だけ、および垂直方向に第２の所定量だけ空間シフトさせる。
【００２５】
上述のシステムにおいて、第１の所定量と第２の所定量とは同じである。
【００２６】
例えば、Ｗは２Ｎに等しく、指数Ｎは変換処理の分解レベルであり、第１および第２の所定量はそれぞれ、１と（Ｗ／２−１）とのうち大きい方である。代替的に、第１および第２の所定量は、Ｗ未満の奇数である。
【００２７】
上述のシステムにおいて、変換処理は、コサイン変換、サイン変換、およびウェーブレット変換のうちいずれか１つである。
【００２８】
本願発明の実施形態において、変換処理はハール変換である。代替的に、変換処理はＤａｕｂｅｃｈｉｅｓ変換であり得る。
【００２９】
上述のシステムにおいて、コンピュータ可読命令はプロセッサにさらに、
歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１の近似画像品質メトリックＩＱＭＡを演算させ、
空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２の近似画像品質メトリックＩＱＭ'Ａを演算させ、
第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを処理して、歪んだ画像Ｙの品質指標を生成させる。
【００３０】
第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、コンピュータ可読命令はプロセッサにさらに、参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成させ、
近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングを実行させ、
近似品質スコアＳＡを用いて品質指標を決定させる。
【００３１】
上述のシステムにおいて、コンピュータ可読命令はプロセッサにさらに、
（ｉ）歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１のエッジ画像品質メトリックＩＱＭＥを演算させ、
（ｉｉ）空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２のエッジ画像品質メトリックＩＱＭ'Ｅを演算させ、
（ｉｉｉ）ＩＱＭＡ、ＩＱＭ'Ａ、ＩＱＭＥ、およびＩＱＭ'Ｅの関数として、歪んだ画像Ｙの品質指標を決定させる。
【００３２】
コンピュータ可読命令はプロセッサにさらに、
第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを処理して、近似品質スコアＳＡを生成させ、
第１および２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅを処理して、エッジ品質スコアＳＥを生成させ、
近似品質スコアＳＡおよびエッジ品質スコアＳＥの関数として、歪んだ画像Ｙの品質指標を決定させる。
【００３３】
上述のシステムにおいて、品質指標は最終スコアＳＦ＝ａ＊ＳＡ＋（１−ａ）＊ＳＥとして演算され、ＳＦは０から１の範囲の値である。
【００３４】
本願発明の実施形態において、第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、第１および第２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅはそれぞれ第１および第２のエッジ品質マップであり、コンピュータ可読命令はプロセッサにさらに、
参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成させ、
近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングを実行させ、
エッジ品質スコアＳＥを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２のエッジ品質マップの加重プーリングを実行させ、
近似品質スコアＳＡおよびエッジ品質スコアＳＥを処理して、品質指標を決定させる。
【００３５】
コンピュータ可読命令はプロセッサにさらに、参照画像Ｘの第１および第２の近似品質マップ、並びに、第１および第２のエッジマップ、加えて、空間シフトされたバージョンＸ２の画素に対し、それらの人の視覚システムにおける重要度に従って、対応する値を割り当てさせる。
【００３６】
コンピュータ可読命令はプロセッサにさらに、第１の近似品質マップおよび第２の近似品質マップを平均化する手順、および、近似品質スコアＳＡを生成すべく第１の近似品質マップおよび第２の近似品質マップの最小値を用いる手順のいずれかをさらに実行させる。
【００３７】
本願発明のさらに他の態様は、歪んだ画像Ｙと、歪みのない参照画像Ｘとの間の相似性を特徴付ける、歪んだ画像Ｙの品質指標を演算するシステムであり、
プロセッサと、
プロセッサにより実行され、プロセッサに歪んだ画像Ｙおよび歪みのない参照画像Ｘの処理を行わせるコンピュータ可読命令を格納した、
歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換をそれぞれ生成する変換処理であり、変換される画像に関して全ての情報を含まないブラインド性を有することにより処理中において画像の特定パターンが認識されない変換処理を用いて、歪んだ画像Ｙおよび歪みのない参照画像Ｘを変換する変換モジュールと、
歪んだ画像Ｙおよび参照画像Ｘのそれぞれの空間シフトされたバージョンＹ２、Ｘ２を生成する空間シフトモジュールと
を有するメモリと
を備え、
変換モジュールはさらに、変換処理を用いて、空間シフトされたバージョンＹ２および空間シフトされたバージョンＸ２の変換を行い、空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換をそれぞれ生成し、
さらに、
歪んだ画像Ｙの変換、歪みのない参照画像Ｘの変換、空間シフトされたバージョンＹ２の変換、および空間シフトされたバージョンＸ２の変換の関数として、歪んだ画像Ｙの品質指標を決定する画像品質メトリック（ＩＱＭ）演算サブシステムを備えるシステムを提供する。
【００３８】
ＩＱＭ演算サブシステムは、
歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１の近似画像品質メトリックＩＱＭＡを演算し、
空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２の近似画像品質メトリックＩＱＭ'Ａを演算する、
近似品質マップ／スコア演算モジュールをさらに有する。
【００３９】
システムは、第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを組み合わせて、歪んだ画像Ｙの品質指標を生成する最終スコア演算モジュールをさらに備える。
【００４０】
システムは、
歪んだ画像Ｙの変換および歪みのない参照画像Ｘの変換を用いて第１のエッジ画像品質メトリックＩＱＭＥを演算し、
空間シフトされたバージョンＹ２の変換および空間シフトされたバージョンＸ２の変換を用いて第２のエッジ画像品質メトリックＩＱＭ'Ｅを演算する、
エッジ品質マップ／スコア演算モジュールをさらに備え、
最終スコア演算モジュールはさらに、ＩＱＭＡ、ＩＱＭ'Ａ、ＩＱＭＥ、およびＩＱＭ'Ｅの関数として、歪んだ画像Ｙの品質指標を決定する。
【００４１】
システムは、
第１および第２の近似画像品質メトリックＩＱＭＡ、ＩＱＭ'Ａを組み合わせて、近似品質スコアＳＡを生成する近似品質マッププーリング共通モジュールと、
第１および２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅを組み合わせて、エッジ品質スコアＳＥを生成するエッジマッププーリング共通モジュールと、
近似品質スコアＳＡおよびエッジ品質スコアＳＥの関数として、歪んだ画像Ｙの品質指標をさらに決定する最終スコア演算モジュールと
をさらに備える。
【００４２】
上述したシステムにおいて、近似品質スコアＳＡおよびエッジ品質スコアＳＥの関数は、最終スコアＳＦ＝ａ＊ＳＡ＋（１−ａ）＊ＳＥとして演算され、ＳＦは０から１の範囲の値である。
【００４３】
本願発明の実施形態において、第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、システムは、
参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成するコントラストマップ生成モジュールと、
近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングをさらに実行する近似品質マッププーリング共通モジュールと
をさらに備える。
【００４４】
上述のシステムにおいて、第１および第２の近似品質メトリックＩＱＭＡ、ＩＱＭ'Ａはそれぞれ第１および第２の近似品質マップであり、第１および第２のエッジ品質メトリックＩＱＭＥ、ＩＱＭ'Ｅはそれぞれ第１および第２のエッジ品質マップであり、システムは、
参照画像Ｘおよび空間シフトされたバージョンＸ２のそれぞれの第１および第２のコントラストマップを生成するコントラストマップ生成モジュールと、
近似品質スコアＳＡを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２の近似品質マップの加重プーリングをさらに実行し、エッジ品質スコアＳＥを生成すべく第１および第２のコントラストマップのそれぞれを用いて第１および第２のエッジ品質マップの加重プーリングを実行する近似品質マッププーリング共通モジュールと
をさらに備える。
【００４５】
コントラストマップ生成モジュールは、参照画像Ｘの第１および第２の近似品質マップ、並びに、第１および第２のエッジマップ、加えて、空間シフトされたバージョンＸ２の画素に対し、それらの人の視覚システムにおける重要度に従って、対応する値を割り当てることを含む、第１および第２のコントラストマップの生成をさらに行う。
【００４６】
最終スコア演算モジュールは、
近似品質スコアＳＡおよびエッジ品質スコアＳＥを平均化する手順、および、
品質指標を生成すべく近似品質スコアＳＡおよびエッジ品質スコアＳＥの最小値を用いる手順
のいずれかをさらに実行する。
【００４７】
変換モジュールはさらに、
参照画像Ｘの画素をＷ×Ｗ画素の複数のブロックに分割し、
歪んだ画像Ｙの画素を対応するＷ×Ｗ画素の複数のブロックに分割し、
Ｗは、画素行および画素列の数よりも小さな数値である。
【００４８】
空間シフトモジュールはさらに、
水平方向に第１の所定量だけ空間シフトする、
垂直方向に第２の所定量だけ空間シフトする、または
水平方向に第１の所定量だけ、および垂直方向に第２の所定量だけ空間シフトする。
【００４９】
よって、空間シフトを用いて視覚品質メトリックのロバスト性を向上させる改善された方法およびシステムを提供することが出来る。
【図面の簡単な説明】
【００５０】
添付の図面を参照して、例示により本願発明の実施形態を説明する。
【図１】図１は、品質指標を決定するための離散ウェーブレットドメイン画像品質評価フレームワーク１０のブロック図を示す。
【図１Ａ】図１Ａは、品質指標を決定するための対応する方法１４０のフローチャートを示す。
【図２】図２は、図１の参照画像Ｘの２レベルの分解（Ｎ＝２）に関するウェーブレットサブバンドを示す例示的な図面２００である。
【図３Ａ】図３Ａは典型的なオリジナル画像を示す。
【図３Ｂ】図３Ｂは、図３Ａのオリジナル画像に関する、数式（９）により得られるリサイズされたコントラストマップを示す。
【図４】図４は、Ｈ．２６４圧縮で用いられる４×４ＤＣＴベーシスを生成し、表示するためのＭａｔｌａｂのコードフラグメント９００を示す。
【図５】図５は、任意のスケールで計算される、図４の４×４ＤＣＴベーシスの結果を表す数値配列１０００を示し。
【図６】図６は、２つの品質評価モジュール１１０２（１１０２．１および１１０２．２）、空間シフトモジュール１１０４、および最終スコア演算モジュール１１０６を含む第１の品質メトリック演算システム１１００を示す。
【図７】図７は、２つの品質評価モジュール１１０２（１１０２．１および１１０２．２）、２つの空間シフトモジュール１１０４（１１０４．１および１１０４．２）、および最終スコア演算モジュール１１０６を含む第２の品質メトリック演算システム１２００を示す。
【図８】図８は、品質評価モジュール１１０２、および空間シフトモジュール１１０４を含む第３の品質メトリック演算システム１３００を示す。
【図９】図９は、離散ウェーブレットドメイン画像品質評価システム１４００の一実施形態のブロック図を示す。
【図１０】図１０は、歪んだ画像の空間シフトされたバージョンの、オリジナル画像の等しく空間シフトされたバージョンとの比較と組み合わせて、オリジナル画像との比較により、歪んだ画像の品質指標である組み合わせられたスコアを演算する方法１５００のフローチャートを、図９のシステムブロック図と関連付けたシーケンスチャートで示す。
【図１０Ａ】図１０Ａは、図１０の５段階グループ１５０２を展開したフローチャートを示す。
【図１０Ｂ】図１０Ｂは、図１０の５段階グループ１５０８を展開したフローチャートを示す。
【図１１】図１１の（ａ）は、オリジナル参照画像としての標準画像「Ｉｍａｇｅ  Ｈｏｕｓｅ」を示し、（ｂ）は、４×４ＤＣＴ変換画像の２番目の行および２番目の列がゼロに設定された、（ａ）の参照画像から生成された第１の歪んだ画像を示し、（ｃ）は、４×４ＤＣＴ変換画像の３番目の行および３番目の列がゼロに設定された、（ａ）の参照画像から生成された第２の歪んだ画像を示す。（ｄ）は、４×４ＤＣＴ変換画像の４番目の行および４番目の列がゼロに設定された、（ａ）の参照画像から生成された第３の歪んだ画像を示す。
【図１２】図１２は、本願発明の実施形態に係る、プロセッサ１７０２およびコンピュータメモリ１７０４を含む、離散ウェーブレットドメイン画像品質評価システム１４００の例示的なハードウェアを示す図１７００である。
【発明を実施するための形態】
【００５１】
本願発明の実施形態は、良好な正確性と低複雑性との間の良好なバランスを実現する品質評価方法を提供することである。
【００５２】
用語  近似マップ（または近似品質マップ）：画像の主要コンテンツを特徴付け、１レベル（またはより高いレベル）の離散ウェーブレット分解の後に得られる画像の近似サブバンドとして決定される。
近似サブバンド：画像の主要コンテンツ、つまり低周波数のコンテンツを含むサブバンド。
近似品質スコア：画像Ｘの近似サブバンドと画像Ｙの近似サブバンドとの間の相似性指標。
近似品質指標：品質評価に（ＶＩＦなどの）マップベースのメトリックを用いた場合に近似品質スコアを、または品質評価に（ＳＳＩＭＷ＆Ｂなどの）非マップベースのメトリックを用いた場合に（近似マップとも呼ばれる）近似品質マップを示す、画像品質指標。
コントラストマップ：画像の異なる領域の画素に対し、それらの視覚重要度に基づき、自動的に重みを割り当てる重み関数。
相関係数：ピアソンの積率相関係数に基づき２つの画像パッチ間で演算される統計学的指標。
ＤＣ（直流）：変換のゼロ周波数成分、つまり平均値を示す。
詳細サブバンド：画像の微細なエッジを含むサブバンド。
斜め方向の詳細サブバンド：画像の斜め方向の微細なエッジを含むサブバンド。
離散ウェーブレット変換（ＤＷＴ）：画像の高周波数成分から低周波数成分を分離するべく、当該画像に適用される変換。
離散コサイン変換（ＤＣＴ）：画像の多重解像度分解に用いられる離散コサイン変換。
エッジマップ（またはエッジ品質マップ）：画像の微細なエッジを特徴付け、１レベル（またはより高いレベル）の離散ウェーブレット分解の後に得られる、画像の水平方向、垂直方向、および斜め方向の詳細サブバンドの平均平方の平方根として決定される。
エッジ品質スコア：２つの画像の詳細サブバンド間の相似性指標。
エッジ品質指標：品質評価に（ＶＩＦなどの）マップベースのメトリックを用いた場合にエッジ品質スコアを、または品質評価に（ＳＳＩＭＷ＆Ｂなどの）非マップベースのメトリックを用いた場合に（エッジマップとも呼ばれる）エッジ品質マップを示す、画像品質指標。
ガウススライドウィンドウ：ユニットサムおよびガウス確率分布を有するＮ個の係数からなるセット。
水平方向のサブバンド：画像の水平方向の微細なエッジを含むサブバンド。
多重解像度分解：オリジナル画像の低周波数の主要コンテンツを含むサブバンドと、オリジナル画像の微細なエッジを含む複数のサブバンドとからなるサブバンドを生成するべくデジタル画像に適用される変換。
ＳＡ：近似品質スコア。
ＳＥ：エッジ品質スコア。
Ｓｆ：最終スコア。
構造的相似性（ＳＳＩＭ）：２つの画像間の相似性を反映し、ＶＩＦなどの他の画像品質メトリックと比較し高くはあるが許容される演算複雑性で演算することが出来る、正確な画像品質指標。
ＳＳＩＭＷ＆Ｂ：Ｚ．ＷａｎｇおよびＡ．Ｃ．Ｂｏｖｉｋにより提案されたＳＳＩＭ品質評価方法。
品質スコア：最終スコアを計算するのに用いられる中間相似値。近似品質スコアおよびエッジ品質スコアの２種類の品質スコアがある。
品質マップ：（品質評価にＳＳＩＭＷ＆Ｂが用いられた時など）マップベースの視覚品質評価方法における品質指標を計算するのに用いられる中間相似値。近似品質マップ（近似マップ）およびエッジ品質マップ（エッジマップ）の２種類の品質マップがある。
視覚情報忠実度（Ｖｉｓｕａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｆｉｄｅｌｉｔｙ；ＶＩＦ）：Ｈ．Ｒ．ＳｈｅｉｋｈおよびＡ．Ｃ．Ｂｏｖｉｋに提案された画像品質評価方法。
垂直方向のサブバンド：画像の垂直方向の微細なエッジを含むサブバンド。
【００５３】
ピーク信号対ノイズ比（ＰＳＮＲ）は、最も古くかつ最も広く用いられているＦＲ画像品質評価指標の１つである。その理由は、ＰＳＮＲはシンプルであり、明確な物理的な意味合いを示し、パラメータがなく、かつ、最適化において優れた働きをするからである。しかし、従来のＰＳＮＲは画像忠実度に関する人の知覚を十分に反映することが出来ず、つまり、大きなＰＳＮＲゲインが、視覚品質の僅かだけの向上に対応することもあった。これにより、他の多数の品質指標が研究者たちによって開発されてきた。表ＩおよびＩＩは、ＰＳＮＲの正確性を他の品質メトリックと比較して示す。Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｚ．Ｗａｎｇ，Ｌ．Ｃｏｒｍａｃｋ，ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ，"ＬＩＶＥ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ  Ｄａｔａｂａｓｅ  Ｒｅｌｅａｓｅ  ２，"（ｈｔｔｐ：／／ｌｉｖｅ．ｅｃｅ．ｕｔｅｘａｓ．ｅｄｕ／ｒｅｓｅａｒｃｈ／ｑｕａｌｉｔｙ）を参照されたい。ＬＩＶＥ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ  Ｄａｔａｂａｓｅの当該リリースは、２９個のオリジナルのカラー画像からＪＰＥＧ圧縮、ＪＰＥＧ２０００圧縮、ガウスホワイトノイズ（ＧＷＮ）、ガウスブラーリング（ＧＢｌｕｒ）、およびレイリーファーストフェージング（ＦＦ）チャネルモデルの５種類の歪みを用いて導き出された７７９の歪んだ画像からなる。全ての実験において、データベースの再整列された主観的な品質データが用いられている。Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｚ．Ｗａｎｇ，Ｌ．Ｃｏｒｍａｃｋ，ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ，"ＬＩＶＥ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ  Ｄａｔａｂａｓｅ  Ｒｅｌｅａｓｅ  ２"を参照されたい。表Ｉで用いられるメトリックは、Ｄｉｆｆｅｒｅｎｃｅ  Ｍｅａｎ  Ｏｐｉｎｉｏｎ  Ｓｃｏｒｅ（ＤＭＯＳ）と、非線形回帰後の客観的モデルアウトプットとの間のピアソンの相関係数（ＬＣＣ）である。相関係数によって予測正確性の評価が示される。本明細書では、非線形回帰に関し、Ｈ．Ｒ．Ｓｈｅｉｋｈ，Ｍ．Ｆ．Ｓａｂｉｒ，ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ，"Ａ  ｓｔａｔｉｓｔｉｃａｌ  ｅｖａｌｕａｔｉｏｎ  ｏｆ  ｒｅｃｅｎｔ  ｆｕｌｌ  ｒｅｆｅｒｅｎｃｅ  ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ａｌｇｏｒｉｔｈｍｓ"，ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．１５，ｎｏ．１１，ｐｐ．３４４０−３４５１，Ｎｏｖ．２００６で定義される５つのパラメータのロジスティック関数を用いる。表ＩＩで用いられるメトリックは、予測単調性を示すスピアマンの順位相関係数（ＳＲＣＣ）である。
【００５４】
構造的相似性（ＳＳＩＭ）ｓｐａｔｉａｌおよびＳＳＩＭａｕｔｏｓｃａｌｅ、並びに、視覚情報忠実度（ＶＩＦ）などの他の視覚品質メトリックと比較し、（表中ではＰＳＮＲｓｐａｔｉａｌと示される）ＰＳＮＲが非常に低い相関関数（ＬＣＣ）およびスピアマンランクオーダー（ＳＲＣＣ）を有することが分かる。残念ながら、これらのより正確なメトリックを得るには、非常に高い演算複雑性が伴うというマイナス面がある。
【００５５】
表Ｉ：ＬＩＶＥ画像データベースの非線形回帰後のＬＣＣ値
【表１】
0005928753.tif 000002
【００５６】
表ＩＩ：ＬＩＶＥ画像データベースの非線形回帰後のＳＲＣＣ値
【表２】
0005928753.tif 000003
【００５７】
先に２０１０年１０月１７日に本発明者らにより提出された特許出願第１２／９０６，１１１号および第１２／９０６，１１２号において、演算複雑性と正確性との間の良好なバランスを実現するハール変換を用いるフレームワークが開示されている。当該フレームワークを用いて開発されたそのようなメトリックの例は、ＰＳＮＲＡ、ＳＡ、ＤＷＴ＿ＶＩＦＡなどである。表ＩおよびＩＩに示すように、ＰＳＮＲＡはＰＳＮＲと比較し、非常に高い正確性を有する。しかし、ＰＳＮＲＡの演算複雑性はＰＳＮＲと同等である。上述した当該メトリックの下付文字「Ａ」は、品質を評価するのに、近似サブバンドのみが用いられることを示す。演算量を軽減すべく、変換処理に２×２ハール変換が用いられてきた。２×２ハール変換を用いると、各Ｗ×Ｗブロック内の画素強度の平均を演算することにより、近似サブバンドが得られる（ここで「Ｎ」を分解レベルとすると、ブロックディメンションＷ＝２Ｎとなる）。参照画像および歪んだ画像内の各Ｗ×Ｗブロックの平均に基づいて開発されたメトリックをその後、品質スコアの演算に用いる。よって品質の演算は、ブロックベースの処理となる。分解レベルＮとして選択されるのは、典型的には、２５６×２５６の画像では１であり、５１２×５１２の画像では２である。
【００５８】
しかし、画像内の何らかの歪み（程度のどれ程大きなものであっても）が各Ｗ×Ｗブロックの平均に影響を与えず隠れたままであるため、この平均化処理により、これらのメトリックには「ブラインド性」が生じることが分かる。結果として、当該歪みが検出されないままとなる。言い換えると、オリジナル画像および歪んだ画像が各Ｗ×Ｗブロックに関して同じ画素強度平均を有していた場合、近似バンドを考慮すると、重大な画像の劣化があったとしても歪みが全く検出されない。本明細書においては２×２ハール変換を用いるが、（３×３、４×４など）他のサイズのハール変換を用いることが出来、その場合であっても「ブラインド性」の課題が生じる。文脈より明らかである場合、２×２ハール変換を単にハール変換と呼ぶこともある。デジタル信号処理分野の当業者であれば、本明細書で示される本願発明を他のサイズのハール変換に適用させる方法を理解するであろう。
【００５９】
しかしこのことは、表ＩおよびＩＩを生成するのに用いられたＬＩＶＥ画像データベースなどの画像および動画の大規模なデータでテストを行うと、ＪＰＥＧおよびＪＰＥＧ２０００の符号化、ガウスブラー、ファーストフェージング、およびＨ．２６４圧縮などに特有の最も一般的な歪みに関し、典型的には課題とはならず、当該メトリックは非常に良好に機能する。これは、通常、画像が歪んでいる場合、平均、およびＷ×Ｗブロック内の高周波数が影響を受けるからである。
【００６０】
残念ながら、２×２ハール変換を用いる提案されるメトリックは、特定の種類の歪みに対してブラインド性を有する。例えば、Ｈ．２６４動画圧縮において一般的な動作である、４×４ＤＣＴ変換されたブロックの周波数係数を（量子化する、または抑制するなど）変化させる動作を考える。Ｎ＝２の分解レベルの場合、４×４のブロックに対してハール変換の動作が行われ、ＤＣ以外のこれらの周波数係数のいずれを変化させても測定される品質に対して影響を及ぼさない。なぜならば、４×４のブロックのＤＣのみがメトリック演算において考慮されるからである。このことは４×４ＤＣＴの定義、つまり、ＤＣ以外の周波数係数のいずれもが平均に影響を及ぼさないということから生じている。
【００６１】
さらに、４×４ＤＣＴ変換されたブロックを再び用いると、４×４ＤＣＴの対称性が原因となり、ブロック内の特定の周波数係数を変化させても、２×２ハール変換のＤＣに対して影響を及ぼさないことが分かる。結果として、分解レベルが１のハール変換に基づくメトリックは、これらの他の周波数係数または歪みの変化に対してブラインド性を有する。
【００６２】
付録にも、汎用のフル参照（ＦＲ）画像品質メトリック（ＩＱＭ）を演算するＤＷＴベースのフレームワークに関する完全な記述が示される。
【００６３】
図１は、品質指標ＩＱＭＤＷＴを決定するための離散ウェーブレットドメイン画像品質評価フレームワーク１０のブロック図を示す。離散ウェーブレットドメイン画像品質評価フレームワーク１０は、
−第１および第２のＮレベルＤＷＴモジュール１０２、１０４と、
−第１および第２の詳細サブバンドアグリゲーションモジュール１０６、１０８と、
−コントラストマップ生成モジュール１１０と、
−近似品質マップ／スコア演算モジュール１１２と、
−エッジ品質マップ／スコア演算モジュール１１４と
を含むＩＱＭ演算サブシステム１００、
−近似品質マッププーリングモジュール１１６、
−エッジマッププーリングモジュール１１８、および
−コンビネーションモジュール１２０を有する。
【００６４】
図１Ａは、品質指標ＩＱＭＤＷＴを決定するための対応する方法１４０のフローチャートを示す。方法１４０は、
１５２「ＮレベルのＤＷＴを実行」、
１５４「近似品質マップ（またはスコア）を計算」、
１５６「画像エッジの推定値を生成」、
１５８「エッジ品質マップ（またはスコア）を演算」、および
１６０「コントラストマップを条件付きで生成」の５段階からなる
１５０「ＩＱＭを演算」と、
１７０「加重プーリング（ｗｅｉｇｈｔｅｄ  ｐｏｏｌｉｎｇ）を条件付きで実行」と、
１８０「近似スコアおよびエッジスコアを組み合わせ」と
を含む。
【００６５】
グルーピング１５０「ＩＱＭを演算」を構成する５段階（１５２から１６０）は、図１のＩＱＭ演算サブシステム１００により実行される。
【００６６】
段階１５２「ＮレベルのＤＷＴを実行」において、第１および第２のＮレベルＤＷＴモジュール１０２、１０４により、参照画像Ｘおよび歪んだ画像Ｙの両方に対しＮレベルのＤＷＴ動作が実行される。ＮレベルのＤＷＴはハールウェーブレットフィルタに基づく。Ｎレベルの分解により、近似サブバンド
【数１】
0005928753.tif 000004
および
【数２】
0005928753.tif 000005
ならびに第１および第２の詳細サブバンドが得られる。
【００６７】
ハールウェーブレットは、Ｍ．Ｒ．Ｂｏｌｉｎ  ａｎｄ  Ｇ．Ｗ．Ｍｅｙｅｒ，"Ａ  ｖｉｓｕａｌ  ｄｉｆｆｅｒｅｎｃｅ  ｍｅｔｒｉｃ  ｆｏｒ  ｒｅａｌｉｓｔｉｃ  ｉｍａｇｅ  ｓｙｎｔｈｅｓｉｓ，"ｉｎ  Ｐｒｏｃ．ＳＰＩＥ  Ｈｕｍａｎ  Ｖｉｓｉｏｎ，Ｅｌｅｃｔｒｏｎ．Ｉｍａｇ．，ｖｏｌ．３６４４，Ｓａｎ  Ｊｏｓｅ，ＣＡ，１９９９，ｐｐ．１０６−１２０、およびＹ．−Ｋ．Ｌａｉ  ａｎｄ  Ｃ．−Ｃ．Ｊ．Ｋｕｏ，"Ａ  Ｈａａｒ  ｗａｖｅｌｅｔ  ａｐｐｒｏａｃｈ  ｔｏ  ｃｏｍｐｒｅｓｓｅｄ  ｉｍａｇｅ  ｑｕａｌｉｔｙ  ｍｅａｓｕｒｅｍｅｎｔ，"Ｊ．Ｖｉｓｕａｌ  Ｃｏｍｍｕｎ．Ｉｍａｇ．Ｒｅｐｒｅｓｅｎｔ．，ｖｏｌ．１１，ｎｏ．１，ｐｐ．１７−４０，Ｍａｒ．２０００に報告された品質評価および圧縮方法で従来より用いられている。本願発明のフレームワークにおいてハールフィルタを用いたのは、その単純性および良好な動作からである。ハールウェーブレットは他のウェーブレットと比較し、演算複雑性が非常に低い。さらに、本願発明のシミュレーションに基づくと、他のウェーブレットに基づいた方法よりも、ハールウェーブレットはより正確な品質スコアを示す。その理由は、対称性のハールフィルタは略直線的な位相を有するので、知覚される画像構造を維持することが出来るからである。またハールフィルタを用いれば、そのフィルタ長が短いが故に、画像に対する過度のフィルタリングを避けることが出来る。
【００６８】
ＳＳＩＭまたはＶＩＦなどの構造または情報論理的な目的で選択される分解レベルの数（Ｎ）は、１である。この理由は、分解のレベルが１より大きいと、近似サブバンドの解像度が指数関数的に減少し、非常に小さくなってしまうからである。結果として、当該サブバンドにおいて、多くの重要な画像構造または情報が失われてしまう。しかし、ＰＳＮＲおよび絶対差（ＡＤ）などのエラーベースのアプローチにおいて、求められる分解レベルＮの求め方を以下のように公式化することが出来る。高さｈを有するディスプレイから距離ｄを置いて画像を閲覧する場合、（Ｙ．Ｗａｎｇ，Ｊ．Ｏｓｔｅｒｍａｎｎ，ａｎｄ  Ｙ−Ｑ．Ｚｈａｎｇ，Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ．Ｎｅｗ  Ｊｅｒｓｅｙ：Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ，２００２で報告されるように）以下の数式を得ることが出来る。
【数３】
0005928753.tif 000006
ここで画像のサイズはＨ×Ｗであり、閲覧距離はｄ＝ｋ×ｈであり、ｋは、典型的な閲覧者は画像の高さのおよそ３倍の距離だけ離れて位置するので、典型的には３に設定される定数係数である。
【００６９】
「Ｎ」の導出に関しては、Ｓ．Ｒｅｚａｚａｄｅｈ  ａｎｄ  Ｓ．Ｃｏｕｌｏｍｂｅ，"Ａ  ｎｏｖｅｌ  ｄｉｓｃｒｅｔｅ  ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｆｕｌｌ  ｒｅｆｅｒｅｎｃｅ  ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ"ｉｎ  Ｓｉｇｎａｌ，Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｐｒｏｃｅｓｓｉｎｇ，ｐｐ．１−１５，Ｓｅｐｔｅｍｂｅｒ  ２０１１を参照されたい。当該文献は、本明細書に参照により組み込まれる。
【００７０】
近似品質マップ／スコア演算モジュール１１２により実行される段階１５４「近似品質マップ（またはスコア）を計算」において、品質マップ（またはマップ）は、
【数４】
0005928753.tif 000007
および
【数５】
0005928753.tif 000008
の近似サブバンド間にＩＱＭを適用することにより計算される。当該マップは、近似品質マップ（またはスコア）ＩＱＭＡと呼ぶ。ＳＳＩＭなどのマップベースのメトリックに関する品質マップがある。他方、（ＶＩＦなどの）品質スコアがある。ＳＳＩＭおよびＶＩＦなどの様々な品質メトリックに適用されるＩＱＭ演算の例は、以下に示す。
【００７１】
第１および第２の詳細サブバンドアグリゲーションモジュール１０６、１０８により実行される段階１５６「画像エッジの推定値を生成」において、画像エッジの第１および第２の推定値ＸＥおよびＹＥが参照画像Ｘおよび歪んだ画像Ｙのそれぞれに関し生成される。第１の詳細バンドのアグリゲーションが第１の詳細サブバンドアグリゲーションモジュール１０６により実行される。ＮレベルのＤＷＴが、第１の詳細サブバンドのアグリゲートを用いる画像に対し適用される場合、画像Ｘのエッジマップ（推定値）は、
【数６】
0005928753.tif 000009
として定義され、ここでＸＥはＸのエッジマップであり、ＸＥ，Ｌは数式（７）で定義されるように演算される、分解レベルＬでの画像エッジマップである。数式（７）において
【数７】
0005928753.tif 000010
、
【数８】
0005928753.tif 000011
、および
【数９】
0005928753.tif 000012
は、画像Ｘに関し分解レベルＬで得られる水平方向の、垂直方向の、および斜め方向の詳細サブバンドをそれぞれ指す。
【数１０】
0005928753.tif 000013
、
【数１１】
0005928753.tif 000014
、および
【数１２】
0005928753.tif 000015
は、（Ｎ−Ｌ）レベルのＤＷＴを
【数１３】
0005928753.tif 000016
、
【数１４】
0005928753.tif 000017
、および
【数１５】
0005928753.tif 000018
にそれぞれ適用することにより得られるウェーブレットパケット近似サブバンドである。パラメータμ、λ、およびψは定数である。ＨＶＳは水平方向の、および垂直方向のサブバンドに対し敏感に反応し、斜め方向のサブバンドに対しあまり敏感に反応しないので、水平方向の、および垂直方向のサブバンドに対してより大きな重みが与えられている。本明細書では、
【数１６】
0005928753.tif 000019
を提案する。これに基づくと、
【数１７】
0005928753.tif 000020
【数１８】
0005928753.tif 000021
の場合に数式（８）が満たされる。
【数１９】
0005928753.tif 000022
【数２０】
0005928753.tif 000023
【００７２】
ＹのエッジマップはＸのエッジマップと同様に定義される。
【００７３】
図２は、参照画像Ｘの２レベルの分解（Ｎ＝２）に関するウェーブレットサブバンドを示す例示的な図面２００である。図中、エッジマップの演算に関わる６個のサブバンドが太線の枠で示されている。エッジマップは画像エッジの推定値として用いることが意図されている。よって、全てのサブバンドを考慮に入れるのではなく、最も参考になるサブバンドがエッジマップの生成に用いられる。本願発明の方法において、３Ｎ個のエッジバンドのみ用いる。エッジマップの生成に全てのバンドを考慮に入れると、
【数２１】
0005928753.tif 000024
個のバンドを用いる必要がある。Ｎが２以上の場合、
【数２２】
0005928753.tif 000025
は３Ｎよりはるかに大きくなる。よって本願発明のエッジマップは、演算量を減らすのに役立つ。ここで用いるシミュレーションによると、エッジマップの計算において全ての画像サブバンドを考慮に入れたとしても、正確性の向上には大きく寄与しない。エッジマップは、画像の微細エッジ構造のみを反映する。
【００７４】
段階１５８「エッジ品質マップ（またはスコア）を演算」はエッジ品質マップ／スコア演算モジュール１１４により実行される。ＩＱＭ演算はエッジマップ
【数２３】
0005928753.tif 000026
および
【数２４】
0005928753.tif 000027
間に適用される。得られる品質マップ（またはスコア）は、エッジ品質マップ（またはスコア）ＩＱＭＥと呼ぶ。
【００７５】
ＡＤなどのいくつかのメトリックは、最終スコアを得るためにプーリングされる必要がある中間品質マップも生成する。段階１６０「コントラストマップを条件付きで生成」において、マップベースのメトリックが利用可能である場合、近似品質マップおよびエッジ品質マップをプーリングするべく、コントラストマップ関数を生成する。Ｚ．Ｗａｎｇ  ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ，Ｍｏｄｅｒｎ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ．ＵＳＡ：Ｍｏｒｇａｎ＆Ｃｌａｙｐｏｏｌ，２００６において示されるように、ＨＶＳがエッジに近い領域においてより敏感に反応することは周知である。よって、品質マップにおけるエッジ近くの画素は、より高い重要度が与えられるべきである。同時に、Ｚ．Ｗａｎｇ  ａｎｄ  Ｘ．Ｓｈａｎｇ，"Ｓｐａｔｉａｌ  Ｐｏｏｌｉｎｇ  Ｓｔｒａｔｅｇｉｅｓ  ｆｏｒ  Ｐｅｒｃｅｐｔｕａｌ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ，"ｉｎ  Ｐｒｏｃ．ＩＥＥＥ  Ｉｎｔ．Ｃｏｎｆ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，Ａｔｌａｎｔａ，ＧＡ，Ｏｃｔ．２００６，ｐｐ．２９４５−２９４８に説明されるように、エネルギーの高い（分散が大きい）領域は、より多くの、ＨＶＳの注意を引く情報を含む可能性が高い。よって、品質マップにおけるエネルギーの高い領域の画素も、より大きな重み（より高い重量度）を与えられるべきである。これらの事実に基づき、当該エッジマップと、演算された分散とを組み合わせ、コントラストマップ関数を生成することが出来る。コントラストマップは、エッジマップ
【数２５】
0005928753.tif 000028
および
【数２６】
0005928753.tif 000029
全体を（画素単位で）移動するローカルのガウススクエアウィンドウ（Ｇａｕｓｓｉａｎ  ｓｑｕａｒｅ  ｗｉｎｄｏｗ）内でコントラストマップ生成モジュール１１０により演算される。Ｚ．Ｗａｎｇ，Ａ．Ｂｏｖｉｋ，Ｈ．Ｓｈｅｉｋｈ，ａｎｄ  Ｅ．Ｓｉｍｏｎｃｅｌｌｉ，"Ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ：  Ｆｒｏｍ  ｅｒｒｏｒ  ｖｉｓｉｂｉｌｉｔｙ  ｔｏ  ｓｔｒｕｃｔｕｒａｌ  ｓｉｍｉｌａｒｉｔｙ，"ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．１３，ｎｏ．４，ｐｐ．６００−６１２，Ａｐｒ．２００４で説明されるように、本明細書ではユニットサムに正規化された１．５個のサンプルの標準偏差を用いてガウススライドウィンドウ
【数２７】
0005928753.tif 000030
を定義する。ここでは、係数の数Ｋを１６、４×４ウィンドウとして設定する。このウィンドウサイズは大きすぎず、かつ、正確な局所統計量を提供できる。コントラストマップは以下のように定義される。
【数２８】
0005928753.tif 000031
【数２９】
0005928753.tif 000032
【数３０】
0005928753.tif 000033
ここで、
【数３１】
0005928753.tif 000034
および
【数３２】
0005928753.tif 000035
は、スライドウィンドウ内の
【数３３】
0005928753.tif 000036
および
【数３４】
0005928753.tif 000037
の画像パッチを指す。コントラストマップは、品質マップのプーリングに用いる加重関数を生成するべく、オリジナル画像の統計のみを利用する。
【００７６】
図３Ａは典型的なオリジナル画像を示し、図３Ｂは図３Ａのオリジナル画像に関する、数式（９）により得られるリサイズされたコントラストマップを示す。コントラストマップのサンプル値は説明を単純化するべく、［０，２５５］の間とした。図３Ａおよび３Ｂから分かるように、コントラストマップはエッジおよび、ＨＶＳにとって重要な画像構造を明確に示す。コントラストマップにおけるより明るい（より高い）サンプル値は、ＨＶＳにとってより重要であり、かつ、画像品質を判断するのに重要な役割を果たす画像構造を示す。
【００７７】
マップベースのメトリックのみに関し、近似品質マップＩＱＭＡおよびエッジ品質マップＩＱＭＥの加重プーリングを行うべく、段階１７０「加重プーリングを条件付きで実行」において数式（９）のコントラストマップを用いた。
【数３５】
0005928753.tif 000038
【数３６】
0005928753.tif 000039
ここで、コントラストマップ関数の
【数３７】
0005928753.tif 000040
および
【数３８】
0005928753.tif 000041
は、ｊ番目のローカルウィンドウの画像パッチを指し、品質マップ（またはスコア）の項の
【数３９】
0005928753.tif 000042
、
【数４０】
0005928753.tif 000043
、
【数４１】
0005928753.tif 000044
、および
【数４２】
0005928753.tif 000045
は、ｊ番目のローカルウィンドウ位置の画像パッチ（または画素）であり、Ｍは品質マップ内のサンプル（画素）数であり、ＳＡおよびＳＥは、近似品質スコアおよびエッジ品質スコアをそれぞれ示す。
【００７８】
ＰＳＮＲなどの非マップベースのメトリックに関しては、段階１７０「加重プーリングを条件付きで実行」は単にコピーする処理であるので、ＳＡ＝ＩＱＭＡ、およびＳＥ＝ＩＱＭＥとなる。
【００７９】
コンビネーションモジュール１２０により実行される段階１８０「近似スコアおよびエッジスコアを組み合わせ」において、数式（１４）で定義されるように近似品質スコアおよびエッジ品質スコアが線形的に組み合わせられ、画像Ｘ、Ｙ間の全体的な品質スコアＩＱＭＤＷＴが得られる。
【数４３】
0005928753.tif 000046
ここでＩＱＭＤＷＴは画像間の最終的な品質スコアであり、βは定数である。近似サブバンドは主要画像のコンテンツを含むので、近似品質スコア（ＳＡ）に対しより高い重要度を付与すべく、βは１に近い値でなくてはならない。本明細書のシミュレーションにおいてはβを０．８５に設定する。このことが意味するのは、近似品質スコアが最終的な品質スコアの８５％を構成し、エッジ品質スコアが構成するのは１５％だけであるということである。
【００８０】
フレームワークの適用例
以下、異なる様々な品質評価方法へのフレームワークの適用例を説明する。ＰＳＮＲのアプローチは、エラーベース（ボトムアップ）のカテゴリーで説明する。ここでＡＤメトリックは、マップベースのメトリックの例であり、ＰＳＮＲは非マップベースのメトリックの例である。
【００８１】
ＰＳＮＲ
従来のＰＳＮＲおよび平均平方エラー（ＭＳＥ）は数式（３２）および（３３）に示すように定義される。
【数４４】
0005928753.tif 000047
【数４５】
0005928753.tif 000048
ここでＸおよびＹはそれぞれ、参照画像および歪んだ画像を指し、Ｘｍａｘは参照画像Ｘの最大可能画素値であり（最小画素値はゼロであるとする）、ＮＰは、各画像の画素数である。ＰＳＮＲはデシベル（ｄＢ）単位で容易に品質を演算できるその能力が故によく用いられるが、画像忠実度に関する人の知覚を十分には反映できない。Ｎ．Ｄａｍｅｒａ−Ｖｅｎｋａｔａ，Ｔ．Ｄ．Ｋｉｔｅ，Ｗ．Ｓ．Ｇｅｉｓｌｅｒ，Ｂ．Ｌ．Ｅｖａｎｓ，ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ，"Ｉｍａｇｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ｂａｓｅｄ  ｏｎ  ａ  ｄｅｇｒａｄａｔｉｏｎ  ｍｏｄｅｌ，"ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．９，ｎｏ．４，ｐｐ．６３６−６５０，Ａｐｒ．２０００において共に提案されるｗＳＮＲ［６］およびＮＱＭ、並びに、Ｄ．Ｍ．Ｃｈａｎｄｌｅｒ  ａｎｄ  Ｓ．Ｓ．Ｈｅｍａｍｉ，"ＶＳＮＲ：Ａ  ｗａｖｅｌｅｔ−ｂａｓｅｄ  ｖｉｓｕａｌ  ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ  ｆｏｒ  ｎａｔｕｒａｌ  ｉｍａｇｅｓ，"ＩＥＥＥ  Ｔｒａｎｓ．Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，ｖｏｌ．１６，ｎｏ．９，ｐｐ．２２８４−２２９８，Ｓｅｐｔ．２００７において提案されるＶＳＮＲなどの他のエラーベースの技術は人の知覚システム（ＨＶＳ）パラメータを演算するべく洗練された手順を行うので、用いるのがより複雑である。以下において、提案されたフレームワークを用いて離散ウェーブレットドメインで正確にＰＳＮＲベースの品質を計算する方法を説明する。
【００８２】
第１段階では、ＰＳＮＲＤＷＴ値を計算するのに必要な適切な分解レベル（Ｎ）の数を決定する。この数字は、数式（５）を用いて計算することが出来る。
【００８３】
数式（５）は、ＩＶＣデータベースに関し、分解レベルの適切な数を演算するのに用いられる。当該データベースについては、ｋは６である。よって、
【数４６】
0005928753.tif 000049
【００８４】
ＬＣＣは、βの小さな変化に対してあまり敏感に反応しない。つまり、提案されるβ＝０．８５を用いることにより、異なる画像データベースに亘る品質予測における最適なβの値と比較し、ＰＳＮＲＤＷＴの性能は大きな影響を受けない。
【００８５】
第２段階において、画像Ｘ、Ｙのエッジマップ関数が数式（６）により演算される。その後、数式（３５）および数式（３６）に定義されるように、数式（３２）を用いて、近似品質スコアＰＳＮＲＡおよびエッジ品質スコアＰＳＮＲＥが計算される。
【数４７】
0005928753.tif 000050
【数４８】
0005928753.tif 000051
【００８６】
最後に、数式（１４）に従って近似品質スコアおよびエッジ品質スコアを組み合わせることにより、全体の品質スコアＰＳＮＲＤＷＴが演算される。
【数４９】
0005928753.tif 000052
ここでＰＳＮＲＤＷＴにより、画像の、ｄＢの単位で示される最終的な品質スコア、つまり品質指標が表される。
【００８７】
絶対差（ＡＤ）  図１の提案されたフレームワークの性能をより一般的に検証すべく、画像のＡＤをＩＱＭとして見なした場合にどのように機能するかを調べるのが適切であろう。前述の例と同じく、ＡＤＤＷＴの値を計算するには、必要とされる分解レベルの数を知る必要がある。
【００８８】
このマップベースの方法の第２段階において、近似ＡＤマップＡＤＡが、ＸおよびＹの近似サブバンド間で計算される。
【数５０】
0005928753.tif 000053
ここで（ｍ，ｎ）は近似サブバンドにおけるサンプル位置を示す。
【００８９】
第３段階において、数式（６）および（７）においてエッジマップ関数画像Ｘ、Ｙが定義され、エッジＡＤマップＡＤＥが次の段階においてエッジマップＸＥ、ＹＥ間で計算される。
【数５１】
0005928753.tif 000054
【００９０】
第４段階において、数式（９）を用いてコントラストマップが得られ、その後、コントラストマップを用いてＡＤＡおよびＡＤＥプーリングされて、近似品質スコアおよびエッジ品質スコアＳＡ、ＳＥを計算する。
【数５２】
0005928753.tif 000055
【数５３】
0005928753.tif 000056
【００９１】
最終的な品質スコアＡＤＤＷＴが数式（４２）を用いて計算される。
【数５４】
0005928753.tif 000057
【００９２】
解決する課題の詳細な分析  ４×４のブロックにセグメント化された画像を考える。各ブロックに対して４×４ＤＣＴ変換が行われ、その周波数係数の変更が行われる。この変更には、量子化、抑制（ゼロの設定）などが含まれ得る。そのような動作はＨ．２６４圧縮において一般的に行われている。
【００９３】
図４は、Ｈ．２６４圧縮で用いられる４×４ＤＣＴベーシスを生成し、表示するためのＭａｔｌａｂのコードフラグメント９００を示す。
【００９４】
図５は、任意のスケールで計算される、図４の４×４ＤＣＴベーシスの結果を表す数値配列１０００を示し、４×４の極太線の枠の各四角形内に数値パターンを示している。左上の位置の四角形（符号１００２）は、一定の画素レベルを表す、ＤＣベーシスに対応する。図５は、４×４の各四角形内の１６個の値から成る水平方向および垂直方向の周波数パターンの様々な組み合わせを示す。
【００９５】
各パターンの四角形は、ＤＣ成分に対応する左上のパターン四角形１００２を除いて、定義上平均がゼロである１６の数値を含む。よって、レベル２の２×２ハール変換に関する近似バンドが４×４のブロックにおいて平均となるので、４×４のブロック上で動作する分解レベルが２のハール変換を用いた場合、提案されたメトリックは、これらのパターンのいずれかを合計することによっては歪みを検出することが出来ない。
【００９６】
さらに、これらの、各２×２サブブロック上のパターンのそれぞれの平均を同じくＭａｔｌａｂコードを用いて演算すると以下の「ｓｙｍ」で示す配列において「１」で示される、２×２サブブロックのそれぞれに対してゼロの平均を有するのがどの係数であるかを示すマスクを得ることが出来る。
【数５５】
0005928753.tif 000058
【００９７】
このことは、３番目の列（符号１００４）および３番目の行（符号１００６）における２×２サブブロックのそれぞれの合計がゼロとなることを示す図５から直接的に判断することも出来る。
【００９８】
２×２ハール変換の利用に基づくメトリックは、３番目の行または３番目の列の周波数係数に影響を与えるいかなる変更に対してもブラインド性を有する。
【００９９】
２×２ハール変換の近似バンドはそのような画像パターン（つまり、３番目の行または３番目の列におけるＤＣＴベーシスの周波数係数と関連付けられた画素パターン）に対しブラインド性を有しており、変換に属する他のブロック動作は、特定の画像パターンに対してブラインド性を有している（前述の例においては、近似バンドにおいて、ブロック動作はブロック内の画素の平均を演算する。）。ブロック動作Ｔに関して、認識され得ない、つまりＴがブラインド性を有する画像のブロックパターンの組は、Ｔ（Ｂ）がゼロ、または実質的にゼロであるブロックＢの組として定義される。本明細書では、このセット「Ｎｕｌｌ（Ｔ）」を、ベクトル空間を扱う際のゼロ空間の概念と類似しているので、ゼロ空間と呼ぶ。実際、ゼロ空間は、特定の線形変換においてゼロ、または実質的にゼロにマッピングされるベクトルを有するベクトル空間のサブ空間である。よって、次のように定義する。
Ｎｕｌｌ（Ｔ）＝｛Ｂ｜Ｔ（Ｂ）＝０｝。
【０１００】
ＣをＢ、並びにその水平方向の、垂直方向の、および斜め方向の繰り返しから成るブロックとする。数学的には以下のようになる。
【数５６】
0005928753.tif 000059
例えば、
【数５７】
0005928753.tif 000060
の場合、
【数５８】
0005928753.tif 000061
【０１０１】
Ｓ＝（ｓｘ，ｓｙ）を空間シフトとし、Ｂ'を、位置Ｓから始まり、Ｂと同じディメンション（つまり、Ｗ×Ｗのサイズ）のＣから導出されるブロックとする。次のようになる。
０からＷ−１の範囲のｉ、ｊに対しＢ'（ｉ，ｊ）＝Ｃ（ｉ＋ｓｘ，ｊ＋ｓｙ）。
ここで、ｓｘおよびｓｙは両方が１からＷ−１の範囲である。
【０１０２】
上述の例において、Ｓ＝（１，１）とすると、
【数５９】
0005928753.tif 000062
が得られる。
【０１０３】
本明細書ではＢの繰り返しに対するこの空間シフト動作をＲ（Ｂ，Ｓ）で示す。ここでＢはフロックであり、Ｓは空間シフトである。よって次のようになる。Ｂ'＝Ｒ（Ｂ，Ｓ）。
【０１０４】
ここで求められるのは、空間シフトにおいてＮｕｌｌ（Ｔ）のうち出来る限り多くの要素が認識される（つまり、空間シフトされた画像に適用されるブロック変換が以後ブラインドとならない）空間シフトＳを選択することである。理想的には、（Ｂがいずれの位置においてもゼロである場合を除き）Ｎｕｌｌ（Ｔ）の各要素Ｂに対しＴ（Ｒ（Ｂ，Ｓ））がゼロとならないような空間シフトＳを選択することが求められる。
【０１０５】
上述の４×４ＤＣＴベーシスの例において、Ｓ＝（１，１）の空間シフトを適用した場合、２×２ハール変換の近似バンドは周波数係数の３番目の行または３番目の列に対してブラインド性を有さない。他のブロック動作に関し、変換処理のブラインド性を低減し、また多くの場合最小限とする空間シフト値が決定され得る。
【０１０６】
一般的に、変換処理は画像の変換において、変換される画像に関する全ての情報を含まないブラインド性を有しており、その結果、変換処理の間、画像の特定のパターンが認識されず、上述した特定のパターンが、空間シフトされたバージョンＸ２、Ｙ２に適用される変換処理の間、検出可能となるよう、空間シフトが選択される。
【０１０７】
空間シフト
本願発明の実施形態によると、水平方向および垂直方向の空間シフトは、「ブラインド性」を軽減すべく、ハールベースの視覚品質メトリックを演算するための画像におけるＷ×Ｗ画素ブロックのブロック列に導入され、これにより視覚品質メトリック計算の正確性およびロバスト性を向上させる。
【０１０８】
空間シフトは、四角形の画素ブロックの平均の利用に基づくロバストな品質メトリックを導出すべく用いられても有用である。
【０１０９】
図６は、２つの品質評価モジュール１１０２（１１０２．１および１１０２．２）、空間シフトモジュール１１０４、および最終スコア演算モジュール１１０６を含む第１の品質メトリック演算システム１１００を示す。
【０１１０】
図７は、第１の品質メトリック演算システム１１００で用いられるのと同じモジュールの異なる構成である、第２の品質メトリック演算システム１２００を示す。第２の品質メトリック演算システム１２００は、２つの品質評価モジュール１１０２（１１０２．１および１１０２．２）、２つの空間シフトモジュール１１０４（１１０４．１および１１０４．２）、および最終スコア演算モジュール１１０６を含む。
【０１１１】
図８は、第１の品質メトリック演算システム１１００で用いられるのと同じモジュールのうちいくつかのさらに異なる構成である第３の品質メトリック演算システム１３００を示す。第３の品質メトリック演算システム１３００は、品質評価モジュール１１０２および空間シフトモジュール１１０４を含む。
【０１１２】
３つの品質メトリック演算システム１１００、１２００、１３００の全ては、オリジナル画像Ｘおよび歪んだ画像Ｙの２つの画像を処理することにより、最終的な品質スコアＳｆが演算される点で共通している。空間シフトモジュール１１０４は、画像フレームに対し、水平方向および垂直方向に予め定められた量、または画素数だけ、オリジナル画像Ｘおよび歪んだ画像Ｙの両方の画素をシフトさせる一般的な機能を有する。品質評価モジュール１１０２は、オリジナル画像Ｘと歪んだ画像Ｙとを比較し、または２つの画像のシフトされたバージョン同士を比較し、品質メトリックＱを生成する機能を有する。最終スコア演算モジュール１１０６を用いて、２つの品質評価モジュール１１０２からの品質メトリックが組み合わせられる。
【０１１３】
空間シフトを行うことにより、画像から異なる複数の画素が変換ブロックのために選択されることとなる。異なるようにシフトされたソース画像を用いて演算された品質メトリックを組み合わせることにより、上述したハールベースのメトリックの「ブラインド性」が解消され得る。
【０１１４】
本願発明の一実施形態によると、空間シフトは、メトリックが図８の第３の品質メトリック演算システム１３００に示されるＨ．２６４で用いられる４×４のブロック列と整列しないように、水平方向および垂直方向に単純に適用される。
【０１１５】
４×４のブロック列がどこに位置しているかわからない場合における利用のために設計された他の実施形態において、図６および７に示されるように両方が水平方向および垂直方向の奇数の番号であるのが好ましい、空間シフトにより分け隔てられた２つの位置においてメトリックが演算される。図６の実施形態において、２つの位置のうちの１つは、原点（当該位置においては空間シフトが行われない）であり、両方の空間シフトは図７の実施形態において任意で選択される。
【０１１６】
図６に好ましい実施形態を示す。Ｗ×Ｗブロックに対し、両方とも１および（Ｗ／２−１）のうち大きい方が選択される、第１および第２の所定量（画素数）の水平方向および垂直方向の空間シフトが行われる。このことは、品質メトリック適用例の略五点形パターンに対応する。第１の品質評価において、ブロックが０だけシフトされる。第２の品質評価において、ブロックが（ｘ，ｙ）だけシフトされる。五点形は、（ｘ，ｙ）だけシフトされたバージョンのブロックの画素コンテンツと、０だけシフトされたブロックとの差異が最大となるパターンである。ブロックサイズがＷである場合、（ｘ，ｙ）＝（Ｗ／２，Ｗ／２）の時に差異が最大となる。空間シフトされたパターンを略五点形とするのは、（ｘ，ｙ）を（Ｗ／２，Ｗ／２）の近くとすることにより最大の差異の特性を得たいが、ハール変換に関する課題を生じさせ得る対称性を避けるべく奇数のｘおよびｙを得たくもあるからである。
【０１１７】
これらの２つのメトリックの結果が平均化されるか、または、メトリックの個々の適用により得られる最大の歪みの値が選択され、最終的な結果が得られる。
【０１１８】
シミュレーションの結果は、これらの代替的な方法により、全体的な正確性に影響を及ぼすことなくメトリックのロバスト性が向上することを示す。以下の実験結果を参照されたい。
【０１１９】
上述の図８の品質メトリック演算システム１３００は、オリジナルのメトリックと同程度の演算複雑性を有する。
【０１２０】
図６および７の品質メトリック演算システム１１００、１２００は、品質メトリック演算システム１３００と比較して２倍の演算複雑性を有するが、その複雑性は、ＳＳＩＭおよびＶＩＦなどの他の正確な視覚品質メトリックと比較してはるかに低い。
【０１２１】
品質メトリック演算システム１１００は品質評価モジュール１１０２．１を用いて、オリジナル画像Ｘと歪んだ画像Ｙとの間の品質スコアＱ１を演算する。さらに、品質メトリック演算システム１１００は品質評価モジュール１１０２．２を用いて、空間シフトモジュール１１０４により生成されたそれぞれオリジナル画像Ｘおよび歪んだ画像Ｙの空間シフトされたバージョンであるシフトされた画像Ｘ２、Ｙ２間の品質スコアＱ２を演算する。数式で表すと、
Ｘ２（ｍ，ｎ）＝Ｘ（ｍ＋ｓ２，ｘ，ｎ＋ｓ２，ｙ）
Ｙ２（ｍ，ｎ）＝Ｙ（ｍ＋ｓ２，ｘ，ｎ＋ｓ２，ｙ）
ここで（ｍ，ｎ）は画像内の画素位置であり、ｓ２，ｘは空間シフトモジュール１１０４による水平方向のシフトであり、ｓ２，ｙは空間シフトモジュール１１０４による垂直方向のシフトである。
Ｑ１＝ＶＱＭ（Ｘ，Ｙ）
Ｑ２＝ＶＱＭ（Ｘ２，Ｙ２）
ここでＶＱＭ（Ｘ，Ｙ）は、品質評価モジュール１１０２．１により、画像Ｘ、Ｙから品質評価を実行する視覚品質メトリック関数である。ＶＱＭ（Ｘ２，Ｙ２）は、品質評価モジュールにより、シフトされた画像Ｘ２、Ｙ２から品質評価を実行する視覚品質メトリック関数である。ＶＱＭはＳＳＩＭ、ＰＳＮＲＡなどのうちいずれかの品質メトリックであってよい。
【０１２２】
最終的な品質スコア、または品質指標ＳｆはＱ１およびＱ２に基づき最終スコア演算モジュール１１０６により演算される。最終スコアはＱ１およびＱ２の加重合計を用いて、最小値を用いて、または状況に応じて他の適切な動作により演算され得る。
【０１２３】
加重合計は以下のように演算され得る。Ｓｆ＝ａ（Ｑ１）＋（１−ａ）（Ｑ２）。ここで０≦ａ≦１である。
【０１２４】
特別な場合において、平均値はａ＝０．５と設定することにより得られる。
【０１２５】
加重合計は、各品質スコアに対し異なるレベルの重要度を割り当てる際に有用である。
【０１２６】
最小値は以下のように演算され得る。
Ｓｆ＝Ｍｉｎ（Ｑ１，Ｑ２）。
【０１２７】
最小値は、２つの品質スコアのうち最も低い方を採用するのに有用である。
【０１２８】
より複雑な動作  場合によっては最終スコアは、より複雑な、品質スコアの関数であるのが有利である。例えば、ＰＳＮＲＡ＝１０ｌｏｇ１０（（２Ｌ（２５５））２／ｍｓｅ）の場合、組み合わせられる品質スコアはｍｓｅである。そして以下のようになる。
Ｑ１＝ｍｓｅ１
Ｑ２＝ｍｓｅ２
そして、いくつかの選択肢から選択することが可能である。
ｍｓｅ＝Ｍａｘ（Ｑ１，Ｑ２）
ｍｓｅ＝ａ（Ｑ１）＋（１−ａ）（Ｑ２）（０≦ａ≦１）
例えばａ＝０．５の場合、ｍｓｅ＝（０．５）（Ｑ１）＋（０．５）（Ｑ２）
Ｓｆ＝１０ｌｏｇ１０（（２Ｌ（２５５））２／ｍｓｅ）。
ここでＬはＰＳＮＲＡにおける分解レベルの数であり、ｍｓｅは平均平方誤差を表し、以下のように定義される。
【数６０】
0005928753.tif 000063
ここでＭおよびＮは画像のディメンションである。
【０１２９】
空間シフトｓ２，ｘ、ｓ２，ｙの特定の値は、メトリックの歪みに対するロバスト性を向上させるのに有用である。例えば、４×４離散コサイン変換（ＤＣＴ）がＨ．２６４動画圧縮で用いられる。しばしば、画素のＤＣＴ変換されたブロックの高周波数係数は、Ｈ．２６４での圧縮率を高めるべく高度に量子化される。しかしこれにより、歪みが生じる。残念ながら、上記の説明より分かるように、Ｈ．２６４圧縮の４×４ＤＣＴと整列させられた４×４のブロック上で動作する（デフォルト設定である）、分解レベルが２の２×２ハール変換を用いたときのＰＳＮＲＡメトリックは、４×４の各ブロック内の平均画素値を変化させないので、これらの歪みを検出できない。
【０１３０】
課題の解決手段は、分解レベルが２の２×２ハール変換がＨ．２６４の４×４ＤＣＴブロックと整列しないようにするだけではなく、このように整列しないことにより、偶数の対称性を有する４×４ＤＣＴ係数が、どのレベルのハール変換（つまり、Ｗが２の累乗であり、Ｗ×Ｗブロックのいずれかの平均）においても検出されないままでいることを許可しないように、水平方向および垂直方向に奇数の空間シフトを用いることである。
【０１３１】
よってＰＳＮＲＡについて、ハール変換のＷのブロックサイズに関してシフト値を最大（１，Ｗ／２−１）に設定するのが好ましい。品質メトリックを２度演算し、本明細書で説明するように２度目の演算は、適切に選択されるシフトされた位置から適用されることにより、両方のメトリックが、特定の対称パターンを有する歪みを見逃すことを避けることが出来る。このことは、例えば画像がＨ．２６４で符号化および復号化され、その後クロップ（ｃｒｏｐ）された場合において、４×４ＤＣＴ変換の実際の整列が知られてないなど、存在する可能性のある歪みの整列が知られてない場合において特に有用である。
【０１３２】
品質メトリック演算システム１２００は、ここでも品質評価モジュール１１０２．１を用い、空間シフトモジュール１１０４．１により生成されたそれぞれオリジナル画像Ｘおよび歪んだ画像Ｙの空間シフトされたバージョンであるシフトされた画像Ｘ１、Ｙ１間の品質スコアＱ１ｓを演算する。さらに、品質メトリック演算システム１２００は、品質評価モジュール１１０２．２を用いて、空間シフトモジュール１１０４．２により生成されたそれぞれオリジナル画像Ｘおよび歪んだ画像Ｙの空間シフトされたバージョンであるシフトされた画像Ｘ２、Ｙ２間の品質スコアＱ２Ｓを演算する。数式で表すと、
Ｘ１（ｍ，ｎ）＝Ｘ（ｍ＋ｓ１，ｘ，ｎ＋ｓ１，ｙ）
Ｙ１（ｍ，ｎ）＝Ｙ（ｍ＋ｓ１，ｘ，ｎ＋ｓ１，ｙ）
Ｘ２（ｍ，ｎ）＝Ｘ（ｍ＋ｓ２，ｘ，ｎ＋ｓ２，ｙ）
Ｙ２（ｍ，ｎ）＝Ｙ（ｍ＋ｓ２，ｘ，ｎ＋ｓ２，ｙ）
ここで（ｍ，ｎ）は画像内の画素位置であり、ｓ１，ｘは空間シフトモジュール１１０２．１による水平方向のシフトであり、ｓ１，ｙは空間シフトモジュール１１０２．１による垂直方向のシフトであり、ｓ２，ｘは空間シフトモジュール１１０２．２による水平方向のシフトであり、ｓ２，ｙは空間シフトモジュール１１０２．２による垂直方向のシフトである。
Ｑ１ｓ＝ＶＱＭ（Ｘ１，Ｙ１）
Ｑ２ｓ＝ＶＱＭ（Ｘ２，Ｙ２）
ここでＶＱＭ（Ｘ，Ｙ）は上述したとおりである。
【０１３３】
Ｑ１ｓおよびＱ２ｓに基づき、最終スコア演算モジュール１１０６により最終的な品質スコアＳｆが演算される。このことは上述した通りである。
【０１３４】
空間シフトに関して図６を参照して述べた説明がここでも当てはまる。さらに、空間シフトｓ１，ｘ、ｓ１，ｙ、ｓ２，ｘ、２，ｙの特定の値は、メトリックの歪みに対するロバスト性を向上させるのに非常に有用である。ＰＳＮＲＡに関し、シフト値ｓ１，ｘ、ｓ２，ｘ間の差が奇数であり、シフト値ｓ１，ｙ、ｓ２，ｙ間の差も奇数であることが好ましい。さらに、ハール変換のブロックサイズＷに関し、ｓ１，ｘ−ｓ２，ｘ＝ｓ１，ｙ−ｓ２，ｙ＝ｍａｘ（１，Ｗ／２−１）が満たされるのが好ましい。
【０１３５】
品質メトリック演算システム１３００は品質評価モジュール１１０２を用いて、空間シフトモジュール１１０４により生成されたそれぞれオリジナル画像Ｘおよび歪んだ画像Ｙの空間シフトされたバージョンである画像Ｘ１およびＹ１の間の品質スコアＱ１ｓを演算する。
【０１３６】
数式で表すと、
Ｘ１（ｍ，ｎ）＝Ｘ（ｍ＋ｓ１，ｘ，ｎ＋ｓ１，ｙ）
Ｙ１（ｍ，ｎ）＝Ｙ（ｍ＋ｓ１，ｘ，ｎ＋ｓ１，ｙ）
ここで（ｍ，ｎ）は画像内の画素位置であり、ｓ１，ｘは空間シフトモジュール１１０４による水平方向のシフト値であり、ｓ１，ｙは空間シフトモジュール１１０４による垂直方向のシフト値である。Ｑ１ｓ＝ＶＱＭ（Ｘ，Ｙ）ここでＶＱＭ（Ｘ，Ｙ）は上述した通りである。
【０１３７】
最終的な品質スコア、または品質指標Ｓｆ＝Ｑ１ｓである。
【０１３８】
空間シフトに関して図６を参照して述べた説明がここでも当てはまる。ここで、メトリックは一度のみ演算されるが、歪みとの整列を避けるべく、空間シフトが適用される。このことは、歪みの整列が知られており、例えば４×４ＤＣＴ変換が偶数の位置にあることが知られている場合に、奇数のシフトを適用するのが有利である時に、特に有用である。ＰＳＮＲＡに関し、１のシフト値が好ましい。
【０１３９】
本願発明の他の実施形態は、ＰＳＮＲＡのためにオリジナル画像Ｘおよび歪んだ画像Ｙの空間シフトにより生成される、位置のより多くの組み合わせの同様の利用に基づく。画像および当該画像のシフトされたバージョンを組み合わせた利用に関する同様の方法が、ハール以外の他のウェーブレットベースのメトリック、および他のハール変換のサイズに適用されてもよい。位置のより多くの組み合わせ、つまりシフトされた場所の利用により、状況によっては、演算複雑性が高くなるマイナス面はあるが、ロバスト性が向上しうる。デジタル信号処理分野の当業者であれば、対象となる適用例に応じて本明細書に提示される本願発明を他のハール変換のサイズ、およびウェーブレットに適用する方法を理解するであろう。
【０１４０】
図９は、図６の第１の品質メトリック演算システム１１００好ましい実施例としての離散ウェーブレットドメイン画像品質評価システム１４００の一実施形態のブロック図を示す。離散ウェーブレットドメイン画像品質評価システム１４００は、それぞれが図１のＩＱＭ演算サブシステム１００に対応する第１および第２のＩＱＭ演算サブシステム１００．１、１００．２、図６の空間シフトモジュール１１０４、近似品質プーリング共通モジュール１４０２、エッジ品質マッププーリング共通モジュール１４０４、図１のコンビネーションモジュール１２０と同等である図６の最終スコア演算モジュール１１０６を備える。
【０１４１】
離散ウェーブレットドメイン画像品質評価システム１４００へ入力されるのは、参照（オリジナル）画像Ｘ、および歪んだ画像Ｙであり、図６に示すようにシステム１４００からの最終的な出力は、最終的な品質スコアＳｆである。
【０１４２】
空間シフトモジュール１１０４は、オリジナル画像Ｘの空間シフトされたバージョンＸ２を生成するシフトＸモジュール１４０６および、オリジナル画像Ｙの空間シフトされたバージョンＹ２を生成するシフトＹモジュール１４０８を含む。
【０１４３】
第１のＩＱＭ演算サブシステム１００．１は、画像Ｘ、Ｙの比較に基づき、第１の近似品質マップ（またはスコア）ＩＱＭＡ、第１のエッジ品質マップ（スコア）ＩＱＭＥ、および任意選択的に「コントラスト」とラベルが付された第１のコントラストマップを演算する。同様に、第２のＩＱＭ演算サブシステム１００．２は、画像Ｘ、Ｙのそれぞれの空間シフトされたバージョンＸ２、Ｙ２に基づき、第２の近似品質マップ（またはスコア）ＩＱＭ'Ａ、第２のエッジ品質マップ（スコア）ＩＱＭ'Ｅ、および任意選択的に「コントラスト'」とラベルが付された第２のコントラストマップを演算する。近似サブバンドの第１および第２の近似品質マップ（スコア）ＩＱＭＡ、ＩＱＭ'Ａは、近似品質プーリング共通モジュール１４０２により組み合わせられる。詳細サブバンドの第１および第２のエッジ品質マップ（スコア）ＩＱＭＥ、ＩＱＭ'Ｅは、エッジ品質マッププーリング共通モジュール１４０４により組み合わせられる。
【０１４４】
近似品質プーリング共通モジュール１４０２およびエッジ品質マッププーリング共通モジュール１４０４の両方が任意選択的にコントラストマップ「コントラスト」および「コントラスト'」を受け付け、近似品質スコアＳＡおよびエッジ品質スコアＳＥのそれぞれを最終スコア演算モジュール１１０６へ出力し、最終スコア演算モジュール１１０６はそれらを組み合わせ、最終的な品質指標とも呼ぶ、最終スコアＳｆを生成する。
【０１４５】
空間シフトモジュール１１０４により実行される空間シフト動作の後に第２のＩＱＭ演算サブシステム１００．２に入力されるのは、
Ｘ２（ｍ，ｎ）＝Ｘ（ｍ＋ｓｘ，ｎ＋ｓｙ）
Ｙ２（ｍ，ｎ）＝Ｙ（ｍ＋ｓｘ，ｎ＋ｓｙ）
である。
【０１４６】
図１０は、歪んだ画像の空間シフトされたバージョンの、対応するオリジナル画像の等しく空間シフトされたバージョンとの比較と組み合わせて、対応するオリジナル画像との比較により、歪んだ画像の品質指標である組み合わせられたスコアを演算する方法１５００のフローチャートを、図９のシステムブロック図と関連付けたシーケンスチャートで示す。
【０１４７】
方法１５００は、
１５０２「オリジナル画像および歪んだ画像に対し５段階を実行」と、
１５０４「オリジナル画像に対し空間シフトを適用」と、
１５０６「歪んだ画像に対し空間シフトを適用」と、
１５０８「空間シフトされた画像に対し５段階を実行」と、
１５１０「共通加重プーリングを条件付きで実行」と、
１５１２「最終的な品質スコアを演算」と
を含む。
【０１４８】
シフトされた画像Ｘ２、Ｙ２を第２のＩＱＭ演算サブシステム１００．２へ提供するべく、空間シフトモジュール１１０４により最初の空間シフトを実行することを除き、各サブシステムは、段階１５１２「最終的な品質スコアを演算」を除き、前述した図１のＩＱＭ演算サブシステム１００と同じである。したがって、方法１５００は、図１Ａの段階１５２〜１６０の５段階と実質的に同じ５段階をそれぞれ含む、第１の段階グループ１５０２および第２の段階グループ１５０８を含む。
【０１４９】
オリジナル画像および歪んだ画像に対し段階１５２〜１６０を実行する第１のＩＱＭ演算サブシステム１００．１の動作に対応する第１の段階グループ１５０２に続き、段階１５０４「オリジナル画像に対し空間シフトを適用」、および段階１５０６「歪んだ画像に対し空間シフトを適用」を実行し、ここでオリジナル画像および歪んだ画像のそれぞれの空間シフトされたバージョンが生成される。
【０１５０】
続く段階は、オリジナル画像および歪んだ画像の空間シフトされたバージョンに対し段階１５２〜１６０を実行する第２のＩＱＭ演算サブシステム１００．２の動作に対応する段階グループ１５０８である。
【０１５１】
明確にすべく、図１０Ａおよび図１０Ｂは、２つの５段階グループ１５０２、１５０８を展開し、各段階で実行される動作を示す。
【０１５２】
しかし、図１Ａの段階１７０「加重プーリングを条件付きで実行」は図１０において、以下により詳細に説明する、近似品質プーリング共通モジュール１４０２およびエッジ品質マッププーリング共通モジュール１４０４により実行される新たな段階１５１０「共通加重プーリングを条件付きで実行」で置き換えられている。
【０１５３】
近似スコアおよびエッジスコアを組み合わせる最後の段階１５１２「最終的な品質スコアを演算」において、近似品質スコアＳＡおよびエッジ品質スコアＳＥが演算される。
【０１５４】
段階１５１２は最終スコア演算モジュール１１０６により実行され、図１Ａの段階１８０に正確に対応する。
【０１５５】
マップベースのメトリックの場合、段階１５１０「共通加重プーリングを条件付きで実行」において加重プーリングを行うべくコントラストマップおよびコントラスト'マップを用いるが、他のタイプのメトリックを用いる場合、当該段階は省略してもよい。
【０１５６】
マップベースのメトリックにおいて、数式（９）のコントラストマップを用いて、近似品質マップＩＱＭＡ、ＩＱＭ'Ａおよびエッジ品質マップＩＱＭＥ、ＩＱＭ'Ｅの加重プーリングを行う。
【数６１】
0005928753.tif 000064
【数６２】
0005928753.tif 000065
ここで、コントラストマップ関数の
【数６３】
0005928753.tif 000066
および
【数６４】
0005928753.tif 000067
は、画像Ｘに関するｊ番目のローカルウィンドウ内の画像パッチを指し、コントラストマップ関数の
【数６５】
0005928753.tif 000068
および
【数６６】
0005928753.tif 000069
は、画像Ｘ'に関するｊ番目のローカルウィンドウ内の画像パッチを指し、品質マップ（またはスコア）項の
【数６７】
0005928753.tif 000070
、
【数６８】
0005928753.tif 000071
、
【数６９】
0005928753.tif 000072
、および
【数７０】
0005928753.tif 000073
は、画像Ｘ、Ｙに関するｊ番目のローカルウィンドウ位置の画像パッチ（また画素）であり、品質マップ（またはスコア）項の
【数７１】
0005928753.tif 000074
、
【数７２】
0005928753.tif 000075
、
【数７３】
0005928753.tif 000076
、および
【数７４】
0005928753.tif 000077
は、画像Ｘ'、Ｙ'に関するｊ番目のローカルウィンドウ位置の画像パッチ（また画素）であり、Ｍは品質マップのサンプル（画素）数であり、ＳＡおよびＳＥはそれぞれ、近似品質スコアおよびエッジ品質スコアを表す。
【０１５７】
上記に関し、品質スコアを異なった方法で組み合わせることも可能である。例えば、
【数７５】
0005928753.tif 000078
【数７６】
0005928753.tif 000079
ここで、ＶＡはプーリングされたＩＱＭＡ、ＩＱＭ'Ａを含む配列であり、ＶＥはプーリングされたＩＱＭＥ、ＩＱＭ'Ｅを含む配列である。この場合、最も低い品質の近似品質マップ、およびこれに対応するエッジ品質マップを選択し、ＳＡおよびＳＥをそれぞれ計算する。エッジマップのより複雑な他の組み合わせも可能である。また当該システムは、入力として、さらにシフトされた画像（つまり１回のシフトではなく、任意の数の複数回のシフト）の組み合わせを用いるよう拡張することも容易に可能である。
【０１５８】
ＡＤなどの非マップベースのメトリックでは、以下の演算を行う。
ＳＡ＝ａ（ＩＱＭＡ）＋（１−ａ）（ＩＱＭ'Ａ）、ＳＥ＝ａ（ＩＱＭＥ）＋（１−ａ）（ＩＱＭ'Ｅ）。ここで０≦ａ≦１である。
例えば、ａ＝０．５とし、平均を演算する。
ＶＡ＝［ＩＱＭＡ，ＩＱＭ'Ａ］，ｉｎｄｅｘ＝ａｒｇｍｉｎｉ（ＶＡ［ｉ］）、ＳＡ＝ＶＡ［ｉｎｄｅｘ］，ＳＥ＝ＶＥ［ｉｎｄｅｘ］。ＰＳＮＲＤＷＴに関し、以下の演算を行う。
ｍｓｅＡ＝ａ（ＩＱＭＡ）＋（１−ａ）（ＩＱＭ'Ａ）、ｍｓｅＥ＝ａ（ＩＱＭＥ）＋（１−ａ）（ＩＱＭ'Ｅ）。ここで０≦ａ≦１である。
例えば、ａ＝０．５とし、平均を演算する。
ＶＡ＝［ＩＱＭＡ，ＩＱＭ'Ａ］，ｉｎｄｅｘ＝ａｒｇｍａｘｉ（ＶＡ［ｉ］），ｍｓｅＡ＝ＶＡ［ｉｎｄｅｘ］，ｍｓｅＥ＝ＶＥ［ｉｎｄｅｘ］。
ＳＡ＝１０ｌｏｇ１０（（２Ｌ（２５５））２／ｍｓｅＡ）、ＳＥ＝１０ｌｏｇ１０（（２Ｌ（２５５））２／ｍｓｅＥ）。ここで、ＬはＰＳＮＲＤＷＴの分解レベルの数であり、ｍｓｅは平均平方誤差を表す。
【０１５９】
エッジマップのより複雑な他の組み合わせも可能である。また当該システムは、さらにシフトされた画像（つまりシフトが１回のみ行われた画像ペアＸ２およびＹ２、並びにシフトが行われていない画像ペアＸ、Ｙからの画像品質メトリック（ＩＱＭ）を組み合わせるのではなく、任意の数の複数回のシフト）の組み合わせを用いるよう拡張することも容易に可能である。さらに、本願発明は、ＰＳＮＲＡの場合のようにメトリック演算において詳細サブバンドが無視される場合においても適用可能である。
【０１６０】
本願発明の実施形態の、図１および６〜９に示すシステムは、ＣＰＵと、メモリ、ＤＶＤ、ＣＤ−ＲＯＭ、フロッピ（登録商標）、磁気テープ、または上述したシステムのモジュールを形成する、ＣＰＵにより実行されるコンピュータ可読命令が格納された他の記憶媒体などのコンピュータ可読記憶媒体とを有する、汎用または専用コンピュータを含む。代替的に図１および６〜９のシステムは、上述したシステムのモジュールを形成する、ＣＰＵにより実行されるコンピュータ可読命令が格納されたコンピュータ可読記憶媒体を有する専用のハードウェア、若しくは、ファームウェアと専用のコンピュータを含んでよい。図１および６〜９のシステムの各モジュールは、プロセッサにより実行されるメモリデバイスなどコンピュータ可読記憶媒体に格納されるファームウェア、または代替的にコンピュータ可読命令を含んでよい。
【０１６１】
離散ウェーブレットドメイン画像品質評価システム１４００は、コンピュータのメモリに格納された、本願発明の実施形態の特徴を実現するソフトウェアプログラムを搭載するコンピュータによって実現される。システム１４００の機能のうちいくつか、または全てが、１つ、または複数の特定用途向け集積回路（ＡＳＩＣ）で実装することも可能である。
【０１６２】
図１２は、本願発明の実施形態に係る、プロセッサ１７０２およびコンピュータメモリ１７０４を含む、離散ウェーブレットドメイン画像品質評価システム１４００の例示的なハードウェアを示す図面１７００である。
【０１６３】
プロセッサ１７０２は、中央処理装置（ＣＰＵ）１７０６、ネットワーク入力／出力（Ｉ／Ｏ）システム１７０８、およびコマンドインタフェース１７１０を含む、Ｌｉｎｕｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）、またはＭａｃ  Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ１０（ＯＳＸ）などが例として挙げられるがこれらに限定されないオペレーティングシステムで動作するプログラムを実行可能な任意の市販されているプロセッサであってよい。
【０１６４】
ＣＰＵ１７０６は、マルチプロセッサを含む、任意の数の市販されているプロセッサで実装されてよい。ネットワーク入力／出力（Ｉ／Ｏ）システム１７０８は、品質評価が実行される画像を受け付けるインタフェース設備を提供する。コマンドインタフェース１７１０は、キーボード、マウス、およびビジュアルインタフェース、並びに、取り外し可能な記憶デバイス、または、ソフトウェア構成、および離散ウェーブレットドメイン画像品質評価システム１４００の動作を制御するのに適した任意の他のハードウェアであってよい。
【０１６５】
プロセッサ１７０２は、ソフトウェアプログラムおよび関連するデータを格納可能であるダイナミックメモリ（ＤＲＡＭ）などの非一時的なメモリデバイスであるのが好ましいコンピュータメモリ１７０４に接続されている。プロセッサ１７０２により実行されるコンピュータ実行可能命令を含むソフトウェアモジュールは、コンピュータメモリ１７０４に格納され、それぞれ変換モジュール１０２、１０４とも呼ばれる第１および第２のＮレベルＤＷＴモジュール１０２、１０４、第１および第２の詳細サブバンドアグリゲーションモジュール１０６、１０８、コントラストマップ生成モジュール１１０、近似品質マップ／スコア演算モジュール１１２、エッジ品質マップ／スコア演算モジュール１１４、近似品質マッププーリングモジュール１１６、エッジマッププーリングモジュール１１８、およびコンビネーションモジュール１２０を含むＩＱＭ演算サブシステム１００を備える。コンピュータメモリ１７０４に格納される他のソフトウェアモジュールには、最終スコア演算モジュール１１０６、近似品質マップモジュール１４０２、エッジ品質マッププーリング共通モジュール１４０４、並びに、シフトＸモジュール１４０６およびシフトＹモジュール１４０８が含まれる空間シフトモジュール１１０４が含まれる。
【０１６６】
コンピュータメモリ１７０４は、ネットワークＩ／Ｏシステム１７０８を介して画像データベースからロードされ得るオリジナル画像および歪んだ画像Ｘ、ＹおよびシフトされたバージョンＸ２、Ｙ２、並びに、例えばコントラストマップ生成モジュール１１０により生成される第１および第２のコントラストマップ１７１４、１７１６などの一時的な結果などのデータを一時的に格納するキャッシュ１７１２も含んでよい。
【０１６７】
実験結果
表ＩＩＩは、ＬＩＶＥ画像データベースに関するＰＳＮＲＡから導出された様々な代替的なメトリックの正確性の結果を、ＰＳＮＲＡおよびＰＳＮＲとの比較で示す。各方法についての説明は以下の通りである。ＱＰＳＮＲＡは２つの空間位置にＰＳＮＲＡを適用し、略五点形パターンを生成する。ＱＰＳＮＲＡは、これら２つの空間位置で得られたエラー値（平均平方誤差）を平均化し、最終的なｄＢスコアを演算する。これらの２つの空間位置は、１つは（０，０）であり、もう１つは水平方向および垂直方向に最大（１，Ｎ／２−１）だけ画素空間シフトを行った位置である。ＱＭＰＳＮＲＡは、２つの空間位置にＰＳＮＲＡを適用し、略五点形パターンを生成する。ＱＰＳＮＲＡは、これら２つの空間位置で得られた最も大きなエラー値（平均平方誤差）を保持し、最終的なｄＢスコアを演算する。これらの２つの空間位置は、１つは（０，０）であり、もう１つは水平方向および垂直方向に最大（１，Ｎ／２−１）だけ画素空間シフトを行った位置である。ＥＰＳＮＲＡは、３つの空間位置にＰＳＮＲＡを適用する。ＥＰＳＮＲＡは、これら３つの空間位置で得られたエラー値（平均平方誤差）を平均化し、最終的なｄＢスコアを演算する。これらの３つの空間位置は、１つは（０，０）であり、もう１つは水平方向にのみ最大（１，Ｎ／２−１）だけ画素空間シフトを行った位置であり、残りの１つは、水平方向および垂直方向に最大（１，Ｎ／２−１）だけ画素空間シフトを行った位置である。ＳＰＳＮＲＡはＰＳＮＲＡを実行するが、（１，１）画素の空間シフトのみを行う。
【０１６８】
表ＩＩＩ：ＬＩＶＥ画像データベースの非線形回帰後のＬＣＣ値、ＳＲＣＣ値、およびＲＭＳＥ値
【表３】
0005928753.tif 000080
【０１６９】
図１１は、ｈｔｔｐ：／／ｓｉｐｉ．ｕｓｃ．ｅｄｕ／ｄａｔａｂａｓｅ／ｄａｔａｂａｓｅ．ｐｈｐ？ｖｏｌｕｍｅ＝ｍｉｓｃで閲覧可能な２５６×２５６の解像度の標準画像「Ｉｍａｇｅ  Ｈｏｕｓｅ」（画像番号４．１．０５）の４つのバージョンを示す。
【０１７０】
図１１の（ａ）は、オリジナル（参照）画像を示す。
【０１７１】
図１１の（ｂ）は、４×４ＤＣＴ変換画像の２番目の行および２番目の列がゼロに設定された、参照画像から生成された第１の歪んだ画像を示す。
【０１７２】
図１１の（ｃ）は、４×４ＤＣＴ変換画像の３番目の行および３番目の列がゼロに設定された、参照画像から生成された第２の歪んだ画像を示す。
【０１７３】
図１１の（ｄ）は、４×４ＤＣＴ変換画像の４番目の行および４番目の列がゼロに設定された、参照画像から生成された第３の歪んだ画像を示す。
【０１７４】
表ＩＶは、ＰＳＮＲＡをシフトすることにより導出される、様々な代替的なメトリックの最終スコアを、図１１の（ａ）の参照画像および、以下の３つの歪んだ画像に対するＰＳＮＲＡおよびＰＳＮＲと比較して示す。図１１の（ｂ）の第１の歪んだ画像は、（ａ）の画像を４×４のブロックにセグメント化し、Ｈ．２６４基準で定義されるように４×４順ＤＣＴ変換を適用し、順ＤＣＴの２番目の行および２番目の列の全ての周波数係数をゼロに設定し、４×４逆ＤＣＴ変換を適用することにより得られる。図１１の（ｃ）の第２の歪んだ画像は同様に得られるが、３番目の行および３番目の列がゼロに設定される。図１１の（ｄ）の第３の歪んだ画像は同様に得られるが、４番目の行および４番目の列がゼロに設定される。図１１の（ｂ）は（ｃ）よりも低い品質を有し、（ｃ）は（ｄ）よりも低い品質を有することが視覚的に分かる。しかし表ＩＶにおいて、図１１の（ｃ）のＰＳＮＲＡは（ｄ）のＰＳＮＲＡよりもはるかに高く、このことは極めて許容され得ないことである。空間シフトを行うメトリックにおいてはこのような課題が生じず、適切に画像品質のランク付けが行われる（つまり、空間シフトを行うメトリックは、最高の品質から最低の品質まで正しい順序でランク付けを行う）。このことは提案されたメトリックが向上したロバスト性を有することを示す。
【０１７５】
表ＩＶ：図１１の（ａ）の画像と、（ｂ）、（ｃ）、および（ｄ）の画像とを比較した、メトリック値
【表４】
0005928753.tif 000081
【０１７６】
上述した実施形態において、変換処理はハール変換である。例えば、コサイン変換、サイン変換、またはウェーブレット変換など他の変換処理を用いることも可能である。ハール変換の代わりに、変換処理は代替的にＤａｕｂｅｃｈｉｅｓ変換であってもよい。
【０１７７】
本願発明の特定の実施形態を詳細に説明したが、それら説明された実施形態は例示的であり、限定的ではないことを理解されたい。本願発明の幅広い態様から逸脱することなく、当該実施形態の様々な修正および変更を以下の請求項の範囲内で加え得ることが理解されるべきである。
【図１】
0005928753.tif 000082
【図１Ａ】
0005928753.tif 000083
【図２】
0005928753.tif 000084
【図３Ａ】
0005928753.tif 000085
【図３Ｂ】
0005928753.tif 000086
【図４】
0005928753.tif 000087
【図５】
0005928753.tif 000088
【図６】
0005928753.tif 000089
【図７】
0005928753.tif 000090
【図８】
0005928753.tif 000091
【図９】
0005928753.tif 000092
【図１０】
0005928753.tif 000093
【図１０Ａ】
0005928753.tif 000094
【図１０Ｂ】
0005928753.tif 000095
【図１１（ａ）】
0005928753.tif 000096
【図１１（ｂ）】
0005928753.tif 000097
【図１１（ｃ）】
0005928753.tif 000098
【図１１（ｄ）】
0005928753.tif 000099
【図１２】
0005928753.tif 000100