(57)【要約】【課題】画像データを圧縮処理したときに生じるぼけ量を定量化する。【解決手段】デコード処理システム１０には、所定個数のサブバンドを有するウェーブレット変換圧縮画像データを受けるメモリ１８と、デコーダ１４とがある。デコーダ１４は、所定個数のサブバンドよりも、少ない個数のサブバンドの画素についてウェーブレット係数の個数を求め、求めたウェーブレット係数の個数に基いて画像データ中のぼけ量を測定する。デコーダ１４は、測定されたぼけ量に基いてデコード処理を調整する。ウェーブレット係数の個数を求めるのに利用するサブバンドとしては、より高い周波数成分を有するサブバンドを優先すると良い。【選択図】図１
2017069959.tif 000002
【特許請求の範囲】
【請求項１】
ウェーブレット変換エンコード画像における画像品質を検出する方法であって、
それぞれ複数のサブバンドに分割される複数のタイルに分割されたウェーブレット変換エンコード画像データをデコーダで受ける処理と、
上記サブバンドの個数より少ない個数の上記サブバンドにおいてウェーブレット係数の個数を求める処理と、
上記タイルのそれぞれに関して、求めた測定値を複数の上記サブバンドのそれぞれに割り当てる処理と、
上記画像についての知覚的表示品質（ＰＶＱ）スコアを求めるために上記測定値を利用する処理と、
上記知覚的表示品質スコアに基いて上記デコーダの動作を調整する処理と
を具える画像品質検出方法。
【請求項２】
所定個数のサブバンドを有するウェーブレット変換圧縮画像データを受けるメモリと、
所定個数の上記サブバンドのサブセット中のウェーブレット係数の個数を求め、上記ウェーブレット係数の個数に基いて上記画像データ中のぼけ量を測定し、該ぼけ量に基いてデコード処理を調整するデコーダと
を具えるデコード処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＪＰＥＧ  ２０００画像データのデコード処理に関し、デコード処理で生じる画像の品質を評価できる画像品質検出方法及びデコード処理システムに関する。
【背景技術】
【０００２】
Joint Photographic Experts Group（ＪＰＥＧ）Committee は、静止画像の圧縮に関して、複数の異なる規格を策定してきている。最初のＪＰＥＧ規格は、離散コサイン変換（DCT：discrete cosine transform）圧縮を用いたものである。ＪＰＥＧのもっと新しいバージョンであるＪＰＥＧ  ２０００（ＪＰＥＧ２Ｋとも呼ばれる）は、離散ウェーブレット変換をベースとする方法に依存している。ＪＰＥＧ２Ｋエンコーダは、記録や送信用にファイル・サイズを圧縮するため、この規格に従ってデジタル画像データをエンコードする一方、ＪＰＥＧ２Ｋデコーダは、表示や印刷に前に、エンコードされたデジタル画像データをデコードできる。
【０００３】
ＪＰＥＧ２Ｋのコード・ストリームは、複数の関心領域（ＲＯＩ：region of interest、映像中の人が注視する領域）を含むことができ、空間的なランダム・アクセスをサポートする幾つかのメカニズムを提供すると共に、粒度（granularity、つまり、解像度）のレベルを変化させた関心領域（ＲＯＩ）アクセスをサポートする。これによってデコーダは、１つの画像データから、携帯電話に適した低解像度画像、ディスプレイでの表示に適した中解像度画像、さらに印刷用の高解像度画像まで、必要な画像品質に応じて、解像度のレベルを調整できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２４０８４４号公報
【特許文献２】特表２００６−５０７７７５号公報
【非特許文献】
【０００５】
【非特許文献１】「JPEG 2000」の記事、Wikipedia、［online］、［２０１６年１０月１日検索］、インターネット<https://ja.wikipedia.org/wiki/JPEG_2000>
【非特許文献２】稲田将一、鎌田康一郎、「ウェーブレットによる経済分析」、特に２節「ウェーブレット入門」、日本銀行金融研究所、［online］、［２０１６年１０月３日検索］、インターネット<http://www.imes.boj.or.jp/research/papers/japanese/kk23-1-1.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ＪＰＥＧ２Ｋにおいて画像品質を劣化させる主要な視覚的アーティファクト（artifact）は、ぼけ（blur：ぼやけ、不鮮明）であり、これは、ディテール（detail（細部）、多くの場合、画像中のオブジェクトのエッジにおけるディテール）の損失の結果生じる。このぼけ又はぼやけは、典型的には、過度なローパス・フィルタ処理が原因である。
【０００７】
画像品質の測定は、知覚的な表示品質（ＰＶＱ：Perceptual Visual Quality）を含めた多くの形式をとり得る。表示品質を維持するため、圧縮処理によってもたらされるアーティファクトの個数を定量化することが重要になってきている。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、ウェーブレット変換エンコード画像における画像品質を検出する方法に関する。この方法には、それぞれ複数のサブバンドに分割される複数のタイルに分割されたウェーブレット変換エンコード画像データを受ける処理と、上記サブバンドの個数より少ない個数のサブバンドにおいてウェーブレット係数の個数を求める処理と、各タイルに関して、求めた測定値を複数のサブバンドのそれぞれに割り当てる処理と、上記画像についての知覚的表示品質（ＰＶＱ）スコアを求めるために上記測定値を利用する処理と、知覚的表示品質スコアに基いてデコーダの動作を調整する処理とがある。
【０００９】
本発明の別の実施形態としては、
所定個数のサブバンドを有するウェーブレット変換で圧縮された画像データを受けるメモリと、
所定個数のサブバンドのサブセット（１つ又は複数の画素）中のウェーブレット係数の個数を求め、ウェーブレット係数の個数に基いて画像データ中のぼけの量を測定し、ぼけの量に基いてデコード処理を調整するデコーダと
を具えるシステムがある。
【図面の簡単な説明】
【００１０】
【図１】図１は、デコード処理（画像伸張）システムの実施形態の例の機能ブロック図を示す。
【図２】図２は、複数のサブバンドに分割された画像タイルの例を示す。
【図３】図３は、利用するサブバンドの個数を減らして、サブバンド中のウェーブレット係数の個数を求める方法の実施形態の例のフローチャートを示す。
【図４】図４は、１つのサブバンド中のウェーブレット係数の個数を求める方法の実施形態の例のフローチャートを示す。
【発明を実施するための形態】
【００１１】
図１は、デコード処理（画像伸張）システム１０の実施形態の例を示す。このシステム１０は、典型的には、もっと大きな画像処理システムの一部分であり、このもっと大きな画像処理システムは、画像をエンコードするエンコーダを有している。エンコードされた画像は、システム１０へ送信される。システム１０は、エンコードされた画像データ１２を、ＪＰＥＧ  ２０００（ＪＰＥＧ２Ｋ）デコーダ１４で受ける。システム１０のデコーダ１４は、汎用プロセッサで実現しても良いが、特定用途の集積回路（半導体チップ）で実現しても良い。
【００１２】
送信の端部にあるＪＰＥＧ２Ｋエンコーダは、ウェーブレット変換を用いてオリジナルの画像データを圧縮する。エンコーダは、図２において符号２０で示すような「タイル」に、その画像を分割する。このタイルは、従前のＪＰＥＧ規格における変換単位である８画素×８画素の「ブロック」に類似するが、構成する画素数は８画素×８画素で固定ではなく変更でき、例えば、画像全体と同じサイズとすることもできる。ＪＰＥＧ２Ｋのタイルは、矩形であり、全て同じサイズである。これらタイルは、それぞれオリジナルの入力画像の異なる領域を表し、それぞれ独立してエンコード処理を受ける。このエンコード処理により、各タイルにつき４つのサブバンドという結果が得られる。
【００１３】
図２に示す４つのサブバンドは、異なる形式のフィルタ処理を表す。ＬＬは、水平及び垂直の両方向におけるローパス・フィルタ処理を示す。ＨＬは、水平方向のハイパス・フィルタ処理と、垂直方向のローパス・フィルタ処理を示す。同様に、ＬＨは、水平方向のローパス・フィルタ処理と、垂直方向のハイパス・フィルタ処理を示す。ＨＨは、水平及び垂直の両方向におけるハイパス・フィルタ処理を示す。
【００１４】
本願の実施形態では、受けた圧縮画像データ１２中のサブバンドを利用する。これらサブバンドは、典型的には、デコーダ１４中のメモリ１８に記憶される。デコード処理ブロック１９は、これらサブバンドを分析し、サブバンドのサブセット（即ち、１つ又は複数の画素）それぞれ中のウェーブレット係数の個数を求める。本発明では、ＬＬサブバンドの除く全てのサブバンドを利用する。言い換えれば、より高い周波数成分を含むサブバンドを優先して利用する。サブバンド中のウェーブレット係数の個数が多ければ、これは、ぼけの少ない画像を意味し、高いＰＶＱスコアが得られる。ぼやけた画像は、サブバンド中におけるウェーブレット係数の存在割合が低くなり、低いＰＶＱスコアを示す。３つのサブバンドだけの分析によって、全ての画像データをデコード処理することなく、画像データにぼけが多いか又は少ないかを判断できる。ぼけの少ない画像であれば、サブバンド中のウェーブレット係数の個数が多く、ぼけの多い画像であれば、サブバンド中のウェーブレット係数の個数が少なくなる。
【００１５】
図３は、画像中のぼけの程度を求める方法の実施形態の例のフローチャートを示す。この方法は、通常、ｎ−１の解像度レベルに適用される。多くのＪＰＥＧ２Ｋエンコード処理は、階層的な複数の解像度レベルにおいて行われる。本願の説明では、Ｎは、最終的なデコード画像の解像度レベルを示し、典型的な例では、本発明の実施形態は、最終的な解像度レベルＮの１つ下位の解像度レベルｎ−１において実施される。その理由としては、画像データの情報は、複数の変換処理を通して、２次元ローパス・フィルタ処理により、徐々（漸進的）に失われていく。解像度が低下すると、残るのは、ほとんどがオリジナル画像の低周波数成分である。このような成分中において、エッジのような高周波数データの存在を探すのは、処理を間違った方向へ誘導するだけである。更に、低い方の解像度レベルでは、連続的な変換の後であるため、データには、複数の変換の影響が合成されて、その結果得られる情報は、オリジナル画像データ中に存在していた情報とは異なってくるからである。しかしながら、本発明による処理は、いくつかの異なる解像度レベルでも、実施しようとすればできるであろう。
【００１６】
図３において、本発明による処理は、ステップ３０において、現在の解像度レベルを設定する。ステップ３２において、使用する３つのサブバンドそれぞれのサブバンド・スコアを収集する。これらサブバンド・スコアを組み合わせて、そのタイル全体としてのＰＶＱスコアを得る。個々のサブバンド・スコアに、重み付けを行っても良い。１つの実施形態では、ＨＨサブバンド・スコア及びＬＨサブバンド・スコアのそれぞれに３を乗算しても良い。この数値は、経験的に得られたもので、必要に応じて変更しても良い。別の見方をすれば、水平方向に比較し、垂直方向に、より高い周波数成分を有するサブバンドを優先して利用するか、より高い重み付けをしても良い。
【００１７】
ステップ３６では、組み合わせたＰＶＱスコアが、１よりも大きいか判断される。もしそうであるなら、ステップ３８において、ＰＶＱスコアが１に設定される（ステップ３８）。本願における実施形態では、１のＰＶＱスコアは画像にぼけ（blur：ぼやけ）が無いか又はほぼ無いこと示し、０のＰＶＱスコアは画像に大きなぼけがあること示す。本願における実施形態は、一度に１つのタイルに適用される。画像全体にこの処理を適用するするため、この処理では、ステップ４０において、全タイルについて処理が完了したか確認する。もしＹＥＳならば、処理は次の画像へと進む（ステップ４２）。もしＮＯならば、ステップ４４において、次のタイルがアクセスされ、処理は、画像全体が処理されるまで続く。
【００１８】
図３の処理の基礎として、サブバンド・スコアを求める処理がある。図４は、特定のサブバンドについてサブバンド・スコアを求める方法の実施形態の１つの例を示す。ステップ５０では、サブバンド・スコアを求めようとする特定のサブバンドを選択する。この処理では、２つの異なるカウンタで監視を行う。１つは、この処理が行う画素を監視するもので、画素インデックスのカウンタである。もう１つは、サブバンド内のウェーブレット係数の個数を監視する係数カウンタである。各サブバンドについて処理が行われるときに、これらカウンタは、初期化される（ステップ５２）。ステップ５４では、画素インデックスに対応する画素について、その画素値をサブバンド・データに等しいものに設定する。画素値は、ここでは、例えば、その画素のルミナンス値としても良い。ただし、別の実施形態では、クロマ値としても良いし、ルミナンス値とクロマ値の両方を用いても良い。
【００１９】
ステップ５６では、本発明の処理は、画素値が低しきい値より低いか又は高しきい値より高いかを判断する。これら２つのしきい値は、画像データの形式に基いて設定しても良い。１つの実施形態では、８ビットの深さのある入力データについて、低しきい値は１２３に設定され、高しきい値は１３３に設定される。もし真（ＹＥＳ）であれば、ステップ５８において、係数カウンタの計数値を増加させると共に、ステップ６０に進んで、画素インデックスも増加させる。もし偽（ＮＯ）であれば、ステップ６０において、画素インデックスのみ増加させる。ステップ６２において、処理は、そのサブバンド中に処理していない画素が残っていないか否か確認する。もし画素インデックスがサブバンド中の画素数よりも小さければ（即ち、ＹＥＳ）、処理は、ステップ５４に戻って続けられる。もし偽（ＮＯ）であれば、処理は完了となり、ステップ６４において、そのサブバンドに関するウェーブレット係数の個数／サブバンドの画素数の比率がサブバンド・スコアとなる。このサブバンド・スコアは、図３の処理におけるサブバンド・スコアとして利用される。
【００２０】
このようにして、本発明による処理では、特定の解像度レベルに関する画像のぼやけの程度（blurriness）を自動的に求めることができる。この情報は、エンコードされた画像データ中に内在する異なる形式のエンコード処理データを選択するのに利用したり、最終的なデコード画像を生成するのに利用する解像度レベルを変更するのに利用できる。
【００２１】
本発明は、種々の変形及び変更が存在しえる。本発明による処理は、例えば、画像の前景領域に対応するタイルのみを評価するなど、特に関心のある領域に限定することによって、更に最適化できる。上述の実施形態では、デコードされたＹＵＶデータのルーマ（ルミナンス）成分に焦点を当てていたが、クロマ成分についても機能させることができる。本発明の概念をいくつかの観点から、述べれば、例えば、次のように考えても良い。
【００２２】
本発明の概念１は、ウェーブレット変換エンコード画像における画像品質を検出する方法であって、
それぞれ複数のサブバンドに分割される複数のタイルに分割されたウェーブレット変換エンコード画像データをデコーダで受ける処理と、
上記サブバンドの個数より少ない個数の上記サブバンドにおいてウェーブレット係数の個数を求める処理と、
上記タイルのそれぞれに関して、求めた測定値を複数の上記サブバンドのそれぞれに割り当てる処理と、
上記画像についての知覚的表示品質（ＰＶＱ）スコアを求めるために上記測定値を利用する処理と、
上記知覚的表示品質スコアに基いて上記デコーダの動作を調整する処理と
を具えている。
【００２３】
本発明の概念１において、上記測定値は、例えば、上記サブバンドに関するウェーブレット係数の個数／画素数としても良い。また、ウェーブレット係数の個数を求めるのに利用するサブバンドとしては、より高い周波数成分を含むサブバンドを優先しても良く、また、水平方向に比較し、垂直方向に、より高い周波数成分を有するサブバンドを優先しても良い。
【００２４】
本発明の概念２は、上記概念１の方法であって、このとき、上記タイルのそれぞれに重み付けを割り当てる処理を更に具え、上記重み付けは、上記画像中における上記タイルそれぞれの相対的な重要性に基づくことを特徴としている。
【００２５】
本発明の概念３は、上記概念１の方法であって、このとき、上記タイルのそれぞれを複数の上記サブバンドへと処理するやり方としては、上記タイルのそれぞれを４つの上記サブバンドへと処理するものがある。
【００２６】
本発明の概念４は、上記概念３の方法であって、このとき、上記ウェーブレット係数の個数を求める処理としては、４つの上記サブバンド中の３つのサブバンドにおける上記ウェーブレット係数の個数を求める処理がある。
【００２７】
本発明の概念５は、上記概念１の方法であって、このとき、上記サブバンドに測定値を割り当てる処理には、ウェーブレット係数の個数を少なくとも１つのしきい値と比較し、この比較結果に基いて測定値を割り当てる処理が含まれる。
【００２８】
本発明の概念６は、上記概念１の方法であって、上記ウェーブレット係数の個数を求める処理としては、上記画像データのルミナンス成分におけるウェーブレット係数の個数を求める処理がある。
【００２９】
本発明の概念７は、上記概念１の方法であって、このとき、上記ウェーブレット係数の個数を求める処理としては、上記画像データのルミナンス成分及びクロマ成分の両成分におけるウェーブレット係数の個数を求める処理がある。
【００３０】
本発明の概念８は、上記概念１の方法であって、このとき、上記画像データを複数の上記タイルに分割する処理は、デコードされた画像の最終的な解像度レベルよりも低い解像度レベルにおいて行われる。
【００３１】
本発明の概念９は、上記概念１の方法であって、このとき、上記画像データを複数の上記タイルに分割する処理は、複数の解像度レベルのそれぞれにおいて行われる。
【００３２】
本発明の概念１０は、上記概念１の方法であって、このとき、上記ウェーブレット係数の個数を求める処理は、上記画像データの前景領域に対応するタイルにのみ実行される。
【００３３】
本発明の概念１１は、デコード処理システムであって、
所定個数のサブバンドを有するウェーブレット変換で圧縮された画像データを受けるメモリと、
所定個数の上記サブバンドのサブセット中のウェーブレット係数の個数を求め、上記ウェーブレット係数の個数に基いて上記画像データ中のぼけ量を測定し、該ぼけ量に基いてデコード処理を調整するデコーダと
を具えている。
【符号の説明】
【００３４】
１０  デコード処理システム
１２  圧縮画像データ
１４  デコーダ
１６  伸張画像データ
１８  メモリ
１９  デコード処理ブロック
【図１】
2017069959.tif 000003
【図２】
2017069959.tif 000004
【図３】
2017069959.tif 000005
【図４】
2017069959.tif 000006