(57)【要約】【課題】画像に固有の空間周波数分布の影響を考慮して、より良い精度で画質推定できる画質推定装置を提供する。【解決手段】本発明に係る画質推定装置は、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出部２０と、第１領域抽出部２０により抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部４０と、領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出部６０と、学習部４０による学習結果に基づいて、第２領域抽出部６０により抽出された局所領域の画質劣化を推定する推定部７０と、を有する。【選択図】図１
2014056442.tif 000002
【特許請求の範囲】
【請求項１】
画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出部と、
前記第１領域抽出部により抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習部と、
前記領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出部と、
前記学習部による学習結果に基づいて、前記第２領域抽出部により抽出された局所領域の画質劣化を推定する推定部と、
を有する画質推定装置。
【請求項２】
前記領域特徴は複数に分類可能であり、
前記第１領域抽出部は、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
前記学習部は、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
前記第２領域抽出部は、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
前記推定部は、前記学習部による学習結果に基づいて、前記第２領域抽出部により抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項１に記載の画質推定装置。
【請求項３】
複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合部をさらに有する請求項２に記載の画質推定装置。
【請求項４】
前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項１〜３のいずれか一項に記載の画質推定装置。
【請求項５】
前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項１〜３のいずれか一項に記載の画質推定装置。
【請求項６】
前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項１〜５のいずれか一項に記載の画質推定装置。
【請求項７】
画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する第１領域抽出ステップと、
前記第１領域抽出ステップにより抽出された前記局所領域と、劣化前後の学習用画像の比較により前記局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する学習ステップと、
前記領域特徴に基づいて、検査画像から局所領域を抽出する第２領域抽出ステップと、
前記学習ステップによる学習結果に基づいて、前記第２領域抽出ステップにより抽出された局所領域の画質劣化を推定する推定ステップと、
を有する画質推定方法。
【請求項８】
前記領域特徴は複数に分類可能であり、
前記第１領域抽出ステップは、前記領域特徴毎に、前記学習用画像から複数の局所領域を分類して抽出し、
前記学習ステップは、前記領域特徴の分類別に、前記局所領域と前記画質評価値とを関連付けて、前記領域特徴の分類毎の画質劣化を学習し、
前記第２領域抽出ステップは、前記領域特徴毎に、前記検査用画像から複数の局所領域を分類して抽出し、
前記推定ステップは、前記学習部による学習結果に基づいて、前記第２領域抽出ステップにより抽出された局所領域の画質劣化を前記領域特徴ごとに推定する請求項７に記載の画質推定方法。
【請求項９】
複数の局所領域のそれぞれの画質劣化の推定結果を統合して、前記検査用画像全体の画質劣化を算出する統合ステップをさらに有する請求項８に記載の画質推定装置。
【請求項１０】
前記領域特徴は、前記学習用画像および前記検査用画像の画素の輝度分散値の所定範囲として領域を識別するための基準である請求項７〜９のいずれか一項に記載の画質推定方法。
【請求項１１】
前記領域特徴は、前記画像に含まれる主要オブジェクトとして領域を識別するための基準である請求項７〜９のいずれか一項に記載の画質推定方法。
【請求項１２】
前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項７〜１１のいずれか一項に記載の画質推定方法。
【請求項１３】
請求項７〜１２のいずれか一項に記載の画質推定方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を圧縮した際に生じる画質劣化の度合を推定する画質推定装置、画質推定方法および画質推定プログラムに関する。
【背景技術】
【０００２】
画像信号の情報量は極めて多く、伝送や蓄積を効率的に行うため、これらを符号化（圧縮）する技術が用いられている。これに伴い、画像の符号化により画質が劣化する場合の画質評価技術も多数研究されている。
【０００３】
画質推定方式の一つとして、非特許文献１および２に開示されているようなＮＲ（Ｎｏ  Ｒｅｆｅｒｅｎｃｅ）方式という手法がある。
【０００４】
非特許文献１の推定方法では、学習画像データベースにある学習用画像を全体範囲で周波数変換して、得られた変換係数の分布形状をパラメータ化して特徴ベクトルとする。そして、学習用画像に対して主観的に判断した画質劣化の評価値（以下、主観評価値という）を正解データとして、特徴ベクトルとの確率的な対応関係を学習する。ここでの学習の識別器には、たとえば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）が用いられる。そして、ＳＶＭにより学習された結果は、学習結果パラメータとして記憶される。また、検査画像に対して同様に特徴ベクトルを算出し、ＳＶＲ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ）により、画質を推定できる。
【０００５】
非特許文献２の推定方法では、非特許文献１と異なり、学習用画像の全体範囲、すなわち、画像単位では周波数変換しない。非特許文献２の推定方法では、学習用画像を所定のサイズの矩形ブロックに分割し、各ブロック画像のブロック全体、すなわち、ブロック単位で周波数変換している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ａ．Ｋ．Ｍｏｏｒｔｈｙ  ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ、‘‘Ａ  Ｔｗｏ−ｓｔａｇｅ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｂｌｉｎｄ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１０、ｐｐ．２４８１−２４８４、Ｓｅｐｔ．２０１０。
【非特許文献２】Ｍ．Ａ．Ｓａａｄ、Ａ．Ｃ．Ｂｏｖｉｋ  ａｎｄ  Ｃ．Ｃｈａｒｒｉｅｒ、‘‘ＤＣＴ  Ｓｔａｔｉｓｔｉｃｓ  Ｍｏｄｅｌ−ｂａｓｅｄ  Ｂｌｉｎｄ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１１、ｐｐ．３０９３−３０９６、Ｓｅｐｔ．２０１１。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１および２に記載の発明では、周波数変換する範囲を、画像単位とするか、学習用画像を機械的に小さく分割したブロック単位とするかで異なる。しかし、画像に固有の空間周波数成分を考慮せずに、単に画像（ブロック）を周波数変換して得られた変換係数の分布形状を特徴ベクトルとして用いる点では共通する。
【０００８】
ここで、高い空間周波数の成分を間引きする符号化方式を適用した画像の画質推定について考える。この場合、符号化前から高い空間周波数成分を含まない画像と、符号化により高い空間周波数成分が失われた画像とで、変換係数の分布形状に差がない可能性が十分に有り得る。
【０００９】
たとえば、ＳＶＭの学習結果として、符号化により高い空間周波数成分が失われた学習用画像の特徴ベクトルと主観評価値とを記憶しているとする。このような場合、符号化前から高周波成分を含まない検査画像をＳＶＲにより画質推定すると、画質劣化を過大に推定してしまう恐れがある。これでは、画質推定誤差が大きい。
【００１０】
本発明は、上記従来技術の課題を解決するためになされたものであり、画像に固有の空間周波数分布の影響を考慮して、より良い精度で画質推定できる画質推定装置、画質推定方法および画質推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の目的を達成するための本発明に係る画質推定装置は、第１領域抽出部、学習部、第２領域抽出部、推定部を有する。第１領域抽出部は、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する。学習部は、第１領域抽出部により抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。第２領域抽出部は、上記領域特徴に基づいて、検査用画像から局所領域を抽出する。推定部は、学習部による学習結果に基づいて、第２領域抽出部により抽出された局所領域の画質劣化を推定する。
【００１２】
上記の目的を達成するための本発明に係る画質推定方法は、第１領域抽出ステップ、学習ステップ、第２領域抽出ステップ、推定ステップを有する。第１領域抽出ステップは、画像内の領域を識別するための領域特徴に基づいて、学習用に予め劣化させた学習用画像から局所領域を少なくとも一つ抽出する。学習ステップは、第１領域抽出ステップにより抽出された局所領域と、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。第２領域抽出ステップは、上記領域特徴に基づいて、検査画像から局所領域を抽出する。推定ステップは、学習ステップによる学習結果に基づいて、第２領域抽出ステップにより抽出された局所領域の画質劣化を推定する。
【００１３】
上記の目的を達成するための本発明に係る画質推定プログラムは、上記画質推定方法を、コンピュータに実行させる。
【発明の効果】
【００１４】
本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習および推定を行うことにより、画像に固有の空間周波数分布の影響を考慮して、画質推定精度を向上できる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画質推定装置の構成を示すブロック図である。
【図２】図１の画質推定装置の学習部の構成を示すブロック図である。
【図３】図１の画質推定装置の推定部の構成を示すブロック図である。
【図４】本発明に係る画質推定装置の動作フローチャートである。
【図５】図４の学習プロセスのサブルーチンフローチャートである。
【図６】図４の推定プロセスのサブルーチンフローチャートである。
【図７】実施形態１に係る画質推定装置の構成を示すブロック図である。
【図８】局所領域を抽出するための画像の一部を拡大し、基準ブロックでブロック分割した様子を示す図である。
【図９】図８の基準ブロックを示す図である。
【図１０】図８の分割されたブロック単位の輝度分散値算出結果を示す図である。
【図１１】図１０の輝度分散値算出結果に基づいて、分割されたブロックを２分類して、局所領域を抽出するイメージ図である。
【図１２】実施形態２に係る画質推定装置の構成を示すブロック図である。
【図１３】局所領域を抽出するための画像の一例を示す図である。
【図１４】図１３の対象画像に対して、Ｓａｌｉｅｎｃｙ  Ｍａｐ手法により注視しやすい特徴領域を特定した画像である。
【図１５】図１４の特徴領域特定結果に基づいて、局所領域を抽出するイメージ図である。
【発明を実施するための形態】
【００１６】
本発明に係る画質推定装置、画質推定方法および画質推定プログラムは、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習および推定を行う。画像単位またはブロック単位において異なる空間周波数成分が含まれている画像であっても、空間周波数特性が類似する局所領域単位で画質劣化の学習および推定を行う。
【００１７】
以下、添付した図面を参照しながら、本発明の画質推定装置、画質推定方法および画質推定プログラムの実施形態を説明する。
【００１８】
（画質推定装置の構成）
図１は、本発明に係る画質推定装置の構成を示すブロック図である。図２は、図１の画質推定装置の学習部の構成を示すブロック図である。図３は、図１の画質推定装置の推定部の構成を示すブロック図である。
【００１９】
本発明に係る画質推定装置は、図１に示すように、学習用画像データベース１０、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０、学習結果記憶部５０、第２領域抽出部６０、推定部７０、画質統合部８０を有する。学習用画像データベース１０および学習結果記憶部５０は、メモリやハードディスク等の記録装置によって達成される。また、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０、第２領域抽出部６０、推定部７０、画質統合部８０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が、各種プログラムを読み込んで実行することにより達成される。ここで、プログラムとは、たとえば、画像データの画質を推定するための画質推定プログラムである。
【００２０】
学習用画像データベース１０は、複数組の学習用画像を予め格納している。一組の学習用画像は、オリジナルのまま劣化していない無劣化画像と、予め学習用に無劣化画像を符号化により画質劣化させた劣化画像と、を含む。
【００２１】
第１領域抽出部２０は、画像内の所定の領域を識別するための領域特徴に基づいて、学習データベース１０の一組の学習用画像のうち、劣化画像から局所領域を少なくとも一つ抽出する。
【００２２】
領域特徴は、たとえば、画像の空間周波数特性により決定でき、類似する空間周波数特性を有する領域が局所領域として抽出される。任意の範囲内の空間周波数特性値を有する領域が、空間周波数特性が類似すると見なされる。領域特徴、および、当該領域特徴に基づく局所領域の抽出動作の詳細については、後述する。
【００２３】
客観画質評価値算出部３０は、劣化前後の学習用画像の比較により局所領域に与えられる画質評価値を算出する。すなわち、客観画質評価値算出部３０は、第１領域抽出部２０により劣化画像から抽出された局所領域を、無劣化画像の対応する領域と比較し、当該局所領域における客観画質評価値（以下、客観評価値という）を算出する。
【００２４】
客観評価値は、画質評価指標として一般的なＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  ＳＩＭｉｌａｒｉｔｙ）などを用いて算出できる。
【００２５】
学習部４０は、第１領域抽出部２０により抽出された局所領域と、当該局所領域における上記客観評価値とを関連付ける。当該関連付けを、学習部４０は、異なる学習用画像を用いて繰り返し、画質劣化を学習する。すなわち、学習部４０は、上記局所領域における学習用画像として用意された劣化画像の特徴を表す特徴ベクトルを算出する。そして、学習部４０は、特徴ベクトルから上記局所領域における劣化画像の画質劣化度を判定するための学習モデルを生成する。なお、学習モデルは、特徴ベクトルと、客観評価値（すなわち、上記局所領域における劣化画像の画質劣化度）と、についての確率的な対応関係を決定する数理モデルであり、たとえば、教師あり学習の一つであるＳＶＭを用いてもよい。もちろん、これに限らず、回帰関数や、ニューラルネットワーク等を用いてもよい。学習部４０は、第１領域抽出部２０により抽出された局所領域と、同数用意される。すなわち、同じ領域特徴を有する局所領域を学習単位として、画質劣化の学習を行う。
【００２６】
学習部４０は、図２に示すように、周波数変換部４１、変換係数パラメータ化部４２、画質学習部４３を含む。
【００２７】
周波数変換部４１は、第１領域抽出部２０により抽出された一局所領域の劣化画像に対して周波数変換する。周波数変換は、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。
【００２８】
変換係数パラメータ化部４２は、周波数変換部４１で得られた周波数変換に用いた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。
【００２９】
画質学習部４３は、変換係数パラメータ化部４２で得られた特徴ベクトルと、客観画質評価値算出部３０で算出された一局所領域の客観評価値と、を関連付ける学習を行う。具体的には、画質学習部４３は、変換係数パラメータ化部４２で得られた特徴ベクトルから上記局所領域における劣化画像の画質劣化度を判定するための学習モデルを生成する。たとえば、画質学習部４３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果パラメータとして学習結果記憶部５０に記憶される。
【００３０】
学習結果記憶部５０は、画質学習部４３の学習結果、すなわち、上記一局所領域の特徴ベクトルと客観評価値との関連付けを、学習パラメータとして記憶する。学習結果記憶部５０は、学習部４０と同数用意される。すなわち、同じ領域特徴を有する局所領域単位の学習結果を別々に記憶する。
【００３１】
第２領域抽出部６０は、第１領域抽出部２０と同一の領域特徴に基づいて、検査画像から局所領域を抽出する。第２領域抽出部６０に入力される検査画像は、画像劣化の検査対象となる画像である。したがって、検査画像は、学習用画像とは異なり、無劣化画像および劣化画像の対ではない。領域特徴、および、当該領域特徴に基づく局所領域の抽出動作の詳細については、後述する。
【００３２】
推定部７０は、学習結果記憶部５０に記憶されている学習結果に基づいて、第２領域抽出部６０により抽出された局所領域の画質劣化を推定する。すなわち、推定部７０は、学習部４０によって生成された学習モデルに、上記抽出された局所領域の検査画像を入力し、得られた出力値を抽出された局所領域の検査画像の画質劣化度とする。なお、学習モデルに含まれるパラメータには、学習結果記憶部６０に記憶された学習結果パラメータが用いられる。推定部７０は、学習結果記憶部５０と同数用意される。すなわち、推定部７０は、同じ領域特徴を有する局所領域別に、学習結果記憶部５０に記憶されている学習結果を用いて、画像劣化を推定する。このため、第２領域抽出部６０により抽出された局所領域は、その領域特徴により、適切な推定部７０に割り当てられる。
【００３３】
推定部７０は、図３に示すように、周波数変換部７１、変換係数パラメータ化部７２、画質推定部７３を含む。
【００３４】
周波数変換部７１は、第２領域抽出部６０により抽出された一局所領域の検査画像に対して周波数変換する。周波数変換は、ウェーブレット変換、離散コサイン変換、またはフーリエ変換などを用いることができる。周波数変換部７１は、周波数変換部４１と同一処理を行うため、周波数変換部４１により代替処理することもできる。
【００３５】
変換係数パラメータ化部７２は、周波数変換部７１で得られた周波数変換に用いた変換係数の分布形状をパラメータ化して、特徴ベクトルとする。変換係数パラメータ化部７２は、変換係数パラメータ化部４２と同一処理を行うため、変換係数パラメータ化部４２により代替処理することもできる。
【００３６】
画質推定部７３は、変換係数パラメータ化部７２で得られた特徴ベクトルと、学習結果記憶部５０に記憶された学習パラメータとを用いて、一局所領域の画質劣化を推定する。例えば、ＳＶＲ手法を用いることができる。
【００３７】
画質統合部８０は、一つの検査画像から抽出された複数の局所領域ごとの推定部７０による画質推定結果を統合して、一つの検査画像の画質推定結果として出力する。複数の画質推定結果に対して、それぞれ重みをつけて統合することができる。なお、推定部７０が一つしかない場合、すなわち、抽出される局所領域が一つに限っている場合、画質統合部８０は無くても良い。
【００３８】
（画質推定装置の動作）
次に、本発明に係る画質推定装置の動作について説明する。画質推定装置の動作は、ＣＰＵが画質推定プログラムを実行することで達成できる。
【００３９】
図４は、本発明に係る画質推定装置の動作フローチャートである。図４に示す動作は、画質推定プログラムのトップクラスに位置するメインプログラムの処理手順を示している。
【００４０】
（ステップＳ１００）
モード読取ステップとして、メインプログラムを実行するＣＰＵは、画質推定プログラムの実行モードを読み取る。実行モードは、ユーザーがキーボード、マウス、タッチパネル等の入力装置を使って設定できる。実行モードには、学習モード、推定モードを含むが、必要に応じて他のモードを含むこともできる。
【００４１】
（ステップＳ２００）
学習モード判断ステップとして、ＣＰＵにより、実行モードが学習モードであるか否かについて判断する。学習モードである場合は、ステップ３００に移行する。学習モードではない場合は、ステップ４００に移行する。
【００４２】
（ステップＳ３００）
学習プロセスステップとして、第１領域抽出部２０、客観画質評価値算出部３０、学習部４０により、学習用画像に対する画質劣化の学習を行う。学習プロセスステップＳ３００の詳細な処理は、図５のフローチャートを用いて後述する。
【００４３】
（ステップＳ４００）
推定モード判断ステップとして、ＣＰＵにより、実行モードが推定モードであるか否かについて判断する。推定モードである場合は、ステップ５００に移行する。推定モードではない場合は、ステップ６００に移行する。
【００４４】
（ステップＳ５００）
推定プロセスステップとして、第２領域抽出部６０、推定部７０、画質統合部８０により、検査画像に対する画質劣化の推定を行う。推定プロセスステップＳ５００の処理は、図７のフローチャートを用いて後述する。
【００４５】
（ステップＳ６００）
メインプログラム終了判断ステップとして、ＣＰＵにより、画質推定プログラムを終了させるか否かについて判断する。画質推定プログラムを終了させる場合は、ステップ７００に移行する。画質推定プログラムを終了させない場合は、最初に戻って次の画質劣化の学習または推定を行う。
【００４６】
（ステップＳ７００）
終了ステップとして、ＣＰＵにより、画質推定プログラムの終了処理を実行する。学習モードまたは推定モードにおいて、プログラム実行の中で使用された変数のアドレス空間の開放や、外部とのアクセスの切断などの処理を行うことができる。
【００４７】
以上において、一つのＣＰＵですべての処理を行う態様を想定して説明したが、実行モード毎に別のＣＰＵで処理することもできる。この場合、ＣＰＵ間の相互アクセス処理が必要となる。ただし、機能ごとに別のチップに搭載されるＣＰＵを使用することにより、組合せの自由や機能のバージョンアップのし易さ、画質推定を必要とする終端機器で学習結果のみを利用して、学習プロセス自体は必要としないなどといった対応が柔軟にできる。
【００４８】
次に、学習プロセスステップＳ３００、推定プロセスステップＳ５００の詳細の処理を示すサブルーチンフローチャートについて説明する。
【００４９】
図５は、図４の学習プロセスのサブルーチンフローチャートである。
【００５０】
（ステップＳ３１０）
ＣＰＵは、学習用画像データベース１０に予め格納されている複数組の学習用画像から、学習させる学習用画像の組数Ｌを取得する。画質劣化を学習させる学習用画像の母数の数とジャンルが多いほど、より良い推定精度が得られるが、予め検査画像のジャンルが分かる場合や、必要な推定精度などに応じて、適宜選択しながら決めることができる。
【００５１】
（ステップＳ３２０）
ＣＰＵは、Ｌ組の学習用画像のうち、一組の学習用画像を選択して、選択された学習用画像に対して第１領域抽出部２０により領域抽出処理を行う。領域抽出は、画像内の領域を識別するための領域特徴に基づいて行う。
【００５２】
領域特徴は、既存の画像領域分類方法として、ＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）、ＶＱ（Ｖｅｃｔｏｒ  Ｑｕａｎｔｉｚａｔｉｏｎ）、ｋ−ｍｅａｎｓ、領域成長法、ｗａｔｅｒｓｈｅｄなどの手法において用いる輝度値、カラー値、濃度勾配などの特徴量と、予め定められた基準量との関係により定める。
【００５３】
また、領域特徴は、既存の画像領域特定手法であるＳａｌｉｅｎｃｙ  Ｍａｐにおいては、人間が注目しやすい主要オブジェクトの領域を識別するための基準として、画像のエッジ、色、テクスチャなどの画像特徴により定めることもできる。
【００５４】
後述の（実施形態１）では、輝度分散値に基づいて領域を分類することで局所領域を抽出する方法を、（実施形態２）では、Ｓａｌｉｅｎｃｙ  Ｍａｐ手法を用いて領域を特定することで局所領域を抽出する方法を、それぞれ詳細に説明する。
【００５５】
領域特徴に基づいて抽出された局所領域の数をＫとする。
【００５６】
（ステップＳ３３０）
ＣＰＵは、Ｋ個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の学習用画像に対して学習部４０により画質劣化の学習を行う。周波数変換部４１により、一局所領域に対する劣化画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部４２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルと、客観画質評価値算出部３０で算出された一局所領域の客観評価値との関連付けを、画質学習部４３によりＳＶＭを用いて学習する。具体的には、変換係数パラメータ化部４２で得られた特徴ベクトルから一局所領域の劣化画像の画質劣化度を判定するための学習モデルを生成する。例えば、画質学習部４３は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。
【００５７】
（ステップＳ３４０）
ＣＰＵは、一局所領域の学習結果、すなわち上記関連付けを学習パラメータとして、学習結果記憶部５０に記憶させる。
【００５８】
（ステップＳ３５０）
ＣＰＵは、ステップＳ３２０で領域抽出されたＫ個のすべての局所領域の画質劣化の学習が終えたか否かについて判断する。すべての局所領域の画質劣化の学習が終えた場合、次のステップＳ３６０に移行する。継続して画質劣化の学習をすべき局所領域がある場合、ステップＳ３３０に移行して、他の局所領域の画質劣化の学習を行う。
【００５９】
（ステップＳ３６０）
ＣＰＵは、ステップＳ３１０で取得されたＬ個のすべての組の学習用画像の画質劣化の学習が終えたか否かについて判断する。すべての組の画質劣化の学習が終えた場合、メインプログラムに移行する。継続して画質劣化の学習をすべき組がある場合、ステップＳ３２０に移行して、他の組の学習用画像の画質劣化の学習を行う。
【００６０】
図６は、図４の推定プロセスのサブルーチンフローチャートである。
【００６１】
（ステップＳ５１０）
ＣＰＵは、画質推定の対象である検査画像の入力検知を行う。検査画像は、主として符号化された画像である。
【００６２】
（ステップＳ５２０）
ＣＰＵは、検査画像に対して第２領域抽出部６０により領域抽出処理を行う。領域抽出は、第１領域抽出部２０と同一の領域特徴に基づいて行う。抽出された局所領域の数をＫ’とする。
【００６３】
（ステップＳ５３０）
ＣＰＵは、Ｋ’個の局所領域のうち、任意の局所領域を選択して、選択された一局所領域の検査画像に対して推定部７０により画質劣化の推定を行う。周波数変換部７１により、一局所領域に対する検査画像に対して周波数変換し、得られた周波数変換に用いた変換係数の分布形状を変換係数パラメータ化部７２によりパラメータ化して、特徴ベクトルとする。当該特徴ベクトルを、学習結果記憶部５０に記憶された学習パラメータによって決定される学習モデルに入力して一局所領域の画質劣化度を推定する。
【００６４】
（ステップＳ５４０）
ＣＰＵは、一局所領域の推定結果を画質統合部８０に格納する。
【００６５】
（ステップＳ５５０）
ＣＰＵは、ステップＳ５２０で領域抽出されたＫ’個のすべての局所領域の画質劣化の推定が終えたか否かについて判断する。すべての局所領域の画質劣化の推定が終えた場合、次のステップＳ５６０に移行する。継続して画質劣化の推定をすべき局所領域がある場合、ステップＳ５３０に移行して、他の局所領域の画質劣化の推定を行う。
【００６６】
（ステップＳ５６０）
ＣＰＵは、すべての抽出された局所領域の画質劣化の推定が終えると、画質統合部８０によりそれぞれの一局所領域の推定結果に重みを付加してこれらを統合し、一つの検査画像の画質推定結果として、出力機器を通じて出力する。重みは、たとえば、検査画像全体における一局所領域が占める面積、すなわち、全画素数に対する一局所領域の画素数のパーセンテージとすることができる。
【００６７】
（ステップＳ５７０）
画質推定処理を終了させるか否かについて判断する。処理を終了させる場合、メインプログラムに移行する。継続して画質劣化の推定を実行する場合、ステップＳ５１０に移行して、次の検査画像の入力検知を行う。
【００６８】
なお、上記した各フローチャートの各処理単位は、画質推定装置の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。画質推定装置で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。
【００６９】
次に、本発明に係る画質推定装置、画質推定方法および画質推定プログラムを（実施形態１）と（実施形態２）に分けてさらに詳細に説明する。
【００７０】
（実施形態１）
実施形態１は、輝度分散値に基づいて学習用画像または検査画像から局所領域を抽出する方法を利用した画質推定装置である。
【００７１】
（実施形態１の画質推定装置の構成）
図７は、実施形態１に係る画質推定装置の構成を示すブロック図である。図７において、図１と同一の構成要素には図１と同一の符号を付している。
【００７２】
本実施形態では、図１の画質推定装置が、学習部４０、学習結果記憶部５０、推定部７０をそれぞれ二つ有している場合を一例として説明する。
【００７３】
ただし、これは本実施形態の局所領域抽出方法の説明を分かりやすく説明するために例示したものだけであって、学習部４０、学習結果記憶部５０、推定部７０が二つ以上の場合も、当然本願発明の技術的範囲に属する。
【００７４】
本実施形態において、第１領域抽出部２０は、上記領域特徴に基づいて学習用画像を二つの局所領域に分類して抽出する。
【００７５】
客観画質評価値算出部３０は、第１領域抽出部２０により抽出された二つの局所領域について、それぞれ客観評価値を算出する。
【００７６】
学習部４０Ａは、第１領域抽出部２０により抽出された一方の局所領域と、当該一方の局所領域に対する客観画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。
【００７７】
学習部４０Ｂは、第１領域抽出部２０により抽出された他方の局所領域と、当該他方の局所領域に対する客観画質評価値とを関連付け、当該関連付けを異なる学習用画像を用いて繰り返し、画質劣化を学習する。
【００７８】
学習結果記憶部５０Ａは、学習部４０ＡのＳＶＭにより学習した結果を一つの学習パラメータとして記憶する。
【００７９】
学習結果記憶部５０Ｂは、学習部４０ＢのＳＶＭにより学習した結果を他の一つの学習パラメータとして記憶する。
【００８０】
同様に、第２領域抽出部６０は、上述領域特徴に基づいて検査画像から二つの局所領域を抽出する。
【００８１】
推定部７０Ａは、学習部４０Ａによる学習結果に基づいて、第２領域抽出部６０により抽出された一つの局所領域の画質劣化を推定する。
【００８２】
推定部７０Ｂは、学習部４０Ｂよる学習結果に基づいて、第２領域抽出部６０により抽出された他の一つの局所領域の画質劣化を推定する。
【００８３】
（実施形態１の画質推定装置の動作）
次に、実施形態１の画質推定装置の動作について説明する。図４〜６における処理フローのうち、ステップＳ３２０およびステップＳ５２０における領域抽出方法について主に説明する。他の処理ステップについては、図４〜６の処理フローと同様な動作を行う。
【００８４】
図８は、局所領域を抽出するための画像の一部を拡大し、基準ブロックＢｉｊでブロック分割した様子を示す図である。図９は、図８の基準ブロックＢｉｊを示す図である。
【００８５】
本実施形態の領域抽出方法の理解を容易にするために、局所領域を抽出する対象である学習用画像または検査画像において、Ｘ×Ｙピクセルサイズの画像領域部分を切出して説明する。
【００８６】
図８に示す例では、４０×４０サイズの画像を用いる。拡大された図８でわかるように、左上の領域と右下の領域では、隣接する画素間の輝度変化が激しく、高い空間周波数成分を含んでいる。
【００８７】
一方、左下から右上に係る領域では、比較的に隣接する画素間の輝度変化が緩く、低い空間周波数成分を含んでいる。
【００８８】
このように、領域毎に空間周波数成分が異なる画像に対して、効率的に画質劣化を学習または推定させるための方法を開示する。
【００８９】
まず、図８に示すように、４０×４０サイズの画像領域を基準ブロックＢｉｊ（Ｎ×Ｎ）で機械的なブロック分割を行う。
【００９０】
ここで、基準ブロックＢｉｊは、図９に示すような（Ｎ＝８ピクセル）の矩形ブロックである。そのため、領域抽出対象画像はＢ１１〜Ｂ５５の２５個のブロック単位に画像領域が分割される。
【００９１】
次に、基準ブロックＢｉｊにより分割された画像領域毎に、当該分割された画像領域内の平均輝度分散値ＶＢｉｊ（ｉ＝１〜５、ｊ＝１〜５）を求める。画像内座標（ｘ、ｙ）における画素の輝度値をＩ（ｘ、ｙ）とした場合、平均輝度分散値ＶＢｉｊは下記数式１により求められる。
【００９２】
【数１】
2014056442.tif 000003
【００９３】
図１０は、図８の分割されたブロック単位の輝度分散値算出結果を示す図である。Ｂ１１〜Ｂ５５の２５個のブロック単位に、それぞれの平均輝度分散値ＶＢ１１〜ＶＢ５５を表示している。
【００９４】
さらに、上記平均輝度分散値ＶＢｉｊは、下記数式２により正規化され、Ｖ’Ｂｉｊと表すことができる。
【００９５】
【数２】
2014056442.tif 000004
【００９６】
ここで、ＶｕｐｐｅｒはＶＢｉｊの上限値を決める閾値である。
【００９７】
この正規化されたＶＢｉｊ’に基づいて、予め定められた領域分類閾値Ｖｔｈにより、ＶＢｉｊ’とＶｔｈの数値の大小関係で上記分割されたブロックを２分類できる。
【００９８】
図１１は、図１０の輝度分散値算出結果に基づいて、分割されたブロックを２分類して、局所領域を抽出するイメージ図である。
【００９９】
ＶＢｉｊ’がＶｔｈより大きい場合（例えば、ＶＢｉｊ’＝０．７、Ｖｔｈ＝０．５）、該当するブロックを第０局所領域として、ＶＢｉｊ’がＶｔｈより大きくない場合（例えば、ＶＢｉｊ’＝０．３、Ｖｔｈ＝０．５）、該当するブロックを第１局所領域として、分類できる。
【０１００】
すなわち、本実施形態においては、機械的に分割された矩形ブロック単位の画像を、さらにブロック集合である第０局所領域と第１局所領域に分類した。領域分類には、正規化された輝度分散値ＶＢｉｊ’と領域分類閾値Ｖｔｈの大小関係を領域特徴として用いた。
【０１０１】
このように、画像中の領域特徴に基づいて抽出された局所領域別に画質劣化の学習または推定を行うことにより、画像に固有の空間周波数分布の影響を考慮して、画質推定精度を向上させている。
【０１０２】
（実施形態２）
実施形態２は、Ｓａｌｉｅｎｃｙ  Ｍａｐ手法を用いて領域を特定することで局所領域を抽出する方法を利用した画質推定装置である。
【０１０３】
（実施形態２の画質推定装置の構成）
図１２は、実施形態２に係る画質推定装置の構成を示すブロック図である。図１２において、図１と同一の構成要素には図１と同一の符号を付している。
【０１０４】
実施形態２では、図１の画質推定装置が、学習部４０、学習結果記憶部５０、推定部７０をそれぞれ一つだけ有し、画質統合部８０を有していない場合を一例として説明する。
【０１０５】
本実施形態において、第１領域抽出部２０は、領域特徴に基づいて学習用画像または検査画像から一つの局所領域を特定して抽出する。
【０１０６】
客観画質評価値算出部３０は、第１領域抽出部２０により抽出された一つの局所領域について、客観評価値を算出する。
【０１０７】
学習部４０は、第１領域抽出部２０により抽出された一つの局所領域と、当該一つの局所領域の上記一つの客観画質評価値とを関連付ける。当該関連付けを、学習部４０は、異なる学習用画像を用いて繰り返し、画質劣化を学習する。
【０１０８】
学習結果記憶部５０は、学習部４０のＳＶＭにより学習した結果を一つの学習パラメータとして記憶する。
【０１０９】
同様に、第２領域抽出部６０は、上述領域特徴に基づいて検査画像から一つの局所領域を抽出する。
【０１１０】
推定部７０は、学習部４０による学習結果に基づいて、第２領域抽出部６０により抽出された一つの局所領域の画質劣化を推定する。
【０１１１】
（実施形態２の画質推定装置の動作）
次に、実施形態２の画質推定装置の動作について説明する。図４〜６における処理フローのうち、ステップＳ３２０およびステップＳ５２０における領域抽出方法について主に説明する。他の処理ステップについては、図４〜６の処理フローと同様な動作を行う。
【０１１２】
図１３は、局所領域を抽出するための画像の一例を示す図である。
【０１１３】
本実施形態の領域抽出方法を説明するため、領域抽出対象画像として、図１３に示すような蝶の写真をパソコンに取り込んだ画像を用いる。
【０１１４】
本実施形態の領域抽出対象画像は、さらに原画像をサブサンプリングした縮小画像を用いてもよい。領域抽出のための演算コスト削減や、微小なノイズ、テクスチャ変化に影響を受けないロバストな領域抽出を行うことができる。
【０１１５】
図１４は、図１３の領域抽出対象画像に対して、Ｓａｌｉｅｎｃｙ  Ｍａｐ手法により注視しやすい特徴領域を特定した画像である。図でわかるように、当該手法により、画像における主要オブジェクトの蝶とバックグランドを分離することができる。
【０１１６】
図１５は、図１４の特徴領域特定結果に基づいて、局所領域を抽出するイメージ図である。図面中の白枠で囲まれた局所領域の画像のみを抽出して、画質劣化を学習または推定させる。
【０１１７】
このように、人間が画質劣化を知覚する際には画像内の特徴的な領域である注視領域が大きな影響を与えるという前提に基づいて、注視領域の空間周波数特性に適した画質劣化推定モデルを用いることによって、画質推定精度を向上できる。
【０１１８】
なお、上記実施形態においては、静止画像における画質劣化の学習または推定を行う場合を開示した。
【０１１９】
ただし、本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、動画像に対する画質劣化の学習または推定を行うこともできる。動画像は静止画像が時間的に連続したフレームの集合と考えられるため、学習または推定の画像をフレーム画像とみなすことができる。
【０１２０】
また、画質推定装置を動作させるプログラムは、ＵＳＢメモリ、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、メモリやストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画質推定装置の一機能としてその装置のソフトウェアに組み込んでもよい。
【符号の説明】
【０１２１】
１０  学習用画像データベース、
２０  第１領域抽出部、
３０  客観画質評価値算出部、
４０  学習部、
５０  学習結果記憶部、
６０  第２領域抽出部、
７０  推定部、
８０  画質統合部、
４１  周波数変換部、
４２  変換係数パラメータ化部、
４３  画質学習部、
７１  周波数変換部、
７２  変換係数パラメータ化部、
７３  画質推定部、
４０Ａ  第１学習部、
４０Ｂ  第２学習部、
４０Ａ  第１学習結果記憶部、
４０Ｂ  第２学習結果記憶部、
７０Ａ  第１推定部、
７０Ｂ  第２推定部。
【図１】
2014056442.tif 000005
【図２】
2014056442.tif 000006
【図３】
2014056442.tif 000007
【図４】
2014056442.tif 000008
【図５】
2014056442.tif 000009
【図６】
2014056442.tif 000010
【図７】
2014056442.tif 000011
【図９】
2014056442.tif 000012
【図１０】
2014056442.tif 000013
【図１１】
2014056442.tif 000014
【図１２】
2014056442.tif 000015
【図８】
2014056442.tif 000016
【図１３】
2014056442.tif 000017
【図１４】
2014056442.tif 000018
【図１５】
2014056442.tif 000019