(57)【要約】【課題】劣化した画像に対する主観画質評価結果を低コストで推定することのできる画像評価装置を得る。【解決手段】劣化検知マップ生成部４は、学習用原画像１０１と学習用劣化画像１０２とに基づく劣化検知マップ１０５を出力する。生成ルール学習部５は、劣化検知マップ１０５に基づいて、学習用原画像１０１と学習用劣化画像１０２との劣化検知マップ１０５を生成するルールである劣化検知マップ生成ルール１０６を学習する。生成ルール適用部６は、劣化検知マップ生成ルール１０６に基づいて、評価対象原画像と評価対象劣化画像との評価画像劣化検知マップ１０７を生成する。【選択図】図１
2018026654.tif 000002
【特許請求の範囲】
【請求項１】
学習用原画像と学習用劣化画像とを切り替えて表示した場合の画質評価者の視線位置の時系列データを取得する視点移動解析部と、
前記学習用原画像と前記学習用劣化画像とを切り替えて表示した場合の前記画質評価者の脳血流量を計測する脳血流量計測部と、
前記視点移動解析部で取得した時系列データと前記脳血流量計測部の計測結果とを用いて、前記学習用原画像と前記学習用劣化画像とを切り替えて表示した場合の画像上の劣化検知状態を示す劣化検知マップを生成する劣化検知マップ生成部と、
前記劣化検知マップ生成部で生成された劣化検知マップから、前記学習用原画像と前記学習用劣化画像との劣化検知マップ生成ルールを学習する生成ルール学習部と、
前記生成ルール学習部で学習された劣化検知マップ生成ルールを適用して、評価対象原画像と評価対象劣化画像との評価画像劣化検知マップを生成する生成ルール適用部とを備えたことを特徴とする画質評価装置。
【請求項２】
前記評価対象原画像と前記評価対象劣化画像とを切り替えて表示した場合の画質評価者の視線位置の時系列データを取得する視点移動解析部と、
前記評価対象原画像と前記評価対象劣化画像とを切り替えて表示した場合の前記画質評価者の脳血流量を計測する脳血流量計測部と、
前記視点移動解析部で取得した時系列データと前記脳血流量計測部の計測結果とを用いて、前記評価対象原画像と前記評価対象劣化画像とを切り替えて表示した場合の画像上の劣化検知状態を示す劣化検知マップを生成する劣化検知マップ生成部と、
前記評価対象原画像と前記評価対象劣化画像とを切り替えて表示した場合の前記劣化検知マップ及び前記学習用原画像と前記学習用劣化画像とを含む前回までの原画像と劣化画像とで生成した劣化検知マップとを用いて、前記評価対象原画像と前記評価対象劣化画像との劣化検知マップ生成ルールを追加学習する生成ルール学習部と、
前記生成ルール学習部で前回までの原画像と劣化画像とから学習された劣化検知マップ生成ルールを適用して、前記評価対象原画像と前記評価対象劣化画像との評価画像劣化検知マップを生成する生成ルール適用部とを備えたことを特徴とする請求項１記載の画質評価装置。
【請求項３】
前記評価対象原画像に対する前記評価対象劣化画像の歪み量に対して前記生成ルール適用部が生成した当該評価対象原画像及び評価対象劣化画像の評価画像劣化検知マップの値を重み付けして、前記評価対象原画像と前記評価対象劣化画像との劣化検知のスコアを示す評価スコアを算出する評価スコア算出部を備えたことを特徴とする請求項１または請求項２記載の画質評価装置。
【請求項４】
請求項２の画質評価装置を用い、
前記評価対象原画像に対する前記評価対象劣化画像の歪み量に対して前記生成ルール適用部が生成した当該評価対象原画像及び評価対象劣化画像の劣化検知マップの値を重み付けして、前記評価対象原画像と前記評価対象劣化画像との劣化検知のスコアを示す評価スコアを算出する評価スコア算出部と、
前記評価対象原画像に対し、与えられた制御パラメータに基づいて画像圧縮を行って前記評価対象劣化画像を生成する画像圧縮部と、
前記評価スコア算出部で算出した評価スコアが設定値以上となる制御パラメータを決定するルールである制御パラメータ決定ルールを学習する制御パラメータ決定ルール学習部と、
前記制御パラメータ決定ルール学習部で学習された制御パラメータ決定ルールに従って前記評価対象原画像の制御パラメータを決定する制御パラメータ決定部とを備えたことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像に対して劣化した画像に対する主観画質評価を行う画質評価装置及びこれを用いた画像処理装置に関する。
【背景技術】
【０００２】
映像品質の主観画質評価法としてＤＳＣＱＳ（Double Stimulus Continuous Quality Scale）法などが知られている。これらの主観画質評価法では、一つの映像の評価時間は１０秒程度であるため、画面全体を注視して評価することは困難であり、注目しやすい箇所の画質に左右されると考えられる。
【０００３】
一方、映像品質の主観画質評価は被験者を集める必要があり、実験コストがかかるため、主観画質評価スコアを高精度で推定できる技術が求められている。例えば、特許文献１に記載された画質の評価装置では、注視点マップデータと顕著性マップデータとの一致度を計算する。パラメータ決定部は、一致度に基づいて最適な評価用パラメータを決定して、観察者の注視点分布を推定するようにしたものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３９７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載されたような従来の画質評価装置では、画像コンテンツそのものの画質評価を行うものであり、原画像に対して劣化した画像に対する主観画質評価を行うものではなかった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、劣化した画像に対する主観画質評価結果を低コストで推定することのできる画像評価装置及びこれを用いた画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像評価装置は、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画質評価者の視線位置の時系列データを取得する視点移動解析部と、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画質評価者の脳血流量を計測する脳血流量計測部と、視点移動解析部で取得した時系列データと脳血流量計測部の計測結果とを用いて、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画像上の劣化検知状態を示す劣化検知マップを生成する劣化検知マップ生成部と、劣化検知マップ生成部で生成された劣化検知マップから、学習用原画像と学習用劣化画像との劣化検知マップの生成ルールを学習する生成ルール学習部と、生成ルール学習部で学習された劣化検知マップの生成ルールを適用して、評価対象原画像と評価対象劣化画像との劣化検知マップを生成する生成ルール適用部とを備えたものである。
【発明の効果】
【０００８】
この発明の画質評価装置は、学習用原画像と学習用劣化画像とを切り替えて表示した場合の劣化検知マップを生成して劣化検知マップの生成ルールを学習し、学習した劣化検知マップの生成ルールを適用して評価対象原画像と評価対象劣化画像との劣化検知マップを生成するようにしたので、劣化した画像に対する主観画質評価結果を低コストで推定することができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による画質評価装置を示す構成図である。
【図２】この発明の実施の形態１による画質評価装置のハードウェア構成図である。
【図３】この発明の実施の形態１による画質評価装置の劣化検知マップ生成部の動作を示すフローチャートである。
【図４】この発明の実施の形態１による画質評価装置の生成ルール学習部の動作を示すフローチャートである。
【図５】この発明の実施の形態１による画質評価装置の生成ルール適用部の動作を示すフローチャートである。
【図６】この発明の実施の形態１による画質評価装置の評価スコア算出部の動作を示すフローチャートである。
【図７】この発明の実施の形態２による画質評価装置の構成図である。
【図８】この発明の実施の形態２による画質評価装置の生成ルール学習部の動作を示すフローチャートである。
【図９】この発明の実施の形態３による画像処理装置の構成図である。
【図１０】この発明の実施の形態３による画像処理装置の制御パラメータ決定ルール学習部の動作を示すフローチャートである。
【図１１】この発明の実施の形態３による画像処理装置の制御パラメータ決定部の動作を示すフローチャートである。
【図１２】この発明の実施の形態３による画像処理装置の画像圧縮部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による画質評価装置を示す構成図である。
図１に示す画質評価装置は、画像切替部１、視点移動解析部２、脳血流量解析部３、劣化検知マップ生成部４、生成ルール学習部５、生成ルール適用部６、評価スコア算出部７を備えている。画像切替部１は、入力された画像種別のデータに応じて、入力された学習用原画像１０１、学習用劣化画像１０２のうちいずれかを表示画像のデータとして出力する機能部である。表示画像のデータは図示しないモニタに送られ、モニタによって画像が表示される。視点移動解析部２は、モニタに表示された画像を見てその画質評価を行う画質評価者の視線位置を計測する機器を備え、その機器によって取得した視線移動計測データの入力を受け付け、視線位置の時系列データ１０３として出力する機能部である。脳血流量解析部３は、画質評価者がモニタの表示画像を見ている時点の脳血流量を計測する機器を備え、その機器によって取得した脳血流量計測データの入力を受け付け、脳血流量の時系列データ１０４として出力する機能部である。
【００１１】
劣化検知マップ生成部４は、視点移動解析部２から出力された視線位置の時系列データ１０３と、脳血流量解析部３から出力された脳血流量の時系列データ１０４とに基づき、視線の停留点における脳血流量の変化から、画像内の位置毎の劣化検知度を示す劣化検知マップ１０５を生成して出力する機能部である。生成ルール学習部５は、入力された学習用原画像１０１、学習用劣化画像１０２及び劣化検知マップ１０５に基づき、原画像と劣化画像から劣化検知マップを生成するためのルールを学習し、劣化検知マップ生成ルール１０６として出力する機能部である。劣化検知マップ生成ルール１０６を算出するための学習は、顕著性マップに用いるような既知の特徴量を用いた学習であっても、深層学習のような特徴量を自動獲得する学習であってもよい。
【００１２】
生成ルール適用部６は、生成ルール学習部５で学習された劣化検知マップ生成ルール１０６を適用して、評価対象原画像と評価対象劣化画像との評価画像劣化検知マップ１０７を生成する機能部である。評価スコア算出部７は、入力された評価対象原画像と評価対象劣化画像から算出した歪みを評価画像劣化検知マップ１０７に示された劣化検知度に応じて重み付けして評価スコアを算出する機能部である。
【００１３】
次に、このように構成された画質評価装置のハードウェア構成を説明する。図２に画質評価装置のハードウェア構成を示す。
図２に示すように、画質評価装置は、プロセッサ２０１、メモリ２０２、画像入力インタフェース２０３、画像表示インタフェース２０４、データ入力インタフェース２０５を備える。プロセッサ２０１は、メモリ２０２に格納されたプログラムを実行して、画質評価装置の機能を実現するためのプロセッサである。メモリ２０２は、画像切替部１〜評価スコア算出部７のそれぞれの機能に対応したプログラムを格納すると共に、プロセッサ２０１の作業領域を構成し、かつ、各種データを記憶するためのＲＯＭやＲＡＭあるいはＨＤＤ装置からなる記憶部である。画像入力インタフェース２０３は、学習用原画像１０１と学習用劣化画像１０２及び評価対象原画像と評価対象劣化画像とを入力するためのインタフェースである。画像表示インタフェース２０４は、画像切替部１からの表示画像のデータを出力するためのインタフェースである。データ入力インタフェース２０５は、画像切替部１への画像種別のデータの入力、視点移動解析部２への視線移動計測データの入力、脳血流量解析部３への脳血流量計測データの入力を行うためのインタフェースである。
【００１４】
図１に示した画像切替部１は、図２におけるプロセッサ２０１〜データ入力インタフェース２０５で構成されている。視点移動解析部２及び脳血流量解析部３は、データ入力インタフェース２０５と、メモリ２０２に格納されたそれぞれの機能に対応したプログラムをプロセッサ２０１が読み出して実行することで実現されている。劣化検知マップ生成部４及び生成ルール学習部５は、画像入力インタフェース２０３及びデータ入力インタフェース２０５と、メモリ２０２に格納されたそれぞれの機能に対応したプログラムをプロセッサ２０１で読み出して実行することにより実現されている。また、生成ルール適用部６及び評価スコア算出部７は、画像入力インタフェース２０３と、メモリ２０２に格納されたそれぞれの機能に対応したプログラムをプロセッサ２０１が読み出して実行することにより実現されている。
【００１５】
次に、実施の形態１の画質評価装置の動作について説明する。
画像切替部１は、外部から与えられる画像種別のデータに基づいて学習用原画像１０１と学習用劣化画像１０２とを切り替えて表示画像のデータとして出力する。この表示画像のデータは画質評価者が見ているモニタに送られ、画像が表示される。なお、学習用原画像１０１と学習用劣化画像１０２との表示方法については、例えば、学習用原画像１０１と学習用劣化画像１０２とを一定時間毎に交互に表示する、といった表示であるが、どのような切替表示であっても良い。画質評価者には、視線位置を計測する機器と脳血流量を計測する機器とが装着され、それぞれの機器で取得したデータは視点移動解析部２と脳血流量解析部３とに取り込まれる。視点移動解析部２は取り込んだ視線移動計測データを視線位置の時系列データ１０３として劣化検知マップ生成部４に出力する。また、脳血流量解析部３は、取り込んだ脳血流量計測データを脳血流量の時系列データ１０４として劣化検知マップ生成部４に出力する。
【００１６】
劣化検知マップ生成部４は、取得した視線位置の時系列データ１０３と脳血流量の時系列データ１０４とに基づいて、劣化検知マップ１０５を生成する。図３は、この動作を示すフローチャートである。
先ず、視点移動解析部２から出力された視線位置の時系列データ１０３に基づき、視線が停留している時刻及び位置を検出する（ステップＳＴ１１）。すなわち、画質評価時に注視しやすい（画質評価者が評価するポイントとしやすい）領域を抽出するために、視線位置の時系列データ１０３を元に画質評価者の視線停留位置を抽出する。次に、脳血流量解析部３から出力された脳血流量の時系列データ１０４と、ステップＳＴ１１で検出した視線停留時刻及び視線停留位置に基づき、視線停留位置における脳血流量変化を画像化したものを劣化検知マップ１０５として出力する（ステップＳＴ１２）。すなわち、それぞれの視線停留位置に対し、その位置を見ている期間の脳血流量変化の大きさに応じた値を劣化検知度とする。視線停留位置ではない位置については、劣化検知度＝０とする。また、劣化検知マップ１０５は、例えば、劣化検知度の値をグレースケールの画素値で表した画像といったものであり、図１で示す劣化検知マップ１０５中の楕円領域は劣化検知度の大きい領域を表している。
【００１７】
次に、生成ルール学習部５は、劣化検知マップ生成ルール１０６を算出する。図４は、この動作を示すフローチャートである。
学習用原画像１０１、学習用劣化画像１０２及び劣化検知マップ１０５が与えられた場合、これらのデータを用いて、原画像と劣化画像から劣化検知マップを生成するためのルールである劣化検知マップ生成ルール１０６を学習する（ステップＳＴ２１）。例えば、学習用原画像１０１と学習用劣化画像１０２、またはそれらの差分画像から劣化検知度を生成するための計算式を学習する。この学習においては、学習用原画像１０１、学習用劣化画像１０２及び劣化検知マップ１０５の組合せを多数用意し、それらに対して平均的に劣化検知度を精度よく表すような計算式を学習する。その後、学習結果を生成ルール適用部６に出力する（ステップＳＴ２２）。
【００１８】
生成ルール適用部６では、生成ルール学習部５から出力された劣化検知マップ生成ルール１０６を複数登録し、データベースとして管理する。図５は、このような状態での生成ルール適用部６の動作を示すフローチャートである。
生成ルール適用部６では、与えられる評価対象原画像及び評価対象劣化画像に対して、データベースとして管理している劣化検知マップ生成ルール１０６を適用し、これら評価対象原画像及び評価対象劣化画像に関する劣化検知マップである評価画像劣化検知マップ１０７を生成する（ステップＳＴ３１）。その後、生成した評価画像劣化検知マップ１０７を評価スコア算出部７に出力する（ステップＳＴ３２）。なお、生成ルール適用部６は、データベースとして管理する複数の劣化検知マップ生成ルール１０６として、例えば嗜好の異なる画質評価者毎の劣化検知マップ生成ルール１０６を登録する、といったことが考えられる。そして、どのような主観評価スコアを得たいかによって、劣化検知マップ生成ルール１０６を使い分ける、といった適用方法がある。ただし、データベースとして管理する劣化検知マップ生成ルール１０６の種別や個数に制約はなく、例えば、劣化検知マップ生成ルール１０６が一つだけであってもよい。
【００１９】
次に、評価スコア算出部７は、評価対象原画像と評価対象劣化画像に基づき、生成ルール適用部６から出力された評価画像劣化検知マップ１０７の評価スコアを算出する。図６は、評価スコア算出部７の動作を示すフローチャートである。
評価スコア算出部７は、先ず、評価対象劣化画像の、評価対象原画像に対する歪み量を計算する（ステップＳＴ４１）。この歪み量としては、例えば、一般に用いられているＰＳＮＲ（Peak Signal to Noise Ratio：ピーク信号対雑音比）で、ｍ×ｎの画像Ｉと画像Ｋに対して定義する。なお、ＭＡＸＩは画像Ｉが取りうる最大画素値であり、ＭＳＥは平均二乗誤差である。
2018026654.tif 000003
2018026654.tif 000004
【００２０】
次に、ステップＳＴ４１で算出した歪みを、評価画像劣化検知マップ１０７に示された劣化検知度で重み付けして、評価スコアを算出する（ステップＳＴ４２）。すなわち、劣化検知度の値をグレースケールの画素値で表した画像が評価画像劣化検知マップ１０７であるため、評価画像劣化検知マップ１０７の画素値＝劣化検知度である。ここで、一例として、画像の位置（ｉ，ｊ）における劣化検知度をｄ（ｉ，ｊ）とした場合、
2018026654.tif 000005
として、
2018026654.tif 000006
と計算する。最後に、評価スコア算出部７は、求めた評価スコアを出力する（ステップＳＴ４３）。
【００２１】
以上のように、実施の形態１の画質評価装置によれば、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画質評価者の視線位置の時系列データを取得する視点移動解析部と、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画質評価者の脳血流量を計測する脳血流量計測部と、視点移動解析部で取得した時系列データと脳血流量計測部の計測結果とを用いて、学習用原画像と学習用劣化画像とを切り替えて表示した場合の画像上の劣化検知状態を示す劣化検知マップを生成する劣化検知マップ生成部と、劣化検知マップ生成部で生成された劣化検知マップから、学習用原画像と学習用劣化画像との劣化検知マップの生成ルールを学習する生成ルール学習部と、生成ルール学習部で学習された劣化検知マップの生成ルールを適用して、評価対象原画像と評価対象劣化画像との劣化検知マップを生成する生成ルール適用部とを備えたので、劣化した画像に対する主観画質評価結果を低コストで推定することができる。
【００２２】
また、実施の形態１の画質評価装置によれば、評価対象原画像に対する評価対象劣化画像の歪み量に対して生成ルール適用部が生成した評価対象原画像及び評価対象劣化画像の劣化検知マップの値を重み付けして、評価対象原画像と評価対象劣化画像との劣化検知のスコアを示す評価スコアを算出する評価スコア算出部を備えたので、主観画質評価結果をスコアとして得ることができる。
【００２３】
実施の形態２．
実施の形態２の画質評価装置は、評価画像を用いて追加学習を行うようにしたものである。
図７は、実施の形態２の画質評価装置の構成図である。実施の形態２の画質評価装置は、画像切替部１ａ、視点移動解析部２、脳血流量解析部３、劣化検知マップ生成部４、生成ルール学習部５ａ、生成ルール適用部６、評価スコア算出部７を備え、画像切替部１ａと生成ルール学習部５ａ以外の構成は実施の形態１と同様である。画像切替部１ａは、実施の形態１における学習用原画像と学習用劣化画像との表示画像のデータの切替を行うと共に、評価対象原画像と評価対象劣化画像が入力された場合、その画像種別のデータに基づいて、評価対象原画像と評価対象劣化画像のいずれかを表示画像のデータとして出力するよう構成されている。生成ルール学習部５ａは、実施の形態１の機能を有すると共に、評価対象原画像と評価対象劣化画像が入力された場合に、これら評価対象原画像と評価対象劣化画像によって劣化検知マップ生成ルール１０６を追加学習し、新たな生成ルールを生成ルール適用部６に出力する機能を有している。
【００２４】
次に、実施の形態２の画質評価装置の動作について説明する。実施の形態２の動作としては、先ず、実施の形態１の動作が行われ、学習用画像によって生成ルール学習部５ａでは、劣化検知マップ生成ルール１０６の学習が既に行われている状態であるとする。このような状態で、評価対象原画像と評価対象劣化画像が与えられた場合、生成ルール学習部５ａは劣化検知マップ生成ルール１０６を追加学習する。図８は、生成ルール学習部５ａにおける追加学習の動作を示すフローチャートである。
【００２５】
評価対象原画像、評価対象劣化画像が与えられ、また、劣化検知マップ生成部４からその評価対象原画像と評価対象劣化画像による劣化検知マップが与えられた場合、これらのデータと、蓄積されている学習用原画像、学習用劣化画像及び劣化検知マップとを用いて、原画像と劣化画像から劣化検知マップを生成するためのルールを追加学習する（ステップＳＴ５１）。すなわち、生成ルール学習部５ａでは、既に保持されている劣化検知マップ生成ルールを出発点として学習動作を行う。この追加学習動作については実施の形態１における生成ルール学習部５の学習用画像に基づく動作と同様である。すなわち、学習用画像による動作と同様に画像切替部１ａでは評価対象原画像と評価対象劣化画像とを切り替えて表示画像のデータとして出力する。また、これによる視点移動解析部２、脳血流量解析部３及び劣化検知マップ生成部４の動作も実施の形態１における動作と同様である。その後、生成ルール学習部５ａは、追加学習の結果を生成ルール適用部６に出力する（ステップＳＴ５２）。
【００２６】
生成ルール適用部６は、生成ルール学習部５ａから出力された追加学習の劣化検知マップ生成ルール１０６をデータベースとして保存する。また、生成ルール適用部６は、今回の評価対象画像が与えられる前の、既にデータベースとして保存されている劣化検知マップ生成ルール１０６を用いて、評価対象原画像と評価対象劣化画像に対する評価画像劣化検知マップ１０７を生成する。そして、評価スコア算出部７は、生成ルール適用部６から出力された評価画像劣化検知マップ１０７に対する評価スコアを算出して出力する。
【００２７】
なお、上記例では、評価対象原画像と評価対象劣化画像とが入力された場合は、必ず画像切替部１ａ〜生成ルール算出部５ａによる学習動作が行われるよう説明したが、学習が必要になった場合にのみ画像切替部１ａ〜生成ルール算出部５ａによる追加学習動作を行うよう構成してもよい。
【００２８】
以上説明したように、実施の形態２の画質評価装置によれば、評価対象原画像と評価対象劣化画像とを切り替えて表示した場合の画質評価者の視線位置の時系列データを取得する視点移動解析部と、評価対象原画像と評価対象劣化画像とを切り替えて表示した場合の画質評価者の脳血流量を計測する脳血流量計測部と、視点移動解析部で取得した時系列データと脳血流量計測部の計測結果とを用いて、評価対象原画像と評価対象劣化画像とを切り替えて表示した場合の画像上の劣化検知状態を示す劣化検知マップを生成する劣化検知マップ生成部と、評価対象原画像と評価対象劣化画像とを切り替えて表示した場合の劣化検知マップ及び学習用原画像と学習用劣化画像とを含む前回までの原画像と劣化画像とで生成した劣化検知マップとを用いて、評価対象原画像と評価対象劣化画像との劣化検知マップ生成ルールを追加学習する生成ルール学習部と、生成ルール学習部で前回までの原画像と劣化画像とから学習された劣化検知マップ生成ルールを適用して、評価対象原画像と評価対象劣化画像との評価画像劣化検知マップを生成する生成ルール適用部とを備えたので、主観評価結果の再現精度を向上させることができる。
【００２９】
実施の形態３．
実施の形態３の画像処理装置は、実施の形態２の画質評価装置を用いて評価対象劣化画像を生成する画像圧縮の制御パラメータ決定ルールを学習するようにしたものである。
図９は、実施の形態３の画像処理装置の構成図である。実施の形態３の画像処理装置は、実施の形態２の構成に加えて、画像圧縮部８、制御パラメータ決定ルール学習部９、制御パラメータ決定部１０を備えている。画像圧縮部８は、評価対象原画像に対し、制御パラメータ決定部１０から与えられる制御パラメータ１０８に基づいて画像圧縮を行って評価対象劣化画像を生成する処理部である。制御パラメータ決定ルール学習部９は、評価スコア算出部７が算出した評価スコアを最大化する制御パラメータ決定ルール１０９を学習する処理部である。制御パラメータ決定部１０は、制御パラメータ決定ルール学習部９から出力された制御パラメータ決定ルール１０９に基づいて評価対象原画像の制御パラメータ１０８を決定し、これを画像圧縮部８及び制御パラメータ決定ルール学習部９に出力する処理部である。また、制御パラメータ決定部１０は、学習状態フラグと学習用制御パラメータとが入力されるよう構成され、学習状態フラグがオンの場合は学習用制御パラメータを制御パラメータ１０８として画像圧縮部８及び制御パラメータ決定ルール学習部９に対して出力するよう構成されている。
【００３０】
これら画像圧縮部８〜制御パラメータ決定部１０は、それぞれの機能に対応したプログラムが図２に示すメモリ２０２に格納され、プロセッサ２０１がこれらのプログラムを読み出して実行することにより実現されている。図９において、これ以外の構成は図７に示した実施の形態２の構成と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００３１】
次に、実施の形態３の画像処理装置の動作について説明する。なお、画質評価装置としての動作は実施の形態２と同様であるため、ここでの説明は省略する。
図１０は、制御パラメータ決定ルール学習部９の動作を示すフローチャートである。制御パラメータ決定ルール学習部９は、入力された評価対象原画像と、制御パラメータ決定部１０から出力された制御パラメータ１０８と、評価スコア算出部７から出力された評価スコアとに基づき、原画像に対して評価スコアを最大化する制御パラメータ決定ルール１０９を学習する（ステップＳＴ６１）。すなわち、ある評価対象原画像を用いて、複数の制御パラメータに対し、それぞれの制御パラメータに対する評価対象劣化画像を用いて評価スコアを算出することで、評価スコアが最大となる制御パラメータが得られる。従って、評価対象原画像と、評価スコアが最大となる制御パラメータの組を制御パラメータ決定ルール学習部９で多数集めることで、評価対象原画像から評価スコアが最大となる制御パラメータを求めるルール（制御パラメータ決定ルール１０９）を学習することができる。なお、制御パラメータ決定ルール１０９とは例えば計算式で表されるルールである。
【００３２】
また、複数の制御パラメータとは、例えば、以下のようなパラメータである。
動画圧縮の国際標準には、予測方式として、（１）画面内予測と（２）画面間予測がある。複数の制御パラメータ値の一例としては、例えば（１）と（２）の選択されやすさのバランスを制御するパラメータ値をいくつか用意する、ということが挙げられる。（１）は圧縮対象画素ブロックの周囲にある圧縮済み画素を用いて予測画素ブロックを生成するのに対し、（２）は圧縮対象画素ブロックが所属する画面とは別の画面の中から、圧縮対象画素ブロックに近い圧縮済み画素ブロックを見つけて、それを予測画素ブロックとする。（２）は動きが単調な映像では有効であるが、動きが複雑な場合は、圧縮対象画素ブロックと予測画素ブロックの誤差が残像として知覚され、主観画質は悪くなる。（１）は画面内に閉じて予測画素ブロックを生成するため、残像は出ないが、圧縮対象ブロック周囲の圧縮済み画素を用いて、国際標準として定められた幾つかの予測パターンの中から選んで予測画素ブロックを生成するため、テクスチャまでは再現できず、予測精度は良くない。従って（１）と（２）の予測方法を原画像に応じて適宜選択することにより、主観画質の悪化を抑えることができる。
【００３３】
制御パラメータ決定ルール学習部９は、ステップＳＴ６１の学習結果を制御パラメータ決定ルール１０９として制御パラメータ決定部１０に出力する（ステップＳＴ６２）。なお、制御パラメータ決定ルール学習部９における学習方法として、原画像に対して評価スコアを最大化する制御パラメータ決定ルール１０９を学習するようにしたが、評価スコアの最大化を含むある設定値以上の評価スコアを対象としてもよい。
【００３４】
次に、制御パラメータ決定部１０の動作を図１１のフローチャートに沿って説明する。制御パラメータ決定部１０では、入力された学習状態フラグがオンの場合（ステップＳＴ７１−ＹＥＳ）には、入力された学習用制御パラメータを制御パラメータ１０８として決定する（ステップＳＴ７２）。なお、学習状態フラグがオンの場合とは、例えば、学習用制御パラメータを制御パラメータ１０８の初期値として与える場合である。一方、ステップＳＴ７１で、入力された学習状態フラグがオフの場合（ステップＳＴ７１−ＮＯ）には、制御パラメータ決定ルール学習部９から出力された制御パラメータ決定ルール１０９に基づき、入力された評価対象原画像に対する制御パラメータ１０８を決定する（ステップＳＴ７３）。ステップＳＴ７２またはステップＳＴ７３で決定された制御パラメータ１０８は、画像圧縮部８及び制御パラメータ決定ルール学習部９に出力される（ステップＳＴ７４）。
【００３５】
次に、画像圧縮部８の動作を図１２のフローチャートに沿って説明する。画像圧縮部８では、制御パラメータ決定部１０から出力された制御パラメータ１０８に基づき、入力された評価対象原画像に圧縮処理を実施する（ステップＳＴ８１）。次に、圧縮処理を実施した画像を評価対象劣化画像として画像切替部１ａ、生成ルール学習部５ａ、生成ルール適用部６及び評価スコア算出部７に出力する（ステップＳＴ８２）。
【００３６】
以上説明したように、実施の形態３の画像処理装置によれば、実施の形態２の画質評価装置を用い、評価対象原画像に対する評価対象劣化画像の歪み量に対して生成ルール適用部が生成した評価対象原画像及び評価対象劣化画像の劣化検知マップの値を重み付けして、評価対象原画像と評価対象劣化画像との劣化検知のスコアを示す評価スコアを算出する評価スコア算出部と、評価対象原画像に対し、与えられた制御パラメータに基づいて画像圧縮を行って評価対象劣化画像を生成する画像圧縮部と、評価スコア算出部で算出した評価スコアが設定値以上となる制御パラメータを決定するルールである制御パラメータ決定ルールを学習する制御パラメータ決定ルール学習部と、制御パラメータ決定ルール学習部で学習された制御パラメータ決定ルールに従って評価対象原画像の制御パラメータを決定する制御パラメータ決定部とを備えたので、画質評価者の主観画質が良好となる画像圧縮を実施することができる。
【００３７】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００３８】
１，１ａ  画像切替部、２  視点移動解析部、３  脳血流量解析部、４  劣化検知マップ生成部、５，５ａ  生成ルール学習部、６  生成ルール適用部、７  評価スコア算出部、８  画像圧縮部、９  制御パラメータ決定ルール学習部、１０  制御パラメータ決定部、１０１  学習用原画像、１０２  学習用劣化画像、１０３  視線位置の時系列データ、１０４  脳血流量の時系列データ、１０５  劣化検知マップ、１０６  劣化検知マップ生成ルール、１０７  評価画像劣化検知マップ、１０８  制御パラメータ、１０９  制御パラメータ決定ルール。
【図１】
2018026654.tif 000007
【図２】
2018026654.tif 000008
【図３】
2018026654.tif 000009
【図４】
2018026654.tif 000010
【図５】
2018026654.tif 000011
【図６】
2018026654.tif 000012
【図７】
2018026654.tif 000013
【図８】
2018026654.tif 000014
【図９】
2018026654.tif 000015
【図１０】
2018026654.tif 000016
【図１１】
2018026654.tif 000017
【図１２】
2018026654.tif 000018