(57)【要約】【課題】参照用の原画像を用いることなく、客観的な画質評価値を高精度に得ることを可能とする画質評価装置、学習装置及びプログラムを提供する。【解決手段】本発明に係る画質評価装置１は、入力画像から部分画像を評価対象パッチとして切り出す画像パッチ切り出し部２０、その評価画像パッチを基にニューラルネットワークの演算により該評価対象パッチに対する評価値を生成するニューラルネットワーク部３０、及びその評価値に基づいて入力画像又は部分画像の評価値を出力する出力部３０Ａ，３０Ｂを備える。本発明に係る学習装置２（３）は、学習画像を基に１種以上の劣化画像を生成し、学習用ニューラルネットワークの演算により推定した推定評価値と該評価値との差分を示す誤差値を用いてその演算上のパラメータを更新し、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成する。【選択図】図１
2020014042.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画質を評価する画質評価装置であって、
前記入力画像から部分画像を評価対象パッチとして切り出す画像パッチ切り出し部と、
前記評価画像パッチを構成する画素の画素値列を基に、ニューラルネットワークの演算により該評価対象パッチに対する評価値を生成するニューラルネットワーク部と、
前記ニューラルネットワーク部によって生成した評価値に基づいて、前記入力画像又は前記部分画像の評価値を出力する出力部と、を備え、
前記評価対象パッチ切り出し部は、
前記評価画像パッチを切り出す位置を順次走査して生成する走査部と、
前記ニューラルネットワーク部によって生成した評価値を前記走査部の走査に同期して積算する積算部と、を備え、
前記出力部は、前記走査部が対象画像内における走査が完了した際に前記積算部により求められた積算値を、前記入力画像の評価値として出力することを特徴とする画質評価装置。
【請求項２】
予め用意された１以上の学習画像から、画質評価用ニューラルネットワークのパラメータを学習生成する学習装置であって、
前記学習画像に対して画質劣化を与えて劣化画像を生成する画像劣化部と、
前記学習画像及び前記劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び評価対象パッチとして切り出す画像パッチ切り出し部と、
前記学習画像及び前記劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び劣化画像パッチとして切り出す画像パッチ切り出し部と、
前記劣化画像パッチの画質を前記原画像パッチの画素値を参照しつつ定量化した評価値を生成する参照画質評価部と、前記劣化画像パッチと該評価値の対からなる学習データを基に、学習用ニューラルネットワークの演算により前記学習データの該劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成する学習用ニューラルネットワーク部と、
前記推定評価値と前記学習データの評価値との差分を演算して前記誤差値を生成する減算部と、
を備えることを特徴とする学習装置。
【請求項３】
前記学習用ニューラルネットワーク部は、前記学習データの該劣化画像パッチの画素値列を前記学習用ニューラルネットワーク内順方向に伝播して評価値を推定することにより当該推定評価値を算出し、前記減算部により得られた当該誤差値を前記ニューラルネットワーク内逆方向に伝播させて前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像の各々からそれぞれ得られる学習データが入力される都度、前記順方向の伝播、及び前記誤差値の逆方向の伝播により、前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像に関する学習データの全て、若しくはその一部に対する前記学習用ニューラルネットワークのパラメータの更新を終えた時点を以て当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする、請求項２に記載の学習装置。
【請求項４】
前記画像劣化部は、前記学習画像に対して程度又は質の異なる劣化を与えて複数の劣化画像を生成し、
前記画像パッチ切り出し部は、前記学習画像及び前記複数の劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び複数の劣化画像パッチとして切り出し、
前記参照画質評価部は、該複数の劣化画像パッチの各画質をそれぞれ前記原画像パッチの画素値を参照しつつ定量化した評価値を含むミニバッチを生成し、
前記学習用ニューラルネットワーク部は、該複数の劣化画像パッチと該ミニバッチを基に、前記学習用ニューラルネットワークの演算により前記学習データの該複数の劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする、請求項２又は３に記載の学習装置。
【請求項５】
前記ニューラルネットワーク部は、
請求項２から４のいずれか一項に記載の学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、
該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする、請求項１又は２に記載の画質評価装置。
【請求項６】
請求項２から４のいずれか一項に記載の学習装置を更に備え、
前記ニューラルネットワーク部は、該学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、
該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする、請求項１又は２に記載の画質評価装置。
【請求項７】
コンピュータを、請求項５又は６に記載の画質評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質を評価する装置に関し、特にリファレンス画像を要しない画質評価装置、学習装置及びプログラムに関する。
【背景技術】
【０００２】
劣化した対象画像の画質を評価する方法として、劣化を受ける前の原画像と対象画像との差分に基づき評価を行うものがある。この評価の演算には、例えば、該差分に基づき演算される平均二乗誤差や、その対数に基づくピーク信号対雑音比（ＰＳＮＲ: Peak Signal to Noise Ratio）が用いられる。
【０００３】
映像符号化に起因する画質劣化を定量化する装置として、ビットストリームに含まれる映像情報（例えば、直交変換係数）及び符号化情報（例えば、量子化値）に基づき、原画像を参照せずに画質評価を可能としたものが実用化されている（例えば、特許文献１，２，３参照）。
【０００４】
ところで、圧縮画像の画質が良好となる符号化パラメータをニューラルネットワークに学習させることで、原画像データが与えられたときに最適な符号化パラメータを導出する画質評価装置が開示されている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１３３７８８号明細書
【特許文献２】特許第６２５３９４４号明細書
【特許文献３】特許第６０８７７７９号明細書
【特許文献４】特許第２７９５１４７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
まず、平均二乗誤差やＰＳＮＲに基づく評価法は原画像の存在が前提となるため、原画像が存在しない場合には評価値を算出することができない。
【０００７】
一方、特許文献１乃至特許文献３に開示される技法では、原画像を参照せずに画質評価を可能としており、直交変換係数及び量子化値など画像の圧縮符号化に用いたパラメータ情報をも利用するため、直交変換や量子化等の圧縮符号化処理を伴う特定の映像符号化方式において符号化誤差推定を有効に実行することができる。一方で、これらの技法は、種々の符号化方式に対応するためには、符号化方式ごとに個別に調整することを要する。さらに、これらの技法は、符号化以外の要因による誤差の推定に応用することを想定していない。
【０００８】
ところで、特許文献４に開示される技法では、ニューラルネットワークを具備する画質評価装置の実施の形態も示されているが、この技法における当該ニューラルネットワークは、圧縮後の画質が良好となるように符号化パラメータを推定するものであり、画質の評価値を演算し、演算した結果を出力するような画質評価装置及び学習装置として構成するには更なる工夫が必要となる。
【０００９】
そこで、本発明の目的は、上述の問題に鑑みて、参照用の原画像を用いることなく、客観的な画質評価値を高精度に得ることを可能とする画質評価装置、学習装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
即ち、本発明による一態様の画質評価装置は、入力画像の画質について参照画像を用いることなく評価する画質評価装置であって、前記入力画像から部分画像を評価対象パッチとして切り出す画像パッチ切り出し部と、前記評価画像パッチを構成する画素の画素値列を基に、ニューラルネットワークの演算により該評価対象パッチに対する評価値を生成するニューラルネットワーク部と、前記ニューラルネットワーク部によって生成した評価値に基づいて、前記入力画像又は前記部分画像の評価値を出力する出力部と、を備え、前記評価対象パッチ切り出し部は、前記評価画像パッチを切り出す位置を順次走査して生成する走査部と、前記ニューラルネットワーク部によって生成した評価値を前記走査部の走査に同期して積算する積算部と、を備え、前記出力部は、前記走査部が対象画像内における走査が完了した際に前記積算部により求められた積算値を、前記入力画像の評価値として出力することを特徴とする。
これにより、入力画像の画像全体としての画質評価値を、高精度且つ自動的に導出することが可能となる。
【００１１】
更に、本発明による一態様の学習装置は、予め用意された１以上の学習画像から、画質評価用ニューラルネットワークのパラメータを学習生成する学習装置であって、前記学習画像に対して画質劣化を与えて劣化画像を生成する画像劣化部と、前記学習画像及び前記劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び劣化画像パッチとして切り出す画像パッチ切り出し部と、前記劣化画像パッチの画質を前記原画像パッチの画素値を参照しつつ定量化した評価値を生成する参照画質評価部と、前記劣化画像パッチと該評価値の対からなる学習データを基に、学習用ニューラルネットワークの演算により前記学習データの該劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成する学習用ニューラルネットワーク部と、前記推定評価値と前記学習データの評価値との差分を演算して前記誤差値を生成する減算部と、を備えることを特徴とする。
これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として自動的に導出することが可能となる。
【００１２】
また、本発明による一態様の学習装置において、前記学習用ニューラルネットワーク部は、前記学習データの該劣化画像パッチの画素値列を前記学習用ニューラルネットワーク内順方向に伝播して評価値を推定することにより当該推定評価値を算出し、前記減算部により得られた当該誤差値を前記ニューラルネットワーク内逆方向に伝播させて前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像の各々からそれぞれ得られる学習データが入力される都度、前記順方向の伝播、及び前記誤差値の逆方向の伝播により、前記学習用ニューラルネットワークのパラメータを更新し、前記１以上の学習画像に関する学習データの全て、若しくはその一部に対する前記学習用ニューラルネットワークのパラメータの更新を終えた時点を以て当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする。
これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として、高精度且つ自動的に導出することが可能となる。
【００１３】
また、本発明による一態様の学習装置において、前記画像劣化部は、前記学習画像に対して程度又は質の異なる劣化を与えて複数の劣化画像を生成し、前記画像パッチ切り出し部は、前記学習画像及び前記複数の劣化画像のそれぞれから同一位置及び大きさの部分領域をそれぞれ原画像パッチ及び複数の劣化画像パッチとして切り出し、前記参照画質評価部は、該複数の劣化画像パッチの各画質をそれぞれ前記原画像パッチの画素値を参照しつつ定量化した評価値を含むミニバッチを生成し、前記学習用ニューラルネットワーク部は、該複数の劣化画像パッチと該ミニバッチを基に、前記学習用ニューラルネットワークの演算により前記学習データの該複数の劣化画像パッチの画素値列から推定評価値を算出し、且つ該推定評価値と該評価値との差分を示す誤差値を用いて前記学習用ニューラルネットワークの演算上の結合重み係数の総体からなるパラメータを更新することにより、当該更新した該パラメータを当該画質評価用ニューラルネットワークのパラメータとして学習生成することを特徴とする。
これにより、前記ミニバッチは同一の絵柄（前記学習画像における原画像パッチ）に異なる劣化を付与した場合の劣化画像パッチと評価値とを含むことから、劣化前の絵柄の影響を受けにくいものとした、より公平な評価を可能にする当該画質評価用ニューラルネットワークのパラメータを、より高精度に、且つ自動的に導出することが可能となる。
【００１４】
更に、本発明による一態様の画質評価装置において、前記ニューラルネットワーク部は、本発明の学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする。
これにより、当該学習装置によって事例に基づき最適化されたパラメータが画質評価装置内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。
【００１５】
更に、本発明による一態様の画質評価装置は、本発明の学習装置を更に備え、前記ニューラルネットワーク部は、該学習装置における学習用ニューラルネットワーク部と同一の素子及び同一の接続によるニューラルネットワーク構造を有し、該学習装置によって演算された当該画質評価用ニューラルネットワークのパラメータを設定して、当該評価対象パッチに対する評価値を生成することを特徴とする。
これにより、当該学習装置にて事例に基づきパラメータを最適化する学習機能と、該パラメータを用いて画質評価対象の入力画像に対する画質評価機能とを備え持つ画質評価装置を構成することができる。この場合も、当該学習装置によって事例に基づき最適化されたパラメータが画質評価装置内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。
【００１６】
更に、本発明のプログラムは、コンピュータを、本発明の画質評価装置として機能させるためのプログラムとして構成されている。
【発明の効果】
【００１７】
本発明によれば、参照用の原画像を用いることなく、客観的な画質評価値を高精度に得ることを可能となる。
【図面の簡単な説明】
【００１８】
【図１】本発明による一実施形態の画質評価装置の概略構成を例示するブロック図である。
【図２】本発明による一実施形態の画質評価装置におけるニューラルネットワーク部の概略構成を例示するブロック図である。
【図３】本発明による第１実施形態の学習装置の概略構成を例示するブロック図である。
【図４】本発明に係る学習装置における同一画像（学習画像の画像パッチ）に対し異なる劣化を付与した複数の劣化画像パッチと、各劣化画像パッチの参照局部評価値とによって構成したミニバッチを例示する図である。
【図５】本発明による第２実施形態の学習装置の概略構成を例示するブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明による一実施形態の画質評価装置１、及び各実施形態の学習装置２，３について順に説明する。
【００２０】
〔画質評価装置〕
図１は、本発明による一実施形態に係る画質評価装置１の概略構成を例示するブロック図である。画像評価装置１は、入力画像（評価対象画像）Ｉの全体画質を評価し、その結果を画質評価値として外部に出力する。また、画像評価装置１は、必要に応じて外部指示に基づき入力画像（評価対象画像）Ｉの局所画質を評価し局部評価値分布として外部に出力する。画質評価装置１は、走査部１０、画像パッチ切り出し部２０、ニューラルネットワーク部３０、積算部４０、及び出力部３０Ａ，４０Ａを備える。
【００２１】
走査部１０は、画像パッチ切り出し部２０に入力される入力画像Ｉ（評価対象画像）の全体画質を評価時に、当該入力画像Ｉから部分画像（評価対象パッチＰｉ）を切り出すための基準となる座標値を順次生成し画像パッチ切り出し部２０に出力する。
【００２２】
例えば、走査部１０は、入力画像Ｉから幅ｗｘ画素、高さｗｙ画素の部分画像を切り出すラスタ走査の要領で座標（０，０）から水平方向ｓｘ、及び垂直方向ｓｙの間隔で座標を生成する。一例として、入力画像Ｉの大きさが水平方向Ｃｘ画素、及び垂直方向Ｃｙの場合に、走査部１０はそのｉ番目の走査時点において、画像座標（ｐ（ｉ），ｑ（ｉ））を、次式（数１）により生成することができる。
【００２３】
【数１】
2020014042.tif 000003
【００２４】
画像パッチ切り出し部２０は、画像パッチ切り出し部２０に入力される入力画像Ｉ（評価対象画像）の全体画質の評価時には、走査部１０によって指定されるｉ番目の走査時点における画像座標（ｐ（ｉ），ｑ（ｉ））に基づいて、入力画像Ｉから部分画像（評価対象パッチＰｉ）を切り出して、ニューラルネットワーク部３０に出力する。
【００２５】
尚、画像パッチ切り出し部２０は、入力画像（評価対象画像）Ｉの局所画質の評価時には、外部指示によって指定される画像座標（ｐ（ｉ），ｑ（ｉ））に基づいて、入力画像Ｉから部分画像（評価対象パッチＰｉ）を切り出して、ニューラルネットワーク部３０に出力する。この局所画質の評価時の外部指示は走査部１０に対して行うものとしてもよい。
【００２６】
例えば、画像パッチ切り出し部２０は、次式（数２）により、走査部１０から指定される画像座標（ｐ（ｉ），ｑ（ｉ））を左上座標として、所定の大きさの矩形領域（例えば、水平方向ｓｘ画素、垂直方向ｓｙ画素の矩形領域）を評価対象パッチＰｉとしてニューラルネットワーク部３０に出力する。
【００２７】
【数２】
2020014042.tif 000004
【００２８】
ニューラルネットワーク部３０は、評価対象パッチＰｉを構成する画素値列を画像パッチ切り出し部２０からニューラルネットワークに入力し、評価対象パッチＰｉの画質の推定値としての局部評価値をその出力端から出力部３０Ａ及び積算部４０に出力する。
【００２９】
例えば図２に示すように、ニューラルネットワーク部３０は、いわゆる畳み込みニューラルネットワークにより構成することができる。図２は、本発明による一実施形態の画質評価装置１におけるニューラルネットワーク部３０の概略構成を示すブロック図の一例である。
【００３０】
ニューラルネットワーク部３０を図２に例示する畳み込みニューラルネットワークにより構成した場合、ニューラルネットワーク部３０は、畳み込み層を１層以上含んで構成される（図示する例では、畳み込み層３２，３３，３５，３６，…の多重構造により構成される。）。また、ニューラルネットワーク部３０は、畳み込み層のほか、全結合層（図示する例では、全結合層３７，３８として例示する。）とプーリング層３４のうち一方又は両方を備えてもよいし、或る層の出力から１以上の層を飛び越えて別の層の入力へ結合するスキップレイヤ結合（図示略）を有しても構わない（所定のニューロン（素子）に直接入力してもよいし、隣接相関を結ぶ結合部分に加算するように結合してもよい。）。また、畳み込み層やプーリング層において空間方向の間引きを行っても構わない。
【００３１】
そして、ニューラルネットワーク部３０において、畳み込み層（図示する例では、畳み込み層３２，３３，３５，３６）及び全結合層（図示する例では、全結合層３７，３８）を構成する各素子への入力には重み係数が掛けられ、更に、必要に応じてバイアスが加えられる（本願明細書中、これら重み係数及びバイアスを総称して、「結合重み係数」と記す。）。また、本願明細書中、ニューラルネットワーク部３０に含まれる結合重み係数の総体を、以後「パラメータ」（図２に示すパラメータ３１）と称することとする。
【００３２】
パラメータ３１は、好適には、図３乃至図５を参照して後述する学習装置２，３に基づいて最適化されたパラメータを用いることとする。ニューラルネットワーク部３０において、パラメータ３１は、外部から書き込み可能としてもよいし、書き換え可能としてもよいし、読み出し専用としても構わない。パラメータ３１が読み出し専用の場合には、予め学習装置２，３等で導出したパラメータを畳み込み層や全結合層内の重み係数値やバイアス値として、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等に記憶させておく。パラメータ３１が書き換え可能の場合には、フラッシュメモリ等に予め導出したパラメータを記憶しておいてもよい。また、ニューラルネットワーク部３０において、パラメータ３１を記憶させずに単に入出力する構成としてもよい。また、この場合、初回使用前やバージョンアップ等の際に必要に応じてそのパラメータ３１の一部又は全部を更新するよう構成することもできる。パラメータ３１が書き込み可能であって、書き換え不可能な場合には、初回使用前までに学習装置２，３等で導出したものを設定するものとする。
【００３３】
従って、ニューラルネットワーク部３０は、画像パッチ切り出し部２０からの評価対象パッチＰｉを構成する画素値列をニューラルネットワークに入力し、複数の畳み込み層の後に１層以上の全結合層を接続し、最初の畳み込み層には評価対象ブロックの２次元的な画素値列を入力し、最終の全結合層の出力に基づき評価対象パッチＰｉの画質の推定値としての局部評価値を決定する。このとき、局部評価値は、当該ニューラルネットワークにおける最終の全結合層の１出力の値をそのまま用いてもよいし、これに線形又は非線形の関数を適用したものとしてもよい。或いは、最終の全結合層の複数の出力値に対して既定の線形変換又は非線形変換を行ってスカラー値に変換し、これを局部評価値としてもよい。
【００３４】
そして、画質評価装置１は、当該外部指示に基づきニューラルネットワーク部３０から出力される局部評価値を出力部３０Ａから局部評価値分布としてそのまま外部に出力することができる。この場合、画質評価装置１は、画面内の場所ごとの局部的な画質を、高精度且つ自動的に評価することが可能となる。
【００３５】
一方、入力画像Ｉ（評価対象画像）の全体画質を評価時には、画質評価装置１は、上述した操作部１０と共に設けられる積算部４０により、画面全体の評価値を画質評価値として出力部４０Ａから外部に出力することができる。
【００３６】
積算部４０は、ニューラルネットワーク部３０によってｉ番目の評価対象パッチＰｉに対して算出された局部評価値Ｌｉを積算し、該積算値に基づいて画面全体としての評価値としての画質評価値Ｅを導出し出力部４０Ａに出力する。
【００３７】
例えば、積算部４０は、次式（数３）により、評価画像パッチＰｉの局部評価値Ｌｉの相加平均値を以て画質評価値Ｅを定義することができる。
【００３８】
【数３】
2020014042.tif 000005
【００３９】
或いは、積算部４０は、次式（数４）により、ｉ番目の評価対象パッチの切り出し位置等に応じて、重みづけβｉを乗じた平均値として画質評価値Ｅを定義してもよい。
【００４０】
【数４】
2020014042.tif 000006
【００４１】
更に、例えば、積算部４０は、次式（数５）により、任意の規定の関数ｆを用いて、画質評価値Ｅを定義してもよい。
【００４２】
【数５】
2020014042.tif 000007
【００４３】
ここで、上式（数５）における関数ｆの例として、次式（数６）のような対数を用いた関数などを用いることもできる。
【００４４】
【数６】
2020014042.tif 000008
【００４５】
更に、例えば、積算部４０は、次式（数７）により、複数の評価画像パッチＰｉに関する任意の規定の関数ｆを用いて、画質評価値Ｅを定義してもよい。
【００４６】
【数７】
2020014042.tif 000009
【００４７】
そして、例えば、積算部４０は、以上の画質評価値Ｅの定義例を適宜組み合わせたものとすることもできる。
【００４８】
以上のように、本実施形態の画質評価装置１は、入力画像（評価対象画像）Ｉの全体画質を評価し、その結果を画質評価値として、及び必要に応じて外部指示に基づき入力画像（評価対象画像）Ｉの局所画質を評価し局部評価値分布として外部に出力する。これにより、入力画像の局所的な画質評価値を出力することや、入力画像の画像全体としての画質評価値を、高精度且つ自動的に導出することが可能となる。
【００４９】
〔学習装置〕
次に、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化するための学習装置２，３の各実施形態の構成について説明する。まず、図３を参照して、第１実施形態の学習装置２を説明する。
【００５０】
（第１実施形態の学習装置）
図３は、本発明による第１実施形態の学習装置２の概略構成を例示するブロック図である。学習装置２は、画像劣化部５０、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部５３、参照画質評価部５４、学習用ニューラルネットワーク部５５、及び減算部５６を備える。
【００５１】
画像劣化部５０は、入力された学習画像Ｔ（画像の大きさを水平方向ｃｘ画素、垂直方向ｃｙ画素とする）に対して、画素値レベルの改変、位置ずらし、変形、回転、拡大、縮小、シア、雑音（インパルス雑音、ガウス雑音、ショット雑音など）、歪（ぼやけ、ブロック歪、非可逆画像符号化・復号に起因する歪など）等の画像改変を施し、劣化画像Ｄとして画像パッチ切り出し部５３に出力する。
【００５２】
切り出し座標値発生部５１は、画像パッチ切り出し部５２に入力される学習画像Ｔ（原画像）から部分画像（原画像パッチＱｉ）を切り出すための基準となる座標値を順次生成し画像パッチ切り出し部５２に出力し、且つこの座標値を画像パッチ切り出し部５３にも出力する。
【００５３】
切り出し座標値発生部５１の動作は、上述した画質評価装置１における走査部１０と同様の動作で画像座標値（ｕ（ｉ），ｖ（ｉ））を生成するものであっても構わないし、或いはランダムな画像座標値（ｕ（ｉ），ｖ（ｉ））を生成するものであっても構わない。
【００５４】
切り出し座標値発生部５１が、ｉ回目の動作時点において、ランダムな画像座標値（ｕ（ｉ），ｖ（ｉ））を生成する場合、例えば、ｕ（ｉ）は０以上ｃｘ−Ｗｘ以下の整数の一様乱数値（或いは一様乱数を模擬した疑似乱数発生器からの疑似乱数値）、また、ｖ（ｉ）は０以上ｃｙ−Ｗｙ以下の整数の一様乱数値（或いは一様乱数を模擬した疑似乱数発生器からの疑似乱数値）とすることができる。
【００５５】
画像パッチ切り出し部５２は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、学習画像Ｔから部分画像（原画像パッチＱｉ）を切り出して参照画質評価部５４に出力する。
【００５６】
例えば、画像パッチ切り出し部５２は、次式（数８）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓｘ画素、垂直方向ｓｙ画素の矩形領域）を原画像パッチＱｉとして参照画質評価部５４に出力する。
【００５７】
【数８】
2020014042.tif 000010
【００５８】
画像パッチ切り出し部５３は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、劣化画像Ｄから部分画像（劣化画像パッチＲｉ）を切り出して、参照画質評価部５４及び学習用ニューラルネットワーク部５５に出力する。
【００５９】
例えば、画像パッチ切り出し部５３は、次式（数９）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓｘ画素、垂直方向ｓｙ画素の矩形領域）を原画像パッチＲｉとして参照画質評価部５４及び学習用ニューラルネットワーク部５５に出力する。
【００６０】
【数９】
2020014042.tif 000011
【００６１】
参照画質評価部５４は、画像パッチ切り出し部５２からの原画像パッチＱｉと、画像パッチ切り出し部５３からの劣化画像パッチＲｉとに基づいて、劣化画像パッチＲｉの画質を評価し、その結果を参照局部評価値Ｍｉとして減算部５６に出力する。
【００６２】
参照局部評価値Ｍｉは、例えば次式（数１０）により、二乗誤差和を用いて求めたものとすることができる。
【００６３】
【数１０】
2020014042.tif 000012
【００６４】
或いは、参照局部評価値Ｍｉは、例えば次式（数１１）により、平均二乗誤差和を用いて求めたものとすることができる。
【００６５】
【数１１】
2020014042.tif 000013
【００６６】
学習用ニューラルネットワーク部５５は、上述した画質評価装置１のニューラルネットワーク部３０と同一構造（ネットワークの形状（素子の接続形態）、活性化関数の種類が同一）とする。ただし、学習用ニューラルネットワーク部５５は、パラメータについては可変とし、与えられる学習データによってパラメータ値が更新され得るものとする点で上述した画質評価装置１のニューラルネットワーク部３０とは相違する。
【００６７】
また、学習用ニューラルネットワーク部５５は、順伝播と逆伝播の二つの動作状態を交互に実行する点でも上述した画質評価装置１のニューラルネットワーク部３０とは相違する。
【００６８】
学習用ニューラルネットワーク部５５は、その動作の初期において、そのパラメータ値（結合重み係数値及びバイアス値）を所定の手続きにより初期化するものとする。この初期化は、例えば、すべて一定の値（例えば、０．１のバイアス値）で初期化してもよいし、乱数値（例えば、平均０、標準偏差０．１の正規分布（または切断正規分布）に従う乱数値またはその近似値による結合重み係数）であっても構わない。
【００６９】
学習用ニューラルネットワーク部５５は、その順伝播時において、画質評価装置１のニューラルネットワーク部３０と同様に動作し、入力された劣化画像パッチＲｉに対して当該動作時点において設定されているパラメータ値に基づいて処理を行い、該劣化画像パッチＲｉの局部評価値を算出し仮の局部評価値Ｊｉとして減算部５６に出力する。
【００７０】
続いて、減算部５６は、当該仮の局部評価値Ｊｉと参照局部評価値Ｍｉとを入力し、当該仮の局部評価値Ｊｉと参照局部評価値Ｍｉの差分（本例では仮の局部評価値Ｊｉから参照局部評価値Ｍｉを減じた値とするが、参照局部評価値Ｍｉから局部評価値Ｊｉを減じた値としてもよい）を算出し、誤差値Δｉとして学習用ニューラルネットワーク部５５に出力する。
【００７１】
その後、学習用ニューラルネットワーク部５５は、その逆伝播動作を実行する。この逆伝播動作時に、学習用ニューラルネットワーク部５５は、減算部５６からの誤差値Δｉに基づき、そのネットワークの出力側から入力側に向かって誤差値を伝播しつつ、パラメータ値を修正していくことになる。
【００７２】
必要に応じて、学習用ニューラルネットワーク部５５は、学習装置２に入力する学習画像Ｔを変えて画像劣化部５０を実行しつつ、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部５３、及び参照画質評価部５４の動作を繰り返す（動作の繰り返しにより、該繰り返しの都度、インデックスｉを、例えば、１ずつ増ずるものとする）。そして、学習用ニューラルネットワーク部５５は、繰り返されてその都度得られる劣化画像パッチＲｉと参照局部評価値Ｍｉの対からなる学習データに基づいて、順伝播と逆伝播を行う。該繰り返しの回数（繰り返しの条件）は、所定の値（例えば、１００万回）であってもよいし、或いは減算部５６によって得られた誤差値が所定値以下（または所定値未満）になるまでであってもよいし、更には、前記誤差値の繰り返しによる変化量が所定の範囲になるまでであっても構わないし、以上の２以上の組み合わせによる基準を満たすまでであっても構わない。
【００７３】
学習用ニューラルネットワーク部５５は、当該繰り返しをその繰り返しの条件に達するまで実行した後、学習用ニューラルネットワーク部５５に設定されているパラメータを画質評価用のパラメータ３１（最適化パラメータ）として、上述した画質評価装置１のニューラルネットワーク部３０に出力する。
【００７４】
以上のように、本実施形態の学習装置２は、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化することができる。これにより、画質評価用ニューラルネットワークに設定すべき膨大なパラメータの最適値を、入力された学習画像と評価値の様々な対を事例として自動的に導出することが可能となる。
【００７５】
特に、学習装置２は、画質劣化の機序が数学的に規定されている場合において、該機序を画像劣化部５０として実装することにより、入力された様々な学習画像Ｔを事例として画質評価値を参照画質評価部５４で算出しつつ、劣化画像パッチＲｉと該評価値の対からなる学習データに基づいて、学習用ニューラルネットワーク部５５に設定すべきパラメータの最適値を自動的に導出することが可能となる。一例として、非可逆の画像符号化方式に基づく画像符号化及び局部復号の縦続接続を画像劣化部５０に実装することができる。そして、学習装置２は、当該非可逆の画像符号化方式に基づく画像符号化／局部復号時に生じる画質劣化の態様に特化したパラメータ３１の最適値を導出することが可能となる。
【００７６】
（第２実施形態の学習装置）
図４は、図５を参照して後述する学習装置３における同一画像（学習画像Ｔの画像パッチＱｉ）に対し異なる劣化を付与した複数の劣化画像パッチＲｉと、各劣化画像パッチＲｉの参照局部評価値Ｍｉとによって構成したミニバッチを例示する図である。また、図５は、本発明による第２実施形態の学習装置３の概略構成を例示するブロック図である。
【００７７】
まず、上述した学習装置２のより好適な変形例として、順伝播及び逆伝播を実施する際、複数の劣化画像パッチと、劣化画像パッチＲｉの各々に呼応する参照局部評価値Ｍｉとを束ねて用いてミニバッチ学習を行う学習装置３とすることができる。
【００７８】
ここで、劣化画像パッチＲｉと参照局部評価値Ｍｉの複数の対をミニバッチと称することとする）。このとき、そのミニバッチに含まれる劣化画像パッチＲｉは、同一の原画像パッチＱｉに対して質と程度のいずれか一方、或いはその両者の異なる劣化を付加したものとすることができる。
【００７９】
図４は、図５を参照して後述する学習装置３における同一画像（学習画像Ｔの画像パッチＱｉ）に対し異なる劣化を付与した複数の劣化画像パッチＲｉと、各劣化画像パッチＲｉの参照局部評価値Ｍｉとによって構成したミニバッチを例示する図である。
【００８０】
図４に示す例では、原画像パッチＱｉを異なる画質で劣化させた３個の要素からなる劣化画像パッチＲｉと、劣化画像パッチ各要素の画質を表す３要素からなるベクトル量としての参照局部評価値Ｍｉとによって構成される。
【００８１】
例えば、図４に示す例において、３個の要素からなる劣化画像パッチＲｉは、ＭＰＥＧ−２の符号化処理に対応するよう劣化させたもの、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの符号化処理に対応するよう劣化させたもの、Ｈ．２６５／ＭＰＥＧ−Ｈ  ＨＥＶＣの符号化処理に対応するよう劣化させたもの等とすることができる。即ち、原画像パッチＱｉについて異なる画質で劣化させた劣化画像パッチＲｉを複数用意することで、原画像パッチＱｉの特徴から大きく外れることなく、後述する学習装置３にて学習させることが可能となり、画質評価の精度を向上させることができる。
【００８２】
図５に示す学習装置３は、画像劣化部６０、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部６３、参照画質評価部６４、学習用ニューラルネットワーク部６５、及び減算部６６を備える。尚、図５において、図３に示すものと同様の構成要素には同一の参照番号を付している。
【００８３】
切り出し座標値発生部５１及び画像パッチ切り出し部５２については、図３に示す学習装置２おける切り出し座標値発生部５１及び画像パッチ切り出し部５２と同一の動作であるから、その説明を省略する。
【００８４】
画像劣化部６０は、入力された学習画像Ｔに対して、質と程度のいずれか一方、或いはその両者の異なるＫ種類（Ｋは２以上の整数）の画像劣化を適用し、複数の劣化画像Ｄ（ｋ）（ｋは０以上、Ｋ−１以下の整数）を画像パッチ切り出し部６３に出力する。
【００８５】
画像パッチ切り出し部６３は、切り出し座標値発生部５１によって指定されるｉ番目の動作時点における画像座標（ｕ（ｉ），ｖ（ｉ））に基づいて、各劣化画像Ｄ（ｋ）から部分画像（劣化画像パッチＲｉ（ｋ））を切り出して参照画質評価部６４に出力する。
【００８６】
例えば、画像パッチ切り出し部６３は、次式（数１２）により、切り出し座標値発生部５１から指定される画像座標（ｕ（ｉ），ｖ（ｉ））を左上座標とする所定の大きさの矩形領域（例えば、水平方向ｓｘ画素、垂直方向ｓｙ画素の矩形領域）を原画像パッチＲｉとして参照画質評価部６４に出力する。
【００８７】
【数１２】
2020014042.tif 000014
【００８８】
参照画質評価部６４は、画像パッチ切り出し部５２からの原画像パッチＱｉと、画像パッチ切り出し部６３からの劣化画像パッチＲｉ（ｋ）とに基づいて、次式（数１３）により、劣化画像パッチＲｉ（ｋ）の画質を評価した結果Ｍｉ（ｋ）を異なる劣化のＫ種類Ｍｉ（０）乃至Ｍｉ（Ｋ−１）についてまとめたものを参照局部画質評価値Ｍｉとして減算部６６に出力する。
【００８９】
【数１３】
2020014042.tif 000015
【００９０】
参照局部画像評価値Ｍｉを構成する成分Ｍｉ（ｋ）は、例えば次式（数１４）により、二乗誤差和を用いて求めたものとすることができる。
【００９１】
【数１４】
2020014042.tif 000016
【００９２】
或いは、参照局部評価値Ｍｉを構成する成分Ｍｉ（ｋ）は、例えば次式（数１５）により、平均二乗誤差和を用いて求めたものとすることができる。
【００９３】
【数１５】
2020014042.tif 000017
【００９４】
学習用ニューラルネットワーク部６５は、その順伝播時に画質の異なるＫ個のパッチＲｉ（０）乃至Ｒｉ（Ｋ−１）からなる劣化画像パッチＲｉを処理して、各々のパッチＲｉ（ｋ）の仮の局部画質評価値Ｊｉ（ｋ）を算出し、次式（数１６）により、Ｊｉ（ｋ）をｋ＝０乃至ｋ＝Ｋ−１についてまとめた局部画質評価値Ｊｉを減算部６６に出力する。
【００９５】
【数１６】
2020014042.tif 000018
【００９６】
各パッチに対する学習用ニューラルネットワーク部６５の基本動作は、図３に示した学習用ニューラルネットワーク部５５の動作と同様である。
【００９７】
続いて、減算部６６は、仮の局部評価値Ｊｉと参照局部評価値Ｍｉとを入力し、当該仮の局部評価値Ｊｉと参照局部評価値Ｍｉの差分を算出し、誤差値Δｉとして出力する。尚、本例では、当該仮の局部評価値Ｊｉと参照局部評価値Ｍｉの差分を、仮の局部評価値Ｊｉから参照局部評価値Ｍｉを減じた値とするが、参照局部評価値Ｍｉから局部評価値Ｊｉを減じた値としてもよい。
【００９８】
尚、図３に示した減算部５６はスカラー同士の減算によりスカラー値の誤差値Δｉを出力するものであるのに対し、図５に示す減算部６６は、ベクトル値同士の減算によりベクトル値の誤差値Δｉを出力する点のみ動作が異なる。
【００９９】
その後、学習用ニューラルネットワーク部６５は、その逆伝播動作を実行する。この逆伝播動作時に、学習用ニューラルネットワーク部６５は、減算部６６からの誤差値Δｉに基づき、そのネットワークの出力側から入力側に向かって誤差値を伝播しつつ、パラメータ値を修正していくことになる。
【０１００】
必要に応じて、学習装置３に入力する学習画像Ｔを変えて画像劣化部６０を実行しつつ、切り出し座標値発生部５１、画像パッチ切り出し部５２、画像パッチ切り出し部６３、及び参照画質評価部６４の動作を繰り返す（該繰り返しの都度、インデックスｉを、例えば、１ずつ増ずるものとする）。そして、学習用ニューラルネットワーク部６５は、繰り返されてその都度得られる劣化画像パッチＲｉと参照局部評価値Ｍｉの対からなる学習データに基づいて、順伝播と逆伝播を行う。該繰り返しの回数（繰り返しの条件）は、所定の値（例えば、１００万回）であってもよいし、或いは減算部６６によって得られた誤差値が所定値以下（または所定値未満）になるまでであってもよいし、さらには、前記誤差値の繰り返しによる変化量が所定の範囲になるまでであっても構わないし、以上の２以上の組み合わせによる基準を満たすまでであっても構わない。
【０１０１】
学習用ニューラルネットワーク部６５は、当該繰り返しをその繰り返しの条件に達するまで実行した後、学習用ニューラルネットワーク部６５に設定されているパラメータを画質評価用のパラメータ３１（最適化パラメータ）として、上述した画質評価装置１のニューラルネットワーク部３０に出力する。
【０１０２】
以上のように、本実施形態の学習装置３は、上述した本実施形態の画質評価装置１におけるニューラルネットワーク部３０で用いるパラメータ３１を最適化することができる。これにより、当該ミニバッチは同一の絵柄（学習画像Ｔにおける原画像パッチＱｉ）に異なる劣化を付与した場合の劣化画像パッチＲｉとその評価値とを含むことから、学習用ニューラルネットワーク部６５はその評価値について絵柄よりも劣化形態に対する感受性が高まるよう学習を進行させることができる。その結果、当該画質評価装置１用のニューラルネットワーク部３０のパラメータについて劣化前の絵柄の影響を受けにくいものとした、より公平な評価を可能とし、より高精度に、且つ自動的に導出することが可能となる。
【０１０３】
ここで、本発明に係る画質評価装置１において、ニューラルネットワーク部３０は、本発明に係る学習装置２（３）における学習用ニューラルネットワーク部５５（６５）と同一の素子及び同一の接続によるニューラルネットワーク構造を有している。このため、該学習装置２（３）によって演算された当該画質評価用ニューラルネットワークのパラメータ３１をニューラルネットワーク部３０に設定して、当該評価対象パッチＰｉに対する評価値を生成することで、精度の高い画質評価を実現することできる。
【０１０４】
特に、本発明に係る学習装置２（３）における学習用ニューラルネットワーク部５５（６５）の事例数を十分に多くすることでニューラルネットワークにおける個々のパラメータを手作業で設定した場合よりも画質評価の精度を向上することができる。また、当該事例を特定の絵柄（例えば、風景、人物、人工物、コンピュータグラフィクス、イラストなど）に限定すれば、当該絵柄に特化した高精度の画質評価を実現することも可能である。
【０１０５】
更に、本発明による一態様の画質評価装置１は、本発明に係る学習装置２（３）を備えるように構成することで、当該学習装置２（３）にて事例に基づきパラメータを最適化する学習機能と、該パラメータを用いて画質評価対象の入力画像に対する画質評価機能とを備え持つ画質評価装置１を構成することができる。この場合も、当該学習装置２（３）によって事例に基づき最適化されたパラメータが画質評価装置１内のニューラルネットワーク部に設定されるため、精度の高い画質評価を実現することが可能となる。
【０１０６】
上述した実施形態の例に関して、画質評価装置１、又は各学習装置２，３、或いは画質評価装置１と各学習装置２，３とを組み合わせて機能するコンピュータを構成し、これらの装置の各手段を機能させるためのプログラムを好適に用いることができる。具体的には、各手段を制御するための制御部をコンピュータ内の中央演算処理装置（ＣＰＵ）で構成でき、且つ、各手段を動作させるのに必要となるプログラムを適宜記憶する記憶部を少なくとも１つのメモリで構成させることができる。即ち、そのようなコンピュータに、ＣＰＵによって該プログラムを実行させることにより、上述した各手段の有する機能を実現させることができる。更に、各手段の有する機能を実現させるためのプログラムを、前述の記憶部（メモリ）の所定の領域に格納させることができる。そのような記憶部は、装置内部のＲＡＭ又はＲＯＭなどで構成させることができ、或いは又、外部記憶装置（例えば、ハードディスク）で構成させることもできる。また、そのようなプログラムは、コンピュータで利用されるＯＳ上のソフトウェア（ＲＯＭ又は外部記憶装置に格納される）の一部で構成させることができる。更に、そのようなコンピュータに、各手段として機能させるためのプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。また、上述した各手段をハードウェア又はソフトウェアの一部として構成させ、各々を組み合わせて実現させることもできる。
【０１０７】
上述の各実施形態については代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換することができることは当業者に明らかである。従って、本発明は、上述の各実施形態によって制限するものと解するべきではなく、特許請求の範囲によってのみ制限される。
【産業上の利用可能性】
【０１０８】
本発明によれば、参照用の原画像を用いることなく、客観的な画質評価値を、高精度に得ることを可能となるので、画質評価を要する用途に有用である。
【符号の説明】
【０１０９】
１  画質評価装置
２  学習装置
３  学習装置
１０走査部
２０画像パッチ切り出し部
３０ニューラルネットワーク部
３０Ａ  出力部
４０積算部
４０Ａ  出力部
３１パラメータ
３２畳み込み層
３３畳み込み層
３４プーリング層
３５畳み込み層
３６畳み込み層
３７全結合層
３８全結合層
５０画像劣化部
５１切り出し座標値発生部
５２画像パッチ切り出し部
５３画像パッチ切り出し部
５４参照画質評価部
５５学習用ニューラルネットワーク部
５６減算部
６０画像劣化部
６３画像パッチ切り出し部
６４参照画質評価部
６５学習用ニューラルネットワーク部
６６減算部
【図１】
2020014042.tif 000019
【図２】
2020014042.tif 000020
【図３】
2020014042.tif 000021
【図４】
2020014042.tif 000022
【図５】
2020014042.tif 000023