(57)【要約】【課題】誤差評価値及び画像特徴値を考慮して画質を評価する。【解決手段】画質評価装置１は、評価対象画像及び参照画像の誤差の指標である誤差評価値を算出する誤差評価値算出部１０と、評価対象画像の畳み込み演算によって算出される、評価対象画像の画像特徴量の指標である画像特徴値を算出する画像特徴値算出部２０と、誤差評価値及び画像特徴値の和又は重みつき和を評価対象画像の評価値として算出する加算部３０と、を備える。【選択図】図１
2015232770.tif 000002
【特許請求の範囲】
【請求項１】
評価対象画像の画質の評価値を出力する画質評価装置であって、
評価対象画像及び参照画像の誤差の指標である誤差評価値を算出する誤差評価値算出部と、
前記評価対象画像の畳み込み演算によって算出される、前記評価対象画像の画像特徴量の指標である画像特徴値を算出する画像特徴値算出部と、
前記誤差評価値及び前記画像特徴値の和又は重みつき和を前記評価対象画像の評価値として算出する加算部と、
を備えることを特徴とする画質評価装置。
【請求項２】
前記誤差評価値算出部は、
画素ごとに前記評価対象画像及び前記参照画像の差分値を算出する減算部と、
前記差分値を第１のルックアップテーブルを参照して変換する第１のＬＵＴ変換部と、
前記第１のＬＵＴ変換部により変換された差分値を所定領域内において総和した総和値を前記誤差評価値として算出する第１の総和部と、
を備えることを特徴とする、請求項１に記載の画質評価装置。
【請求項３】
前記誤差評価値算出部は、
前記総和値を第２のルックアップテーブルを参照して変換する第２のＬＵＴ変換部を更に備え、
前記第２のＬＵＴ変換部により変換された総和値を前記誤差評価値とすることを特徴とする、請求項２に記載の画質評価装置。
【請求項４】
前記画像特徴値算出部は、
前記評価対象画像に対して１種類以上の畳み込み係数を用いてそれぞれ畳み込み演算を行って畳み込み画像を生成する畳み込み演算部と、
前記畳み込み画像の画素値を第３のルックアップテーブルを参照して変換する第３のＬＵＴ変換部と、
前記第３のＬＵＴ変換部により変換された画素値を所定領域内において総和した総和値を前記画像特徴値として算出する第２の総和部と、
を備えることを特徴とする、請求項１から３のいずれか一項に記載の画質評価装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載の画質評価装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画質の客観評価を行う画質評価装置及びプログラムに関する。
【背景技術】
【０００２】
画像の画質評価の方法として、理想的なものとして参照可能な参照画像が存在し、参照画像と評価対象画像とを比較して劣化度合いを評価する手法があり、この手法はＦＲ（Full Reference）型の客観評価法と呼ばれている。ＦＲ型の客観評価法の代表例として、ＰＳＮＲ（Peak Signal to Noise Ratio）やＳＳＩＭ（Structural Similarity）といった客観評価指標を用いる手法がある。ＰＳＮＲは評価対象画像と参照画像の二乗誤差を対数で評価した指標であるが、音声や電波などのさまざまな信号の評価に広くＳＮＲ（Signal to Noise Ratio；Ｓ／Ｎ比）が用いられていて馴染みがあることや、ハードウェアやソフトウェアによる実装が容易であることから、客観評価指標として最も普及している。また、ＳＳＩＭは評価対象画像と参照画像の局所的な構造の類似性を評価する指標であり、人間の主観に近い評価が得られるとして近年注目されている。
【０００３】
一方、参照画像が存在しない状況で、評価対象画像についてＴＶ（Total Variation）ノルムなどの画像特徴量のみを手掛かりに画質を評価する手法もあり、この手法はＮＲ（Non Reference）型の客観評価法と呼ばれている。また、ＮＲ型の客観評価法として、ＭＰＥＧ−２ビットストリームのＤＣＴ係数情報からＰＳＮＲを推定する手法が実用化されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４３０９７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＰＳＮＲは主観評価値、すなわち人間の直感に合わないことがある。例えば、画像全体が１画素ずれただけでは主観的な評価はほとんど低下しないが、ＰＳＮＲは大きく低下する場合があり、特に精緻な画像の場合はこの傾向が強くなる。また、主観的な評価にはあまり影響を与えない、画像のコントラストのわずかな違いや幾何学的な歪も、ＰＳＮＲの大きな低下を招く。
【０００６】
ＳＳＩＭは局所的な構造性に着目しているため、ＰＳＮＲの場合のような問題が生じにくく、得られる指標も主観に近いとされる。しかし、画面内に設定した局所的なブロックを走査しながら、対象画像と参照画像の該ブロック内における平均、分散、共分散等を求める必要があり演算コストが高いという課題があった。
【０００７】
また、特許文献１の手法はハードウェア化もなされ、実時間処理も可能となっているが、得られる指標はＰＳＮＲの推定値である。より主観評価値に近い評価を実現するには、ＰＳＮＲのような参照画像に対する評価対象画像の誤差のほか、評価対象画像の画素値変動などの画像特徴量を考慮する必要がある。
【０００８】
かかる事情に鑑みてなされた本発明の目的は、評価対象画像及び参照画像の誤差の指標である誤差評価値と、評価対象画像の画像特徴量の指標である画像特徴値とを考慮して画質を評価することが可能な画質評価装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る画質評価装置は、評価対象画像の画質の評価値を出力する画質評価装置であって、評価対象画像及び参照画像の誤差の指標である誤差評価値を算出する誤差評価値算出部と、前記評価対象画像の畳み込み演算によって算出される、前記評価対象画像の画像特徴量の指標である画像特徴値を算出する画像特徴値算出部と、前記誤差評価値及び前記画像特徴値の和又は重みつき和を前記評価対象画像の評価値として算出する加算部と、を備えることを特徴とする。
【００１０】
さらに、本発明に係る画質評価装置において、前記誤差評価値算出部は、画素ごとに前記評価対象画像及び前記参照画像の差分値を算出する減算部と、前記差分値を第１のルックアップテーブルを参照して変換する第１のＬＵＴ変換部と、前記第１のＬＵＴ変換部により変換された差分値を所定領域内において総和した総和値を前記誤差評価値として算出する第１の総和部と、を備えることを特徴とする。
【００１１】
さらに、本発明に係る画質評価装置において、前記誤差評価値算出部は、前記総和値を第２のルックアップテーブルを参照して変換する第２のＬＵＴ変換部を更に備え、前記第２のＬＵＴ変換部により変換された総和値を前記誤差評価値とすることを特徴とする。
【００１２】
さらに、本発明に係る画質評価装置において、前記画像特徴値算出部は、前記評価対象画像に対して１種類以上の畳み込み係数を用いてそれぞれ畳み込み演算を行って畳み込み画像を生成する畳み込み演算部と、前記畳み込み画像の画素値を第３のルックアップテーブルを参照して変換する第３のＬＵＴ変換部と、前記第３のＬＵＴ変換部により変換された画素値を所定領域内において総和した総和値を前記画像特徴値として算出する第２の総和部と、を備えることを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画質評価装置として機能させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、評価対象画像及び参照画像の誤差の指標である誤差評価値と、評価対象画像の画像特徴量の指標である画像特徴値とを考慮して画質を評価することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る画質評価装置の構成例を示すブロック図である。
【図２】本発明の一実施形態に係る画質評価装置の処理例を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
【００１７】
図１は、本発明の一実施形態に係る画質評価装置の構成を示すブロック図である。図１に示す例では、画質評価装置１は、誤差評価値算出部１０と、画像特徴値算出部２０と、遅延部３０と、第２加算部４０と、を備える。
【００１８】
画質評価装置１は、評価対象画像Ｙと参照画像Ｘの入力に対して、領域Ｂ内における画質の評価を行い、評価値ｅ（Ｂ）を出力する。以下の説明において、評価対象画像Ｙの画像座標（ｉ，ｊ）における画素値をＹ（ｉ，ｊ）と表記し、参照画像Ｘの画像座標（ｉ，ｊ）における画素値をＸ（ｉ，ｊ）と表記する。
【００１９】
誤差評価値算出部１０は、評価対象画像Ｙ及び参照画像Ｘの誤差の指標である誤差評価値を算出する。誤差評価値算出部１０は、減算部１１と、第１ＬＵＴ変換部１２と、第１総和部１３と、第２ＬＵＴ変換部１４とを備える。なお、第２ＬＵＴ変換部１４は必須の構成ブロックではなく、省略してもよい。
【００２０】
画像特徴値算出部２０は、畳み込み演算によって算出される、評価対象画像Ｙの画像特徴量の指標である画像特徴値を算出する。画像特徴値算出部２０は、畳み込み係数テーブル２１と、１以上の畳み込み演算部２２と、第３ＬＵＴ変換部２３と、第１加算部２４と、第２総和部２５とを備える。図１に示す実施形態では、畳み込み演算部２２の数を２つ（２２−１及び２２−２）としている。
【００２１】
画質評価装置１は、式（１）に示す演算を行う。なお、ＬＵＴ．［・］は１次元のルックアップテーブルを表し、ＬＵＴ．［・］［・］は２次元のルックアップテーブルを表すものとする。
【００２２】
【数１】
2015232770.tif 000003
【００２３】
画質評価装置１は、参照画像Ｘを走査部２によってラスタスキャンした画素値列、及び
評価対象画像Ｙを走査部３によってラスタスキャンした画素値列を逐次入力する。
【００２４】
減算部１１は、順次入力される評価対象画像Ｙの画素値Ｙ（ｉ，ｊ）から参照画像Ｘの画素値Ｘ（ｉ，ｊ）を減じた差分値ｄ＝Ｙ（ｉ，ｊ）−Ｘ（ｉ，ｊ）を算出し、第１ＬＵＴ変換部１２に出力する。
【００２５】
第１ＬＵＴ変換部１２は、差分値ｄをルックアップテーブルＬＵＴDを参照して変換する。ＬＵＴDに設定する値は任意であるが、差分値ｄの絶対値が大きいほど出力値が小さくならないようにすることが好ましい。例えば、第１ＬＵＴ変換部１２は、式（２）又は式（３）に示す変換を行う。また、式（４）に示すように変換値をクリッピングしてもよい。
【００２６】
【数２】
2015232770.tif 000004
【００２７】
【数３】
2015232770.tif 000005
【００２８】
【数４】
2015232770.tif 000006
【００２９】
第１総和部１３は、加算回路と遅延回路（ｚ-1）により構成することができ、第１ＬＵＴ変換部１２から時々刻々到来する誤差評価値を累積することで総和値を算出し、第２ＬＵＴ変換部１４に出力する。なお、遅延回路の出力値の初期値は０とする。第１総和部１３は、評価対象画像Ｙの画素値Ｙ（ｉ，ｊ）と参照画像Ｘの画素値Ｘ（ｉ，ｊ）を、（ｉ，ｊ）∈Ｂの領域内において全て走査することで、式（５）に示す総和値を算出する。なお、誤差評価値算出部１０が第２ＬＵＴ変換部１４を備えない構成とした場合には、総和値を誤差評価値として遅延部３０に出力する。
【００３０】
【数５】
2015232770.tif 000007
【００３１】
第２ＬＵＴ変換部１４は、第１総和部１３により算出された総和値を、ルックアップテーブルＬＵＴEを参照して変換し、誤差評価値として遅延部３０に出力する。例えば、第２ＬＵＴ変換部１４にて式（６）の変換を行うと、第１ＬＵＴ変換部にて式（２）の変換を行った場合には、第２ＬＵＴ変換部１４は評価対象画像Ｙと参照画像Ｘの領域Ｂ内におけるＲＭＳＥ（Root Mean Square Error）を出力することとなる。ここで、Ｎは領域Ｂ内の画素数を表す。
【００３２】
【数６】
2015232770.tif 000008
【００３３】
畳み込み係数テーブル２１は、畳み込み演算部２２の個数分だけ畳み込み係数（畳み込みカーネル）のセットを保持する。図１の例では、畳み込み係数テーブル２１は、３×３画素の２次の畳み込み係数を２セット（Ｃ0及びＣ1）保持する。例えば、畳み込み係数Ｃ0及びＣ1として、式（７）のように、水平方向及び垂直方向の勾配（１次微分）を設定する。
【００３４】
【数７】
2015232770.tif 000009
【００３５】
畳み込み演算部２２−１は、評価対象画像Ｙに対し、畳み込み係数テーブル２１に記憶された畳み込み係数Ｃ0を用いて畳み込み演算を行って畳み込み画像Ｚ0を生成し、第３ＬＵＴ変換部２３に出力する。畳み込み演算部２２−２は、評価対象画像Ｙに対し、畳み込み係数テーブル２１に記憶された畳み込み係数Ｃ1を用いて畳み込み演算を行って畳み込み画像Ｚ1を生成し、第３ＬＵＴ変換部２３に出力する。畳み込み演算部２２−１及び２２−２は、加算回路、乗算回路、及び遅延回路により構成することができる。畳み込み画像Ｚの画像座標（ｉ，ｊ）における画素値Ｚ（ｉ，ｊ）は式（８）で表される。
【００３６】
【数８】
2015232770.tif 000010
【００３７】
式（８）において、ｍは複数の畳み込み演算部を区別するためのインデックスである。図１の例では、ｍ∈｛０，１｝である。また、領域Ｋmはｍ番目の畳み込み係数Ｃmのカーネルの拡がりで、図１の例では式（９）で表される。
【００３８】
【数９】
2015232770.tif 000011
【００３９】
第３ＬＵＴ変換部２３は、畳み込み演算部２２−１及び畳み込み演算部２２−２により算出された畳み込み画像Ｚmの各画素値Ｚm（ｉ，ｊ）をルックアップテーブルＬＵＴF［ｍ］を参照して変換し、変換画像Ｗmを第１加算部２４に出力する。例えば、第３ＬＵＴ変換部２３は式（１０）に示す変換を行う。変換画像Ｗmの画像座標（ｉ，ｊ）における画素値Ｗm（ｉ，ｊ）は式（１１）で表される。
【００４０】
【数１０】
2015232770.tif 000012
【００４１】
【数１１】
2015232770.tif 000013
【００４２】
第１加算部２４は、第３ＬＵＴ変換部２３により変換された変換画像Ｗmを画素ごとに加算し、第２総和部２５に出力する。
【００４３】
第２総和部２５は、加算回路と遅延回路（ｚ-1）により構成することができ、第１加算部２４から時々刻々到来する値を累積することで総和を求める。なお、遅延回路（ｚ-1）の出力値の初期値は０とする。図１の例では、（ｉ，ｊ）∈Ｂの領域内において全て走査するのに要するクロック数の後、さらに２Ｌ＋２クロック経過時において、第２総和部２５は、式（１２）に示す総和値を画像特徴値として算出する。
【００４４】
【数１２】
2015232770.tif 000014
【００４５】
遅延部３０は、誤差評価値算出部１０及び画像特徴値算出部２０の出力信号のタイミングを調整するものである。図１の例では、畳み込み演算部２２における遅延を考慮し、領域Ｂの水平画素数をＬとして、遅延部３０は２Ｌ＋２画素分の走査に要する時間を補償する。
【００４６】
第２加算部４０は、誤差評価値算出部１０から入力される誤差評価値、及び画像特徴値算出部２０から入力される画像特徴値の和又は重みつき和を評価対象画像Ｙの評価値ｅ（Ｂ）として出力する。図１の例では、（ｉ，ｊ）∈Ｂの領域内において全て走査するのに要するクロック数の後、さらに２Ｌ＋２クロック経過時において、第２加算部４０は式（１）の値を出力する。例えば、式（２），（６），（７），（１０）の各設定値を採用する場合、式（１）は、式（１３）で表される。
【００４７】
【数１３】
2015232770.tif 000015
【００４８】
式（１３）は評価対象画像Ｙの領域Ｂ内におけるＲＭＳＥ植とＴＶノルム値の和を示している。式（１３）の指標は、評価対象画像Ｙの参照画像Ｘへの類似性と、評価対象画像Ｙの画素値の変動の少なさとの両者を考慮した指標となる。すなわち、式（１３）は、誤差の少なさとリンギングの少なさの両方を考慮した客観指標となる。
【００４９】
図２は、画質評価装置１の処理例を示すフローチャートである。誤差評価値を算出するステップＳ１と画像特徴値を算出するステップＳ２は、同時に並行して行うことができるが、図２では説明の便宜上、ステップＳ１の後にステップＳ２を行うフローチャートとしている。
【００５０】
誤差評価値を算出するステップＳ１では、画素ごとに評価対象画像Ｙと参照画像Ｘの差分値ｄを算出し（ステップＳ１１）、差分値ｄを第１のルックアップテーブルＬＵＴDを参照して変換し（ステップＳ１２）、変換された差分値ｄを所定領域Ｂ内において総和した第１の総和値を算出する（ステップＳ１３）。そして、第１の総和値を第２のルックアップテーブルＬＵＴEを参照して変換して誤差評価値とする（ステップＳ１４）。このステップＳ１４は必要でない場合もあり、その場合にはステップＳ１３により算出された第１の総和値を誤差評価値とする。
【００５１】
例えば、ステップＳ１２において二乗演算や絶対値演算を含む非線形演算や線形演算を行うことで、ステップＳ１３において二乗誤差和（ＳＳＤ；Sum of Squared Difference）や絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）を含む誤差評価値を得る。また、ステップＳ１４においてＲＭＳＥやＰＳＮＲを含む誤差評価値を得る。
【００５２】
画像特徴値を算出するステップＳ２では、評価対象画像Ｙに対して１種類以上の畳み込み係数を用いてそれぞれ畳み込み演算を行って畳み込み画像を生成し（ステップＳ２１）、畳み込み画像の画素値を第３のルックアップテーブルＬＵＴFを参照して変換し（ステップＳ２２）、変換された画素値を所定領域Ｂ内において総和した第２の総和値を画像特徴値として算出する（ステップＳ２３）。
【００５３】
例えば、ステップＳ２１において水平方向又は垂直方向の勾配（１次微分）演算を含む１以上のフィルタ処理を行い、ステップＳ２２において二乗演算や絶対値演算を含む非線形演算や線形演算を行うことで、ステップＳ２３において、例えば水平方向及び垂直方向の勾配の絶対値和（ＴＶノルム）を含む画像特徴値を得る。
【００５４】
最後に、ステップＳ１により算出された誤差評価値、及びステップＳ２により算出された画像特徴値の和又は重みつき和を、評価対象画像Ｙの評価値ｅ（Ｂ）として算出する（ステップＳ３）。
【００５５】
したがって、本発明に係る画質評価装置１によれば、評価対象画像Ｙ及び参照画像Ｘの誤差の指標である誤差評価値と、評価対象画像Ｙの画像特徴量の指標である画像特徴値とを考慮して画質を評価することができる。また、評価値をルックアップテーブル、加算回路、乗算回路、遅延回路といった簡易な回路のみによって得ることができ、ＦＰＧＡ（Field Programmable Gate Array）等の論理回路による実装が容易となる。また、第２ＬＵＴ変換部１４を備えることにより、誤差評価値として対数などの非線形の評価関数を適用することができる。
【００５６】
なお、画質評価装置１の変形例として、参照画像Ｘについても評価対象画像Ｙと同様に、畳み込み係数テーブル２１、畳み込み演算部２２、第３ＬＵＴ変換部２３、及び第１加算部２４により画像特徴量を求め、参照画像Ｘの画像特徴量と評価対象画像Ｙの画像特徴量の誤差又は比を、最終的な評価対象画像Ｙの画像特徴量としてもよい。
【００５７】
また、上述した画質評価装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画質評価装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５８】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５９】
１    画質評価装置
１０  誤差評価値算出部
１１  減算部
１２  第１ＬＵＴ変換部
１３  第１総和部
１４  第２ＬＵＴ変換部
２０  画像特徴値算出部
２１  畳み込み係数テーブル
２２  畳み込み演算部
２３  第３ＬＵＴ変換部
２４  第１加算部
２５  第２総和部
３０  遅延部
４０  第２加算部
【図１】
2015232770.tif 000016
【図２】
2015232770.tif 000017