(57)【要約】【課題】学習および推定にかかる処理速度を高速化でき、画質推定精度も向上できる画質推定装置を提供する。【解決手段】本発明に係る画質推定装置１０は、学習用画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、当該学習用画像に与えられた画質評価値とを用いて、画質劣化度を学習する学習部４０と、入力画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、学習部４０による学習結果とに基づいて、入力画像の画質劣化度を推定する推定部６０と、を有する。【選択図】図１
2014131128.tif 000002
【特許請求の範囲】
【請求項１】
学習用画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、当該学習用画像に与えられた画質評価値とを用いて、画質劣化度を学習する学習部と、
検査画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、前記学習部による学習結果とに基づいて、検査画像の画質劣化度を推定する推定部と、
を有する画質推定装置。
【請求項２】
前記学習部および推定部は、時間方向の周波数特徴を算出する際には、複数階層のサブバンド分割を行う請求項１に記載の画質推定装置。
【請求項３】
前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項１または２に記載の画質推定装置。
【請求項４】
学習用画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、当該学習用画像に与えられた画質評価値とを用いて、画質劣化度を学習する学習ステップと、
入力画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、前記学習部による学習結果とに基づいて、検査画像の画質劣化度を推定する推定ステップと、
を有する画質推定方法。
【請求項５】
前記学習ステップおよび推定ステップは、時間方向の周波数特徴を算出する際には、複数階層のサブバンド分割を行う請求項４に記載の画質推定方法。
【請求項６】
前記画質評価値は、劣化前後の学習用画像に基づき、差分を算出することによって客観値として得られる請求項４または５に記載の画質推定方法。
【請求項７】
請求項４〜６のいずれか一項に記載の画質推定方法を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を符号化した際に生じる画質劣化の度合を推定する画質推定装置、画質推定方法および画質推定プログラムに関する。
【背景技術】
【０００２】
画像信号の情報量は極めて多く、伝送や蓄積を効率的に行うために、これらを符号化（圧縮）する技術が用いられている。これに伴い、画像の符号化により画質が劣化する場合の画質評価技術も多数研究されている。
【０００３】
画質推定方式の一つとして、非特許文献１に開示されているようなＮＲ（Ｎｏ  Ｒｅｆｅｒｅｎｃｅ）方式という手法がある。
【０００４】
非特許文献１の推定方法では、学習用画像データベースにある学習用画像を周波数変換して、得られた変換係数の分布形状をパラメータ化して特徴ベクトルとする。そして、学習用画像に対して主観的に判断した画質劣化の評価値（以下、主観評価値という）を正解データとして、特徴ベクトルとの確率的な対応関係を学習する。ここでの学習の識別器には、たとえば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）が用いられる。そして、ＳＶＭにより学習された結果は、学習結果パラメータとして記憶される。また、検査画像に対して同様に特徴ベクトルを算出し、ＳＶＲ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｒｅｇｒｅｓｓｉｏｎ）により、画質を推定できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ａ．Ｋ．Ｍｏｏｒｔｈｙ  ａｎｄ  Ａ．Ｃ．Ｂｏｖｉｋ、‘‘Ａ  Ｔｗｏ−ｓｔａｇｅ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｂｌｉｎｄ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ’’、ＩＣＩＰ２０１０、ｐｐ．２４８１−２４８４、Ｓｅｐｔ．２０１０。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の非特許文献１に記載の発明では、静止画像を空間方向に周波数変換して得られた変換係数の分布形状を特徴ベクトルとしているため、たとえば、動画像の画質劣化度推定では、時間方向の周波数特徴を考慮していない。
【０００７】
ここで、ＭＰＥＧ−２やＨ．２６４／ＡＶＣのような動画像符号化では、符号化対象フレームの前または前後のフレームを参照画像として動き予測・動き補償を行い、予測画像との差分画像を変換・量子化することにより符号化（圧縮）を行う。したがって、動きがほとんどないまたは動きが単純な映像では、予測精度が高くなるため画質劣化が少ない。逆に、動きが複雑な映像では、予測精度が低くなるため画質劣化が大きくなる。このように、画質劣化と時間方向の周波数特徴は密接な関係がある。
【０００８】
動画像の画質劣化度推定において、空間方向の周波数特徴と時間方向の周波数特徴の両方を考慮して、動画像を構成する各フレーム画像に対して、空間方向（２次元）および時間方向（１次元）で一度に周波数変換、たとえば、３次元方向に周波数変換して変換係数の分布形状を特徴ベクトルとして算出することが考えられる。この場合、通常の周波数変換方法では、膨大な計算量が必要となり、大きなハードウェア計算コストと時間がかかってしまう。
【０００９】
本発明は、上記従来技術の課題を解決するためになされたものであり、時間方向の周波数特徴および空間方向の周波数特徴を考慮して、より良い精度で画質推定でき、かつ画質推定処理を高速化できる画質推定装置、画質推定方法および画質推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明に係る画質推定装置は、学習用画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、当該学習用画像に与えられた画質評価値とを用いて、画質劣化度を学習する学習部と、入力画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、前記学習部による学習結果とに基づいて、入力画像の画質劣化度を推定する推定部と、を有する。
【００１１】
上記の目的を達成するための本発明に係る画質推定方法は、学習用画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、当該学習用画像に与えられた画質評価値とを用いて、画質劣化度を学習する学習ステップと、入力画像の時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られた特徴ベクトルと、前記学習部による学習結果とに基づいて、入力画像の画質劣化度を推定する推定ステップと、を有する。
【００１２】
上記の目的を達成するための本発明に係る画質推定プログラムは、上記画質推定方法を、コンピューターに実行させる。
【発明の効果】
【００１３】
本発明に係る画質推定装置、画質推定方法および画質推定プログラムによれば、時間方向の周波数特徴および空間方向の周波数特徴を別個に算出して得られる特徴ベクトルを用いて、画質劣化度の学習および推定を行うことにより、学習および推定にかかる処理速度を高速化でき、画質推定精度も向上できる。
【図面の簡単な説明】
【００１４】
【図１】画質推定装置の構成を示すブロック図である。
【図２】図１の画質推定装置の学習部の構成を示すブロック図である。
【図３】図１の画質推定装置の推定部の構成を示すブロック図である。
【図４】画質推定装置の動作フローチャートである。
【図５】図４の学習プロセスのサブルーチンフローチャートである。
【図６】図４の推定プロセスのサブルーチンフローチャートである。
【図７】時間方向にサブバンド分割する概念を示す図である。
【図８】空間方向にサブバンド分割する概念を示す図である。
【発明を実施するための形態】
【００１５】
本発明に係る画質推定装置、画質推定方法および画質推定プログラムは、複数のフレーム画像からなる映像の画質劣化度について学習および推定を行う。
【００１６】
以下、添付した図面を参照しながら、本発明の画質推定装置、画質推定方法および画質推定プログラムの実施形態を説明する。
【００１７】
＜画質推定装置１０の構成＞
図１は、本実施形態に係る画質推定装置の構成を示すブロック図である。図２は、図１の画質推定装置の学習部の構成を示すブロック図である。図３は、図１の画質推定装置の推定部の構成を示すブロック図である。
【００１８】
本実施形態に係る画質推定装置１０は、図１に示すように、学習用映像データベース２０、客観画質評価値算出部３０、学習部４０、学習結果記憶部５０、推定部６０を有する。学習用映像データベース２０および学習結果記憶部５０は、メモリーやハードディスク等の記録装置によって達成される。また、客観画質評価値算出部３０、学習部４０、推定部６０は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ−Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が、各種プログラムを読み込んで実行することにより達成される。ここで、プログラムとは、たとえば、映像データの画質を推定するための画質推定プログラムである。
【００１９】
学習用映像データベース２０は、複数組の学習用映像を予め格納している。一組の学習用映像は、符号化（圧縮）により劣化していないオリジナルのままの無劣化映像と、当該無劣化画像を符号化により画質劣化させた劣化映像と、を含む。なお、劣化映像は、たとえば、ＭＰＥＧ−２やＨ．２６４／ＡＶＣなどの動画像である。また、動画像は、静止画像が時間的に連続したフレーム画像の集合である。
【００２０】
客観画質評価値算出部３０は、劣化前後の学習用映像の比較により当該学習用映像にかかる画質劣化度を、客観的な画質評価値（以下、客観評価値という）として算出する。客観評価値は、画質評価指標として一般的なＰＳＮＲ（Ｐｅａｋ  Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）やＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ  ＳＩＭｉｌａｒｉｔｙ）などを用いて算出できる。
【００２１】
学習部４０は、客観評価値を正解値として与え、学習用映像として用意された劣化映像について画質劣化度を学習する。すなわち、学習部４０は、学習用映像として用意された劣化映像を構成するフレーム画像ごとに、その特徴を表す特徴ベクトルを算出する。そして、学習部４０は、特徴ベクトルからフレーム画像の画質劣化度を判定するための学習モデルを生成する。なお、学習モデルは、特徴ベクトルと、客観評価値（すなわち、フレーム画像の画質劣化度）と、についての確率的な対応関係を決定する数理モデルであり、たとえば、教師あり学習の一つであるＳＶＭを用いてもよい。もちろん、これに限らず、その他の回帰モデル、ニューラルネットワーク等を用いてもよい。
【００２２】
より詳細には、学習部４０は、図２に示すように、時間方向周波数変換部４１と、空間方向周波数変換部４２と、変換係数パラメータ化部４３と、画質学習部４４と、を有する。図２に示す例では、時間方向周波数変換部４１が空間方向周波数変換部４２の上流側に位置するが、その逆であってもよい。いずれにしても、時間方向の周波数特徴および空間方向の周波数特徴は、別個に算出される。
【００２３】
時間方向周波数変換部４１は、学習用映像データベース２０に格納されている劣化映像を構成する各フレーム画像に対して、時間軸方向の周波数変換を行う。たとえば、時間方向周波数変換部４１は、各フレーム画像を、時間方向にウェーブレット変換することにより、時間方向に動きが複雑な高周波成分画像Ｈと、時間方向に動きが単純な低周波成分画像Ｌに分割できる。このような分割は、一般にサブバンド分割とよばれている。また、必要に応じて、低周波成分画像Ｌに対して時間方向のサブバンド分割を再帰的に繰り返すことにより、低周波成分画像Ｌを、さらに高周波成分と低周波成分に分割できる。なお、周波数変換には、ウェーブレット変換に限らず、離散コサイン変換、またはフーリエ変換などを用いてもよい。
【００２４】
空間方向周波数変換部４２は、時間方向周波数変換部４１によって時間方向にサブバンド分割された画像（Ｈ、Ｌ等）に対して、空間方向の周波数変換を行う。たとえば、空間方向周波数変換部４２は、時間方向にサブバンド分割された各画像を、空間方向にウェーブレット変換することにより、隣接する画素間において輝度変化が大きい高周波成分画像Ｈと、隣接する画素間において輝度変化が小さい成分画像Ｌに分割できる。また、必要に応じて、低周波成分画像Ｌに対して空間方向のサブバンド分割を再帰的に繰り返すことにより、低周波成分画像Ｌを、さらに高周波成分と低周波成分に分割できる。このような時間方向および空間方向のサブバンド分割によって、空間方向周波数変換４２は、時空間の変換係数（たとえば、ウェーブレット変換係数）を得る。なお、空間方向の周波数変換にも、ウェーブレット変換に限らず、離散コサイン変換、またはフーリエ変換などを用いることができる。
【００２５】
変換係数パラメータ化部４３は、空間方向周波数変換部４２での周波数変換により最終的に得られた変換係数をパラメータ化して、時空間の特徴ベクトル（時空間の周波数特徴）とする。なお、特徴ベクトルの次元数は、任意の値に設定できる。
【００２６】
画質学習部４４は、変換係数パラメータ化部４３で得られた特徴ベクトルと、客観画質評価値算出部３０で算出された客観評価値（画質劣化度）と、を関連付ける学習を行う。具体的には、画質学習部４４は、変換係数パラメータ化部４３で最終的に得られた特徴ベクトルからフレーム画像の画質劣化度を判定するための学習モデルを生成する。たとえば、画質学習部４４は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。ここで決定されたパラメータ値は、学習結果パラメータとして学習結果記憶部５０に記憶される。
【００２７】
学習結果記憶部５０は、画質学習部４４の学習結果、すなわち、学習結果パラメータを記憶する。
【００２８】
推定部６０は、学習結果記憶部５０に記憶されている学習結果に基づいて、検査映像にかかる画質劣化度を推定する。すなわち、推定部６０は、学習部４０によって生成された学習モデルに、検査映像をフレーム画像ごとに入力し、得られた出力値を各フレーム画像の劣化度とする。なお、学習モデルに含まれるパラメータには、学習結果記憶部５０に記憶された学習結果パラメータが用いられる。
【００２９】
より詳細には、推定部６０は、図３に示すように、時間方向周波数変換部６１と、空間方向周波数変換部６２と、変換係数パラメータ化部６３と、画質推定部６４と、を有する。図３に示す例では、時間方向周波数変換部６１が空間方向周波数変換部６２の上流側に位置するが、その逆であってもよい。いずれにしても、時間方向の周波数変換および空間方向の周波数変換は、別個に（独立して）行われる。なお、時間方向周波数変換部６１と空間方向周波数変換部６２の位置関係（処理の順序）は、時間方向周波数変換部４１と空間方向周波数変換部４２の位置関係と同様であることが好ましい。
【００３０】
時間方向周波数変換部６１は、検査映像を構成する各フレーム画像に対して、時間軸方向の周波数変換を行う。たとえば、時間方向周波数変換部６１は、学習部４０の時間方向周波数変換部４１と同様の方法によって、周波数変換を行う。すなわち、時間方向周波数変換部６１は、検査画像を構成する各フレーム画像に対して、時間方向にウェーブレット変換することによってサブバンド分割を行う。また、時間方向のサブバンド分割の階層は、時間方向周波数変換部４１のサブバンド分割の階層と同数とする。なお、時間方向周波数変換部６１は、時間方向周波数変換部４１と同様の処理を行うため、時間方向周波数変換部４１を代用してもよい。
【００３１】
空間方向周波数変換部６２は、時間方向周波数変換部６１によって時間方向にサブバンド分割された各画像に対して、空間方向の周波数変換を行う。たとえば、空間方向周波数変換部６２は、学習部４０の空間方向周波数変換部４２と同様の方法によって、周波数変換を行う。すなわち、空間方向周波数変換部６２は、時間方向にサブバンド分割された各画像に対して、空間方向にウェーブレット変換することによってサブバンド分割を行い、変換係数（たとえば、ウェーブレット変換係数）を得る。また、空間方向のサブバンド分割の階層は、空間方向周波数変換部４２のサブバンド分割の階層と同数とする。なお、空間方向周波数変換部６２は、空間方向周波数変換部４２と同様の処理を行うため、空間方向周波数変換部４２を代用してもよい。
【００３２】
変換係数パラメータ化部６３は、空間方向周波数変換部６２での周波数変換により最終的に得られた変換係数をパラメータ化して、時空間の特徴ベクトル（時空間の周波数特徴）とする。また、変換係数パラメータ化部６３は、変換係数パラメータ化部４３と同様の処理を行うため、変換係数パラメータ化部４３を代用してもよい。
【００３３】
画質推定部６４は、変換係数パラメータ化部６３で最終的に得られた特徴ベクトルを、学習結果記憶部５０に記憶された学習結果パラメータによって決定される学習モデルに入力して、各画像フレームの画質劣化度を推定する。例えば、ＳＶＲ手法を用いることができる。
【００３４】
このように、推定部６０は、検査映像にかかる画質劣化度の推定に、符号化（圧縮）前の原画像を必要とせず、符号化済みの検査映像だけで画質劣化度を推定する（いわゆるノンリファレンス型）。
【００３５】
＜画質推定装置１０の動作＞
次に、本発明に係る画質推定装置１０の動作について説明する。画質推定装置１０の動作は、たとえば、ＣＰＵが画質推定プログラムを実行することで達成できる。
【００３６】
図４は、本発明に係る画質推定装置１０の動作フローチャートである。図４に示す動作は、画質推定プログラムのトップクラスに位置するメインプログラムの処理手順を示している。
【００３７】
（ステップＳ１００）
モード読取ステップとして、メインプログラムを実行するＣＰＵは、画質推定プログラムの実行モードを読み取る。実行モードは、ユーザーがキーボード、マウス、タッチパネル等の入力装置を使って設定できる。実行モードには、学習モード、推定モードを含むが、必要に応じて他のモードを含むこともできる。
【００３８】
（ステップＳ２００）
学習モード判断ステップとして、ＣＰＵにより、実行モードが学習モードであるか否かについて判断する。学習モードである場合は、ステップ３００に移行する。学習モードではない場合は、ステップ４００に移行する。
【００３９】
（ステップＳ３００）
学習プロセスステップとして、客観画質評価値算出部３０、学習部４０により、学習用画像に対する画質劣化度の学習を行う。学習プロセスステップＳ３００の詳細な処理は、図５のフローチャートを用いて後述する。
【００４０】
（ステップＳ４００）
推定モード判断ステップとして、ＣＰＵにより、実行モードが推定モードであるか否かについて判断する。推定モードである場合は、ステップ５００に移行する。推定モードではない場合は、ステップ６００に移行する。
【００４１】
（ステップＳ５００）
推定プロセスステップとして、推定部６０により、検査映像に対する画質劣化度の推定を行う。推定プロセスステップＳ５００の処理は、図６のフローチャートを用いて後述する。
【００４２】
（ステップＳ６００）
メインプログラム終了判断ステップとして、ＣＰＵにより、画質推定プログラムを終了させるか否かについて判断する。画質推定プログラムを終了させる場合は、ステップ７００に移行する。画質推定プログラムを終了させない場合は、最初に戻って次の画質劣化度の学習または推定を行う。
【００４３】
（ステップＳ７００）
終了ステップとして、ＣＰＵにより、画質推定プログラムの終了処理を実行する。学習モードまたは推定モードにおいて、プログラム実行の中で使用された変数のアドレス空間の開放や、外部とのアクセスの切断などの処理を行うことができる。
【００４４】
以上において、一つのＣＰＵですべての処理を行う態様を想定して説明したが、実行モード毎に別のＣＰＵで処理することもできる。この場合、ＣＰＵ間の相互アクセス処理が必要となる。ただし、機能ごとに別のチップに搭載されるＣＰＵを使用することにより、組合せの自由や機能のバージョンアップのし易さ、画質推定を必要とする終端機器で学習結果のみを利用して、学習プロセス自体は必要としないなどといった対応が柔軟にできる。
【００４５】
次に、学習プロセスステップＳ３００、推定プロセスステップＳ５００の詳細の処理を示すサブルーチンフローチャートについて説明する。
【００４６】
図５は、図４の学習プロセスのサブルーチンフローチャートである。
【００４７】
（ステップＳ３１０）
ＣＰＵは、学習用画像データベース２０に予め格納されている複数組の学習用映像から、学習させる学習用映像の組数Ｎを取得する。画質劣化度を学習させる学習用映像の母数の数とジャンルが多いほど、より良い推定精度が得られるが、予め検査映像のジャンルが分かる場合や、必要な推定精度などに応じて、適宜選択しながら決めることができる。
【００４８】
（ステップＳ３２０）
客観画質評価値算出部３０は、劣化前後の学習用映像の比較により当該学習用映像にかかる画質劣化度を、客観評価値として算出する。たとえば、ＰＳＮＲ等によって客観評価値は算出できる。
【００４９】
（ステップＳ３３０）
時間方向周波数変換部４１は、Ｓ３１０で取得された劣化映像を構成する各フレーム画像に対して、時間軸方向の周波数変換を行う。たとえば、時間方向周波数変換部４１は、各フレーム画像を、時間方向にウェーブレット変換することにより、周波数帯域の異なる複数の画像へサブバンド分割する。なお、時間方向におけるサブバンド分割の詳細については後述する。
【００５０】
（ステップＳ３４０）
空間方向周波数変換部４２は、Ｓ３３０で時間方向にサブバンド分割された各画像に対して、空間方向の周波数変換を行う。たとえば、空間方向周波数変換部４２は、サブバンド分割された各画像について、それぞれ、空間方向にウェーブレット変換することにより、周波数帯域の異なる複数の画像へサブバンド分割し、それぞれの変換係数を算出する。なお、空間方向におけるサブバンド分割の詳細については後述する。
【００５１】
（ステップＳ３５０）
変換係数パラメータ化部４３は、空間方向周波数変換部４２での周波数変換により最終的に得られた変換係数をパラメータ化して、時空間の特徴ベクトルとする。
【００５２】
（ステップＳ３６０）
画質学習部４４は、Ｓ３５０で得られた特徴ベクトルと、Ｓ３２０で算出された客観評価値（画質劣化度）と、を関連付ける学習を行う。具体的には、画質学習部４４は、変換係数パラメータ化部４３で最終的に得られた特徴ベクトルからフレーム画像の画質劣化度を判定するための学習モデルを生成する。たとえば、画質学習部４４は、学習モデルとして、少なくとも一つ以上のパラメータ（変数）を持つ数理モデルを採用し、各特徴ベクトルを入力したときに正解値の客観評価値を出力するように数理モデルのパラメータ値を決定する。
【００５３】
（ステップＳ３７０）
画質学習部４４は、Ｓ３６０で得られた学習結果、すなわち、生成した学習モデルのパラメータ値を、学習結果パラメータとして学習結果記憶部５０に記憶する。
【００５４】
（ステップＳ３８０）
ＣＰＵは、ステップＳ３１０で取得されたＮ個のすべての組の学習用映像の画質劣化度の学習が終わったか否かについて判断する。すべての組の画質劣化度の学習が終わった場合、メインプログラムに移行する。継続して画質劣化度の学習をすべき組がある場合、ステップＳ３３０に移行して、他の組の学習用映像の画質劣化度の学習を行う。
【００５５】
図６は、図４の推定プロセスのサブルーチンフローチャートである。
【００５６】
（ステップＳ５１０）
ＣＰＵは、画質推定の対象である検査映像の入力検知を行う。検査映像は、主として符号化された劣化映像である。
【００５７】
（ステップＳ５２０）
時間方向周波数変換部６１は、Ｓ５１０で入力された検査映像を構成する各フレーム画像に対して、時間軸方向の周波数変換を行う。たとえば、時間方向周波数変換部６１は、各フレーム画像を、時間方向にウェーブレット変換することにより、周波数帯域の異なる複数の画像へサブバンド分割する。
【００５８】
（ステップＳ５３０）
空間方向周波数変換部６２は、Ｓ５２０で時間方向にサブバンド分割された各画像に対して、空間方向の周波数変換を行う。たとえば、空間方向周波数変換部６２は、サブバンド分割された各画像について、それぞれ、空間方向にウェーブレット変換することにより、周波数帯域の異なる複数の画像へサブバンド分割し、それぞれの変換係数を算出する。
【００５９】
（ステップＳ５４０）
変換係数パラメータ化部６３は、空間方向周波数変換部６２での周波数変換により最終的に得られた変換係数をパラメータ化して、時間方向の特徴ベクトルとする。
【００６０】
（ステップＳ５５０）
画質推定部６４は、Ｓ５４０で得られた特徴ベクトルを、学習結果記憶部５０に記憶された学習結果パラメータによって決定される学習モデルに入力して、各フレーム画像の画質劣化度を推定する。
【００６１】
（ステップＳ５６０）
ＣＰＵは、Ｓ５１０で入力された劣化映像を構成するすべてのフレーム画像について、画質劣化度の推定が終えると、画質推定結果として、出力機器を通じて出力する。
【００６２】
本実施形態の画質推定装置１０は、以上のように動作することにより、映像の画質劣化度について学習および推定できる。上記の各フローチャートでは、学習時および推定時のいずれの場合においても、時間方向の周波数変換および空間方向の周波数変換が、両方とも実施される。そのため、空間方向の周波数特徴のみを用いて画質推定する場合と比較して、高精度に画質推定できる。さらに、時間方向の周波数変換および空間方向の周波数変換は、それぞれ別個に実施されるため、時間方向と空間方向からなる３次元の周波数特徴を一度に算出する場合と比較して、高速かつ軽負荷にて学習、推定できる。
【００６３】
なお、上記した各フローチャートの各処理単位は、画質推定装置１０の理解を容易にするために、主な処理内容に応じて分割したものである。処理ステップの分類の仕方やその名称によって、本願発明が制限されることはない。画質推定装置１０で行われる処理は、さらに多くの処理ステップに分割することもできる。また、１つの処理ステップが、さらに多くの処理を実行してもよい。
【００６４】
＜時間方向の周波数変換＞
次に、上記のＳ３３０およびＳ５２０で行われる時間方向の周波数変換について、さらに詳細に説明する。
【００６５】
時間方向の周波数変換には、たとえば、ハールウェーブレット変換方法が採用され、２階層のサブバンド分割が行われる。
【００６６】
図７は、時間方向にサブバンド分割する概念を示す図である。
【００６７】
図７に示されるように、時間方向周波数変換部４１、６１は、２階層のサブバンド分割を行うために、時刻ｔ、ｔ−１、ｔ−２、ｔ−３の４枚のフレーム画像を用いる。
【００６８】
まず、時間方向周波数変換部４１、６１は、映像に含まれる時刻ｔのフレーム画像と時刻ｔ−１のフレーム画像から、第１階層目となる第１高周波成分画像Ｈおよび第１高周波成分画像Ｌを生成する。
【００６９】
具体的には、第１高周波成分画像Ｈ（ｘ，ｙ，ｔ）は、以下の数式１を用いて求めることができる。
【００７０】
【数１】
2014131128.tif 000003
【００７１】
なお、Ｉ（ｘ，ｙ，ｔ）は時刻ｔ、フレーム画像内座標（ｘ，ｙ）における輝度値を表す。
【００７２】
また、第１低周波成分画像Ｌ（ｘ，ｙ，ｔ）は、以下の数式２を用いて求めることができる。
【００７３】
【数２】
2014131128.tif 000004
【００７４】
同様に、時間方向周波数変換部４１、６１は、上記数式（１）、（２）を用いて、映像に含まれる時刻ｔ−２のフレーム画像と時刻ｔ−３のフレーム画像から、第２高周波成分画像Ｈと、第２低周波成分画像Ｌを生成する。
【００７５】
次に、時間方向周波数変換部４１、６１は、低周波成分画像Ｌに対して、上記のようなサブバンド分割を再帰的に繰り返す。すなわち、時間方向周波数変換部４１、６１は、先に求められた第１低周波成分画像Ｌおよび第２低周波成分画像Ｌから、第２階層目となる低―高周波成分画像ＬＨ（ｘ，ｙ，ｔ）および低―低周波成分画像ＬＬ（ｘ，ｙ，ｔ）を生成する。
【００７６】
具体的には、低―高周波成分画像ＬＨ（ｘ，ｙ，ｔ）は、以下の数式３を用いて求めることができる。
【００７７】
【数３】
2014131128.tif 000005
【００７８】
また、低―低周波成分画像ＬＬ（ｘ，ｙ，ｔ）は、以下の数式４を用いて求めることができる。
【００７９】
【数４】
2014131128.tif 000006
【００８０】
＜空間方向の周波数変換＞
次に、上記のＳ３４０およびＳ５３０で行われる空間方向の周波数変換について説明する。
【００８１】
図８は、空間方向にサブバンド分割する概念を示す図である。
【００８２】
図８に示されるように、空間方向の周波数変換では、たとえば、時間方向の周波数変換によって得られた成分画像Ｈ、ＬＨ、ＬＬに対して、それぞれ従来手法であるＢＩＱＩ（Ｂｌｉｎｄ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ｉｎｄｅｃｉｅｓ）が適用される。
【００８３】
まず、空間方向周波数変換部４２、６２は、時間方向の周波数変換によって得られた成分画像Ｈ、ＬＨ、ＬＬを、それぞれ空間方向（２次元）にウェーブレット変換することによってサブバンド分割する。これにより、成分画像Ｈ、ＬＨ、ＬＬごとに、３ブロックの高周波成分画像Ｈと、１ブロックの低周波成分画像Ｌが生成される。
【００８４】
次に、空間方向周波数変換部４２、６２は、生成された各低周波成分画像Ｌに対して、さらにウェーブレット変換することよってサブバンド分割し、３ブロックの低―高周波成分画像ＬＨと、１ブロックの低―低周波成分ＬＬを生成する。
【００８５】
そして、空間方向周波数変換部４２、６２は、各サブバンド分割でのウェーブレット変換係数を求め、これを時空間の変換係数としてパラメータ化し、特徴ベクトルを生成する。
【００８６】
このように、時空間のウェーブレット変換係数を特徴ベクトルとして生成することにより、動画像符号化による画質劣化に起因する時間方向の周波数特性および空間方向の周波数特性の両方を考慮して、誤判定の少ない学習、推定を行うことができる。
【００８７】
＜変形例＞
また、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。多くの代替物、修正、変形例は当業者にとって明らかである。
【００８８】
たとえば、上記実施形態では、時間方向および空間方向に２階層のサブバンド分割を行ったが、これを繰り返すことにより、３階層以上のサブバンド分割も同様に行うことができる。
【００８９】
また、上記実施形態では、時間方向の周波数変換としてハールウェーブレット変換を用いたが、５／３ウェーブレット変換、９／７ウェーブレット変換、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）などを用いてもよい。
【００９０】
また、上記実施形態では、空間方向周波数変換部４２、６２は、時間方向の周波数変換によって得られた成分画像Ｈ、ＬＨ、ＬＬに対して、周波数変換している。しかし、本発明は、これに限らず、時間方向の周波数変換がなされる前のフレーム画像に対して、空間方向の周波数変換を実施してもよい。この場合には、時間方向周波数変換部４１、６１と、空間方向周波数変換部４２、６２の処理を並行して行うことができる。また、時間方向の特徴ベクトルと、空間方向の特徴ベクトルと、が別々に得られた場合には、変換係数パラメータ化部４３、６３では、両方の特徴ベクトルを結合して一つの特徴ベクトルを生成すればよい。なお、複数の特徴ベクトルを結合する方法としては、各特徴ベクトルに含まれる要素（パラメータ）を並べるだけでよい。
【００９１】
また、画質推定装置１０は、一般的なＰＣ（パーソナルコンピューター）、テレビジョン受像機など、映像を扱う機器であればどのような機器にも適用できる。また、学習部側（学習用映像データベース２０、客観画質評価値算出部３０、学習部４０）と、推定部側（学習結果記憶部５０、推定部６０）と、をそれぞれ別個の機器に設けてもよい。
【００９２】
以上の画質推定装置１０の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られない。また、一般的な画質推定装置１０が備える構成を排除するものではない。
【００９３】
また、上記した画質推定装置１０の各機能構成は、各機能構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本願発明が制限されることはない。各機能構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。
【００９４】
また、画質推定装置１０を動作させるプログラムは、ＵＳＢメモリー、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、メモリーやストレージ等に転送され記憶される。また、このプログラムは、たとえば、単独のアプリケーションソフトとして提供されてもよいし、画質推定装置１０の一機能としてその装置のソフトウェアに組み込んでもよい。
【符号の説明】
【００９５】
１０  画質推定装置、
２０  学習用映像データベース、
３０  客観画質評価値算出部、
４０  学習部、
４１  時間方向周波数変換部、
４２  空間方向周波数変換部、
４３  変換係数パラメータ化部、
４４  画質学習部、
５０  学習結果記憶部、
６０  推定部、
６１  時間方向周波数変換部、
６２  空間方向周波数変換部、
６３  変換係数パラメータ化部、
６４  画質推定部。
【図１】
2014131128.tif 000007
【図２】
2014131128.tif 000008
【図３】
2014131128.tif 000009
【図４】
2014131128.tif 000010
【図５】
2014131128.tif 000011
【図６】
2014131128.tif 000012
【図７】
2014131128.tif 000013
【図８】
2014131128.tif 000014