(57)【要約】【課題】  映像品質評価支援において、数値化した客観評価結果として主観評価結果により近い値を得る方法などの技術を提供する。【解決手段】  評価対象復号画像とその原画像との入力に基づき、ＳＮＲ値算出手段１０７で算出したＳＮＲ値に対して、復号画像差分取得手段１０８、原画像差分取得手段１０９、及び重み算出手段１１０により算出した重み算出結果（重み係数）を、重み付きＳＮＲ値算出手段１１１に入力して掛け合わせる。これにより重み付きＳＮＲ値を得る。【選択図】  図２
2006340145.tif 000002
【特許請求の範囲】
【請求項１】
評価対象画像及びその原画像を入力する画像入力処理と、
前記入力された評価対象画像及び原画像を蓄積する画像蓄積処理と、
前記評価対象画像と原画像との差分値に基づくＳＮＲ値を算出するＳＮＲ値算出処理と、
前記原画像の連続するフレームの差分と前記評価対象画像の連続するフレームの差分とから前記ＳＮＲ値に対し重み付けするための重み係数を算出する重み算出処理と、
前記算出した重み係数を前記算出したＳＮＲ値に対し重み付けして重み付きＳＮＲ値として算出する重み付きＳＮＲ値算出処理とを計算機に行わせることを特徴とする映像品質評価支援プログラム。
【請求項２】
請求項１記載の映像品質評価支援プログラムにおいて、
前記重み算出処理は、
前記原画像の連続するフレームの差分を算出する第１の差分算出処理と、
前記評価対象画像の連続するフレームの差分を算出する第２の差分算出処理と、
前記第１及び第２の差分算出処理をもとに、前記フレームの画素毎に重み付けするための重み係数を算出する処理とを計算機に行わせることを特徴とする映像品質評価支援プログラム。
【請求項３】
請求項１記載の映像品質評価支援プログラムにおいて、
前記重み付きＳＮＲ値算出処理で算出した重み付きＳＮＲ値をグラフ化して表示する処理と、
前記評価対象画像に前記重み付きＳＮＲ値の情報を合成して表示する処理とを計算機に行わせることを特徴とする映像品質評価支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、白黒やカラーの動画像（映像）に対して、符号化や電子透かし等のメディア処理を施した場合にその処理後の画像において原画像に対する品質劣化を計算し映像品質評価支援する技術に関する。
【背景技術】
【０００２】
映像の圧縮のための符号／復号処理による画像劣化や、電子透かし等による処理で画像の品質が劣化することが知られており、この種の画像（映像）品質を評価する方法として、主観評価による方法と客観評価による方法とが存在する。
【０００３】
従来の主観評価による方法としては、例えばＩＴＵ−Ｒ  ＢＴ．５００−６の勧告等に基づいてテレビジョン画像の品質評価を行う方法がある。この方法は、十数人の被験者が数日間に渡って主観的に画像を評価するものである。この主観評価方法によれば、少数の画像を用いて評価する場合であっても、実験に伴う作業量が極めて膨大なものとなり、実験に要するコストが高くなるという問題点も有している。また、評価のために必要な時間がかなり長くなり、画像品質を短時間に評価することが著しく困難となる。
【０００４】
従来の客観評価による方法としては、評価対象画像と原画像との間の各画素の単純な差分値、例えば平均二乗誤差、から求められるＳＮ比（ＳＮＲ：Signal to Noise Ratio）を用いる方法が一般的である。この方法によれば、評価に要する時間は短時間で済むものの、人間の視覚特性が全く考慮されていないため、その評価結果が主観評価による結果とは一致しないことが多いという問題が生じる。
【０００５】
より主観評価に近い画像品質評価を行う技術に関しては、特許文献１に示されている。この公知例によれば、評価対象の符号化画像から抽出した、映像品質に関連する符号化情報に基づいて復号映像に合成して表示したり、グラフ化して表示したりすることにより、映像品質評価を支援する技術である。
【０００６】
また、ＳＮＲによる客観評価を主観評価の結果に近づける技術、言い換えればＳＮＲ値に重み付けする技術に関しては、特許文献２や特許文献３に示されている。特許文献２によれば、評価対象画像の粗密情報に従って、視覚的に目立つ部分であるか、目立たない部分であるかを判断し、ＳＮＲ値に重み付けする技術である。特許文献３によれば、画像データの空間周波数方向に従って、高周波の雑音は検知され難い等の視覚特性を考慮し、ＳＮＲ値に重み付けする技術である。
【特許文献１】特開２００３−３３３６２９号公報
【特許文献２】特開２００４−３４８２９３号公報
【特許文献３】特開平９−３０７９３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
動画像として再生してみる場合、粗密に関わらず動きの無い部分の劣化度合が時間によって異なる場合、画質劣化が目立つという特性がある。この場合、前記重み付けに関する従来の技術では、評価結果が主観評価と異なるという問題があった。また、数値化したデータだけでは、映像中の劣化が目立つ個所を一見して知覚することができないという問題がある。
【０００８】
本発明は以上のような問題に鑑みてなされたものであり、その目的は、映像品質評価支援において、数値化した客観評価結果として主観評価結果により近い値を得る方法、装置、プログラム、情報処理システムなどの技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。前記目的を達成するために、本発明は、以下に示す技術的手段を備えることを特徴とする。
【００１０】
本発明では、原画像の連続するフレームの差分と評価対象画像の連続するフレームの差分とからＳＮＲ値に対し重み付けを行う手段を備えることを特徴とする。本手段の処理により、主観評価結果により近い客観評価結果を提供する。また、視覚的に目立つ部分の劣化度合を評価映像に合成して表示する方法を提供する。
【００１１】
本発明は、評価対象画像及びその原画像を入力する画像入力手段と、前記入力された評価対象画像及び原画像を蓄積する画像蓄積手段と、前記評価対象画像と原画像との差分値に基づくＳＮＲ値を算出するＳＮＲ値算出手段と、前記原画像の連続するフレームの差分と前記評価対象画像の連続するフレームの差分とから前記ＳＮＲ値に対し重み付けするための重み係数を算出する重み算出手段と、前記算出した重み係数を前記算出したＳＮＲ値に対し重み付けして重み付きＳＮＲ値として算出する重み付きＳＮＲ値算出手段とを有する。
【００１２】
本発明の映像品質評価支援プログラムは、前記各手段に対応した処理を計算機に行わせることを特徴とする。
【発明の効果】
【００１３】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明によれば、映像品質評価支援に関して、原画像の連続するフレームの差分と評価対象画像の連続するフレームの差分とから算出した重みを表す値をＳＮＲ値に掛け合わせることで、主観評価結果により近い客観評価値を得ることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一符号を付し、その繰り返しの説明は省略する。図１〜図９は、本実施の形態を説明するための図である。
【００１５】
図１は、本発明の一実施の形態におけるシステム構成例を示す図である。本システムにおいて、評価支援装置１０１は、符号化画像の画像品質評価を支援するコンピュータなどの装置である。本評価支援装置１０１は、本実施の形態の映像品質評価支援プログラムを実行することにより、映像品質評価支援処理を実現する。評価支援装置１０１は、符号化画像入力手段１０２、原画像入力手段１０３、符号化情報抽出手段１０４、復号手段１０５、画像差分取得手段１０６、ＳＮＲ値算出手段１０７、復号画像差分取得手段１０８、原画像差分取得手段１０９、重み算出手段１１０、重み付きＳＮＲ値算出手段１１１、画像表示手段１１２、グラフ表示手段１１３、操作入力手段１１４、制御手段１１５を有する。重み付きＳＮＲ値を算出するための主な部位は、画像差分取得手段１０６〜重み付きＳＮＲ値算出手段１１１により構成される。特に重み算出部は、復号画像差分取得手段１０８〜重み算出手段１１０により構成される。
【００１６】
図１中に示す各手段は、プログラムによる処理または専用の回路などで実現される。例えば、プログラムによる処理で構成する場合、符号化画像入力手段１０２〜重み付きＳＮＲ値算出手段１１１、画像表示手段１１２及びグラフ表示手段１１３は、本実施の形態のプログラムの処理により実現される。制御手段１１５は、本実施の形態のプログラムを含むアプリケーションプログラムやＯＳの実行を制御するプロセッサなどである。また、画像表示手段１１２及びグラフ表示手段１１３等は、データ・情報を記憶する記憶装置（メモリ）を含み、また更に表示装置（ディスプレイ）などを含んでもよい。また、各部から入出力されるデータ・情報を記憶する記憶装置をバス上に別に設けてもよい。各手段間が、矢印で示すようなデータ・情報の信号線やバス等で接続される。また、専用の回路で構成する場合、例えば、各手段が回路で構成される。例えば、符号化画像入力手段１０２〜重み付きＳＮＲ値算出手段１１１や、画像差分取得手段１０６〜重み付きＳＮＲ値算出手段１１１が、各手段あるいは全体で１つの、専用の回路で構成される。
【００１７】
符号化画像入力手段１０２において評価対象画像ファイルの入力を受け付け、原画像入力手段１０３において原画像ファイルの入力を受け付ける。
【００１８】
符号化情報抽出手段１０４は、前記符号化画像入力手段１０２で受け付けた評価対象画像ファイル及び復号手段１０５での復号画像から、圧縮フォーマットの種類やビットレート、フレームレート等の符号化情報を抽出する手段である。抽出された符号化情報は、バスを介して他部位で利用可能である。
【００１９】
復号手段１０５において、前記符号化画像入力手段１０２で受け付けた評価対象画像ファイルから復号処理により復号画像を生成し出力する。
【００２０】
画像差分取得手段１０６は、前記復号手段１０４で得られる評価対象画像の復号画像と、前記原画像入力手段１０３で得られる原画像とを入力して、輝度、色差、それぞれに対して差分値を算出する手段である。そして算出した値をもとに、ＳＮＲ値算出手段１０７において、ＳＮＲ値（客観評価値）を算出する。
【００２１】
重み算出の処理は、重み算出部（１０８〜１１０）で行われ、図２における重み算出部の説明において詳細を述べる。
【００２２】
重み付きＳＮＲ値算出手段１１１は、前記ＳＮＲ値算出手段１０７で得られるＳＮＲ値に対し、前記重み算出手段１１０で得られる重み算出結果（重み係数）を、画素毎に掛け合わせることにより、重み付きＳＮＲ値を算出する。
【００２３】
画像表示手段１１２は、前記復号手段１０５で得られる評価対象画像の復号画像に対して、前記重み付きＳＮＲ値算出手段１１１で算出される重み付きＳＮＲ値を網掛けで合成した合成画像を作成し表示する機能や、前記原画像入力手段１０３で得られる原画像や、前記復号手段１０５で得られる評価対象画像の復号画像や、前記画像差分取得手段１０６で得られる差分画像を、ディスプレイ等に表示する機能を有する。
【００２４】
画像表示手段１１２で、原画像表示部は、原画像を表示処理する。評価対象画像表示部は、評価対象画像またはその復号画像を表示処理する。差分画像表示部は、原画像と表示対象画像の復号画像との差分画像などを表示処理する。合成画像表示部は、前記評価対象画像の復号画像に対して重み付きＳＮＲ値を合成した合成画像を作成し表示処理する。
【００２５】
グラフ表示手段１１３は、前記符号化情報抽出手段１０４で得られる符号化情報のうちの符号量情報、前記ＳＮＲ算出手段１０７で得られるＳＮＲ値（客観評価値）、及び、前記重み付きＳＮＲ値算出手段１１１で得られる重み付きＳＮＲ値などをグラフ化した画像を作成し、ディスプレイ等に表示する機能を有する。
【００２６】
グラフ表示手段１１３で、符号量グラフ化部は、符号量情報をグラフ化し表示処理する。評価値グラフ化部は、評価値（ＳＮＲ値）をグラフ化し表示処理する。重み付き評価値グラフ化部は、重み付きＳＮＲ値をグラフ化し表示処理する。
【００２７】
操作入力手段１１４は、マウスやキーボードなどの、本評価支援装置１０１の外部からの操作入力を受け付ける手段であり、入出力インタフェース部、または更に入出力装置そのものを含んで構成されてもよい。制御手段１１５は、本評価支援装置１０１全体の制御を行うものであり、例えばＣＰＵやその周辺回路等で構成されている。制御手段１１５は、本評価支援装置１０１の操作を行うためのメニュー画面を生成し、画像表示手段１１２を介して復号画像や合成画面等をディスプレイ画面などへ表示させたり、グラフ表示手段１１３を介してグラフ画像としてディスプレイ画面などへ表示させたり、画面を切り替える等の各種処理を制御する。
【００２８】
図２は、前記図１における重み算出部を中心としたより詳細な構成を示す図である。復号画像差分取得手段１０８は、メモリ（ピクチャ蓄積メモリ）２０１、画像差分手段２０５を有する。原画像差分取得手段１０９は、メモリ（ピクチャ蓄積メモリ）２０２、画像差分手段２０６を有する。重み算出手段１１０は、重み係数＃１算出手段２０３、重み係数＃２算出手段２０４、画像差分手段２０７、分岐（スイッチ）２０８を有する。以下、画像（映像）における連続する複数のフレーム（ピクチャともいう）において、ｎ番目のフレームを「フレームｎ」と称する。
【００２９】
復号画像差分取得手段１０８において、メモリ２０１は、評価対象復号画像のピクチャを蓄積・保持するメモリである。画像差分手段２０５は、評価対象復号画像の現在フレーム（フレームｎ）と前記メモリ２０１に保持した１つ前のフレーム（フレームｎ−１）との差分を行う減算器などの手段である。
【００３０】
原画像差分取得手段１０９において、メモリ２０２は、原画像のピクチャを蓄積・保持するメモリである。画像差分手段２０６は、原画像の現在フレーム（フレームｎ）と前記メモリ２０２に保持した１つ前のフレーム（フレームｎ−１）との差分を行う減算器などの手段である。
【００３１】
重み算出手段１１０において、重み係数＃１算出手段２０３は、第１の重み係数（重み係数＃１）を算出し、重み係数＃２算出手段２０４は、第２の重み係数（重み係数＃２）を算出する。画像差分手段２０７は、前記画像差分手段２０５で得られる評価対象復号画像の差分画像と、前記画像差分手段２０６で得られる原画像の差分画像との差分を行う減算器などの手段である。分岐２０８は、重み係数＃２算出手段への入力を切り替える。
【００３２】
前記重み係数＃１算出手段２０３は、前記画像差分手段２０６で得られる原画像の差分画像の各画素値をもとに、原画像の差分値が小さい、すなわち動き（変化）の無い／少ない部分については重みを強く（すなわち重み係数値を大きく）、また、同差分値が大きい部分については重みを弱くなるよう、重み係数＃１を算出する。
【００３３】
重み係数＃１については、ユーザによる重み算出方法の選択やプログラムによる制御などにより、重み係数を全て１となるようにして、評価値（ＳＮＲ値）への影響を与えなくすることが可能である。
【００３４】
分岐２０８が図２に示す状態の場合において、前記重み係数＃２算出手段２０４は、前記画像差分手段２０７で得られる差分画像に対して、前記重み係数＃１算出手段２０３で算出した重み係数＃１を掛け合わせることにより、重み係数＃２を算出し、重み算出結果として出力する。
【００３５】
また、ユーザによる重み算出方法の選択やプログラムによる制御などにより、分岐２０８を切り替え可能であり、前記画像差分手段２０５で得られる評価対象復号画像の差分画像、または、前記画像差分手段２０６で得られる原画像の差分画像の片方のみを用いて、重み算出手段１１０で重み係数を算出することが可能である。
【００３６】
これらにより、粗密に関わらず動きの無い／少ない部分の劣化度合が時間によって異なる場合に画質劣化が目立つという特性を、評価結果に反映することが可能となる。
【００３７】
ここで、図９に、他の実施の形態として、上記差分取得手段（１０８，１０９）と異なる構成の差分取得手段（１０８Ｂ，１０９Ｂ）の例を示す。図９は、図２における重み算出部の重み算出処理における部分構成を示す図であり、図２における復号画像差分取得手段１０８と原画像差分取得手段１０９が、図５における復号画像差分取得手段１０８Ｂと原画像差分取得手段１０９Ｂに対応するものであり、それぞれローパスフィルタ５０１が後段に追加された構成である。各差分取得手段（１０８Ｂ／１０９Ｂ）において、画像差分手段２０５／２０６により得られるフレームｎとフレームｎ−１との差分を、ローパスフィルタ５０１に通して出力する。これにより、画素単位の変化を重み（重み算出手段１１０から出力される重み係数）に影響しないようにすることが可能である。圧縮（符号化）方法に応じて高周波成分が存在する場合などに、有効に除去できる。
【００３８】
図３は、本発明の一実施の形態における処理を示すフロー図である。ここでは、本発明をプログラム（映像品質評価支援プログラム）の処理によって実現する場合における、評価結果算出処理の流れについて説明する。以下、評価支援装置１０１において本実施の形態の映像品質評価支援プログラムを実行することにより、各処理を実行する。なお、各ステップの処理を専用の回路で行う場合も同様である。
【００３９】
まず、原画像ファイル読み込み（Ｓ６０１）と、評価対象画像ファイル読み込み（Ｓ６０２）によって、評価に使用する画像ファイルの読み込みを行う。次に、符号化情報抽出及び保持（Ｓ６０３）では、前記評価対象画像ファイル読み込み（Ｓ６０２）によって読み込んだデータから、画像サイズ、フレームレート、アスペクト比、平均ビットレート等の符号化情報を抽出し、装置（１０１)内のメモリに保持する。
【００４０】
次に、復号（Ｓ６０４）では、前記評価対象画像ファイル読み込み（Ｓ６０２）によって読み込んだデータから、フレーム画像を復号する。次に、フレーム毎の符号化情報抽出及び保持（Ｓ６０５）では、各フレームに対する符号化情報（１フレーム当たりのビット数やＶＯＰ種別など）を抽出し、メモリに保持する。
【００４１】
次に、原画像フレーム保持（Ｓ６０６）及び評価対象画像フレーム保持（Ｓ６０７）では、前記復号（Ｓ６０４）で得られるフレームの復号画像をメモリ上に保持する。次に、画像差分取得（Ｓ６０８）は、前記原画像フレーム保持（Ｓ６０６）と前記評価対象画像フレーム保持（Ｓ６０７）によって保持したメモリ上の画像を参照し、対応する各画素の差分を算出する。
【００４２】
次に、ＳＮＲ値算出（Ｓ６０９）では、前記画像差分取得（Ｓ６０８）において算出した差分をもとに、ＳＮＲ値を算出する。
【００４３】
次に、重み付け有無判断（Ｓ６１０）は、前記ＳＮＲ値算出（Ｓ６０９）で算出したＳＮＲ値に対して、重み付けを行うかどうかによって、処理を変更するための分岐条件である。ここで重み付けを行わない場合（「No」）は、後述のＳ６１１からＳ６１６の処理を行わずにＳ６１７の処理へ移行することを示す。
【００４４】
次に、原画像差分使用有無判断（Ｓ６１１）は、重み付け算出において、原画像差分情報を使用するかどうかによって、処理を変更するための分岐条件である。原画像差分情報を使用する場合（「Yes」）は、原画像差分取得（Ｓ６１２）の処理を行う。原画像差分取得（Ｓ６１２）は、前記原画像差分取得手段１０９の処理に対応する。
【００４５】
次に、評価画像差分使用有無判断（Ｓ６１３）は、重み付け算出において、評価画像差分情報を使用するかどうかによって、処理を変更するための分岐条件である。評価画像差分情報を使用する場合（「Yes」）は、評価画像差分取得（Ｓ６１４）の処理を行う。評価画像差分取得（Ｓ６１４）は、前記復号画像差分取得手段１０８の処理に対応する。
【００４６】
次に、重み算出（Ｓ６１５）において、前記原画像差分取得（Ｓ６１２）や評価画像差分取得（Ｓ６１４）によって得られる情報から重み（重み係数）算出処理を行い、次に、重み付きＳＮＲ値算出（Ｓ６１６）において、前記ＳＮＲ値算出（Ｓ６０９）で得られる評価値（ＳＮＲ値）に対して重み係数による重み付け処理を行う。ここで、重み算出（Ｓ６１５）は、前記重み算出手段１１０の処理に対応し、重み付きＳＮＲ値算出（Ｓ６１６）は、前記重み付きＳＮＲ値算出手段１１１の処理に対応する。
【００４７】
画素毎の評価値の保持（Ｓ６１７）では、前記ＳＮＲ値算出（Ｓ６０９）、または、前記重み付きＳＮＲ値算出（Ｓ６１６）によって算出した画素毎の評価結果をメモリ上に保持する。次に、フレーム毎の評価値の保持（Ｓ６１８）では、前記ＳＮＲ値算出（Ｓ６１９）、または、前記重み付きＳＮＲ値算出（Ｓ６１６）によって算出した画素毎の評価結果から、画素毎の評価値の合算や平均によってフレーム毎の評価結果を算出し、メモリ上に保持する。
【００４８】
次に、フレーム最終判断（Ｓ６１９）は、上記評価結果算出処理を最終フレームまで行ったかどうかを判断する分岐条件である。最終フレームでない場合（「No」）は、前記復号（Ｓ６０４）以降の処理を次のフレームに対して行う。最終フレームまで行ったら終了する。
【００４９】
図４は、図３において抽出・算出される情報項目の例を示す表である。符号化情報抽出項目例７０１、算出ＳＮＲ値項目例７０２、算出重み付きＳＮＲ値項目例７０３を有する。符号化情報抽出項目例７０１は、前記図３における符号化情報抽出及び保持（Ｓ６０３）やフレーム毎の符号化情報抽出及び保持（Ｓ６０５）によって抽出され保持される項目の例である。算出ＳＮＲ値項目例７０２，算出重み付きＳＮＲ値項目例７０３は、前記図３における画素毎の評価値の保持（Ｓ６１７）やフレーム毎の評価値の保持（Ｓ６１８）によってメモリ上に保持される項目の例である。
【００５０】
符号化情報抽出項目例７０１において、例えば、ＶＯＰ種類（フレーム毎）、１フレームあたりのビット数（フレーム毎）、平均ビットレート、画像サイズ、フレームレート、アスペクト比、総フレーム数などを有する。算出ＳＮＲ値項目例７０２において、画素毎のＳＮＲ値（フレーム毎）、１フレームあたりのＳＮＲ値（フレーム毎）を有する。算出重み付きＳＮＲ値項目例７０３において、画素毎のＳＮＲ値（フレーム毎）、１フレームあたりの重み付きＳＮＲ値（フレーム毎）を有する。
【００５１】
図５は、本実施の形態における、グラフ表示と表示画像指定の表示画面３０１の一例を示す図である。図５の表示画面３０１において、符号量グラフ表示部３０２は、前記符号化情報抽出手段１０４で抽出する符号量情報をグラフ化し、各フレームの圧縮情報によってグラフを色分け表示したものである。例えば、Ｉ，Ｐ，Ｂの各ＶＯＰで符号量情報（ｂｐｆ）を色分け表示する。評価値グラフ表示部３０２は、前記ＳＮＲ値算出手段１０７で得られるＳＮＲ値から、各フレームに対応するＳＮＲ値をグラフ化し表示する。重み付き評価値グラフ表示部３０４は、前記重み付きＳＮＲ値算出手段１１１で得られる重み付きＳＮＲ値から、各フレームに対応する重み付きＳＮＲ値をグラフ化し表示する。
【００５２】
データ情報表示部３０５は、前記符号化情報抽出手段１０４において得られる、ビットレートやフレームレートなどの符号化画像ファイルの符号化情報や、前記１０２，１０３で受け付けた、評価対象画像ファイル，原画像ファイルの情報を表示する。表示画像指定部３０６は、原画像や評価対象の復号画像、その差分画像や合成画像などから、表示対象画像をユーザにより選択できるインタフェースや画像の合成方法の種類が選択できるインタフェースを備え、ユーザにより選択された画像の表示する位置（フレーム番号や再生位置の時間情報など）を指定できるインタフェースを備える。
【００５３】
ここで、図６を参照して、前記図５におけるグラフ表示（３０２〜３０４）に関する処理フローについて説明する。
【００５４】
図６において、まず、抽出情報参照（Ｓ８０１）では、前記図４に示すような抽出・算出された情報を参照する。グラフ表示の種類に応じてここで参照する情報が異なり、参照項目の例を次に述べる。符号量グラフ表示部３０２の場合は、前記７０１からフレーム毎の情報を参照する。評価値グラフ表示部３０３の場合は、前記７０２における１フレームあたりのＳＮＲ値を参照する。重み付き評価値グラフ表示部３０４の場合は、前記７０３における１フレームあたりの重み付きＳＮＲ値参照する。
【００５５】
次に、グラフ長・色の設定（Ｓ８０２）では、前記抽出情報参照（Ｓ８０１）において参照した値によって表示するグラフの長さや色を設定する。次に、フレームメモリ更新（Ｓ８０３）は、前記Ｓ８０２で設定したグラフ情報をもとにフレームメモリに対して描画処理する。次に、フレーム最終判断（Ｓ８０４）は、上記処理（Ｓ８０１〜Ｓ８０３）を最終フレームまで行ったかどうかを判断する分岐条件である。最終フレームでない場合は（「No」）、Ｓ８０５において参照フレーム番号を１つ更新し、前記Ｓ８０１以降の処理を繰り返す。最終フレームである場合は、次に画面表示更新（Ｓ８０６）において、前記Ｓ８０３において更新されたフレームメモリの内容を、ディスプレイなどの描画画面へ表示更新処理する。
【００５６】
図７は、本実施の形態における、ディスプレイ画面への画面表示方法の例を示す図である。ここで、画像表示手段１１２の合成画像表示部によって生成される合成画像について説明する。図７で、それぞれ、合成前画像４０１、合成画像４０２、合成色レベル４０３、合成画像（等高線）４０４、合成画像（数値表示）４０５、合成画像（グラフ）４０６を示している。
【００５７】
図７における合成前画像４０１は、復号手段１０４によって復号された、合成の元となる画像（評価対象復号画像）の内容を表している。なお、ここでは、例えばフルカラーの画像を線で簡略的に示している。
【００５８】
合成画像４０２は、画像表示手段１１２の合成画像表示部から出力される合成映像の内容の一例を表している。ＳＮＲ値による画像品質評価は、対象映像の全フレームの総合、または、１フレームの総合を各フレームに対して算出することが多い。そこで、合成色レベル４０３に示すように、ＳＮＲ値算出手段１０７で算出される客観評価値（ＳＮＲ値）、または重み付きＳＮＲ値算出手段１１１で算出される評価値（重み付きＳＮＲ値）を元に、フレーム内の各画素、または、任意サイズのブロックなどの所定単位に対して、値の範囲によってレベルを決定し、色分けを行う。ここでは４レベルに色分けした場合を示している。
【００５９】
前記合成画像４０２は、合成色レベル４０３で色分けした結果に応じて合成前画像４０１の色情報のみを変換するため、元の画像を確認することができる。このように画像品質評価値の情報を色分けして表示することで、フレーム内のどの部分の劣化度合が大きいかを人間が確認することができる。
【００６０】
フレーム内のどの部分の劣化度合が大きいかを表示する方法として、合成画像表示例４０４で示すように、ＳＮＲ値算出手段１０７で算出される客観評価値、または重み付きＳＮＲ値算出手段１１１で算出される評価値を、等高線のように表示することが可能である。
【００６１】
また、前記合成画像４０２と同様に、合成画像（数値表示）４０５、合成画像（グラフ）４０６も、画像表示手段１１２の合成画像表示部から出力される合成映像の内容の一例である。４０５は、前記合成画像４０２に対し、合成するデータである、ＳＮＲ値または重み付きＳＮＲ値を合成して表示する例である。更に、４０６は、合成するデータである、ＳＮＲ値または重み付きＳＮＲ値を、棒グラフとして表示する例である。
【００６２】
ここで、図８を参照して、前記図７における合成画面表示に関する処理フローについて説明する。
【００６３】
まず、画像メモリ参照（Ｓ９０１）では、表示するフレーム画像をメモリ上に保持し、参照する。次に、算出評価値参照（Ｓ９０２）では、前記図４の７０２における画素毎のＳＮＲ値、または、７０３における画素毎の重み付きＳＮＲ値など、画素毎の評価情報を参照する。
【００６４】
次に、色の設定（Ｓ９０３）では、前記算出評価値参照（Ｓ９０２）で参照した値や、前記画像メモリ参照（Ｓ９０１）で参照した画素値をもとに合成する色を決定する。次に、グラフ種類判断（Ｓ９０４）、数値描画有無判断（Ｓ９０６）は、前記図５の表示画像指定部３０６でユーザにより選択されるグラフ種類により、処理内容を変更するための分岐条件である。前記グラフ種類判断（Ｓ９０４）では、値を立体的に画像に合成するかどうかを判断する。立体的に合成する場合は（「Yes」）、グラフ長の設定（Ｓ９０５）において、前記算出評価値参照（Ｓ９０２）で参照した値をもとにグラフ長の設定を行う。次に、前記数値描画有無判断（Ｓ９０６）では、画像上に数値を合成するかどうかを判断する。数値を合成する場合は（「Yes」）、フォント設定（Ｓ９０７）において、描画する数値の色や大きさ、形式等の設定を行う。
【００６５】
次に、フレームメモリ更新（Ｓ９０８）は、前記画像メモリ参照（Ｓ９０１）において保持した画像メモリに対して、前記色の設定（Ｓ９０３）、前記グラフ長の設定（Ｓ９０５）、前記フォント設定（Ｓ９０７）で設定される内容をもとに合成した画像を作成し、フレームメモリの内容を更新処理する。次に、画素最終判断（Ｓ９０９）は、上記処理を最終画素まで行ったかどうかを判断する分岐条件である。最終画素でない場合は（「No」）、Ｓ９１０において参照画素位置を次の画素へと更新し、前記算出評価値参照（Ｓ９０２）以降の処理を繰り返す。最終画素である場合は、画面表示更新（Ｓ９０９）において、前記Ｓ９０８において更新されたフレームメモリの内容をディスプレイなどの描画画面へ表示更新処理する。
【００６６】
原画像を用いた画像品質の客観評価に関する従来技術では、重み付け方法としてフレーム内で処理を行っているため、評価対象画像が、動きの少ない部分の画質劣化が動画像としてみる場合に目立つ映像の場合、主観評価の結果と大きく異なるという問題があった。一方、本実施の形態では、前記視覚的に目立つ部分の劣化度合を評価映像に合成して表示する方法、更に、数値化した客観評価結果として主観評価結果により近い値を得る方法などを提供している。本実施の形態では、原画像と評価対象画像の、各々連続するフレームの差分値から算出した重みを表す値（重み係数）を評価結果に反映する、すなわち重み付きＳＮＲ値として算出する。これにより、単体フレームとしては劣化が目立たないが動画像としてみる場合に画質劣化が目立つ映像を、主観評価により近い客観評価値を得ることが可能となる。
【００６７】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【産業上の利用可能性】
【００６８】
本発明は、画像処理を行う情報処理装置や情報処理システムに利用可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態におけるシステム構成例を示し、本発明の実施の形態の映像品質評価支援プログラムを実行する評価支援装置の機能ブロック構成を示す図である。
【図２】本発明の一実施の形態において、図１における重み算出部を中心としたより詳細な構成を示す図である。
【図３】本発明の一実施の形態において、映像品質評価支援プログラムの実行における処理フローを示す図である。
【図４】本発明の一実施の形態において、抽出・算出される情報例を示す図である。
【図５】本発明の一実施の形態において、グラフ表示と表示画像指定画面の一例を示す図である。
【図６】本発明の一実施の形態において、映像品質評価支援プログラムの実行における、図５のグラフ表示に関する処理フローを示す図である。
【図７】本発明の一実施の形態において、合成画面表示例を示す図である。
【図８】本発明の一実施の形態において、映像品質評価支援プログラムの実行における、図７の合成画面表示に関する処理フローを示す図である。
【図９】本発明の他の実施の形態において、図２における重み算出部の部分構成を示す図である。
【符号の説明】
【００７０】
１０１…評価支援装置、１０２…符号化画像入力手段、１０３…原画像入力手段、１０４…符号化情報抽出手段、１０５…復号手段、１０６…画像差分取得手段、１０７…ＳＮＲ値算出手段、１０８…復号画像差分取得手段、１０９…原画像差分取得手段、１１０…重み算出手段、１１１…重み付きＳＮＲ値算出手段、１１２…画像表示手段、１１３…グラフ表示手段、１１４…操作入力手段、１１５…制御手段、２０１，２０２…メモリ、２０３…重き係数＃１算出手段、２０４…重み係数＃２算出手段、２０５，２０６，２０７…画像差分手段、２０８…分岐、３０１…表示画面、３０２…符号量グラフ表示部、３０３…評価値グラフ表示部、３０４…重み付き評価値グラフ表示部、３０５…データ情報表示部、３０６…表示画像指定部、４０１…合成前画像、４０２…合成画像、４０３…合成色レベル、４０４…合成画像（等高線）、４０５…合成画像（数値表示）、４０６…合成画像（グラフ）、５０１…ローパスフィルタ。
【図１】
2006340145.tif 000003
【図２】
2006340145.tif 000004
【図３】
2006340145.tif 000005
【図４】
2006340145.tif 000006
【図６】
2006340145.tif 000007
【図８】
2006340145.tif 000008
【図９】
2006340145.tif 000009
【図５】
2006340145.tif 000010
【図７】
2006340145.tif 000011