(57)【要約】【課題】画像を受信した端末上での画質評価の精度を向上させること。【解決手段】受信端末は受信した画像フレームごとに受信画像の画質評価結果を行うと同時に、あらかじめ定められた時間間隔で符号化した原画像フレームを受信し、前記受信画像と、原画像フレームとを比較することにより、高精度な画質評価を行う。原画像フレームを受信していない時間における画質スコアは、原画像フレームなしで画質評価を行った評価結果と、直前に原画像フレームを用いて画質評価を行った評価結果を用いて算出する。【選択図】図１
2008123126.tif 000002
【特許請求の範囲】
【請求項１】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
画像送出装置が、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部を少なくとも有し、
前記画像受信装置が、
受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画質評価システム。
【請求項２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
画像送出装置が、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを少なくとも有し、
前記画像受信装置が、
前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画質評価システム。
【請求項３】
前記第２の原画像特徴量抽出処理部が、原画像フレーム符号化処理部であって、前記第２の特徴量として、符号化された原画像フレームを送出し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理部を有し、
前記第２の画質評価処理部は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項１または請求項２に記載の画質評価システム。
【請求項４】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
画像送出装置が、
前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、
前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有し、
前記画像受信装置が、
前記特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
あらかじめ定められた時間間隔で送出された前記原画像フレームを入力とし、復号する原画像復号化処理部と、
前記原画像復号化処理部で復号された原画像フレームを入力とし、この原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画質評価システム。
【請求項５】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置が、受信した映像データと原画像から得られる特徴量から計算された第１の画質評価結果と、受信した映像データと原画像のフレームとの比較から得られる第２の画質評価結果とを用いて画質の評価を行うために、
前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、
前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部と
を少なくとも有することを特徴とする画質評価システムの画像送出装置。
【請求項６】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置が、受信した映像データと原画像から得られる第１の特徴量とから計算された第１の画質評価結果と、受信した映像データと原画像から得られる第２の特徴量とから計算された第２の画質評価結果とを用いて画質の評価を行うために、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、
前記映像データの原画像に対する第２の特徴量を、あらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを有して構成され、
前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いことを特徴とする画質評価システムの画像送出装置。
【請求項７】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、
前記画像送出装置から、前記映像データの原画像に対する特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像フレームを入力とし、
前記特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
前記原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画像受信装置。
【請求項８】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、
前記画像送出装置から、前記映像データの原画像に対する第１の特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像に対する第２の特徴量とを入力とし、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いものであって、
前記第１の特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
前記第２の特徴量から受信した映像データに対して画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画像受信装置。
【請求項９】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
画像送出装置が、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップを実行し、
前記画像受信装置が、
受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップと、
を実行することを特徴とする画質評価方法。
【請求項１０】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
画像送出装置が、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理ステップと、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップと、を少なくとも実行し、
前記画像受信装置が、
前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップと、
を実行することを特徴とする画質評価方法。
【請求項１１】
前記第２の原画像特徴量抽出処理ステップが、原画像フレーム符号化処理ステップであって、前記第２の特徴量として、符号化された原画像フレームを送出し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理ステップを実行し、
前記第２の画質評価処理ステップは、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項９または請求項１０に記載の画質評価方法。
【請求項１２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
画像送出装置を、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、
前記画像受信装置を、
受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段と、
して機能させることを特徴とする画質評価プログラム。
【請求項１３】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
画像送出装置を、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理手段と、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、
前記画像受信装置を、
前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段と、
して機能させることを特徴とする画質評価プログラム。
【請求項１４】
前記第２の原画像特徴量抽出処理手段が、原画像フレーム符号化処理手段であって、前記第２の特徴量として、符号化された原画像フレームを送出する機能を有し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理手段の機能を有し、
前記第２の画質評価処理手段は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項１２または請求項１３に記載の画質評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画質評価システム、方法およびプログラムに関し、特に伝送した画像の受信時点の画質を評価する画質評価システム、方法およびプログラムに関する。
【背景技術】
【０００２】
従来この種の技術については、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｊ.１４３（非特許文献１）に記載されているように、映像の画質を客観的に評価する方法は大きく３種類に分類される。【０００３】
一つ目は原画像と劣化画像を直接比較し画質を評価する方法(Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法)、二つ目は原画像の特徴量のみを伝送し、この特徴量と劣化画像から画質を評価する方法（Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法）、三つ目は劣化画像のみから画質を評価する方法（Ｎｏ Ｒｅｆｅｒｅｎｃｅ法）である。映像の伝送を伴うアプリケーションでは伝送路帯域に上限があり原画像の伝送が不可能であるため、受信端末側でＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法を用いることができない。したがって、受信端末側では、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法を用いて画質評価を行うことになる。例えば、Ｎｏ Ｒｅｆｅｒｅｎｃｅ法による画質評価方法が、特許文献１によって、開示されている。この特許文献１に開示されている画質評価方法は、受信した符号化映像データが伝送エラーなどにより正しく復号できなかった場合に、正しく復号できなかった画素サンプル数を集計し、この値を画質劣化度とし、画質評価結果として用いている。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｊ.１４３（特に、ＰＰ．４〜５）
【特許文献１】特開２００１−０２５０１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている画質評価方法では、画像の特徴によらず、正しく復号できなかった画素サンプル数を集計して画質劣化度として推定しているため、受信した画像の特徴によっては実際の画質劣化度との相関が低くなるという問題があった。【０００５】
本発明は上述した問題を鑑みて提案されたものであって、本発明の目的は、画像受信端末上での画質評価の精度向上を可能にする画質評価システム、方法およびそのプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部を少なくとも有し、前記画像受信装置が、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、を有することを特徴とする画質評価システムである。【０００７】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを少なくとも有し、前記画像受信装置が、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、を有することを特徴とする画質評価システムである。【０００８】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有し、前記画像受信装置が、前記特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記原画像フレームを入力とし、復号する原画像復号化処理部と、前記原画像復号化処理部で復号された原画像フレームを入力とし、この原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、を有することを特徴とする画質評価システムである。【０００９】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置が、受信した映像データと原画像から得られる特徴量から計算された第１の画質評価結果と、受信した映像データと原画像のフレームとの比較から得られる第２の画質評価結果とを用いて画質の評価を行うために、前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有することを特徴とする画質評価システムの画像送出装置である。【００１０】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置が、受信した映像データと原画像から得られる第１の特徴量とから計算された第１の画質評価結果と、受信した映像データと原画像から得られる第２の特徴量とから計算された第２の画質評価結果とを用いて画質の評価を行うために、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、前記映像データの原画像に対する第２の特徴量を、あらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを有して構成され、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いことを特徴とする画質評価システムの画像送出装置である。【００１１】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、前記画像送出装置から、前記映像データの原画像に対する特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像フレームを入力とし、前記特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、前記原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、を有することを特徴とする画像受信装置である。【００１２】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、前記画像送出装置から、前記映像データの原画像に対する第１の特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像に対する第２の特徴量とを入力とし、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いものであって、前記第１の特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、前記第２の特徴量から受信した映像データに対して画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、を有することを特徴とする画像受信装置である。【００１３】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、画像送出装置が、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップを実行し、前記画像受信装置が、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップと、を実行することを特徴とする画質評価方法である。【００１４】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、画像送出装置が、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理ステップと、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップと、を少なくとも実行し、前記画像受信装置が、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップと、を実行することを特徴とする画質評価方法である。【００１５】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、画像送出装置を、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、前記画像受信装置を、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段と、して機能させることを特徴とする画質評価プログラムである。【００１６】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、画像送出装置を、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理手段と、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、前記画像受信装置を、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段として機能させることを特徴とする画質評価プログラムである。
【発明の効果】
【００１７】
本発明の効果は、背景技術と比較して、画像受信端末上での画質評価の精度を向上できることにある。【００１８】
その理由は、受信した画像フレームごとに行う、画質評価とあわせて、あらかじめ指定された時間間隔で符号化された原画像フレームを画像受信端末が受信し、この情報を用いて画質評価を行うことで、より高精度な画質評価ができるためである。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第２の実施の形態の構成を示すブロック図である。
【図３】本発明の第３の実施の形態であるコンピュータシステムのうち、画像送出システムを示すブロック図である。
【図４】本発明の第３の実施の形態であるコンピュータシステムのうち、画像受信システムを示すブロック図である。
【符号の説明】
【００２０】
１０１    画像符号化処理部
１０２    原画像特徴量抽出処理部
１０３    原画像フレーム符号化処理部
３０１    画像復号化処理部
３０２    画質評価処理部
３０３    原画像フレーム復号化処理部
３０４    画質評価処理部
３０５    画質評価結果算出処理部
４０１    画像符号化処理部
４０２    原画像特徴量抽出処理部
４０３    原画像特徴量抽出処理部
５０１    画像復号化処理部
５０２    画質評価処理部
５０３    画質評価処理部
５０４    画質評価結果算出処理部
３１      プログラム制御プロセッサ
３２      入力データバッファ
３３      出力データバッファ
３４      プログラムメモリ
３５      画像符号化処理
３６      原画像特徴量抽出処理
３７      原画像フレーム符号化処理
４１      プログラム制御プロセッサ
４２      入力データバッファ
４３      出力データバッファ
４４      プログラムメモリ
４５      画像復号化処理
４６      画質評価処理
４７      原画像フレーム復号処理
４８      画質評価処理
４９      画質評価結果算出処理
【発明を実施するための最良の形態】
【００２１】
本発明の画質評価システムでは、受信したフレームごとに受信端末上でＲｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法による画質評価を行う。【００２２】
Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法で用いる原画像の特徴量は伝送帯域の制限があるため、少ない情報量（低ビットレートの情報）から構成される。本発明による画質評価システムでは、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法による画質評価と並行して、あらかじめ定められた時間間隔でＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法もしくは特徴量の情報量の多い(高ビットレートの情報を用いた)Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法による画質評価を行うことにより、画質評価精度の向上を実現する。映像を送出する画像送出装置側では、通常の映像伝送の他に、あらかじめ定められた時間間隔で原画像フレームを可逆圧縮、もしくは劣化が極めて少ない状態での非可逆圧縮により符号化し、受信端末に伝送する。【００２３】
受信端末は、通常は少ない情報量から構成される特徴量によるＲｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法か、Ｎｏ Ｒｅｆｅｒｅｎｃｅ法により画質評価を行っているが、あらかじめ指定されている時間間隔で、原画像フレームもしくは多くの情報量から構成される原画像特徴量が伝送されるため、この時間においては、さらにＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法もしくは多くの情報量から構成される原画像特徴量を用いたＲｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法による画質評価もあわせて行う。この２種類の評価結果をもとに、最終的な画質評価結果を出力することで画質評価結果の精度を向上させることが可能となる。【００２４】
以下、本発明の実施の形態を説明する。【００２５】
（第１の実施の形態）
次に、図１を参照して本発明の画質評価システムの構成について詳細に説明する。【００２６】
図１を参照すると、本発明による画質評価システムは、画像送出装置１と伝送路２と画像受信装置３とから構成されている。画像送出装置１は入力される画像を符号化する画像符号化処理部１０１と、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法による画質評価のために用いられる情報（原画像の特徴量：第１の特徴量）を抽出する原画像特徴量抽出処理部１０２と、あらかじめ定められた時間間隔で原画像フレームを可逆圧縮、もしくは劣化が少ない状態で非可逆圧縮する原画像フレーム符号化処理部１０３とから構成される。【００２７】
画像受信装置３は伝送路２を介して受信した映像データ（受信映像データ）を復号する画像復号化処理部３０１と、受信映像データを構成するフレームごとに受信映像データの画質の評価を行う画質評価処理部３０２と、あらかじめ定められた時間間隔で受信する符号化された原画像フレームを復号する原画像フレーム復号化処理部３０３と、原画像フレーム復号化処理部３０３で受信及び復号した原画像フレームと、画像復号化処理部３０１が復号した受信フレームとを用いて画質評価を行う画質評価処理部３０４と、画質評価処理部３０２および画質評価処理部３０４における画質評価処理の出力から最終的な画質評価結果を決定する画質評価結果算出処理部３０５とから構成される。【００２８】
画像受信装置３は、伝送路２を介して伝送された映像データを視聴する個々の視聴者が使用する受信端末の形態であってもよいし、受信している家庭の家庭内ネットワークの入り口に設置されるホームゲートウェイの形態であってもよい。【００２９】
画像送出装置１に入力された原画像は、画像符号化処理部１０１で符号化され、符号化された映像データが伝送路２を介して画像受信装置３に伝送される。伝送された映像データは、画像受信装置３の画像復号化処理部３０１にて復号され、受信映像データが得られる。伝送路２を介して受信した映像データまたは画像復号化処理部３０１で復号した受信映像データは、画質評価処理部３０２に送られ、画質が評価される。ここでの評価は、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法にて行われる。Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法による評価の場合、画像送出装置１では、原画像特徴量抽出処理部１０２において、原画像の特徴量が抽出および符号化され原画像特徴量を得る。この原画像特徴量は、伝送路２を介して画像受信装置３の画質評価処理部３０２に伝送される。【００３０】
画像評価処理部３０２では、原画像特徴量を復号し、受信した符号化画像もしくは復号した受信画像フレームを用いて画質評価を行う。なお、画像評価処理部３０２においてＮｏ Ｒｅｆｅｒｅｎｃｅ法により画質評価が行われる場合には、原画像特徴量は必要ないため、原画像特徴量抽出処理部１０２は必要とされない。【００３１】
画像送出装置１はこれらの処理の他に、原画像フレーム符号化処理部１０３にて、あらかじめ定められた時間間隔にて原画像フレームを可逆圧縮、もしくは劣化が少ない状態でＪＰＥＧ方式などの非可逆圧縮により符号化し、この符号化された原画像フレーム（第２の特徴量）を伝送路２を介して画像受信装置３に伝送する。あらかじめ指定される時間間隔は、映像の特徴や伝送路２の状態によって決定されるものとする。【００３２】
なお、間隔は一定でなくても良く、例えば、より高精度に画質評価を行いたいときや、画像送出装置１、伝送路２、画像送出装置３の負荷に余裕があるときなどは間隔を短くするように制御し、そうでないときは間隔を長くするように制御すると良い。【００３３】
伝送路２を介して伝送された原画像フレームは、原画像フレーム復号化処理部３０３で復号され、画質評価処理部３０４へ出力する。【００３４】
画質評価処理部３０４は、原画像フレーム復号化処理部３０３で復号された原画像フレームと画像復号化処理部３０１にて復号された受信画像フレームを用いた画質評価を実行する。【００３５】
画質評価処理部３０２、画質評価処理部３０４での画質評価結果は画質評価結果算出処理部３０５に入力され、この画質評価結果処理部３０５によって最終的な画質評価結果が求められる。例えば、時刻ｎにて、画質評価処理部３０２と画質評価処理部３０４の双方にて画質評価が実行されたとする。このとき、画像評価処理部３０２の画質評価結果スコアをＡ（ｎ）、画質評価処理部３０４の画質評価結果スコアをＢ（ｎ）とすると、時刻ｎにおける最終的な画質評価スコアＣ（ｎ）は、Ｃ（ｎ）＝Ｂ（ｎ）として求め、時刻ｎにおける画像評価処理部３０２の画質評価結果スコアをＡ（ｎ）は使わない。または、Ａ（ｎ）の重みをＢ（ｎ）と比較して小さくするのでも良い。次に時刻ｎ＋１では、画質評価処理部３０２でのみで画質評価が実行されたとする。このとき、時刻ｎ＋１における最終的な画質評価スコアＣ（ｎ＋１）は、Ｃ（ｎ＋１）＝Ｂ（ｎ）×Ａ（ｎ＋１）／Ａ（ｎ）として求める。【００３６】
ただし、最終的な画質評価結果の算出方法はここに述べたもののみに限定されるものではなく、他の計算式によるものでも良い。【００３７】
このように、あらかじめ指定された時間ごとに伝送されてくる原映像データを参照して求めた画質評価結果を用いることで、画質評価の精度を向上させることが可能となる。その理由は、画像受信装置において画質の評価を行う指標として、第１の特徴量（原画像特徴量）と第２の特徴量（原画像フレーム）を用い、第２の特徴量は、第１の特徴量と比較して原画像の特徴を良く表している、情報量の多いものを使い、画質評価時にこの特性を利用しているからである。【００３８】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。【００３９】
図２を参照すると、第２の実施の形態では、図１を用いて説明した第１の実施の形態における原画像フレーム符号化処理部１０３が、原画像特徴量抽出処理部４０３となっている点と、原画像フレーム復号化処理部３０３と画質評価処理部３０４が、画質評価処理部５０３となっている点で異なる。また、それ以外の構成について、図１と異なる符号を付与しているが、特に説明しない限り、同一の名称を付与したものについては、同じ機能を有する。【００４０】
第１の実施の形態では、第２の特徴量として、原画像フレーム符号化処理部１０３にて、あらかじめ指定された時間間隔で原画像フレームを符号化し伝送していたが、第２の実施の形態では、原画像フレームではなく、原画像特徴量抽出処理部４０２（１０２）と異なる原画像の特徴量を符号化し伝送することを特徴としている。あらかじめ指定された時間間隔で伝送された第２の特徴量をもとに、画像受信装置３にてＲｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法による画質評価が行われる。受信した原画像特徴量は画質評価処理部５０３にて復号され、画質評価に用いられる。【００４１】
このとき、原画像特徴量抽出処理部４０３で抽出する原画像特徴量（第２の特徴量）は、原画像特徴量抽出処理部４０２にて抽出される原画像特徴量（第１の特徴量）よりも情報量が多く、画質評価処理部５０４での画質評価結果の精度が、画質評価処理部５０２での画質評価結果よりも高くなることを特徴としている。【００４２】
ただし、原画像特徴量抽出処理部４０３で抽出する原画像特徴量は情報量が多くなるため、フレームごとにこの原画像特徴量を伝送することが難しいため、原画像特徴量抽出処理部よりも長い時間間隔にて伝送するのが良い。【００４３】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図３、４を参照して詳細に説明する。【００４４】
第３の実施の形態では、上述した第１の実施の形態に示される画質評価システム画質評価システムがコンピュータシステムにより実現されるものでる。【００４５】
図３は、第３の実施の形態におけるコンピュータシステムにおいて、画像送出システムを示している。図３を参照すると、本システムはプログラム制御プロセッサ３１が装備されている。プログラム制御プロセッサ３１には、入力データバッファ３２および出力データバッファ３３の他に、必要なプログラムを格納したプログラムメモリ３４が接続されている。プログラムメモリ３４に格納されるプログラムモジュールは、メインプログラムの他に、画像符号化処理３５、原画像特徴量抽出処理３６、原画像フレーム符号化処理３７で構成される。【００４６】
メインプログラムは、前記プログラムモジュールを実行する主プログラムである。画像符号化処理３５、原画像特徴量抽出処理３６、原画像フレーム符号化処理３７のプログラムモジュールは上述した画像符号化処理部１０１と、原画像特徴量抽出処理部１０２と、原画像フレーム符号化処理１０３をそれぞれ機能的に実現する。【００４７】
図４は、第３の実施の形態におけるコンピュータシステムにおいて、画像を受信し画質推定を行う画像受信システムを示している。画像受信システムには、プログラム制御プロセッサ４１が装備されている。プログラム制御プロセッサ４１には、入力データバッファ４２および出力データバッファ４３の他に、必要なプログラムを格納したプログラムメモリ４４が接続されている。【００４８】
プログラムメモリ４４に格納されるプログラムモジュールは、メインプログラムの他に、画像復号化処理４５と、画質評価処理４６と、原画像フレーム復号化処理４７と、画質評価処理４８と、画質評価結果算出処理４９で構成される。メインプログラムは、前記プログラムモジュールを実行する主プログラムである。画像復号化処理４５と、画質評価処理４６と、原画像フレーム復号化処理４７と、画質評価処理４８と、画質評価結果算出処理４９のプログラムモジュールは上述した画像復号化処理部３０１と、画質評価処理部３０２と、原画像フレーム復号化処理部３０３と、画質評価処理部３０４と、画質評価結果算出処理部３０５をそれぞれ機能的に実現する。前記画像送出システムと前記画像受信システムのメインプログラムおよび各機能モジュールをプログラム制御プロセッサ３１およびプログラム制御プロセッサ４１で実行することで、本発明による画質評価処理が実行される。【００４９】
本実施の形態では、第１の実施の形態の構成をコンピュータシステムに実現する例を示したが、本発明の第２の実施形態についても同様にコンピュータによって実現可能である。
【実施例１】
【００５０】
次に、具体的な実施例を用いて本発明の構成／機能／動作を説明する。【００５１】
この実施例では、原画像としてＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、1秒あたり２９．９７フレーム）の動画像を図１に記載の画像送出装置１に入力する。ここで図１に示した画像符号化装置１０１は、ＭＰＥＧ−２符号化方式で前記動画像を符号化する。また、画像送出装置１に予め符号化された原画像が入力された場合、画像符号化処理部１０１によって、更に符号化する必要はない。【００５２】
この符号化された動画像（映像データ）が伝送路（ネットワーク）２を介して画像受信装置３に伝送される。符号化画像を受信した画像受信装置３では、画像復号化処理部３０１にてＭＰＥＧ−２方式で符号化された画像を復号し、画像フレームに戻され視聴者によって視聴される。【００５３】
このとき、受信した符号化画像または復号された画像フレームが画質評価処理部３０２に入力され、受信された画像の画質が評価される。例えば特許文献１（特開２００１−２５０１４号公報）に開示されているような正しく復号できなかったサンプル数を画質評価値とするような方法で画質評価が行われるものとし、ここでは1フレームのうち半分の画素が正しく復号できなかったものとする。【００５４】
つまり、５０％の画素が正しく復号できていることになり、この値を画質スコア（画質評価結果）とし、画質評価結果算出処理部３０５に入力される。この画質評価方法はＮｏ Ｒｅｆｅｒｅｎｃｅ法によるものであるので、原画像特徴量抽出処理部１０２では、何も処理を行わないものとする。【００５５】
一方、画質送出装置１では、例えば５秒に一回の間隔で、原画像フレーム符号化処理１０３において、原画像フレームを圧縮率の低い条件にてＪＰＥＧ方式で符号化し、この符号化データ（原画像フレーム：第２の特徴量）が伝送路２を介して画像受信装置３に伝送される。このように伝送された符号化済み原画像フレームは、原画像フレーム復号化処理部３０３にて、ＪＰＥＧ方式で符号化されたデータを復号し、フレームデータに復元する。【００５６】
画質評価処理部３０４では、画像復号化処理部３０１で復号された受信フレームと、原画像フレーム復号化処理部３０３で復号された原画像フレームの双方を用いて画質評価を行う。ここでは、ＰＳＮＲを画質スコアとして用いることにする。このフレームでは、ＰＳＮＲが３０ｄＢであったとする。この値は、画質評価処理部３０４が算出した画質評価結果として画質評価結果算出処理部３０５に入力される。【００５７】
画質評価結果算出処理部３０５では、最終的な画質評価結果が求められるが、このフレームでは、画質評価処理部３０４での評価結果が得られているので、画質評価処理部３０４での画質スコア３０ｄＢがそのまま現在のフレームに対する最終的な画質スコア（画質評価結果）として出力される。【００５８】
一方、次のフレームについては、原画像フレーム符号化処理部１０３で送出される原画像フレームが時間間隔毎であるので、通常、次のフレームにおいては原画像フレームの伝送が行われない。この場合、画像受信装置３では、原画像フレーム復号化処理部３０３、画質評価処理部３０４では処理が行われない。画像復号化処理部３０１で受信映像データが復号され、画質評価処理部３０２でＮｏ Ｒｅｆｅｒｅｎｃｅ法による画質スコアが算出される。このフレームでは、全体の５５％の画素が正しく復号されたとし、この値が画質評価処理部３０２での画質スコアとなる。この画質スコアが、画質評価結果算出処理部３０５に入力される。画質評価結果算出処理部３０５では、前回画質評価処理部３０４で算出した３０ｄＢという画質スコアと、そのときの画質評価処理部３０２の画質スコア５０％と、現在のフレームでの画質評価処理部３０２の画質スコア５５％とから、３０ｄＢ×５５％÷５０％＝３３ｄＢが最終的な画質スコアとして出力される。以後、次に原画像フレームを受信するまで、３０ｄＢと５０％という二つの画質スコアと、フレームごとの画質評価処理部３０２での画質スコアを用いて、同様の計算を行い、最終的な画質スコアを得る。【００５９】
また、本実施例はあくまで例にすぎない。この例では、伝送路２によって伝送された映像データは動映像データであったが、もちろん静止映像データであっても良い。【００６０】
また、伝送路２において、画像送出装置１から画像受信装置３の下りの物理的ネットワークが異なるもの、または、異なるプロトコルを用いるものであって良い。この場合、画像符号化処理部１０１が送出に利用する伝送路２は、原画像特徴量抽出処理部１０２が送出に利用数伝送路よりも帯域が大きい方が望ましい。また、原画像フレーム符号化処理部１０３や原画像特徴量抽出処理部４０３が送出に利用する伝送路２は、原画像特徴量抽出処理部１０２が送出に利用数伝送路よりも、帯域が大きく、有る程度ネットワーク品質が補償されているものを利用することが望ましい。【００６１】
また、第２の特徴量はリアルタイムで伝送するよりも、ネットワーク品質が良い時期など、映像データとは異なる時期（非リアルタイム）で送信することで、ネットワークの負荷増加を防ぐことが可能となる。【００６２】
以上の如く、本実施の形態における第１の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部を少なくとも有し、前記画像受信装置が、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを有することを特徴とする画質評価システムである。【００６３】
また、第２の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを少なくとも有し、前記画像受信装置が、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを有することを特徴とする画質評価システムである。【００６４】
また、第３の発明は、上記発明において、前記第２の原画像特徴量抽出処理部が、原画像フレーム符号化処理部であって、前記第２の特徴量として、符号化された原画像フレームを送出し、前記画像受信装置は、前記原画像フレームを受信して復号する原画像フレーム復号化処理部を有し、前記第２の画質評価処理部は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする。【００６５】
また、第４の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、画像送出装置が、前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有し、前記画像受信装置が、前記特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、あらかじめ定められた時間間隔で送出された前記原画像フレームを入力とし、復号する原画像復号化処理部と、前記原画像復号化処理部で復号された原画像フレームを入力とし、この原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを有することを特徴とする画質評価システムである。【００６６】
また、第５の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置が、受信した映像データと原画像から得られる特徴量から計算された第１の画質評価結果と、受信した映像データと原画像のフレームとの比較から得られる第２の画質評価結果とを用いて画質の評価を行うために、前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有することを特徴とする画質評価システムの画像送出装置である。【００６７】
また、第６の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置が、受信した映像データと原画像から得られる第１の特徴量とから計算された第１の画質評価結果と、受信した映像データと原画像から得られる第２の特徴量とから計算された第２の画質評価結果とを用いて画質の評価を行うために、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、前記映像データの原画像に対する第２の特徴量を、あらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを有して構成され、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いことを特徴とする画質評価システムの画像送出装置である。【００６８】
また、第７の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、前記画像送出装置から、前記映像データの原画像に対する特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像フレームを入力とし、前記特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、前記原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを有することを特徴とする画像受信装置である。【００６９】
また、第８の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、前記画像送出装置から、前記映像データの原画像に対する第１の特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像に対する第２の特徴量とを入力とし、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いものであって、前記第１の特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、前記第２の特徴量から受信した映像データに対して画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを有することを特徴とする画像受信装置である。【００７０】
また、第９の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、画像送出装置が、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップを実行し、前記画像受信装置が、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップとを実行することを特徴とする画質評価方法である。【００７１】
また、第１０の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、画像送出装置が、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理ステップと、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップと、を少なくとも実行し、前記画像受信装置が、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップとを実行することを特徴とする画質評価方法である。【００７２】
また、第１１の発明は、上記発明において、前記第２の原画像特徴量抽出処理ステップが、原画像フレーム符号化処理ステップであって、前記第２の特徴量として、符号化された原画像フレームを送出し、前記画像受信装置は、前記原画像フレームを受信して復号する原画像フレーム復号化処理ステップを実行し、前記第２の画質評価処理ステップは、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする。【００７３】
また、第１２の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、画像送出装置を、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、前記画像受信装置を、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段として機能させることを特徴とする画質評価プログラムである。【００７４】
また、第１３の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、画像送出装置を、前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理手段と、前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、前記画像受信装置を、前記第１の特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とが重みづけされた計算式を用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段として機能させることを特徴とする画質評価プログラムである。【００７５】
また、第１４の発明は、上記発明において、前記第２の原画像特徴量抽出処理手段が、原画像フレーム符号化処理手段であって、前記第２の特徴量として、符号化された原画像フレームを送出する機能を有し、前記画像受信装置は、前記原画像フレームを受信して復号する原画像フレーム復号化処理手段の機能を有し、前記第２の画質評価処理手段は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする。【００７６】
本出願は、２００７年３月２２日に出願された日本出願特願２００７−７５１１１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2008123126.tif 000003
【図２】
2008123126.tif 000004
【図３】
2008123126.tif 000005
【図４】
2008123126.tif 000006
【手続補正書】
【提出日】平成21年1月21日(2009.1.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
画像送出装置が、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを少なくとも有し、
前記画像受信装置が、
前記送出された第１の特徴量を入力とし、この第１の特徴量を用いて画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量を用いて画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とから、画像送出装置から送出された映像データの第３の画質評価結果を計算する第３の画質評価結果算出処理部とを少なくとも有し、
前記第１の特徴量の伝送頻度が前記第２の特徴量の伝送頻度よりも高く、前記第２の特徴量の伝送レートが前記第１の特徴量の伝送レートよりも高い
ことを特徴とする画質評価システム。
【請求項２】
画像送出装置の前記第１の原画像特徴量抽出処理部が前記第１の特徴量を送出せず、
前記第１の画質評価処理部は、受信した映像データを用いて画質の評価を行い、第１の画質評価結果を得る
ことを特徴とする請求項１に記載の画質評価システム。
【請求項３】
前記第２の原画像特徴量抽出処理部が、原画像フレーム符号化処理部であって、前記第２の特徴量として、符号化された原画像フレームを送出し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理部を有し、
前記第２の画質評価処理部は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項１または請求項２に記載の画質評価システム。
【請求項４】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
画像送出装置が、
前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、
前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部とを少なくとも有し、
前記画像受信装置が、
前記特徴量を入力とし、受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
あらかじめ定められた時間間隔で送出された前記原画像フレームを入力とし、復号する原画像復号化処理部と、
前記原画像復号化処理部で復号された原画像フレームを入力とし、この原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とを用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部とを少なくとも有し、
前記特徴量の伝送頻度が前記原画像フレーム量の伝送頻度よりも高く、前記原画像フレームの伝送レートが前記特徴量の伝送レートよりも高い
ことを特徴とする画質評価システム。
【請求項５】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置が、受信した映像データと原画像から得られる特徴量から計算された第１の画質評価結果と、受信した映像データと原画像のフレームとの比較から得られる第２の画質評価結果とを用いて画質の評価を行うために、
前記映像データの原画像に対する特徴量を送出する原画像特徴量抽出処理部と、
前記映像データの原画像フレームを符号化し、あらかじめ定められた時間間隔で送出する原画像フレーム符号化処理部と
を少なくとも有し、
前記特徴量の伝送頻度が前記原画像フレーム量の伝送頻度よりも高く、前記原画像フレームの伝送レートが前記特徴量の伝送レートよりも高い
ことを特徴とする画質評価システムの画像送出装置。
【請求項６】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置が、受信した映像データと原画像から得られる第１の特徴量とから計算された第１の画質評価結果と、受信した映像データと原画像から得られる第２の特徴量とから計算された第２の画質評価結果とを用いて画質の評価を行うために、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、
前記映像データの原画像に対する第２の特徴量を、あらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理部とを有して構成され、
前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多く、
前記第１の特徴量の伝送頻度が前記第２の特徴量の伝送頻度よりも高く、前記第２の特徴量の伝送レートが前記第１の特徴量の伝送レートよりも高い
ことを特徴とする画質評価システムの画像送出装置。
【請求項７】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、
前記画像送出装置から、前記映像データの原画像に対する特徴量と、あらかじめ定められた時間間隔で送出され、前記特徴量よりも伝送頻度が低く、前記特徴量よりも伝送レートが高い、前記映像データの原画像フレームを入力とし、
前記特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
前記原画像フレームと受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とを用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画像受信装置。
【請求項８】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムのための画像受信装置であって、
前記画像送出装置から、前記映像データの原画像に対する第１の特徴量と、あらかじめ定められた時間間隔で送出された前記映像データの原画像に対する第２の特徴量とを入力とし、前記第２の特徴量が、第１の特徴量と比較して、原画像の特徴を表すための情報量が多いものであって、かつ、前記第１の特徴量の伝送頻度が前記第２の特徴量の伝送頻度よりも高く、前記第２の特徴量の伝送レートが前記第１の特徴量の伝送レートよりも高く、
前記第１の特徴量から受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理部と、
前記第２の特徴量から受信した映像データに対して画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理部と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とを用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理部と、
を有することを特徴とする画像受信装置。
【請求項９】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
画像送出装置が、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出ステップと、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理ステップを実行し、
前記画像受信装置が、
受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理ステップと、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理ステップと、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とを用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理ステップと、を有し、
前記第１の特徴量の伝送頻度が前記第２の特徴量の伝送頻度よりも高く、前記第２の特徴量の伝送レートが前記第１の特徴量の伝送レートよりも高い
ことを特徴とする画質評価方法。
【請求項１０】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記第１の原画像特徴量抽出ステップは、前記第１の特徴量を送出せず、
前記第１の画質評価処理ステップは、受信した映像データを用いて画質の評価を行い、第１の画質評価結果を得る
ことを特徴とする請求項９に記載の画質評価方法。
【請求項１１】
前記第２の原画像特徴量抽出処理ステップが、原画像フレーム符号化処理ステップであって、前記第２の特徴量として、符号化された原画像フレームを送出し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理ステップを実行し、
前記第２の画質評価処理ステップは、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項９または請求項１０に記載の画質評価方法。
【請求項１２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
画像送出装置を、
前記映像データの原画像に対する第１の特徴量を送出する第１の原画像特徴量抽出処理部と、
前記映像データの原画像に対する第２の特徴量をあらかじめ定められた時間間隔で送出する第２の原画像特徴量抽出処理手段として少なくとも機能させ、
前記画像受信装置を、
前記送出された第１の特徴量を入力とし、この第１の特徴量を用いて受信した映像データに対して画質の評価を行い、第１の画質評価結果を得る第１の画質評価処理手段と、
あらかじめ定められた時間間隔で送出された前記第２の特徴量を入力とし、この第２の特徴量と受信した映像データとを比較することによって画質の評価を行い、第２の画質評価結果を得る第２の画質評価処理手段と、
第１の画質評価結果と第２の画質評価結果を入力とし、前記第１の画質評価結果と前記第２の画質評価結果とを用いて、画像送出装置から送出された映像データの第３の画質評価結果を計算する画質評価結果算出処理手段と、
して機能させ、
前記第１の特徴量の伝送頻度が前記第２の特徴量の伝送頻度よりも高く、前記第２の特徴量の伝送レートが前記第１の特徴量の伝送レートよりも高い
ことを特徴とする画質評価プログラム。
【請求項１３】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記第１の原画像特徴量抽出処理部が前記第１の特徴量を送出せず、
前記第１の画質評価処理部は、受信した映像データを用いて画質の評価を行い、第１の画質評価結果を得る
ことを特徴とする請求項１２に記載の画質評価プログラム。
【請求項１４】
前記第２の原画像特徴量抽出処理手段が、原画像フレーム符号化処理手段であって、前記第２の特徴量として、符号化された原画像フレームを送出する機能を有し、
前記画像受信装置は、
前記原画像フレームを受信して復号する原画像フレーム復号化処理手段の機能を有し、
前記第２の画質評価処理手段は、復号された前記原画像フレームと受信した映像データを比較することによって画質の評価を行い、第２の画質評価結果を得ることと特徴とする請求項１２または請求項１３に記載の画質評価プログラム。
【国際調査報告】
2008123126.tif 000007
2008123126.tif 000008