(57)【要約】【課題】画像を受信した端末上で行った画質評価の信頼性を、画像送出装置上で判定すること。【解決手段】受信端末は前記受信端末上で行った受信画像の画質評価結果を画像送出装置側に送信すると同時に、あらかじめ定められた時間間隔で前記受信画像を画像送出装置に送信する。画像送出装置では、あらかじめ定められた時間間隔で受信端末から送られてきた受信画像フレームと、送信前の原画像フレームとを比較することで前記受信画像フレームの画質を評価し、受信端末上で行った画質評価結果の信頼性を評価する。【選択図】図１
2008123125.tif 000002
【特許請求の範囲】
【請求項１】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、
前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システム。
【請求項２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システム。
【請求項３】
前記画像送出装置で行われる画質評価が、前記画像受信装置の画質評価結果の信頼性を把握できるものであることを特徴とする請求項２記載の画質評価システム。
【請求項４】
前記受信映像データが、前記受信した映像データの内の任意の映像フレームであることを特徴とする請求項１から請求項３のいずれか一項に記載の画質評価システム。
【請求項５】
前記受信映像データが、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分であることを特徴とする請求項１から請求項３のいずれか一項に記載の画質評価システム。
【請求項６】
前記受信映像データが、前記受信した映像データの特徴を表す映像特徴量であることを特徴とする請求項１から請求項３のいずれか一項に記載の画質評価システム。
【請求項７】
前記画像受信装置が、前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする請求項１から請求項６のいずれか一項に記載の画質評価システム。
【請求項８】
前記画像受信装置が複数存在し、前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、
複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信することを特徴とする請求項１から請求項７のいずれか一項に記載の画質評価システム。
【請求項９】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、
前記画像受信装置は、
ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、
受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、
前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、
前記画像送出装置は、
ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、
復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、
を有して構成されることを特徴とする画質評価システム。
【請求項１０】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置。
【請求項１１】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、
受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、
復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部と、
を有することを特徴とする画質評価システムのための画像受信装置。
【請求項１２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、
前記画像出装置は、前記受信映像データを用いて画質評価を行う
ことを特徴とする画質評価方法。
【請求項１３】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行う
ことを特徴とする画質評価方法。
【請求項１４】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、
前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させる
ことを特徴とする画質評価プログラム。
【請求項１５】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させる
ことを特徴とする画質評価プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画質評価システム、方法およびプログラムに関し、特に伝送した映像データの受信時点の画質を評価する画質評価システム、方法およびプログラムに関する。
【背景技術】
【０００２】
従来この種の技術については、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｊ.１４３（非特許文献１）に記載されているように、映像データの画質を客観的に評価する方法は大きく３種類に分類される。一つ目は原画像と劣化画像を直接比較し画質を評価する方法(Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法)、二つ目は原画像の特徴量のみを伝送し、この特徴量と劣化画像から画質を評価する方法（Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法）、三つ目は劣化画像のみから画質を評価する方法（Ｎｏ Ｒｅｆｅｒｅｎｃｅ法）である。映像データの伝送を伴うアプリケーションでは伝送路帯域に上限があり原画像の伝送が不可能であるため、受信端末側でＦｕｌｌ Ｒｅｆｅｒｅｎｃｅ法を用いることができない。したがって、受信端末側では、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法を用いて画質評価を行うことになるが、画像受信端末側で測定した画質評価結果が、信頼できるものか否かを画像送出装置側が知ることができないという問題があった。この問題を解決するための技術が、特許文献１に開示されている。特許文献１に記載の画質評価装置では、受信した映像データのパケットロス情報およびエラー発生時のエラーコンシールメント方法を画像送出装置に送信し、画像送出装置側で受信映像を再現して、画像送出装置上で画質評価を行うことで上記問題を解決している。
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｊ.１４３（特にＰＰ．４〜５）
【特許文献１】特開２００６−１５７２２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載されている画質評価装置では、常に画質を画像送出装置側で評価するため、画像送出装置側の負荷が高くなるという問題があった。【０００４】
本発明は上述した問題を鑑みて提案されたものであって、本発明の目的は、画像送出装置側で、画像受信端末が受信した映像データ（以下、受信映像データと記載）の画質評価を行う際、画像送出装置の負荷を低減することが可能な画質評価システム、方法およびそのプログラムを提供することにある。【０００５】
また、本発明は、映像データを受信した画像受信端末上で画質評価を行うことと、その評価結果の信頼性を、画像送出装置上で判定可能にする画質評価システム、方法およびそのプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システムである。【０００７】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システムである。【０００８】
また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、前記画像受信装置は、ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、前記画像送出装置は、ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、を有して構成されることを特徴とする画質評価システムである。【０００９】
また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置である。【００１０】
また、上記課題を解決する本発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部とを有することを特徴とする画質評価システムのための画像受信装置である。【００１１】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価方法である。【００１２】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価方法である。【００１３】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させることを特徴とする画質評価プログラムである。【００１４】
また、上記課題を解決する本発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させることを特徴とする画質評価プログラムである。
【発明の効果】
【００１５】
本発明の効果は、映像データを受信した端末上での画質評価結果の信頼性を、画像送出装置上にて低負荷で判定できることにある。【００１６】
その理由は、画像送出装置側に入力される受信映像データは、画像受信端末から、あらかじめ定められた時間間隔で送出されたものであるからである。また、画質評価を画像受信端末側で行うことで画像送出装置の負荷を低減し、あらかじめ指定された時間間隔で画像送出装置側でも画質評価を行うためである。また、この評価結果と、画像受信端末側で行った画質評価結果を比較することで、受信端末側での画質評価結果の信頼性を画像送出装置側が把握することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】本発明の第２の実施の形態の構成を示すブロック図である。
【図３】本発明の第３の実施の形態の動作を示す図である。
【図４】本発明の第３の実施の形態の動作を示す図である。
【図５】本発明の第４の実施の形態であるコンピュータシステムのうち、画像送出システムを示すブロック図である。
【図６】本発明の第４の実施の形態であるコンピュータシステムのうち、画像受信システムを示すブロック図である。
【符号の説明】
【００１８】
１０１    画像符号化処理部
１０２    画質評価結果集計処理部
１０３    画像復号化処理部
１０４    画質値信頼度判定処理部
３０１    画像復号化処理部
３０２    画質評価処理部
３０３    受信画像符号化処理部
４０１    画像符号化処理部
４０２    画質評価結果集計処理部
４０３    画像復号化処理部
４０４    画質値信頼度判定処理部
４０５    画質評価結果蓄積処理部
５０１    画像復号化処理部
５０２    画質評価処理部
５０３    受信画像符号化処理部
５０４    受信画像データ蓄積処理部
５１      プログラム制御プロセッサ
５２      入力データバッファ
５３      出力データバッファ
５４      プログラムメモリ
５５      画像符号化処理
５６      画質評価結果集計処理
５７      画像復号化処理
５８      質値信頼度判定処理
６１      プログラム制御プロセッサ
６２      入力データバッファ
６３      出力データバッファ
６４      プログラムメモリ
６５      画像復号化処理
６６      画質評価処理
６７      受信画像符号化処理
【発明を実施するための最良の形態】
【００１９】
本発明の画質評価システムは、あらかじめ定められた時間間隔で受信映像データを画像送出装置側に送出することで画質評価を行う。よって、画像送出装置の負荷を抑えた画質評価を行うことが可能となる。【００２０】
また、画質評価を画像受信端末上で行うことで画像送出装置側の負担を軽減する。この際、画像送出装置側でもあらかじめ定められた時間間隔で画質評価を行い、画像送出装置側で、この画質評価値と画像受信端末から送出された受信映像データとから、画質評価を行う構成であっても画像送出装置の負荷を抑えた画質評価を行うことが可能となる。【００２１】
画像受信端末から、画像送出装置に送出される受信映像データは、映像フレームであってよい。映像フレームは、ネットワーク帯域の制限があるため、たとえばＪＰＥＧ方式などで圧縮した上で送信されることになるが、受信時の画質が損なわれない程度の圧縮率で圧縮を行うが、可逆圧縮による符号化を用いてもよい。画像送出装置側では、あらかじめ定められた時間間隔で受信端末から送られてきた映像フレームと、送出前の原画像フレームとを比較することで当該映像フレームの画質を評価し、受信端末から別途送られてきている画質評価結果の信頼性を評価する。【００２２】
以下に、本発明の実施の形態を説明する。【００２３】
（第１の実施の形態）
次に、図１を参照して本発明の画質評価システムの動作について詳細に説明する。【００２４】
図１を参照すると、本発明による画質評価システムは、画像送出装置１と伝送路２と画像受信装置３とから構成されている。画像送出装置１は入力される画像を符号化し映像データとする画像符号化処理部１０１と、画像受信装置３から送られてくる画質評価結果を集計する画質評価集計処理部１０２と、画像受信装置３から送られてくる受信映像データを復号する画像復号化処理部１０３と、画像受信装置３から送られてきた画質評価結果の信頼性を判定する画質値信頼度判定処理部１０４とから構成される。【００２５】
画像受信装置３は受信した映像データを復号する画像復号化処理部３０１と、受信した映像データの画質を評価し画像送出装置１に送信する画質評価処理部３０２と、受信映像データをあらかじめ定められた時間間隔で符号化し画像送出装置１に送信する受信画像符号化処理部３０３とから構成される。【００２６】
画像受信装置３は、伝送された映像データを視聴する個々の視聴者が使用する受信端末の形態であってもよいし、受信している家庭の家庭内ネットワークの入り口に設置されるホームゲートウェイの形態であってもよい。【００２７】
入力された原画像は、画像符号化処理部１０１で符号化され、符号化された映像データが伝送路２を介して画像受信装置３に伝送される。伝送された符号化画像（映像データ）は、画像復号化処理部３０１にて復号され、受信映像データが得られる。受信した符号化画像または復号した受信映像データは、画質評価処理部３０２に送られ、受信映像データの画質が評価される。ここでの評価は、Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法もしくはＮｏ Ｒｅｆｅｒｅｎｃｅ法による画質評価を行う。Ｒｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法で評価を行う場合は、画像符号化処理部１０１は、原画像の符号化および伝送の他に、原画像の特徴量の抽出、符号化、伝送も行う。画質評価処理部３０２にて得られた画質値は伝送路２を介して画像送出装置１の画質評価結果集計処理部１０２に送り返されることで、画像送出装置１は画像受信装置３にて受信された画像（受信映像データ）の画質を把握する。【００２８】
受信画像符号化処理部３０３では、あらかじめ定められた時間間隔で受信映像データの1フレームもしくは複数のフレームもしくは画像の一部分を符号化した映像フレームとして、画像送出装置１に伝送する。このとき映像フレームは、可逆圧縮による符号化か、受信画像の画質が損なわれない程度の圧縮率となるような非可逆圧縮による符号化を用いて伝送される。あらかじめ指定される時間間隔は、映像の特徴や伝送路２の状態によって決定されるものとする。間隔は一定でなくても良く、ランダムであってよい。例えば、より高精度に画質評価を行いたいときや、画像送出装置１、伝送路２、画像受信装置３の負荷に余裕があるときなどは間隔を短くするように制御し、そうでないときは間隔を長くするように制御するようにしてもよい。【００２９】
画像送出装置１は、画像受信端末３から受信した受信映像データ（この例では映像フレーム）を画像復号化処理部１０３にて復号し、画像受信装置３が受信していた映像フレーム情報を復元する。復元された映像フレームは画質値信頼度判定処理部１０４に送られ、当該フレームと再生時間が一致する原画像の映像フレームと比較することにより、画像送出装置上で画質が評価される。画質値信頼度判定処理部１０４では原画像データを参照できるため、Ｆｕｌｌ Ｒｅｆｅｒｅｎｃｅ法により比較的高精度な画質評価が可能となる。【００３０】
このとき、フレーム全体の情報を伝送せずに、フレームの一部分の情報を伝送することで、伝送路２の負荷を低減することも可能となる。また、フレームの一部分の情報として、受信映像データの特徴を表す特徴量を用いてもよい。【００３１】
この場合、受信映像データを伝送するたびに伝送する映像フレームの部分を変更することで、画像送出装置１での画質評価精度の劣化を防ぐことも可能である。また、劣化が目につきやすい映像領域や、発生した劣化が後続のフレーム伝播しやすい映像領域などを選択して伝送することで、画質評価精度を維持することも可能となる。【００３２】
なお、受信画像符号化処理部３０３が映像フレームそのものを符号化せずに、受信画像の特徴量を抽出、符号化して画像送出装置１に伝送した場合は、画質値信頼度判定処理部１０４において、原画像フレームと、受信画像の特徴量を用いたＲｅｄｕｃｅｄ Ｒｅｆｅｒｅｎｃｅ法により、画質が評価される。ここで得られる画質値と、画像受信装置３から送られてきた画像受信装置３にて画質評価を行った結果とを比較し、画像受信装置３から送られてきた画質評価結果が妥当なものであるか否かを判定する。例えば、画像送出装置１での画質評価結果と、画像受信装置３での画質評価結果との間に相関関係が見られなければ、画像受信装置３での評価結果が信頼できないことがわかる。【００３３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。【００３４】
第２の実施の形態では、画像受信装置３から画像送出装置１への受信映像データの伝送を非リアルタイムに行うことを特徴としている。非リアルタイムで伝送を行うことで、画像送出装置１や伝送路２への負荷集中を防ぐことが可能となる。【００３５】
図２に第２の実施の形態の構成を示す。図１で示した第１の実施の形態との構成の違いは、画質評価結果蓄積処理部４０５と受信画像データ蓄積処理部５０４の有無である。画像送出装置１へ伝送する受信映像データとして映像フレームをリアルタイムで送らずに、一度受信画像データ蓄積処理部５０４に蓄積し、画像送出装置１や伝送路２の負荷が高くない時間帯に伝送する。【００３６】
画像送出装置１では、常に送られてくる画像受信装置３での画質評価結果を画質評価結果蓄積処理部４０５に蓄積し、画像受信装置３から受信画像の情報が送られてくるたびに、画像送出装置１でも画質評価を行い、画像受信装置３から送られて蓄積されていた画質評価結果が妥当なものであるか否かを判定する。【００３７】
（第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。【００３８】
第３の実施の形態では、映像データの伝送が１対１の伝送ではなく、１対多の伝送の場合において、図３が示すように画像受信装置から画像送出装置への受信映像データの映像フレームの伝送が、全ての画像受信装置からではなく、あらかじめ指定された画像受信装置からのみ伝送することを特徴としている。このような構成とすることで、画像送出装置での画質評価処理の負荷増加を防ぐことが可能となる。【００３９】
また、図３、４が示すように受信映像データを伝送するタイミングごとに、受信映像データを伝送する画像受信装置を変更するような動作とすることで、多くの画像受信装置からの受信画像情報を受け取ることが可能となり、多くの画像受信装置での画質評価結果が妥当なものであるか否かが判定可能となる。【００４０】
（第４の実施の形態）
次に、本発明の第４の実施の形態について図５、６を参照して詳細に説明する。【００４１】
第４の実施の形態では、上述した第１の実施の形態に示される画像評価装置をコンピュータシステムにより実現されるものである。【００４２】
図５は、第４の実施の形態におけるコンピュータシステムにおいて、画像送出システムを示している。図５を参照すると、本システムはプログラム制御プロセッサ５１が装備されている。プログラム制御プロセッサ５１には、入力データバッファ５２および出力データバッファ５３の他に、必要なプログラムを格納したプログラムメモリ５４が接続されている。プログラムメモリ５４に格納されるプログラムモジュールは、メインプログラムの他に、画像符号化処理５５、画質評価結果集計処理５６、画像復号化処理５７、画質値信頼度判定処理５８で構成される。メインプログラムは、前記プログラムモジュールを実行する主プログラムである。画像符号化処理５５、画質評価結果集計処理５６、画像復号化処理５７、画質値信頼度判定処理５８のプログラムモジュールは上述した画像符号化処理部１０１と、画質評価集計処理部１０２と、画像復号化処理部１０３と、画質値信頼度判定処理部１０４をそれぞれ機能的に実現する。【００４３】
図６は、第４の実施の形態におけるコンピュータシステムにおいて、映像データを受信し画質推定を行う画像受信システムを示している。画像受信システムには、プログラム制御プロセッサ６１が装備されている。プログラム制御プロセッサ６１には、入力データバッファ６２および出力データバッファ６３の他に、必要なプログラムを格納したプログラムメモリ６４が接続されている。プログラムメモリ６４に格納されるプログラムモジュールは、メインプログラムの他に、画像復号化処理６５と、画質評価処理６６と、受信画像符号化処理６７とで構成される。メインプログラムは、受信した映像データを復号し、画質評価処理を実行する主プログラムである。画像復号化処理６５と、画質評価処理６６と、受信画像符号化処理６７のプログラムモジュールは上述した画像復号化処理部３０１と、画質評価処理部３０２と、受信画像符号化処理部３０３をそれぞれ機能的に実現する。前記画像送出システムと前記画像受信システムのメインプログラムおよび各機能モジュールをプログラム制御プロセッサ５１およびプログラム制御プロセッサ６１で実行することで、本発明による画質評価処理が実行される。【００４４】
本実施の形態では、第１の実施の形態の構成をコンピュータシステムに実現する例を示したが、本発明の第２、第３の実施の形態についても同様にコンピュータによって実現可能である。
【実施例１】
【００４５】
次に、具体的な実施例を用いて本発明の構成／機能／動作を説明する。【００４６】
この実施例では、原画像としてＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、1秒あたり２９．９７フレーム）の動画像データを図１に記載の画像送出装置１に入力する。ここで図１に示した画像符号化装置１０１は、ＭＰＥＧ−２符号化方式で動画像データを符号化し映像データとする。また、画像送出装置１に予め符号化された原画像が入力された場合、画像符号化処理部１０１によって、更に符号化する必要はない。【００４７】
この符号化された動画像（映像データ）が伝送路（ネットワーク）２を介して画像受信装置３に伝送される。映像データを受信した画像受信装置３では、画像復号化処理部３０１にてＭＰＥＧ−２方式で符号化された映像データを復号し、映像フレームに戻され視聴者によって視聴される。【００４８】
このとき、受信した映像データまたは復号された映像フレームが画質評価処理部３０２におくられ、画質評価処理部３０２によって、受信された映像データの画質が評価される。例えば特許文献２（特開２００１−２５０１４号公報）に開示されているような正しく復号できなかったサンプル数を画質評価値とするような方法で画質評価が行われるものとし、ここでは１フレームのうち半分の画素が正しく復号できなかったものとする。【００４９】
つまり、５０％の画素で正しく復号できていることになり、この値が、画質評価処理部３０２が出力する画質スコア（画質評価結果）となる。【００５０】
この画質スコアは伝送路２を介して画像送出装置１に伝送される。伝送された画質スコアは、画像送出装置１の画質評価結果集計処理部１０２により受信され、画像送出装置１にて、画像受信装置３上での受信画質を把握することになる。【００５１】
一方、画像受信装置３では、例えば５秒間に一回の間隔で、映像フレームを受信画像符号化処理部３０３にて符号化し、伝送路２を介して画像送出装置１に伝送する。このとき、受信画像符号化処理部３０３では、受信フレームを圧縮率の低いＪＰＥＧ方式にて符号化されるものとする。このように符号化され伝送された映像フレームは画像復号化処理部１０３にてＪＰＥＧ方式で符号化されたデータを復号し、フレームデータに復元する。復元された映像フレームは画質値信頼度判定処理部１０４にて、当該映像フレームに該当する原画像フレームとの比較により再度画質評価が行われる。ここでの画質評価の結果、１フレームのうち半分の画素で原画像フレームと復元した映像フレームとの差分が閾値より大きいという結果が得られたとする。この結果は、画質評価結果集計処理部１０２で受信した画像受信装置３での画質スコアと一致しているため、画像受信装置３での画質評価結果が信頼できるものであると判断できる。一方、差分が閾値より小さい場合は、画像受信装置３の画質評価結果が信頼できないと判定する。この処理を５秒ごとに行い、画像受信装置３での画質評価の信頼性を検証する。【００５２】
また、本実施例はあくまで例にすぎない。この例では、伝送路２によって伝送された映像データは動画像データであったが、もちろん静止画像データであっても良い。この場合、画像受信装置３で送出される受信映像データとしては、受信された静止画像データの一部であってもよい。【００５３】
また、伝送路２におけるネットワーク通信品質データが得られる場合は、ネットワーク通信品質データを利用して画像送出装置１における画質の信頼性評価に利用することもできる。このネットワーク通信品質データを利用することによって、画質評価結果の信頼度評価に活用することが可能となる。また、前記ネットワーク通信品質データと画質評価結果を比較することにより、画質劣化の原因が伝送路２にあるのか画像受信装置３にあるのかの切り分けをおこなうことが可能となる。【００５４】
また、伝送路２において、上り（画像受信装置３から画像送出装置１）と下り（画像送出装置１から画像受信装置３）の物理的ネットワークが異なるもの、または、異なるプロトコルを用いるものであって良い。この場合、下りの通信帯域は上りと比較して大きい方が良く、上りの通信品質は、有る程度補償されているものを利用することが望ましい。【００５５】
以上の如く、本実施の形態に記載された第１の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価システムである。【００５６】
また、第２の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システムである。【００５７】
また、第３の発明は、上記の発明において、前記画像送出装置で行われる画質評価が、前記画像受信装置の画質評価結果の信頼性を把握できるものであることを特徴とする。【００５８】
また、第４の発明は、上記の発明において、前記受信映像データが、前記受信した映像データの内の任意の映像フレームであることを特徴とする。【００５９】
また、第５の発明は、上記の発明において、前記受信映像データが、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分であることを特徴とする。【００６０】
また、第６の発明は、上記発明において、前記受信映像データが、前記受信した映像データの特徴を表す映像特徴量であることを特徴とする。【００６１】
また、第７の発明は、上記発明において、前記画像受信装置が、前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする。【００６２】
また、第８の発明は、上記発明において、前記画像受信装置が複数存在し、前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信することを特徴とする。【００６３】
また、第９の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、前記画像受信装置は、ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、前記画像送出装置は、ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、を有して構成されることを特徴とする画質評価システムである。【００６４】
また、第１０の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置である。【００６５】
また、第１１の発明は、画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部と、を有することを特徴とする画質評価システムのための画像受信装置である。【００６６】
また、第１２の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信し、前記画像出装置は、前記受信映像データを用いて画質評価を行うことを特徴とする画質評価方法である。【００６７】
また、第１３の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価方法である。【００６８】
また、第１４の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データを画像送出装置に送信するように機能させ、前記画像出装置が、前記受信映像データを用いて画質評価を行うように機能させることを特徴とする画質評価プログラムである。【００６９】
また、第１５の発明は、画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させることを特徴とする画質評価プログラムである。【００７０】
本出願は、２００７年３月２２日に出願された日本出願特願２００７−７５１１０号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2008123125.tif 000003
【図２】
2008123125.tif 000004
【図３】
2008123125.tif 000005
【図４】
2008123125.tif 000006
【図５】
2008123125.tif 000007
【図６】
2008123125.tif 000008
【手続補正書】
【提出日】平成20年8月26日(2008.8.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価システムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像送出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うことを特徴とする画質評価システム。
【請求項３】
前記画像送出装置で行われる画質評価が、前記画像受信装置の画質評価結果の信頼性を把握できるものであることを特徴とする請求項２記載の画質評価システム。
【請求項４】
前記受信映像データが、前記受信した映像データの内の任意の映像フレームであることを特徴とする請求項２又は請求項３に記載の画質評価システム。
【請求項５】
前記受信映像データが、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分であることを特徴とする請求項２又は請求項３に記載の画質評価システム。
【請求項６】
前記受信映像データが、前記受信した映像データの特徴を表す映像特徴量であることを特徴とする請求項２又は請求項３に記載の画質評価システム。
【請求項７】
前記画像受信装置が、前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする請求項２から請求項６のいずれか一項に記載の画質評価システム。
【請求項８】
前記画像受信装置が複数存在し、前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、
複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信することを特徴とする請求項２から請求項７のいずれか一項に記載の画質評価システム。
【請求項９】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムであって、
前記画像受信装置は、
ネットワークを介して符号化された映像データを受信し、この映像データを復号化する画像復号化処理部と、
受信した映像データの画質評価を行い、画質評価結果を送出する画質評価処理部と、
前記画像復号化処理部で復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で送出する受信画像符号化処理部と、を有し、
前記画像送出装置は、
ネットワークを介して前記画質評価結果と前記映像フレームとを受信し、符号化された前記映像フレームを復号化する画像復号化処理部と、
復号された映像フレームと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部と、
を有して構成されることを特徴とする画質評価システム。
【請求項１０】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像送出装置であって、
画像受信装置から、この画像受信装置で受信された映像データと、この画像受信装置で受信された映像データの画質評価結果とを入力とし、前記映像データと前記画質評価結果とを比較することによって、前記画像受信装置の前記画質評価結果の信頼性を評価する画質評価信頼度判定部を有して構成されることを特徴とする画質評価システムの画像送出装置。
【請求項１１】
画像送出装置から送出され、符号化済みの映像データをネットワークを介して画像受信装置が受信し、この受信された映像データの画質を評価する画質評価システムのための画像受信装置であって、
受信した映像データの画質評価を行い、画質評価結果を前記画像送出装置に送出する画質評価処理部と、
復号された受信映像データの任意の映像フレームを符号化し、あらかじめ定められた時間間隔で前記画像送出装置に送出する受信画像符号化処理部と、
を有することを特徴とする画質評価システムのための画像受信装置。
【請求項１２】
（削除）
【請求項１３】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価方法であって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信し、
前記画像送出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行う
ことを特徴とする画質評価方法。
【請求項１４】
（削除）
【請求項１５】
画像送出装置から送出された映像データを画像受信装置が受信し、該映像データの画質を評価する画質評価プログラムであって、
前記画像受信装置が、受信した映像データを復号し、あらかじめ定められた時間間隔で、この復号された受信映像データと、前記受信した映像データの画質の評価を行った画質評価結果とを画像送出装置に送信するように機能させ、
前記画像出装置は、前記受信映像データと前記画質評価結果とを用いて、前記受信した映像データの画質評価を行うように機能させる
ことを特徴とする画質評価プログラム。
【請求項１６】
前記画像送出装置で行われる画質評価は、前記画像受信装置の画質評価結果の信頼性を評価することを特徴とする請求項１３記載の画質評価方法。
【請求項１７】
前記画像受信装置は、受信映像データとして、前記受信した映像データの内の任意の映像フレームを送信することを特徴とする請求項１３又は請求項１６に記載の画質評価方法。
【請求項１８】
前記画像受信装置は、受信映像データとして、前記受信した映像データの内の任意の映像フレームの内、その映像フレームの一部分を送信することを特徴とする請求項１３又は請求項１６に記載の画質評価方法。
【請求項１９】
前記画像受信装置は、受信映像データとして、前記受信した映像データの特徴を表す映像特徴量を送信することを特徴とする請求項１３又は請求項１６に記載の画質評価方法。
【請求項２０】
前記画像受信装置が前記受信映像データを画像送出装置に送信するタイミングが、非リアルタイムで送出されることを特徴とする請求項１３又は請求項１６に記載の画質評価方法。
【請求項２１】
前記画像受信装置が複数存在する場合、
前記画像送出装置が映像データをそれぞれの画像受信装置に送信し、
複数存在する前記画像受信装置の一部が、少なくとも前記受信映像データを画像送出装置に送信する
ことを特徴とする請求項１３又は請求項１６に記載の画質評価方法。
【国際調査報告】
2008123125.tif 000009
2008123125.tif 000010