(57)【要約】【課題】送信側から得られる限られた情報で受信側の映像品質を正確に見積もることのできる映像データ送信装置、映像配信システム、映像品質評価方法及びプログラムを提供する。【解決手段】映像データ送信装置は、パケット化した映像データを送信するとともに、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する映像データ送信部と、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する劣化部分推定部と、映像データの送信先となる端末（映像データ受信装置）の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求め、前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する映像品質推定部と、を備える。【選択図】図１
2010098441.tif 000002
【特許請求の範囲】
【請求項１】
パケット化した映像データを送信するとともに、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する映像データ送信部と、
前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する劣化部分推定部と、
前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求め、前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する映像品質推定部と、
を備える映像データ送信装置。
【請求項２】
前記映像データの受信先となる端末の仕様として、前記映像データの送信先となる各端末の映像表示関連の仕様情報を保持する端末プロファイル保持部と、
前記端末の映像表示関連の仕様情報に応じて定められた映像品質推定パラメータを保持する映像品質推定パラメータ保持部と、
前記端末プロファイル保持部及び前記映像品質推定パラメータ保持部を参照し、映像劣化度の算出対象の端末の映像表示関連の仕様に応じた映像品質推定パラメータを決定するパラメータ設定部と、
を備える請求項１に記載の映像データ送信装置。
【請求項３】
前記端末プロファイル保持部は、前記各端末が備える表示装置の画面サイズ情報を保持、
前記映像品質推定パラメータ保持部は、前記表示装置の画面サイズに応じた劣化補正係数を保持し、
前記パラメータ設定部は、前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の画面サイズに応じた劣化補正係数を選択する請求項２に記載の映像データ送信装置。
【請求項４】
前記端末プロファイル保持部は、前記各端末が備える表示装置の種別情報を保持し、
前記映像品質推定パラメータ保持部は、前記表示装置の種別毎に、適用すべき劣化補正係数を保持し、
前記パラメータ設定部は、前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の表示装置の種別に応じた劣化補正係数を選択する請求項２又は３に記載の映像データ送信装置。
【請求項５】
更に、映像データを蓄積する映像データ蓄積部を備え、
前記映像品質推定部は、前記映像データ蓄積部から、前記劣化部分に対応する部分を取り出して、前記映像データの受信先となる端末毎に画質劣化度を算出する請求項１乃至４いずれか一に記載の映像データ送信装置。
【請求項６】
請求項１乃至５いずれか一に記載の映像データ送信装置と、
前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信する映像データ受信装置と、を含む映像配信システム。
【請求項７】
請求項１乃至５いずれか一に記載の映像データ送信装置と、
前記映像データ送信装置と映像データ受信装置との間に配置され、前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信するゲートウェイと、を含む映像配信システム。
【請求項８】
パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成しておき、
前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定し、
前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求め、
前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する映像品質評価方法。
【請求項９】
前記映像データの受信先となる端末の仕様として、前記映像データの送信先となる各端末の映像表示関連の仕様情報を保持しておくとともに、
前記端末の映像表示関連の仕様情報に応じて定められた映像品質推定パラメータを保持しておき、
映像劣化度の算出対象の端末の映像表示関連の仕様に応じた映像品質推定パラメータを決定する請求項８に記載の映像品質評価方法。
【請求項１０】
前記各端末の仕様情報は、前記各端末が備える表示装置の画面サイズ情報を含み、
前記映像品質推定パラメータは、表示装置の画面サイズに応じて定められた劣化補正係数を含み、
前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の画面サイズに応じた劣化補正係数を選択する請求項９に記載の映像品質評価方法。
【請求項１１】
前記各端末の仕様情報は、前記各端末が備える表示装置の種別情報を含み、
前記映像品質推定パラメータは、表示装置の種別毎に定められた劣化補正係数を含み、
前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の表示装置の種別に応じた劣化補正係数を選択する請求項９又は１０に記載の映像品質評価方法。
【請求項１２】
更に、映像データを蓄積する映像データ蓄積部から、前記劣化部分に対応する部分を取り出して、前記映像データの受信先となる端末毎に画質劣化度を算出する請求項８乃至１１いずれか一に記載の映像品質評価方法。
【請求項１３】
パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する処理と、
前記送信状態情報と、映像データの受信側から受信したパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する処理と、
前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求める処理と、
前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する処理と、
をコンピュータに実行させるプログラム。
【請求項１４】
前記コンピュータに、前記映像データの送信先となる各端末の映像表示関連の仕様情報と、前記端末の映像表示関連の仕様情報に応じて定められた映像品質推定パラメータと、を参照させ、映像劣化度の算出対象の端末の映像表示関連の仕様に応じた映像品質推定パラメータを決定させる請求項１３に記載のプログラム。
【請求項１５】
前記各端末の仕様情報は、前記各端末が備える表示装置の画面サイズ情報を含み、
前記映像品質推定パラメータは、表示装置の画面サイズに応じて定められた劣化補正係数を含み、
前記コンピュータに、前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の画面サイズに応じた劣化補正係数を選択させる請求項１４に記載のプログラム。
【請求項１６】
前記各端末のプロファイルは、前記各端末が備える表示装置の種別情報を含み、
前記コンピュータに、前記映像品質推定パラメータとして、映像劣化度の算出対象の端末の表示装置の種別に応じた劣化補正係数を選択させる請求項１４又は１５に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データ送信装置、映像配信システム及び受信側での映像品質の評価を行う映像品質評価方法及びプログラムに関する。
【背景技術】
【０００２】
インターネットなど通信網の広帯域化によって、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワーク上での映像配信サービスの利用が一般化しつつある。しかし、ＩＰネットワークにおいてはパケットロスの発生は不可避であるため、パケットロスにより伝送した映像データが欠損し、ユーザ端末上で表示される映像が乱れたり、表示そのものが止まってしまうなどサービス品質を大きく損なうことがありうる。
【０００３】
そこで、ユーザ端末上での品質を管理する方法として、ユーザ端末側でネットワーク状態を測定し、ネットワーク状態から映像品質を推定する手法が各種提案されている。
【０００４】
上記のようにネットワーク状態から映像品質を推定する場合、以下のような問題がある。一般に、ネットワークで映像を配信する場合、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−２やＨ．２６４などの高能率圧縮符号化された映像データが用いられる。この場合、フレーム間予測を用いずフレーム内で符号化処理を行うＩ（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ）フレーム、動き補償予測を使い過去から現在を予測し符号化処理を行うＰ（Ｐｒｅｄｉｃｔｉｖｅ  Ｐｉｃｔｕｒｅ）フレーム、双方向予測を使い順方向および逆方向予測し符号化処理を行うＢ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  Ｐｒｅｄｉｃｔｉｖｅ  Ｐｉｃｔｕｒｅ）フレームという３種類のフレームにより映像信号が符号化される。
【０００５】
このとき、例えば、ネットワークでパケット損失が生じると、ユーザ端末での復号に際し前後のフレーム情報を使うことから、１パケットの損失による映像品質の劣化が１映像フレームにとどまらず、複数の映像フレームに及ぶことがある。このような場合、次の映像フレームではパケット損失が生じていないにも拘わらず、復号された映像では品質劣化が生じており、ネットワーク上のパケット損失の発生状況（ネットワーク品質）と映像の品質劣化の発生状況とは必ずしも一致しない。どの部分のデータを含むパケットが欠落したかによって、品質に大きな差が生じるため、十分な品質測定精度が得られないのである。
【０００６】
そこで、特許文献１では、端末上でネットワーク品質情報に加え、映像データの復号処理の際にメディア特徴量を抽出し、映像劣化の種別や程度を考慮することでより高精度に映像品質を推定する方法が提案されている。
【０００７】
また、特許文献２には、送信側アプリケーション端末から送信されたメディア用パケットの送信状況を示す送信側品質情報と、受信側アプリケーション端末で受信したメディア用パケットの受信状況を示す受信品質情報と、を取得する品質情報取得部と、送信側品質情報及び受信品質情報に基づいてメディア用パケットで送受信した各フレームのうちメディア用パケットの損失による影響を受けた無効フレームの割合（無効フレーム率）を算出する品質解析部と、この無効フレーム率に対応する体感品質値を導出するユーザ体感品質推定部とを備えたユーザ体感品質推定装置が開示されている。なお、上記送信側品質情報に含まれる品質情報としては、各送信メディア用パケットに関する送信順序を示すシーケンス番号、映像フレーム種別、映像フレーム番号、送信パケット数及び送信フレーム数があるとされている。
【０００８】
特許文献３には、映像メディアを送信する映像通信の種別や視聴端末の再生性能、視聴端末の周囲環境等のパラメータに応じて特性係数を取得し、該特性係数により符号化ビットレートを算出する映像品質パラメータ推定装置が開示されている。
【０００９】
【特許文献１】特開２００７−１９８０２号公報
【特許文献２】特開２００７−１３５０４０号公報
【特許文献３】特開２００７−３０６１０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献１の方法では、高精度な品質測定を行うためにメディア特徴量を抽出し映像品質を推定する機能を端末側に搭載する必要がある。実サービスにおいて映像配信サービスを受ける端末すべてにこのような品質測定機能を搭載することは難しい。また、メディア特徴量を抽出し、映像品質を推定するという比較的複雑な処理を端末上で行う必要があり、モバイル端末など計算資源の少ない端末では品質測定にかかる負荷を軽視することはできない。
【００１１】
また、特許文献２のユーザ体感品質推定装置は、受信アプリケーション端末から受信品質情報を取得し、この受信品質情報をもって無効パケットであるか否かを判定していることから明らかなように、受信側に配置されることを前提とした構成である。更に、特許文献２のユーザ体感品質推定装置は、送信側アプリケーション端末から送信側品質情報が送信されていることが条件となっている。
【００１２】
なお、特許文献３の映像品質パラメータ推定装置は、所定の推定モデルが正しいとの前提の下に、最適な符号化ビットレート、フレームレートを求めるものであり、視聴者側の映像品質を推定するものではない。
【００１３】
本発明は、上記した背景技術の分析の結果に基づいてなされたものであって、送信側で、受信側から得られる限られた情報で受信側の映像品質を正確に見積もることのできる映像データ送信装置、映像配信システム、映像品質評価方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の第１の視点によれば、パケット化した映像データを送信するとともに、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する映像データ送信部と、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する劣化部分推定部と、前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求め、前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する映像品質推定部と、を備える映像データ送信装置が提供される。
【００１５】
本発明の第２の視点によれば、上記した映像データ送信装置と、前記映像データ送信装置からパケットを受信した際に、前記受信品質情報を送信する映像データ受信装置と、を含む映像配信システムが提供される。
【００１６】
本発明の第３の視点によれば、パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成しておき、前記送信状態情報と、映像データの受信側から送信されたパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定し、前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求め、前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する映像品質評価方法が提供される。
【００１７】
本発明の第４の視点によれば、コンピュータを上記した映像データ送信装置として機能させるためのプログラムが提供される。このプログラムは、パケット化した映像データを送信するにあたり、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を生成する処理と、前記送信状態情報と、映像データの受信側から受信したパケットの受信状況を含むネットワーク状態情報と、に基づいて、送信した映像データのうち受信側で劣化していると推定される劣化部分を推定する処理と、前記映像データの送信先となる端末の仕様に応じて映像劣化度を調整する映像品質推定パラメータを求める処理と、前記劣化部分情報及び映像品質推定パラメータに基づいて、端末毎の映像劣化度を算出する処理と、をコンピュータに実行させる。
【発明の効果】
【００１８】
本発明によれば、映像受信側でなく、映像データの送信側で、受信側端末側で起きている映像劣化の程度を精度良く把握することが可能になる。その理由は、送信側で、各パケットに映像データのどの部分を入れて送信したかを示す送信状態情報を記録しておき、受信側から送られたネットワーク状態情報と、照らし合わせることで劣化部分を推定し、更に、この劣化部分と端末の映像関連の仕様に応じた映像品質推定パラメータとを用いて、端末毎に映像劣化度を算出するよう構成したことにある。
【発明を実施するための最良の形態】
【００１９】
［発明の概要］
はじめに本発明の概要を説明する。図１は、本発明に係る映像データ装置の構成を模式的に表した図である。図１を参照すると、映像データ送信部１２と、劣化部分推定部１５と、パラメータ設定部１８と、映像品質推定部１６とを備えた映像データ送信装置１０と、映像データ送信装置１０から映像データパケットを受信し、映像データ送信装置１０に対してネットワーク状態情報を送信する映像データ受信装置３０が示されている。
【００２０】
映像データ送信部１２は、映像データ受信装置３０から要求されたコンテンツの映像データをパケット化し、映像データ受信装置３０に対して送信するとともに、映像データをパケット化する際に各パケットに映像データのどの部分を入れて送信したかの対応関係を示す送信状態情報（図３、図７参照）を生成し、劣化部分推定部１５に出力する。
【００２１】
劣化部分推定部１５は、映像データ受信装置３０から受信したネットワーク状態情報及び映像データ送信部１２から出力された送信状態情報から映像受信端末でパケットが受信できず映像データが欠損したもしくは欠損した可能性の高い部分を特定し、欠損した映像データの位置を劣化部分情報として生成し、映像品質推定部１６へ渡す。前記ネットワーク状態情報としては、受信側で受信できなかったパケットの情報やパケットロス率等を含めることができる。
【００２２】
パラメータ設定部１８は、映像データ受信装置３０の仕様情報に基づき、映像データ受信装置３０の映像再生関連仕様の違いによる映像劣化の影響度を表す映像品質推定パラメータを求めて映像品質推定部１６へ渡す。
【００２３】
映像品質推定部１６は、劣化部分推定部１５から出力された劣化部分情報と、パラメータ設定部１８から出力された映像品質推定パラメータとに基づいて、映像データ受信装置３０における画質劣化度を算出する。また、必要に応じて、前記劣化部分情報と、映像データ送信装置１０で保持している映像データとを分析し、詳細に画質劣化度を求めるようにしてもよい。
【００２４】
なお、後記するように、映像データ送信装置１０には、受信側からネットワーク状態情報を受信するネットワーク状態情報受信部や、前記映像品質推定パラメータを求めるためのテーブル等を設けることもできる。
【００２５】
上記映像データ送信装置１０によれば、映像データ受信装置３０に、メディアの特徴値の抽出や画質推定などの複雑な処理手段を設けることなく、映像劣化度を見積もることが可能になる。また、映像データ受信装置３０の仕様に応じた映像品質推定パラメータを用いているため、映像劣化の程度を精度よく推定することができる。
【００２６】
［第１の実施形態］
次に、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態の構成を表した図である。
【００２７】
図２を参照すると、本発明の実施の形態は映像配信サーバ１１０、ＩＰネットワーク１４０、映像受信端末１３０から構成され、映像配信サーバ１１０、映像受信端末１３０はＩＰネットワーク１４０により相互に接続される。
【００２８】
映像配信サーバ１１０及び映像受信端末１３０の各機能は、映像配信サーバ１１０及び映像受信端末１３０を構成するコンピュータに所定のコンピュータプログラムを実行させることにより実現することができる。即ち、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や主メモリ、出力装置、入力装置、外部記憶装置等を有し、光ディスク駆動装置等を介して、ＣＤ−ＲＯＭ等の記録媒体に記録されたプログラムやデータを外部記憶装置内にインストールした後、この外部記憶装置から主メモリに読み込みＣＰＵで処理することにより、映像配信サーバ１１０及び映像受信端末１３０の各機能を実現することができる。上記機能のうち、いくつかの機能は、ハードウェア的に実現することもできる。
【００２９】
映像配信サーバ１１０は映像受信端末１３０から要求された映像データを、映像受信端末１３０へ送信する装置であり、上述した映像データ送信装置に相当する。
【００３０】
映像配信サーバ１１０は、映像データ蓄積部１１１、映像データ送信部１１２、送信状態情報蓄積部１１３、ネットワーク状態情報受信部１１４、劣化部分推定部１１５、映像品質推定部１１６、映像品質情報出力部１１７、パラメータ設定部１１８、端末プロファイル保持部１１９及び映像品質推定パラメータ保持部１２０を備えている。
【００３１】
映像データ蓄積部１１１には、圧縮符号化された映像データをＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケット化したものが予め蓄積されている。
【００３２】
映像データ送信部１１２は、ＲＴＳＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ）等のプロトコルを用いてコンテンツ配信の制御を行うとともに、映像受信端末１３０から要求された映像データを映像データ蓄積部１１１から取得し、ＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）等のプロトコルに基づきＩＰパケット化した上で、映像受信端末１３０へ送信する（図３参照）。
【００３３】
また、各映像データをパケット化する際に、映像データ送信部１１２は、各ＩＰパケットに映像データのどの部分を入れて送信したかを特定可能な情報として送信状態情報を生成し、送信状態情報蓄積部１１３へ保存する。
【００３４】
送信状態情報蓄積部１１３は映像データ送信部１１２により生成された送信状態情報を蓄積する。
【００３５】
送信状態情報は、例えば、図３に示されるようなＲＴＰシーケンス番号と、各ＲＴＰパケットに入れて送信された映像データの位置情報（映像データ位置）の組を記録して構成される。
【００３６】
図３の映像データ位置の数値は、図２に示したように映像データが予めＴＳ（Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケット化されている場合で、各ＴＳパケットに映像データ先頭から振られた番号を表している。その他に、映像データ先頭からのバイト数などによって位置情報を表しても良い。また、図３の送信状態情報には、映像データの送信先を特定可能なユーザＩＤや送信した映像データを特定可能なＩＤ（コンテンツＩＤ）及び各ＲＴＰパケットの送信時刻などの付随情報が含まれている。
【００３７】
ネットワーク状態情報受信部１１４は、映像受信端末１３０からＲＴＣＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）等のプロトコルによって送信されるネットワーク状態情報を受信し、劣化部分推定部１１５へ渡す。
【００３８】
ネットワーク状態情報には、例えば、映像受信端末１３０で受信できなかったＲＴＰパケットのシーケンス番号や、パケットロス率等のネットワーク統計情報や端末を特定する端末ＩＤが含まれる。
【００３９】
劣化部分推定部１１５は、ネットワーク状態情報受信部１１４から引き渡されたネットワーク状態情報と送信状態情報蓄積部１１３に保存されている送信状態情報をもとに、パケットロスなどにより映像データが欠落した、もしくは、欠落した可能性の高い部分を特定し映像データ内での位置を示す劣化部分情報を生成し、映像品質推定部１１６へ渡す。
【００４０】
映像品質推定部１１６は、パラメータ設定部１１８に対し端末ＩＤを渡し、当該端末の映像品質推定パラメータの送信を要求する。パラメータ設定部１１８から映像品質推定パラメータを受け取ると、映像品質推定部１１６は、劣化部分推定部１１５から通知された劣化部分情報と、パラメータ設定部１１８から受け取った映像品質推定パラメータとに基づいて、劣化部分情報で示される映像データが欠落した場合、どのような映像劣化が発生するかを分析し、この分析結果に映像品質推定パラメータで重み付けをして、映像の劣化の度合いを示す映像劣化度を算出し、映像品質情報出力部１１７へ渡す。
【００４１】
映像品質情報出力部１１７は、映像品質推定部１１６により算出された映像劣化度をディスプレイ等の表示装置に表示する。もしくはデータベース等へこの映像劣化度を含む映像品質情報を蓄積する。
【００４２】
端末プロファイル保持部１１９は、映像受信端末１３０のプロファイルを保持する。
【００４３】
図４は、端末プロファイル保持部１１９が保持する端末プロファイルの一例を示す図である。図４の例では、端末プロファイルは、端末を特定する端末ＩＤと、搭載されているデコーダの種別と、ディスプレイのサイズと、ディスプレイの画素数と、パネルの種類から構成されており、例えば、端末ＩＤＴ００１で特定される端末には、Ｈ．２６４デコーダが搭載され、ディスプレイサイズは５５インチで、画素数は縦１９２０、横１０８０で、パネルはプラズマであることを示している。
【００４４】
映像品質推定パラメータ保持部１２０は、端末のプロファイルに応じて適用すべき映像品質推定パラメータを選択できるように保持する。
【００４５】
図５は、映像品質推定パラメータ保持部１２０が保持する情報をテーブル形式で表した図である。図５の例では、デコーダ種別、ディスプレイサイズ、画素数、パネルが特定されれば、映像品質推定パラメータとして、劣化度係数１と劣化度係数２の組を得ることが可能となっている。例えば、デコーダ種別がＨ．２６４で、ディスプレイサイズが５０インチ以上で、画素数が１９２０×１０８０で、パネルがプラズマである端末プロファイルが得られている場合、第１行目の条件に当てはまり、劣化度係数１＝１．１、劣化度係数２＝０．５との映像品質推定パラメータが選択される。
【００４６】
ここで、劣化度係数１、２について説明する。劣化度係数１は、画面サイズに基づく劣化の目立ち具合を表したもので、劣化が目立つ端末ほど値が大きい。基本的には画面サイズと比例する値である。劣化度係数２は、パネルの性質に基づく劣化の目立ち具合を表したものであり、劣化が目立つ端末ほど値が大きい。一般に、プラズマパネルよりも液晶パネルの方が残像感が残りやすく、劣化した映像の残像も残りやすいため、プラズマパネルよりも液晶パネルの方の値が大きい値に設定されている。
【００４７】
上記した劣化度係数１、２は、あくまで映像品質推定パラメータの一例であり、端末プロファイルから映像品質推定パラメータが特定できれば、その内容、形態については問わない。例えば、映像品質推定パラメータを決定する条件として、デコーダ種別など、個々の値を列挙しているが、これをまとめてプロファイルを一意に特定するプロファイルＩＤとして抽象化してもよい。また、ここでは簡単のために、２つの劣化度係数を持つ映像品質推定パラメータが得られるものとして説明したが、２個以上の劣化度係数が得られるようにしてもよい。また、１つの劣化度係数が得られるようにしたり、上記した劣化度係数１、２のうち大きい方又は小さい方を選択することとしても良い。
【００４８】
パラメータ設定部１１８は、映像品質推定部１１６から通知された端末ＩＤに合致する端末プロファイルを端末プロファイル保持部１１９から入手し、入手した端末プロファイルに合致する映像品質推定パラメータを、映像品質推定パラメータ保持部１２０から入手して、映像品質推定部１１６へ渡す。
【００４９】
なお、本実施形態では、端末を特定するＩＤからプロファイルを特定し、更に映像品質推定パラメータを選択する構成としているが、端末の仕様に応じ映像品質推定パラメータを選択できるものであれば、その内容、形態については問わない。例えば、デコーダ種別など、端末が保有する個々の情報をプロファイルとして列挙するのではなく、プロファイルを一意に特定するプロファイルＩＤを定めておき、端末ＩＤと関係付け、プロファイルＩＤを介して端末ＩＤから映像品質推定パラメータを選択できるようにしても良い。
【００５０】
映像受信端末１３０は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）もしくは専用のＳＴＢ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ）として提供される通信端末であり、上述した映像データ受信装置に相当する。映像受信端末１３０は、ユーザの操作により、ユーザの所望するコンテンツの映像データをＩＰネットワーク１４０を介して映像配信サーバ１１０から取得し、復号処理を行って映像を生成し、生成された映像をディスプレイ等の出力装置に表示する。
【００５１】
映像受信端末１３０は、映像データ受信部１３１、復号処理部１３２、ネットワーク状態情報生成部１３３及びネットワーク状態情報送信部１３４を備えている。
【００５２】
映像データ受信部１３１は、映像配信サーバ１１０からＲＴＰパケット化された映像データを受信し、受信したＲＴＰパケットから映像データを取り出して、復号処理部１３２へ渡す。
【００５３】
復号処理部１３２は、映像データ受信部１３１から映像データを受け取り、復号処理を行って画像を生成し、出力装置に渡す。
【００５４】
ネットワーク情報生成部１３３は、映像データ受信部１３１でパケットを受信した際にＲＴＰシーケンス番号をチェックし、番号が連続していない場合、欠落パケットとして検出し、欠落したＲＴＰシーケンス番号、コンテンツＩＤや端末ＩＤ等を含むネットワーク状態情報を生成する。また、ネットワーク状態情報の一部として、欠落したＲＴＰシーケンス番号の他に、パケット受信状態からパケットロス率やジッタなど各種ネットワーク統計情報を計算しネットワーク状態情報を生成しネットワーク状態情報送信部１３４へ渡すものとしてもよい。
【００５５】
ネットワーク状態情報送信部１３４は、ネットワーク状態情報生成部１３３によって生成されたネットワーク状態情報をＲＴＣＰなどのプロトコルに基づき、パケット化し、映像配信サーバ１１０へ送信する。
【００５６】
続いて、本実施形態の動作について図面を参照して詳細に説明する。図６は、本発明の第１の実施形態の動作を表した図である。
【００５７】
図６を参照すると、まず、映像受信端末１３０はＲＴＳＰ等のプロトコルを用いて映像配信サーバ１１０に対して映像の配信を要求する（ステップＳ１）。
【００５８】
映像受信端末１３０から映像の配信要求を受けると（ステップＳ２）、映像配信サーバ１１０の映像データ送信部１１２は、要求されたコンテンツの映像データを映像データ蓄積部１１１から取得し、ＲＴＰパケット化して、映像配信を開始する（ステップＳ３）。
【００５９】
また、映像配信サーバ１１０の映像データ送信部１１２は、各ＲＴＰパケットに映像データのどの部分を入れて送信したかの対応関係を示す送信状態情報を生成し、送信状態情報蓄積部１１３へ保存する（ステップＳ４）。
【００６０】
図３に示した例では、ＴＳパケットの１番目から５番目（＃１〜＃５）のデータは、ＲＴＰシーケンス番号１のＲＴＰパケットへ入れられて、２００８／８／３  １２：００：００：０００に映像受信端末１３０へ送信されたことを示している。
【００６１】
映像データを受信すると（ステップＳ５）、映像受信端末１３０の映像データ受信部１３１は、受信したパケットから映像データを取り出し、復号処理部１３２へ出力する。復号処理部１３２は、Ｈ．２６４等の復号をして、その結果を映像出力装置へ渡す（ステップＳ６）。
【００６２】
次に、ネットワーク状態情報生成部１３３は、受信したＲＴＰパケットのシーケンス番号を順次走査し、シーケンス番号に不連続があった場合、そのパケットが欠落したと判断し、欠落したＲＴＰシーケンス番号をネットワーク状態情報として、ネットワーク状態情報送信部１３４へ通知する。ネットワーク状態情報送信部１３４は、ＲＴＣＰなどのプロトコルに基づき、ネットワーク状態情報をパケット化して、映像配信サーバ１１０へ送信する（ステップＳ７）。このとき、ネットワーク状態情報は、端末を特定するための端末ＩＤも含んでいるものとする。
【００６３】
ネットワーク状態情報受信部１１４は、ネットワーク状態情報を受信すると（ステップＳ８のＹｅｓ）、劣化部分推定部１１５へ前記受信したネットワーク状態情報を通知する。
【００６４】
劣化部分推定部１１５は、ネットワーク状態情報に含まれる映像受信端末で受信できなかったＲＴＰパケットのシーケンス番号を元に、送信時状態情報蓄積部１１３から対応する映像データの位置情報を取得し、端末ＩＤとあわせて、劣化部分情報として、映像品質推定部１１６へ渡す（ステップＳ９）。
【００６５】
例えば、図２のように送信状態情報蓄積部１１３に送信状態情報が蓄積されており、ネットワーク状態情報が「端末ＩＤがＴ００１の端末で、ＲＴＰシーケンス番号が１であるＲＴＰパケットが欠落した」という内容場合、劣化部分推定部１１５は、送信状態情報蓄積部１１３から、ＲＴＰシーケンス番号１のＲＴＰパケットにはＴＳパケットの１番目から５番目（＃１〜＃５）が含まれていたという情報を取得し、「端末ＩＤがＴ００１の端末で、ＴＳパケットの１番目から５番目の映像データが欠損した」という情報を劣化部分情報として映像品質推定部１１６へ引き渡す。
【００６６】
映像品質推定部１１６は、劣化部分推定部１１５から劣化部分情報を受け取ると、劣化部分情報をパラメータ設定部１１８へ送付する。パラメータ設定部１１８は、劣化部分情報に含まれる端末ＩＤに合致する端末プロファイルを端末プロファイル保持部１１９から読み出す（ステップＳ１０）。
【００６７】
例えば、図４に示すとおり端末プロファイル保持部１１９に端末プロファイルが保持されている場合、端末ＩＤをＴ００１とする劣化部分情報を受信した場合、劣化部分推定部１１５は、「デコーダ種別＝Ｈ．２６４、ディスプレイサイズ＝５５、画素数＝１９２０×１０８０、パネル＝プラズマ」という端末プロファイルを選択する。
【００６８】
端末プロファイルを入手したパラメータ設定部１１８は、入手した端末プロファイルに合致する映像品質推定パラメータを、映像品質推定パラメータ保持部１２０から入手し、映像品質推定部１１６へ渡す（ステップＳ１１）。
【００６９】
例えば、端末プロファイルの内容が「デコーダ種別＝Ｈ．２６４、ディスプレイサイズ＝５５、画素数＝１９２０×１０８０、パネル＝プラズマ」である場合、パラメータ設定部１１８は、図５に示す映像品質推定パラメータ保持部１２０の内容から、当該端末プロファイルに対応する「劣化度計数１＝１．１、劣化度計数２＝０．５」という映像品質推定パラメータを選択する。
【００７０】
映像品質推定部１１６は、劣化部分推定部１１５から受け取った劣化部分情報に基づき、欠落した映像データおよび必要に応じて欠落した映像データの前後の映像データを映像データ蓄積部１１１から取得して解析し、映像データが欠落した場合に発生する映像劣化の度合いを、パラメータ設定部１１８から受け取った映像品質推定パラメータを加味して、映像劣化度として算出する（ステップＳ１２）。
【００７１】
ここで、映像劣化度を算出する方法の一例として、連続して劣化した映像のフレーム数と劣化度係数から映像劣化度を算出する場合を説明する。
【００７２】
図７は、ＲＴＰパケットと、ＴＳパケットと、映像のフレームとの対応関係を表した図である。映像データは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの各フレームデータから構成される。映像データを伝送する場合、一定サイズのＴＳパケットに分割される。例えば、フレーム＃１は、ＴＳパケットの＃１〜＃７に分割され、フレーム＃２は、ＴＳパケットの＃７〜＃１１に分割される。さらに、ＴＳパケットをＩＰで伝送する場合、ＴＳパケットはＲＴＰパケットにまとめられて伝送される。例えば、ＴＳパケットの＃１〜＃５はＲＴＰパケットの＃１にまとめられ、ＴＳパケットの＃６〜＃１０はＲＴＰパケットの＃２にまとめられてＩＰで伝送される。
【００７３】
図７に示される例において、ＲＴＰパケットの＃１が欠落した場合、映像品質推定部１１６は劣化部分推定部１１５からＴＳパケットの１番目から５番目（＃１〜＃５）のデータが欠落したという情報を受け取ると、ＴＳパケットの１番目から５番目（＃１〜＃５）の映像データを映像データ蓄積部１１１から取得し解析する。フレーム＃１（Ｉピクチャ）の映像データが欠落しているため、このフレームを参照して復号する後続フレーム全てに映像の劣化が伝播することがわかる。図７の例では、フレーム＃２〜フレーム＃４がフレーム＃１を参照して復号されるため、劣化するフレーム数の合計は４となる。算出されたフレーム数に劣化度係数１および２を乗じた値を映像劣化度とすると、現在の端末の端末ＩＤがＴ００１の場合、図５から劣化度係数１は１．１、劣化度係数２は０．５となるので、最終的な映像劣化度は４×１．１×０．５＝２．２と算出される。
【００７４】
上記映像劣化度の算出方法は、本発明を簡単に説明するための例であり、種々の変形を施すことが可能である。例えば、映像配信サーバ１１０が、配信する各パケットが格納する映像データの重要度に応じたパケット重要度を予め付与し送信状態情報に含めておき、映像品質推定部１１６が、送信状態情報に含まれるパケット重要度に基づいて画質劣化度を算出する負荷を減らした構成も採用可能である。
【００７５】
映像品質情報出力部１１７は、映像品質推定部１１６にて算出された映像劣化度をファイルやディスプレイ等へ出力する（ステップＳ１３）。
【００７６】
映像配信サーバ１１０は、所定の映像配信の停止条件が成立していない場合（ステップＳ１４のＮｏ）、上述したステップＳ３からＳ１３までのステップを繰り返す。
【００７７】
所定の映像配信の停止条件が成立した場合（ステップＳ１４のＹｅｓ）、映像配信サーバ１１０は、一連の処理を終了する。
【００７８】
同様に、映像受信端末１３０においても、映像データが配信されていれば（ステップＳ１５のＮｏ）、上記ステップＳ５からＳ７までのステップが繰り返される。一方、映像データの配信が停止された場合は（ステップＳ１５のＹｅｓ）、上記処理は終了する。
【００７９】
以上のように、本実施形態では、映像配信サーバで端末毎のプロファイルと、プロファイルに対応した映像品質推定パラメータ（劣化度計数）を保持し、端末に最適な品質推定パラメータを用いて映像品質を推定するように構成されているため、端末の機能、能力に応じた高精度な映像品質推定が可能となる。
【００８０】
以上、本発明の好適な実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した映像配信サーバの各処理手段を異なる装置上に分散して配置するなどして、同等の機能を実現することができればこの構成に限らない。
【００８１】
以上、本発明の第１の実施形態を説明したが、図２の構成等はあくまで一例を示したものに過ぎず、各種の変更を加えることができる。例えば、図２の映像配信サーバの各部を、異なる装置上に分散して配置した構成でも、同等の機能を実現することができる。
【００８２】
図８は、上記第１の実施形態に変更を加えた例である。図８の映像配信サーバ１１０の構成は上記した第１の実施形態と同様である。図８の例では、映像配信サーバ１１０、ＩＰネットワーク１４０、ゲートウェイ装置２３０及び映像受信端末２４０から構成され、映像配信サーバ１１０、映像受信端末２４０はＩＰネットワーク１４０により相互に接続されるが、映像配信サーバ１１０と映像受信端末２４０の間にゲートウェイ装置２３０が配置される点、および、ネットワーク状態情報生成部２３２および、ネットワーク状態情報送信部２３３が映像受信端末２４０ではなくゲートウェイ装置２３０上に配置される点で図２に示される構成とは異なる。
【００８３】
ゲートウェイ装置２３０は映像配信サーバ１１０と映像受信端末２４０の間に置かれ、映像配信サーバ１１０と映像受信端末２４０間の通信を監視し、ネットワーク状態情報を生成し、映像配信サーバ１１０へ送信する。
【００８４】
ゲートウェイ装置２３０はパケット監視部２３１、ネットワーク状態情報生成部２３２及びネットワーク状態情報送信部２３３を有する。
【００８５】
パケット監視部２３１は、映像配信サーバ１１０と映像受信端末２４０間の通信を監視し、ＲＴＳＰパケットなどを検知することで映像配信が開始されたことを検知すると映像配信サーバ１１０から映像受信端末２４０へ送信されるＲＴＰパケットの監視を開始する。
【００８６】
ネットワーク状態情報生成部２３２は映像配信が開始されると、映像配信サーバ１１０と映像受信端末２４０の間を流れるＲＴＰパケットを検査し、ＲＴＰシーケンス番号に不連続があった場合、パケットロスが発生したとみなし、欠落したＲＴＰパケット番号をネットワーク状態情報としてネットワーク状態情報送信部２３３へ通知する。
【００８７】
ネットワーク状態情報送信部２３３はネットワーク状態情報生成部２３２からネットワーク状態情報を受け取るとこれをＲＴＣＰなどのプロトコルにより映像配信サーバ１１０へ通知する。
【００８８】
図８に示される構成では、ゲートウェイ装置２３０上でパケットを監視し、ネットワーク状態情報を生成して映像配信サーバ１１０へ送信するものである。映像受信端末２４０がネットワーク状態情報を生成又は送信する機能を有しない場合であっても、映像品質を測定することが可能である。
【００８９】
また、上記した実施形態ではＲＴＰ等のプロトコルを用いた具体的なシーケンスを示したが、異なるプロトコルを用いても同等の機能を実現するものであれば置き換えることが可能である。
【００９０】
また例えば、映像受信端末２４０乃至ゲートウェイ装置２３０は受信できなったＲＴＰシーケンス番号をネットワーク状態情報として映像配信サーバ１１０へ送信し、受信できなかったパケットの再送を映像配信サーバ１１０へ要求することもできる。この場合、再送したパケットが映像受信端末２４０で復号処理を行うまでに到達した場合は、映像の劣化が発生しない。
【００９１】
このとき、ステップＳ４において、ＲＴＰシーケンス番号と映像データ先頭からのＴＳパケット番号の範囲および送信時刻の組を送信状態情報として保存しておき、ステップＳ１３において劣化部分推定部１１５はＲＴＰシーケンス番号に対応する映像データの先頭からのＴＳパケット番号の範囲及び送信時刻の情報を送信状態情報蓄積部１１３から取得し、送信時刻、再送要求パケットの到着時刻、ネットワーク統計情報などを元に、再送が間に合ったか間に合わなかったかを推測し、間に合わなかった可能性が高い場合は、ＴＳパケットの番号の範囲を映像データが欠落した可能性が高い部分として特定する。
【００９２】
この際に欠落した可能性をパーセンテージなどによって算出しあわせて映像品質推定部１１６へ通知するものとしても良い。さらに、映像品質推定部は映像劣化度とともに、このパーセンテージを合わせて映像品質情報出力部１１７へ出力してもよい。
【産業上の利用可能性】
【００９３】
本発明は映像配信サービスにおける映像の品質測定、管理に活用可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明に係る映像データ装置の構成を模式的に表した図である。
【図２】本発明の第１の実施形態の構成を表した図である。
【図３】本発明の第１の実施形態の映像配信サーバが作成する送信状態情報を説明するための図である。
【図４】端末プロファイル保持部が保持する端末プロファイルの一例を示す図である。
【図５】映像品質推定パラメータ保持部が保持する情報をテーブル形式で表した図である。
【図６】本発明の第１の実施形態の動作を表した図である。
【図７】ＲＴＰパケットと、ＴＳパケットと、映像のフレームとの対応関係を表した図である。
【図８】本発明の第１の実施形態の変形構成を表した図である。
【符号の説明】
【００９５】
１０  映像データ送信装置
１２  映像データ送信部
１５  劣化部分推定部
１６  映像品質推定部
１８  パラメータ設定部
３０  映像データ受信装置
１１０  映像配信サーバ
１１１  映像データ蓄積部
１１２  映像データ送信部
１１３  送信状態情報蓄積部
１１４  ネットワーク状態情報受信部
１１５  劣化部分推定部
１１６  映像品質推定部
１１７  映像品質情報出力部
１１８  パラメータ設定部
１１９  端末プロファイル保持部
１２０  映像品質推定パラメータ保持部
１３０、２４０  映像受信端末
１３１、２４１  映像データ受信部
１３２、２４２  復号処理部
１３３  ネットワーク状態情報生成部
１３４  ネットワーク状態情報送信部
１４０  ＩＰネットワーク
２３０  ゲートウェイ装置
２３１  パケット監視部
２３２  ネットワーク状態情報生成部
２３３  ネットワーク状態情報送信部
【図１】
2010098441.tif 000003
【図２】
2010098441.tif 000004
【図３】
2010098441.tif 000005
【図４】
2010098441.tif 000006
【図５】
2010098441.tif 000007
【図６】
2010098441.tif 000008
【図７】
2010098441.tif 000009
【図８】
2010098441.tif 000010