(57)【特許請求の範囲】
【請求項１】
複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が用いる動画符号方式および通信プロトコルを用いて前記ネットワークに送信される前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置を備え、
前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする動画通信管理装置。
【請求項２】
複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が送信する前記動画符号を中継する中継装置と、前記中継装置から受信する動画符号方式および通信プロトコルを用いて前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機、前記中継装置、及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置とを備え、
前記中継装置は、入力した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする動画通信管理装置。
【請求項３】
前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを、受信タイムスタンプと共に前記動画通信分析装置に送信することを特徴とする請求項１記載の動画通信管理装置。
【請求項４】
前記受信機は、動画受信中の復号した動画の表示処理におけるアクション情報の一部またはすべてを、前記動画通信分析装置に通知することを特徴とする請求項１又は請求項３記載の動画通信管理装置。
【請求項５】
前記動画通信分析装置は、
複数の動画符号方式および通信プロトコルのそれぞれの組について、
前記分析結果の利用動画品質パラメータまたは符号プロトコル評価値を一部またはすべてをグラフ表示する手段を備え、
２種以上の前記動画符号または２種以上の前記通信プロトコルを、互いに等しい様式のグラフで表示する
ことを特徴とする請求項１から請求項４の何れかに記載の動画通信管理装置。
【請求項６】
前記動画通信分析装置は、２種以上の前記動画符号または２種以上の前記通信プロトコルのそれぞれの組についての前記動画符号を復号して復号動画を得る復号手段と、
前記送信機から対応する原画を入力する入力手段とを備えており、
前記原画に対する前記復号動画の差画像の画素の自乗または画素の絶対値の平均値を算出して、最小の平均値を与える動画符号および通信プロトコルを指示する
ことを特徴とする請求項１から請求項５の何れかに記載の動画通信管理装置。
【請求項７】
前記入力手段は、前記ネットワークを介さず、前記送信機から前記動画通信分析装置に前記原画を入力するインターフェースであることを特徴とする請求項６記載の動画通信管理装置。
【請求項８】
前記動画通信分析装置は、
複数の前記動画符号および複数の前記通信プロトコルのそれぞれについて、
一種以上の利用動画品質パラメータから符号プロトコル評価値を算出および表示する手段と、
動画品質評価関数に一種以上の動画品質評価引数を入力して前記利用動画品質パラメータをそれぞれ算定する利用動画品質パラメータ算定手段と、
前記動画品質評価引数の値の第一の算定手段について、前記動画通信中に前記原画および前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを取得分析して算定する手段と、
前記動画品質評価引数の値の第二の算定手段について、予め実行された実験値に基づいて特定の動画符号および通信プロトコルにおける前記動画品質評価引数を推定して算定する手段とを有し、
２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記利用動画品質パラメータまたは前記符号プロトコル評価値を比較することを特徴とする請求項１から請求項７の何れかに記載の動画通信管理装置。
【請求項９】
前記動画通信分析装置は、前記動画品質評価関数を、前記取得分析による前記動画品質評価引数の算定または前記実験値に基づいて、前記動画品質評価引数の算定に一致する関数に変更する手段を備えることを特徴とする請求項８記載の動画通信管理装置。
【請求項１０】
前記動画通信分析装置は、動画通信中に入力した動画符号を分析して、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。
【請求項１１】
前記動画通信分析装置は、動画通信中に通信プロトコルを分析し、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。
【請求項１２】
前記動画通信分析装置は、動画通信中の利用環境に関するパラメータを取得する手段を備え、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする請求項８記載の動画通信管理装置。
【請求項１３】
前記送信機は、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記利用動画品質パラメータを算出することによって前記送信機の試験を行う
ことを特徴とする請求項１から請求項１２の何れかに記載の動画通信管理装置。
【請求項１４】
前記送信機は、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記受信機から前記利用動画品質パラメータを算出することによって前記受信機の試験を行う
ことを特徴とする請求項１から請求項１２の何れかに記載の動画通信管理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画通信管理装置に関し、特にディジタル動画データの送受信に用いられるプロトコルを管理する動画通信管理装置に関する。
【０００２】
【従来の技術】
一般的に、データ伝送路を介して接続された計算機の間でデータの授受を行うためには、データ送信側の計算機とデータ受信側の計算機との間で用いられるプロトコルを同一にする必要がある。
この状況はディジタル動画データの通信においても同様であり、例えば動画送信端末又は動画サーバと呼ばれる動画送信装置が、動画をネットワークを介して動画受信装置へ送信するにあたり、動画送信装置と動画受信装置とが同一の通信プロトコル及び動画符号方式を予め実装する必要がある。
【０００３】
以下、本明細書では、「通信プロトコル」とは、例えばＵＤＰ／ＩＰ（User Diagram Protocol/Internet Protocol）のように動画以外の通信にも利用される通信上のプロトコルを含む意味で用い、送信装置と受信装置とでデータの送受信に先だってネゴシエーションを行うための通信も含むものとする。
また、本明細書では、「動画符号方式」とは、動画符号に関するプロトコルであり、動画の通信を目的とした送信・受信、復号・表示、及びネットワーク機器との間で取り決められた規約を含む意味で用いる。この動画復号方式は、例えば国際標準化機構であるＩＳＯ（International Organization for Standardization）及びＩＥＣ（International Electrotechnical Commission）によるＭＰＥＧ（ISO/IEC-11172）、ＭＰＥＧ−２（ISO/IEC-13818）、ＭＰＥＧ−４（ISO/IEC-14496）、ＩＴＵ（International Telecommunication Union）勧告Ｈ．３２０、Ｈ．３２４、Ｈ．２６１、Ｈ．２６３等がある。
【０００４】
さらに、本明細書では、動画通信プロトコルとは、動画通信に用いられるプロトコルであり、動画符号方式と通信プロトコルとを組み合わせた意味で用いる。例えば、ＭＰＥＧに準拠して生成されたデータストリームをＵＤＰ／ＩＰに準拠したパケットで送信する場合などがある
【０００５】
従来、動画通信プロトコルは、処理速度の点で専用のＬＳＩを用いた専用ハードウェアにより処理されていた。このため、ネットワークに接続された送信装置及び受信装置は、専用ハードウェアが扱うことができる最低限の共通プロトコルを用いて通信を行っていた。例えば、送信装置にＭＰＥＧエンコーダ、受信装置にＭＰＥＧデコーダを実装して動画データの通信を行っていた。
【０００６】
尚、本明細書で用いられる語句「一種類の通信プロトコル」、「一種類の動画符号方式」、「一種類の動画通信プロトコル」とは、他のプロトコルを選択する余地がなく、送信装置及び受信装置が共通に用いる一種類のプロトコルをいう。
一般には、通称が一種類のプロトコルである場合にも、異なるパラメータを設定して通信手順を変えることができたり、プロトコルそのものに選択肢が用意されていて、状況に応じていずれかを選んで送信に用いることがある。
【０００７】
例えば、ＭＰＥＧ−２の規約の中には、双方向予測／単方向予測の何れを行うかを選択する選択肢がある。例えばメインプロファイル／シンプルプロファイルである。しかしながら、ＭＰＥＧ−２デコーダ・ＭＰＥＧ−２エンコーダと呼ばれるものであっても双方向予測に対応しないものもあるなど、「双方向予測によるＭＰＥＧ−２」というプロトコルが共通である場合とそうでない場合とがある。この場合、本明細書では「単方向予測によるＭＰＥＧ−２」と「双方向予測によるＭＰＥＧ−２」を別種のプロトコルとする。
【０００８】
次に、プロトコルの使い分けについて述べる。画像通信において、どの動画通信プロトコルが最も適しているかは、動画通信の利用目的、利用状況に応じて様々である。
上記の双方向予測による方式は符号化効率が高く少ない符号量で済むという特徴を有し、単方向予測による方式は復号処理遅延時間が短くて済むという特徴を有する。例えば、テレビ会議のような用途には、復号遅延量が小さい単方向予測による方式の方が多くの場合有効である。
【０００９】
送信装置と受信装置とが双方向予測／単方向予測の何れも対応できる場合には、動画を送信する装置内で適宜選択されて送信される。逆に、単方向予測のみに対応するＭＰＥＧ−２デコーダＬＳＩを実装している場合は、符号化効率の要求が高くても、単方向予測しか利用できないという場合もある。
【００１０】
また受信装置又はデコーダの処理速度性能が原因で、処理量が多く繁雑な方式では送受信できない場合もある。更に、利用しているネットワークの利用可能な帯域幅の制限によって、符号量が大きくなる方式を用いた場合には送受信できないときもある。符号レートの制限の下では符号量を増やす代わりに、解像度・階調などの点で画質を粗くすることも多い。この場合は符号化効率が高いと画質がよくなる。
【００１１】
また、前述の単方向予測／双方向予測以外の動画通信プロトコルについて、ネットワークトラフィックの影響を考慮して通信を行ったり、伝送エラー耐性（誤り耐性）を考慮して通信を行ったり、数値のｂｉｔ表現により符号量を考慮して通信を行ったりする点において異なる動画通信プロトコルもある。
ネットワークに接続された計算機間で行われるデータ通信の授受を監視する通信監視装置に関しては、同出願人によって出願された特願平０９−０７８４８６号がある。
【００１２】
【発明が解決しようとする課題】
ところで、従来は、動画通信プロトコルの実装について、処理速度の点で専用のハードウェアによって実現していたが、装置内部に設けられたＣＰＵ（中央処理装置）の処理速度が向上することによって、ソフトウェアによる実装が可能となってきた。更に、インターネット等のネットワークの発達により、動画通信プロトコルを実現するためのソフトウェアの配布が容易となるので、送受信装置での動画通信プロトコルの変更が容易になり、また送受信端末にそれまで実装されていない動画通信プロトコルでも、新たに実装することが容易となる。はじめからソフトウェアプロトコルのインストール・アンインストールが想定された端末も普及が予想される。このような状況では、動画通信プロトコルを必要に応じて実装することになる。
【００１３】
利用目的・利用網に応じて最適な動画通信プロトコルが各々開発されているが、新しい利用目的の発見、新しい利用網の開発などにより、それぞれについて最適な動画通信プロトコルが開発されていき、今後、利用可能な動画通信プロトコルの種類はますます増加していくと予想される。そこで、利用目的や利用網に応じた動画通信プロトコルを選択して利用することが重要になってくる。
【００１４】
このような状況に加えて、さらに次の背景がある。公衆移動網や無線ＬＡＮが普及し、携帯端末も多く利用される。無線区間を含む通信路で動画通信を利用する場合は、従来の有線の通信とは伝送エラー率が桁違いに大きいことから、次に述べる動画通信技術が必要とされる。確実なデータ伝送の場合は、通信路の伝送エラー率が大きい場合は、データの再送を行ってエラーを含まなくなるまで繰り返せばいいが、動画通信では決められた時間内に到着する必要がある。
【００１５】
一方、データ伝送に比べ、画面の一部に短時間に動画の欠損が生じても利用目的に応じて許容できる用途もある。そこで無線区間を含む動画通信では、独特の要求条件の下で最適な動画通信プロトコルを利用する必要がある。無線区間の伝送エラーが出現する状況は、利用網が変わると大きく異なるのはもちろんのこと、場所が変わっても異なるので、それぞれのケースを評価しながら最適な動画通信プロトコルを利用することが重要になってくる。
【００１６】
このことを動画符号技術について予測符号化方式を例に説明する。国際動画符号標準の中で、ＩＴＵ勧告のＨ．２６１、Ｈ．２６３、ＩＳＯ／ＩＥＣ規格のＭＰＥＧ、ＭＰＥＧ−２では、いずれも予測符号化方式が採用されているので、極めて頻繁に利用される技術である。予測符号化方式とは、少ない符号量で通信できるよう符号化効率を高くする目的で用いられる方式であり、参照値・予測式・予測係数を予め送信し、残差を送る毎に元の値を復元する方法である。
【００１７】
予測符号化方式では、例えば、データ「１０２」、「１０７」、「１０５」・・を送信する場合、参照値を「１００」、予測式・予測係数は、「参照値＋残差」であるという取り決めを通信し、残差２、７、５・・を通信する。復号する際には、１００＋２、１００＋７、１００＋５・・という方法で復元する。さらに、この例では一桁の整数に残差が頻出するが、頻出値ほど短い符号を割り当てることにする可変長符号という方法が組み合わされる。割り当ての表は予め送信される。
【００１８】
このような予測符号化方式では、多くの値を復号するのに共通の参照値・予測式・予測係数を一度通信するだけでよい。これによれば、それぞれ値を通信するより、極めて少ない符号量で済む。残差が特定の値に頻出するような予測を取り決めればよい。前例では値がどれもほぼ同じくらいの大きさを持つことが多く、それも「１００」に近いことが多いという予測をしている。値の現れる統計的性質を利用して、精度の高い予測を行うほど符号が少なくできる。
【００１９】
次に、無線区間を含む通信路で予測符号化方式を用いた場合の問題点を説明する。無線区間では伝送エラーを考慮する必要がある。符号化効率を高めるためには、多くの残差と少ない参照値・予測係数・符号割り当ての取り決めなどの情報を送る必要がある。この場合に残差に伝送エラーが生じた場合は、ひとつの復号値が誤りを含んでいるのみであり、動画としては多くの場合は品質の劣化は小さい。
【００２０】
一方、参照値や予測係数に伝送エラーが生じた場合は、それを利用している多数の復号値に誤りを含んでいることになり、伝送エラー又は誤り訂正で見逃したエラーが１ｂｉｔに過ぎない場合でも、動画としての品質は著しく劣化する。ひとつの参照値に属する復号値の数を多くすれば、符号化効率は高くなるが誤り耐性は小さくなる。
【００２１】
一般に、参照値の割合について、さまざまな利用状況に応じて符号量の制限や伝送エラー率が異なるので、最適な割合が利用状況に応じてそれぞれ存在することになり、それぞれのケースを評価しながら最適な動画通信プロトコルを利用することが重要になってくる。
【００２２】
また、動画の通信を行う場合には次のような事態が考えられる。この事態については前述の双方向予測方式によって通信する場合を例に挙げて説明する。以下において用いる「動画のフレーム」とは、動画を瞬間瞬間の静止画の連続だと見なして、瞬間の一枚の静止画のことをいう。動画は一般的に、毎秒１〜３０フレーム前後のフレームからなる。動画の画面内を物体や人物、あるいはその一部に注目すると、何フレームかにわたっておよそ一定の速度と向きで移動することが多い。任意の２つのフレームにおける対応する位置の違いを横方向の画素数と縦方向の画素数の組で表し、動きベクトルと呼ぶ。あるフレームで物体の特定の画素を予測する際、その画素に対して、時間的に前方のフレームと後方のフレームの中にそれぞれ対応する動きベクトルの指す画素値を得て参照値とする。画素値の時間変化の速度が一定と考えて内挿して得られる値を予測値とし、注目画素値との差を残差とする。
【００２３】
例えば、第２フレームのある画素を双方向予測するために、第１フレームと第４フレームに対するそれぞれの動きベクトルから得られる２つの参照画素値の間を１：２に内分する値を予測値とし、残差を送信する。画素値の時間変化が一定なら残差は０を中心に頻出するので、前述のような可変帳符号を用いて、符号量を極めて少なくすることができる。
【００２４】
しかし、双方向予測における処理遅延時間の問題点がある。まず符号化の際、第２フレームの予測値は第４フレームが入力されてから算出されるので、第２フレームの符号化は第４フレーム符号化の時間的に後になる。また復号化の際、第２フレームの復号は、第４フレームが復号部に入力されることにより参照値が得られ、第２フレームの残差から復号される。このため、第２フレームの復号は第４フレーム復号の時間的にあとになる。計算処理時間・伝送時間が充分に小さいとしても第２フレームの復号は２フレーム間隔以上は遅れることになる。
【００２５】
これに対して、単方向予測とは、動きベクトルで対応する画素は変化しないことが多いという性質を利用したものであり、例えば、第２フレームのある画素を単方向予測するために、第１フレームに対する動きベクトルから得られる参照画素値をそのまま予測値とし、残差を送信する。時間的にあとから前を予測することはないので単方向予測と呼ばれる。単方向予測での処理遅延時間は、フレームの順にしたがって、処理されるので双方向予測のような遅延はない。
【００２６】
テレビ会議のように動画を介して会話する場合は遅延が重要である。会話が不自然にならないためには、カメラに動画が入力されて、受信機で表示されるまでを全遅延時間とすると、１秒の数分の一程度を越えないようにする必要がある。毎秒５フレームで偶数番目のフレームに双方向予測を用いた場合は、フレーム間隔である２００ｍｓに処理遅延と伝送遅延時間とを加えた遅延が発生するので、違和感を感じるおそれがあり、伝送遅延時間や計算処理時間が追加され、問題が生じる。
【００２７】
このような状況で無線区間を含む通信路を利用し、さらに無線区間では伝送エラーに対して誤りが無くなるまで再送が実行される場合を考えると、伝送エラーの程度に最大の伝送遅延時間が依存し、双方向予測をやめて単方向予測とすることも検討される。単方向予測の場合は双方向予測より相対的に符号量が増加するので、画質を粗くするとかフレームレートを下げるなど画像品質劣化が想定される。
このように、双方向予測／単方向予測の選択は、伝送エラーの状況・遅延時間の許容度・符号量制限（画像品質）などから利用目的と利用状況に応じて決定する必要がある。
【００２８】
前述の例の他に、伝送エラー耐性（＝誤り耐性）の異なる方式、数値のｂｉｔ表現により符号量の異なる方式などを比較する場合、伝送エラーの状況・符号量制限（画像品質）・復号処理速度の点から、利用目的と利用状況に応じて決定する必要がある。
以上説明したように、動画の通信を行うためには、利用目的によって、利用状況の下で評価した上で、それぞれ異なる最適な動画符号化方式を選択する必要がある、という課題が発生する。
【００２９】
この課題に対して、図３を参照して、従来の動画通信装置の問題点を説明する。図３は、従来一般的に用いられている動画通信装置の構成を示す図である。
図３に示されたように従来の動画通信装置は、ネットワーク２０に接続された動画送信機である動画サーバ１０と、ネットワーク２０に接続された無線固定局２５と無線によって通信を行う動画受信機である端末３０とからなる。動画サーバ１０及び端末３０は共通の動画符号方式及び通信プロトコルを備えており、動画サーバ１０から送信された動画符号は、ネットワーク２０及び無線固定局２５を介して端末３０へ送信される。
【００３０】
今、単方向予測及び双方向予測のどちらも動画サーバ１０及び端末３０で共通のプロトコルであるとする。前述の課題である単方向予測か双方向予測かの選択については、従来は、動画サーバ１０の内部において、単方向予測の場合の符号量と双方向予測の場合の符号量を同時に算定して、符号量の少ない方の方式を選択していた。
【００３１】
この例のように従来は、プロトコル選択が動画送信機内部で処理されてきたために、ネットワーク２０を介して、全体の伝送エラーの状況、それによって生じる最大の伝送遅延時間などを評価することができないので、符号量の少ない方という選択が、端末３０で利用される画像品質という点で最適な選択かどうか評価することができないという問題がある。
【００３２】
従来は符号量に対して伝送帯域の比較的小さな無線区間での動画通信の利用は少なかったので、伝送エラー率の極めて小さな有線伝送路を利用することが多かったので、影響は小さかったが、無線区間の伝送帯域が従来より大きな伝送路が利用されるようになって、無線区間で伝送エラーの動画品質に与える影響を、実際にできるだけ近い状態で、評価する必要が大きい。
【００３３】
利用目的に応じて要求される受信機での画像品質に対して、利用網の通信状態の上で、動画符号方式と通信プロトコルが最適かどうかということを評価する必要性に対して、図３に示す従来の動画通信装置では、プロトコル選択が動画サーバ１０の内部のみで処理されてきたために、十分な評価ができないという問題点がある。
【００３４】
端末でのデータ受信品質を評価して送信機で最適な通信プロトコル選択を行う従来装置については、同出願人によって出願された特願平０９−０７８４８６号がある。動画符号通信はデータ通信の一部であるが、限られた時間内に受信される必要があることと、伝送エラーの許容度が比較的ゆるやかであることと、所与の通信品質特性における利用動画品質が動画符号方式に依存することが異なる。
【００３５】
動画通信の管理には、伝送エラー率や伝送遅延時間などの通信特性が向上すれば、およそ利用画像品質も向上するという点があるが、さらに最適な動画符号方式を選択することによって、より確実に利用画像品質を向上させることができる。利用画像品質の評価に基づく動画通信に特定した通信管理装置が必要である。
【００３６】
本発明は、上記事情に鑑みてなされたものであり、利用画像品質の評価に基づく、最適な動画符号及び通信プロトコル選択を行う動画通信管理装置を提供することを目的とする。
【００３７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が用いる動画符号方式および通信プロトコルを用いて前記ネットワークに送信される前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置を備え、
前記受信機は、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする。
また、本発明は、複数の動画符号方式および複数の通信プロトコルの中から選択してネットワークにディジタルである動画符号を送信する送信機と、前記送信機が送信する前記動画符号を中継する中継装置と、前記中継装置から受信する動画符号方式および通信プロトコルを用いて前記動画符号を受信・復号する受信機とからなる動画通信装置を管理する動画通信管理装置において、
前記ネットワークを介して前記送信機、前記中継装置、及び前記受信機に接続され、前記動画符号および前記通信プロトコルによって生成された信号を入力して分析する手段と、２種以上の前記動画符号または２種以上の前記通信プロトコルとの比較分析を行う手段と、前記比較分析結果を前記送信機へ送出する手段とを有する動画通信分析装置とを備え、
前記中継装置は、入力した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを前記動画通信分析装置に送信する手段を備え、
前記送信機は、前記動画通信分析装置から送出された前記比較分析結果に基づいて、複数の動画符号方式および複数の通信プロトコルの中から選択する手段と、選択した動画符号方式および通信プロトコルに対応する受信復号機能を前記受信機が持つことを確認する手段と、確認した前記動画符号方式および前記通信プロトコルを用いて前記動画を送信する手段とを備える
ことを特徴とする。
また、本発明は、前記受信機が、受信した前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを、受信タイムスタンプと共に前記動画通信分析装置に送信することを特徴とする。
また、本発明は、前記受信機が、動画受信中の復号した動画の表示処理におけるアクション情報の一部またはすべてを、前記動画通信分析装置に通知することを特徴とする。
また、本発明は、前記動画通信分析装置が、
複数の動画符号方式および通信プロトコルのそれぞれの組について、
前記分析結果の利用動画品質パラメータまたは符号プロトコル評価値を一部またはすべてをグラフ表示する手段を備え、
２種以上の前記動画符号または２種以上の前記通信プロトコルを、互いに等しい様式のグラフで表示する
ことを特徴とする。
また、本発明は、前記動画通信分析装置が、２種以上の前記動画符号または２種以上の前記通信プロトコルのそれぞれの組についての前記動画符号を復号して復号動画を得る復号手段と、
前記送信機から対応する原画を入力する入力手段とを備えており、
前記原画に対する前記復号動画の差画像の画素の自乗または画素の絶対値の平均値を算出して、最小の平均値を与える動画符号および通信プロトコルを指示する
ことを特徴とする。
また、本発明は、前記入力手段が、前記ネットワークを介さず、前記送信機から前記動画通信分析装置に前記原画を入力するインターフェースであることを特徴とする。
また、本発明は、前記動画通信分析装置が、
複数の前記動画符号および複数の前記通信プロトコルのそれぞれについて、
一種以上の利用動画品質パラメータから符号プロトコル評価値を算出および表示する手段と、
動画品質評価関数に一種以上の動画品質評価引数を入力して前記利用動画品質パラメータをそれぞれ算定する利用動画品質パラメータ算定手段と、
前記動画品質評価引数の値の第一の算定手段について、前記動画通信中に前記原画および前記動画符号および前記通信プロトコルによって生成された信号の一部またはすべてを取得分析して算定する手段と、
前記動画品質評価引数の値の第二の算定手段について、予め実行された実験値に基づいて特定の動画符号および通信プロトコルにおける前記動画品質評価引数を推定して算定する手段とを有し、
２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記利用動画品質パラメータまたは前記符号プロトコル評価値を比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、前記動画品質評価関数を、前記取得分析による前記動画品質評価引数の算定または前記実験値に基づいて、前記動画品質評価引数の算定に一致する関数に変更する手段を備えることを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中に入力した動画符号を分析して、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中に通信プロトコルを分析し、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記動画通信分析装置が、動画通信中の利用環境に関するパラメータを取得する手段を備え、２種以上の前記動画符号または２種以上の前記通信プロトコルに対する前記動画品質評価引数を算定し、前記動画品質評価関数を用いて前記利用動画品質パラメータを算出し、前記利用動画品質パラメータまたは符号プロトコル評価値を算出および表示することにより２種以上の前記動画符号または２種以上の前記通信プロトコルを比較することを特徴とする。
また、本発明は、前記送信機が、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記利用動画品質パラメータを算出することによって前記送信機の試験を行う
ことを特徴とする。
また、本発明は、前記送信機が、複数の前記動画符号および複数の前記通信プロトコルについて順にそれぞれ動画通信を行う手段を備え、
前記動画通信分析装置は、前記動画符号および前記通信プロトコルのそれぞれについて、前記受信機から前記利用動画品質パラメータを算出することによって前記受信機の試験を行う
ことを特徴とする。
【００３８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１、本発明の実施形態による動画通信管理装置の構成を示すブロック図である。本実施形態では、図１に示されたように、動画サーバ４０及び中継装置７０がネットワーク５０に接続されており、更にネットワーク５０には、無線固定局５５が接続され、この無線固定局５５と端末６０とが無線によって通信を行う場合を例に挙げて説明する。
【００３９】
上記ネットワーク５０はＬＡＮ、公衆網、専用線等である。また、このネットワーク５０は無線区間を含んでいても含まなくても良い。特に無線区間を含む場合は、後述するように本発明の効果が大きくなるので、以下の説明では無線区間を含んだ場合を例に挙げて説明する。無線区間は、例えば携帯電話、コードレス電話、衛星通信網、無線ＬＡＮによって実現される。
【００４０】
端末６０は、複数種の通信プロトコルと、これらのプロトコルを用いて送られてくる複数種の動画符号を受信して復号し、動画の表示を行う。ＬＡＮインターフェースカードを接続したワークステーション、電話回線に対応するターミナルを内蔵した携帯型パーソナルコンピュータ、画像表示のできる液晶パネルを有する携帯電話機などがある。複数種の通信プロトコルには、ＴＣＰ／ＩＰ、ＵＤＰ／ＩＰ、ＩＳＤＮプロトコルなどがある。
【００４１】
複数種の動画符号には、国際標準にはＭＰＥＧ、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３などがある。特に本実施形態においては、選択の余地のある動画符号プロトコルは別種とみなす。したがって前述のようにＭＰＥＧ−２の予測方式において、単方向予測、双方向予測については選択の余地がある。別の例ではＨ．２６３のオプションとして、ＰＢフレームモード、算術符号モードなどがあり、それぞれ選択の余地があり、別種のプロトコルであるとする。
【００４２】
尚、本実施形態では、端末６０が受信を行う場合についてのみ説明するが、動画送信機能を有していてもよい。
動画サーバ４０は、複数種の動画符号が生成でき、それを複数種の通信プロトコルで、動画送信できる手段を有する動画送信機である。特にサーバ機能は不可欠ということはない。またビデオカメラからリアルタイムに符号圧縮しながら送信する場合と、記憶装置にすでに動画符号を蓄積したものを読み出しながら送信する場合とがあるが、本発明では、動画符号の選択の余地があればどちらも適用可能である。
尚、本実施形態では、動画サーバ４０が送信を行う場合についてのみ説明するが、動画受信機能を持っていてもよい。
【００４３】
中継装置７０は、ネットワーク５０上の適当な位置に設けられ、動画を中継する装置である。例えば、携帯電話網における基地局、ＬＡＮにおけるルータなどである。さらに、中継装置７０が、端末６０以外の別の端末（図示省略）にも動画を配信する場合、端末６０と中継装置７０との接続が携帯電話網であり、別の端末と中継装置７０との接続がＬＡＮであるなど、複数の端末の間で利用帯域・通信プロトコルが異なる場合がある。このような場合の特徴は、動画サーバ４０から動画が送信されたときの動画通信プロトコルと、端末６０で受信されたときの動画通信プロトコルとが同一であるとは限らないということがある。
【００４４】
後述するように中継装置７０の前後の動画通信プロトコルを評価する場合、端末６０が無線を介してネットワーク５０へ動画を送信する場合などでは中継装置７０における動画通信プロトコルが評価の対象となることもある。
以上が動画通信装置の例である。次に、動画通信分析装置について説明する。
【００４５】
動画通信分析装置８０は、通常はネットワーク５０に接続されているが、動画サーバ４０、中継装置７０、端末６０とそれぞれ必要に応じて接続すればよいし、それぞれ専用のインターフェースあるいはネットワークでもよい。ひとつの動画通信分析装置によって複数の動画送受信機及び中継装置の評価ができるので、動画通信分析装置８０にとって通信の入出力を共通化する目的ではネットワーク５０に接続するのが、効率的である。あるいは動画通信分析装置８０が複数の装置からなり、複数の装置はすべてネットワーク５０に接続され、互いに必要な通信を行う構成でも同じである。
【００４６】
動画通信分析装置８０は、動画送信中の動画符号及び通信プロトコルを一部又はすべて入力する。その出力は必要に応じて次の場合がある。
（１）端末６０で受信した動画符号及び通信プロトコルを入力する。
これは端末利用上の動画品質に注目した評価を目的とする場合である。無線区間を経由して受信する場合には、無線区間の評価を目的とする。
【００４７】
端末６０は、受信した動画符号及び通信プロトコルを動画通信分析装置８０に送信する場合に、次に説明する受信タイムスタンプと表示アクション情報と復号処理速度と利用環境情報のいずれか又はすべてと共に送信してもよい。
【００４８】
受信タイムスタンプとは、動画のひとまとまり、例えば各フレーム又は各オブジェクトの復号に必要な動画符号の最終ｂｉｔを受信した時刻を表すデータであり、時刻精度は１ミリ秒の程度である。この最終ｂｉｔを動画通信分析装置８０に送信する時に続けて受信タイムスタンプを送信する。あるいは、端末６０が動画をデータパケット形式で受信している場合は、パケットの最終ｂｉｔを受信した時刻を表すデータとして、このパケットの動画符号を動画通信分析装置８０に送信する時に続けて受信タイムスタンプを送信してもよい。受信タイムスタンプを動画通信分析装置８０に送信することにより、伝送遅延時間に関する評価ができる。
【００４９】
また表示アクション情報とは、端末６０の表示される画像の品質の推定確度を補強する目的で、端末６０が動画を表示する際の処理内容に関する情報である。例えば、動画フレームの復号が遅延したため特定の動画フレームの復号表示をとばして新たな動画フレームの復号表示を開始するというアクション、いわゆるフレーム落ちの発生がある。
【００５０】
他の例では、伝送エラーにより受信した動画符号の一部が復号できなかった場合、画像上で、同じ動画フレームの隣接位置や同一位置の隣接動画フレームから画像を一部コピーすることにより、表示上目立たなくするというアクション、いわゆるコンシールメント発生の情報がある。
【００５１】
他の例では、復号により画素値を復元した後、表示画像を見やすくする目的で行う画像処理、例えばポストデブロッキングフィルタの使用がある。これは前述の国際動画符号標準で用いられているＤＣＴと呼ばれる方式に伴うブロック歪みという原画にはない模様が出る欠点を低減するために復号後の画像に施される後処理の画像処理フィルタである。
【００５２】
このような表示アクション情報を動画通信分析装置８０に送信することにより、表示画像品質の推定確度がより高くなる。
【００５３】
また復号処理速度とは、端末が復号表示処理全体に対する処理性能であり、前述のフレーム落ちの発生の原因として復号処理速度が小さいという場合もある。画面の解像度や動画フレームレートの選定のみならず動画符号方式の選択によって、符号量が増加したり、復号処理量が増加したりするので、端末の復号表示処理性能に見合った動画符号方式の選択を行う必要がある。この目的で端末６０の復号処理速度を表す情報を動画通信分析装置８０に送信する。
【００５４】
復号処理速度が周知の端末であれば、例えば、端末６０の製品型名、端末６０で使用されているデコーダLSIの製品型名、端末６０で使用されているCPU種類及びOS種、あるいはCPUのクロック周波数、CPUの単位時間当たりの命令処理数(MIPS)、CPUのベンクマークテスト性能などでも、復号表示処理速度が推定できるので、復号処理速度を表す情報として送信してもよい。
【００５５】
また利用環境情報とは、利用目的と接続網に関する情報である。利用目的に関する情報としては、例えば映画鑑賞のような高画質を要求する鑑賞目的かそうでないか、ビデオ会議のように双方向の会話で１秒の数分の一以下の遅延を要求するリアルタイム目的かそうでないか、などを表す情報である。動画通信分析装置８０が評価において画質優先か低遅延性優先で行うかをきめる目的で送信する。
【００５６】
接続網に関する情報とは、動画通信分析装置８０が動画符号及び通信プロトコルを選択する際に、例えば利用可能な通信プロトコル候補を限定し、利用可能な符号レート上限を設定する目的で送信する。例えば利用可能な通信プロトコルや利用可能な符号レートが周知であれば、簡単に接続網種の名称でもよい。例えば、ＰＩＡＦＳとか１０ＢＡＳＥと送信してもよい。また、接続網種から通信料金も明らかになる。
【００５７】
（２）中継装置７０が送信する動画符号及び通信プロトコルを入力する。
これは中継装置７０が、動画サーバ４０が送信した動画符号及び通信プロトコルを変換して動画を配信する場合、変換後の動画品質に注目した評価を目的とする場合である。
【００５８】
（３）中継装置７０が無線区間から受信した動画符号及び通信プロトコルを入力する。
これは無線区間の評価を目的とする場合である。
【００５９】
中継装置７０は、動画符号及び通信プロトコルを動画通信分析装置８０に送信する場合に、次に説明する端末情報と中継情報と共に送信してもよい。
端末情報とは、前述の端末６０が動画通信分析装置８０に送信する情報、すなわち、受信タイムスタンプと表示アクション情報と復号処理速度と利用環境情報の一部又はすべてであり、中継装置７０が通信を中継する。
【００６０】
中継情報とは、中継装置７０が動画サーバ４０からの注目している動画の中継に関する情報である。例えば、図１で図示しない端末６０以外の端末に同じ動画を配信している場合がある。端末は利用開始から利用終了までの時間が異なったり、それぞれ利用帯域、復号処理速度などが異なる場合があるので、中継装置７０が動画配信を端末ごとに複数の動画チャンネルとして配信する場合がある。中継情報とは、例えば、配信する動画チャンネルの数とそれぞれのチャンネルにおける前述の端末情報である。
【００６１】
次に動画通信分析装置８０の構成と作用を説明する。図１に動画通信分析装置８０の内部のブロック構成を示す。まず、各ブロックを簡単に説明する。
比較プロトコル指定部８１は、比較評価を行う動画符号及び通信プロトコルの候補を指定する。動画通信分析装置８０のユーザが指定してもよい。又は、前述の端末情報・中継情報を取得して、利用目的・利用網・利用帯域・復号処理速度などにより限定した動画符号及び通信プロトコルを列挙することもできる。
【００６２】
利用分析部８２は、前述の端末情報を端末６０から取得し、又は、中継装置７０から中継情報を取得する。必要な項目について知識データ部９０へ出力する。
伝送符号部８３は、端末６０又は中継装置７０から、動画通信中の動画符号及び通信プロトコルを入力する。通信プロトコルを通信分析部８４へ出力し、動画符号を符号分析部８５と復号部８６へ出力する。前述の端末６０からの受信タイムスタンプを取得し、通信分析部８４へ出力する場合もある。
【００６３】
通信分析部８４は、伝送符号部８３から通信プロトコルを入力し分析する。例えば、通信プロトコル種を判別したり、プロトコル上のパラメータを抽出したり、伝送エラー率・再送率・廃棄データ長、伝送遅延時間・符号レートなどを分析する。この分析に前述の受信タイムスタンプを利用することもできる。
符号分析部８５は、伝送符号部８３から動画符号を入力し分析する。例えば、画面サイズ・解像度/階調の粗さ・フレームレート・予測符号化方式の種類と予測性能・誤り耐性方式の種類と廃棄ｂｉｔ数・可変長符号の種類・符号レートなどを分析する。
【００６４】
復号部８６は、伝送符号部８３から動画符号を入力し画像を復号して画像分析部８７又は画像比較部８８へ出力する。端末６０から前述の表示アクション情報を取得し、端末６０における表示画像を推定生成又はシミュレートすることもできる。復号部８６は、動画サーバ４０の内部に置くこともできる。動画サーバ４０が動画符号化機能を持つ場合なら復号機能も同時に持つので、この場合はリソースの効率的のため、動画符号を一度動画サーバ４０へ送信して、動画サーバ４０の内部で復号した画像を返信してもよい。動画サーバ４０の処理負担とネットワーク負荷が増えるが、適宜復号処理を分散しても良い。
【００６５】
画像分析部８７は、復号部８６からの復号画像を入力し分析する。動画符号だけでは分析できない画像の特性を分析する。例えば、利用中でない別の動画符号では符号量がどの程度になるかについて概略算出する。別の動画符号による符号化器を組み込んでもよい。簡単な例では、前述のＭＰＥＧ−２でフレーム間予測方式を使わない方法を利用中に、同じ動画をＭＰＥＧ−２双方向予測を用いた場合の符号量を推定する。前述のように一定の動きが継続すれば、双方向予測の方が符号化効率が高いことがわかる。ただし、前述のＭＰＥＧ−２で単方向予測方式を利用中なら、動画符号の中の動きベクトルの大きさの経過から動きが判別できるので、この場合は符号分析部８５で分析する。
【００６６】
画像比較部８８は、動画サーバ４０からの原画を入力し、復号部８６で復元された画像を入力し、原画に対する復号画像の差画像を生成し、差画像の画素の自乗又は絶対値の平均値をする。平均値は、ここで画像誤差率ともよび、比較評価部８９へ出力する。目的を説明すると、別の動画符号を用いて通信して入力・復号した復号画像から同様に算出された平均値と、前述の平均値を比較するためである。平均値がゼロに近い方が原画に近いので、その平均値を与える動画符号の方が適しているといえる。同じ動画を異なる動画符号で通信して、同様の処理から得られた数値を比較するので、視覚など主観によっては不定の評価結果を用いることなく、客観的に比較結果を求めることができる。
【００６７】
知識データ部９０は、後述するが、予め動画符号の特性を実験結果などから求めておき、利用中の動画符号方式以外の動画符号を用いた場合の画像品質を推定算出又はシミュレートしてもよい。その結果を、本発明で、動画品質評価関数の値とよび、比較評価部８９へ出力する。前記関数の種類を利用動画品質パラメータとよぶ。後述するが、例えば、利用動画品質パラメータには、画像誤差率・符号量・遅延時間・処理量・利用コストがある。
【００６８】
比較評価部８９は、画像比較部８８から画像誤差率を入力してもよい。また、知識データ部９０から動画品質評価関数の値を入力する。前述の利用目的・利用帯域・端末の復号処理速度などの情報を取得し、要求条件を定め、動画品質評価関数の値から、総合判定を行って、符号プロトコル評価値を算出する。この符号プロトコル評価値が、目的の動画符号及び通信プロトコルの適/不適を表す。複数の動画符号及び通信プロトコルについてそれぞれの符号プロトコル評価値を比べ、最もよい符号プロトコル評価値を与える動画符号及び通信プロトコルを指定する。これが最適動画通信プロトコルであり、種名をプロトコル選択提示部９１へ出力する。また、利用動画品質パラメータに関する要求条件と動画品質評価関数の値を、プロトコル選択提示部９１へ出力する。
【００６９】
プロトコル選択提示部９１は、比較評価部８９から最適な動画符号及び通信プロトコル種を入力して、動画サーバ４０へ送信する。また図示しないが表示器を持ち、動画通信分析装置８０のユーザに対して、利用動画品質パラメータに関する要求条件と動画品質評価関数の値を表示してもよい。ここで、表示にグラフを用いてもよい。
【００７０】
例えば図２に示すように、複数の動画符号及び通信プロトコルに対して、符号量・処理量・遅延量・利用コスト・画像誤差率に関する要求条件と符号プロトコル評価値を記入した等しい様式のグラフを、それぞれ表示してもよい。図２のうすい灰色で塗りつぶされた５角形が示すレベルが要求条件を表し、内部なら適していて、外部なら不適である。したがって、符号量・処理量・遅延時間・利用コスト・画像誤差率は大きい程不適なので、外に向かうほど値が大きい。名称や数値の大小は、この例の他にも適宜、設定すればよい。
【００７１】
ここで、知識データ部９０と比較評価部８９における利用動画品質パラメータの推定算出、すなわちシミュレートについて説明する。推定すべき値は、特定の動画符号及び通信プロトコルに対する利用画像品質パラメータであり、例えば、符号量・処理量・遅延量・利用コスト・画像誤差率である。利用画像品質パラメータは値を持ち動画品質評価関数値とよぶ。それぞれの利用画像品質パラメータを推定するために、特定の動画符号及び通信プロトコルに対する動画品質評価関数をそれぞれ予め定めておく。関数値算定に必要な引数を、動画品質評価引数とよび、ひとつの関数に対して一種以上の動画品質評価引数が必要である。
【００７２】
動画品質評価引数には大きく分けて、利用環境、通信状態、符号化方式、画像特性に関する値がある。それぞれ順に利用分析部８２、通信分析部８４、符号分析部８５、画像分析部８７によって算定される。
符号量を推定するには、画像誤差率にも影響するＤＣＴ係数の量子化特性すなわち解像度・階調の粗さを決定するために、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類などから暫定的に符号量標準値を予め求めておく。符号化方式種名を引数として符号量標準値を出力してもよい。さらに利用環境の利用可能な最大帯域に十分入るように量子化特性を定める。この量子化特性値は、画像誤差率推定にも用いる。符号量はデータ量に課金される場合は利用コストの推定に用いる。
【００７３】
処理量を推定するには、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類などから得られる。符号化方式種名を引数として出力してもよい。
【００７４】
遅延量は、伝送遅延時間と復号処理時間の和である。伝送エラー率から再送率を推定して伝送遅延時間を得るか、再送率から伝送遅延時間を得るか、受信タイムスタンプを取得して算定してもよい。復号処理による遅延時間は、前述の処理量か、又は、特にフレームレートと予測符号化方式、画面サイズから処理量を求め、復号処理速度により処理遅延時間が推定できる。
【００７５】
利用コストは、利用網種・接続時間・データ量・サービス内容と、前述で求めた符号量とから得られる。
【００７６】
画像誤差率は、詳細な符号化方式、すなわち画面サイズ・フレームレート・可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類と、前述で求めた量子化特性と、さらに伝送エラー率、処理遅延時間から表示の際のフレーム落ちの頻度、コンシールメント機能の有無、ポストデブロッキングフィルタから、推定する。
【００７７】
また、符号プロトコル評価値を得るには、利用画像品質パラメータに対するそれぞれの要求条件を定める必要がある。符号量に対しては利用帯域から定める。処理量については端末の復号処理速度から定める。遅延量と画像誤差率については利用目的から定める。前述で各動画品質評価関数値が得られたら、それぞれの要求条件に対比して適性度を算定し、全利用画像品質パラメータにわたって、適性度を総合して符号プロトコル評価値を得る。
【００７８】
動画サーバ４０は、プロトコル選択提示部９１から最適な動画符号及び通信プロトコル種を受信すると、動画を受信する端末が前記動画符号及び通信プロトコルに関して実装済みかどうかをネットワーク５０による通信により確認してもよい。実装済みの場合は、前記動画符号及び通信プロトコルを用いて動画通信を始める。未実装ならネットワーク５０による通信により前記動画符号及び通信プロトコルのために必要なプログラムを送信して、実装してもよい。
【００７９】
プロトコル変換部９２は、最適な動画符号及び通信プロトコル種を、動画サーバ４０に実装しない場合でも、最適な動画符号及び通信プロトコルで端末６０に動画を提供する目的で、動画サーバ４０が何らかの動画符号及び通信プロトコルで送信した動画をプロトコル変換部９２で受信し、最適な動画符号及び通信プロトコルに変換して、ネットワーク５０に送信してもよい。
【００８０】
次に、動画通信分析装置８０を用いた複数の動画符号及び通信プロトコルにより送信機、及び受信機の試験方法を述べる。
動画を送信する動画サーバ４０とその動画を受信する端末６０において、前述のように複数の動画符号及び通信プロトコルに対して、動画通信を実行して、それぞれの動画符号及び通信プロトコルに対して、受信した動画符号を復号して生成した復元画像と原画との差画像の画素の自乗の平均値を求め、また利用動画品質パラメータを求め、得られた複数の前記平均値と利用動画品質パラメータを比較するので、特にネットワーク５０を十分伝送エラー率が小さく、十分利用帯域が大きいなどの良好な特性を持つ網を利用すれば、動画サーバ４０と端末６０に関して、複数の動画符号及び通信プロトコルより試験をおこなうことができ、前述の前記平均値と利用動画品質パラメータが試験結果として利用できる。
【００８１】
【発明の効果】
以上説明したように、本発明による動画通信管理装置は、動画通信装置が用いるネットワークに、動画通信分析装置を接続し、動画通信分析装置は、動画送信機が送信した動画符号を、受信機から、又はネットワークの中継装置から一部又はすべてを収集して分析するので、受信機上の利用動画品質にもとづく動画通信プロトコル評価ができ、特に無線区間を含む場合の評価ができるという効果がある。
【００８２】
また、受信機処理速度や利用網の利用帯域幅などといった利用環境を示すパラメータを取得する手段を有し、
伝送エラー率・再送率・伝送遅延時間・符号レートなどといった通信状況を分析する手段を有し、
動画符号を分析して、画面サイズ・解像度/階調の粗さ・フレームレート・予測符号化方式の種類と予測性能・誤り耐性方式の種類と廃棄ｂｉｔ数・可変長符号の種類・符号レートなどといった動画符号を分析する手段を有し、
送信に用いられた動画符号及び通信プロトコル以外の動画符号及び通信プロトコルを評価する目的で、
画像誤差率・符号量・遅延時間・処理量・利用コストなどいった一種以上の利用動画品質パラメータから
目的の動画符号及び通信プロトコルの適/不適を表す符号プロトコル評価値を算出及び表示する手段を有し、
前記利用動画品質パラメータ算定手段は、取得した符号から分析して得る手段を有し、
あるいは、それぞれ動画品質評価関数を予め決めておき、可変長符号の種類・予測符号化方式の種類・誤り耐性方式の種類・伝送エラー率・受信機処理速度などといった一種以上の動画品質評価引数を入力して関数値を推定して、前記利用動画品質パラメータを得る手段を有し、
２種以上の前記動画符号又は２種以上の前記通信プロトコルに対する前記利用動画品質パラメータ又は前記符号プロトコル評価値を比較するので、
実測評価及び推定によって、比較対象のすべての動画符号及び通信プロトコルによる送信を試行しなくても最適なプロトコルを提示でき、
適切なプロトコルを選択して通信することを管理することができるという効果がある。
【００８３】
あるいは、原画を再構成して、２種以上の動画符号又は２種以上の通信プロトコルにおける画像を再構成し、前記原画に対する前記復号動画の差画像の画素それぞれの自乗又は絶対値の平均値を算出して、
前記平均値の小さい方を与える動画符号及び通信プロトコルを提示するので、
実測に基づく客観的な画像の比較で
適切なプロトコルを選択して通信することを管理することができるという効果がある。
【００８４】
あるいは、２種以上の前記動画符号又は２種以上の前記通信プロトコルについて、画像誤差率・符号量・遅延時間・処理量などいった一種以上の利用動画品質パラメータを互いに等しい様式のグラフで表示を行うので、
ユーザは動画符号及び通信プロトコルが選択された理由とその適性の差などを概観できるという効果がある。
【図面の簡単な説明】
【図１】  本発明の実施形態による動画通信管理装置の構成を示すブロック図である。
【図２】  本発明の実施形態の結果表示の一例を示す図である。
【図３】  従来例を示す説明図である。
【符号の説明】
４０    動画サーバ
５０    ネットワーク
６０    端末
７０    中継装置
８０    動画通信分析装置
８１    比較プロトコル指定部
８２    利用分析部
８３    伝送符号部
８４    通信分析部
８５    符号分析部
８６    復号部
８７    画像分析部
８８    画像比較部
８９    比較評価部
９０    知識データ部
９１    プロトコル選択提示部
９２    プロトコル変換部
【図１】
0003687293.tif 000002
【図２】
0003687293.tif 000003
【図３】
0003687293.tif 000004