(57)【特許請求の範囲】
【請求項１】
ネットワークを介して送信されてくる映像を受信して表示する映像受信装置で実行されて、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を作成するアクション情報作成方法であって、
疑似的な映像劣化状態を生成する装置を制御することで、疑似的な映像劣化状態を生成する過程と、
上記疑似的な映像劣化状態を生成しないときの受信映像と、上記疑似的な映像劣化状態を生成したときの劣化受信映像とをユーザに提示することで、その映像劣化状態が発生するときに用いるアクションを決定する過程とを有し、
上記決定する過程は、上記劣化受信映像の対データをユーザに提示することで、ユーザから一対比較結果を取得して、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズムを使って、それらの劣化受信映像の重みを算出することで、それらの劣化受信映像を引き起こした映像劣化状態の重要度の情報を算出する過程を含むことを、
特徴とするアクション情報作成方法。
【請求項２】
請求項１に記載のアクション情報作成方法において、
上記疑似的な映像劣化状態を生成する装置として、上記ネットワークに接続されて疑似的なネットワーク劣化イベントを生成する装置と、上記映像受信装置に備えられて疑似的な装置負荷を生成する装置と、上記映像送信装置に備えられて疑似的な装置負荷を生成する装置の一部又は全てが用意されることを、
特徴とするアクション情報作成方法。
【請求項３】
請求項１又は２に記載のアクション情報作成方法において、
上記決定する過程では、上記疑似的な映像劣化状態を生成するときに表示する受信映像がアクションによりどのように変化することになるのかということをユーザに提示することで、その映像劣化状態が発生するときに用いるアクションを決定することを、
特徴とするアクション情報作成方法。
【請求項４】
請求項３に記載のアクション情報作成方法において、
上記決定する過程では、何もしないというアクションについても含める形で、映像劣化状態が発生するときに用いるアクションを決定することを、
特徴とするアクション情報作成方法。
【請求項５】
ネットワークを介して送信されてくる映像を受信して表示する映像受信装置で実行されて、受信映像を劣化させる状態が発生するときに、それに対処する処理を実行する映像劣化状態対処方法であって、
受信映像を劣化させる状態が発生したのか否かを検出する過程と、
受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を記憶する記憶手段を参照することで、上記発生を検出した映像劣化状態に対応付けて定義されているアクション情報を取得する過程と、
上記取得したアクション情報に従って、発生した映像劣化状態に対して対処する過程とを有し、
上記対処する過程では、上記記憶手段に記憶されている、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズムにより算出された映像劣化状態の重要度の情報と、上記取得したアクション情報とに基づいて、発生した映像劣化状態に対して対処することを、
特徴とする映像劣化状態対処方法。
【請求項６】
ネットワークを介して送信されてくる映像を受信して表示する映像受信装置で実行されて、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を作成するアクション情報作成装置であって、
疑似的な映像劣化状態を生成する装置を制御することで、疑似的な映像劣化状態を生成する手段と、
上記疑似的な映像劣化状態を生成しないときの受信映像と、上記疑似的な映像劣化状態を生成したときの劣化受信映像とをユーザに提示することで、その映像劣化状態が発生するときに用いるアクションを決定する手段とを備え、
上記決定する手段は、上記劣化受信映像の対データをユーザに提示することで、ユーザから一対比較結果を取得して、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズムを使って、それらの劣化受信映像の重みを算出することで、それらの劣化受信映像を引き起こした映像劣化状態の重要度の情報を算出する手段を含むことを、
特徴とするアクション情報作成装置。
【請求項７】
ネットワークを介して送信されてくる映像を受信して表示する映像受信装置で実行されて、受信映像を劣化させる状態が発生するときに、それに対処する処理を実行する映像劣化状態対処装置であって、
受信映像を劣化させる状態が発生したのか否かを検出する手段と、
受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を記憶する記憶手段を参照することで、上記発生を検出した映像劣化状態に対応付けて定義されているアクション情報を取得する手段と、
上記取得したアクション情報に従って、発生した映像劣化状態に対して対処する手段とを備え、
上記対処する手段は、上記記憶手段に記憶されている、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズムにより算出された映像劣化状態の重要度の情報と、上記取得したアクション情報とに基づいて、発生した映像劣化状態に対して対処することを、
特徴とする映像劣化状態対処装置。
【請求項８】
請求項１ないし４のいずれか１項に記載のアクション情報作成方法の実現に用いられる処理をコンピュータに実行させるためのアクション情報作成プログラム。
【請求項９】
請求項５に記載の映像劣化状態対処方法の実現に用いられる処理をコンピュータに実行させるための映像劣化状態対処プログラム。
【請求項１０】
請求項１ないし４のいずれか１項に記載のアクション情報作成方法の実現に用いられる処理をコンピュータに実行させるためのアクション情報作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
請求項５に記載の映像劣化状態対処方法の実現に用いられる処理をコンピュータに実行させるための映像劣化状態対処プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受信映像を劣化させる状態が発生する場合に、どのアクションを用いるのかということについて記述するユーザ定義の情報を作成する映像通信システムを構成する映像受信装置で実行されるアクション情報作成方法及びその装置と、その映像通信システムを構成する映像受信装置で実行される映像劣化状態対処方法及びその装置と、そのアクション情報作成方法の実現に用いられるアクション情報作成プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体と、その映像劣化状態対処方法の実現に用いられる映像劣化状態対処プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
映像通信システムでは、連続したマルチメディアストリームを通信することから、通信のサービス品質（ＱｏＳ）を保証する必要がある。
【０００３】
このようなことを背景にして、ユーザがアプリケーション特有のパラメータを用いて、希望するサービス品質を要求することのできる発明が開示されている（例えば、特許文献１参照）。
【０００４】
この特許文献１に記載された発明では、ユーザがアプリケーション特有のパラメータを用いて所望の通信のサービス品質レベルを選択することを可能とするステップと、ユーザが要求したマルチメディアデータの送信に必要な通信リンク上のリソースを予約可能か否かを判断するステップと、リソースを予約可能な場合には、要求した送信のためにリソースを予約するステップと、リソースを予約不可能な場合には、ユーザの選択に従って最善のリソースを決定した上で予約するステップとを備えることで、ユーザの希望するサービス品質に従って、マルチメディアデータをリアルタイムにリモートノードに配送することを実現している。
【０００５】
この従来技術に見られるように、従来技術では、アプリケーションのパラメータとネットワークのリソース情報とを関連付けてＱｏＳ制御を行うようにしている。
【特許文献１】特開２００１−１５６８３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術では以下のような問題がある。
【０００７】
（１）問題１
従来技術では、アプリケーションＱｏＳ制御にとどまっており、映像通信のサービス品質を最終的に判断するユーザの主観については考慮されていない。
【０００８】
（２）問題２
従来技術では、リソース情報と映像通信主観品質とのマッピングがされていない。
【０００９】
（３）問題３
従来技術では、映像通信品質の制御方針にユーザの価値観が反映されていない。
【００１０】
（４）問題４
従来技術では、映像品質劣化イベントに対するアクションをユーザが定義できない。
【００１１】
本発明はかかる事情に鑑みてなされたものであって、ネットワークや端末のリソース劣化時に、ユーザの価値観を考慮した主観的な映像通信制御を実現可能にする新たな技術の提供を目的とする。
【課題を解決するための手段】
【００１２】
〔１〕本発明を利用する映像通信システムの概要
本発明を利用する映像通信システムは、映像送信装置と、ネットワークと、ネットワークを介して映像送信装置から送られてくる映像を受信して表示する映像受信装置とを備える映像通信システムであって、（イ）ネットワークに接続されて、疑似的なネットワーク劣化イベントを生成する疑似ネットワーク劣化イベント生成手段と、（ロ）映像受信装置に備えられて、疑似的な装置負荷を生成する疑似装置負荷生成手段と、（ハ）映像受信装置に備えられて、疑似ネットワーク劣化イベント生成手段を制御することで疑似的なネットワーク劣化イベントを生成する第１の実行手段と、（ニ）映像受信装置に備えられて、疑似装置負荷生成手段を制御することで疑似的な装置負荷を生成する第２の実行手段と、（ホ）映像受信装置に備えられて、疑似的なネットワーク劣化イベントが生成されないときの受信映像と、疑似的なネットワーク劣化イベントが生成されたときの劣化受信映像とをユーザに提示することで、そのネットワーク劣化イベントが発生するときに用いるアクション（劣化に対する対処法）を決定する第１の決定手段と、（ヘ）映像受信装置に備えられて、疑似的な装置負荷が生成されないときの受信映像と、疑似的な装置負荷が生成されたときの劣化受信映像とをユーザに提示することで、その装置負荷が発生するときに用いるアクション（劣化に対する対処法）を決定する第２の決定手段とを備える。
【００１３】
〔２〕本発明のアクション情報作成装置の構成
上記〔１〕のように構成される映像通信システムを実現するために、本発明のアクション情報作成装置は、映像受信装置に備えられて、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を作成する処理を実行するものであって、（イ）疑似的な映像劣化状態を生成する装置（ネットワークに接続されて疑似的なネットワーク劣化イベントを生成する装置や、映像受信装置に備えられて疑似的な装置負荷を生成する装置や、映像送信装置に備えられて疑似的な装置負荷を生成する装置）を制御することで、疑似的な映像劣化状態を生成する生成手段と、（ロ）生成手段が疑似的な映像劣化状態を生成しないときの受信映像と、生成手段が疑似的な映像劣化状態を生成したときの劣化受信映像とをユーザに提示することで、その映像劣化状態が発生するときに用いるアクションを決定する決定手段と、（ハ）劣化受信映像の対データをユーザに提示することで、ユーザから一対比較結果を取得して、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズム（例えばＡＨＰ法）を使って、それらの劣化受信映像の重みを算出することで、それらの劣化受信映像を引き起こした映像劣化状態の重要度の情報を算出する算出手段とを備えるように構成される。
【００１４】
以上の各処理手段が動作することで実現される本発明のアクション情報作成方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１５】
〔３〕本発明の映像劣化状態対処装置の構成
本発明の映像劣化状態対処装置は、映像受信装置に備えられて、本発明のアクション情報作成装置により作成されたユーザ定義の情報（映像劣化状態が発生するときに用いるアクションの情報と、それらの映像劣化状態の重要度の情報）を使って、受信映像を劣化させる状態が発生するときに、それに対処する処理を実行するものであって、（イ）受信映像を劣化させる状態が発生したのか否かを検出する検出手段と、（ロ）受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を記憶する記憶手段を参照することで、検出手段の検出した映像劣化状態に対応付けて定義されているアクション情報を取得する取得手段と、（ハ）取得手段の取得したアクション情報に従って、発生した映像劣化状態に対して対処する対処手段とを備え、（ニ）上記対処手段は、上記記憶手段に記憶されている、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズムにより算出された映像劣化状態の重要度の情報と、上記取得したアクション情報とに基づいて、発生した映像劣化状態に対して対処するように構成される。
【００１６】
以上の各処理手段が動作することで実現される本発明の映像劣化状態対処方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１７】
〔４〕本発明の処理
本発明のアクション情報作成装置では、疑似的な映像劣化状態を生成するときに表示する受信映像がアクションによりどのように変化することになるのかということをユーザに提示しつつ、疑似的な映像劣化状態を生成しないときの受信映像と、疑似的な映像劣化状態を生成したときの劣化受信映像とをユーザに提示して、それに対するユーザからの選択指示に従って、その映像劣化状態が発生するときに用いるアクションを決定する。このとき、何もしないというアクションについても含める形で、映像劣化状態が発生するときに用いるアクションを決定することがある。
【００１８】
続いて、この処理により得た劣化受信映像の対データをユーザに提示することで、ユーザから一対比較結果を取得して、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズム（例えばＡＨＰ法）を使って、それらの劣化受信映像の重みを算出することで、それらの劣化受信映像を引き起こした映像劣化状態の重要度の情報を算出する。
【００１９】
このようにして、本発明のアクション情報作成装置により、映像劣化状態が発生するときに用いるアクションの情報と、それらの映像劣化状態の重要度の情報とが作成されて、それらのユーザ定義の情報が記憶手段に記憶されることになる。
【００２０】
この記憶手段に記憶されるユーザ定義の情報を受けて、本発明の映像劣化状態対処装置では、映像劣化状態の発生を検出すると、その記憶手段の記憶する情報を参照することで、その発生を検出した映像劣化状態に対応付けて定義されているアクションの情報と、一対比較に基づいて一対比較の対象となる項目の重みを数値化する所定のアルゴリズム（例えばＡＨＰ法）により算出されたその映像劣化状態の重要度の情報とを取得して、その取得したアクションの情報とその取得した重要度の情報とに基づいて、発生した映像劣化状態に対して対処する。
【発明の効果】
【００２１】
本発明によれば、ネットワークや端末のリソース劣化時に、ユーザの価値観を考慮した主観的な映像通信制御を実現できるようになる。
【００２２】
すなわち、本発明では、アプリケーションの利用前に、ユーザに対して劣化映像による簡易な主観評価実験を行うことで、ユーザの価値観を考慮した主観的な映像通信制御を実現できるようになり、これにより上述の問題１〜３を解決している。
【００２３】
そして、本発明では、映像品質の劣化要因に対するアクション定義をユーザがアプリケーションから設定可能とすることで、ユーザの価値観を考慮した主観的な映像通信制御を実現できるようになり、これにより上述の問題４を解決している。
【００２４】
そして、本発明では、ユーザに対して劣化映像を用いた一対比較を行うことで、映像劣化状態に対してのユーザの価値観を数値化して、それを反映する形で映像劣化状態に対してアクションをとることから、ユーザの価値観を考慮した主観的な映像通信制御を実現できるようになり、これにより上述の問題１〜４を解決している。
【発明を実施するための最良の形態】
【００２５】
以下、実施の形態に従って本発明を詳細に説明する。
【００２６】
図１に、本発明を具備する映像通信システムのシステム構成を図示する。
【００２７】
この図に示すように、本発明を具備する映像通信システムは、映像を送信する送信側クライアント装置１と、送信側クライアント装置１から送信されてくる映像を受信する受信側クライアント装置２と、送信側クライアント装置１と受信側クライアント装置２との間を接続するネットワーク３と、ネットワーク３に接続されて、送信側クライアント装置１と受信側クライアント装置２との間の接続処理を司る分配サーバ４と、ネットワーク３に接続されて、疑似的なネットワーク劣化イベントを生成する疑似ネットワーク劣化イベント生成装置５とを備える。
【００２８】
そして、この構成を採るときにあって受信側クライアント装置２には、例えば、本来のデータ処理とは別の意味のないデータ処理を行うことなどにより、疑似的な装置負荷を生成する疑似装置負荷生成モジュール２００が備えられることになる。
【００２９】
さらに、送信側クライアント装置１にも、例えば、本来のデータ処理とは別の意味のないデータ処理を行うことなどにより、疑似的な装置負荷を生成する疑似装置負荷生成モジュールが備えられることがあってもよいが、以下では、説明の便宜上、送信側クライアント装置１にはこのような疑似装置負荷生成モジュールが備えられないことを想定している。
【００３０】
ここで、通常の映像通信を行う場合には、送信側クライアント装置１→分配サーバ４→受信側クライアント装置２の順番に従って映像が送信されることになる。なお、この例では、説明の便宜上、送信側クライアント装置１と受信側クライアント装置２という形でクライアント装置を区別したが、双方向で映像通信を行う場合には、送信側クライアント装置１が受信側となり、受信側クライアント装置２が送信側となる場合があり、この場合には、受信側クライアント装置２→分配サーバ４→送信側クライアント装置１の順番に従って映像が送信されることになる。
【００３１】
図２に、本発明を具備する受信側クライアント装置２の装置構成を図示する。
【００３２】
この図に示すように、本発明を具備する受信側クライアント装置２は、映像受信部２０と、劣化イベント情報記憶部２１と、アクションメニュー情報記憶部２２と、対話処理部２３と、ユーザ定義情報作成部２４と、劣化映像保存部２５と、ユーザ定義情報記憶部２６と、劣化発生検出部２７と、アクション制御部２８と、上述した疑似装置負荷生成モジュール２００とを備える。
【００３３】
この映像受信部２０は、送信側クライアント装置１から送信されてくる映像を受信する。
【００３４】
劣化イベント情報記憶部２１は、図３に示すように、疑似ネットワーク劣化イベント生成装置５の生成する疑似的なネットワーク劣化イベントとして、どのようなものがあるのかということを記憶するとともに、疑似装置負荷生成モジュール２００の生成する疑似的な装置負荷として、どのようなものがあるのかということを記憶する。
【００３５】
例えば、疑似ネットワーク劣化イベント生成装置５の生成する疑似的なネットワーク劣化イベントとして、パケットロスやネットワーク遅延やジッタや重複パケットの発生やパケットの順序逆転や帯域制限があるということを記憶するとともに、疑似装置負荷生成モジュール２００の生成する疑似的な装置負荷として、ＣＰＵ負荷率の増加やメモリ使用率の増加があるということを記憶するのである。
【００３６】
なお、以下では、疑似ネットワーク劣化イベント生成装置５の生成する疑似的なネットワーク劣化イベントと、疑似装置負荷生成モジュール２００の生成する疑似的な装置負荷とを総称して劣化イベントと称することがある。
【００３７】
アクションメニュー情報記憶部２２は、図４に示すように、ネットワーク劣化イベントや装置負荷に対する対処法として、どのようなものがあるのかということを記憶する。
【００３８】
例えば、量子化ステップサイズを大きくするとか、画像サイズを小さくするとか、受信バッファを大きくするという対処法があるということを記憶するのである。このとき、なにもしないという対処法を記憶するようにしてもよい。
【００３９】
対話処理部２３は、キーボードやマウスやディスプレイを備えて、ユーザ定義情報作成部２４の指示に従って受信映像を表示しつつユーザと対話を行うことで、ユーザ定義情報作成部２４の必要とする情報を入力する。
【００４０】
ユーザ定義情報作成部２４は、疑似装置負荷生成モジュール２００を制御することで疑似的な装置負荷を生成したり、疑似ネットワーク劣化イベント生成装置５を制御することで疑似的なネットワーク劣化イベントを生成することで受信映像を劣化させて、それらの劣化映像を劣化映像保存部２５に格納するとともに、それらの劣化映像をユーザに提示して対話を行うことで、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を作成して、その作成したユーザ定義情報をユーザ定義情報記憶部２６に格納する。
【００４１】
ユーザ定義情報記憶部２６は、ユーザ定義情報作成部２４により作成されたユーザ定義の情報である、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するユーザ定義の情報を記憶する。
【００４２】
このユーザ定義の情報には、図５に示すように、ＡＨＰ法により算出されるユーザの主観的な判断の反映された各映像劣化状態の重要度の数値情報が含まれている。
【００４３】
劣化発生検出部２７は、実際の映像通信に入った後、映像劣化状態が発生するときに、どのような映像劣化状態が発生したのかを検出する。
【００４４】
アクション制御部２８は、劣化発生検出部２７が映像劣化状態の発生を検出するときに、ユーザ定義情報記憶部２６を参照することで、その映像劣化状態に対してどのようなアクションをとるのかを決定して、そのアクションの実行先となる機構に対して、そのアクションを実行するための制御を指示する。
【００４５】
このように構成される本発明の受信側クライアント装置２は、映像通信の開始前に、簡易な主観評価実験とアクション定義とを実行する主観評価ウィザードを起動することで、ユーザ個人個人の価値観を測定し、その後、映像通信を開始して、映像通信中は常に、ネットワーク劣化や装置負荷の増大などの劣化イベントが発生したのか否かを監視して、劣化イベントが発生した場合には、主観評価ウィザードにて定義されたアクション定義に従ってアクションを実行するように処理する。
【００４６】
図６ないし８に、ユーザ定義情報作成部２４の実行する処理フローの一例を図示し、図９に、アクション制御部２８の実行する処理フローの一例を図示する。ここで、図９に示す処理フローでは、劣化発生検出部２７の実行する処理についても含める形で記載してある。
【００４７】
次に、これらの処理フローに従って、図２のように構成される本発明の受信側クライアント装置２の実行する処理について詳細に説明する。
【００４８】
先ず最初に、図６ないし８に示す処理フローに従って、ユーザ定義情報作成部２４の実行する処理について説明する。
【００４９】
ユーザ定義情報作成部２４は、ユーザからユーザ定義情報の作成要求が発行されると、図６ないし８の処理フローに示すように、先ず最初に、ステップＳ１０で、自装置と疑似ネットワーク劣化イベント生成装置５とを接続するとともに、送信側クライアント装置１に対して疑似ネットワーク劣化イベント生成装置５との間の接続を指示することで、疑似ネットワーク劣化イベント生成装置５をネットワーク３に入れて、疑似的なネットワーク劣化イベントを生成可能とする状態にセットする。
【００５０】
続いて、ステップＳ１１で、送信側クライアント装置１に対して、実験用の映像（好ましくは静止画像）の送信を指示する。この指示を受けて、送信側クライアント装置１は、本発明の受信側クライアント装置２に対して、実験用の映像を送信し続けることになる。
【００５１】
続いて、ステップＳ１２で、送信側クライアント装置１から送信されてくる実験用の映像を受信する。
【００５２】
続いて、ステップＳ１３で、劣化イベント情報記憶部２１に格納されるネットワーク劣化イベントの中から未処理のネットワーク劣化イベントを選択して、疑似ネットワーク劣化イベント生成装置５に対してそのネットワーク劣化イベントの生成を指示することで、疑似的なネットワーク劣化を生成する。
【００５３】
続いて、ステップＳ１４で、アクションメニュー情報記憶部２２に格納されるアクションメニューの情報の一覧をディスプレイに表示し、それに対するユーザからの選択操作を受け取ることで、アクションを１つ選択する。
【００５４】
続いて、ステップＳ１５で、その選択したアクション（ネットワーク劣化に対する対処法）を実行しつつ、ステップＳ１３で生成したネットワーク劣化により劣化する実験用の映像を受信する。
【００５５】
続いて、ステップＳ１６で、ステップＳ１２で受信した劣化していない実験用の映像と、ステップＳ１５で受信した劣化している実験用の映像とをユーザに提示する。
【００５６】
例えば、図１０に示すように、非劣化映像と劣化映像とを交互に表示してユーザに提示したり、図１１に示すように、非劣化映像と劣化映像とを１つの画面上に並べて表示してユーザに提示するのである。
【００５７】
この提示に応答して、ユーザは、ステップＳ１４で選択したアクションを使って、ステップＳ１３で生成したネットワーク劣化に対処するのか否かを入力してくるので、続くステップＳ１７で、この入力を受け取ることで、ユーザがステップＳ１４で選択したアクションで対処することを選択したのか否かを判断する。
【００５８】
このステップＳ１７の判断処理に従って、ユーザがステップＳ１４で選択したアクションを使って、ステップＳ１３で生成したネットワーク劣化に対処しないことを決定したことを判断するときには、次のアクションについて処理すべくステップＳ１４に戻る。
【００５９】
一方、ステップＳ１７の判断処理に従って、ユーザがステップＳ１４で選択したアクションを使って、ステップＳ１３で生成したネットワーク劣化に対処するということを決定したことを判断するときには、ステップＳ１８に進んで、どういうネットワーク劣化のときの劣化映像であるのかを記録しつつ、ステップＳ１５で受信した劣化映像（実験用の映像）を劣化映像保存部２５に格納する。
【００６０】
続いて、ステップＳ１９で、ステップＳ１３で生成したネットワーク劣化と、ステップＳ１４で選択したアクションとの対応関係の情報を、ユーザ定義情報記憶部２６に格納する。
【００６１】
続いて、ステップＳ２０で、劣化イベント情報記憶部２１に格納される全てのネットワーク劣化イベントに基づいてネットワーク劣化を生成したのか否かを判断して、全てのネットワーク劣化を生成していないことを判断するときには、次のネットワーク劣化について処理すべくステップＳ１２に戻る。
【００６２】
一方、ステップＳ２０の判断処理に従って、劣化イベント情報記憶部２１に格納される全てのネットワーク劣化イベントに基づいてネットワーク劣化を生成したことを判断するときには、ステップＳ２１に進んで、自装置と疑似ネットワーク劣化イベント生成装置５との間の接続を切断するとともに、送信側クライアント装置１に対して疑似ネットワーク劣化イベント生成装置５との間の接続の切断を指示することで、疑似ネットワーク劣化イベント生成装置５をネットワーク３から外す。
【００６３】
続いて、ステップＳ２２に進んで、送信側クライアント装置１から送信されてくる実験用の映像を受信する。
【００６４】
続いて、ステップＳ２３で、劣化イベント情報記憶部２１に格納される装置負荷の中から未処理の装置負荷を選択して、疑似装置負荷生成モジュール２００に対してその装置負荷の生成を指示することで、疑似的な装置負荷を生成する。
【００６５】
続いて、ステップＳ２４で、アクションメニュー情報記憶部２２に格納されるアクションメニューの情報の一覧をディスプレイに表示し、それに対するユーザからの選択操作を受け取ることで、アクションを１つ選択する。
【００６６】
続いて、ステップＳ２５で、その選択したアクション（装置負荷に対する対処法）を実行しつつ、ステップＳ２３で生成した装置負荷により劣化する実験用の映像を受信する。
【００６７】
続いて、ステップＳ２６で、ステップＳ２２で受信した劣化していない実験用の映像と、ステップＳ２５で受信した劣化している実験用の映像とをユーザに提示する。
【００６８】
例えば、図１２に示すように、非劣化映像と劣化映像とを交互に表示してユーザに提示するのである。なお、装置負荷については、劣化映像を表示するときに、非劣化映像についても劣化を受けてしまうことから、非劣化映像と劣化映像とを１つの画面上に並べて表示することはできない。
【００６９】
この提示に応答して、ユーザは、ステップＳ２４で選択したアクションを使って、ステップＳ２３で生成した装置負荷に対処するのか否かを入力してくるので、続くステップＳ２７で、この入力を受け取ることで、ユーザがステップＳ２４で選択したアクションで対処することを選択したのか否かを判断する。
【００７０】
このステップＳ２７の判断処理に従って、ユーザがステップＳ２４で選択したアクションを使って、ステップＳ２３で生成した装置負荷に対処しないことを決定したことを判断するときには、次のアクションについて処理すべくステップＳ２４に戻る。
【００７１】
一方、ステップＳ２７の判断処理に従って、ユーザがステップＳ２４で選択したアクションを使って、ステップＳ２３で生成した装置負荷に対処するということを決定したことを判断するときには、ステップＳ２８に進んで、どういう装置負荷のときの劣化映像であるのかを記録しつつ、ステップＳ２５で受信した劣化映像（実験用の映像）を劣化映像保存部２５に格納する。
【００７２】
続いて、ステップＳ２９で、ステップＳ２３で生成した装置負荷と、ステップＳ２４で選択したアクションとの対応関係の情報を、ユーザ定義情報記憶部２６に格納する。
【００７３】
続いて、ステップＳ３０で、劣化イベント情報記憶部２１に格納される全ての装置負荷に基づいて装置負荷を生成したのか否かを判断して、全ての装置負荷を生成していないことを判断するときには、次の装置負荷について処理すべくステップＳ２２に戻る。
【００７４】
一方、ステップＳ３０の判断処理に従って、劣化イベント情報記憶部２１に格納される全ての装置負荷に基づいて装置負荷を生成したことを判断するときには、ステップＳ３１に進んで、送信側クライアント装置１に対して、実験用の映像の送信終了を指示する。この指示を受けて、送信側クライアント装置１は、実験用の映像の送信を終了することになる。
【００７５】
このようにして劣化映像保存部２５への劣化映像の格納を完了すると、続いて、ＡＨＰ法に基づいて、劣化イベント（ネットワーク劣化、装置負荷）について重要度の算出を行う。
【００７６】
すなわち、続いて、ステップＳ３２で、劣化映像保存部２５に保存される劣化映像を読み出し、続くステップＳ３３で、全ての劣化映像の組み合わせ（２つの劣化映像の組み合わせ）について処理したのか否かを判断する。
【００７７】
この判断処理に従って、全ての劣化映像の組み合わせについて処理していないことを判断するときには、ステップＳ３４に進んで、未処理の劣化映像の組み合わせを１つ選択する。
【００７８】
続いて、ステップＳ３５で、その選択した組み合わせの劣化映像をユーザに提示し、その提示に応答してユーザから入力されてくる一対比較結果を受け取ってから、次の組み合わせについて処理すべくステップＳ３３に戻る。
【００７９】
すなわち、図１３に示すように、選択した組み合わせの劣化映像をユーザに提示し、その提示に応答してユーザから入力されてくる一対比較結果を受け取るのである。
【００８０】
このようにしてステップＳ３３〜ステップＳ３５の処理を繰り返していくことで、ステップＳ３３で、全ての劣化映像の組み合わせについて処理したことを判断するときには、ステップＳ３６に進んで、ＡＨＰ法に基づいて各劣化映像の重みを算出する。
【００８１】
続いて、ステップＳ３７で、その劣化映像の重みに基づいて、その劣化映像をもたらした劣化イベントの重要度を決定し、続くステップＳ３８で、その決定した劣化イベントの重要度をユーザ定義情報記憶部２６に格納して、処理を終了する。
【００８２】
このようにして、ユーザ定義情報記憶部２６には、図５に示すように、受信映像を劣化させる状態（劣化イベント）が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するとともに、ＡＨＰ法により算出されたユーザの主観的な判断の反映された各映像劣化状態（各劣化イベント）の重要度の数値情報について記述するユーザ定義情報が格納されることになる。
【００８３】
次に、ステップＳ３５で実行する一対比較処理と、ステップＳ３６で実行する劣化映像の重みの算出処理と、ステップＳ３７で実行する劣化イベントの重要度の決定処理とについて、具体的に説明する。
【００８４】
ステップＳ３５で実行する一対比較処理では、２つの劣化映像１，２をユーザに提示して、例えば、（１）劣化映像１と劣化映像２とは同じ位の劣化度合いである、（２）劣化映像１の方が劣化映像２よりも若干劣化度合いが大きい、（３）劣化映像１の方が劣化映像２よりも劣化度合いが大きい、（４）劣化映像１の方が劣化映像２よりも劣化度合いがかなり大きい、（５）劣化映像１の方が劣化映像２よりも劣化度合いが絶対的に大きい、という中のどれに該当するのかをユーザに入力させる。
【００８５】
ステップＳ３６で実行する劣化映像の重みの算出処理では、この一対比較結果に基づいて、例えば、上述の（１）の場合には、劣化映像１と劣化映像２とに一対比較値１を割り当て、上述の（２）の場合には、劣化映像１に一対比較値３を割り当てるとともに、劣化映像２に一対比較値１／３を割り当て、上述の（３）の場合には、劣化映像１に一対比較値５を割り当てるとともに、劣化映像２に一対比較値１／５を割り当て、上述の（４）の場合には、劣化映像１に一対比較値７を割り当てるとともに、劣化映像２に一対比較値１／７を割り当て、上述の（５）の場合には、劣化映像１に一対比較値９を割り当てるとともに、劣化映像２に一対比較値１／９を割り当てる。
【００８６】
このようにして、ステップＳ３６で実行する劣化映像の重みの算出処理では、４つの劣化映像がある場合で説明するならば、例えば、図１４（ａ）に示すような行列を作成することになる。
【００８７】
ステップＳ３６で実行する劣化映像の重みの算出処理では、続いて、ＡＨＰ法に基づいて、図１４（ｂ）に示すように、一対比較値の幾何平均を求めて、その割合値を算出することで、各劣化映像の重みを算出する。
【００８８】
ステップＳ３７で実行する劣化イベントの重要度の決定処理では、劣化イベントの重要度として、その劣化イベントにより引き起こされる劣化映像の重みを用いることを決定する。
【００８９】
例えば、図１４（ｂ）に示すように、劣化映像１の重みとして０．５４０が得られる場合には、その劣化映像１を引き起こした劣化イベントの重要度を０．５４０として決定し、劣化映像２の重みとして０．３１２が得られる場合には、その劣化映像２を引き起こした劣化イベントの重要度を０．３１２として決定し、劣化映像３の重みとして０．０９９が得られる場合には、その劣化映像３を引き起こした劣化イベントの重要度を０．０９９として決定し、劣化映像４の重みとして０．０４９が得られる場合には、その劣化映像４を引き起こした劣化イベントの重要度を０．０４９として決定するのである。
【００９０】
このようにして、ユーザ定義情報記憶部２６には、図５に示すように、受信映像を劣化させる状態が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するとともに、ＡＨＰ法により算出されたユーザの主観的な判断の反映された各映像劣化状態の重要度の数値情報について記述するユーザ定義情報が格納されることになるのである。
【００９１】
ＡＨＰ法では、ユーザに対して上述したような定性的な判断を行う一対比較を要求するだけで、一対比較の対象となる項目の重みを数値化できるという利点を有しており、これから、劣化映像のような極めて数値化の難しいものであっても、その数値化を実現することが可能である。
【００９２】
ユーザ定義情報作成部２４は、この点に着目して、ＡＨＰ法を利用することで、ユーザの主観に基づいた劣化イベントの重要度を算出することを実現しているのである。
【００９３】
次に、図９に示す処理フローに従って、アクション制御部２８の実行する処理について説明する。
【００９４】
アクション制御部２８は、送信側クライアント装置１との間で映像通信を行うことが要求されると、図９の処理フローに示すように、先ず最初に、ステップＳ４０で、送信側クライアント装置１との間で映像通信を開始する。
【００９５】
続いて、ステップＳ４１で、ネットワーク劣化や装置負荷の劣化イベントを監視する。ここで、ネットワーク劣化や装置負荷の検出方法については、従来から様々な手法が提案されているので、それを利用してイベントの監視を行う。
【００９６】
続いて、ステップＳ４２で、その劣化イベントの監視により劣化イベントが発生したのか否かを判断して、劣化イベントが発生したことを判断するときには、ステップＳ４３に進んで、ユーザ定義情報記憶部２６の記憶する情報を参照することで、その劣化イベントに対しての対処法となるアクションを決定する。
【００９７】
続いて、ステップＳ４４で、劣化イベントに対してそのアクションを行うことで、送信側クライアント装置１から送信されてくる映像に対して対処を施す。
【００９８】
例えば、受信バッファを大きくするというアクションを決定する場合には、受信バッファを制御する機構に対して、受信バッファを大きくすることを指示することで、受信バッファを大きくするのである。
【００９９】
続いて、ステップＳ４５で、映像通信の終了要求があるのか否かを判断して、映像通信の終了要求がある場合には、処理を終了し、映像通信の終了要求がない場合には、ステップＳ４１に戻って劣化イベントの監視を続けていく。
【０１００】
一方、ステップＳ４２で、劣化イベントが発生しないことを判断するときには、直ちにステップＳ４５に進んで、映像通信の終了要求があるのか否かを判断して、映像通信の終了要求がある場合には、処理を終了し、映像通信の終了要求がない場合には、ステップＳ４１に戻って劣化イベントの監視を続けていく。
【０１０１】
このようにして、アクション制御部２８は、劣化イベントが発生すると、ユーザ定義情報記憶部２６の記憶する情報を参照することで、その劣化イベントに対する対処法となるアクションを決定して、それに基づいて、劣化イベントに対して対処を施すように処理するのである。
【０１０２】
次に、ユーザ定義情報記憶部２６の記憶する情報を使って行うアクションの決定処理について説明する。
【０１０３】
ユーザ定義情報記憶部２６には、上述したように、ユーザ定義情報作成部２４の処理に従って、図５に示すように、受信映像を劣化させる状態（劣化イベント）が発生する場合に、その状態に応じてどのアクションを用いるのかということについて記述するとともに、ＡＨＰ法により算出されたユーザの主観的な判断の反映された各映像劣化状態（各劣化イベント）の重要度の数値情報について記述するユーザ定義情報が格納されている。
【０１０４】
この劣化イベントの重要度の情報は、複数の劣化イベントが発生したときに、どのようなアクションにするのかということを決定するときに用いられることになる。
【０１０５】
例えば、劣化イベント１に対するアクションとしてアクション１がユーザにより定義され、劣化イベント２に対するアクションとしてアクション２がユーザにより定義され、劣化イベント３に対するアクションとしてアクション３がユーザにより定義されているものとする。そして、ＡＨＰ法に従って、劣化イベント１に対する重要度としてＷ１が算出され、劣化イベント２に対する重要度としてＷ２が算出され、劣化イベント３に対する重要度としてＷ３が算出されているものとする。
【０１０６】
このようなときに、例えば、劣化イベント１と劣化イベント２と劣化イベント３とが同時に発生したとする。ここで、それらの劣化イベント１，２，３のアクションをそれぞれＫ１，Ｋ２，Ｋ３で示すものとする。
【０１０７】
このとき、アクション制御部２８は、劣化イベントに対するアクションとして、例えば、
アクション１  ：  Ｗ１×Ｋ１
アクション２  ：  Ｗ２×Ｋ２
アクション３  ：  Ｗ３×Ｋ３
を決定する。
【０１０８】
例えば、「Ｗ１：Ｗ２：Ｗ３＝５０：３０：２０」とするときに、劣化イベント１を「帯域制限」とし、この「帯域制限」に対するアクション（Ｋ１）を、「量子化ステップサイズを２から８に変える（６増加）」とすると、Ｗ１×Ｋ１に従って、アクション１については、
６×（５０／１００）＝３
というように、量子化ステップサイズの増加は３として決定するのである。
【０１０９】
この例では、劣化イベント１と劣化イベント２と劣化イベント３とが同時に発生するときに、劣化イベント１と劣化イベント２と劣化イベント３のそれぞれについて、
アクション１  ：  Ｗ１×Ｋ１
アクション２  ：  Ｗ２×Ｋ２
アクション３  ：  Ｗ３×Ｋ３
という算出式に従ってアクションを決定するようにしているが、その他の方法を用いることも可能である。
【０１１０】
例えば、劣化イベント１と劣化イベント２と劣化イベント３とが同時に発生するときに、それらの重要度の中で最も大きな値を示す劣化イベントのみをアクションの処理対象として選択して、Ｗｉ×Ｋｉというような算出式によらずに、その特定した劣化イベントに対するアクション（Ｋｉ）をそのまま使って、最終的なアクションを決定するようにしてもよい。すなわち、その特定した劣化イベントのみが発生したときに用いるアクション（Ｋｉ）をそのまま使って、最終的なアクションを決定するようにしてもよいのである。
【０１１１】
また、ＡＨＰ法では、一対比較する２つの項目に対して、どちらの項目に大きな一対比較値を与え、どちらの項目にその逆数となる小さな一対比較値を与えるのかということについて特別の規約が設けられている訳ではない。
【０１１２】
これから、
アクション１  ：  （１／Ｗ１）×Ｋ１
アクション２  ：  （１／Ｗ２）×Ｋ２
アクション３  ：  （１／Ｗ３）×Ｋ３
という算出式に従ってアクションを決定するようにしてもよい。
【０１１３】
このようにして、アクション制御部２８は、複数の劣化イベントが発生したときには、ユーザ定義情報記憶部２６に格納されるユーザの主観的な判断の反映された劣化イベントの重要度に基づいて、それらの劣化イベントによりもたらされる劣化に対して総合的なアクションを決定するように処理するのである。
【産業上の利用可能性】
【０１１４】
以上に説明したように、本発明によれば、ネットワークや端末のリソース劣化時に、ユーザの価値観を考慮した主観的な映像通信制御を実現できるようになる。
【図面の簡単な説明】
【０１１５】
【図１】本発明を具備する映像通信システムのシステム構成図である。
【図２】本発明を具備する受信側クライアント装置の装置構成図である。
【図３】劣化イベント情報記憶部の記憶する情報の説明図である。
【図４】アクションメニュー情報記憶部の記憶する情報の説明図である。
【図５】ユーザ定義情報記憶部の記憶する情報の説明図である。
【図６】ユーザ定義情報作成部の実行する処理フローである。
【図７】ユーザ定義情報作成部の実行する処理フローである。
【図８】ユーザ定義情報作成部の実行する処理フローである。
【図９】アクション制御部の実行する処理フローである。
【図１０】ユーザ定義情報作成部の表示する情報の説明図である。
【図１１】ユーザ定義情報作成部の表示する情報の説明図である。
【図１２】ユーザ定義情報作成部の表示する情報の説明図である。
【図１３】ユーザ定義情報作成部の表示する情報の説明図である。
【図１４】ユーザ定義情報作成部の実行する処理の説明図である。
【符号の説明】
【０１１６】
１      送信側クライアント装置
２      受信側クライアント装置
３      ネットワーク
４      分配サーバ
５      疑似ネットワーク劣化イベント生成装置
２０    映像受信部
２１    劣化イベント情報記憶部
２２    アクションメニュー情報記憶部
２３    対話処理部
２４    ユーザ定義情報作成部
２５    劣化映像保存部
２６    ユーザ定義情報記憶部
２７    劣化発生検出部
２８    アクション制御部
２００  疑似装置負荷生成モジュール
【図１】
0004684878.tif 000002
【図２】
0004684878.tif 000003
【図３】
0004684878.tif 000004
【図４】
0004684878.tif 000005
【図５】
0004684878.tif 000006
【図６】
0004684878.tif 000007
【図７】
0004684878.tif 000008
【図８】
0004684878.tif 000009
【図９】
0004684878.tif 000010
【図１０】
0004684878.tif 000011
【図１１】
0004684878.tif 000012
【図１２】
0004684878.tif 000013
【図１３】
0004684878.tif 000014
【図１４】
0004684878.tif 000015