(57)【要約】複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）の間でのマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法は、複数のマルチメディア・ユーザ装置のうちの或る数のマルチメディア・ユーザ装置によりレイヤ化ビデオ・イメージを送信するステップを含み、当該レイヤ化ビデオ・イメージは、ベース・レイヤ（５５２，５６２，５７２，５８２）及び１又はそれより多くの増強レイヤ（５５５，５６５，５７５，５８５）を含む。送信されたレイヤ化ビデオ・イメージは、マルチポイント制御装置（５２０）で受信され、そこで、或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とが選択される。マルチポイント制御装置（５２０）は、ベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信する。唯一つの完全な品質ビデオ・ストリームの代わりに、使用可能な帯域幅を共用して、１つの増強レイヤ及び幾つかのベース・レイヤを送ることが可能になるので、話者の識別が、従来のビデオ会議システムと比較して非常に改善される。
2005516557.tif 000002
【特許請求の範囲】
【請求項１】
複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）の間でのマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法であって、
前記複数のマルチメディア・ユーザ装置のうちの或る数のマルチメディア・ユーザ装置によりレイヤ化ビデオ・イメージを送信するステップであって、前記レイヤ化ビデオ・イメージがベース・レイヤ（５５２，５６２，５７２，５８２）及び１又はそれより多くの増強レイヤ（５５５，５６５，５７５，５８５）を含む、前記送信するステップと、
前記の送信されたレイヤ化ビデオ・イメージをマルチポイント制御装置（５２０）で受信するステップと、
或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと、最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択するステップと、
前記マルチポイント制御装置（５２０）により、或る数の活動中の話者（５３５）の前記或る数のベース・レイヤ・ビデオ・イメージと前記最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信するステップと
を備える、マルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項２】
前記選択するステップが更に、
前記或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため、前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）により送信された或る数のオーディオ・データ・ストリーム（５９０）を解析するステップを有する、請求項１記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項３】
優先レベルを、それぞれのユーザ装置により送信された各レイヤ化ビデオ・イメージ及び／又は前記オーディオ・データ・ストリームに対して割り当てるステップと、
前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの前記１又はそれより多くのマルチメディア・ユーザ装置へ送信するため或る数のベース・レイヤ・ビデオ・イメージ（５３５）及び１又はそれより多くの増強レイヤ（５４０）を前記の割り当てられた優先レベルに基づいて選択するステップと
を更に備えることを特徴とする請求項１又は請求項２に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項４】
前記最も活動中の話者のビデオ品質を強化するため前記最も活動中の話者のビデオ・イメージの第１の予測されたフレームをイントラコード化されたフレームに変換するステップ（６６０）を更に備えることを特徴とする請求項１から３のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項５】
２以上の増強レイヤが使用可能であるとき、前記ビデオ・イメージのより微細なスケーラビリティを与えるため、各レイヤ化ビデオ・イメージ送信を有する前記１又はそれより多くの話者のクラスの指示を前記マルチポイント制御装置（５２０）により受信するステップを更に備えることを特徴とする請求項１から４のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項６】
１又はそれより多くのベース・レイヤ・ビデオ・ストリームに対して、予測されたフレームを、イントラコード化されたフレームに変換するステップを更に備えることを特徴とする請求項１から５のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項７】
複数のユーザ装置（５５０，５６０，５７０，５８０）の間でビデオ・イメージを中継するためのビデオ会議装置であって、
前記複数のマルチメディア・ユーザ装置のうちの或る数のマルチメディア・ユーザ装置により送信された或る数のレイヤ化ビデオ・イメージを受信するよう適合されたマルチポイント制御装置（５２０）であって、前記レイヤ化ビデオ・イメージがベース・レイヤ（５５２，５６２，５７２，５８２）及び１又はそれより多くの増強レイヤ（５５５，５６５，５７５，５８５）を含む、前記マルチポイント制御装置（５２０）と、
前記マルチポイント制御装置（５２０）に動作可能に結合され、且つ或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択するよう適合されたビデオ切り換えモジュール（５３０）と、を備え、
前記マルチポイント制御装置（５２０）が更に、或る数の活動中の話者の前記或る数のベース・レイヤ・ビデオ・イメージと前記最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信するよう適合されている、ビデオ会議装置。
【請求項８】
前記ビデオ切り換えモジュール（５３０）に動作可能に結合された予測フレームをイントラコード化フレームに変換する予測フレーム／イントラコード化フレーム変換モジュール（６６０）であって、前記マルチポイント制御装置（５２０）が最初に前記フレームを予測されたフレームとして受信した場合、最も活動中の話者の増強レイヤ・ビデオ・ストリームをイントラコード化されたフレームとして与える、予測フレーム／イントラコード化フレーム変換モジュール（６６０）を更に備えることを特徴とする請求項７記載のビデオ会議装置。
【請求項９】
或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため或る数のオーディオ・ストリーム（５９０）を解析する話者識別モジュール（６２０）を更に備えることを特徴とする請求項７又は８記載のビデオ会議装置。
【請求項１０】
前記話者識別モジュール（６２０）が、優先レベルを各参加者の決定された活動に基づいて割り当てて、最も活動中の話者（６２２）、いずれの他の活動中の話者（６２５）及びいずれの活動中でない話者のうちの１又はそれより多くの話者を決定する請求項９記載のビデオ会議装置。
【請求項１１】
複数の参加者がビデオ・イメージを送信するビデオ会議に参加する無線装置（７００）であって、
前記複数の参加者の中からそれぞれの参加者（７２０，７３０）を表示する第１のディスプレイ及び１又はそれより多くの第２の個別のディスプレイを有するビデオ・ディスプレイ（７１０）と、
前記ビデオ・ディスプレイに動作可能に結合されて、最も活動中の話者（７２０）とそれより活動が少ない話者（７３０）の指示を受信し、且つ前記最も活動中の話者（７２０）から受信された前記ビデオ・イメージがより高い品質のビデオ・イメージを提供する前記第１のディスプレイに表示されるべきであることと、或る数の前記より活動が少ない話者（７３０）から受信された前記ビデオ・イメージがより低い品質のビデオ・イメージを提供する前記１又はそれより多くの第２のディスプレイに表示されるべきであることとを決定するプロセッサと
を備える無線装置（７００）。
【請求項１２】
ベース・レイヤ・ビデオ・ストリーム（５５２，５６２，５７２，５８２）及び増強レイヤ・ビデオ・ストリーム（５５５，５６５，５７５，５８５）を含むレイヤ化ビデオ・ストリームを複数のユーザ装置（５５０，５６０，５７０，５８０）から受信するよう適合された１又はそれより多くの受信ポートと、
前記１又はそれより多くの受信ポートに動作可能に結合され、１又はそれより多くのユーザ装置（５５０，５６０，５７０，５８０）へ送信するため、或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択する切り換えモジュール（６４０）と
を備えるマルチポイント・プロセッサ。
【請求項１３】
前記１又はそれより多くの受信ポートに動作可能に結合され、或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため、前記複数のユーザ装置のうちの或る数のユーザ装置から受信された或る数のオーディオ・ストリーム（５９０）を解析する話者識別モジュール（６２０）を更に備えることを特徴とする請求項１２記載のマルチポイント・プロセッサ。
【請求項１４】
前記話者識別モジュール（６２０）は、優先レベルを或る数の参加者の決定された活動に基づいて割り当てて、最も活動中の話者（６２２）、任意の他の活動中の話者（６２５）及び任意の活動してない話者のうちの１又はそれより多くの話者を決定する請求項１２又は１３記載のマルチポイント・プロセッサ。
【請求項１５】
前記切り換えモジュール（６４０）に動作可能に結合された予測フレーム／イントラコード化フレーム変換モジュール（６６０）であって、前記最も活動中の話者の増強レイヤ・ビデオ・ストリームがそれぞれのポートで予測フレームとして受信された場合当該最も活動中の話者の増強レイヤ・ビデオ・ストリームをイントラコード化フレームに変換する予測フレーム／イントラコード化フレーム変換モジュール（６６０）を更に備えることを特徴とする請求項１２から１４のいずれか一項に記載のマルチポイント・プロセッサ。
【請求項１６】
請求項１から６のいずれか一項に記載の方法のステップを実行するよう適合され、又は請求項７から１０のいずれか一項に記載のビデオ会議装置を組み込むよう適合され、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサを組み込むよう適合されたビデオ通信システム。
【請求項１７】
前記ビデオ通信システムが、ビデオ会議通信を容易にするため、インターネット・プロトコル・マルチメディア領域（８９０）を有するＵＭＴＳ通信標準（８００）と互換性がある請求項１６記載のビデオ通信システム。
【請求項１８】
請求項１から６のいずれか一項に記載の方法のステップを実行するよう適合され、又は請求項７から１０のいずれか一項に記載のビデオ会議装置を組み込むよう適合され、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサを組み込むよう適合されたメディア資源機能装置（８９０Ａ）。
【請求項１９】
請求項１から６のいずれか一項に記載の方法に従って発生されたレイヤ化ビデオ会議イメージを受信するよう適合されたビデオ通信装置（７００）。
【請求項２０】
請求項１から６のいずれか一項に記載の方法に使用のためレイヤ化ビデオ会議イメージを発生するよう適合され、又は請求項１から６のいずれか一項に記載の方法に従って発生されたレイヤ化ビデオ会議イメージを送信するよう適合されたビデオ通信装置。
【請求項２１】
前記ビデオ通信装置が、ノードＢ（８５０Ａ）、ＲＮＣ（８５０Ｂ）、ＳＧＳＮ（８７０Ａ）、ＧＧＳＮ（８７０Ｂ）及びＭＲＦ（８９０Ａ）のうちの１つである請求項１９記載のビデオ通信装置。
【請求項２２】
ビデオ会議イメージをＨ．３２３標準又はＳＩＰ標準に基づいて容易にするよう適合された、請求項１から６に記載のマルチメディア会議においてビデオ・イメージを中継する方法、又は請求項７から１０のいずれか一項に記載のビデオ会議装置、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサ、又は請求項１６又は１７記載のマルチポイント・プロセッサ、又は請求項１８に記載のメディア資源機能装置（８９０Ａ）、請求項１９から２１のいずれか一項に記載のビデオ通信装置。
【請求項２３】
請求項１から６のいずれか一項に記載の方法を実行するようプロセッサを制御するプロセッサ実行可能な命令を格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［発明の分野］
本発明はビデオ会議に関する。本発明は、レイヤ化ビデオ・コーディングを用いて、Ｈ．３２３及び／又はＳＩＰベースの集中化ビデオ会議におけるビデオ切り換え機構に適用可能であるが、それに限定されるものではない。
【０００２】
［発明の背景］
ビジネスのペースが加速し、関係が世界中に拡大するにつれ、通信距離を迅速且つ経済的に埋める必要性が、主要な挑戦となってきた。顧客とスタッフとを効率的に引き合わせることは、ますますより競争的な市場で成功するために不可欠である。ビジネスは、音声、ビデオ、イメージ・データ、及びそれらのいずれの組み合わせのような様々な通信方法を用いて、リアルタイム情報が国及び大陸全体にわたって共用することをサポートする柔軟な解法を捜している。
【０００３】
特に、多国籍組織は、当該組織内のグループに一層効率的且つ実効的に通信させるため、多数の場所のコストのかかる移動及びリンクを無くす希望をますます増大させている。インターネット・プロトコル（ＩＰ）ネットワークを介して動作するマルチポイント会議システムは、この必要性に対処しようと努めている。本発明の分野において、端末装置が、オーディオ及びビデオ・ストリームをリアルタイムでマルチポイント・ビデオ会議において交換することが既知である。ＩＰネットワークを介してマルチポイント会議を設定する従来の方法は、マルチポイント制御装置（ＭＣＵ）を用いる方法である。ＭＣＵは、マルチポイント会議に参加するため、３つ又はそれより多くの端末装置及び／又は通信ゲートウエイに対する能力を与えるネットワーク上のエンドポイント（端点）である。ＭＣＵはまた、ポイント・ツー・ポイント会議における２つの端末装置を接続し、それにより、それらポイント・ツー・ポイント会議は、マルチポイント会議に進展する能力を有することになる。
【０００４】
最初に図１を参照すると、既知の集中化された会議モデル（以下、「集中化会議モデル」と記す。）１００が示されている。集中化会議は、ＭＣＵベースの会議ブリッジを利用する。全ての端末装置（エンドポイント）１２０，１２２，１２５は、メディア情報をオーディオ、ビデオ及び／又はデータ信号の形式で、並びに制御情報ストリーム１４０をＭＣＵ１１０に送信し、そしてそれから受信する。これらの伝送は、ポイント・ツー・ポイント（２地点間）方式で行われる。これが図１に示されている。
【０００５】
ＭＣＵ１１０は、マルチポイント制御器（ＭＣ）及びゼロ又は１以上のマルチポイント・プロセッサ（ＭＰ）から成る。ＭＣは、呼設定及び呼信号送出折衝を全ての端末装置間で処理して、オーディオ及びビデオ処理に関する共通の能力を決定する。ＭＣＵ１１０は、いずれのメディア・ストリームも直接には処理しない。これは、ＭＰにまかし、当該ＭＰは、オーディオ、ビデオ及び／又はデータ・ビットを混合し、切り換え、そして処理する。
【０００６】
このようにして、ＭＣＵは、マルチロケーション（同時に複数の地点に存在すること）・セミナー、販売会議、グループ会議、及び他の「フェース・ツー・フェース（対面）」通信をホストする能力を提供する。また、マルチポイント会議は、様々な応用に用いることができることが知られている。
【０００７】
（ｉ）複数の場所にいる役員及び管理者が、「フェース・ツー・フェース」で会い、リアルタイム情報を共有し、時間、費用及び旅行の要望のいずれの損失無しにより迅速に決断することができる。
【０００８】
（ｉｉ）プロジェクト・チーム及び知識労働者は、個人の仕事を調整し、共有されたドキュメント、プレゼンテーション、設計及びファイルをリアルタイムの仕方で閲覧及び改訂することができる。
【０００９】
（ｉｉｉ）遠隔の場所にいる学生、訓練生及び従業員は、共有された教育／訓練資源にいずれの距離又は時間ゾーンを超えてアクセスすることができる。
その結果、ＭＣＵベースのシステムは、ＩＰベースのネットワークを介したマルチメディア通信において将来重要な役割を果たすことが予見される。
【００１０】
そのようなマルチメディア通信は、多くの場合ビデオ伝送を採用する。そのような伝送において、イメージのシーケンス（よくフレームと呼ばれる。）は、送信装置と受信装置との間で伝送される。マルチポイント・マルチメディア会議システムは、例えば、Ｈ．３２３及びＳＩＰセッション・レイヤ・プロトコル標準により指定されるように、様々な方法を用いて、設定することができる。ＳＩＰの参考資料は、
http://www.ietf.org/rfc/rfc2543.txt、及び
http://www.cs.columbia.edu/~hgs/sip
に見つけることができる。
【００１１】
更に、例えばＩＴＵ  Ｈ．２６３ビデオ圧縮［ＩＴＵ−Ｔ勧告、Ｈ．２６３、「低ビット・レート通信用ビデオ・コーディング」］を用いるシステムにおいて、ビデオ・シーケンスの第１のフレームは、一般的にイントラコード化された情報（ｉｎｔｒａ  ｃｏｄｅｄ  ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる、大量のイメージ・データを含む。イントラコード化されたフレームは、それが最初のフレームであるので、表示されるべきイメージの実質的部分を与える。このイントラコード化されたフレームにはインターコード化された（予測された）情報が続き、そのインターコード化された（予測された）情報（ｉｎｔｅｒ−ｃｏｄｅｄ（ｐｒｅｄｉｃｔｅｄ）  ｉｎｆｏｒｍａｔｉｏｎ）は一般的に、送信中であるイメージの変化に関連するデータを含む。従って、予測され且つインターコード化された情報は、イントラコード化された情報より非常に少ない情報しか含まない。
【００１２】
従来のマルチメディア会議システムにおいては、ユーザは、彼らが話すとき自分自身を識別することが必要であり、それにより受信端末装置は、誰が話をしているかを知っている。明らかなことであるが、送信端末装置がそれ自身を識別するのに失敗した場合、聴いているユーザは、誰が話をしているかを推測しなければならない。
【００１３】
既知の技術は、この問題を、オーディオ・ストリームを解析し、次いで活動中の話者の名前及びビデオ・ストリームを全ての参加者に送ることにより解決している。集中化会議システムにおいては、ＭＣＵは、多くの場合この機能を実行する。次いで、ＭＣＵは、適切な入力マルチメディア・ストリームを出力ポート／経路へ切り換えることにより、話者の名前及び対応のビデオ及びオーディオ・ストリームを全ての参加者に送信することができる。
【００１４】
ビデオ切り換えは、単一のビデオ・ストリームを各エンドポイントへ供給することをねらった周知の技術であり、複数のポイント・ツー・ポイント・セッションを配列することと等価である。ビデオ切り換えは、
（ｉ）音声により活動化された切り換え（ｖｏｉｃｅ  ａｃｔｉｖａｔｅｄ  ｓｗｉｔｃｈｉｎｇ）であって、そこでは、ＭＣＵが活動中の話者のビデオを送信すること、
（ｉｉ）調時され活動化された切り換え（ｔｉｍｅｄ  ａｃｔｉｖａｔｅｄ  ｓｗｉｔｃｈｉｎｇ）であって、そこでは、各参加者のビデオが１つずつ所定の時間間隔で送信されること、
（ｉｉｉ）個人のビデオ選択切り換え（ｉｎｄｉｖｉｄｕａｌ  ｖｉｄｅｏ  ｓｅｌｅｃｔｉｏｎ  ｓｗｉｔｃｈｉｎｇ）であって、そこでは、各エンドポイントは、参加者が受信することを希望するその参加者のビデオ・ストリームを要求することができること、であることができる。
【００１５】
ここで図２を参照すると、従来のビデオ切り換え機構２００のブロック図が示されている。従来の集中化会議システムにおいては、ビデオ切り換えは次のとおりに実行される。例えばインターネット・プロトコル（ＩＰ）ベースのネットワーク２１０内に位置するＭＣＵ２２０は、スイッチ２３０を含む。ＭＣＵ２２０は、全ての参加者（ユーザ装置）２５０，２６０，２７０，２８０のビデオ・ストリーム２５５，２６５，２７５，２８５を受信する。ＭＣＵはまた、組み合わされた（多重化された）オーディオ・ストリーム２９０を、話している参加者から別々に受信し得る。次いで、ＭＣＵ２２０は、それらのビデオ・ストリームの１つを選択し、このビデオ・ストリーム２４０を全ての参加者２５０，２６０，２７０，２８０に送信する。
【００１６】
そのような従来のシステムは、そのシステムが活動中の話者のビデオ・ストリームのみを送信する欠点を有する。ユーザは、依然として、幾人かの話者が同時に話している場合、又は活動中の話者が絶えず変わっている場合、ビデオ・ストリームの話者を識別する点に問題を有する。これは、特に、大きなビデオ会議の場合である。
【００１７】
代替として、各参加者のビデオを全ての参加者に送信することができる。しかしながら、このアプローチは、帯域幅の制限のため無線ベースの会議で悪化する。
ビデオ技術の分野では、ビデオが一連の静止イメージ／ピクチャとして送信されることが知られている。ビデオ信号の品質はビデオ信号のコード化又は圧縮の間に悪影響を被る場合があるので、ビデオ信号と符号化されたビデオ・ビット・ストリームとの差に基づいた追加の情報「レイヤ（複数）」を含めることが知られている。追加のレイヤを含めることにより、復号及び／又は復元が続く受信信号の品質を増強することが可能になる。従って、１又はそれより多くのレイヤに仕切られたピクチャ及び増強ピクチャの階層構造を用いて、レイヤ化されたビデオ・ビット・ストリームを生成する。
【００１８】
レイヤ化された（スケーラブルな）ビデオ・ビット・ストリームにおいては、ビデオ信号に対する増強は、ベース・レイヤへ次のいずれかにより追加され得る。
（ｉ）ピクチャの解像度（空間スケーラビリティ）を増大する；又は
（ｉｉ）エラー情報を含めて、ピクチャの信号対雑音比（ＳＮＲスケーラビリティ）を改善する；又は
（ｉｉｉ）余分のピクチャを含めて、フレーム・レート（時間的スケーラビリティ）を増大する。
【００１９】
そのような増強は、ピクチャ全体に、又はピクチャ内の任意の形状にされたオブジェクトに適用され得て、それは、オブジェクト・ベースのスケーラビリティと呼ばれる。時間的増強レイヤの使い捨て性質（ｄｉｓｐｏｓａｂｌｅ  ｎａｔｕｒｅ）を残しておくため、Ｈ．２６３標準は、時間的スケーラビリティ・モードに含まれるピクチャが図３のビデオ・ストリームに示されるように双方向に予測された（Ｂ）ピクチャであるべきであることを要求する。
【００２０】
図３は、ビデオ・コーディング技術の分野で知られているように、Ｂピクチャ予測依存性を説明するスケーラブルなビデオ構成３００の概略図を示す。初期イントラコード化フレーム（Ｉ１）３１０には、双方向に予測されたフレーム（Ｂ２）３２０が続く。次いで、これには、（単方向の）予測されたフレーム（Ｐ３）３３０が続き、そして再び第２の双方向に予測されたフレーム（Ｂ４）３４０が続く。次いで、これには、再び、（単方向の）予測されたフレーム（Ｐ５）３５０が続き、以下同様である。
【００２１】
図４は、ビデオ・コーディング技術の分野で既知である、レイヤ化されたビデオ構成の概略図である。レイヤ化されたビデオ・ビット・ストリームは、ベース・レイヤ４０５、及び１又はそれより多くの増強レイヤ４３５を含む。
【００２２】
ベース・レイヤ（レイヤ１）は、元のビデオ信号ピクチャからサンプリング、コード化、及び／又は圧縮された１又はそれより多くのイントラコード化されたピクチャ（Ｉピクチャ）を含む。更に、ベース・レイヤは、イントラコード化されたピクチャ（単数又は複数）４１０から予測された複数の予測されたイントラコード化されたピクチャ（Ｐピクチャ）を含むであろう。
【００２３】
増強レイヤ（レイヤ２又は３又は４以上）４３５においては、３つのタイプのピクチャを用い得る。即ち、
（ｉ）双方向に予測された（Ｂ）ピクチャ（図示せず）、
（ｉｉ）ベース・レイヤ４０５のイントラコード化されたピクチャ（単数又は複数）に基づく増強されたイントラ（ＥＩ）・ピクチャ４４０、
（ｉｉｉ）ベース・レイヤ４０５のイントラコード化され予測されたピクチャ４２０，４３０に基づく増強された予測された（ＥＰ）ピクチャ４５０，４６０。
【００２４】
低いレイヤからの垂直の矢印は、増強レイヤにおけるピクチャが参照（より低い）レイヤにおけるそのピクチャの再構成された近似から予測されることを示す。
要約すると、スケーラブルなビデオ・コーディングが、マルチキャスト・マルチメディア会議で、そしてポイント・ツー・ポイント又はマルチキャスト・ビデオ通信の文脈においてのみ用いられてきた。しかしながら、無線ネットワークは、現在マルチキャスティングをサポートしてない。更に、マルチキャスティングの場合、各レイヤは、別々のマルチキャスト・セッションで送られ、その場合、受信機は、それ自体、１又はそれより多くのセッションを記録すべきかどうかを決定する。
【００２５】
従って、前述の欠点を改善し得る、改善されたビデオ会議構成及び動作方法に対する必要性が存在する。
【００２６】
［発明の陳述］
本発明に従って、請求項１に記載されたマルチメディア・ビデオ会議でビデオ・イメージを中継する方法、請求項７に記載されたビデオ・イメージを中継するビデオ会議装置、請求項１１に記載されたビデオ会議に参加する無線装置、請求項１２に記載されたマルチポイント・プロセッサ、請求項１６に記載されたビデオ通信システム、請求項１８に記載されたメディア資源機能装置、請求項１９又は２０に記載されたビデオ通信装置、及び請求項２３に記載された記憶媒体が提供される。本発明の更なる局面が、いわゆる従属請求項に記載されている。
【００２７】
要約すると、本発明の発明概念は、従来技術の構成の欠点を、ビデオ会議における参加者及び話者の識別を改善するためのビデオ切り換え方法を提供することにより対処する。本発明は、各ユーザが使用可能な帯域幅をより良好に使用するため、レイヤ化されたビデオ・コーディングを利用する。
本発明の例示的実施形態がここで、添付図面を参照して説明される。
【００２８】
［好適な実施形態の説明］
要約すると、本発明の好適な実施形態は、レイヤ化されたビデオ・コーディングを利用する、マルチメディア会議用の新しいビデオ切り換え機構を提案する。以前には、レイヤ化されたビデオ・コーディングは、ビデオ・ビット・ストリームを２以上のレイヤ、即ち、図４に関連して前述したようにベース・レイヤ及び１又は幾つかの増強レイヤに仕切る（ｐａｒｔｉｔｉｏｎ）ため用いられてきただけである。スケーラブルなビデオ通信のためのこれらの既知の技術は、Ｈ．２６３及びＭＰＥＧ−４のような標準に詳細に記載されている。
【００２９】
しかしながら、本発明の発明者は、レイヤ化されたビデオ・コーディングの概念を適応させ、且つその適応された概念をマルチメディア・ビデオ会議応用に適用することにより利益が得られる筈であることを認識した。このようにして、本発明は、ポイント・ツー・ポイント又はマルチキャスト・ビデオ通信とは対照的に、マルチメディア会議の使用に焦点を合わせたスケーラブルなビデオ・コーディングの様々なタイプを定義する。
【００３０】
ここで図５を参照すると、本発明の好適な実施形態に従ったビデオ切り換え機構の機能ブロック図５００が示されている。従来の集中化会議システムとは対照的に、ビデオ切り換えは、次のとおりに実行される。例えば、インターネット・プロトコル（ＩＰ）ベースのネットワーク５１０内に位置するＭＣＵ５２０は、スイッチ５３０を含む。
【００３１】
ＭＣＵ５２０は、ベース・レイヤ５５２，５６２，５７２，５８２と、全ての参加者（ユーザ装置）５５０，５６０，５７０，５８０の１又はそれより多くの増強レイヤ・ストリーム５５５，５６５，５７５，５８５とを含む「レイヤ化された」ビデオ・ストリームを受信する。単に明瞭さのためのみで、唯１つの増強レイヤ・ビデオ・ストリームが１参加者について示されている。
【００３２】
ＭＣＵ５２０はまた、組み合わされた（多重化された）オーディオ・ストリーム５９０を参加者から別に受信し得る。次いで、ＭＣＵ５２０は、或る数の活動中の話者５３５のベース・レイヤ・ビデオ・ストリーム、及び最も活動中の話者の増強レイヤ５４０を、スイッチ５３０を用いて、選択する。次いで、ＭＣＵ５２０は、これらのビデオ・ストリーム５３５，５４０を全ての参加者５５０，５６０，５７０，５８０に送信する。
【００３３】
最も活動中の話者を決定するための選択プロセスは、ＭＣＵ５２０が、最初に全ての活動中の話者が誰であるかを決定するため、オーディオ・ストリーム５９０を解析することにより好適に実行される。次いで、最も活動中の話者が、図６を参照して説明されるように、マルチポイント・プロセッサ・ユニットで好適に決定される。１又はそれより多くのベース・レイヤ及び１つの増強レイヤが、各参加者の活動に基づいた優先レベルに従って参加者へ好適に送信される。
【００３４】
図５に示す改善されたがしかしより複雑なビデオ切り換え機構を実効的に動作させるため、マルチポイント処理装置（ＭＰ）６００は、本発明の好適な実施形態に従い、そして図６に示されるように、新しいビデオ切り換え機構を容易にするよう適合された。
【００３５】
ＭＰ６００は、相変わらず、オーディオ・ストリーム５９０を、参加者のビデオ／マルチメディア通信装置からパケット・フィルタリング・モジュール６１０を介して受信し、そしてこのオーディオ・ストリームをパケット・ルーティング・モジュール６３０へルーティングする。しかしながら、オーディオ・ストリームは、ここでまた、話者識別モジュール６２０へルーティングされ、当該話者識別モジュール６２０は、オーディオ・ストリーム５９０を解析して、誰が活動中の話者であるかを決定する。話者識別モジュール６２０は、各参加者の活動に基づいて優先レベルを割り当て、そして次のことを決定する。即ち、
（ｉ）最も活動中の話者６６２、
（ｉｉ）任意の他の活動中の話者６２５、そしてこれはデフォルトによる、
（ｉｉｉ）任意の残りの活動してない話者。
【００３６】
次いで、話者識別モジュール６２０は、本発明の好適な実施形態に従って、話者の優先レベルを処理するよう適合されている切り換えモジュール６４０へ優先レベル情報を送信する。更に、切り換えモジュール６４０は、ビデオ・ベース・レイヤ・ストリーム５５２，５６２，５７２及び５８２、及びビデオ増強レイヤ・ストリーム５５５，５６５，５７５及び５８５を含むレイヤ化されたビデオ・ストリームを参加者のビデオ通信装置からパケット・フィルタリング・モジュール６１０を介して受信するよう適合されている。切り換えモジュール６４０は、この話者情報を用いて、二次の（よりレベルの低い）活動中の話者及び最も活動中の話者のビデオ・ベース・レイヤと、最も活動中の話者のビデオ増強レイヤのみとを全ての参加者へパケット・ルーティング・モジュール６３０を介して送信する。
【００３７】
従って、マルチポイント・プロセッサの１又はそれより多くの受信ポートは、ベース・レイヤ・ビデオ・ストリーム５５２，５６２，５７２及び５８２及び増強レイヤ・ストリーム５５５，５６５，５７５及び５８５を含むレイヤ化されたビデオ・ストリームを複数のユーザ装置５５０，５６０，５７０及び５８０から受信するよう適合されている。切り換えモジュール６４０が、唯一人の活動中の話者が存在することが決定された場合、１つのベース・レイヤ・ビデオ・イメージ及び対応の１又はそれより多くの増強レイヤをただ選択し得ることが、本発明の意図内である。次いで、この話者は、１又はそれより多くのユーザ装置５５０，５６０，５７０及び５８０へ送信する最も活動中の話者として自動的に指定される。
【００３８】
ビデオ会議で生じることがあるように、最も活動中の話者が絶えず変わっているとき、増強レイヤは、絶えず切り替わっている。本発明の発明者は、そのような絶え間なく且つ迅速な切り換えに伴う潜在的な問題を認識した。そのような環境の下では、第１のフレームが実際に、以前単に二次の活動中の話者であった話者からの、予測されたフレーム（ＥＰ）であった場合、第１のフレームがイントラ・フレーム（ＥＩ）に変換されることが必要である。
【００３９】
この潜在的な問題に対処するため、パケット・フィルタリング・モジュール６１０からのビデオ・ベース・レイヤ・ストリーム５５２，５６２，５７２及び５８２とビデオ増強レイヤ・ストリーム５５５，５６５，５７５及び５８５とは、パケット解除（ｄｅ−ｐａｃｋｅｔｉｓａｔｉｏｎ）機能部６８０に入力されるのが好ましい。パケット解除機能部６８０は、ビデオ・ストリームを逆多重化し、そして逆多重化されたビデオ・ストリームをビデオ・デコーダ及びバッファ機能部６７０に与える。
【００４０】
ビデオ・デコーディング（復号化）を同期させ且つ調整する（ｃｏ−ｏｒｄｉｎａｔｅ）ため、ビデオ・デコーダ及びバッファ機能部６７０は、最も活動中の話者６２２の指示を受信する。最も活動中の話者に関するビデオ・ストリーム情報を抽出した後で、ビデオ・デコーダ及びバッファ機能部６７０は、最も活動中の話者６２２の双方向に予測された（ＢＰ）ビデオ・ストリーム・データ及び／又は予測された（ＥＰ）ビデオ・ストリーム・データを「ＥＰフレーム／ＥＩフレーム変換モジュール」６６０へ与える。「ＥＰフレーム／ＥＩフレーム変換モジュール」６６０は、入力ビデオ・ストリームを処理して、主要話者増強レイヤ・ビデオ・ストリームを、イントラコード化された（ＥＩ）フレームとして与える。
【００４１】
次いで、主要話者増強レイヤ・ビデオ・ストリームは、パケット化機能部６５０に入力され、そこで、その主要話者増強レイヤ・ビデオ・ストリームは、パケット化され、そして切り換えモジュール６４０に入力される。次いで、切り換えモジュール６４０は、主要話者増強レイヤ・ビデオ・ストリームを、二次の活動中の話者のビデオ・ベース・レイヤ・ストリーム５５２，５６２，５７２及び５８２と組み合わせ、そしてその組み合わされたマルチメディア・ストリームをパケット・ルーティング・モジュール６３０へルーティングする。次いで、パケット・ルーティング・モジュール６３０は、図５の方法に従って、情報を参加者にルーティングする。
【００４２】
本発明の好適な実施形態においては、ビデオ切り換えモジュール６４０は、「ＥＰフレーム／ＥＩフレーム変換モジュール」６６０が主要話者が変わったと決定するとき「ＥＰフレーム／ＥＩフレーム変換モジュール」６６０の出力を用いる。
【００４３】
二次の話者が変わったと考えられるときその二次の話者に対して同じ機能を実行するため、ＥＰフレーム／ＥＩフレーム変換モジュール６６０と似ている１又はそれより多くのモジュールがまたＭＰ６００に含められることができるであろうことは本発明の意図内である。その他の場合は、単一の「ＥＰフレーム／ＥＩフレーム変換モジュール」６６０を用いて主要話者のみのビデオ・ストリームを変換する実施形態においては、例えば活動してない話者が二次の活動中の話者になるとき、話者識別モジュール６２０（又は切り換えモジュール６４０）は、新しいイントラ・フレームを要求し得る。代替として、切り換えモジュール６４０は、新しい二次の活動中の話者のビデオ・ベース・レイヤ・ストリームを全ての参加者へ送る前にその新しい二次の活動中の話者の新しいイントラ・フレームを待ってよい。
【００４４】
本発明の好適な実施形態に加えて、２以上の増強レイヤが使用のため入手可能である場合、話者のより多くのクラス（階級）を用いることができることは、本発明の意図内である。話者のより多くのクラスを用いることにより、話者の識別が特に大きなビデオ会議に関して改善されるので、マルチメディア・メッセージのより精細なスケーラビリティを達成することができる。
【００４５】
また、予測されたフレームをイントラ・フレームに変換することをベース・レイヤ・ストリームのうちの１又はそれより多くのベース・レイヤ・ストリームに関して追加することができるであろうことが本発明の意図内である。このようにして、切り換えモジュール６４０は、新しいイントラ・フレームを待つ必要無しに、ベース・レイヤ間を迅速に切り換えることができる。
【００４６】
図７は、本発明の好適な実施形態を用いたビデオ会議に参加する無線装置７００のビデオ・ディスプレイ７１０を示す。これまで説明してきた発明概念を実行することにより、改善されたビデオ通信が達成される。特に、所与の帯域幅に対して、参加者は、ここで、よりレベルの低い（二次の）活動中の話者７３０を低くし且つ活動してない話者のビデオを提供しないことにより、最も活動中の話者のより良好なビデオ品質を受け取ることができる。そのような改善されたビデオ会議を提供するため、ビデオ通信装置は、最も活動中の話者７２０の増強レイヤ及びベース・レイヤと、二次の活動中の話者７３０のベース・レイヤとを受信し、そして活動してない話者からのビデオは受信しない。
【００４７】
そのようにして、ビデオ通信装置は、最も活動中の話者の絶えず更新されるビデオ・イメージをより大きな且つより高い解像度のディスプレイで提供することができる一方、より小さいディスプレイは、二次の（よりレベルの低い）活動中の話者を表示することができる。
【００４８】
無線装置７００は、最も活動中の話者のより高い品質のビデオ・イメージを表示する主要ビデオ・ディスプレイと、それぞれのよりレベルの低い活動中の話者を表示する１又はそれより多くの第２の個別ディスプレイとを有することが好ましい。それぞれのビデオ・イメージをそれぞれのディスプレイに表示する操作は、ビデオ・ディスプレイに動作可能に結合されるプロセッサ（図示せず）により実行されることが好ましい。プロセッサは、最も活動中の話者７２０及びよりレベルの低い活動中の話者の指示を受け取り、そして受信されたどのビデオ・イメージが第１のディスプレイに表示されるべきか、及びよりレベルの低い活動中の話者７３０から受信されたどのビデオ・イメージ（単数又は複数）が第２のディスプレイに表示されるべきかを決定する。第２のディスプレイは、より低い活動中の話者のより低い品質のビデオ・イメージを提供することによりコストを節約するよう構成されることが有利である。
【００４９】
ＭＣＵベースのシステムが将来ＩＰベースのネットワークを介したマルチメディア通信を容易にするであろうことが予想される。従って、本発明の発明者は、本明細書に記載された技術がＭＣＵを利用するいずれのＨ．３２３／ＳＩＰベースのマルチポイント・マルチメディア会議又はシステムに組み込まれることができるであろうことを想定するものである。
【００５０】
前述の発明の好適な応用は、広帯域符号分割多重アクセス（ＷＣＤＭＡ）標準に関する第３世代パートナーシップ・プロジェクト（３ＧＰＰ）仕様内にある。特に、本発明は、ＩＰマルチメディア領域（仕様書の３Ｇ  ＴＳ  ２５．ｘｘｘシリーズに記載されている。）に適用されることができ、それは、Ｈ．３２３／ＳＩＰ  ＭＣＵを３ＧＰＰネットワークの中に組み込むことを計画中である。ＭＣＵは、メディア資源機能部８９０Ａ（図８参照）によりホストされるであろう。
【００５１】
図８は、３ＧＰＰ（ＵＭＴＳ）通信システム／ネットワーク８００を階層形式で示し、その３ＧＰＰ（ＵＭＴＳ）通信システム／ネットワーク８００は、本発明の好適な実施形態に従って適合されることが可能である。通信システム８００は、ＵＭＴＳ及び／又はＧＰＲＳエアー・インターフェースを介して動作することができるネットワーク構成要素に準拠し、且つそれらを含む。
【００５２】
そのネットワークは次のものを備えると都合良いと考えられる。
（ｉ）次のものから作られたユーザ装置領域８１０：
（ａ）ユーザＳＩＭ（ＵＳＩＭ）領域８２０、及び
（ｂ）移動装置領域８３０
（ｉｉ）次のものから作られたインフラストラクチャ領域８４０：
（ｃ）アクセス・ネットワーク領域８５０、及び
（ｄ）次のものから作られたコア・ネットワーク領域８６０；
（ｄｉ）サービス提供ネットワーク領域８７０、及び
（ｄｉｉ）移行ネットワーク領域８８０、及び
（ｄｉｉｉ）ＩＰマルチメディア領域８９０（なお、マルチメディアはＳＩＰ（ＥＴＦ  ＲＦＣ２５４３）により与えられる。）。
【００５３】
移動装置領域８３０において、ＵＥ８３０Ａは、データをＵＳＩＭ領域８２０内のユーザＳＩＭ８２０Ａから有線Ｃｕインターフェースを介して受信する。ＵＥ８３０Ａは、データをネットワーク・アクセス領域８５０内のノードＢ８５０Ａと無線Ｕｕインターフェースを介して通信する。ネットワーク・アクセス領域８５０内で、ノードＢ８５０Ａは、１又はそれより多くの送受信機装置を含み、そしてセル・ベースのシステム・インフラストラクチャの残りの構成要素、例えばＲＮＣ８５０ＢとＩｕｂインターフェースを介して、ＵＭＴＳ仕様に定義されるように、通信する。
【００５４】
ＲＮＣ８５０Ｂは、他のＲＮＣ（図示せず）とＩｕｒインターフェースを介して通信する。ＲＮＣ８５０Ｂは、サービス提供ネットワーク領域８７０内のＳＧＳＮ８７０ＡとＩｕインターフェースを介して通信する。サービス提供ネットワーク領域８７０内で、ＳＧＳＮ８７０Ａは、ＧＧＳＮ８７０ＢとＧｎインターフェースを介して通信し、そしてＳＧＳＮ８７０Ａは、ＶＬＲサーバ８７０ＣとＧｓインターフェースを介して通信する。本発明の好適な実施形態に従って、ＳＧＳＮ８７０Ａは、ＩＰマルチメディア領域８９０内のメディア資源機能部（８９０Ａ）内に存在するＭＣＵ（図示せず）と通信する。その通信は、Ｇｉインターフェースを介して実行される。
【００５５】
ＧＧＳＮ８７０Ｂ（及び／又はＳＳＧＮ）は、ＵＭＴＳ（ＧＰＲＳ）がインターネット又は公衆交換電話網（ＰＳＴＮ）のような公衆交換データ・ネットワーク（ＰＳＤＮ）８８０Ａとインターフェースすることを担当している。ＳＧＳＮ８７０Ａは、例えば、ＵＭＴＳコア・ネットワーク内のトラフィックのためのルーティング及びトンネリング機能を実行し、一方ＧＧＳＮ８７０Ｂは、人がシステムのＵＭＴＳモードにアクセスするこのケースにおいて、外部パケット・ネットワークへリンクする。
【００５６】
ＲＮＣ８５０Ｂは、多数のノードＢ８５０Ａのための資源の制御及び割り当てを担当するＵＴＲＡＮ構成要素である。典型的には、５０から１００個のノードＢが、１つのＲＮＣ８５０Ｂにより制御され得る。ＲＮＣ８５０Ｂはまた、エアー・インターフェースを介したユーザ・トラフィックの信頼性のある供給を提供する。ＲＮＣは、相互に（インターフェースＩｕｒを介して）通信して、ハンドオーバ及びマクロ・ダイバーシティをサポートする。
【００５７】
ＳＧＳＮ８７０Ａは、位置レジスタ（ＨＬＲ及びＶＬＲ）に対するセッション制御及びインターフェースを担当するＵＭＴＳコア・ネットワーク構成要素である。ＳＧＳＮは、多くのＲＮＣにとって大きな集中化された制御器である。
【００５８】
ＧＧＳＮ８７０Ｂは、コア・パケット・ネットワーク内のユーザ・データを最終の宛先（例えば、インターネット・サービス・プロバイダ（ＩＳＰ））へ集中させ且つトンネリングさせることを担当するＵＭＴＳコア・ネットワーク構成要素である。そのようなユーザ・データは、ＩＰマルチメディア領域８９０へ及び／又はそれからのマルチメディア及び関連の信号送出データを含む。ＩＰマルチメディア領域８９０内で、ＭＲＦは、マルチメディア資源機能制御器（ＭＲＦＣ）８９２Ａ及びマルチメディア資源機能プロセッサ（ＭＲＦＰ）８９１Ａに分割される。前述したように、ＭＲＦＣ８９２Ａはマルチポイント制御器（ＭＣ）の機能を提供し、一方ＭＲＦＰ８９１Ａはマルチポイント・プロセッサ（ＭＰ）の機能を提供する。
【００５９】
Ｍｒ参照ポイント／インターフェース８９３Ａ間に用いられるプロトコルは、ＳＩＰ（ＲＦＣ２５４３により定義される）である。呼状態制御機能（ＣＳＣＦ）８９５Ａは、呼サーバとして作用し、そしてマルチメディア呼信号送出を扱う。
【００６０】
こうして、本発明の好適な実施形態に従って、構成要素ＳＧＳＮ８７０Ａ、ＧＧＳＮ８７０Ｂ、及びＭＲＦ８９０Ａ内の全ての構成要素は、上記で説明したようにマルチメディア・メッセージを容易にするよう適合されている。更に、ＵＥ８３０Ａ、ノードＢ８５０Ａ及びＲＮＣ８５０Ｂはまた、上記で説明したように改善されたマルチメディア・メッセージを容易にするよう適合されている。
【００６１】
より一般的には、その適合は、それぞれの通信装置においていずれの適切な要領で実行され得る。例えば、新しい装置は、従来の通信装置に追加され得て、又は代替として、従来の通信装置の既存構成要素は、例えば、その中の１又はそれより多くのプロセッサを再プログラミングすることにより適合され得る。そのようして、要求された適合は、フロッピー（登録商標）・ディスク、ハード・ディスク、ＰＲＯＭ、ＲＡＭ、又はそれらの任意の組み合わせ、又は他の記憶マルチメディアのような記憶媒体に格納されたプロセッサ実行可能命令の形式で実行され得る。
【００６２】
また、マルチメディア・メッセージのそのような適合は、代替として、通信システム８００のいずれの他の適切な構成要素を適合させることにより、制御され、全部又は部分的に実行され得る。
【００６３】
上記の構成要素が典型的には、移動装置領域８３０、アクセス・ネットワーク領域８５０、及びサービス提供ネットワーク領域８７０にまたがって分割された個別の且つ分離した装置として（それら自体のそれぞれのソフトウエア及び／又はハードウエア・プラットフォーム上に）設けられるが、他の構成も適用することができることを想定している。
【００６４】
更に、ＧＳＭネットワークのような他のネットワーク・インフラストラクチャの場合、処理動作の実現は、いずれの他の適切なタイプの基地局、基地局制御器、移動交換センタ、又は動作及び管理制御器等のようないずれの適切なノードで実施され得る。代替として、前述のステップは、いずれの適切なネットワーク又はシステム内の異なる場所又はエンティテイに分散された様々な構成要素により実行され得る。
【００６５】
好ましくは前述した集中化されたビデオ会議に適用されるときレイヤ化されたビデオ・コーディングを用いたビデオ会議方法は、次の利点を与える。
（ｉ）話者の識別は、従来のシステムと比較して非常に改善される。それは、唯１つのフル品質のビデオ・ストリームの代わりに、帯域幅を共用して、１又はそれより多くの増強レイヤ及び幾つかのベース・レイヤを送信するのを可能にするからである。
【００６６】
（ｉｉ）活動中の話者が変わるときのビデオ切り換えは、本明細書で説明した発明概念を用いて非常に円滑である。それは、発明の概念が活動中の話者、第２の大部分の活動中の話者、活動してない話者の幾つかの状態を定義するからである。
【００６７】
（ｉｉｉ）最も活動中の話者のビデオ品質が改善される。
（ｉｖ）改善されたビデオ通信装置が様々の話者を表示し、各表示されたイメージは、それぞれのビデオ通信装置の送信と関連した有線レベルに依存している。
【００６８】
複数のマルチメディア・ユーザ装置間のマルチメディア・ビデオ会議でビデオ・イメージを中継する方法が記載された。この方法は、ベース・レイヤ及び１又はそれより多くの増強レイヤを含むレイヤ化されたビデオ・イメージを、複数のユーザ装置のうちの或る数のユーザ装置により送信するステップと、その送信されたレイヤ化されたビデオ・イメージをマルチポイント制御装置で受信するステップとを含む。或る数の活動中の話者の或る数のベース・レイヤ・ビデオ・イメージが選択され、そして最も活動中の話者の１又はそれより多くの増強レイヤが選択される。マルチポイント制御装置は、或る数の活動中の話者の或る数のベース・レイヤ・ビデオ・イメージ、及び最も活動中の話者の１又はそれより多くの増強レイヤを複数のマルチメディア・ユーザ装置のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信する。
【００６９】
その上、ビデオ・イメージを複数のユーザ装置間で中継するビデオ会議装置が記載された。更に、ビデオ会議に参加するための無線装置であって或る数の参加者がビデオ・イメージを送信する無線装置が記載された。
【図面の簡単な説明】
【００７０】
【図１】図１は、既知の集中化会議モデルを示す。
【図２】図２は、従来のビデオ切り換え機構の機能図を示す。
【図３】図３は、ビデオ・コーディング技術の分野で既知である、ピクチャ予測依存性を示すビデオ構成の概略図である。
【図４】図４は、ビデオ・コーディング技術の分野で既知であるレイヤ化されたビデオ構成の概略図である。
【図５】図５は、本発明の好適な実施形態に従ったビデオ切り換え機構の機能図を示す。
【図６】図６は、本発明の好適な実施形態に従ったマルチポイント処理装置の機能ブロック図／フロー・チャートを示す。
【図７】図７は、本発明の好適な実施形態を用いたビデオ会議に参加する無線装置のビデオ・ディスプレイを示す。
【図８】図８は、本発明の好適な実施形態に従って適合されたＵＭＴＳ（３ＧＰＰ）通信システムを示す。
【図１】
2005516557.tif 000003
【図２】
2005516557.tif 000004
【図３】
2005516557.tif 000005
【図４】
2005516557.tif 000006
【図５】
2005516557.tif 000007
【図６】
2005516557.tif 000008
【図７】
2005516557.tif 000009
【図８】
2005516557.tif 000010
【手続補正書】
【提出日】平成15年8月25日(2003.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）の間でのマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法であって、
前記複数のマルチメディア・ユーザ装置のうちの或る数のマルチメディア・ユーザ装置によりレイヤ化ビデオ・イメージを送信するステップであって、前記レイヤ化ビデオ・イメージがベース・レイヤ（５５２，５６２，５７２，５８２）及び１又はそれより多くの増強レイヤ（５５５，５６５，５７５，５８５）を含む、前記送信するステップと、
前記の送信されたレイヤ化ビデオ・イメージをマルチポイント制御装置（５２０）で受信するステップと、
或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと、最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択するステップと、
前記マルチポイント制御装置（５２０）により、或る数の活動中の話者（５３５）の前記或る数のベース・レイヤ・ビデオ・イメージと前記最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信するステップと
を備える、マルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項２】
前記選択するステップが更に、
前記或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため、前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）により送信された或る数のオーディオ・データ・ストリーム（５９０）を解析するステップを有する、請求項１記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項３】
優先レベルを、それぞれのユーザ装置により送信された各レイヤ化ビデオ・イメージ及び／又は前記オーディオ・データ・ストリームに対して割り当てるステップと、
前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの前記１又はそれより多くのマルチメディア・ユーザ装置へ送信するため或る数のベース・レイヤ・ビデオ・イメージ（５３５）及び１又はそれより多くの増強レイヤ（５４０）を前記の割り当てられた優先レベルに基づいて選択するステップと
を更に備えることを特徴とする請求項１又は請求項２に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項４】
前記最も活動中の話者のビデオ品質を強化するため前記最も活動中の話者のビデオ・イメージの第１の予測されたフレームをイントラコード化されたフレームに変換するステップ（６６０）を更に備えることを特徴とする請求項１から３のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項５】
２以上の増強レイヤが使用可能であるとき、前記ビデオ・イメージのより微細なスケーラビリティを与えるため、各レイヤ化ビデオ・イメージ送信を有する前記１又はそれより多くの話者のクラスの指示を前記マルチポイント制御装置（５２０）により受信するステップを更に備えることを特徴とする請求項１から４のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項６】
１又はそれより多くのベース・レイヤ・ビデオ・ストリームに対して、予測されたフレームを、イントラコード化されたフレームに変換するステップを更に備えることを特徴とする請求項１から５のいずれか一項に記載のマルチメディア・ビデオ会議においてビデオ・イメージを中継する方法。
【請求項７】
複数のユーザ装置（５５０，５６０，５７０，５８０）の間でビデオ・イメージを中継するためのビデオ会議装置であって、
前記複数のマルチメディア・ユーザ装置のうちの或る数のマルチメディア・ユーザ装置により送信された或る数のレイヤ化ビデオ・イメージを受信するよう適合されたマルチポイント制御装置（５２０）であって、前記レイヤ化ビデオ・イメージがベース・レイヤ（５５２，５６２，５７２，５８２）及び１又はそれより多くの増強レイヤ（５５５，５６５，５７５，５８５）を含む、前記マルチポイント制御装置（５２０）と、
前記マルチポイント制御装置（５２０）に動作可能に結合され、且つ或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択するよう適合されたビデオ切り換えモジュール（５３０）と、を備え、
前記マルチポイント制御装置（５２０）が更に、或る数の活動中の話者の前記或る数のベース・レイヤ・ビデオ・イメージと前記最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを前記複数のマルチメディア・ユーザ装置（５５０，５６０，５７０，５８０）のうちの１又はそれより多くのマルチメディア・ユーザ装置へ送信するよう適合されている、ビデオ会議装置。
【請求項８】
前記ビデオ切り換えモジュール（５３０）に動作可能に結合された予測フレームをイントラコード化フレームに変換する予測フレーム／イントラコード化フレーム変換モジュール（６６０）であって、前記マルチポイント制御装置（５２０）が最初に前記フレームを予測されたフレームとして受信した場合、最も活動中の話者の増強レイヤ・ビデオ・ストリームをイントラコード化されたフレームとして与える、予測フレーム／イントラコード化フレーム変換モジュール（６６０）を更に備えることを特徴とする請求項７記載のビデオ会議装置。
【請求項９】
或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため或る数のオーディオ・ストリーム（５９０）を解析する話者識別モジュール（６２０）を更に備えることを特徴とする請求項７又は８記載のビデオ会議装置。
【請求項１０】
前記話者識別モジュール（６２０）が、優先レベルを各参加者の決定された活動に基づいて割り当てて、最も活動中の話者（６２２）、いずれの他の活動中の話者（６２５）及びいずれの活動中でない話者のうちの１又はそれより多くの話者を決定する請求項９記載のビデオ会議装置。
【請求項１１】
複数の参加者がビデオ・イメージを送信するビデオ会議に参加する無線装置（７００）であって、
前記複数の参加者の中からそれぞれの参加者（７２０，７３０）を表示する第１のディスプレイ及び１又はそれより多くの第２の個別のディスプレイを有するビデオ・ディスプレイ（７１０）と、
前記ビデオ・ディスプレイに動作可能に結合されて、最も活動中の話者（７２０）とそれより活動が少ない話者（７３０）の指示を受信し、且つ前記最も活動中の話者（７２０）から受信された前記ビデオ・イメージが１又はそれより多くの受信増強レイヤを有するより高い品質のビデオ・イメージを提供する前記第１のディスプレイに表示されるべきであることと、或る数の前記より活動が少ない話者（７３０）から受信された前記ビデオ・イメージがより低い品質のビデオ・イメージを提供する前記１又はそれより多くの第２のディスプレイに表示されるべきであることとを決定するプロセッサと
を備える無線装置（７００）。
【請求項１２】
ベース・レイヤ・ビデオ・ストリーム（５５２，５６２，５７２，５８２）及び増強レイヤ・ビデオ・ストリーム（５５５，５６５，５７５，５８５）を含むレイヤ化ビデオ・ストリームを複数のユーザ装置（５５０，５６０，５７０，５８０）から受信するよう適合された１又はそれより多くの受信ポートと、
前記１又はそれより多くの受信ポートに動作可能に結合され、１又はそれより多くのユーザ装置（５５０，５６０，５７０，５８０）へ送信するため、或る数の活動中の話者（５３５）の或る数のベース・レイヤ・ビデオ・イメージと最も活動中の話者の１又はそれより多くの増強レイヤ（５４０）とを選択する切り換えモジュール（６４０）と
を備えるマルチポイント・プロセッサ。
【請求項１３】
前記１又はそれより多くの受信ポートに動作可能に結合され、或る数の活動中の話者及び／又は前記最も活動中の話者を決定するため、前記複数のユーザ装置のうちの或る数のユーザ装置から受信された或る数のオーディオ・ストリーム（５９０）を解析する話者識別モジュール（６２０）を更に備えることを特徴とする請求項１２記載のマルチポイント・プロセッサ。
【請求項１４】
前記話者識別モジュール（６２０）は、優先レベルを或る数の参加者の決定された活動に基づいて割り当てて、最も活動中の話者（６２２）、任意の他の活動中の話者（６２５）及び任意の活動してない話者のうちの１又はそれより多くの話者を決定する請求項１２又は１３記載のマルチポイント・プロセッサ。
【請求項１５】
前記切り換えモジュール（６４０）に動作可能に結合された予測フレーム／イントラコード化フレーム変換モジュール（６６０）であって、前記最も活動中の話者の増強レイヤ・ビデオ・ストリームがそれぞれのポートで予測フレームとして受信された場合当該最も活動中の話者の増強レイヤ・ビデオ・ストリームをイントラコード化フレームに変換する予測フレーム／イントラコード化フレーム変換モジュール（６６０）を更に備えることを特徴とする請求項１２から１４のいずれか一項に記載のマルチポイント・プロセッサ。
【請求項１６】
請求項１から６のいずれか一項に記載の方法のステップを実行するよう適合され、又は請求項７から１０のいずれか一項に記載のビデオ会議装置を組み込むよう適合され、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサを組み込むよう適合されたビデオ通信システム。
【請求項１７】
前記ビデオ通信システムが、ビデオ会議通信を容易にするため、インターネット・プロトコル・マルチメディア領域（８９０）を有するＵＭＴＳ通信標準（８００）と互換性がある請求項１６記載のビデオ通信システム。
【請求項１８】
請求項１から６のいずれか一項に記載の方法のステップを実行するよう適合され、又は請求項７から１０のいずれか一項に記載のビデオ会議装置を組み込むよう適合され、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサを組み込むよう適合されたメディア資源機能装置（８９０Ａ）。
【請求項１９】
請求項１から６のいずれか一項に記載の方法に従って送信されたレイヤ化ビデオ会議イメージを受信するよう適合されたビデオ通信装置（７００）。
【請求項２０】
請求項１から６のいずれか一項に記載の方法に使用のためレイヤ化ビデオ会議イメージを発生するよう適合され、又は請求項１から６のいずれか一項に記載の方法に従って発生されたレイヤ化ビデオ会議イメージを送信するよう適合されたビデオ通信装置。
【請求項２１】
前記ビデオ通信装置が、ノードＢ（８５０Ａ）、ＲＮＣ（８５０Ｂ）、ＳＧＳＮ（８７０Ａ）、ＧＧＳＮ（８７０Ｂ）及びＭＲＦ（８９０Ａ）のうちの１つである請求項１９記載のビデオ通信装置。
【請求項２２】
ビデオ会議イメージをＨ．３２３標準又はＳＩＰ標準に基づいて容易にするよう適合された、請求項１から６に記載のマルチメディア会議においてビデオ・イメージを中継する方法、又は請求項７から１０のいずれか一項に記載のビデオ会議装置、又は請求項１２から１５のいずれか一項に記載のマルチポイント・プロセッサ、又は請求項１６又は１７記載のマルチポイント・プロセッサ、又は請求項１８に記載のメディア資源機能装置（８９０Ａ）、請求項１９から２１のいずれか一項に記載のビデオ通信装置。
【請求項２３】
請求項１から６のいずれか一項に記載の方法を実行するようプロセッサを制御するプロセッサ実行可能な命令を格納する記憶媒体。
【国際調査報告】
2005516557.tif 000011
2005516557.tif 000012
2005516557.tif 000013