(57)【特許請求の範囲】
【請求項１】
プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、それぞれが前記プライマリウィンドウよりも小さいセカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する方法であって、
前記符号化プライマリビデオストリーム（Ａ）を、前記符号化プライマリビデオストリーム（Ａ）のビデオフレームコンフィグレーションに基づいて、
前記プライマリウィンドウ内の第１サブウィンドウ（１６）に関連付けられていて、かつ混合に関与しない、符号化未混合サブストリームと、
前記プライマリウィンドウ内の前記第１サブウィンドウを補完する第２サブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームと
に分割するステップ（Ｓ１）と、
前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とを復号するステップ（Ｓ２）と、
混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するステップ（Ｓ３）と、
前記混合ビデオ信号を符号化混合サブストリームへ符号化するステップ（Ｓ４）と、
前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するステップ（Ｓ５）と
を備えることを特徴とする方法。
【請求項２】
混合に関与するマクロブロックと混合に関与しないマクロブロックとを前記符号化プライマリビデオストリーム（Ａ）のビデオフレームコンフィグレーションに基づいて判定するステップと、
前記符号化プライマリビデオストリーム（Ａ）を、混合に関与しないマクロブロックの少なくとも１つの未混合スライスと、混合に関与するマクロブロックの少なくとも１つの補完スライスとに分離するステップと
を更に備えることを特徴とする請求項１に記載の方法。
【請求項３】
復号の前に、復号化器にフレームが前記少なくとも１つの補間スライスだけを含んでいると認識させるよう、前記補完スライスのそれぞれのマクロブロックの番号を付け直すステップと、
混合及び符号化の後、番号が付け直されたマクロブロックの番号を元に戻すステップと
を更に備えることを特徴とする請求項２に記載の方法。
【請求項４】
プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さいセカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成するためのビデオストリーム混合器であって、
前記符号化プライマリビデオストリーム（Ａ）を、前記符号化プライマリビデオストリーム（Ａ）のビデオフレームコンフィグレーションに基づいて、
前記プライマリウィンドウ内の第１サブウィンドウ（１６）に関連付けられていて、かつ混合に関与しない、符号化未混合サブストリームと、
前記プライマリウィンドウ内の前記第１サブウィンドウを補完する第２サブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームと
に分割するように構成されているビデオストリーム分割器（２０）と、
前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とを復号するように構成されているビデオストリーム復号化器（２２）と、
混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するように構成されているビデオ信号混合器（２４）と、
前記混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されているビデオ符号化器（２６）と、
前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するように構成されているビデオストリーム合成器（２８）と
を備えることを特徴とするビデオストリーム混合器。
【請求項５】
混合に関与するマクロブロックと混合に関与しないマクロブロックとを前記符号化プライマリビデオストリーム（Ａ）のビデオフレームコンフィグレーションに基づいて判定するように構成されている混合区域検出器（３２）と、
前記符号化プライマリビデオストリーム（Ａ）を、混合に関与しないマクロブロックの少なくとも１つの未混合スライスと、混合に関与するマクロブロックの少なくとも１つの補完スライスとに分離するように構成されているスライス分離器（３４）と
を更に備えることを特徴とする請求項４に記載のビデオストリーム混合器。
【請求項６】
前記スライス分離器（３４）は、復号の前に、前記ビデオストリーム復号化器にフレームが前記少なくとも１つの補間スライスだけを含んでいると認識させるよう、前記補完スライスのそれぞれのマクロブロックの番号を付け直す再番号付けユニット（３６）を含む
ことを特徴とする請求項５に記載のビデオストリーム混合器。
【請求項７】
前記ビデオストリーム合成器（２８）は、
混合及び符号化の後、番号が付け直されたマクロブロックの番号を元に戻すように構成されているマクロブロック番号付け再設定ユニット（３８）と、
未混合スライスと混合スライスとを合成するように構成されているスライス合成器（４０）と
を含んでいる
ことを特徴とする請求項６に記載のビデオストリーム混合器。
【請求項８】
請求項４乃至７のいずれか１項に記載のビデオストリーム混合器（６０）を含む、メディアリソース機能プロセッサ（ＭＲＦＰ）。
【請求項９】
請求項８に記載のメディアリソース機能プロセッサ（ＭＲＦＰ）を含むメディアリソース機能（ＭＲＦ）装置。
【請求項１０】
請求項９に記載のメディアリソース機能装置（ＭＲＦ）を含むビデオ会議システム。
【請求項１１】
請求項４乃至７のいずれか１項に記載のビデオストリーム混合器（６０）を含むビデオ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
提案の技術は、符号化ビデオストリームの混合に関するものである。
【背景技術】
【０００２】
符号化ビデオストリームを混合（ミキシング）するための既存のソリューションでは、すべての符号化ビデオストリームは完全に復号される。その後、復号化ビデオフレームが混合され、最終的には、混合復号化ビデオフレームは混合符号化ビデオストリームに符号化される。混合対象のエリアがフレーム全体に比べて小さい場合でさえも、同一の手順が使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
提案の技術の目的は、符号化ビデオストリームをより効果的に混合することである。
【０００４】
この目的は、添付の請求項に従って達成される。
【課題を解決するための手段】
【０００５】
提案の技術の第１の態様は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する方法を含んでいる。この方法は、以下のステップを含んでいる。
【０００６】
・前記符号化プライマリビデオストリームは、前記プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、かつ、混合に関与しない、符号化未混合サブストリームと、前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームとに分割される。
【０００７】
・前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリーム（Ｂ、Ｃ）とが復号化される。
【０００８】
・混合ビデオ信号を形成するために、復号化された補完サブストリームが、復号化されたセカンダリビデオストリームと混合される。
【０００９】
・前記混合ビデオ信号が、符号化混合サブストリームへ符号化される。
【００１０】
・前記符号化未混合サブストリームが、前記符号化混合サブストリームと合成される。
【００１１】
提案の技術の第２の態様は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、前記プライマリウィンドウよりも小さい対応セカンダリウィンドウに関連付けられている少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成するためのビデオストリーム混合器を含んでいる。このビデオストリーム混合器は、以下の要素を含んでいる。
【００１２】
・前記符号化プライマリビデオストリームを、前記プライマリウィンドウ内のサブウィンドウに関連付けられていて、かつ、混合に関与しない、符号化未混合サブストリームと、前記プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウに関連付けられていて、かつ、混合に関与している、符号化補完サブストリームとに分割するように構成されているビデオストリーム分割器。
【００１３】
・前記符号化補完サブストリームと、それぞれの前記符号化セカンダリビデオストリームとを復号するように構成されているビデオストリーム復号化器。
【００１４】
・混合ビデオ信号を形成するために、復号化された補完サブストリームと、復号化されたセカンダリビデオストリームとを混合するように構成されているビデオ信号混合器。
【００１５】
・前記混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されているビデオ符号化器。
【００１６】
・前記符号化未混合サブストリームと前記符号化混合サブストリームとを合成するように構成されているビデオストリーム合成器。
【００１７】
提案の技術の第３の態様は、第２の態様に従うビデオストリーム混合器を含むメディアリソース機能プロセッサを含んでいる。
【００１８】
提案の技術の第４の態様は、第３の態様に従うメディアリソース機能プロセッサを含むメディアリソース機能装置を含んでいる。
【００１９】
提案の技術の第５の態様は、第４の態様に従うメディアリソース機能装置を含むビデオ会議システムを含んでいる。
【００２０】
提案の技術の第６の態様は、第２の態様に従うビデオストリーム混合器を含むビデオ会議システムを含んでいる。
【００２１】
提案の技術の効果は、従来技術の方法よりもより少ない処理能力で済むことである。これは、特に、同一の符号化プライマリビデオストリームが、異なる組み合わせでいくつかの符号化セカンダリビデオストリームとが混合されるビデオ会議のような用途の場合に有用である。
【図面の簡単な説明】
【００２２】
更なる目的に伴う提案の技術及びその効果は、添付の図面とともに示される以下の記載を参照することによって最も理解することができる。
【図１】ＩＰ（インターネットプロトコル）ネットワークに基づくビデオ会議システムを示す図である。
【図２】ビデオ会議システムにおける相互接続を示すブロック図である。
【図３】従来技術のビデオ会議システムにおける符号化ビデオストリームの混合を示す図である。
【図４】提案の技術に基づくビデオ会議システムにおける符号化ビデオストリームの混合の例を示す図である。
【図５】提案の技術に従う符号化ビデオストリームの混合の例を示す図である。
【図６】提案の技術に従う混合符号化ビデオストリームを生成する方法のフローチャートである。
【図７】符号化ビデオストリームの例の構造を示す図である。
【図８Ａ】様々なビデオフレームコンフィグレーションを示す図である。
【図８Ｂ】様々なビデオフレームコンフィグレーションを示す図である。
【図８Ｃ】様々なビデオフレームコンフィグレーションを示す図である。
【図９】提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。
【図１０】提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。
【図１１】ビデオストリーム分離器の実施形態のブロック図である。
【図１２】ビデオストリーム合成器の実施形態のブロック図である。
【図１３】提案の技術に従うビデオストリーム混合器の実施形態のブロック図である。
【図１４】提案の技術に基づくビデオ会議システムを示す図である。
【発明を実施するための形態】
【００２３】
以下の説明は、ビデオ会議の状況で符号化ビデオストリームの混合（ミキシング）を説明する。しかしながら、同一の原理を、符号化ビデオストリームの混合を要求する他の用途で使用することができることが認識されるべきである。他の例には広告があり、これは、共通のビデオが異なる（異なる顧客向けに異なる）パーソナライズ小広告で提供される。
【００２４】
また、以下の説明は、ＩＴＵ−Ｔ規格Ｈ．２６４に基づいている。しかしながら、同一の原理を、限定されるものではないが、他の規格、例えば、Ｈ．２６３、ＭＰＥＧ４、ＶＰ８にも使用することが認識されるべきである。
【００２５】
提案の技術は、ＩＭＳ（ＩＰマルチメディアサブシステム）ネットワークのメディアリソース機能（ＭＲＦ）を参照して説明する。しかしながら、同一の原理を、ビデオ会議用の他のビデオ合成器に適用可能であることが理解されるべきである。
【００２６】
図１は、ＩＰネットワークに基づくビデオ会議システムを示す図である。この例では、会議機器を使用する２人の参加者Ａ及びＢが、コンピュータを使用する参加者Ｃと、ＩＰネットワークを介する移動電話を使用する参加者Ｄと接続されている。ビデオ会議は、メディアリソース機能ＭＲＦによって管理され、このメディアリソース機能ＭＲＦは、メディアリソース機能コントローラＭＲＦＣによって制御されるメディアリソース機能プロセッサＭＲＦＰを含んでいる。
【００２７】
図２は、より詳細なビデオ会議システムにおける相互接続を示すブロック図である。この例では、参加者Ａは、現在、アクティブなスピーカであると想定する。これは、対応する符号化ビデオストリームＡが、様々な組み合わせによる他の参加者からの符号化ビデオストリームＢ、Ｃ、Ｄと混合されることを意味する。この混合は、他の参加者を表示する小ウィンドウを用いて、アクティブなスピーカＡによって支配されているビデオを他の参加者が受信する方法で、メディアリソース機能プロセッサＭＲＦＰによって実行される。例えば、参加者Ｄは、参加者Ｂ及びＣを表示する小ウィンドウを用いて、参加者Ａによって支配されるビデオを受信することになる。参加者は、受信したビデオで自身は見えない。参加者Ａ、つまり、現在のアクティブなスピーカは、他の参加者の１人、典型的には、２番目のアクティブスピーカ、この例では、参加者Ｂによって支配されるビデオを受信することになる。他の参加者によって見る人の選択を管理するためにフロア制御プロトコルも使用することができる。
【００２８】
図３は、従来技術のビデオ会議システムにおける符号化ビデオストリームの混合を示している。符号化プライマリビデオストリームＡは、符号化セカンダリビデオストリームが配置されることになるキャンバスとして動作する。従来技術の方法は、すべてのビデオストリームＡ−Ｄを復号することによって開始する。復号化ビデオは、次に、Ａ＋Ｂ＋Ｃ、Ａ＋Ｂ＋Ｄ、Ａ＋Ｃ＋Ｄの組み合わせに混合される。図２の例に戻ると、組み合わせＢ＋Ｃ＋Ｄが生成されることになるが、図３では示されていない。混合の後、混合されたビデオは、符号化混合ビデオストリーム１０、１２、１４に符号化される。
【００２９】
図４は、提示の技術に基づくビデオ会議システムの符号化ビデオストリームの混合の例を示している。図３に示される従来技術の方法では、混合の後、ビデオストリームＡのほとんどは変更されていないことに注意されたい。しかしながら、ストリーム全体は、依然として、復号されなければならず、また、各混合に対して再度符号化されなければならない。図４では、符号化プライマリビデオストリームは、混合に関与しない符号化部分１６と、混合に関与する符号化部分１８に分割される。後者の符号化部分１８は、復号化され、そして、復号化セカンダリビデオストリームＢ、Ｃ、Ｄと混合される。異なる混合物は、符号化され、そして、符号化部分１６と合成される。
【００３０】
図５は、提示の技術に従う、（必ずしもビデオ会議システムからのものでない）符号化ビデオストリームの混合の例を示している。符号化プライマリビデオストリームは、混合に関与しない符号化部分１６と、混合に関与する符号化部分１８に分割される。後者の符号化部分１８は、復号化され、そして、復号化セカンダリビデオストリームＢ、Ｃと混合される。この混合物は、符号化され、そして、符号化部分１６と合成される。
【００３１】
図６は、提案の技術に従う混合符号化ビデオストリームを生成する方法のフローチャートである。この方法は、プライマリウィンドウに関連付けられている符号化プライマリビデオストリームと、少なくとも１つの符号化セカンダリビデオストリームとから、混合符号化ビデオストリームを生成する。符号化セカンダリビデオストリームのそれぞれは、プライマリウィンドウよりは小さい対応するセカンダリウィンドウに関連付けられている。ステップＳ１は、符号化プライマリビデオストリームを分割する。例えば、図５のストリームＡを、
・プライマリウィンドウ内のサブウィンドウ、例えば、図５のウィンドウ１６に関連付けられていて、そして、混合に関与していない、符号化未混合サブストリームと、
・プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウ、例えば、図５のウィンドウ１８に関連付けられていて、そして、混合に関与している、符号化補完サブストリームと
に分割する。
【００３２】
ステップＳ２は、補完サブストリームと、各セカンダリビデオストリーム、例えば、図５のＢ、Ｃを復号する。ステップＳ３は、復号化補完サブストリームと各復号化セカンダリビデオストリームとを混合して、混合ビデオ信号を形成する。ステップＳ４は、混合ビデオ信号を符号化混合サブストリームに符号化する。ステップＳ５は、符号化未混合サブストリームと符号化混合サブストリームとを合成する。復号器からの観点からは、合成ビデオは、従来技術と同一である。
【００３３】
ここまでの説明は、任意のビデオ符号化規格を明示的に参照していない。例示の実施形態は、ＩＴＵ−Ｔ規格Ｈ．２６４を参照して説明していない。
【００３４】
図７は、Ｈ．２６４に従って符号化されるビデオストリームの構造を示している。この例では、ビデオフレームは、スライスに符号化され、これらのスライスはＩＰパケットで送信される。各パケットは、ＩＰ、ＵＤＰ（ユーザデータグラムプロトコル）及びＲＴＰ（リアルタイムトランスポートプロトコル）ヘッダと、それに加えて、実際のスライス情報を含むペイロード（他のコンフィグレーション（構成設定）も可能であるが、この例で、提示の技術の概念を説明するためには十分である）を含んでいる。このスライスは、スライスヘッダ及び実際のデータを含んでいる。スライスヘッダは、パラメータのセットを含み、それらの１つは、「ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ」である。ここで、「ｍｂ」は、マクロブロックを示していて、典型的には、１６×１６画素を表している。更なる詳細については、文献［１］で参照することができる。
【００３５】
提案の技術の実施形態では、混合に関与するマクロブロックと、混合に関与しないブロックとが判定される。その後、符号化プライマリビデオストリーム、例えば、図５のＡは、混合に関与しないマクロブロック群の少なくとも１つの未混合スライスと、混合に関与するマクロブロック群の少なくとも１つの補完スライスとに分離される。
【００３６】
提案の技術の実施形態では、各補完スライスのマクロブロックは、復号前に番号が付け直される。混合及び符号化の後は、番号が付け直されたマクロブロックの番号は再設定（リセット）される。
【００３７】
本明細書で説明される方法でプライマリビデオストリームが分割される場合、未混合サブストリーム及び補完サブストリームは、互いに「分離」されるべきである。これは、１つのサブストリーム内のどの部分も、他のサブストリーム内の任意の部分を参照することがない場合があることを意味する。例えば、符号化中の動きベクトル検索は制限されることで、それらは、境界の一方でマクロブロックを参照しないようにしている。換言すれば、部分１８内のマクロブロックに属する動きベクトルは、部分１６に属するフレームエリアを参照しない（その逆も同様である）。互いに異なる部分のこの「分離」を実現する方法の１つは、例えば、下部１８の第１マクロブロックのインデックスを信号処理することによって、境界の位置のプライマリビデオストリームを作成することを生成元の符号化器に通知することである。生成元の符号化器は、マクロブロックが境界に渡るエリア群を参照しない方法でプライマリビデオストリームを符号化することができる。ビデオストリーム分割器２０は、プライマリビデオストリームを２つの独立したストリームに分割することができる。生成元の符号化器がこの情報を受信しない場合、ストリームは、代わりに、トランスコードされる（復号化され、かつ符号化される）ことで、互いに「分離」されている２つの部分を含むようにすることができる。これは、一度だけ行うことで済み、そうすることで、本実施形態は、いくつかの混合物を生成しなければならない場合において従来技術に比べて、依然としてより有効である。
【００３８】
様々なビデオフレームコンフィグレーション（構成設定）が、図８Ａ−図８Ｃに示される。どの場合でも、生成元の符号化器に既にある境界を用いて符号化することによって、あるいはビデオストリーム分割器の前にトランスコーディングすることによって、上述のように、上部と下部に互いに分離されていると想定する。
【００３９】
図８Ａの例は、直線境界（破線）によって分離されている上部スライスと下部スライスを含んでいる。この場合、下部スライスのパラメータｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅを設定して、復号器にフレームが下部スライスだけを含んでいると思い込ますことによって、下部スライスを簡単に復号することができる。例えば、下部スライスの第１マクロブロックが番号６６を有している場合、１に設定される（ここで、復号化器は、この番号を第１マクロブロックに対するものと予期すると想定する）。混合及び符号化の後、第１マクロブロックは６６に再設定され、そうすることで、符号化混合物は、下部スライスとして、符号化上部スライス（復号されていない）へ追加することができる。その他のパラメータのすべても、生成元のプライマリストリームと同一である。
【００４０】
図８Ｂの例は、直線でない境界によって分離されている上部スライスと下部スライスを含んでいる。しかしながら、マクロブロックのサイズと、ビデオフレーム全体の幅と高さは既知であるので、この境界は、この場合においても固有に判定することができる。こうして、復号化、混合及び符号化は、図８Ａのように実行される。
【００４１】
図８Ｃの例は、１つの上部スライスと２つの下部スライスを含んでいる。これらの上部スライスと下部スライスは、直線でない境界によって分離されている。この場合、復号化前に２つの下部スライスにおいて、パラメータ「ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅ」はそれぞれ、１と、上位の下部スライスにおけるマクロブロックの数＋１に設定されなければならない。同様に、２つの下部スライスの両方の番号付けは、混合及び符号化の後に再設定される。
【００４２】
図９は、提案の技術に従うビデオストリーム混合器（ミキサー）６０の実施形態のブロック図である。符号化プライマリビデオストリーム、例えば、図５のストリームＡを受信するビデオストリーム分割器２０は、そのストリームを、
・プライマリウィンドウ内のサブウィンドウ（１６）に関連付けられていて、また、混合に関与していない符号化未混合サブストリームと、
・プライマリウィンドウ内の他のサブウィンドウを補完するサブウィンドウ（１８）に関連付けられていて、また、混合に関与している、符号化補完サブストリームと
に分割されるように構成されている。
【００４３】
ビデオストリーム復号化器２２は、補完サブストリームと各セカンダリビデオストリーム、例えば、図５のストリームＢとＣを復号するように構成されている。ビデオ信号混合器２４は、復号化補完サブストリームと各復号化セカンダリビデオストリームとを混合して、混合ビデオ信号を形成するように構成されている。（復号化セカンダリビデオストリームは、混合前の「小」ウィンドウに再度変倍されなければならないと想定する。）ビデオ符号化器２６は、混合ビデオ信号を符号化混合サブストリームへ符号化するように構成されている。ビデオストリーム混合器２８は、符号化未混合サブストリームと符号化混合サブストリームとを合成するように構成されている。
【００４４】
図１０は、提案の技術に従うビデオストリーム混合器６０の実施形態のブロック図である。混合区域検出器３２は、混合に関与するマクロブロック群と混合に関与しないマクロブロック群を判定するように構成されている。スライス分離器３４は、符号化プライマリストリーム、例えば、図５のストリームＡを、混合に関与しない少なくとも１つの未混合スライスのマクロブロックと、混合に関与する少なくとも１つの補完スライスのマクロブロックとに分離するように構成されている。
【００４５】
図１１は、ビデオストリーム分割器（スプリッタ）２０のブロック図である。本実施形態では、スライス分離器３４は、復号前に、各補完スライスのマクロブロックの再番号付けを行うように構成されているマクロブロック再番号付けユニット３６を含んでいる。スイッチＳＷは、混合に関与するスライスをマクロブロック再番号付けユニット３６へ指示し、混合に関与しないスライスをビデオストリーム合成器２８へ指示する。
【００４６】
図１２は、ビデオストリーム混合器２８の実施形態のブロック図である。マクロブロック番号付け再設定ユニット３８は、混合及び符号化後の再番号付けされたマクロブロックの番号付けを再設定するように構成されていて、スライス合成器４０は、未混合スライスと混合スライスとを合成するように構成されている。
【００４７】
本明細書で記載されるステップ群、機能群、手順群及びブロック群の少なくとも１つは、任意の一般技術を使用するハードウェアで実現することができる。この一般技術には、例えば、ディスクリート回路あるいは集積回路技術があり、これには、汎用電子回路、及び特定用途回路が含まれる。
【００４８】
選択的には、本明細書で記載されるステップ群、機能群、手順群及びブロック群の少なくとも１つの少なくともいくつかは、適切な処理機器によって実行するためのソフトウェアで実現することができる。この機器には、例えば、１つ以上のマイクロプロセッサ、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、１つ以上の特定用途集積回路（ＡＳＩＣ）、ビデオアクセラレータハードウェア、あるいは１つ以上の適切なプログマブルロジックデバイス、例えば、フィールドプログマブルゲートアレイ（ＦＰＧＡ）が含まれる。このような処理要素の組み合わせをも実現可能である。
【００４９】
メディアリソース機能において既に存在している汎用処理機能を再使用することができる場合もあることも理解されるべきである。これは、例えば、既存のソフトウェアの再プログラミングによって、あるいは新規のソフトウェアコンポーネントを追加することによって実行することができる。
【００５０】
図１３は、提案の技術に従うビデオストリーム混合器６０の実施形態のブロック図である。この実施形態は、プロセッサ１１０、例えば、マクロプロセッサに基づいていており、これは、符号化プライマリビデオストリームを分割するためのソフトウェア１２０と、補完サブストリームと各セカンダリビデオストリームとを復号するためのソフトウェア１３０と、復号化ストリームを混合するためのソフトウェア１４０と、混合ビデオ信号を符号化するためのソフトウェア１５０と、符号化未混合サブストリームと符号化混合サブストリームとを合成するためのソフトウェア１６０とを実行する。これらのソフトウェアは、メモリ１７０に記憶されている。プロセッサ１１０は、システムバスを介してメモリと通信する。到来するプライマリビデオストリームとセカンダリビデオストリームは、Ｉ／Ｏバスを制御する入力／出力（Ｉ／Ｏ）コントローラ１８０によって受信される。このＩ／Ｏバスには、プロセッサ１１０とメモリ１３０が接続されている。本実施形態では、Ｉ／Ｏコントローラ１８０によって受信されるスライス群はメモリ１７０に記憶され、そこで、そのスライス群は、ソフトウェア１２０−１６０によって処理される。ソフトウェア１２０は、ビデオストリーム分割器２０の機能を実現することができる。ソフトウェア１３０は、ビデオストリーム復号器２２の機能を実現することができる。ソフトウェア１４０は、ビデオ信号混合器２４の機能を実現することができる。ソフトウェア１５０は、ビデオ符号化器２６の機能を実現することができる。ソフトウェア１６０は、ビデオストリーム合成器２８の機能を実現することができる。ソフトウェア１６０から取得される合成符号化ビデオストリームは、Ｉ／Ｏバスを介してＩ／Ｏコントローラによってメモリ１７０から出力される。
【００５１】
図１４は、提案の技術に基づくビデオ会議システムの例を示す図である。これは、提案の技術に従うビデオストリーム混合器を含むメディアリソース機能プロセッサＭＲＦＰを用いるメディアリソース機能ＭＲＦを含んでいる。
【００５２】
提案の技術は、多くのＤＳＰプラットフォームを伴う場合のような、処理能力及びメモリリソースに制限がある場合に有益である。提案の技術は、システムの要求される総処理能力を、従来技術の強引な方法を使用する場合の総処理能力のわずかな量にまで削減する方法を提供する。これは、特に、いくつかの混合物が生成される際のビデオ会議の場合に当てはまる。実際の処理利得は、混合に関与しないビデオフレームの部分のサイズと、生成されるべき混合物の数とに依存する。
【００５３】
提案の技術は、同一のプロセッサで、全てのフレームを完全に復号し、いくつかの混合物を作成し、そして、大量の混合物を符号化する能力が不十分である場合に特に有益である。１つのプロセッサが、１つの符号化のみを実行することができ、また、すべてのプロセッサが同一のメモリへアクセスすることができるとは限らない場合、従来技術では、復号化は複数回実行されなければならない。
【００５４】
提案の技術の別の利点は、環境的に優しいことである。これは、より少ない処理とメモリ要件は、直接、より少ない電力消費に繋がるからである。
【００５５】
添付の特許請求の範囲の請求項によって定義される範囲から逸脱することなく、提案の技術に様々な変形と変更とを行うことができることが当業者には理解されるであろう。
【００５６】
文献
［１］  ＩＴＵ−Ｔ  Ｈ２６４  「スライスヘッダ語義」セクション７．４．３
略語
ＡＳＩＣ  特定用途集積回路
ＤＳＰ  デジタル信号プロセッサ
ＦＰＧＡ  フィールドプログラマブルゲートアレイ
ＩＭＳ  ＩＰマルチメディアサブシステム
ＩＰ  インターネットプロトコル
ＭＲＦ  メディアリソース機能
ＲＴＰ  リアルタイムトランスポートプロトコル
ＵＤＰ  ユーザデータグラムプロトコル
【図１】
0006001157.tif 000002
【図２】
0006001157.tif 000003
【図３】
0006001157.tif 000004
【図４】
0006001157.tif 000005
【図５】
0006001157.tif 000006
【図６】
0006001157.tif 000007
【図７】
0006001157.tif 000008
【図８Ａ】
0006001157.tif 000009
【図８Ｂ】
0006001157.tif 000010
【図８Ｃ】
0006001157.tif 000011
【図９】
0006001157.tif 000012
【図１０】
0006001157.tif 000013
【図１１】
0006001157.tif 000014
【図１２】
0006001157.tif 000015
【図１３】
0006001157.tif 000016
【図１４】
0006001157.tif 000017