(57)【要約】  複数のデータストリームどうしを結合して、ワイヤレスユーザへ送信するための単一のデータストリームを作成するための方法およびシステムが提供される。本発明によれば、１つまたは複数のデータミキサを使用して、複数のビデオストリームどうしが結合されて単一のビデオストリームとなって、ワイヤレスユーザへ提供され、および／または複数のオーディオストリームどうしが結合されて単一のオーディオストリームとなって、ワイヤレスユーザへ提供される。これらのストリームは、任意選択でデコードされ、データミキサによって生のフォーマットで処理され、また、これらのストリームの少なくとも一部は、待ち行列内に一時的に保存することができ、これによって、「スリッピング」や同期化の問題に対処することができる。この方法およびシステムは、ビデオ、オーディオ、テキスト、あるいはその他のメディアデータなどのメディアデータを処理することができる。
2008521290.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ各ワイヤレスデバイスからの少なくとも２つのデータのストリームを結合する方法であって、
第１のワイヤレスデバイスからの第１のデータのストリームを受信するステップと、
第２のワイヤレスデバイスからの第２のデータのストリームを受信するステップと、
前記第１および第２のデータのストリームのうちの少なくとも１つを縮小するステップと、
前記第１および第２のデータのストリームのうちの少なくとも１つを縮小する前記ステップの後に、残っている第１および第２のデータのストリームを結合して、前記第１および第２のデータのストリームのそれぞれを表すデータを有する結合後のデータのストリームを形成するステップと、
前記結合後のデータのストリームを第３のワイヤレスデバイスへ配信するステップとを含む方法。
【請求項２】
前記縮小するステップが、前記第１および第２のデータのストリームのうちの少なくとも１つの少なくともいくつかの部分を取り除くステップを含む請求項１に記載の方法。
【請求項３】
前記第１および第２のデータのストリームのうちの少なくとも１つを縮小する前に、前記受信した第１および第２のデータのストリームのうちの少なくとも１つをデコードするステップをさらに含む請求項１に記載の方法。
【請求項４】
前記結合するステップが、前記第１および第２のデータのストリームのうちの少なくとも１つを縮小する前記ステップの後に、前記残っている第１および第２のデータのストリームを少なくとも部分的にインターリーブするステップを含む請求項１に記載の方法。
【請求項５】
前記結合後のデータのストリームを第３のワイヤレスデバイスへ配信する前記ステップの前に、前記結合後のデータのストリームをコード化するステップをさらに含む請求項１に記載の方法。
【請求項６】
前記第１および第２のデータのストリームが、双方ともビデオデータストリームである請求項１に記載の方法。
【請求項７】
前記ビデオデータストリームのうちの少なくとも１つが、ＭＰＥＧ−４フォーマットでコード化されている請求項６に記載の方法。
【請求項８】
さらなるビデオデータを前記結合後のストリームと結合して、レターボックスディスプレイフォーマット内にユーザへの情報を提供するステップをさらに含む請求項６に記載の方法。
【請求項９】
前記さらなる情報が、会議の当事者の身元、サービスの告知、ニュース、スポーツ、または広告情報のいずれかを含む請求項８に記載の方法。
【請求項１０】
前記第１および第２のデータのストリームが、オーディオデータストリームである請求項１に記載の方法。
【請求項１１】
前記オーディオデータストリームのうちの少なくとも１つが、ＡＭＲオーディオフォーマットでコード化されている請求項１０に記載の方法。
【請求項１２】
前記残っている第１および第２のデータのストリームを結合する前記ステップの前に、前記第１および第２のデータのストリームのうちの少なくとも１つをバッファ内に一時的に保存するステップをさらに含む請求項１に記載の方法。
【請求項１３】
前記第１および第２のデータのストリームが、ビデオデータストリームに相当し、前記第１のストリームが、イメージスペースの第１の部分に収まるように縮小され、前記第２のストリームが、イメージスペースの前記第１の部分とは実質的に異なるイメージスペースの第２の部分に収まるように縮小される請求項１に記載の方法。
【請求項１４】
前記結合するステップが、イメージスペースの前記第１および第２の部分を結合して、前記第３のワイヤレスデバイスへ送信するのに適した単一のイメージスペースを作成するステップを含む請求項１３に記載の方法。
【請求項１５】
前記単一のイメージスペースを前記第３のワイヤレスデバイスの単一のスクリーン上に表示するステップをさらに含む請求項１４に記載の方法。
【請求項１６】
前記第１および第２のデータのストリームが、ビデオデータストリームに相当し、前記第１および第２のデータのストリームのうちの少なくとも１つを縮小する前記ステップが、前記第１および第２のデータのストリームのうちの少なくとも１つのストリームの少なくとも１つの部分を、その部分の色を平均化された値と置き換えるステップを含む請求項１に記載の方法。
【請求項１７】
前記第１および第２のデータのストリームが、オーディオデータストリームに相当し、それぞれのストリームが、その選択された部分を取り除くこと、および取り除かれていないすべての部分を結合後のオーディオストリーム内に配置することによって縮小される請求項１に記載の方法。
【請求項１８】
前記結合後のストリームが、インターリーブされたオーディオデータストリームである請求項１７に記載の方法。
【請求項１９】
前記結合後のオーディオストリームを、対応する結合後のビデオストリームと同期化するステップをさらに含む請求項１７に記載の方法。
【請求項２０】
前記結合後のオーディオストリームを、対応する結合後のビデオストリームと同期化する前記ステップが、前記結合後のオーディオストリームおよび前記結合後のビデオストリームのうちの少なくとも１つのパケット内に含まれているタイミング情報を使用するステップを含む請求項１９に記載の方法。
【請求項２１】
帯域幅の制限に少なくとも部分的に基づいて前記結合後のデータのストリームの属性を低下させるステップをさらに含む請求項１に記載の方法。
【請求項２２】
それぞれ各ワイヤレスデバイスからの少なくとも２つのビデオデータのストリームを結合する方法であって、
イメージスペースの第１の部分に収まる第１のワイヤレスデバイスからの第１のビデオデータのストリームを受信するステップと、
イメージスペースの前記第１の部分とは実質的に異なるイメージスペースの第２の部分に収まる第２のワイヤレスデバイスからの第２のビデオデータのストリームを受信するステップと、
イメージスペースの前記第１および第２の部分を結合して、第３のワイヤレスデバイスへ送信するのに適した結合後のビデオストリームの単一のイメージスペースを作成するステップとを含む方法。
【請求項２３】
前記結合後のビデオストリームを前記第３のワイヤレスデバイスへ配信するステップをさらに含む請求項２２に記載の方法。
【請求項２４】
前記単一のイメージスペースを前記第３のワイヤレスデバイスの単一のスクリーン上に表示するステップをさらに含む請求項２３に記載の方法。
【請求項２５】
前記残っている第１および第２のデータのストリームを結合する前記ステップの前に、前記第１および第２のビデオデータのストリームのうちの少なくとも１つをバッファ内に一時的に保存するステップをさらに含む請求項２２に記載の方法。
【請求項２６】
少なくとも、第１のワイヤレスデバイスから受信された第１のデータストリームと、第２のワイヤレスデバイスから受信された第２のデータストリームとを結合して、第３のワイヤレスデバイスへ配信するのに適した結合後のデータストリームを作成するためのシステムであって、
前記第２のデータストリームの少なくとも一部を一時的に保存し、場合によって前記第１のデータストリームの少なくとも一部を一時的に保存するための少なくとも１つのデータバッファと、
前記場合によってバッファに保存された第１のデータストリームの少なくとも一部を、前記バッファに保存された第２のデータストリームの少なくとも一部と結合して、前記第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成するためのデータミキサとを含むシステム。
【請求項２７】
前記データミキサが、前記場合によってバッファに保存された第１のデータストリームおよび前記バッファに保存された第２のデータストリームのうちの少なくとも１つのデータストリームの少なくとも１つの部分を縮小する請求項２６に記載のシステム。
【請求項２８】
前記データミキサによる前記第１および第２のデータストリームの前記結合の前に前記第１および第２のデータストリームのうちの少なくとも１つをデコードするための少なくとも１つのデコーダをさらに含む請求項２６に記載のシステム。
【請求項２９】
前記第３のワイヤレスデバイスへの配信の前に前記結合後のデータストリームをコード化するためのエンコーダをさらに含む請求項２６に記載のシステム。
【請求項３０】
少なくとも、第１のワイヤレスデバイスから受信された第１のデータストリームと、第２のワイヤレスデバイスから受信された第２のデータストリームとを結合して、第３のワイヤレスデバイスへ配信するのに適した結合後のデータストリームを作成するためのシステムであって、
前記第２のデータストリームの少なくとも一部をバッファに保存するための手段と、
前記第１のデータストリームの少なくとも一部を、前記バッファに保存された第２のデータストリームの少なくとも一部と結合して、前記第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成するための手段とを含むシステム。
【請求項３１】
前記第１のデータストリームの少なくとも一部をバッファに保存するための手段をさらに含む請求項３０に記載のシステム。
【請求項３２】
前記第１および第２のデータストリームの前記結合の前に前記第１および第２のデータストリームのうちの少なくとも１つをデコードするための手段をさらに含む請求項３０に記載のシステム。
【請求項３３】
前記第３のワイヤレスデバイスへの配信の前に前記結合後のデータストリームをコード化するための手段をさらに含む請求項３０に記載のシステム。
【請求項３４】
少なくとも、第１のワイヤレスデバイスからの第１のデータストリームと、第２のワイヤレスデバイスからの第２のデータストリームとを受信するデータミキサであって、前記第１のデータストリームの少なくとも一部を、前記第２のデータストリームの少なくとも一部と結合して、前記第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成し、前記結合後のデータストリームが、第３のワイヤレスデバイスへ配信するのに適しているデータミキサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ通信の分野に関する。より詳細には、本発明は、複数のソースからの複数のオーディオ通信ストリームどうし、および／または複数のビデオ通信ストリームどうしを結合して、ワイヤレスデバイスへ送信するための単一のオーディオストリームおよび／または単一のビデオストリームを作成することに関する。
【背景技術】
【０００２】
デスクトップコンピュータおよび電話機のための電子会議機能が存在し、これによって、数人の会議参加者は、オーディオ情報および／またはビデオ情報をお互いにやり取りする。（たとえば、普通の電話による通話の場合のような）通信リンクの両端どうしの間における従来のポイントツーポイントの通信とは異なり、会議は通常、３人以上の当事者を含む。たとえば、ビデオ会議という状況においては、所与の当事者は一般に、会議に対する他の複数の当事者（「会議参加者」または「会議出席者」）を、好ましくは同時に見ることおよび聞くことを望む。
【０００３】
ベンダは現在、このような電子会議機能を提供するシステムおよびサービスを販売している。会議に同時に参加している複数の会議出席者に対応するために、これらのシステムは、普通の通信システムよりも大きな処理および帯域幅の負荷を扱う必要がある。結果として、これらのシステムおよびサービスは、購入またはリースするのに比較的高くつくことがあり、また大容量のネットワーク機能を必要とする。さらに、これらのシステムは一般に、会議用ではないシステムよりも大きく、したがって、容易に携帯または移動することはできない。
【０００４】
近ごろ、ワイヤレスサービスプロバイダおよびワイヤレス電話メーカーは、一般に消費者向けの目新しいアイテムとして、「カメラ付き携帯電話」および「動画機能付き携帯電話」の提供を開始している。カメラ付き携帯電話には、カメラのレンズ、デジタルカメラハードウェア、およびソフトウェアが提供されており、これらによって写真を撮ることができる。これらの写真は、撮影すると、たとえば他のワイヤレスユーザへ直接送信することもでき、あるいは、Ｅメールの添付ファイルとして送信することもできる。
【０００５】
動画機能付き携帯電話の場合、たとえば、静止画像すなわちビデオのフレームの集合体から構成されるビデオクリップが取り込まれ、一般に電子ファイルへと圧縮される。写真と同様に、ビデオクリップは、たとえばビデオストリームとして他のワイヤレスユーザへ直接送信することもでき、あるいは、Ｅメールの添付ファイルとして送信することもできる。ワイヤレスデバイスによって受信されたビデオストリームは、一般に、受信側のワイヤレスデバイスに内蔵されているメディアプレーヤプログラムを使用して処理され、表示される。
【０００６】
従来、ビデオストリームは、コンピューティングおよび帯域幅のリソースの消耗を少なくするために、ワイヤレスデバイスによって、リアルタイムではなくバッチモードで送信および受信されてきた。より最近では、ほぼリアルタイムにビデオストリームを受信して表示すること（およびオーディオを再生すること）ができるマルチメディアワイヤレスデバイスが提供されている。
【０００７】
しかし、現在利用可能なワイヤレスデバイス（たとえば、動画機能付き携帯電話）は、任意の所与の時点で複数のオーディオストリームを、または任意の所与の時点で複数のビデオストリームを受信して処理することはできない。したがって、これらのデバイスは一般に、たとえば会議において他の複数の参加者を同時に聞く状態および／または見る状態をユーザが享受できるようにビデオ会議機能を提供することには適合していない。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、複数のデータストリームどうし（たとえば、複数のオーディオ信号どうし、および／または複数のビデオ信号どうし）を結合して、ワイヤレスユーザへ送信するための単一の音声ストリームおよび／または単一のビデオストリームを作成するための方法およびシステムを提供することが望ましい。
【課題を解決するための手段】
【０００９】
複数のデータストリームどうしを結合して、ワイヤレスユーザへ送信するための単一のデータストリームを作成するための方法およびシステムが提供される。本発明によれば、１つまたは複数のデータミキサを使用して、複数のビデオストリームどうしが結合されて、単一のビデオストリームとなり、および／または複数のオーディオストリームどうしが結合されて、単一のオーディオストリームとなる。そして、結果として生じたオーディオストリームおよび／またはビデオストリームは、ワイヤレスデバイスへ送信されて、処理され、ユーザに向けて再生される。
【００１０】
一実施形態においては、本発明は、それぞれ各ワイヤレスデバイスからの少なくとも２つのデータのストリームを結合する方法を提供し、この方法は、第１のワイヤレスデバイスからの第１のデータのストリームを受信するステップと、第２のワイヤレスデバイスからの第２のデータのストリームを受信するステップと、第１および第２のデータのストリームのうちの少なくとも１つを縮小するステップと、第１および第２のデータのストリームのうちの少なくとも１つを縮小するステップの後に、残っている第１および第２のデータのストリームを結合して、前記第１および第２のデータのストリームのそれぞれを表すデータを有する結合後のデータのストリームを形成するステップと、その結合後のデータのストリームを第３のワイヤレスデバイスへ配信するステップとを含む。
【００１１】
第２の実施形態においては、本発明は、それぞれ各ワイヤレスデバイスからの少なくとも２つのビデオデータのストリームを結合する方法を提供し、この方法は、イメージスペースの第１の部分に収まる第１のワイヤレスデバイスからの第１のビデオデータのストリームを受信するステップと、イメージスペースの第１の部分とは実質的に異なるイメージスペースの第２の部分に収まる第２のワイヤレスデバイスからの第２のビデオデータのストリームを受信するステップと、イメージスペースの第１および第２の部分を結合して、第３のワイヤレスデバイスへ送信するのに適した結合後のビデオストリームの単一のイメージスペースを作成するステップとを含む。
【００１２】
第３の実施形態においては、本発明は、少なくとも、第１のワイヤレスデバイスから受信された第１のデータストリームと、第２のワイヤレスデバイスから受信された第２のデータストリームとを結合して、第３のワイヤレスデバイスへ配信するのに適した結合後のデータストリームを作成するためのシステムを提供し、このシステムは、第２のデータストリームの少なくとも一部を一時的に保存し、場合によって第１のデータストリームの少なくとも一部を一時的に保存するための少なくとも１つのデータバッファと、場合によってバッファに保存された第１のデータストリームの少なくとも一部を、バッファに保存された第２のデータストリームの少なくとも一部と結合して、第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成するためのデータミキサとを含む。
【００１３】
第４の実施形態においては、本発明は、少なくとも、第１のワイヤレスデバイスから受信された第１のデータストリームと、第２のワイヤレスデバイスから受信された第２のデータストリームとを結合して、第３のワイヤレスデバイスへ配信するのに適した結合後のデータストリームを作成するためのシステムを提供し、このシステムは、第２のデータストリームの少なくとも一部をバッファに保存するための手段と、第１のデータストリームの少なくとも一部を、バッファに保存された第２のデータストリームの少なくとも一部と結合して、第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成するための手段とを含む。
【００１４】
第５の実施形態においては、本発明は、少なくとも、第１のワイヤレスデバイスからの第１のデータストリームと、第２のワイヤレスデバイスからの第２のデータストリームとを受信するデータミキサを提供し、このデータミキサは、第１のデータストリームの少なくとも一部を、第２のデータストリームの少なくとも一部と結合して、第１および第２のデータストリームの双方を表すデータを有する結合後のデータストリームを形成し、この結合後のデータストリームは、第３のワイヤレスデバイスへ配信するのに適している。
【００１５】
本発明のさらなる実施形態、その性質、およびさまざまな利点は、以降の詳細な説明を、添付の図面と併せて考察すれば、さらに明らかになるであろう。添付の図面においては、同様の参照文字は、全体を通じて同様の部分を指している。
【発明を実施するための最良の形態】
【００１６】
複数のデータストリームどうし（たとえば、複数のオーディオストリームどうし、および／または複数のビデオストリームどうし）を結合して、ワイヤレスユーザへ送信するための単一の音声ストリームおよび／または単一のビデオストリームを作成するための方法およびシステムが提供される。本発明の主題が複雑になるのを避けるために、当技術分野においてよく知られている特定の特徴についてはあまり詳細には説明しないということが理解できるであろう。
【００１７】
本発明の原理に従って、ワイヤレスデバイスのユーザに会議機能を提供する通信サーバ（本明細書では「メディア会議サーバ」と呼ぶ）について説明する。以降で説明するように、このサーバは、対応する複数の会議出席者からの複数の着信オーディオどうし、および／または複数のビデオストリームどうしを結合（たとえば、ミックスまたはマージ）して、ワイヤレスデバイス（たとえば、オーディオ／ビデオ会議に参加しているユーザの動画機能付き携帯電話）へ送信するための単一のオーディオストリームおよび／または単一のビデオストリームを作成する。本発明のコンセプトから恩恵を享受できるワイヤレスデバイスは、たとえば、ビデオ機能を提供されている現在利用可能なワイヤレス電話（動画機能付き携帯電話）を含む。すなわち、複数のビデオストリームどうし、および／または複数のオーディオストリームどうしの結合は、結合後の（１つまたは複数の）ストリームを受信するユーザのデバイスにとって透過的に行われ、それによって、そのデバイスにも、その上で実行されるソフトウェアにも、修正やアップグレードを行う必要はなくなる。
【００１８】
図１は、本発明の原理によるＭＣＳ（ｍｅｄｉａ  ｃｏｎｆｅｒｅｎｃｉｎｇ  ｓｅｒｖｅｒ）１００を通じて結合されている３人の会議出席者（ユーザ１１０、１２０、および１３０、それぞれ、ユーザ「Ａ」、「Ｂ」、および「Ｃ」とラベル付けされている）によって送信および受信されるデータストリームを示す簡略化された図である。特定のユーザが、データを送信または受信するものとして本明細書に記載されている場合、一般的に言えば、それは、このアクションを実行するそのユーザに関連付けられているワイヤレスデバイスを指すということが理解できるであろう。これらの場合、ユーザがデータを送信または受信するという言及は、もっぱら本発明の説明を簡略化するために行われている。      
【００１９】
図示されているように、ユーザ１１０は、オーディオストリーム１１２とビデオストリーム１１３とを含むデータストリーム１１１をＭＣＳ  １００へ送信する。さらにユーザ１１０は、オーディオストリーム１１６とビデオストリーム１１７とを含むデータストリーム１１５をＭＣＳ  １００から受信する。その一方で、ユーザ１２０は、オーディオストリーム１２２とビデオストリーム１２３とを含むデータストリーム１２１をＭＣＳ  １００へ送信し、オーディオストリーム１２６とビデオストリーム１２７とを含むデータストリーム１２５をＭＣＳ  １００から受信する。最後に、図１に示されているように、ユーザ１３０は、オーディオストリーム１３２とビデオストリーム１３３とを含むデータストリーム１３１をＭＣＳ  １００へ送信し、オーディオストリーム１３６とビデオストリーム１３７とを含むデータストリーム１３５をＭＣＳ  １００から受信する。オーディオストリームおよびビデオストリームの双方が、ユーザ１１０、１２０、および１３０のそれぞれによって送信および受信されるが、本発明はこの方法には限定されないということが理解できるであろう。たとえばユーザ１１０、１２０、および１３０は、ときにはオーディオのみ、またはビデオのみの会議に参加することを望む可能性もあると考えられる。さらに、本発明のさまざまな実施形態によれば、ユーザ１１０、１２０、および１３０のうちの１人または複数は、ときには、たとえば帯域幅の制限のためにオーディオストリームのみを受信する可能性もある。たとえばＭＣＳ  １００は、オーディオストリームに加えてビデオストリームをユーザ１３０へ配信するだけの十分な帯域幅がない旨の表示を、オーディオ／ビデオ会議中に１つまたは複数のネットワーク要素から受信する可能性がある。このような場合には、ＭＣＳ  １００は、たとえば（帯域幅を減らすために）ユーザ１３０へ配信されているビデオの画質または属性（たとえば、フレーム／秒）を低下させることもでき、あるいは（少なくとも一時的に）ユーザ１３０へのビデオストリームを完全に終了することもできる。この場合には、さらなる帯域幅が利用可能になると、終了されたビデオストリームを、あるいは終了されていないビデオストリームのビデオ属性または画質を、ＭＣＳ  １００によって元に戻すことができる。
【００２０】
上で説明したように、図１に示されているそれぞれのユーザは、１つのオーディオストリームおよび１つのビデオストリーム（すなわち、そのユーザ自身のオーディオストリームおよびビデオストリーム）のみを送信する。しかし、それぞれのユーザは、他の２人の会議出席者の双方からのオーディオデータを含むオーディオストリーム、ならびに他の２人の会議出席者の双方からのビデオデータを含むビデオストリームを受信する。たとえばユーザ１１０は、自分自身のオーディオストリーム１１２およびビデオストリーム１１３をＭＣＳ  １００へ送信する（それらの一部またはすべては、他の会議出席者へ配信されることになる）だけだが、ユーザ１２０からのオーディオストリーム１２２と、ユーザ１３０からのオーディオストリーム１３２とをマージ（結合）したものに相当するオーディオストリーム１１６を受信する。この点をさらに明確にするために、図２の表２００は、図１のユーザ１１０、１２０、および１３０へ送信されるそれぞれのオーディオストリームどうし、およびビデオストリームどうしを結合したものを列挙している。
【００２１】
本発明のさまざまな実施形態によれば、オーディオストリームどうしを結合するためのオーディオデータミキサ、およびビデオストリームどうしを結合するためのビデオデータミキサの双方が、ＭＣＳ  １００において提供される。これらのデータミキサは、たとえば米国マサチューセッツ州テュークスベリーのＳｔａｒｅｎｔ  ＮｅｔｗｏｒｋｓによるＳＴ−１６  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｍｏｂｉｌｅ  Ｇａｔｅｗａｙにおいて実装することができる。一般的に言えば、ＭＣＳ  １００は、それぞれの会議出席者ごとに（たとえば、ユーザ１１０、１２０、および１３０のそれぞれごとに）別個のオーディオおよびビデオデータミキサを含むという点に留意されたい。
【００２２】
図３は、ユーザ１１０および１２０に端を発する別々のオーディオストリームから、ユーザ１３０への結合後のオーディオストリームを提供するために使用されるさまざまなコンポーネントを示すＭＳＣ  １００の、より詳細な、それでいて依然として簡略化されている図である。図示されているように、ＭＣＳ  １００を使用して、ユーザ１１０および１２０からのそれぞれのオーディオストリームが結合され、ユーザ１３０に提供される。具体的には、ユーザ１１０は、オーディオのストリームをデコーダ３１０へ送信し、ユーザ１２０は、オーディオのストリームをデコーダ３２０へ送信する。次いで、デコーダ３１０および３２０は、着信オーディオ信号を、それらのオーディオ信号がユーザ１１０および１２０のそれぞれのデバイスにおいてコード化された際の特定のフォーマットに従ってデコードする。たとえば、ＭＣＳ  １００へ送信されているオーディオストリームが、ユーザ１１０および１２０のそれぞれのデバイスによって、ＡＭＲ（Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ−Ｒａｔｅ）スタンダードコーデックフォーマットではじめにコード化されている（たとえば、８ｋＨｚでサンプリングされている）とする。この場合には、デコーダ３１０および３２０は、このＡＭＲデータを、たとえば１６ビットの生のＰＣＭ（ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ）オーディオフォーマットへと変換する。
【００２３】
図３に示されているオーディオミキサ３３２は、デコーダ３１０および３２０からデコード後のオーディオストリームを受信し、（以降で詳細に説明するように）これらのストリームを結合して、単一の出力オーディオストリームを作成する。次いで、この単一の結合された出力オーディオストリームは、エンコーダ３３４に提供されて、生のフォーマット（たとえばＰＣＭ）から、コード化されたフォーマット（たとえばＡＭＲ）へと変換される。そして、この単一のコード化された出力オーディオストリームは、ユーザ１３０のワイヤレスデバイスに提供されて、任意選択でデコードされ、ユーザ１３０のために再生される。
【００２４】
上述のように、さまざまな実施形態によれば、ＭＣＳ  １００は、ユーザ１１０、１２０、および１３０のそれぞれごとに別々のオーディオデータミキサおよびビデオデータミキサを含む。図４は、ユーザ１１０および１２０に端を発する別々のビデオストリームから、ユーザ１３０への結合後のビデオストリームを提供するために使用されるさまざまなコンポーネントを示すＭＳＣ  １００の、より詳細な、それでいて依然として簡略化されている図である。図示されているように、ユーザ１１０および１２０からのそれぞれのビデオストリームが結合され、ユーザ１３０に提供される。具体的には、ユーザ１１０は、ビデオのストリームをデコーダ４１０へ送信し、ユーザ１２０は、ビデオのストリームをデコーダ４２０へ送信する。次いで、デコーダ４１０および４２０は、着信ビデオ信号を、それらのビデオ信号がユーザ１１０および１２０のそれぞれのワイヤレスデバイスにおいてコード化された際の特定のフォーマットに従ってデコードする。たとえば、ＭＣＳ  １００へ送信されているビデオストリームが、ユーザ１１０および１２０のそれぞれのデバイスによって、計算に関わるリソースおよび帯域幅を節約するために生のフォーマット（たとえば、ＹＵＶ  ４：２：０）から（たとえば、１７６×１４４のＱＣＩＦ解像度で）標準的なＭＰＥＧ−４フォーマットへとはじめにコード化されているとする。この場合には、デコーダ４１０および４２０は、この圧縮された（ＭＰＥＧ−４）データを、たとえば元のＹＵＶ  ４：２：０の生のフォーマットへと変換する。
【００２５】
図４に示されているビデオミキサ４３２は、デコーダ４１０および４２０からデコード後のビデオストリームを受信し、（以降で詳細に説明するように）これらのストリームを結合して、単一の出力ビデオストリームを作成する。次いで、この単一の出力ビデオストリームは、生のフォーマット（たとえば、ＹＵＶ  ４：２：０）から、コード化されたフォーマット（たとえば、ＭＰＥＧ−４）へと変換するためにエンコーダ４３４へ提供される。そして、この単一のコード化された出力ビデオストリームは、ユーザ１３０のデバイスに提供されて、任意選択でデコードされ、ユーザ１３０のために再生される。
【００２６】
説明を簡単にするために、結合後のオーディオ／ビデオストリームをユーザ１１０および１２０へ提供するために使用されるＭＣＳ  １００のコンポーネントは、図３および図４のいずれにも示されていない。しかし、本発明のさまざまな実施形態によれば、ユーザ１１０および１２０は双方とも、同様に専用のデコーダおよびミキサをＭＳＣ  １００上に提供され、それによって、これらのユーザは、他の２人の会議出席者からの着信オーディオストリームどうし、および着信ビデオストリームどうしを混ぜ合わせた結果として生じる結合後の出力オーディオストリームおよび出力ビデオストリームを受信することができるという点が理解できるであろう。
【００２７】
次いで、本発明のさまざまな実施形態によるデータミキサのオペレーションについて、図５を参照してさらに詳しく説明する。以降でさらに説明するように、データミキサ５５０は、（オーディオミキサ３３２などの）オーディオミキサであるか、または（ビデオミキサ４３２などの）ビデオミキサであるかに応じて、異なる形で機能するという点に留意されたい。図５に示されているように、主要な、すなわち「マスター」のストリームのデコーダ５１０は、たとえばパケット５１１、５１２などを含むオーディオまたはビデオのいずれかのデータのストリームを（オーディオまたはデータのいずれかのミキサである）データミキサ５５０へ配信する。その一方で、副次的な、すなわち「スレーブ」のストリームのデコーダ５２０は、たとえばパケット５２１、５２２などを含む（デコーダ５１０によって配信されるのと同じタイプのデータである）オーディオまたはビデオのいずれかのデータのストリームをデータバッファ５３０へ配信する。図５に示されている本発明の実施形態においては、バッファ５３０は、ＦＩＦＯ（ｆｉｒｓｔ−ｉｎ−ｆｉｒｓｔ−ｏｕｔ）バッファ（または待ち行列）であり、満杯でない限り、パケット５２１、５２２などを、データミキサ５５０へ配信する前に一時的に保存する。当業者なら理解できるであろうが、スレーブストリームをバッファに保存する目的のうちの１つは、ネットワークの遅延から生じるエラーなど、２つのデータのストリームどうしの間における同期化のエラーに対応することである。この構成は、２つの着信データストリームどうしの間における「スリッピング」を防止（または少なくとも軽減）する上で役に立つ。さらに、バッファ５３０のサイズは、目の前のアプリケーションの要件、および所与のストリーム内で搬送されているデータのタイプに従って選択される。たとえばオーディオデータは、合計で約１／２秒間バッファに保存することができる。このバッファリングは、解決すべき通常のネットワークの混雑による遅延には対応するが、聴き手を混乱または困惑させることになる話声ストリーム内の不自然に長い遅延を生じさせるほどには長くない。
【００２８】
オーディオデータおよびビデオデータの双方に関して以降でさらに詳しく説明するように、データミキサ５５０は、マスターストリームデコーダ５１０およびスレーブストリームデコーダ５２０から受信したデータどうしを結合して、（オーディオかビデオかを問わず）単一の結合された出力ストリームを提供する。たとえば、図５に示されているパケットがオーディオパケットであり、データミキサ５５０がオーディオミキサであるとすると、データミキサ５５０は、マスターストリームデコーダ５１０から受信したそれぞれのパケット内のデータのほぼ半分を、スレーブマスターストリームデコーダ５２０から受信したデータに置き換える（たとえば、上書きする）ために使用される（これによって、たとえばパケット５５１は、パケット５１１および５２１から受信した情報どうしを結合したものを含む）。したがって、本発明によれば、（たとえばパケット５５１、５５２などを含む）データミキサ５５０からの結合後のオーディオ出力ストリームの受け手は、（デコーダ５１０を介した）マスターオーディオストリームおよび（デコーダ５２０を介した）スレーブオーディオストリームの双方から、リアルタイムのオーディオデータを受信する。
【００２９】
２つの着信オーディオストリームどうし、あるいは２つの着信ビデオストリームどうしのうちのどちらがマスターストリームに指定されるか、およびどちらがスレーブストリームに指定されるかに関しては、一般に決定的ではないという点に留意されたい。たとえば一実施形態によれば、ＭＣＳ  １００とのデータ接続を形成するための最初の着信ストリームをマスターストリームに指定することができる。別の実施形態によれば、たとえば会議の主催者であるユーザからのストリームには、マスターストリームとして指定することによって、より高い優先順位を与えることができる。
【００３０】
次いで、２人の会議出席者（たとえば、ユーザ１１０および１２０）からのオーディオストリームどうしを結合して、単一のオーディオストリームの状態で第３の会議出席者（たとえば、ユーザ１３０）へ提供するためのオーディオミキサの使用について論じる。図６は、図５に示されているコンポーネント（たとえば、パケット５２１、５２２などはオーディオデータを含み、データミキサ５５０はオーディオミキサであるとする）に関連して、スレーブオーディオストリームからのデータをバッファに保存することに関して実行されるステップを示す簡略化されたフローチャートである。ステップ６０２において、スレーブオーディオストリームからのオーディオデータ（たとえば、オーディオパケット５２１、５２２などのうちの１つまたは複数）が、バッファ５３０へ送信される。ステップ６０４において、バッファ５３０が満杯であると判定された場合には、ステップ６０６において、そのオーディオデータは破棄される（たとえば落とされる、あるいは失われる）。これが生じるのは一般に、マスターストリームが、相当な時間にわたって中断されたことによって、あるいはスレーブストリームのデータ転送速度よりも遅れて「スリップ」したことによって、バッファ５３０がオーバーフローした場合（したがって、スレーブストリームからのオーディオフレームが、再同期化が行われるまで失われている場合）である。一方、ステップ６０４において、バッファ５３０が満杯ではないと判定された場合には、スレーブオーディオストリームからのそのオーディオデータは、バッファ５３０内に配置される。
【００３１】
図７は、図５に示されているコンポーネントに再び関連して、マスターオーディオストリームおよびスレーブオーディオストリームからのオーディオデータどうしを結合することに関して実行されるステップを示す簡略化されたフローチャートであり、スレーブストリームは、上述のようにバッファに保存される。たとえば、マスターストリームがスレーブストリームよりも高速でサーバ（たとえば、ＭＣＳ  １００）に到着している場合や、スレーブストリームがネットワーク上の困難を経験している場合には、バッファ５３０が空である可能性もあるということが理解できるであろう。ステップ７０２において、バッファ５３０が空である（スレーブストリームから保存されているオーディオデータはない）と判定された場合には、ステップ７０４において、データミキサ５５０（この場合には、オーディオミキサ）は、短時間、たとえば１ミリ秒間、さらなるデータを待つ。ステップ７０６において、待ち時間の全体が、たとえば１０ミリ秒を超えていると判定された場合には、ステップ７０８において、マスターオーディオデータは、それ以上スレーブオーディオデータを待つことなく、データ（オーディオ）ミキサ５５０の出力へ送信される。こうすれば、マスターデータが、スレーブデータを待って溜まったり、あるいは失われたりすることはない。そうでない場合には、ステップ７０６において、待ち時間の全体が、たとえば１０ミリ秒以下であると判定されると、プロセスはステップ７０２へ戻る。
【００３２】
ステップ７０２において、バッファ５３０が空ではないと判定された場合には、データ（オーディオ）ミキサ５５０は、たとえば、マスターストリームの受信したオーディオパケットの１つおきのバイトを、バッファ５３０から検索したパケットからのデータのバイトで上書きする（ステップ７１０）。そして、この部分的に上書きされたオーディオパケットは、単一の出力オーディオストリームのパケットになる。このプロセスが繰り返され、この方法においては、（マスターオーディオストリームおよびスレーブオーディオストリームからの）オーディオの２つの入力ストリームが結合されて、単一のオーディオ出力ストリームとなり、この単一のオーディオ出力ストリームは、たとえば、着信オーディオストリームのそれぞれからの交互のバイトまたはデータセグメントを含む。そしてステップ７１２において、結合後のオーディオストリームは、任意選択で（たとえば、ＡＭＲフォーマットへと）コード化され、受け手（たとえば、ユーザ１３０のワイヤレスデバイス）へ配信される。
【００３３】
マスターストリームデータパケットのデータの１つおきのバイトをコピーすること（すなわち上書きすること）について上述したが、本発明はこの方法には限定されないということが理解できるであろう。たとえば、データ（オーディオ）ミキサ５５０によって提供される単一の出力オーディオストリームは、マスターストリームからのデータの複数のバイト、そしてスレーブストリームからのデータの複数のバイトなどを含むことができる。さらに、任意の適切な数のオーディオメディアストリームを、それらのオーディオストリームがサンプリングされたレート（通常は８ｋＨｚ）、またはその倍数でインターリーブすることができるということが理解できるであろう。たとえば、１つのストリームをマスターストリームと、残りの２つのストリームをスレーブストリームとラベル付けすることによって、３つのオーディオストリームを本発明に従って結合することができる。この場合には、たとえば双方のスレーブストリームは、それぞれのバッファに関連付けられ、３つのオーディオストリームは、上で説明した２つのオーディオストリームのインターリービングと同様の方法でインターリーブされるが、オーディオパケットのソースは２つではなく、３つとなる。一般的に言えば、２つ（あるいは３つ以上の）オーディオストリームを結合するために、本発明によるデータミキサによって任意の適切な結合アルゴリズムを使用することができるということが理解できるであろう。たとえば、当業者によって知られているような電話会議アルゴリズムを使用して、複数の入力オーディオストリームを結合することができ、その場合には、たとえば個々の入力オーディオストリームどうしのレベルを近づけるために、結合後の出力オーディオストリームのレベル（たとえば音量）は下げられる。本発明は、この方法には限定されない。
【００３４】
次いで、２人の会議出席者（たとえば、ユーザ１１０および１２０）からのビデオストリームどうしを結合して、第３の会議出席者（たとえば、ユーザ１３０）へ送信するための単一の出力ビデオストリームを作成するためのビデオミキサの使用について論じる。図８は、図５に示されているコンポーネント（たとえば、パケット５２１、５２２などは共に１つまたは複数のビデオフレームを構成し、データミキサ５５０はビデオミキサであるとする）に関連して、スレーブビデオストリームからのデータをバッファに保存することに関して実行されるステップを示す簡略化されたフローチャートである。ステップ８０２において、ビデオフレーム（たとえば、ビデオ「クリップ」の静止画像のうちの１つを構成するパケット）が、バッファ５３０へ送信される。ステップ８０４において、バッファ５３０が満杯であると判定された場合には、ステップ８０６において、そのビデオフレームは破棄される（たとえば落とされる、あるいは失われる）。これが生じるのは一般に、マスターストリームが、相当な時間にわたって中断されたことによって、あるいはスレーブストリームのデータ転送速度よりも遅れて「スリップ」したことによって、バッファ５３０がオーバーフローした場合（したがって、副次ストリームからのビデオフレームが、再同期化が行われるまで失われている場合）である。
【００３５】
一方、ステップ８０４において、バッファ５３０が満杯ではないと判定された場合には、ステップ８０８において、そのビデオフレームは、バッファイメージの片側（たとえば左側）へコピーされる。このプロセスの最中、ビデオフレームの幅は、少なくとも部分的に縮小される。たとえば、バッファイメージの左側へコピーされている間、ビデオフレームの（横方向の）１つおきのバイトを取り除く（たとえば、バッファイメージの左側へコピーしないでおく）ことができる。１／２の幅の縮小について説明したが、本発明はこの方法には限定されないということが理解できるであろう。
【００３６】
次いでステップ８１０において、幅の縮小されたビデオフレームがバッファイメージの右側へコピーされ、その間、そのビデオフレームは縦方向に少なくとも部分的に縮小される。たとえば、この時点ではビデオフレームの２つおきのバイトを取り除く（たとえば、バッファイメージの右側へコピーしないでおく）ことができる。１／３の高さの縮小について説明したが、本発明はこの方法には限定されないということが理解できるであろう。さらに、本発明のさまざまな実施形態によれば、この時点で２回縮小されたビデオイメージは、「レターボックス」効果を生み出すために中央に配置され、これによって、空白の上端部および下端部は、空白（ノイズ）のまま残す、黒く塗る、文字で満たすなどのいずれかとなる。
【００３７】
幅を縮小してから高さを縮小する方法について上述したが、本発明はこの方法には限定されないという点に留意されたい。さらに、ビデオフレームは、たとえば横方向にのみ縮小することもできるが、そうすると、（元の縦横比が約１であると仮定して）ビデオフレームの元の縦横ラジオが損なわれる（あるいは、より大きく損なわれる）結果になるということが理解できるであろう。
【００３８】
図９は、図５に示されているコンポーネントに再び関連して、マスターオーディオストリームおよびスレーブオーディオストリームからのビデオデータ（フレーム）どうしを結合することに関して実行されるステップを示す簡略化されたフローチャートであり、スレーブストリームは、上述のようにバッファに保存される。たとえば、マスターストリームがスレーブストリームよりも高速でサーバ（たとえば、ＭＣＳ  １００）に到着している場合や、スレーブストリームがネットワーク上の困難を経験している場合には、バッファ５３０が空である可能性もあるということが理解できるであろう。
【００３９】
ステップ９０２において、マスタービデオストリームからのフレームは、たとえば最終的に受け手に提供されることになる出力イメージの右側へコピーされる（スレーブビデオフレームは、はじめにバッファイメージの左側へコピーされているものとする）。このプロセスの最中、ビデオフレームの幅は、少なくとも部分的に縮小される。たとえば、スレーブビデオフレームに関連して上述したように、横方向のマスタービデオフレームの１つおきのバイトを取り除く（たとえば、出力イメージの右側へコピーしないでおく）ことができる。しかし、本発明のその他の実施形態によれば、横方向の１／２以外の縮小も考えられる。
【００４０】
次いでステップ９０４において、幅の縮小されたマスタービデオフレームは、縦方向に少なくとも部分的に縮小されて出力イメージの左側へコピーされる。たとえば、この時点では縦方向のビデオフレームの２つおきのバイトを取り除く（たとえば、出力イメージの左側へコピーしないでおく）ことができる。やはり本発明は、たった今説明した１／３の高さの縮小には限定されない。さらに、必須ではないが、この時点で２回縮小されたマスタービデオフレームは、「レターボックス」効果を生み出すために中央に配置することができ、これによって、空白の上端部および下端部は、空白（ノイズ）のまま残す、黒く塗る、文字で満たすなどのいずれかとなる。
【００４１】
ステップ９０６において、バッファ５３０が空ではない（すなわち、スレーブストリームからの２回縮小されたビデオフレームのバッファイメージが存在する）と判定された場合には、ステップ９０８において、そのバッファイメージは、出力イメージの右側へコピーされ、マスタービデオフレームからの２回縮小されたイメージの隣に配置される。そしてステップ９１０において、結合後のビデオフレームを受け手（たとえば、ユーザ１３０）へ送信することができる。そうでない場合には、ステップ９０６において、バッファ５３０が空である（保存されているバッファイメージはない）と判定されると、ステップ９１２において、以前に保存されていたバッファイメージが繰り返される（出力イメージの右側へコピーされる）か、または出力イメージの右側を空（ノイズ）のまま残す、すべて黒くするなどのいずれかとなる。そしてステップ９１４において、結合後のビデオフレームを受け手の会議出席者（たとえば、ユーザ１３０）へ送信することができる。
【００４２】
オーディオデータどうしを結合するときのような待ち時間については、ビデオフレームに関する今しがたの説明では触れていないが、本発明はこの方法には限定されないということが理解できるであろう。たとえば、スレーブビデオフレームがバッファに保存されるのを一定時間待つという同様のプロセスを実装することができる。しかし、ビデオフレームの繰り返しは、オーディオデータの繰り返し（反響やどもりのように聞こえるおそれがある）の場合ほど問題ではなく、したがって、状況によっては、待ち時間は必要でないかもしれない、あるいは望ましくないかもしれないということが理解できるであろう。
【００４３】
図１０Ａ〜図１０Ｇは、２つのビデオストリーム（主要な「Ｐ」ビデオストリームおよび副次的な「Ｓ」ビデオストリーム）からのビデオフレームどうしを２回縮小してから結合して、単一のビデオフレーム（「Ｐ＋Ｓ」）を形成し、ワイヤレスデバイスへ送信して、処理し、そのワイヤレスデバイスのディスプレイスクリーン上に表示することができる効果を示す図を提供する。たとえば、図１０Ａに示されているビデオフレームは、第１の会議参加者（たとえば、ユーザ１１０）のイメージとすることができ、その一方で、図１０Ｂに示されているビデオフレームは、第２の会議参加者（たとえば、ユーザ１２０）のイメージとすることができる。すなわち図１０Ａは、インタラクティブな通信セッションが、会議セッションではなく、１対１の通信であるならば、受け手（たとえば、ユーザ１３０）にとって第１の会議出席者（たとえば、ユーザ１１０）がどのように見えるかを示すことができる。同様に図１０Ｂは、インタラクティブな通信セッションが、会議セッションではなく、１対１の通信であるならば、受け手（たとえば、ユーザ１３０）にとって第２の会議出席者（たとえば、ユーザ１２０）がどのように見えるかを示すことができる。これらの２つの棒線画を区別するために、図１０Ａに示されている人物は、両腕を下げており、その一方で図１０Ｂに示されている人物は、両腕を上げている。
【００４４】
会議サーバ（たとえば、ＭＣＳ  １００）において受信されデコードされると、上述のように、図１０Ａおよび図１０Ｂに示されているビデオフレームは双方とも、たとえば１：２の比率で横の寸法を縮小される。はじめは、これらのイメージの縦の寸法は変わらない。この結果、図１０Ｃおよび図１０Ｄに示されているように、２つの不自然に長細いイメージが生じる（双方とも、元のイメージスペースの１／２を占めている）。
【００４５】
図１０Ｃおよび図１０Ｄに示されているこれらの不自然なイメージに、より自然な見た目を与えるために（また、これらのイメージを、元のイメージにより近い縦横比へ戻すために）、これらのイメージは再び縮小され、今度は、たとえば１：３の比率で縦の寸法を縮小される。すなわち、たとえば図１０Ｃおよび図１０Ｄに示されているイメージの縦方向の２つおきのピクセルが破棄され、結果として、図１０Ｅおよび図１０Ｆに示されている２回縮小されたイメージが生じる。
【００４６】
最後に、上述のように、ビデオミキサが、図１０Ｅおよび図１０Ｆに示されているイメージどうしを結合して、図１０Ｇに示されている単一のイメージを作成する。図１０Ｇに示されているイメージは、左側には図１０Ｅの２回縮小されたイメージを、右側には図１０Ｆの２回縮小されたイメージを含む。そして図１０Ｇに示されているイメージがコード化されて、受け手に送信され、受け手は、従来の動画対応のワイヤレスデバイス上で双方の会議出席者（たとえば、ユーザ１１０および１２０）を見ることができる。
【００４７】
上述のように、本発明のいくつかの実施形態によれば、図１０Ｅおよび図１０Ｆに示されている２回圧縮されたイメージの上および下の帯は、黒くされる（または残される）。スクリーン上の所望の縦横比を実現するためにスクリーンのいくつかの部分を未使用のままにするというこの技術は、ときに「レターボックスを付ける」と呼ばれ、一般に、映画館のスタイルの映画を、縦横比の異なる家庭のテレビ上で再生する際に使用される。本発明のその他のさまざまな実施形態によれば、これらの帯は、黒く残される以外に、着色される、何も記入されない（ノイズ）、ならびに／あるいはニュース、スポーツのスコア、および／または時間や日付のデータをスクロールして文字を伝えるために使用される、といった具合になる。これは、たとえば、使用されているビデオミキサ（たとえば、ミキサ５５０）によって追加対象の（たとえば、スクロールする文字情報を伴った）さらなるビデオフレームを出力ビデオフレームに追加することによって実現することができる。
【００４８】
ビデオミキサおよびＭＣＳ  １００の補助的なコンポーネントは、図１０Ａおよび図１０Ｂに示されている着信ビデオフレームを結合して、たとえば、元のビデオストリームのうちのいずれか１つとほぼ同じサイズおよび帯域幅である単一のビデオのストリームを作成するということが、上記の例から分かる。したがって受け手のデバイスは、この結合プロセスを意識せずにいることができ、その通常のオペレーションに従って会議中の当事者をそのデバイスのスクリーン上に表示することができる。本発明のさまざまな実施形態によれば、（図１０Ａおよび図１０Ｂに示されているような）イメージどうしを繰り返し結合した結果として生じる単一のビデオのストリームは、全体のサイズおよび帯域幅をより小さくすることもできる（あるいは、ワイヤレスデバイスがそのようなビデオストリームを処理および／または表示できる場合には、より大きくすることもできる）ということが理解できるであろう。本発明は、この方法には限定されない。
【００４９】
図１１Ａ〜図１１Ｃは、２つのビデオストリームを結合して１つにするための本発明のいくつかの実施形態によるビデオデータの操作を示している。一方の着信ストリームのデータ（たとえば、マスターメディアストリーム）に関連する処理しか示されていないが、他方の（スレーブ）ストリームも同様に（ただし、たとえばスクリーンまたはビデオメモリの中央を縦に分割した線に対して相補的に左右対称にして）処理することができるということを当業者なら理解できるであろう。さらに、ＹＵＶ  ４：２：０などの生のフォーマットは、一般にデータの３つのアレイを含むため、図１１Ａ〜図１１Ｃに示されている表示は、データのこれらの３つのアレイのうちの１つ（たとえば、「Ｙ」アレイ）のみを例示しているということを当業者なら理解できるであろう。
【００５０】
図１１Ａは、図１０Ｂに示されているイメージに対応する完全なイメージ１１００を表しており、ここでは、単一のイメージフレームを構成するデータのバイトが、参照文字Ａ０、Ａ１、．．．Ａ６、Ｂ０、Ｂ１、．．．Ｂ６などによって表されている。図１１Ａのイメージ１１００は、利用可能なスクリーンスペースの全体を占めているが、本発明はこの方法には限定されないということが理解できるであろう。
【００５１】
図１１Ｂは、イメージの幅に沿って１つおきのバイトを破棄することによって横の寸法を縮小した後のイメージ１１００の中身（図１０Ｄのイメージに対応する）を表している。すなわち、イメージ１１００を図１１Ｂの部分１１０２上へコピーしている間に、バイトＡ１、Ａ３、Ａ５、．．．Ｂ１、Ｂ３、Ｂ５などが破棄される。部分１１０２は、データの残りのバイトを含み、たとえば、結果として生じた半分のスペース１１０４には、（「ノイズ」として示されているように）特に何も満たされていない。一般的に言えば、以前のオペレーションからメモリ内に残っているデータは、依然としてメモリの未使用の部分に存在することになるか、あるいは、ゼロ、黒色のデータなどで満たすこともできる。      
【００５２】
次いで、図１１Ｂの部分１１０２からのデータが、縦方向に１：３の比率で縮小され、スクリーンスペースの右側へコピーされて、（図１０Ｆのイメージに対応する）図１１Ｃの部分１１０８を構成する。結果として生じた１／３の未使用の部分１１１０および１１１２は、上述のように、黒色、その他の色、その他の画像、文字、広告、ロゴ、ストリーミングテキスト、Ｅメール、ニュース、スポーツ、気象情報などで満たされる。一実施形態においては、たとえば企業のロゴが、下側の部分１１１２を占め、会議出席者の名前または人数が、部分１１１０に表示される。さらに、図１１Ｃの左側（部分１１０６）は、未使用のまま残すこともでき、あるいは、たとえばゼロで満たすこともできる。着信する他方の会議出席者のビデオストリーム（図示せず）上でも、同様のプロセスが実行され、これは、上述のように、図１０Ａ、図１０Ｃ、および図１０Ｅに示されているイメージに相似したものとなる。
【００５３】
この例においては、次いで（２人の会議出席者に対応する）２つの着信ビデオフレームが、上述のように結合され、そしてこの結合後のビデオフレームが、意図されている受け手（たとえば、ユーザ１３０）へ送信される。意図されている受け手へ送信される結合後のビデオフレームが、図１２に示されている。図１２に示されている結合後のビデオフレームの左側および右側を構成するために同じ参照文字が示されているが、一般的に言えば、（同一のビデオフレームが縮小され結合されているのでない限り）これらのイメージは同一のものにはならないということが理解できるであろう。
【００５４】
４人以上の会議出席者が含まれる場合には、単一の結合後の出力ビデオストリームを提供するために、入力ビデオストリームが適切な量だけ縮小されるということを当業者なら理解できるであろう。したがって、ほぼ任意の数の会議出席者が、他のすべての参加者からの結合後の入力に相当する単一のビデオストリームを受信するだけで、それぞれの参加者のデバイスと対話することができる。これによって、受信や送信を行うために受け手のデバイスを修正する必要はまったくなくなる。
【００５５】
本発明のその他のさまざまな実施形態によれば、複数のビデオフレームどうしを結合するビデオミキサを使用することができ、これによって、それらのビデオフレームのうちの少なくとも１つは、縮小されたり、あるいはその他の形でサイズが小さくなったりすることはない。たとえば、画質を維持しながらより低いビットレートを実現するために、マスタービデオストリームおよびスレーブビデオストリームのソース（たとえば、ワイヤレスデバイス）は、非標準的なイメージサイズ（たとえば、８８×９６の解像度）を有するビデオフレームを送信するように修正することができる。この場合には、複数のビデオフレームの結合後の解像度が許すならば、ビデオミキサは、いかなるデータも取り除くことなく、ビデオフレームどうしを単純に（たとえばビデオの２つのソースの場合には、並べて）足し合わせることになる。この場合には、結果として生じるイメージも、１７６×９６などの非標準的なサイズとすることができる。マスタービデオストリームおよびスレーブビデオストリームに含めて送信されるフレームの解像度が、このようにして抑えられる場合には、送信側の（たとえばワイヤレス）デバイスは、より少ない情報（たとえば、１７６×１４４の典型的なＱＣＩＦ解像度ではなく、８８×９６の解像度を有するフレーム）を送信すればすむことによって恩恵を享受するということが理解できるであろう。さらに、結合後のビデオフレームを表示する受信側のワイヤレスデバイスは、より少ない情報（たとえば、１７６×１４４の解像度ではなく、１７６×９６の解像度を有するフレーム）を受信すればすむことによって恩恵を享受する。結合対象として受信されるビデオフレームの（１つまたは複数の）サイズに応じて、これらのフレームのうちの１つまたは複数（ただし、すべてではない）は、結合後のビデオフレームが受信側のワイヤレスデバイスによって処理および表示できるように、ここで説明したように小さくすることが必要となる可能性がある（また、実際にそうすることができる）ということも考えられる。
【００５６】
複数のビデオストリームが結合されて単一の出力ビデオストリームとなる方法を問わず（たとえば、１つまたは複数のビデオフレームの縮小を用いるか否かを問わず）、その単一の出力ビデオストリームを、上述のように本発明に従って得られた可能性のある対応する単一の（結合後の）出力オーディオストリームと同期化することが望ましいかもしれないということを当業者なら理解できるであろう。本発明に従って出力ビデオストリームを、関連付けられている出力オーディオストリームと同期化することは、任意の適切な技術を使用して実現することができる。たとえば、オーディオストリームおよびビデオストリームは、一般にＲＴＰ（Ｒｅａｌ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）パケットに含めて搬送され、ＲＴＰストリームは、関連付けられているＲＴＣＰ（ＲＴＰ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ）パケットを有する場合が多く、これらのＲＴＣＰパケットは、オーディオストリームおよびビデオストリームの再生を同期化するために使用できるタイミング情報を含むということを当業者なら理解できるであろう。したがって、本発明のさまざまな実施形態によれば、単一の出力ビデオストリームと、単一の出力オーディオストリームとの同期化された再生は、ＲＴＣＰパケットに含めて搬送されているタイミング情報を使用して実現される。しかし本発明は、この特定の同期化の方法には限定されない。
【００５７】
前述の例示的な実施形態において本発明を説明および例示したが、本開示は、例示のみを目的として行われたものであり、本発明の実装形態の細部における多くの変更を、本発明の趣旨および範囲から逸脱することなく行うことができるという点を理解されたい。たとえば、結合の前にビデオフレームのサイズを小さくする方法として、（たとえば横方向の１つおきのバイトおよび縦方向の２つおきのバイトを落とすことによる）ビデオフレームの縮小について上述したが、本発明は、この方法には限定されない。それどころか、本発明のさまざまな実施形態によれば、サイズを小さくしなければならないビデオフレームは、代わりに特定のバイトの色の値を平均化することによって修正することができる。すなわち、本発明によれば、ビデオフレームの特定の（たとえば、連続した）バイトは、より小さなサイズのビデオフレームを得るために、（複数の公知の技術のうちのいずれかを使用して）１つまたは複数の色を平均化されたバイトによって置き換えることができるということが考えられる。そして、このサイズを小さくされたビデオフレームは、縮小された、または同様にしてサイズを小さくされた別のビデオフレームと結合することができ、次いで、結合後のビデオフレームをワイヤレスデバイスに提供して、そのワイヤレスデバイスによって表示することができる。
【００５８】
さらに、本発明については、ビデオストリームおよびオーディオストリームの双方の会議に特に留意して説明しているが、本発明はこの様式には限定されないということが理解できるであろう。したがって、たとえば複数の会議参加者からの単一の（静止）画像を、本発明の原理に従って結合して、別の参加者へ提供することもできる。さらに、説明したコンセプトは、４人以上の会議出席者へと拡張されて、場合によっては、上述の３人の当事者の例において説明した方法を越える縮小方法を必要とする可能性もある。
【００５９】
本発明のさまざまな実施形態によれば、ビデオイメージ（あるいは、その他のタイプのデータ）は、上述の比率とは異なる比率で縮小することができるということも理解できるであろう。その上、ビデオイメージは、並べて配置する代わりに、受け手のスクリーン内で（他のイメージの上に）積み重ねることなどができる。さらに、３人以上のユーザがビデオイメージを提供している場合には、たとえば、それらのイメージは、ブロックの形式で（たとえば、４人の参加者からのビデオイメージが結合されている場合には、２×２のブロックの縮小されたイメージで）表示することができる。本発明は、これらの方法のいずれにも限定されない。
【００６０】
より複雑なシステムにおいては、（詳細に上述したようなスレーブストリームのみの形式ではなく）マスターストリームおよびスレーブストリームの双方を、オーディオかビデオかを問わず、バッファに保存することができるということも考えられる。この場合には、単一のバッファの実施形態とは異なり、マスターストリームは、ミキサを駆動する必要はなく、ミキサは、スレーブバッファおよびマスターバッファの双方からデータを引き出している間に、自分自身のクロックから作動することができる。バッファのうちの一方または双方に利用可能なデータがまったくない場合には、（オーディオの場合には）無音、または（ビデオの場合には）以前のイメージを、（１つまたは複数の）空のバッファからのデータとして使用することができる。
【００６１】
したがって、上で提示したアイディアのその他の実施形態、拡張、および修正が理解され、それらは、当業者が本開示を検討すれば理解できる範囲内にあるはずである。したがって、さまざまな態様における本発明の範囲は、上で提示した例によって限定されるものではない。本発明の個々の態様、および本発明の全体は、そのような設計上の修正、および本開示の範囲内に収まる将来の発展を可能にするものとみなすべきである。本発明は、添付の特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００６２】
【図１】本発明の一実施形態によるメディア会議サーバを使用する３人の会議出席者によって送信および受信されるそれぞれのデータストリームを示す簡略化された図である。
【図２】本発明の一実施形態に従って結合されて図１の３人の会議出席者のそれぞれに提供されるそれぞれのオーディオストリームおよびビデオストリームを列挙している表である。
【図３】本発明の一実施形態に従って３人の会議出席者のうちの１人に結合後のオーディオストリームを提供するために使用されるさまざまなコンポーネントを示す図１のメディア会議サーバの、より詳細な、それでいて依然として簡略化されている図である。
【図４】本発明の一実施形態に従って３人の会議出席者のうちの１人に結合後のビデオストリームを提供するために使用されるさまざまなコンポーネントを示す図１のメディア会議サーバの、より詳細な、それでいて依然として簡略化されている図である。
【図５】本発明の一実施形態に従ってマスターストリームおよびスレーブストリームからのデータどうしが結合される方法を示す簡略化された図である。
【図６】本発明の一実施形態に従って、後でマスターストリームからのオーディオデータと結合するためにスレーブストリームからのオーディオデータをバッファに保存することに関して実行されるステップを示す簡略化されたフローチャートである。
【図７】本発明の一実施形態に従って、マスターオーディオデータと、以前にバッファに保存されていたスレーブオーディオデータとを結合することに関して実行されるステップを示す簡略化されたフローチャートである。
【図８】本発明の一実施形態に従って、後でマスターストリームからのビデオデータと結合するためにスレーブストリームからのビデオデータをバッファに保存することに関して実行されるステップを示す簡略化されたフローチャートである。
【図９】本発明の一実施形態に従って、マスタービデオデータと、以前にバッファに保存されていたスレーブビデオデータとを結合することに関して実行されるステップを示す簡略化されたフローチャートである。
【図１０】図１０Ａは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｂは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｃは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｄは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｅは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｆは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。図１０Ｇは、本発明の一実施形態による結合プロセスのさまざまなステップの最中のマスタービデオストリームおよびスレーブビデオストリームからのそれぞれのビデオフレームを示す簡略化された図である。
【図１１】図１１Ａは、本発明の一実施形態による結合プロセスのさまざまなステップの最中に図１０Ｂのスレーブビデオフレームからのバイトが操作される方法を示す簡略化された図である。図１１Ｂは、本発明の一実施形態による結合プロセスのさまざまなステップの最中に図１０Ｂのスレーブビデオフレームからのバイトが操作される方法を示す簡略化された図である。図１１Ｃは、本発明の一実施形態による結合プロセスのさまざまなステップの最中に図１０Ｂのスレーブビデオフレームからのバイトが操作される方法を示す簡略化された図である。
【図１２】本発明の一実施形態による図１０Ｇの結合後のビデオフレームに対応する、図１０Ａのマスタービデオフレームおよび図１０Ｂのスレーブビデオフレームからのビデオデータの残っているバイトを示す簡略化された図である。
【図１】
2008521290.tif 000003
【図２】
2008521290.tif 000004
【図３】
2008521290.tif 000005
【図４】
2008521290.tif 000006
【図５】
2008521290.tif 000007
【図６】
2008521290.tif 000008
【図７】
2008521290.tif 000009
【図８】
2008521290.tif 000010
【図９】
2008521290.tif 000011
【図１０Ａ】
2008521290.tif 000012
【図１０Ｂ】
2008521290.tif 000013
【図１０Ｃ】
2008521290.tif 000014
【図１０Ｄ】
2008521290.tif 000015
【図１０Ｅ】
2008521290.tif 000016
【図１０Ｆ】
2008521290.tif 000017
【図１０Ｇ】
2008521290.tif 000018
【図１１】
2008521290.tif 000019
【図１２】
2008521290.tif 000020