(57)【要約】本発明は、好ましくは、ビデオ会議送信をソースとするオーディオビジュアル媒体信号をエンコードするための方法、システム及び装置に係る。提供される技術は、コンピュータネットワークからビデオ会議送信を受信するように適応され、このビデオ会議送信は、少なくとも１つのオーディオビジュアル信号と、少なくとも１つのプロトコル信号を含む。受信された送信から１つ以上のプロトコル信号が読み取られ、前記提供される技術は、選択されたエンコードプロセスを受信したオーディオビジュアル信号に適用し、前記選択されるエンコードプロセスは、読み取られたプロトコル信号のコンテンツに依存する。
2005536947.tif 000002
【特許請求の範囲】
【請求項１】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）選択されたエンコードプロセスを受信したオーディオビジュアル信号に適用するステップであって、前記エンコードプロセスが前記読み取られた少なくとも１つのプロトコル信号のコンテンツに基づいて選択されるステップと、
を備えたことを特徴とするエンコード方法。
【請求項２】
（iv）ソフトウェアプレーヤアプリケーションに対するエンコードされた出力を発生する付加的な後続ステップ、
を更に備えた請求項１に記載のエンコード方法。
【請求項３】
前記発生されたエンコードされた出力は、前記ビデオ会議に直接参加していないユーザに再生されるよう適応される請求項２に記載のエンコード方法。
【請求項４】
エンコードされた１つ又は複数の出力ファイルを形成するよう適応される請求項２又は３に記載のエンコード方法。
【請求項５】
エンコードされた出力送信を形成するよう適応される請求項２又は３に記載のエンコード方法。
【請求項６】
前記発生されたエンコードされた出力は、コンピュータシステムを使用して再生されるよう適応される請求項２から５のいずれかに記載のエンコード方法。
【請求項７】
前記エンコードされた出力は、コンピュータネットワークを経てユーザへ配布される請求項２から６のいずれかに記載のエンコード方法。
【請求項８】
前記エンコードされた出力を発生するのに使用される装置は、ビデオ会議エンドポイントを形成する請求項２から７のいずれかに記載のエンコード方法。
【請求項９】
読み取られたプロトコル信号は、ビデオ会議送信のオーディオビジュアル信号に関連付けられた次のパラメータの組合せに関する情報を与える、
（ｉ）使用するオーディオコーデック、及び／又は
（ii）使用するビデオコーデック、及び／又は
（iii）供給されるオーディオ情報のビットレート、及び／又は
（iv）供給されるビデオ情報のビットレート、及び／又は
（ｖ）ビデオ情報フレームレート、及び／又は
（vi）ビデオ情報解像度、
請求項１から８のいずれかに記載のエンコード方法。
【請求項１０】
読み取られたプロトコル信号のコンテンツを使用して、前記ビデオ会議送信のオーディオビジュアル信号内に存在する少なくとも１つのキーフレームの時間位置を検出する請求項１から９のいずれかに記載のエンコード方法。
【請求項１１】
前記ビデオ会議送信のオーディオビジュアル信号においてキーフレームが検出されたのと同じ時間位置で、キーフレームを前記エンコードされた出力にエンコードする請求項１０に記載のエンコード方法。
【請求項１２】
前記少なくとも１つの読み取られたプロトコル信号のコンテンツが、前記ビデオ会議送信のオーディオビジュアル信号内に存在するコンテンツスイッチを指示する請求項１から１１のいずれかに記載のエンコード方法。
【請求項１３】
プロトコル信号から抽出されたフリーズピクチャー信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１４】
プロトコル信号から抽出されたフリーズピクチャー要求信号の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１５】
プロトコル信号からのドキュメントカメラ信号抽出からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１６】
プロトコル信号からのドキュメントカメラ信号抽出の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１７】
プロトコル信号から抽出された像合体信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１８】
プロトコル信号から抽出された像合体信号の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１９】
プロトコル信号から抽出されたカメラ移動信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項２０】
コンテンツスイッチの検出は、コンテンツスイッチが検出されたところのエンコードされた出力における対応する時間位置において、少なくとも１つのインデックスマーカーと、そのエンコードされた出力との関連付けをトリガーさせる請求項１２から１９のいずれかに記載のエンコード方法。
【請求項２１】
インデックスマーカーは、どんなコンテンツスイッチが検出されたか指示する基準情報を含む請求項２０に記載のエンコード方法。
【請求項２２】
プロトコル信号は、前記ビデオ会議送信のオーディオビジュアル信号内に存在する少なくとも１つのキーフレームの時間位置を指示し、そして前記エンコードされた出力へとエンコードされるキーフレームは、前記出力へとエンコードされたインデックスマーカーに隣接して又はそれと同じ位置に配置される請求項２０又は２１に記載のエンコード方法。
【請求項２３】
前記発生されたエンコードされた出力へエンコードされるキーフレームは、インデックスマーカーからスレッシュホールド時間内に配置される請求項２２に記載のエンコード方法。
【請求項２４】
キーフレームは、インデックスマーカーと同じ時間位置においてエンコードされる請求項２２に記載のエンコード方法。
【請求項２５】
エンコードされた出力のオーディオビジュアルコンテンツは、受信したプロトコル信号から低コンテンツ状態が検出されたときには時間圧縮される請求項２から２４のいずれかに記載のエンコード方法。
【請求項２６】
前記エンコードされた出力のオーディオビジュアルコンテンツを時間圧縮するのにバッファが使用される請求項２５に記載のエンコード方法。
【請求項２７】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号内に存在するキーフレームの時間位置を決定するステップと、
（iv）受信したオリジナルのオーディオビジュアル信号内でキーフレームが検出された同じ時間位置においてエンコードされた出力へキーフレームをエンコードするステップと、
を備えた方法。
【請求項２８】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信した１つ又は複数のオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）前記コンテンツスイッチが検出された時間位置においてインデックスマーカーをエンコードするステップと、
を備えた方法。
【請求項２９】
インデックスマーカーは、キーフレームの時間位置から時間スレッシュホールド内でエンコードされる請求項２８に記載のエンコード方法。
【請求項３０】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）キーフレームをエンコードするステップと、
（ｖ）エンコードされたキーフレームの時間位置と同じ時間位置又はそれに隣接してインデックスマーカーをエンコードするステップと、
を備えた方法。
【請求項３１】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信した１つ又は複数のオーディオビジュアル信号内に存在する低コンテンツ状態の存在を検出するステップと、
（iv）受信した前記ビデオ会議送信内で前記低コンテンツ状態が検出された時間周期中にエンコードされる出力コンテンツを時間圧縮するステップと、
を備えた方法。
【請求項３２】
ビデオ会議送信信号を受信するのにバッファを使用し、これにより、バッファのコンテンツをエンコードプロセスへ再生するレートで、エンコード時にオリジナルのビデオ会議コンテンツに適用される時間圧縮の程度を決定する請求項３１に記載のエンコード方法。
【請求項３３】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取って、受信したビデオ会議送信のエンコード特性を決定するステップと、
（iii）少なくとも１人のユーザからエンコードの好みを受信するステップと、
（iv）エンコードプロセスのセットから、前記ユーザの好み及び前記エンコード特性を使用して実施できるエンコードプロセスのサブセットを選択するステップと、
（ｖ）前記エンコードプロセスのサブセットをユーザに表示するステップと、
を備えた方法。
【請求項３４】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード方法。
【請求項３５】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード装置。
【請求項３６】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード方法を実施するコンピュータソフトウェア。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオビジュアル媒体エンコーディングシステムに係る。本発明は、オブザーバーがリアルタイムで又は後で検討するためにコンピュータネットワークを経て行なわれるビデオ会議、セミナー又はプレゼンテーションをエンコードするように適応されるのが好ましい。本明細書は、本発明がこの状態に使用されることに関して全体的に説明するが、当業者であれば、他の応用も考えられ、本発明がこれに限定されるものではないことが明らかであろう。
【背景技術】
【０００２】
リモート位置にいる参加者間に両方向のオーディオ及びビデオ通信を許すビデオ会議システムが開発されている。参加者は、共通のデジタル送信ネットワークを経て、使用するコンピュータネットワークに接続されたカメラ、マイクロホン、並びに適当なハードウェア及びソフトウェアの助けで、リアルタイムのビデオ会議に参加することができる。ビデオ会議は、セミナーや他の形式のプレゼンテーションを開催するのに使用でき、そこでは、スライドやドキュメントのような付加的な媒体を更に別の入力システム又はドキュメントカメラに供給してビデオ又はデータ送信ストリームに一体化することもできる。
【０００３】
ビデオ会議の参加者は、互いにリアルタイムで対話するので、オーディオビジュアルコンテンツ信号の送信と共にネットワークの帯域巾に高い需要が課せられる。更に、使用するネットワークが会議を正しく伝えるのに必要な充分な帯域巾を有していない場合には、会議のオーディオビジュアルコンテンツに伴うクオリティの問題が生じる。このような場合には、参加者間の信号のストリームを作り上げるインターネットプロトコルパケットが失われるか又は受信者に遅れて到達し、従って、ビデオ及びオーディオの再生にリアルタイムで効率的に一体化することができない。
【０００４】
又、ある場合には、これらのビデオ会議信号を、必ずしも会議に参加できない付加的なオブザーバーへ供給し又は流すことが好ましい。これらのオブザーバーは、例えば、開催されるセミナー又はプレゼンテーションに関心のある者でもよいが、必ずしも会議にリアルタイムで出席又は参加する必要がないか或いは出席又は参加できない者でもよい。付加的なオブザーバーは、会議が行なわれるときにオーディオビジュアル信号のストリームをリアルタイムで見てもよいし、或いは会議への参加が必要でないときにはその情報を後で見ることもできる。又、このストリームは、会議の参加者に後で入手できるようにされてもよい。
【０００５】
ビデオ会議のコンテンツを付加的なオブザーバーへ流すために、発生された信号は、通常、付加的なエンコーディングコンピュータシステムへ供給される。現在の技術を使用して、このようなコンピュータには、ビデオ会議装置のカメラ及びマイクロホンをソースとするビデオ及びオーディオのアナログ信号が供給され、その後、この情報は、デジタルのコンピュータシステムファイルへと変換、エンコード又はフォーマットされ、このファイルを、特定のソフトウェアプレーヤアプリケーションにより再生することができる。適用される実際のエンコーディング又はフォーマッティングは、エンコードされたビデオ会議をその後に再生又は表示するためのプレーヤアプリケーションに依存する。当業者に明らかなように、このエンコードされた情報は、オブザーバーへリアルタイムで流され又は送信されてもよいし、或いはオブザーバーへ後で送信するために記憶されてもよい。
【０００６】
しかしながら、付加的なオブザーバーのためにビデオ会議のコンテンツをエンコードするのに使用されるこの解決策は、多数の問題で悩まされている。
【０００７】
第１の例では、デジタルのオーディオ及びビデオ情報をアナログフォーマットに変換してエンコードディングコンピュータシステムへ後で供給するために、得られるフォーマット出力の精度又はクオリティが失われる。次いで、使用するコンピュータシステムは、これらのアナログ信号をデジタルフォーマットに変換して戻し、各変換がなされるたびにクオリティ及び精度のロスが生じる。
【０００８】
更に、使用するエンコーディングコンピュータには、ビデオ会議装置へのアナログケーブル接続を設けねばならず、従って、ほとんどの場合に、ビデオ会議を開催すべき室内にその一方のエンドポイントを配置しなければならない。これは、装置の更なる断片をビデオ会議室又は続き部屋内に配置することを必要とし、会議の前に、ビデオ会議装置に加えてこれも設定及び構成しなければならない。
【０００９】
これらの問題に対処する１つの試みが、「Packet-Based Multi-Media Communication System」と題するＩＴＵ  Ｈ．３２３であるビデオ会議送信プロトコルの使用によりなされている。このプロトコルは、オーディオビジュアル信号及びそれに関連したプロトコル情報を、使用するビデオ会議装置からネットワークアドレスへ送信するのを許し、このネットワークアドレスがないと、行われるビデオ会議コールへの完全な参加者として働くことになる。付加的な接続は、ビデオ会議信号に対するストリーミングエンドポイントとして説明することができ、ビデオ会議信号は、既存の技術を使用して必要なデジタル／アナログ／デジタル変換を伴わずに、必要なデジタルオーディオ及びビジュアル情報に供給することができる。
【００１０】
しかしながら、この基本的なプロトコルの使用に伴う大半の複雑さは、ビデオ会議コールに広帯域巾要求が使用されることと、その後に信号が高いビットレートでエンドポイントへ流されることから生じる。ソフトウェアプレーヤアプリケーションへ再送信されるときには、供給される入力の高いビットレートが、発生される出力にも存在し、これにより、大きなビデオファイル又は広帯域巾要求が生じ、これは、使用するコンピュータ装置への低速接続では容易にアクセスすることができない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
前記問題のいずれか又は全部に対処する改良されたオーディオビジュアル媒体エンコーディングシステムが効果的である。又、会議コールのエンドポイントとして働くことができ且つオーディオ及びビデオ会議コンテンツをエンコード又はフォーマットして、その後、多数のビットレートでオブザーバーへ流し又は供給することのできるシステムが効果的である。更に、これらのビデオ及びオーディオ信号をいかにエンコードしてオブザーバーへ供給するかに関して融通性及び機能性を示し且つ与えることのできるシステムが効果的である。
【００１２】
本明細書に取り上げる特許又は特許出願を含む全ての参照文献は、参考としてここに援用するものである。参照文献が従来技術を構成することは容認されない。参照文献の説明は、著者が何を主張するかを述べており、そして出願人は引用文書の正確さ及び適切さに挑戦する権利を保有する。ここでは、多数の従来の出版物を参照するが、この参照は、これら文書がニュージーランド又は他の国々におけるこの技術の共通の一般的知識の一部分を形成することを容認するものではないことを明確に理解されたい。
【００１３】
「備える」という語は、異なる管轄権のもとでは、排他的又は包括的のいずれかの意味をもつものであることが知られている。本明細書の目的として、特に指示のない限り、「備える」という語は、包括的な意味をもたねばならず、即ち直接言及されるリストされたコンポーネントを含むだけでなく、非指定の他のコンポーネントやエレメントも含むことを意味するものとする。この理論的解釈は、方法又はプロセスの１つ以上のステップに関して「備えた」又は「備えている」という語が使用されるときにも、使用される。
【００１４】
本発明の目的は、前記問題に対処し、又は少なくとも、一般大衆に有用な選択肢を与えることである。
本発明の更に別の特徴及び効果は、一例として与えられた次の説明から明らかとなろう。
【課題を解決するための手段】
【００１５】
本発明の１つの態様によれば、オーディオビジュアル媒体信号をエンコードする方法であって、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）選択されたエンコードプロセスを受信したオーディオビジュアル信号に適用するステップであって、前記エンコードプロセスが前記読み取られた少なくとも１つのプロトコル信号のコンテンツに基づいて選択されるステップと、
を備えたことを特徴とする方法が提供される。
【００１６】
本発明の更に別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（iv）ソフトウェアプレーヤアプリケーションに対するエンコードされた出力を発生する付加的な後続ステップ、
を更に備えた方法が提供される。
【００１７】
本発明の更に別の態様によれば、実質的に上述したようにオーディオビジュアル媒体信号をエンコードする方法において、前記少なくとも１つの読み取られたプロトコル信号のコンテンツを使用して、前記ビデオ会議送信のオーディオビジュアル信号内に存在する少なくとも１つのキーフレームの時間位置を検出する方法が提供される。
【００１８】
本発明の更に別の態様によれば、実質的に上述したようにオーディオビジュアル媒体信号をエンコードする方法において、前記少なくとも１つの読み取られたプロトコル信号のコンテンツが、前記ビデオ会議送信のオーディオビジュアル信号内に存在するコンテンツスイッチを指示する方法が提供される。
【００１９】
本発明の更に別の態様によれば、実質的に上述したようにオーディオビジュアル媒体信号をエンコードする方法において、選択されたエンコードプロセスは、前記少なくとも１つの読み取られたプロトコル信号を使用してコンテンツスイッチが検出されたときに少なくとも１つのインデックスマーカーをエンコードされた出力に関連付ける方法が提供される。
【００２０】
本発明の更に別の態様によれば、実質的に上述したようにエンコードする方法において、前記ビデオ会議送信のオーディオビジュアル信号内でコンテンツスイッチが検出された同じ時間位置で、インデックスマーカーをエンコードされた出力に関連付ける方法が提供される。
【００２１】
本発明の更に別の態様によれば、実質的に上述したようにオーディオビジュアル媒体信号をエンコードする方法において、読み取ったプロトコル信号が、ビデオ会議送信のオーディオビジュアル信号に関連付けられた次のパラメータの組合せに関する情報を与える、
（ｉ）使用するオーディオコーデック、及び／又は
（ii）使用するビデオコーデック、及び／又は
（iii）供給されるオーディオ情報のビットレート、及び／又は
（iv）供給されるビデオ情報のビットレート、及び／又は
（ｖ）ビデオ情報フレームレート、及び／又は
（vi）ビデオ情報解像度
という方法が提供される。
【００２２】
本発明は、オーディオビジュアル媒体信号をエンコードするシステム及び方法を提供するように適応されるのが好ましい。好ましくは、これらの信号は、ビデオ会議送信をソースとするもので即ちそこから供給され、本発明は、これら信号の少なくとも一部分を、ビデオ会議に直接参加していない他のユーザ又はオブザーバーへ再生できるフォーマットにエンコードするように適応される。本明細書全体にわたり、コンピュータネットワークを使用してビデオ会議を送信することについて説明するが、当業者であれば、当然、いかなる形式のデジタル送信ネットワークインフラストラクチャー又はシステムも包含されることが理解されよう。
【００２３】
本発明は、ここに述べるエンコード方法（１つ又は複数）を実行できるコンピュータシステムで動作されるべきエンコードプロセスを実施するのに使用されるのが好ましい。更に、本発明は、このようなエンコード方法を実行するのに使用される装置であって、好ましくは、本発明を実行又は実施するためのコンピュータソフトウェアがロードされたコンピュータシステムから形成された装置も包含する。又、本発明は、エンコードされた出力を発生し、この出力を更に別のユーザへ再生、表示又はその他中継することができ、これら新たなユーザは、当該ビデオ会議に必ずしも参加しなくてもよいし、又、ビデオ会議が行なわれているのと同時にそのエンコードされた出力を見る必要もない。
【００２４】
必要なエンコードプロセスを提供するために本発明に関連して使用される装置は、当該ビデオ会議の一部分を直接担うように使用されるのが好ましく、そしてある場合には、ビデオ会議のエンドポイントと考えることもできる。このようなエンドポイントを与えるように使用される装置は、次いで、ビデオ会議に関連して受信した少なくとも１つのオーディオビジュアル信号をトランスコード又は再エンコードして、本発明に関連してトランスコード化オーディオビジュアル出力を与えることができる。発生されたエンコードされた出力は、コンピュータファイルに記憶されてもよいし、或いは必要に応じてエンコードされて、他のユーザへ送信され又は流されてもよい。
【００２５】
又、本発明は、エンコードされた出力ファイル、信号又は送信を与えるように適応され、これらは、コンピュータベースのソフトウェアプレーヤアプリケーションにより受信又は再生されてオーディオビジュアル媒体又はコンテンツを表示できるのが好ましい。本発明を使用して発生されたエンコードされた出力は、ある場合には、ビデオ会議が行なわれるときにリアルタイムでビデオ会議の非参加オブザーバーへ流され又は送信されてもよい。或いは又、他の場合には、発生されたエンコードされた出力は、コンピュータのファイル（１つ又は複数）にセーブされ、これらファイルを非参加オブザーバーへダウンロード又は送信して後で再生することもできる。
【００２６】
例えば、ある場合には、本発明は、エンコードされたオーディオビジュアルコンテンツ出力を発生し、これをマイクロソフトのウインドウズメディアプレーヤ（登録商標）、アップルのクイックタイムプレーヤ（登録商標）又はリアルネットワークのリアルプレーヤ（登録商標）で再生することができる。更に、当該プレーヤは、当該ビデオ会議が行なわれるときにオブザーバーへのエンコードされた出力のリアルタイムストリーミングの受信をサポートしてもよい。
【００２７】
本明細書全体の説明は、コンピュータベースのソフトウェアプレーヤアプリケーションを使用してコンピュータにおいて又はコンピュータにより再生されるべきエンコードされた出力を本発明が発生することについて述べる。しかしながら、本明細書全体にわたりコンピュータを指すときは、いかなる形式のプログラムされた又はプログラム可能なロジックデバイスも含むように、考えられる最も広い解釈が与えられることが当業者に明らかであろう。スタンドアローンパーソナルコンピュータ、パーソナルデジタルアシスタント、セルラー電話、ゲームコンソール等は、全て、コンピュータのこのような定義に包含され、従って、本発明により発生されたエンコードされた出力を再生するためのソフトウェアをその全てに設けることができる。又、コンピュータ及びコンピュータソフトウェアアプリケーションを指すときは、パーソナルコンピュータだけを指すのではないと考えるべきであることが当業者に明らかであろう。
【００２８】
更に別の好ましい実施形態では、発生されたエンコードされた出力は、デジタル送信ネットワークを経て送信又は配布されるように適応されてもよい。発生されたエンコードされた出力のこのフォーマットは、必要に応じて、広範囲の多数の地理的に分散したユーザに同じものを容易に且つ迅速に配布するのを許す。又、本明細書全体の説明は、エンコードされた出力の送信がコンピュータネットワークを経て行なわれることについても述べる。しかしながら、デジタル信号又はデジタルコンテンツの送信を許すいかなる形式の送信ネットワーク、システム、又はインフラストラクチャーも、必要に応じて、本発明に関連して使用できることが当業者に明らかであろう。
【００２９】
又、本明細書全体にわたる説明は、発生されたエンコードされた出力が、コンピュータシステムのためのソフトウェアベースのプレーヤアプリケーションの入力となるように適応されることについて述べる。しかしながら、他のフォーマット又はフォームのエンコードされた出力が本発明に関連して発生されてもよく、従って、本明細書全体にわたる前記説明に限定されないことが当業者に明らかであろう。例えば、他の実施形態では、本発明は、セルラー電話、ＰＤＡ、ゲームコンソール、又は他の同様の形式の装置を使用して再生できるようなエンコードされた出力を発生してもよい。
【００３０】
行なわれるビデオ会議送信は、コンピュータネットワークの使用により送信されるのが好ましい。コンピュータネットワークは、この技術で良く知られたものであり、ＴＣＰ／ＩＰのような既存の送信プロトコルの利点を取り入れて、情報のパケットをビデオ会議の参加者に配達することができる。
【００３１】
好ましい実施形態では、本発明に関連して受信されたビデオ会議送信は、上述したコンピュータネットワークを経て供給することができる。本発明に関連して使用される受信及びエンコーディングハードウェアは、このようなコンピュータネットワークに接続され、そして特定のネットワーク又はＩＰアドレスが指定され、このアドレスにビデオ会議送信を配達することができる。
【００３２】
本明細書全体にわたりコンピュータネットワークを指すときには、専用イーサネット（登録商標）ケーブルを経て形成されるネットワーク、ワイヤレス無線ネットワーク、及びテレコミュニケーションシステムを使用する分散型ネットワークを包含することが当業者に明らかであろう。
【００３３】
更に別の好ましい実施形態において、本発明により使用されるハードウェア又は装置は、当該ビデオ会議コールのためのストリーミング又はストリームドエンドポイントとして説明することができる。ストリーミングエンドポイントは、必ずしも使用可能なコンテンツをビデオ会議コールに供給せずにビデオ会議に対する参加者として働いてもよい。それ故、コンピュータネットワークにおける特定アドレスのこのエンドポイントは、会議に対して使用可能なコンテンツを必ずしも貢献させずに特定のビデオ会議に関連した全ての送信を受け取ることができる。本明細書全体にわたり使用されるエンドポイントは、同じことを達成するのに使用される装置又はコンポーネントで、例えば、「ターミナル」、「ゲートウェイ」又は「マルチポイント制御ユニット」と以前に称されたものを包含することが当業者に明らかであろう。
【００３４】
本発明は、オーディオビジュアル媒体をエンコードするための方法及び装置又はシステムを提供するのが好ましい。使用するシステム又は装置は、適当なエンコーディングソフトウェアがロードされた（及びそれを実行するように適応された）コンピュータシステムから形成されてもよいし、又はそれを構成してもよい。このようなソフトウェア（コンピュータネットワークへのコンピュータシステムの接続を経てコンピュータシステムで実行されることにより）は、本発明に関して説明するエンコード方法を実施することができる。更に、このコンピュータシステムは、ここに述べる方法のエンコードされた出力として発生されたコンピュータファイルを記憶したり、又は更に別のオブザーバーへリアルタイムで供給されたエンコードされた出力を再送信したりするように適応されてもよい。
【００３５】
又、本明細書全体の説明は、ビデオ会議送信を受信しそして適当なソフトウェアを使用してそれをエンコードするように適応されるコンピュータネットワークに接続されたエンコーディングコンピュータシステムを本発明が使用し又は包含することについて述べる。
【００３６】
例えば、１つの例では、本発明は、コンピュータネットワークにわたって行われるビデオ会議送信に対してＨ３２３プロトコルの利点を取り入れることができる。このプロトコルは、必要な信号のデジタル／アナログ／デジタル変換を伴わずに、デジタル信号をエンコーディングコンピュータシステムへ直接供給するように使用することができる。
【００３７】
又、本明細書全体にわたる説明は、コンピュータネットワークを経て行なわれるビデオ会議送信をソースとするオーディオビジュアル媒体をエンコードするのに本発明が使用されることについて述べる。しかしながら、本発明の他の応用も考えられ、従って、本明細書の前記説明だけに限定されるものでないことが当業者に明らかであろう。例えば、本発明は、必ずしもビデオ会議をベースとするものでなく、又、コンピュータネットワークを経ての送信に直接関連したものでもない他の形態のストリーム型又はリアルタイムのオーディオビジュアル送信をエンコードするのに使用されてもよい。
【００３８】
エンコーディングコンピュータにより受信されるビデオ会議送信は、少なくとも１つのオーディオビジュアル信号と、少なくとも１つのプロトコル信号とで構成されるか又はそれらを含むのが好ましい。
【００３９】
オーディオビジュアル信号は、ビデオ会議が行なわれるときにそのオーディオ及び／又はビデオコンテンツに関する情報をリアルタイムで搬送するのが好ましい。ある場合には会議が後で再生されるので、会議のオーディオ及びビジュアルコンテンツの両方を搬送する単一の信号が発生されてもよい。しかしながら、別の場合には、必要とされる会議のオーディオ及びビデオの両成分に対して別々の信号が形成されてもよい。
【００４０】
受信されたビデオ会議送信は、少なくとも１つのプロトコル信号を合体するか又はそれを含むのが好ましい。プロトコル信号は、オーディオビジュアル信号のフォーマット又は構成に関する情報であって、このような信号がいかに発生されたかに関するパラメータを含む情報と、このような信号を発生するのに使用される物理的ハードウェアのコンフィギュレーション、ステータス又はステートに関する情報とを搬送することができる。更に、プロトコル信号は、オーディオビジュアル信号を発生するのに使用された特定のハードウェアからのフィードバック又は情報を使用して、表示されたコンテンツがいつ変化し又は切り換わるかに関する指示を与えることもできる。更に、プロトコル信号は、送信されたオーディオビジュアル信号がいかに形成されたか、例えば、信号の発生にデータ圧縮機構が使用されたかどうかに関する情報を与えてもよく、そしてこのような圧縮機構がいかに動作されたかに関するある基本的な情報を与えてもよい。
【００４１】
本発明は、ビデオ会議送信を構成するオーディオビジュアル信号に関連して受信された少なくとも１つのプロトコル信号を最初に読み取るように適応されるのが好ましい。次いで、このようなプロトコル信号（１つ又は複数）へエンコードされた特定の情報を使用して、到来するオーディオビジュアル信号を、更に別のオブザーバーに供給するためにいかにエンコード又はフォーマットすべきかに関して特定の判断又は決定を行うことができる。プロトコル信号から取り込まれた情報を使用して、特定のエンコードプロセス又はアルゴリズムを選択し、その後、これを適用して、本発明で必要なエンコードされた出力を発生することができる。プロトコル信号から得られる情報の厳密なフォームと、本発明のオペレータに使用でき且つ関心のもたれるエンコードプロセスとで、どのエンコードプロセスを選択して適用するかが決定される。
【００４２】
本発明の更に別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号内に存在するキーフレームの時間位置を決定するステップと、
（iv）受信したオリジナルのオーディオビジュアル信号内でキーフレームが検出された同じ時間位置においてエンコードされた出力へキーフレームをエンコードするステップと、
を備えたことを特徴とする方法が提供される。
【００４３】
好ましい実施形態では、プロトコル信号から得られた情報は、受信したオーディオビジュアル信号（１つ又は複数）内に存在するキーフレームの時間位置又は位置を含み又は指示することができる。
【００４４】
キーフレームは、デジタルビデオ圧縮プロセッサにおいて発生され使用されるもので、完全に慣習的なビデオ情報フレームの等効物を与える。キーフレームに加えて、当該ビデオ情報の第２部分としてピクセル変更命令を送信することができる。キーフレーム（著しい量のデータを含む）を得ることができ、次いで、オリジナルのキーフレーム内のオブジェクトの位置の変化に関する更に別の情報を後で送信することができ、これにより、オーディオビジュアル信号の一部分として送信する必要のあるデータの量を減少することができる。
【００４５】
しかしながら、ビデオ圧縮に対するこの解決策は、全オリジナルフレーム（キーフレーム）が時々送信又は合体されるだけであるので、オリジナルビデオ信号を構成する実際のフレームを近似するに過ぎない。以前に圧縮されたビデオ信号がその後に再エンコードされ又は「トランスコード」される場合には、これらのキーフレームが失われるか、又は出発時の圧縮ビデオにおいて元々のキーフレームでない新たなキーフレームが選択されることがある。これは、得られる再エンコード又は再フォーマットされたビデオ信号のクオリティ又は精度を低下させる。
【００４６】
しかしながら、本発明によれば、使用する各キーフレームの時間位置をプロトコル情報から抽出又は検出することができる。これは、オーディオビジュアル信号のビデオコンテンツの再エンコーディング又は再フォーマッティングに同じキーフレームを再使用するのを許す一方、その後のクオリティのロス又は更に別の不正確さの導入を最小にする。このような場合には、当該ビデオ会議送信のオーディオビジュアル信号においてキーフレームが検出されるのと同時に、キーフレームが、エンコードされた出力へエンコードされる。
【００４７】
本発明の更に別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取って、受信したビデオ会議送信のエンコード特性を決定するステップと、
（iii）少なくとも１人のユーザからエンコードの好みを受信するステップと、
（iv）エンコードプロセスのセットから、前記ユーザのエンコードの好み及び前記エンコード特性を使用して実施できるエンコードプロセスのサブセットを選択するステップと、
（ｖ）前記エンコードプロセスのサブセットをユーザに表示するステップと、
を備えたことを特徴とする方法が提供される。
【００４８】
又、好ましい実施形態において、本発明は、ユーザ又はオペレータが、エンコード又はフォーマットされるべき到来するオーディオビジュアル信号をどれほど好むか設定するのを許すユーザインターフェイスファシリティを提供することもできる。オペレータは、エンコードの好み又は入力情報をこのようなユーザインターフェイスで供給し、次いで、これを使用して、発生されるエンコードされた出力の特性を調整することができる。
【００４９】
更に別の好ましい実施形態では、到来するオーディオビジュアル信号の特性に関する情報又はパラメータを、１つ以上のプロトコル信号から抽出することもできる。受信したビデオ会議送信のこれらエンコード特性を、ユーザにより供給された情報に関連して使用して、特定の場合に選択されるべき潜在的なエンコード機構（１つ又は複数）を決定することができる。
【００５０】
好ましい実施形態では、受信したエンコード特性及びエンコードの好みを使用して、多数の潜在的なエンコードプロセスから、受信したビデオ会議送信のエンコード特性に基づきユーザの好みを満足するように実際に実施できるエンコードプロセスのサブセットを選択することができる。考えられる又は利用できるプロセスのこのサブセットをユーザに表示して、１つ以上のプロセスを使用のために後で選択できるようにするのが好ましい。
【００５１】
更に別の好ましい実施形態では、本発明は、プロトコル信号（１つ又は複数）から得られたユーザのエンコードの好み及びエンコード特性の両方に基づいて、潜在的に最良のエンコードされた出力を発生する多数のエンコーディング機構を予め計算し又は予め評価するためのファシリティを含むことができる。このような場合には、利用できる又は考えられるエンコードプロセスのサブセットをユーザに依然提示又は表示してもよいが、設けられたシステム又はソフトウェアは、ユーザが選択すべき最良の潜在的プロセスに関して推薦することができる。
【００５２】
このファシリティは、ユーザインターフェイス「ウイザード」のように動作することができ、従って、ユーザの要求を満足することのできるエンコーディング機構、又は到来するビデオ会議送信に関連したプロトコル信号（１つ又は複数）から抽出された情報に基づいて供給されるパラメータ、のみを選択して使用するファシリティがユーザに与えられる。
【００５３】
例えば、１つの好ましい実施形態では、ユーザは、得られる出力に必要なソフトウェアプレーヤフォーマットに加えて、得られるエンコードされた出力に必要なビットレートを入力することができる。又、ビデオ会議コールからシミュレーションすることを希望するモニタの数に関してユーザにより更に別の情報を与えることもできる。
【００５４】
次いで、到来するオーディオビジュアル信号の構成又は特性に関する情報を、１つ以上のプロトコル信号から得ることができる。例えば、１つの例では、プロトコル信号から得られるこの情報は、次のものの組合せを含むことができる。
（ｉ）使用するオーディオコーデック
（ii）使用するビデオコーデック
（iii）オーディオビットレート
（iv）ビデオビットレート
（ｖ）ビデオフレームレート
（vi）ビデオ解像度
【００５５】
本発明に関連した又は本発明により使用されるソフトウェアに対して得られるこの情報は、どのオーディオ及び／又はビデオコーデックを使用すべきかと、ユーザにより最初に供給された入力基準を満足する使用可能な特定のビデオ解像度及びビデオフレームレートとを指示するある範囲の選択肢をユーザに与えるか又は選択を行うことができるようにする。
【００５６】
好ましい実施形態では、受信したオーディオビジュアル信号（１つ又は複数）内に存在するコンテンツスイッチを指示する少なくとも１つのプロトコル信号から情報を得ることができる。このようなコンテンツスイッチは、オーディオビジュアル信号がハードウェアの新たな又は異なる断片により発生されたこと、又は現在使用されているカメラ又はマイクロホンのコンフィギュレーションが変更されたことを指示することができる。
【００５７】
例えば、ある場合には、プロトコル信号は、ビデオ会議送信の一部分としてビデオフリーズピクチャー要求信号が受信されたことを指示できる。このフリーズ信号は、会議のビデオコンテンツを作り上げる現在フレーム又はピクチャーを全ての参加者のスクリーンに保持し、ひいては、コンテンツスイッチが行なわれることを指示する。このように、動的コンテンツから静的コンテンツへのスイッチを検出することができる。又、フリーズピクチャー解除制御コマンドの送信又はプロトコル信号内のフリーズピクチャー要求信号の除去も、本発明に関連してコンテンツスイッチとして検出することができる。
【００５８】
更に、コンテンツスイッチは、会議へのビデオフィードを与えるためにドキュメントカメラが現在使用されているかどうか指示するプロトコル信号により検出されてもよい。このようなドキュメントカメラは、会議の参加者とは対照的に、印刷物の良質な緻密なビューを示すことができる。従って、ドキュメントカメラの作動又は使用と、ドキュメントカメラ信号の一体化、或いはプロトコル信号からのドキュメントカメラ信号の除去は、送信されたビデオ信号のコンテンツがスイッチされ即ち切り換えられたことを指示できる。
【００５９】
更に別の例では、プロトコル信号は、会議のビデオコンテンツを現在形成するためにデジタル像又はデジタルスライドを使用すべきであること指示する状態情報を搬送することができる。このような像の合体、又はプロトコル信号内のスチール像指示信号を再び使用して、コンテンツスイッチを検出することができる。スチール像又は「スナップショット」は、会議のビデオコンテンツとして与えることができ、この像は、デジタルファイル、デジタルカメラ、ビデオレコーダ、或いは他の互換性のある又は適当な形式のデータ又は情報入力システムをソースとするものである。更に、プロトコル信号によりスナップショット又はスチール像としてフラグが立てられ又は指示されるこのようなコンテンツは、必要であれば、ビデオ会議装置を伴うドキュメントカメラを直接的なソースとしてもよい。更に、このようなスチール像情報の除去は、コンテンツスイッチを指示するのに使用されてもよい。
【００６０】
更に、コンテンツスイッチは、ビデオカメラのレンズが多数の予め選択されたビュー位置又は角度から自動的にパン又は移動することで検出されてもよい。これらのビュー位置は、選択された座席位置及びそれに関連した話し手にカメラの焦点を合わせるようにプリセットされ、カメラがビュー角度の切り換えをプリセットしたときに、当該コンテンツスイッチを、プロトコル信号内に存在する情報により指示できるようにする。それ故、カメラ移動信号をプロトコル信号に一体化することを使用して、コンテンツスイッチを検出することができる。
【００６１】
本発明の更に別の実施形態では、サイト名がビデオ会議の各エンドポイントに関連付けられ、各サイトから送信されるオーディオビジュアル信号も、これらオーディオビジュアル送信に関連されたプロトコル信号（１つ又は複数）に埋め込まれたサイト名を有する。コンテンツスイッチは、オーディオビジュアル信号（１つ又は複数）に関連した名前の変化により検出することができ、各信号に関連した名前を更に使用して、当該コンテンツを、コンテンツの各部分が発生されるサイトに基づいてインデックスし、サーチし、又は分類することができる。
【００６２】
本発明の別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）前記コンテンツスイッチが検出された時間位置においてインデックスマーカーをエンコードするステップと、
を備えたことを特徴とする方法が提供される。
【００６３】
本発明の更に別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）キーフレームをエンコードするステップと、
（ｖ）エンコードされたキーフレームの位置と同じ時間位置又はそれに隣接してインデックスマーカーをエンコードするステップと、
を備えたことを特徴とする方法が提供される。
【００６４】
本発明の更に別の態様によれば、上述したエンコード方法において、インデックスマーカーをキーフレームの時間位置から時間スレッシュホールド内にエンコードする方法が提供される。
【００６５】
好ましい実施形態では、オーディオビジュアル信号内のコンテンツスイッチが検出又は指示されると、少なくとも１つのインデックスマーカーと、発生されたエンコードされた出力との関連付けがトリガーされ、このインデックスマーカーは、到来するオーディオビジュアル信号（１つ又は複数）内でコンテンツスイッチが検出されたときの、エンコードされた出力内の実質的に同じ時間位置に関連付けされる。
【００６６】
更に別の好ましい実施形態では、インデックスマーカーは、オリジナルの到来する当該オーディオビジュアル信号（１つ又は複数）においてコンテンツスイッチが検出された同じ時間位置に関連付けられる。しかしながら、当該インデックスマーカーの厳密な配置又は位置のある程度の変化が、本発明に関連して使用されるソフトウェア及び装置の物理的な制限のために生じることが当業者に明らかであろう。しかしながら、別の実施形態では、当該インデックスマーカーは、設定時間スレッシュホールド周期内でエンコードされた出力に関連付けられてもよい。このような場合には、インデックスマーカーをエンコードすべきときに関してある程度の寛容度が許され、当該スレッシュホールド距離又は周期が、許される寛容度の程度を指図する。
【００６７】
更に、エンコードされたインデックスマーカーは、特定のコンテンツスイッチがいかに検出されたかに関する基準情報も含み、それ故、インデックスマーカーが位置する特定の時間位置にオーディオビジュアル信号のどんなコンテンツがあるかの指示を与えることができる。
【００６８】
好ましい実施形態では、インデックスマーカーは、発生されたエンコードされた出力内に実際にある基準、ポインタ、ＵＲＬ又は他の同様のマーカーの実際のエンコーディングにより、発生されたエンコードされた出力に関連付けることができる。このマーカー又は基準は、次いで、ビデオコンテンツのコンテンツスイッチがあるのとほぼ同じ位置でプレーヤアプリケーションにより検出することができる。しかしながら、他の実施形態では、インデックスマーカーは、発生されるべき出力へ必ずしも直接エンコードされなくてもよい。例えば、一実施形態では、インデックスマーカーのログファイル又は個別の記録を、当該ビデオ信号に関連した時間位置又は位置情報に加えて、記録することができる。このファイルは、どの特定の時間位置でインデックスマーカーが当該ビデオコンテンツに関連付けられるか指示することができる。
【００６９】
更に別の好ましい実施形態では、インデックスマーカーは、本発明により発生されるエンコードされた出力にユニバーサルリソースロケーター（ＵＲＬ）を挿入することにより実施されてもよい。ＵＲＬは、オーディオビジュアル媒体をインデックスするためにこの技術で一般に使用されるものであり、従って、本発明は、既存の技術を使用して、上述したインデックスマーカーを実施することができる。
【００７０】
発生される出力へエンコードされるこれらのインデックスマーカーは、これらのインデックスマーカーが参照する特定のコンテンツに基づいて、本発明のオーディオビジュアル出力を通して先を見越してシーク又はサーチするようにプレーヤアプリケーションのユーザにより使用できるのが好ましい。インデックスマーカーは、エンコードされた出力において、選択された形式のコンテンツが存在する時間位置又は位置をマークし、その後に、ユーザが、コンテンツの選択された部分又は形式について発生された全出力を容易にサーチできるようにする。
【００７１】
更に別の好ましい実施形態では、到来するオーディオビジュアル信号（１つ又は複数）内で、インデックスマーカーをエンコードすべき時間位置の付近にオリジナルキーフレームが存在することを、本発明に関連して検出することもできる。
【００７２】
あまりに多数のキーフレームが互いに接近して配置された場合には、本発明により得られるエンコードされた出力のクオリティが低下し、又、フレームレート及びクオリティにも潜在的に影響が及ぶ。しかしながら、エンコードされた出力においてキーフレームをインデックスマーカーに接近させるのが好ましい。というのは、このようにすると、ソフトウェアプレーヤアプリケーションがインデックスマーカーの時間位置をシークし、近傍のキーフレームを使用して必要なビデオコンテンツを素早く発生できるようにするからである。
【００７３】
インデックスマーカーをエンコードすべき時間位置の近傍にオリジナルのキーフレームがあるかどうか検出することにより、本発明は、それにより得られるエンコードされた出力におけるキーフレームの配置を最適化できるのが好ましい。指定のスレッシュホールド時間変位裕度内にキーフレームが存在しない場合には、インデックスマーカーをエンコードすべき時間位置のほぼ直前、その後、又はそれと同じ位置で新たなキーフレームをエンコードすることができる。逆に、スレッシュホールド時間周期内にキーフレームが得られる場合には、得られるエンコードされた出力へ新たなキーフレームを発生又は合体することができない。このように、キーフレームは、当該インデックスマーカーの時間位置と同じ時間位置又はそれに隣接して、エンコードされた出力へエンコードすることができる。
【００７４】
本発明の更に別の態様によれば、オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号内に存在する低コンテンツ状態の存在を検出するステップと、
（iv）受信した前記ビデオ会議送信内で前記低コンテンツ状態が検出された時間周期中にエンコードされる出力コンテンツを時間圧縮するステップと、
を備えたことを特徴とする方法が提供される。
【００７５】
本発明の更に別の態様によれば、実質的に上述したオーディオビジュアル媒体をエンコードする方法であって、ビデオ会議送信信号を受信するのにバッファを使用し、これにより、バッファのコンテンツをエンコードプロセスへ再生するレートで、エンコード時にオリジナルのビデオ会議オーディオビジュアルコンテンツに適用される時間圧縮の程度を決定するような方法が提供される。
【００７６】
好ましい実施形態では、本発明は、エンコードされた出力内に存在するオーディオビジュアルコンテンツの特定部分のタイミング又は時間位置を、発生されたオリジナルのオーディオビジュアル信号（１つ又は複数）に比して変更するのにも使用できる。このタイミングの変更は、プロトコル信号（１つ又は複数）の読み取りにより特定のコンテンツスイッチが検出された場合に完了となる。
【００７７】
更に別の好ましい実施形態では、エンコードされた出力は、少なくとも１つの読み取られたプロトコル信号を使用して、受信したオーディオビジュアル信号内に低コンテンツ状態が検出されたときに、時間圧縮することができる。このような低コンテンツ状態は、ランダムな時間周期中持続し、そしてエンコードされた出力へ直接エンコードされる場合には、コンテンツの堅苦しい又は低速の提示を生じることがある。低コンテンツ状態の検出（好ましくは少なくとも１つのプロトコル信号におけるデータ又はフラグによる）は、エンコードされた出力内に存在するオーディオビジュアルコンテンツを必要に応じてスピードアップできるようにする。
【００７８】
更に別の好ましい実施形態では、受信されたビデオ及びオーディオコンテンツは、高速ピクチャー更新或いはフリーズ又はホールドピクチャー制御命令がプロトコル信号において検出された場合に時間圧縮することができる。通常、これらの命令又は信号は、ビデオ会議の参加者間での大量の像情報の送信に関連付けられ、これは、特定のエンドポイントに到着して組み立てられるのに、ある程度の時間を要する。従って、これは、全てのこの情報が受信されてその後に表示される前に、現在フリーズされた像又はピクチャーへの参加者の関心が尽きてしまうことがあるので、比較的堅苦しい提示を与える。
【００７９】
本発明の使用により、この情報システムは、予めキャッシュされ、その後、短い時間周期中だけ表示されてもよい。又、会議のオーディオコンテンツは、スチール像又はフリーズされたフレームが表示された時間の後に制限オーディオコンテンツも発生されたとすれば、オーディオ及びビジュアルコンテンツ部分を同期させるために、後で圧縮することもできる。
【００８０】
更に別の好ましい実施形態では、バッファを使用して、エンコードされた出力のオーディオビジュアルコンテンツを時間圧縮することができる。このような実施形態では、バッファ或いはバッファのようなコンポーネント又はデータ構造を使用して、オーディオビジュアル信号を最初に受信し、バッファのコンテンツがエンコードプロセスへ再生されるレートで、エンコード時にビデオ会議コンテンツに適用される時間圧縮の程度を決定できるようにする。時間圧縮が、低コンテンツ状態が検出される選択された周期を越えるべきときには、バッファのコンテンツを、通常使用される以上の速いレートで処理してエンコーダへ再生することができる。
【００８１】
更に、好ましくは、フリーズピクチャー解除コマンド又は信号がプロトコル信号において受け取られたときには、バッファが以前により速く再生したコンテンツの量を作り上げるまで、バッファのコンテンツを通常よりゆっくりと再生することができる。
【００８２】
本発明は、従来技術に勝る多数の潜在的な効果を発揮することができる。
本発明は、プロトコル信号（１つ又は複数）から情報を読み取り、次いで、それを使用して、オーディオビジュアル信号又はストリームをいかにエンコード又は再フォーマットすべきかについてインテリジェントな判断を行うことができる。
【００８３】
到来するオーディオビジュアル信号内のオリジナルキーフレームの配置についてこのようなプロトコル信号から情報を得ることができ、この情報を使用して、発生される出力オーディオビジュアル情報に同じキーフレームを再使用することができる。更に、この技術は、受信したオーディオビジュアル信号内の特定のコンテンツスイッチが、発生されたエンコードされた出力において検出され且つインデックスされる場合にも、助けとなる。供給されるこれらのインデックスマーカーは、ユーザが、特定形式のコンテンツに対して、得られるエンコードされた出力を通して先を見越して迅速にシーク又はサーチできるようにする。更に、プロトコル信号から得られるキーフレーム配置情報を使用して、キーフレームがこのようなインデックスマーカーに時間的に密接に接近して配置されるよう確保することもでき、これにより、必要なビデオ情報をユーザに対して迅速に発生及び表示することができる。
【００８４】
又、プロトコル信号（１つ又は複数）から得られた情報を使用して、到来するオーディオビジュアル信号（１つ又は複数）に対して特定のエンコード機構又はプロフィールの選択を助けることもできる。ユーザの好み又は選択に基づき、且つプロトコル信号から得られる到来するオーディオビジュアル信号の特性に関する情報に関連して、供給される入力情報に対して最良の結果を生じる限定された数のコード化機構をユーザに提示することができる。
【００８５】
又、本発明は、到来するオーディオビジュアル信号（１つ又は複数）と共に存在する選択された形式のコンテンツを提示時間に関して圧縮するためのファシリティも提供することができる。到来するビデオ会議内で比較的堅苦しい又は低速なコンテンツ部分（フリーズピクチャーセグメントのような）が検出された場合には、発生されるエンコードされた出力において、コンテンツが存在する時間を圧縮することができる。
【発明を実施するための最良の形態】
【００８６】
本発明の更に別の態様は、添付図面を参照して一例として述べる以下の詳細な説明から明らかとなろう。
図１は、好ましい実施形態に基づきオーディオビジュアル媒体信号をエンコードする方法において実行されるステップのブロックフローチャートである。
【００８７】
この方法の第１ステップにおいて、コンピュータネットワークに接続されたエンコーディングコンピュータシステムは、コンピュータネットワークからビデオ会議送信を受信する。このビデオ会議送信は、オーディオビジュアル信号と、１セットのプロトコル信号とを含む。これらプロトコル信号は、オーディオビジュアル信号がいかに発生されたかに関する情報を、これら信号を発生するのに使用された特定ハードウェア装置の状態に加えて与える。
【００８８】
この方法の第２ステップにおいて、ステップ１で受信されたプロトコル信号から情報が抽出される。図１及び２を参照して述べる実施形態では、これらプロトコル信号から抽出された情報は、受信したオリジナルのオーディオビジュアル信号にキーフレームがエンコードされた時間位置の指示と、使用するオーディオビジュアル情報内で特定コンテンツスイッチがいつ生じるかに関する情報とで構成される。考えられる実施形態では、会議の参加者を示すカメラではなくドキュメントカメラを使用することによりコンテンツスイッチが検出される。
【００８９】
この方法のステップ３において、読み取られたプロトコル信号内に存在する情報に基づき、受信したオーディオビジュアル信号に適用するための特定のエンコードプロセスが選択される。ここに示す例では、選択されたエンコードプロセスは、ドキュメントカメラが使用されたときにオーディオビジュアル情報内に存在するコンテンツスイッチを指示するために、発生される出力に特定のインデックスマーカー基準を合体させる。又、選択されたエンコードプロセスは、オリジナルのオーディオビジュアル信号へエンコードされた各キーフレームの位置も考慮に入れ、そして使用されたオリジナルのキーフレームの時間位置に基づき、発生されるエンコードされた出力内でのキーフレームの発生又は適用を調整する。
【００９０】
この方法のステップ４において、特定のソフトウェアプレーヤアプリケーションに対してこの方法のエンコードされた出力が発生及び形成される。図１及び２を参照して述べる例では、発生されたエンコードされた出力は、「リアルメディアリアルプレーヤ」で再生することができる。
【００９１】
図２は、図１を参照して述べたエンコードプロセスの要素を概略的に示し、オリジナルのオーディオビジュアル信号（５）と、その後のエンコードされた出力オーディオビジュアル信号（６）とを示している。
【００９２】
オリジナル信号（５）は、この信号（５）の再生時間に沿って特定の時間位置に分布された多数のキーフレーム（７）を含む。又、オリジナル信号（５）は、コンテンツ参加者を示すビデオ（８）と、会議参加者に照準を合わせたビデオカメラから得られるスチール像即ちスナップショット（９）との間に特定のコンテンツスイッチを合体させる。
【００９３】
再エンコードされた信号（６）は、到来するビデオ会議送信から受信されたプロトコル信号から得られる情報の利点を取り入れて、キーフレーム（７）の存在と、行なわれるコンテンツスイッチとを検出する。インデックスマーカー（１０）（好ましい実施形態ではＵＲＬで形成される）は、信号のオーディオビジュアルコンテンツにおけるコンテンツスイッチの存在を指示するために、エンコードされた出力信号（６）に挿入される。
【００９４】
可能な場合には、到来するオーディオビジュアル信号（５）のオリジナルキーフレーム（７）が、第２信号（６）における第１キーフレーム（１１ａ）の配置で示すように繰り返され又は再使用される。しかしながら、ここに示す例では、新たなキーフレーム（１１ｂ）が発生されて第２信号（６）にエンコードされ、表示されるべきオーディオビジュアル情報におけるコンテンツスイッチの存在を指示するインデックスマーカーに密接に接近してキーフレームを与える。この例では、オリジナル信号の第２キーフレーム（７ｂ）は、第２信号（６）内に再エンコードも再使用もされない。
【００９５】
図３ａから３ｃは、到来するビデオストリーム（３ａ）と、本発明を使用せずに再エンコードされたビデオストリーム（３ｂ）と、オリジナルビデオストリーム（３ａ）のオリジナルキーフレーム配置に関する情報を使用して本発明により再エンコードされたビデオストリーム（３ｃ）とを示している。
【００９６】
図３ｂから明らかなように、トランスコード化又は再エンコードされたビデオ信号は、本発明を使用せずに、図３ａに示された信号に設けられたものと同じ位置又は場所に配置されたキーフレームを必ずしも有していない。逆に、図３ｃでは、使用するキーフレームは、オリジナルストリームのビデオ信号内のオリジナルキーフレームと本質的に同じ時間位置に配置されている。
【００９７】
図４は、本発明の別の実施形態に基づいて設けられたユーザインターフェイス及びエンコード機構選択ファシリティを示す。
図示された例では、エンコーディングコンピュータシステム（１２）に、コンピュータネットワーク（１４）への接続（１３）が設けられる。このコンピュータネットワーク（１４）は、ビデオ会議のエンコーディングエンドポイントとして働くエンコーディングコンピュータ（１２）へ供給されるべきビデオ会議送信を搬送することができる。エンコーディングコンピュータ（１２）は、会議への参加者として維持されるべきミュートオーディオ及びブランクビデオ信号を送信し、そしてビデオ会議送信内に使用されるオーディオビジュアル信号をソースとする更に別のエンコードされたオーディオビジュアル出力を発生するように適応される。
【００９８】
ユーザインターフェイスモジュール（１５）は、個別のユーザコンピュータに対してエンコーディングコンピュータ（１２）と通信し、或いはその同じエンコーディングコンピュータ（１２）で実行されるソフトウェアを介して通信するように設けられる。このユーザインターフェイス（ＵＩ）モジュールは、最初、ユーザパラメータ情報１６をエンコーディングコンピュータシステムへ送信することができる。又、エンコーディングコンピュータシステム（１２）は、ビデオ会議送信の一部として受信されたプロトコル信号からオーディオビジュアル信号パラメータ情報を抽出することができ、これらパラメータは、ビデオ送信の一部分を作り上げるオーディオビジュアル信号に関する情報を与える。これらのパラメータは、到来するオーディオビジュアル信号の構成に関する次のような情報を与えることができる。
（ｉ）使用するオーディオコーデック、及び
（ii）使用するビデオコーデック、及び
（iii）供給されるオーディオ情報のビットレート、及び
（iv）供給されるビデオ情報のビットレート、及び
（ｖ）ビデオ情報フレームレート、及び
（vi）ビデオ情報解像度。
【００９９】
エンコーディングコンピュータシステムは、得られた全てのユーザ及びプロトコル情報を使用して、到来するビデオストリームに対してユーザの要求を満足するために使用できる多数の「最も適合する」エンコーディング機構を計算する。次いで、有効なエンコーディング機構に関する情報をＵＩモジュールへ送信し（１７）、該モジュールは、次いで、ユーザが機構選択命令（１８）をエンコーディングコンピュータ（１２）へ返送して、どのエンコーディング機構を使用すべきか指示できるようにする。
【０１００】
これらの命令に基づき、エンコーディングコンピュータシステムは、エンコードを行なって出力（１９）を発生し、これを、適当なコンピュータベースの媒体プレーヤアプリケーションで再生することができる。
【０１０１】
使用可能なエンコーディング機構のセットを選択又は指定するのに使用されるプロセスは、以下に示す擬似コードでも更に詳細に示される。
H.323 call parameters:
H.263 video @ 112kbps
H.263 video resolution @ CIF
H.263 video frame rate @ 12.5fps
G.728 audio @ 16kbps
User input:
Bitrate:       56kbps Modem
Player format: RealMedia Native-Single Stream
Display mode: Single Monitor
Profiler decisions:
// find the media type for the stream
// either standard (video and audio only) or presentation (audio, video and // snapshots)
If Display_Mode = Single_Monitor then
Profiler_Media_Type = (standard)
Else
Profiler_Media_Type = (presentation)
EndIf
// find the maximum audio bitrate for the stream based on the media type
// where media type is standard, allow more bitrate to the audio codec than if
// media type of presentation selected (when presentation need to leave
// bandwidth for the snapshot).
User_Bitrate = (56kbps) and Profiler_Media_Type = (standard)
therefore
Max_Audio_Bitrate = (8.5kbps)
// select the audio codec for use in the stream based on the maximum
// available bandwidth.
If Incoming_Audio_Bitrate > Max_Audio_Bitrate then
Profiler_Audio_Codec = Select Audio_Codec from Table_3 where
Bitrate_Supported <= Max_Audio_Bitrate therefore
Profiler_Audio_Codec = (RealAudio_8.5kbps_Voice)
Else
Profiler_Audio_Codec = Incoming_Audio_Codec
EndIf
// set the video bandwidth based on total available bandwidth and
bandwidth
// used by audio codec.
Profiler_Optimum_Bitrate = Select Optimum_Bitrate from Table_4
where
Bandwidth_Option = (56kbps_Modem)
If (Profiler_Audio_Codec <> Incoming_Audio_Codec) then
Profiler_Audio_Bitrate = Select Bitrate_Supported from Table_3
where
Audio_Codec = (Profiler_Audio_Codec)
Else
Profiler_Audio_Bitrate = Incoming_Audio_Bitrate
EndIf
Profiler_Video_Bitrate = Profiler_Optimum_Bitrate-
Profiler_Audio_Bitrate
therefore
Profiler_Video_Bitrate = (29.5kbps)
// set video resolution
Profiler_Video_Res = Select Optimum_Resolution from Table_4
where Bandwidth_Option = (56kbps_Modem) therefore 
Profiler_Video_Res = (176x144)
// set video codec
If User_Player_Format = RealMedia_Native then
Profiler_Video_Codec = (RealVideo9).
// set video frame rate
Max_Profiler_Frame_Rate = Incoming_Frame_Rate
Profiler_Frame_Rate = Select Optimum_Frame_Rate from
Table_4 where Bandwidth_Option = (56kbps Modem)
If Profiler_Frame_Rate > Max_Profiler_Frame_Rate then
Profiler_Frame_Rate = Max_Profiler_Frame_Rate
EndIf
【０１０２】
図５ａから５ｃは、本発明に関連した信号の一連の概略図で、受信する入力信号に基づく本発明の更なる振舞いを示している。
図５ａは、図５ｂに示されたビデオ信号のフレーム１５０にスナップショット事象が生じることを指示する到来するプロトコル信号を示している。図５ｂは、キーフレームがフレーム１２５においてオリジナルの到来するビデオにエンコードされたことも示している。
【０１０３】
図５ｃは、図示された実施形態において本発明により発生されたエンコードされたビデオ出力を示している。この図は、受信したビデオ会議送信の入力に基づいてそのエンコードされた出力信号にキーフレームを配置するために本発明をいかに使用できるか示している。
【０１０４】
本発明により使用されるソフトウェアは、ここに示す例では１組の判断を実行する。これら判断の第１は、エンコードされた出力信号になければならないキーフレーム間の最大時間変位の設定値を考慮することにより行なわれる。ここに示す例では、１５０個のフレームごとにキーフレームをエンコードすべきであり、そしてフレーム１２４にキーフレームが与えられるときに、このオリジナルキーフレームは、その後、エンコードされた出力（５ｃ）に使用される。
【０１０５】
第２に、使用するソフトウェアは、到来するビデオ信号にスナップショット事象を配置するために、フレーム１５０において、発生される出力にインデックスマーカーをエンコードし又は書き込むべきであることを示す。このインデックスマーカーからの時間変位に対する裕度値を考慮することにより、使用するソフトウェアは、フレーム１２４に存在するキーフレームがこの裕度内にあり、そしてフレーム１５０におけるスナップショット事象の直前に付加的なキーフレームを必ずしもエンコードする必要がないことが分かる。
【０１０６】
図６ａ、６ｂ及び６ｃは、更に別の実施形態における本発明の更なる振舞いを示す１組の信号を示している。ここに示す実施形態では、到来するプロトコル信号が図６ａに示され、到来するビデオ信号が図６ｂに示され、そして本発明により発生されるエンコードされた出力ビデオが図６ｃに示されている。
【０１０７】
このスナップショットにおいて、到来するビデオは、フレーム２７５及び４０２にキーフレームを含み、フレーム３９８にビデオ高速更新ピクチャープロトコル信号がある。逆に、発生されたエンコードされた出力は、フレーム２５０及び４０２にキーフレームを各々含む。ここに示す例では、キーフレームが最大で１５０フレーム離れて配置されるように、発生されるべき出力をエンコードするという判断がなされる。しかしながら、キーフレーム間のこの最大時間は、以下に述べるように、到来する信号の詳細に基づいて変更されてもよい。
【０１０８】
到来する信号においてフレーム２７５に配置されたオリジナルキーフレームが検出されたときには、フレーム２５０に設けられた以前のエンコードされたキーフレームに接近しているために出力にキーフレームをエンコードしないという判断が使用ソフトウェアによりなされる。フレーム２５０から１５０フレーム離れて、キーフレーム値間の最大時間に基づいてキーフレームをエンコードしなければならない。しかしながら、このケースでは、フレーム３９８におけるプロトコル信号が、キーフレームが次のフレームに予想されることを示すので、エンコードが行なわれない。このケースでは、キーフレーム間の最大時間は、ビデオ高速ピクチャー更新に関連したキーフレームの配送を許すために若干延長される。このキーフレームは、到来するビデオのフレーム４０２において到着し、次いで、キーフレームが、フレーム４０２において出力ビデオにエンコードされる。
【０１０９】
図７及び図１１のテーブル１は、本発明の好ましい実施形態に関連してキーフレームの挿入又はエンコーディングにおいて行なわれるステップを示すプロセスフローチャート及びそれに関連した擬似コードである。
【０１１０】
ここに述べるプロセスは、最初、ビデオ会議コールへのエンドポイントを形成するビデオ会議装置のデコードエレメント又はコンポーネントからフレームを受信する。
【０１１１】
受信したフレームは、最初に、それがイントラコード化されたものであるか、又は当該ビデオ会議に関連して受信したオーディオビジュアル信号のキーフレームを形成するかを決定するために調査される。このキーフレームテストは、フレーム内の実際のＩＮＴＲＡコード化マクロブロックの数をチェックすることにより実施され、ここでは、考えられる最大のＩＮＴＲＡコード化マクロブロックカウントがキーフレームの存在を指示する。
【０１１２】
フレームがキーフレームとして確認されない場合には、プロセスは、次いで、当該ビデオ会議システムが高速ピクチャー更新をビデオ会議送信のソースへ送信したかどうか決定するようにチェックし、ここでは、このような高速ピクチャー更新がキーフレームの送信を要求する。
【０１１３】
キーフレームが予想されない場合には、受信したフレームは、それが含むマクロブロックエレメントのクオリティ、割合、又はパーセンテージを、最大マクロブロックレベルに比して決定するためにテストされる。ここに述べる実施形態では、このスレッシュホールドテストが８５％にセットされる。フレームがこの８５％スレッシュホールド値に合格する場合には、キーフレームとして有効に処理され、そしてキーフレームの処理を取り扱うプロセスの部分が実行される。
【０１１４】
受信したフレームがマクロブロック又はイントラコード化スレッシュホールドテストに落ちると、それが標準的なエンコーディングシステムへ送られ、必要とされるエンコードされた出力の大半が発生される。このエンコーディングシステムは、必要とされるフレームを、その内部パラメータに基づいてインターコード化形態又はイントラコード化形態でエンコードする。
【０１１５】
受信したフレームがキーフレームとして確認されず、しかも、キーフレームが予想される場合には、最後のキーフレームからの時間が、キーフレーム間に許された最大時間以上であるかどうかどうか決定するためのテストが行なわれる。このテストの結果が真の値である場合には、許されたキーフレーム間の最大時間が増加され、その後、フレームは、標準的なエンコーディングシステムへ送信される。逆に、キーフレーム間の時間が当該最大時間より短い場合には、フレームが標準的なエンコーディングシステムに単に送信される。
【０１１６】
次いで、キーフレーム間の最大時間値を使用して、受信した現在フレームをキーフレームとしてエンコードすべきかインターコード化フレームとしてエンコードすべきかテストする。
【０１１７】
システムが、キーフレームを受信したことを確認するか、又は受信したフレームのクオリティをテストしそしてキーフレームとして処理するに充分な高いクオリティであると決定した場合には、最後のキーフレームを受信して以来の時間が検索される。次いで、最大時間スレッシュホールド値の後に現在キーフレームが受信されたかどうか決定するテストが行なわれる。この最大時間スレッシュホールドを越えた場合には、設けられたシステム又はプロセスが、現在フレームを、エンコードされた出力においてキーフレームとして強制的にエンコードさせる。この時間スレッシュホールドを越えない場合には、現在フレームが標準的なエンコーディングシステムへ供給される。
【０１１８】
図８、９、並びに図１２、１３のテーブル２及び図１４のテーブル３は、本発明の更に別の実施形態によるキーフレーム及びインデックスマーカーのエンコーディングを示す。
図８に示すプロセスの最初のステップにおいて、キーフレームをエンコードするために図７を参照して説明した同じステップが行なわれる。しかしながら、このプロセスは、キーフレーム又はフレームを通常エンコードしなければならない通常のポイントにおいて相違する。
【０１１９】
ここに述べるプロセスでは、エンコードされた出力へキーフレームをエンコードすることは、必要なキーフレームがビデオ会議から受信されるまで遅延される。又、このプロセスは、低い時間スレッシュホールド値をテストして、受信したインデックスマーカーが、キーフレームからの特定の時間周期又は時間変位内でエンコードされるかどうか決定する。必要な時間周期内に使用できる既存のキーフレームがない場合には、既存のフレームがキーフレームとして強制的にエンコードされる。逆に、キーフレームが使用可能である場合には、標準的なエンコーディングプロセスを使用することができる。
【０１２０】
図９、及び図１４のテーブル３を参照して説明する付加的なインデックス状態手順は、２つの同時の又は連続的なインデックスマーカー事象の監視又は追跡を許すと共に、必要なインデックスマーカーのエンコーディングも許す。これは、当該ビデオ会議のオペレータ又は参加者がインデックスマーキング事象を誤ってトリガーし、そしてその後又は直ちにビデオ会議装置をその以前の状態又は既存の構成に戻すことが明らかな場合に、これらインデックスマーカーの１つを破棄できるようにする。
【０１２１】
図１０、並びに図１５、１６のテーブル４は、低コンテンツ状態が検出されたときにバッファを使用してコンテンツのエンコーディングを加速するための適応コンテンツ再生メカニズムの設置を示す。
【０１２２】
ここに示す実施形態では、フリーズピクチャー信号及びプロトコル信号を使用して、低コンテンツ状態が存在するかどうか決定される。当該ビデオフリーズピクチャー信号が維持されたか又は解除されたかに基づいて、ここに示すプロセッサによりバッファデータ構造を維持又は変更して、エンコーディングの時間ベースレートを加速するか又はそれを低速化する。
【０１２３】
以上、本発明の態様を一例として説明したが、特許請求の範囲に規定された本発明の範囲から逸脱せずに修正や追加がなされ得ることが明らかであろう。
【図面の簡単な説明】
【０１２４】
【図１】好ましい実施形態に基づきオーディオビジュアル媒体信号をエンコードする方法において実行されるステップのブロックフローチャートである。
【図２】図１を参照して説明するエンコードプロセスに含まれる信号を概略的に示す図である。
【図３ａ】図２を参照して説明するエンコードされたキーフレームを伴う信号を概略的に示す図である。
【図３ｂ】図２を参照して説明するエンコードされたキーフレームを伴う信号を概略的に示す図である。
【図３ｃ】図２を参照して説明するエンコードされたキーフレームを伴う信号を概略的に示す図である。
【図４】本発明の別の実施形態により設けられるユーザインターフェイス及びエンコード機構選択ファシリティを示す図である。
【図５ａ】本発明の更に別の実施形態により使用され及び発生される信号の概略図である。
【図５ｂ】本発明の更に別の実施形態により使用され及び発生される信号の概略図である。
【図５ｃ】本発明の更に別の実施形態により使用され及び発生される信号の概略図である。
【図６ａ】本発明の更に別の実施形態により受信され及びその後発生される信号の概略図である。
【図６ｂ】本発明の更に別の実施形態により受信され及びその後発生される信号の概略図である。
【図６ｃ】本発明の更に別の実施形態により受信され及びその後発生される信号の概略図である。
【図７】本発明の好ましい実施形態に関連してキーフレームを挿入又はエンコードする際に行なわれるステップを示すプロセスフローチャートである。
【図８】本発明の更に別の実施形態に基づくキーフレーム及びインデックスマーカーのエンコーディングを示すフローチャートである。
【図９】本発明の更に別の実施形態に基づくキーフレーム及びインデックスマーカーのエンコーディングを示すフローチャートである。
【図１０】低コンテンツ状態が検出されたときにバッファを使用してコンテンツのエンコーディングを加速する適応コンテンツ再生メカニズムの動作を示すフローチャートである。
【図１１】図７のプロセスステップを示す関連擬似コードのテーブルである。
【図１２】図８及び９のキーフレーム及びインデックスマーカーのエンコーディングを示すコードのテーブルである。
【図１３】図８及び９のキーフレーム及びインデックスマーカーのエンコーディングを示すコードのテーブルである。
【図１４】図８及び９のキーフレーム及びインデックスマーカーのエンコーディングを示すコードのテーブルである。
【図１５】図１０の適応コンテンツ再生メカニズムの動作を示すコードのテーブルである。
【図１６】図１０の適応コンテンツ再生メカニズムの動作を示すコードのテーブルである。
【図１】
2005536947.tif 000003
【図２】
2005536947.tif 000004
【図３ａ】
2005536947.tif 000005
【図３ｂ】
2005536947.tif 000006
【図３ｃ】
2005536947.tif 000007
【図４】
2005536947.tif 000008
【図５ａ】
2005536947.tif 000009
【図５ｂ】
2005536947.tif 000010
【図５ｃ】
2005536947.tif 000011
【図６ａ】
2005536947.tif 000012
【図６ｂ】
2005536947.tif 000013
【図６ｃ】
2005536947.tif 000014
【図７】
2005536947.tif 000015
【図８】
2005536947.tif 000016
【図９】
2005536947.tif 000017
【図１０】
2005536947.tif 000018
【図１１】
2005536947.tif 000019
【図１２】
2005536947.tif 000020
【図１３】
2005536947.tif 000021
【図１４】
2005536947.tif 000022
【図１５】
2005536947.tif 000023
【図１６】
2005536947.tif 000024
【手続補正書】
【提出日】平成17年6月29日(2005.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）選択されたエンコードプロセスを受信したオーディオビジュアル信号に適用するステップであって、前記エンコードプロセスが前記読み取られた少なくとも１つのプロトコル信号のコンテンツに基づいて選択されるステップと、
を備えたことを特徴とするエンコード方法。
【請求項２】
（iv）ソフトウェアプレーヤアプリケーションに対するエンコードされた出力を発生する付加的な後続ステップ、
を更に備えた請求項１に記載のエンコード方法。
【請求項３】
前記発生されたエンコードされた出力は、前記ビデオ会議に直接参加していないユーザに再生されるよう適応される請求項２に記載のエンコード方法。
【請求項４】
エンコードされた１つ又は複数の出力ファイルを形成するよう適応される請求項２又は３に記載のエンコード方法。
【請求項５】
エンコードされた出力送信を形成するよう適応される請求項２又は３に記載のエンコード方法。
【請求項６】
前記発生されたエンコードされた出力は、コンピュータシステムを使用して再生されるよう適応される請求項２から５のいずれかに記載のエンコード方法。
【請求項７】
前記エンコードされた出力は、コンピュータネットワークを経てユーザへ配布される請求項２から６のいずれかに記載のエンコード方法。
【請求項８】
前記エンコードされた出力を発生するのに使用される装置は、ビデオ会議エンドポイントを形成する請求項２から７のいずれかに記載のエンコード方法。
【請求項９】
読み取られたプロトコル信号は、ビデオ会議送信のオーディオビジュアル信号に関連付けられた次のパラメータの組合せに関する情報を与える、
（ｉ）使用するオーディオコーデック、及び／又は
（ii）使用するビデオコーデック、及び／又は
（iii）供給されるオーディオ情報のビットレート、及び／又は
（iv）供給されるビデオ情報のビットレート、及び／又は
（ｖ）ビデオ情報フレームレート、及び／又は
（vi）ビデオ情報解像度、
請求項１から８のいずれかに記載のエンコード方法。
【請求項１０】
読み取られたプロトコル信号のコンテンツを使用して、前記ビデオ会議送信のオーディオビジュアル信号内に存在する少なくとも１つのキーフレームの時間位置を検出する請求項１から９のいずれかに記載のエンコード方法。
【請求項１１】
前記ビデオ会議送信のオーディオビジュアル信号においてキーフレームが検出されたのと同じ時間位置で、キーフレームを前記エンコードされた出力にエンコードする請求項１０に記載のエンコード方法。
【請求項１２】
前記少なくとも１つの読み取られたプロトコル信号のコンテンツが、前記ビデオ会議送信のオーディオビジュアル信号内に存在するコンテンツスイッチを指示する請求項１から１１のいずれかに記載のエンコード方法。
【請求項１３】
プロトコル信号から抽出されたフリーズピクチャー信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１４】
プロトコル信号から抽出されたフリーズピクチャー要求信号の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１５】
プロトコル信号からのドキュメントカメラ信号抽出からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１６】
プロトコル信号からのドキュメントカメラ信号抽出の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１７】
プロトコル信号から抽出された像合体信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１８】
プロトコル信号から抽出された像合体信号の除去からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項１９】
プロトコル信号から抽出されたカメラ移動信号からコンテンツスイッチを検出する請求項１２に記載のエンコード方法。
【請求項２０】
コンテンツスイッチの検出は、コンテンツスイッチが検出されたところのエンコードされた出力における対応する時間位置において、少なくとも１つのインデックスマーカーと、そのエンコードされた出力との関連付けをトリガーさせる請求項１２から１９のいずれかに記載のエンコード方法。
【請求項２１】
インデックスマーカーは、どんなコンテンツスイッチが検出されたか指示する基準情報を含む請求項２０に記載のエンコード方法。
【請求項２２】
プロトコル信号は、前記ビデオ会議送信のオーディオビジュアル信号内に存在する少なくとも１つのキーフレームの時間位置を指示し、そして前記エンコードされた出力へとエンコードされるキーフレームは、前記出力へとエンコードされたインデックスマーカーに隣接して又はそれと同じ位置に配置される請求項２０又は２１に記載のエンコード方法。
【請求項２３】
前記発生されたエンコードされた出力へエンコードされるキーフレームは、インデックスマーカーからスレッシュホールド時間内に配置される請求項２２に記載のエンコード方法。
【請求項２４】
キーフレームは、インデックスマーカーと同じ時間位置においてエンコードされる請求項２２に記載のエンコード方法。
【請求項２５】
エンコードされた出力のオーディオビジュアルコンテンツは、受信したプロトコル信号から低コンテンツ状態が検出されたときには時間圧縮される請求項２から２４のいずれかに記載のエンコード方法。
【請求項２６】
前記エンコードされた出力のオーディオビジュアルコンテンツを時間圧縮するのにバッファが使用される請求項２５に記載のエンコード方法。
【請求項２７】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号内に存在するキーフレームの時間位置を決定するステップと、
（iv）受信したオリジナルのオーディオビジュアル信号内でキーフレームが検出された同じ時間位置においてエンコードされた出力へキーフレームをエンコードするステップと、
を備えた方法。
【請求項２８】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信した１つ又は複数のオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）前記コンテンツスイッチが検出された時間位置においてインデックスマーカーをエンコードするステップと、
を備えた方法。
【請求項２９】
インデックスマーカーは、キーフレームの時間位置から時間スレッシュホールド内でエンコードされる請求項２８に記載のエンコード方法。
【請求項３０】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信したオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出するステップと、
（iv）キーフレームをエンコードするステップと、
（ｖ）エンコードされたキーフレームの時間位置と同じ時間位置又はそれに隣接してインデックスマーカーをエンコードするステップと、
を備えた方法。
【請求項３１】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取るステップと、
（iii）受信した１つ又は複数のオーディオビジュアル信号内に存在する低コンテンツ状態の存在を検出するステップと、
（iv）受信した前記ビデオ会議送信内で前記低コンテンツ状態が検出された時間周期中にエンコードされる出力コンテンツを時間圧縮するステップと、
を備えた方法。
【請求項３２】
ビデオ会議送信信号を受信するのにバッファを使用し、これにより、バッファのコンテンツをエンコードプロセスへ再生するレートで、エンコード時にオリジナルのビデオ会議コンテンツに適用される時間圧縮の程度を決定する請求項３１に記載のエンコード方法。
【請求項３３】
オーディオビジュアル媒体信号をエンコードする方法において、
（ｉ）コンピュータネットワークからビデオ会議送信を受信するステップであって、前記ビデオ会議送信が少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むようなステップと、
（ii）１つ以上のプロトコル信号を読み取って、受信したビデオ会議送信のエンコード特性を決定するステップと、
（iii）少なくとも１人のユーザからエンコードの好みを受信するステップと、
（iv）エンコードプロセスのセットから、前記ユーザの好み及び前記エンコード特性を使用して実施できるエンコードプロセスのサブセットを選択するステップと、
（ｖ）前記エンコードプロセスのサブセットをユーザに表示するステップと、
を備えた方法。
【請求項３４】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取り、前記読み取られた少なくとも１つのプロトコル信号のコンテンツに基づいて選択されたエンコードプロセスを受信したオーディオビジュアル信号に適用するように構成されたプロセッサによって、特徴付けられたオーディオビジュアル媒体信号をエンコードする装置。
【請求項３５】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取り、受信したオーディオビジュアル信号内に存在するキーフレームの時間位置を決定し、受信したオリジナルのオーディオビジュアル信号内でキーフレームが検出された同じ時間位置においてエンコードされた出力へキーフレームをエンコードするように構成されたプロセッサによって、特徴付けられたオーディオビジュアル媒体信号をエンコードする装置。
【請求項３６】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取り、受信した１つ又は複数のオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出し、前記コンテンツスイッチが検出された時間位置においてインデックスマーカーをエンコードするように構成されたプロセッサによって、特徴付けられたオーディオビジュアル媒体信号をエンコードする装置。
【請求項３７】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取り、受信したオーディオビジュアル信号のオーディオビジュアルコンテンツ内でコンテンツスイッチを検出し、キーフレームをエンコードし、エンコードされたキーフレームの時間位置と同じ時間位置又はそれに隣接してインデックスマーカーをエンコードするように構成されたプロセッサによって、特徴付けられるオーディオビジュアル媒体信号をエンコードする装置。
【請求項３８】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取り、受信した１つ又は複数のオーディオビジュアル信号内に存在する低コンテンツ状態の存在を検出し、受信した前記ビデオ会議送信内で前記低コンテンツ状態が検出された時間周期中にエンコードされる出力コンテンツを時間圧縮ように構成されたプロセッサによって、特徴付けられるオーディオビジュアル媒体信号をエンコードする装置。
【請求項３９】
少なくとも１つのオーディオビジュアル信号及び少なくとも１つのプロトコル信号を含むビデオ会議送信をコンピュータネットワークから受信し、１つ以上のプロトコル信号を読み取って、受信したビデオ会議送信のエンコード特性を決定し、少なくとも１人のユーザからエンコードの好みを受信し、エンコードプロセスのセットから、前記ユーザの好み及び前記エンコード特性を使用して実施できるエンコードプロセスのサブセットを選択し、前記エンコードプロセスのサブセットをユーザに表示するように構成されたプロセッサ
によって、特徴付けられるオーディオビジュアル媒体信号をエンコードする装置。
【請求項４０】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード方法。
【請求項４１】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード装置。
【請求項４２】
実質的に添付図面及び／又は実施例に示され、これを参照して説明したオーディオビジュアル信号のエンコード方法を実施するコンピュータソフトウェア。
【請求項４３】
請求項１乃至３３の何れかに記載される方法によって達成されるコンピュータソフトウェア。
【請求項４４】
請求項４２又は４３に記載されるコンピュータソフトウェアを記憶するように構成された記録媒体。
【国際調査報告】
2005536947.tif 000025
2005536947.tif 000026