(57)【要約】【課題】  エンドビデオエンコーダから成る多数のビデオ画像を最適に伝送するシステム及び方法。この場合、１つより多いエンコーダが利用される。このシステム及び方法は、ビットレート決定器によって決定された先のビットレートに基づいて新しいビットレートを生成することによって複数の画像から成るブロードバンド画像の画像の特性を向上させる。この場合、得られる帯域の割り当てを管理する。
2006520141.tif 000002
【特許請求の範囲】
【請求項１】
複数のビデオエンコーダから構成されたシステムにおいて、各ビデオエンコーダは、連続するビデオ画像を提供されるターゲットビットレートのビットストリームを損失を伴って圧縮し、各エンコーダの適合されたこのターゲットビットレートを調整することによって最適にされた特性をもたらす。
【請求項２】
得られた画像特性の最適化は、全てのエンコーダ間の得られた画像特性を同一にすることによって実現されることを特徴とする請求項１に記載のシステム。
【請求項３】
線形な最適化が、同一化を実行することを特徴とする請求項２に記載のシステム。
【請求項４】
同一化は、一定の時間間隔で実行されることを特徴とする請求項３に記載のシステム。
【請求項５】
一定の時間間隔は、符号化されたフレームレート又はこのフレームレートの整数倍であることを特徴とする請求項４に記載のシステム。
【請求項６】
同一化は、可変な時間間隔で実行されることを特徴とする請求項３に記載のシステム。
【請求項７】
可変な時間間隔は、ユーザーインターフェースを通じた入力によって決定されることを特徴とする請求項６に記載のシステム。
【請求項８】
一定な時間間隔内に符号化された全ての画像内の全てのマクロブロックの平均化された量子化パラメータが、得られた特性を測定する手段として使用されることを特徴とする請求項４に記載のシステム。
【請求項９】
可変な時間間隔内に符号化された全ての画像内の全てのマクロブロックの平均化された量子化パラメータが、得られた特性を測定する手段として使用されることを特徴とする請求項６に記載のシステム。
【請求項１０】
一定の時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）が、得られた特性を測定する手段として使用されることを特徴とする請求項４に記載のシステム。
【請求項１１】
可変な時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）が、得られた特性を測定する手段として使用されることを特徴とする請求項６に記載のシステム。
【請求項１２】
一定の時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算された二乗差の和（ＳＳＤ）が、得られた特性を測定する手段として使用されることを特徴とする請求項４に記載のシステム。
【請求項１３】
可変な時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算された二乗差の和（ＳＳＤ）が、得られた特性を測定する手段として使用されることを特徴とする請求項６に記載のシステム。
【請求項１４】
一定の時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算された絶対差（ＳＡＤ）が、得られた特性を測定する手段として使用されることを特徴とする請求項４に記載のシステム。
【請求項１５】
可変な時間間隔内に全ての符号化されなかったソース画像と全ての生成された参照画像との間で計算された絶対差（ＳＡＤ）が、得られた特性を測定する手段として使用されることを特徴とする請求項６に記載のシステム。
【請求項１６】
各エンコーダに対するターゲットビットレートが、各符号化された画像内の複数のマクロブロックに基づいて適合され、各エンコーダの組み込まれた一部であるレート制御機構が採用されることを特徴とする請求項１に記載のシステム。
【請求項１７】
複数のマクロブロックは、符号化された画像の全てのマクロブロックであることを特徴とする請求項１６に記載のシステム。
【請求項１８】
各エンコーダに対するレートが、各符号化された画像内の複数のマクロブロックに基づいて適合され、各エンコーダの組み込まれた一部であるレート制御機構が採用されることを特徴とする請求項８に記載のシステム。
【請求項１９】
以下のステップから成るリアルタイムのエンコーディングによってビデオアプリケーションの特性を向上させる方法：
ターゲットビットレートを使用して実質的に同じ時間に得られた複数の第１画像を符号化し；
これらの第１画像に対する複数のエンコーダの実際のビットレートを測定し；
これらの各エンコーダに対する複数の歪み値を測定し；
複数の第２画像をエンコードするために使用されるこれらのエンコーダに対する複数の第２歪み値が、実質的に同じになるように、これらの複数の第２画像に対するこれらのエンコーダによって使用される複数の調整されたターゲットビットレートを計算する。
【請求項２０】
ピークＳＮ比（ＰＳＮＲ）が、歪み値に対して使用されることを特徴とする請求項１９に記載の方法。
【請求項２１】
絶対差の和（ＳＡＤ）が、歪み値に対して使用されることを特徴とする請求項１９に記載の方法。
【請求項２２】
二乗差の和（ＳＳＤ）が、歪み値に対して使用されることを特徴とする請求項１９に記載の方法。
【請求項２３】
平均量子化パラメータ（ＱＰ）が、歪み値に対する発見的方法手段として使用されることを特徴とする請求項１９に記載の方法。
【請求項２４】
計算ステップは、さらに次のステップから成る請求項１９に記載の方法：
複数の第１画像に対する平均歪みとこれらの第１画像のうちの１つの画像の歪みとの間の差を算定する。
【請求項２５】
計算ステップは、さらに以下のステップから成る請求項２４に記載の方法：
差を重み付けされた歪みを生成する関数rateによって重み付けし；
この重み付けされた歪みを複数の第１画像のうちの１つの画像に対するビットレートに加算する。
【請求項２６】
複数の調整されたビットレートの各々を算定するため、
【数１】
2006520141.tif 000006
及び
【数２】
2006520141.tif 000007
が、使用される請求項２５に記載の方法。
【請求項２７】
複数のサブ画像から構成される表示画像の特性を最適化する方法において、この方法は次のステップから成る：
複数のエンコーダの各々に対するターゲットビットレートが最適になるように、これらのエンコーダが、全てのビットストリームに対する結合されたビットレートでこれらのサブ画像を複数のビットストリームに圧縮する。
【請求項２８】
各サブ画像に対する歪みが、各エンコーダに対して実質的に同じであるように、ターゲットビットレートが最適にされる請求項２７に記載の方法。
【請求項２９】
方法は、さらに次のステップから成る請求項２７に記載の方法：
ステップを一定の時間間隔で実行する。
【請求項３０】
一定の時間間隔は、フレーム間隔の整数倍である請求項２９に記載の方法。
【請求項３１】
方法は、さらに次のステップから成る請求項２７に記載の方法：
ステップを可変な時間間隔で実行する。
【請求項３２】
方法は、さらに次のステップから成る請求項３１に記載の方法：
絶対差の和，二乗差の和又はピークＳＮ比のうちの少なくとも１つを使用して歪みを算定する。
【請求項３３】
方法は、さらに次のステップから成る請求項２８に記載の方法：
複数のカメラによって取得された第１画像に対する平均歪みとこれらの第１画像のうちの１つの画像に対する歪みとの間の差を使用することによって歪みを算定する。
【請求項３４】
方法は、さらに次のステップから成る請求項３３に記載の方法。
【請求項３５】
調整された複数のビットレートの各々を算定するため、
【数３】
2006520141.tif 000008
が、使用される請求項３４に記載の方法。
【請求項３６】
各エンコーダは、ビットレート制御マネージャーから構成される請求項２７に記載の方法。
【請求項３７】
ビットレート制御マネージャーは、簡単なネットワーク管理プロトコルを使用してネットワークを通じて各エンコーダを制御する請求項２７に記載の方法。
【請求項３８】
複数の画像を１つ以上の目的地に最適に伝送する以下のステップから成る方法：
複数のエンコーダを設け、各エンコーダは、これらの各エンコーダによって符号化された画像の特性を調整するレート制御アルゴリズムを有し、その結果、符号化された画像に対するターゲットビットレートが、プリセットされた値を超えず；
これらの各エンコーダを使用して、複数のターゲットビットレートの複数のビットストリームの複数のシーケンスを損失を伴って圧縮して複数の得られた特性を生成し、これらの得られた特性は、これらの得られた特性を個々の測定する各エンコーダのターゲットビットレートを調整することによって最適にされ；
全ての画像の特性が、実質的に同じになるように、各エンコーダのターゲットビットレートを調整することによってこれらのエンコーダによって符号化された全ての画像の特性を最適にする。
【請求項３９】
方法は、さらに次のステップから成る請求項３８に記載の方法：
全てのエンコーダ間の画像の特性を同一にすることによって全ての画像の特性を最適にする。
【請求項４０】
方法は、さらに次のステップから成る請求項３９に記載の方法：
線形の最適化を使用して同一化を実行する。
【請求項４１】
方法は、さらに次のステップから成る請求項３９に記載の方法：
同一化を一定の時間間隔で実行する。
【請求項４２】
一定の時間間隔は、符号化されたフレームレートの逆数又はこのフレームレートの整数倍の逆数である請求項４１に記載の方法。
【請求項４３】
方法は、さらに次のステップから成る請求項３９に記載の方法：
同一化を可変な時間間隔で実行する。
【請求項４４】
方法は、さらに次のステップから成る請求項４３に記載の方法：
可変な時間間隔をユーザーインターフェースを通じて入力する。
【請求項４５】
方法は、さらに次のステップから成る請求項３８に記載の方法：
得られた特性を測定するため、先の間隔で符号化された全てのビデオ画像内のマクロブロックの平均量子化パラメータを使用する。
【請求項４６】
方法は、さらに次のステップから成る請求項３８に記載の方法：
複数の得られた特性を測定する先の間隔中に複数の符号化されなかったソース画像と複数の生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）を使用する。
【請求項４７】
方法は、さらに次のステップから成る請求項３８に記載の方法：
複数の得られた特性を測定する先の間隔中に複数の符号化されなかったソース画像と複数の生成された参照画像との間で計算された二乗差（ＳＳＤ）を使用する。
【請求項４８】
方法は、さらに次のステップから成る請求項３８に記載の方法：
複数の得られた特性を測定する先の間隔中に複数の符号化されなかったソース画像と複数の生成された参照画像との間で計算された絶対差（ＳＡＤ）を使用する。
【請求項４９】
各エンコーダに対するターゲットビットレートは、各符号化された画像に対する複数のマクロブロックを使用して適合され、画像間隔中に１回以上算定される請求項３８に記載の方法。
【請求項５０】
複数のエンコーダによって符号化される複数の画像は、複数のサブ画像であり、これらのサブ画像は、単一のソース画像から成り、この単一ソース画像を作る全てのサブ画像が、同時に取得される請求項３８に記載の方法。
【請求項５１】
画像は、単一ソース画像を規定する複数のサブ画像であり、これらの全ての画像は、空間的に隣接している請求項３８に記載の方法。
【請求項５２】
画像は、同時に取得されかつ空間的に隣接した複数のサブ画像である請求項５０に記載の方法。
【請求項５３】
複数の画像を 1つ以上の目的地に最適に伝送するシステムにおいて、
複数の画像を取得する複数のビデオソースを有し、
複数のエンコーダを有し、各エンコーダは、ハイブリッド符号器の原理にしたがい、レート制御を採用し、最後の記録とビットレート制御マネージャーに対する要求との間の時間間隔中に得られた画像の特性を記録することができ；
このビットレート制御マネージャーは、これらの各エンコーダに対するターゲットビットレートを算定するこれらの各エンコーダに接続されていて、この場合、このビットレート制御マネージャーは、これらの各エンコーダに対するターゲットビットレートを算定し、その結果、全ての画像の得られた特性が実質的に同じになるように、これらのエンコーダによって符号化された全ての画像の個々の特性が最適にされるシステム。
【請求項５４】
ビットレート制御マネージャーは、割り当てられたアプリケーションであり、各エンコーダの組み込まれた一部を構成する請求項５３に記載のシステム。
【請求項５５】
ビットレート制御マネージャーは、各エンコーダから独立した装置である請求項５３に記載のシステム。
【請求項５６】
ビットレート制御マネージャーは、適切な通信リンクを通じてエンコーディング入力情報を受信し、かつ複数のエンコーダからプロトコルを受信し、通信リンクを通じてターゲットビットレートを送信し、かつこれらのエンコーダにプロトコルを送信する請求項５５に記載のシステム。
【請求項５７】
通信リンクは、シリアルリンクである請求項５５に記載のシステム。
【請求項５８】
通信リンクは、IEEE 802.x又はイーサネット(IEEE802.3) のいずれか１つにしたがう請求項５５に記載のシステム。
【請求項５９】
プロトコルは、簡単なネットワーク管理プロトコル(RFC3416) である請求項５５に記載のシステム。
【請求項６０】
ビットレート制御マネージャーは、全てのエンコーダ間の画像の特性を同一にすることによって全ての画像の特性を最適にする請求項５５に記載のシステム。
【請求項６１】
ビットレート制御マネージャーは、線形の最適化を使用して同一化を実行する請求項６０に記載のシステム。
【請求項６２】
ビットレート制御マネージャーは、同一化を一定の時間間隔で実行する請求項６０に記載のシステム。
【請求項６３】
一定の時間間隔は、画像に対する符号化されたフレームレートの逆数か又はこのフレームレートの整数倍の逆数である請求項６２に記載のシステム。
【請求項６４】
ビットレート制御マネージャーは、同一化を可変な時間間隔で実行する請求項６０に記載のシステム。
【請求項６５】
ビットレート制御マネージャーは、可変な時間間隔をユーザーインターフェースを通じて入力することによって算定する請求項６４に記載のシステム。
【請求項６６】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中に符号化された全てのビデオ画像内の全てのマクロブロックの平均量子化パラメータを使用する請求項５３に記載のシステム。
【請求項６７】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）を使用する請求項５３に記載のシステム。
【請求項６８】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された二乗差の和（ＳＳＤ）を使用する請求項５３に記載のシステム。
【請求項６９】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された絶対差の和（ＳＡＤ）を使用する請求項５３に記載のシステム。
【請求項７０】
各エンコーダに対するターゲットビットレートは、各符号化された画像に対する複数のマクロブロックを使用して適合され、画像間隔中に１回以上算定される請求項５３に記載のシステム。
【請求項７１】
エンコーダによって符号化される画像は、複数のサブ画像であり、これらのサブ画像は、期間内に単一ソース画像を構成し、この単一ソース画像を作る全てのサブ画像が、実質的に同時に取得される請求項５３に記載のシステム。
【請求項７２】
画像は、単一ソース画像を規定する複数のサブ画像であり、これらの全てのサブ画像は、空間的に隣接している請求項５３に記載のシステム。
【請求項７３】
画像は、同時に取得されかつ空間的に隣接する複数のサブ画像である請求項７０に記載のシステム。
【請求項７４】
複数のビデオソース及び複数のエンコーダが、送信ステーション内に配置されている請求項５３に記載のシステムにおいて：
これらのエンコーダによって生成された複数のビットストリームからの単一マルチプレクサ・ビットストリームをマルチプレクスするために送信ステーション内に配置されこれらのエンコーダに接続されたマルチプレクサを有し；
この単一マルチプレクサ・ビットストリームを単一の受信ステーション内のデマルチプレクサ（ポイント・ツー・ポイント）又は複数の受信ステーション（マルチポイント又は放送）に送るデータリンクを有し、
マルチプレクサ・ビットストリームからこれらのエンコーダによって生成された時に、これらのビットストリームを損失なしに再構築する各受信ステーション内のデマルチプレクサを有し、
少なくとも１つの受信ステーションで表示するため、複数のビットストリームを複数の再構築された画像に再構築する少なくとも１つの受信ステーション内の複数のデコーダを有するシステム。
【請求項７５】
ビットレート制御マネージャーは、割り当てられたアプリケーションであり、各エンコーダの組み込まれた一部として構成されている請求項７４に記載のシステム。
【請求項７６】
ビットレート制御マネージャーは、各エンコーダから独立している請求項７４に記載のシステム。
【請求項７７】
ビットレート制御マネージャーは、適切な通信リンクを通じてエンコーディング入力情報を受信し、かつ複数のエンコーダからプロトコルを受信し、通信リンクを通じてターゲットビットレートを送信し、かつこれらのエンコーダにプロトコルを送信する請求項７６に記載のシステム。
【請求項７８】
通信リンクは、シリアルリンクである請求項７６に記載のシステム。
【請求項７９】
通信リンクは、IEEE 802.x又はイーサネット(IEEE802.3) のいずれか１つにしたがう請求項７６に記載のシステム。
【請求項８０】
プロトコルは、簡単なネットワーク管理プロトコル(RFC3416) である請求項７６に記載のシステム。
【請求項８１】
ビットレート制御マネージャーは、全てのエンコーダ間の画像の特性を同一にすることによって全ての画像の特性を最適にする請求項７６に記載のシステム。
【請求項８２】
ビデオ会議システムにおいて、
空間的に隣接するシーンを取得する第１ステーション内の複数のカメラを有し、
これらのカメラからの複数の画像を圧縮し伝送しそして復元し、複数の再構築された画像を少なくとも１つの受信ステーション内で生成するコーディングシステムを有し、
各エンコーダによって生成されたビットストリームの特性が、実質的に同じになるように、このエンコーディングシステムは、各エンコーダに対するビットレートを算定する各エンコーダに接続されているビットレート制御マネージャーから構成され、
受信ステーション内の複数の表示装置を有し、これらの受信ステーションの表示領域が空間的に隣接し、その結果、これらの表示装置は、取得されたシーンを送信ステーション内に返すことができるビデオ会議システム。
【請求項８３】
ビットレート制御マネージャーは、線形な最適化を使用して同一化を実行する請求項８２に記載のシステム。
【請求項８４】
ビットレート制御マネージャーは、同一化を一定の時間間隔で実行する請求項８２に記載のシステム。
【請求項８５】
一定の時間間隔は、複数の画像に対する符号化されたフレームレートの逆数又はこのフレームレートの整数倍の逆数である請求項８４に記載のシステム。
【請求項８６】
ビットレート制御マネージャーは、同一化を可変な時間間隔で実行する請求項８２に記載のシステム。
【請求項８７】
ビットレート制御マネージャーは、ユーザーインターフェースを通じて入力された可変な時間間隔を算定する請求項８６に記載のシステム。
【請求項８８】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中に符号化された全てのビデオ画像内の全てのマクロブロックの平均量子化パラメータを使用する請求項８２に記載のシステム。
【請求項８９】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）を使用する請求項８２に記載のシステム。
【請求項９０】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された二乗差の和（ＳＳＤ）を使用する請求項８２に記載のシステム。
【請求項９１】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された絶対差の和（ＳＡＤ）を使用する請求項８２に記載のシステム。
【請求項９２】
各エンコーダに対するターゲットビットレートは、各符号化された画像に対する複数のマクロブロックを使用して適合され、画像間隔中に１回以上算定される請求項８２に記載のシステム。
【請求項９３】
エンコーダによって符号化される画像は、複数のサブ画像であり、これらのサブ画像は、期間内に単一ソース画像を構成し、この単一ソース画像を作る全てのサブ画像が、実質的に同時に取得される請求項８２に記載のシステム。
【請求項９４】
画像は、単一ソース画像を規定する複数のサブ画像であり、これらの全てのサブ画像は、空間的に隣接している請求項８２に記載のシステム。
【請求項９５】
画像は、同時に取得されかつ空間的に隣接する複数のサブ画像である請求項９２に記載のシステム。
【請求項９６】
ビットレート制御マネージャーは、割り当てられたアプリケーションであり、各エンコーダの組み込まれた一部として構成されている請求項８２に記載のシステム。
【請求項９７】
ビットレート制御マネージャーは、各エンコーダから独立している請求項８２に記載のシステム。
【請求項９８】
ビットレート制御マネージャーは、適切な通信リンクを通じてエンコーディング入力情報を受信し、かつ複数のエンコーダからプロトコルを受信し、通信リンクを通じてターゲットビットレートを送信し、かつこれらのエンコーダにプロトコルを送信する請求項９７に記載のシステム。
【請求項９９】
通信リンクは、シリアルリンクである請求項９７に記載のシステム。
【請求項１００】
通信リンクは、IEEE 802.x又はイーサネット(IEEE802.3) のいずれか１つにしたがう請求項９７に記載のシステム。
【請求項１０１】
プロトコルは、簡単なネットワーク管理プロトコル(RFC3416) である請求項９７に記載のシステム。
【請求項１０２】
ビットレート制御マネージャーは、全てのエンコーダ間の画像の特性を同一にすることによって全ての画像の特性を最適にする請求項９７に記載のシステム。
【請求項１０３】
ビットレート制御マネージャーは、線形な最適化を使用して同一化を実行する請求項１０２に記載のシステム。
【請求項１０４】
ビットレート制御マネージャーは、同一化を一定の時間間隔で実行する請求項９７に記載のシステム。
【請求項１０５】
一定の時間間隔は、画像に対する符号化されたフレームレートの逆数か又はこのフレームレートの整数倍の逆数である請求項１０４に記載のシステム。
【請求項１０６】
ビットレート制御マネージャーは、同一化を可変な時間間隔で実行する請求項１０２に記載のシステム。
【請求項１０７】
ビットレート制御マネージャーは、可変な時間間隔をユーザーインターフェースを通じて入力することによって算定する請求項１０６に記載のシステム。
【請求項１０８】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中に符号化された全てのビデオ画像内の全てのマクロブロックの平均量子化パラメータを使用する請求項８２に記載のシステム。
【請求項１０９】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算されたピークＳＮ比（ＰＳＮＲ）を使用する請求項８２に記載のシステム。
【請求項１１０】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された二乗差の和（ＳＳＤ）を使用する請求項８２に記載のシステム。
【請求項１１１】
得られた特性を測定するため、ビットレート制御マネージャーは、時間間隔中の符号化されなかった複数のソース画像と複数の生成された参照画像との間で計算された絶対差の和（ＳＡＤ）を使用する請求項８２に記載のシステム。
【請求項１１２】
各エンコーダに対するターゲットビットレートは、各符号化された画像に対する複数のマクロブロックを使用して適合され、画像間隔中に１回以上算定される請求項８２に記載のシステム。
【請求項１１３】
エンコーダによって符号化される画像は、複数のサブ画像であり、これらのサブ画像は、期間内に単一ソース画像を構成し、この単一ソース画像を作る全てのサブ画像が、実質的に同時に取得される請求項８２に記載のシステム。
【請求項１１４】
画像は、単一ソース画像を規定する複数のサブ画像であり、これらの全てのサブ画像は、空間的に隣接している請求項８２に記載のシステム。
【請求項１１５】
画像は、同時に取得されかつ空間的に隣接する複数のサブ画像である請求項９２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮ビデオ信号の伝送、さらに特にシステム内の符号化ビットレートの最適化決定に関する。この場合、１つより多い符号化ビデオストリームが、単一の帯域制限されたデータリンク上で多重送信される。
【背景技術】
【０００２】
再生されるビデオ画像の最適に可能に認識される特性をリアルタイムの状態で実現する方法及びシステムが、レート制御アルゴリズムとして公知である。従来のレート制御アルゴリズムは、単一ビデオエンコーディング処理で作動し、単一の符号化ビデオストリームだけによって最も効果的である。対照的に本発明は、多数の符号化ビデオストリームを同時に最適化するアルゴリズムに関する。アルゴリズムのこのクラスは、多重チャネルレート制御アルゴリズム（ＭＣＲＣアルゴリズム）と呼ばれる。
【０００３】
単一チャネルレート制御アルゴリズムの２つの優先クラスが公知である。第１クラスは、コンスタント・ビットレート制御アルゴリズム（ＣＢＲ）を意味する。ＣＢＲアルゴリズムは、エンコーディング処理の間に明確に定義された多数のビットを取得された各画像に割り当てる。第２クラスは、バリアブル・ビットレートアルゴリズム（ＶＢＲ）として公知である。ＶＢＲアルゴリズムは、ビットレートを平均に維持し、明確に規定された分散内で幾つかの画像に対して一定である。しかしながらＶＢＲは、時として個々の画像に対するビットレートの重要な変更を可能にする。このことは、小さい変化よりも大きい変化に対してより多くのビットを消費することによって特徴付けられる画像のこの大きい変化にエンコーダを応答させることを可能にし、それ故に多くの場合により良好な認識される画像特性（品質）をもたらす。レート制御アルゴリズムの非常に初期の例は、刊行物Huang,Schultheiss,"Block Quantization of Correlated Gaussian Random Variables,"IEE Transactions of Comm. System, vol.3,pp 26-40,1963で見つけることができる。ＣＢＲのより最近の例は、W.Ding and B.Liu,"Rate Control Of MPEG Video Coding And Recording By Rate-Quantization Modeling,"IEEE Trans. Circuits and Systems for Video Tech.6(1)(February 1996)pp.12-20に記されている。ＶＢＲは、ISO-IEC/JTC1/SC29/WG11,MPEG2 Test model 5 Draft(April 1993) に記されている。
【０００４】
ＣＢＲアルゴリズムは、一般に一定の帯域リンク上の低遅延動作に対して選択される。ＣＢＲアルゴリズムをハイブリッドエンコーダ内で実行するための通常方法は、一般にＱＰ値として知られている量子化ステップサイズを調整することである。この数値は、圧縮処理の間の変換係数の丸めにおける精度を除去することによって圧縮係数に直接作用する。ほとんどのビデオ圧縮システムでは（有名なビデオ圧縮規格のうちの１つのにしたがうビデオ圧縮システムでは）、ＱＰ値は、マクロブロックのプロパティーであって一般に１〜32のような小さい数値範囲内の整数値を有する。この点に関しては、ＱＰ値が高いほど、画像の特性が悪い。その一方でＱＰ値低いほど、画像の特性が良い。したがってＱＰ値は、一般に画像の特性に対して逆に関係する。
【０００５】
人の視覚系は画像特性の突然の変化に対して不利に反応し、このような変化は非常に人を苛立たせると認識される。それ故に、ほとんどのレート制御アルゴリズムは、全ての画像に対して同一のＱＰ値を使用し、ＱＰ値の僅かな変化だけを許容する。この場合、画像特性を均し、それ故に突然の特性変化を阻止する。より改良されたレート制御アルゴリズムは、時として生理光学を考慮に入れ、画像の「フラット」と「アクティブ」との間を区別する。このときこれらのレート制御アルゴリズムは、フラットセクタをアクティブセクタを低い特性に符号化する。このようなアルゴリズムの代表例は、ヨーロッパ特許出願公開第1 250 012 号明細書で見つけることができる。
【０００６】
本発明に或る程度関連している別の技術が、ロードバランシングとして公知である。一般にロードバランシング技術は、要求に対する応答時間が最適にされるように多数の要求を多数のサーバに配置する。これらのロードバランシング技術は、例えば人気のあるウェブサイトに対する要求の負荷を多数のウェブサーバに分散させるためにデータ伝送環境で最も一般に使用される。複数のウェブサーバ間でデータ伝送を最適化するため、ロードバランシング・アルゴリズムは、一般に線形最適化を使用する。しかしこれらの線形最適化技術は、ビデオ会議の環境からの複数のストリームに対してレート制御を提供しない。
図１１は、TeleSuite Corporation of Englewood,Ohio が管理するTeleSuite   （商標）ルームとして公知であり、かつここで引用されている米国特許第5,572,248 号明細書，米国特許第5,751,337 号明細書，米国特許第6,160,573 号明細書及び米国特許第6,445,405 号明細書中に記されている種類の代表的な従来の技術である４スクリーンビデオ会議システムを示す。
【０００７】
アスペクト比16:3を有するワイドバンドＡが、空間的に隣接した４つのサブシーンＡ１，Ａ２，Ａ３及びＡ４から構成される。多くの従来のシステムは、ビデオ圧縮アルゴリズムを利用する。一般にこのビデオ圧縮アルゴリズムは、国際電気通信連合（ＩＴＵ）規格H.261 又はH.263 のような一般的に採用されているビデオ圧縮規格のうちの１つの規格にしたがう。例えばＨ２６１規格は、64キロバイト／秒の倍数であるデータ速度に対して規定されている。このような規格は、多くの場合に制定されたデータ速度及び選択された画像フォーマットを有する。これらの規格は、その他のフォーマットも支援するものの、広く配置されたエンコーダ／デコーダ（コデックス）は、これらの規格フォーマットしか支援しない。それ故に、ワイドバンド・シーンを取得し、このワイドバンド・シーンを幾つかのサブシーンに空間的に分割することによってこのワイドバンド・シーンをエンコードするためには、幾つかのカメラと幾つかのコデックスを組み合わせることが必要である。各サブシーンは、ビデオ・コデックスの一般に支援された画像フォーマットのうちの１つの画像フォーマットの大きさを有する。
【０００８】
図１１では、各サブシーンが、関連するカメラＣ１，Ｃ２，Ｃ３及びＣ４によって取得される。示された例のサブシーンを以下のように説明する：Ａ１は、座っている一人の人の上半身を示す。Ａ２は、座っている二人の人の上半身を示す。Ａ３は、座っている二人の人の上半身を示す。これらの人のうちの一人が、起立する過程で身ぶりで話している。Ａ４は、静的な背景を示す。
【０００９】
サブシーンＡ１〜Ａ４のアナログ表示を搬送するカメラＣ１〜Ｃ４のビデオ出力が、ビデオエンコーダＥ１〜Ｅ４によって圧縮されたデジタルビデオ・ビットストリームＢ１〜Ｂ４に変換される。各デジタルビデオ・ビットストリームＢ１〜Ｂ４は、好ましくはＨ．２６１又はＨ２６３のようなＩＴＵビデオ圧縮規格のうちの１つの規格にしたがう。或る環境では、（図１１中のＦ−１で付記された）全てのエンコーダＥ１〜Ｅ４が、図１１中に示された例では同じビットレート、すなわち10kbit/sを利用するために構成されている。それ故に、構内情報通信網又は広域ネットワーク（ＷＡＮ）上の伝送で使用されるビットレートは、４×10kbit/s=40kbit/s である。サブシーンはそれらの活動中に変化するものの、エンコーダのビットレートは一定であるので、符号化されたサブシーンの特性も、ＱＰ値によって示されるように変化する。緩やかに動くサブシーンをエンコードするエンコーダＥ１は、10のＱＰ値を有する良好な特性レベルで作動する。Ｅ１よりも僅かに多く動くサブシーンを有するエンコーダＥ２は、ビットレートの制約内で同じ特性を達成できかつ12のＱＰ値で作動する。非常に動くサブシーンＡ３を符号化するエンコーダＥ３は、30のＱＰ値で作動しかつ非常に悪い特性の符号化された画像を再生する。静的な背景であるサブシーンＡ４を符号化するエンコーダＥ４は、１のＱＰを有する最も可能な特性レベルで作動する。
【００１０】
全てのストリームが、マルチプレクス・ユニットＪ内へ一緒に多重送信されて出力されるデータストリームを形成する。このデータストリームは、構内情報通信網又は広域ネットワーク（ＷＡＮ）を通じて受信室に送られる。ここでは、受信された多重送信されたデータストリームが、デマルチプレクサＬによってデマルチプレクスされて圧縮された最初の４つのデジタルビデオ・ビットストリームに再構築する。これらのビットストリームは、デコーダＤ１〜Ｄ４に送られる。各デコーダＤ１〜Ｄ４は、ビデオサブ画像を再構築する。これらのサブ画像は、据え付けられたディスプレイ又はデータプロジェクタＰ１〜Ｐ４を使用して見ることができる。表示される４つのサブ画像Ｉ１〜Ｉ４が、取得されたシーンＡに幾何学的に似ているフル画像Ｉを空間的に構成するように、全てのプロジェクタＰ１〜Ｐ４に指向されるプロジェクタ・ビームが配置されている。
【００１１】
各エンコーダＥ１〜Ｅ４は、規定され固定された一組のパラメータを有し、これらのパラメータにしたがう１つのビットストリームを生成する。これらのパラメータの最も重要なパラメータは、ターゲット・ビットレートである。一般に各エンコーダＥ１〜Ｅ４は、取得されたシーンを符号化する時にＣＢＲアルゴリズムを使用して最も可能な画像特性を達成する。多数のエンコーダを使用する場合、各エンコーダは、プリセットされた特定のビットレートで作動する。取得すべきサブシーケンスの特徴が、構成時間でまだ既知でないので、一般に全てのエンコーダは、同じビットレートを使用するために構成されている。
【００１２】
各サブシーンに対するビットレートが固定されているので、符号化されたサブ画像の特性レベルがカメラによって取得された活動と共に変化する。静的な背景、例えばサブシーンの１つＡ４は、構成されたビットレートを利用するために非常に高い特性で符号化される。非常に活動的なサブシーン、例えばサブシーンの１つＡ３は、逆に低い画像特性をもたらす。伝送され再構築された後の完成したブロードバンド画像Ｉは、不愉快な低い特性のサブ画像Ｉ３からだけではなくて、人を苛立たせるサブ画像Ｉ３とＩ４間の特性の変化からも特性の低下を受ける。
【００１３】
並んで表示される複数のサブ画像から構成されるワイドバンド画像を表示する時に、表示される画像が突然の特性の変化を通じて人の視覚系を苛立たせないように、これらの表示される画像を同じ特性にすることが望ましい。しかしながら、多数の画像が部屋に伝送され表示され、かつ、伝送された全ての画像が、（従来の技術と同様に）同じ伝送帯域を使用する場合、１つ以上の表示される画像が、（異なる平均ＱＰ値を使用することによって）隣接するサブ画像に比べて異なる特性で符号化される。
【特許文献１】Huang,Schultheiss,"Block Quantization of Correlated Gaussian Random Variables,"IEE Transactions of Comm. System, vol.3,pp 26-40,1963
【特許文献２】W.Ding and B.Liu,"Rate Control Of MPEG Video Coding And Recording By Rate-Quantization Modeling,"IEEE Trans. Circuits and Systems for Video Tech.6(1)(February 1996)pp.12-20
【特許文献３】ISO-IEC/JTC1/SC29/WG11,MPEG2 Test model 5 Draft(April 1993)
【特許文献４】ヨーロッパ特許出願公開第1 250 012 号明細書
【特許文献５】米国特許第5,572,248 号明細書
【特許文献６】米国特許第5,751,337 号明細書
【特許文献７】米国特許第6,160,573 号明細書
【特許文献８】米国特許第6,445,405 号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１４】
したがって、画像を見るための多数のサブ画像から構成された全ての複合画像又はブロードバンド画像にわたって優れていると認識される画像特性を実現するためには、画像特性を複数のサブ画像にわたって同時にかつリアルタイムで調整するシステム及び方法が必要である。
【００１５】
さらに、画像特性を１つの画像を構成する複数の画像の各々に対する画像特性を調整し、複数の画像の伝送を割り当てるか又は平均させて、ビデオ伝送システムの全体の画像特性を最適にするシステム及び方法が必要である。
【００１６】
好ましくはシステム及び方法が、ｎ個のビデオエンコーダＥ（ｎ）から構成された多数のビデオ画像を最適に伝送するために提供される。この場合、ｎは、１よりも大きい。これらのエンコーダＥ（ｎ）は、好ましくはカメラのようなビデオソースから来る画像を好ましくは一定のピクチャーレートでこれらの入って来る画像の符号化された表示を構成する連続したビットに変換し、これによってこれらの画像を圧縮する。各画像は、独立したビットストリームとして伝送される。この圧縮は、損失がなく、好ましくはハイブリッド符号器の原理にしたがう。各ビデオエンコーダＥ（ｎ）は、任意の時に損失のある圧縮から生じるひずみをＤ（ｎ）として記録することが可能である。Ｄ（ｎ）は、ピークＳＮ比（ＰＳＮＲ），二乗差の和（ＳＳＤ），絶対差の和（ＳＡＤ）又はその他のあらゆる適切な手段の形態で計算されてもよい。Ｄ（ｎ）は、例えば符号化されたビデオの平均量子化係数を使用することによって特性表示として発見的方法で算定されてもよい。さらに各ビデオエンコーダＥ（ｎ）は、外部から提供された最大ビット数の下でピクチャーレートによって乗算された符号化された各画像に対する多数のビットをビットレートＲ（ｎ）に保持することができる。さらにｎ個のエンコーダＥ（ｎ）の完全なシステムが、最大ターゲットビットレートＴ、それ故にＴ≧ΣＲ（ｎ）に結びつく。すなわち、ターゲットビットレートＴは、任意の時点で全てのエンコーダビットレートＲ（ｎ）の和よりも大きくなってはならない。多数のビデオ画像を最適に伝送するこのシステムは、全てのエンコーダに対する歪みＤ（ｎ）が均等にされるように各エンコーダに対するエンコーダのビットレートＲ（ｎ）を（フレーム間隔の整数倍のような）一定の時間間隔で、（例えば、何時でも十分な処理出力が得られる）可変な時間間隔で又はユーザーインターフェースの入力によってトリガーされて調整する。この調整は、Ｒ（ｎ）の線形最適化を実行することによって実施される。
【課題を解決するための手段】
【００１７】
１つの側面では、本発明は、複数のビデオエンコーダから構成されたシステムから成る。各ビデオエンコーダは、連続するビデオ画像を提供されたレートのビットストリームに損失を伴って圧縮し、達成された特性にする。この特性は、各エンコーダのターゲットビットレートを適応させることによって最適にされる。
【００１８】
別の側面では、本発明は、実質的に同じ時間に取得された複数の第１画像を符号化し、ターゲットビットレートを使用し、これらの第１画像に対する複数のエンコーダの実際の複数のビットレートを測定し、各エンコーダに対する複数の歪み値を測定し、複数の第２画像をエンコードするために使用されるこれらのエンコーダの複数の第２歪み値がじっしつてきに同じくなるように、複数の第２画像に対する複数のエンコーダによって使用される複数の適合されたターゲットビットレートを計算するステップから成る、リアルタイムのエンコーディングによってビデオ・アプリケーションの特性を向上させる方法を構成する。
【００１９】
別の側面では、本発明は、複数のエンコーダを設け、各エンコーダはこれらの各エンコーダによって符号化された画像の特性を調整するレート制御アルゴリズムを有し、その結果、この符号化された画像に対するターゲットビットレートがプリセットされた値を超えず、これらの各エンコーダを使用して、複数のターゲットビットレートの複数のビットストリームの複数のシーケンスを損失を伴って圧縮して複数の特性を実現し、これらの特性は、全ての画像の特性が実質的に同じになるように、これらの各エンコーダの複数のターゲットビットレートを適合し、これらの実現された特性を測定し、これらの各エンコーダのターゲットビットレートを調整することによってこれらのエンコーダによって符号化された全ての画像の特性を最適にすることによって最適にされるするステップから成る、複数の画像を１つ以上の目的地に最適に伝送する方法を構成する。
【００２０】
別の側面では、本発明は、複数の画像を取得する複数のビデオソースを有し、複数のエンコーダを有し、各エンコーダはハイブリッド符号器の原理にしたがってレート制御を採用し、かつ最後の記録とビットレート制御マネージャーに対する記録との間の時間間隔中に実現された画像の特性を記録することができ、このビットレート制御マネージャーはこれらの各エンコーダに接続されていて、このビットレート制御マネージャーはこれらの各エンコーダに対するターゲットビットレートを算定し、この場合、このビットレート制御マネージャーはこれらの各エンコーダに対するターゲットビットレートを算定し、その結果、全ての画像の実現された特性が実質的に同じになるように、これらのエンコーダによって符号化された全ての画像の個々の特性が最適にされる、複数の画像を１つ以上の目的地に最適に伝送するシステムを構成する。
【００２１】
別の側面では、本発明は、空間的に隣接したシーンを取得する第１ステーション内の複数のカメラを有し、これらのカメラからの複数の画像を圧縮し伝送し復元し、複数の再構築された画像を少なくとも１つの受信ステーション内で生成するエンコーディングシステムを有し、複数のエンコーダの各々によって生成された再生されたビットストリームの特性が実質的に同じくなるように、このエンコーディングシステムはこれらの各エンコーダに対するビットレートを算定するこれらの各エンコーダに接続されたビットレート制御マネージャーから構成され、複数のディスプレイ装置を受信ステーション内に有し、これらの表示領域は空間的に隣接し、その結果、これらのディスプレイ装置は、取得したシーンを送信ステーションに返すことができる、ビデオ会議システムを構成する。
【００２２】
本発明のその他の構成及び利点は、以下の説明，添付した図面及び特許請求の範囲に記載されている。
【発明を実施するための最良の形態】
【００２３】
本発明は、好ましくは高品質ビデオ会議システムの一部として使用されるものの、（非常に高い分解能のビデオに対する画像符号化の並列化及びセグメンテーションのような）その他の用途を有してもよい。典型的なシステムが、米国特許第5,572,248 号明細書，米国特許第5,751,337 号明細書，米国特許第6,160,573 号明細書及び米国特許第6,445,405 号明細書中に記されている。これらの明細書は、発明として同一出願人に付与されていて、ここでは引用文献の一部として記載されている。
【００２４】
図１〜１０中には、本発明を示すシステム及び方法が示されている。従来の技術とは対照的に、このシステム及び方法は、ビットレートとＱＰ値との双方を最適に調整する。説明を容易にするため、ＷＡＮのビットレートは、40kbit/sと仮定する。しかし、ビットレートが、それぞれ１２〜１８で付記されたエンコーダＥｎ１〜Ｅｎ４のビットレートと少なくとも同じである限り、このビットレートは、希望ならば別のレートでもよい。後で詳しく説明するように、各サブシーンのビットレートは、発生する平均ＱＰが全ての４つのエンコーダに対して等しいように調整される。しかしながら、これらのビットレートは、図中では大幅に異なる。エンコーダＥ１は、図１では8kbit/s を使用してその緩やかに動くサブシーンをエンコードする。エンコーダＥ２は、僅かにより活動的なサブシーン10kbit/sを使用する。エンコーダＥ３の極めて活動的なサブシーンは、21kbit/sを要求して同じ平均ＱＰによって符号化される。その一方でＥ４の静的な背景のサブシーンは、1kbit/s だけを要求する。見て分かるように、ＭＣＲＣを使用し、ビットレートの動的な割り当ての利点を採用することによって、全ての４つのサブシーンが、同じ平均ＱＰ（図１中に示された図では12）で、それ故に同じ特性レベルで符号化される。本発明は、複数のエンコーダを互いに「通話」させ、各エンコーダ内に常駐するこれらのエンコーダの内部のＣＢＲのレート制御アルゴリズムによって算定されたようなこれらのエンコーダの現在の特性又はＱＰ値をやり取りする。ここでは後で説明するこの発明の実施の形態では、全てのマクロブロックの平均量子化係数又はＱＰ値も、符号化された画像の１つの画像の特性の表示として発見的方法で使用される。これらの符号化された画像は、ＭＣＲＣアルゴリズムによって最適化される。
【００２５】
平均ＱＰは、符号化された画像に属する全てのマクロブロックの全てのＱＰ値を加算し、それをこの符号化された画像内のマクロブロックの数で除算することによって計算される。
【００２６】
図２〜３は、本発明の実施の形態によるシステム１０の別の図である。これらの図をより詳しく説明する。この実施の形態では、複数のエンコーダ１２，１４，１６及び１８がそれぞれ、１つのデジタル信号プロセッサ（ＤＳＰ）１２ａ，１４ａ，１６ａ及び１８ａからそれぞれ構成される。説明した実施の形態では、各ＤＳＰ１２ａ〜１８ａが、コンパクトＰＣＩバスのような？本の共通の制御バスを共有する。この制御バスは、ＤＳＰ１２ａ〜１８ａ間の制御情報を伝達するために利用される。
【００２７】
複数のカメラＣ１，Ｃ２，Ｃ３及びＣ４が、個々の画像２０，２２，２４及び２６を取得し、画像２０〜２６に関連するデータをエンコーダ（Ｅｎ〜Ｅｎ４）１２〜１８にそれぞれ送信する。ビデオ画像を伝送するこの方法は、アナログ接続手段又はデジタル接続手段によって可能である。ＤＳＰ１２ａ〜８ａはそれぞれ、図２中にブロック３０で概略的に示されたようにビットレート・マネージャー処理（ＢＣＭ）を有する。このＢＣＭは、各エンコーダＥｎ１〜Ｅｎ４に対するＱＰ値及びそれぞれのカメラＣ１〜Ｃ４によって取得された各画像に対する実際のビットレートを受け取り、ここでは後で説明するように各エンコーダに対して新しいビットレートを生成する。次いで、（ＢＣＭ３０によって算定されるビットレートを有する）ビットストリームが、マルチプレクサ３２によって多重化され、そして広域ネットワーク３４を通じて遠隔ステーション３６に割り当てられる。
【００２８】
図３は、受信ステーション又は遠隔ステーション３６を示す。マルチプレクス信号が、広域ネットワーク３４を通じてデマルチプレクサ３８によって受信される。このデマルチプレクサ３８は、信号を図中の４つのビットストリームにデマルチプレクスする。これらの４つのビットストリームは、それぞれ関連するデジタル信号プロセッサ４０ａ，４２ａ，４４ａ及び４６ａを有する複数のデコーダＤＥＣ１  ４０，ＤＥＣ１  ４２，ＤＥＣ３  ４４及びＤＥＣ４  ４６によって受信される。説明及び理解を容易にするため、本発明をエンコーダＥｎ１〜Ｅｎ４  １２〜１８及びデコーダＤＥＣ１〜ＤＥＣ４  ４０〜４６を使用して説明するものの、１つより多いより少ないか又はより多い数のエンコーダ及びデコーダを使用してもよい。本発明は、組み合わせて組み込まれたユニットである一般に「コデックス」として公知のエンコーダ／デコーダ内で使用してもよい。例えば、
遠隔ステーションが、図２中に示された第１ステーション１１から取得された画像を受信可能である一方で、典型的なビデオ会議環境は、この遠隔ステーション３６で取得された画像を転送するために第１ステーション１１に返すことも可能である。
【００２９】
ビットレートは、第１ステーション１１で取得された画像に対応するビットレートに一致する。さらに、取得された各画像４８，５０，５２及び５４に対するＱＰ値が、ビットストリーム自体の一部であるので、そのＱＰ値は等しい。図３中に示された説明では、表示される画像４８〜５４のＱＰ値は、10として示されている。ビットレートは、Ｅｎ１に対しては5kbit/s ，Ｅｎ２に対しては10kbit/s，Ｅｎ３に対しては10kbit/s、そしてＥｎ４に対しては0kbit/s である。
【００３０】
図２中では、各カメラＣ１，Ｃ２，Ｃ３及びＣ４が、各デジタル信号プロセッサ（ＤＳＰ）１２ａ，１４ａ，１６ａ及び１８ａに接続されている。さらに、ＤＳＰ１２ａ，１４ａ，１６ａ及び１８ａによって使用されるレート制御アルゴリズムを簡単に同期するため、カメラＣ１〜Ｃ４は、水平同期信号，垂直動機信号及びピクセルクロックを外部から提供することによって即座に同期される。例えば、垂直同期ブランキング期間の間に共通の制御バス２８を利用して、全てのデジタルプロセッサ１２ａ〜１８ａが、互いにターゲットビットレートをやり取りする。このターゲットビットレートは、カメラＣ１〜Ｃ４によってそれぞれ取得された最後の画像を符号化する時に使用される。ＤＳＰ１２ａ〜１８ａは、カメラＣ１〜Ｃ４によって取得されたその最後の画像に対する平均ＱＰ値の形態の実現された特性も互いにやり取りする。各ビットレート値及びＱＰ値が、ＢＣＭ３０によって全てのＤＳＰ１２ａ〜１８ａから受信された後に、各デジタル信号プロセッサ１２ａ〜１８ａが、同じアルゴリズムを実行して次のターゲットビットレートを計算する。このターゲットビットレート又は新しいビットレートは、レート制御パラメータとしてそれぞれのカメラＣ１〜Ｃ４によって取得された次の画像のエンコーディングステップで使用される。本発明のシステム及び方法は、新たに算定されたビットレートを使用することによって平均ＱＰ値を実質的に同じくさせる。この場合、画像の実質的に同じ特性が、保証され、ブロードバンド画像を実現する。この処理は、ビデオ会議の存続期間持続する。その結果、ステーション３６（図３）に表示されるブロードバンド画像の特性は、ネットワーク３４の帯域及びシステム１０の様々な要素が許す最高に可能な特性である。平均ＱＰ値は、符号化された画像に属する全てのマクロブロックの全てのＱＰ値を加算し、それをこの符号化された画像内のマクロブロックの数によって除算することによって計算される。新しいターゲットビットレートの計算は、画像をいろいろなビデオ規格でスライスと呼ばれるエンティティに符号化する間に複数のマクロブロックに対しても実行してもよい。この実行の場合、本発明の方法及びシステムの精度はより高くなり得るものの、計算需要はより低い。多数のフレームレートの逆数に対する新しいターゲットビットレートの計算間の時間間隔を増大させることも可能である。この場合、計算需要はより低い。平均ＱＰの形態のような特性測定は、最後の計算と現在の計算との間の時間間隔で符号化されたこれらの全てのマクロブロックを使用して常に実行される。
【００３１】
全てのエンコーダ１２〜１８（図２）が、実質的に同じＱＰ値を使用して作動するためには、以下の式及びアルゴリズムが、ＤＳＰ１２ａ〜１８ａによって利用される：
【００３２】
【数１】
2006520141.tif 000003
【００３３】
【数２】
2006520141.tif 000004
【００３４】
【数３】
2006520141.tif 000005
各エンコーダ１２〜１８が、式（１）にしたがう初期化後に式（２）及び（３）を適用することによって各カメラＣ１〜Ｃ４のエンコーダ１２〜１８によって取得された次の画像のエンコーディングステップで使用される新しいビットレートを生成する。新しいエンコーダレートが、式（２）〜（３）にしたがって算定又は計算される。この新しいビットレートを計算する時間間隔は、カメラＣ１〜Ｃ４に関連するフレームレートの逆数と同じに短くできる。
【００３５】
式（２）〜（３）は、カメラＣ１〜Ｃ４によって取得された全ての画像の平均歪みと実際の画像の歪み（Dprev(n)）との差を算定することによって各エンコーダ１２ａ〜１８ａに対する新しいビットレートＲ（ｎ）を計算する。この差は、式（２）中の「rate」として示された関数rateによって重み付けされて、ビットレートの差を計算する。このビットレートの差は、取得された画像に対する歪みの差を補正する。各エンコーダ１２〜１８に対するRtemp 値は、式（２）を適用することによって得られ、全てのＲ（ｎ）の和がターゲットビットレートＴを導くように式（３）を適用することによって規格化される。
【００３６】
この補正は、損失がなく、好ましくはハイブリッド符号器の原理にしたがう。各ビデオエンコーダＥ（ｎ）は、Ｄ（ｎ）として与えられる任意の時間に損失のある圧縮から生じる歪みを記録することができる。Ｄ（ｎ）は、ピークＳＮ比（ＰＳＮＲ），二乗差の和（ＳＳＤ），絶対差の和（ＳＡＤ）又はその他のあらゆる適切な手段の形態で計算されてもよい。Ｄ（ｎ）は、例えば符号化されたビデオの平均量子化係数を使用することによって特性表示として発見的方法で算定されてもよい。さらに各ビデオエンコーダＥ（ｎ）は、外部から提供された最大ビット数の下でピクチャーレートによって乗算された符号化された各画像に対する多数のビットをビットレートＲ（ｎ）に保持することができる。さらにｎ個のエンコーダＥ（ｎ）の完全なシステムが、最大ターゲットビットレートＴ、それ故にＴ≧ΣＲ（ｎ）に結びつく。すなわち、ターゲットビットレートＴは、任意の時点で全てのエンコーダビットレートＲ（ｎ）の和よりも大きくなってはならない。多数のビデオ画像を最適に伝送するこのシステムは、全てのエンコーダに対する歪みＤ（ｎ）が均等にされるように各エンコーダに対するエンコーダのビットレートＲ（ｎ）を（フレーム間隔の整数倍のような）一定の時間間隔で、（例えば、何時でも十分な処理出力が得られる）可変な時間間隔で又はユーザーインターフェースの入力によってトリガーされて調整する。この調整は、Ｒ（ｎ）の線形最適化を実行することによって実施される。
【００３７】
関数rateが、全ての画像内の一定な平均化動作とみなして数学的に正しい結果を常に生成する場合、第２ステップは不要である。この平均化動作は、規格化が不要であることを示している。しかしながら、しかしながら多数のカメラＣ１〜Ｃ４から構成された典型的なビデオ会議環境では、例えば取得された１つの画像に対するビットレートが変化するか又は突然より活動的になる時に、歪みが画像から画像にかけて変化し、全ての画像の平均ビットレート動作が一定でないことが普通である。明らかに関数Ｒ（ｎ）は、カメラＣ１〜Ｃ４によって取得された画像の内容に大きく依存する。しかしながら、一般に関数rateが内容に順応する関数であり、この場合に変化する画像の内容に適切に順応することを可能にすることは、高く評価すべきである。rate関数の実行は、例えばMitchell,J.L.,W.B.Pennebaker,C.E.Fogg and D.J.LeGall,"MPEG Video Compression Standard",in Digital Multimedia Standards Series, Chapman & Hall,New York,NY,1997;and Haskell,B.G.,A.Puri and A.N.Netravali,"Digital Video:An Introduction to MPEG-2,"ISBN:0-412-08411-2, Chapman & Hall,1997中に記された技術を利用して従来の方法で実施される。この技術は、ここでは引用例として記載されている。
【００３８】
画像４８〜５４（図３）にわたる希望の特性レベルを達成するために要求される多数の追加のビットが、エンコーダ１２〜１８によって採用されたビデオ圧縮技術によってだけではなくて、それぞれのエンコーダ１２〜１８によって符号化されるべき取得された画像２０〜２６の内容によっても変化する。関数rateは、カメラＣ１〜Ｃ４によって取得された画像の内容に類似する内容によって生成されたrate−歪み曲線とエンコーダ１２〜１８によって採用されたビデオ圧縮アルゴリズムとから導かれ得る。図１０は、rate−歪み曲線を示す。このrate−歪み曲線は、ビットレートが例えば約15Kbpsから約75Kbpsまで増えるにつれて歪みの除々の増大を示す。Rate−歪み曲線の（dBで測定された）ピーク信号ＳＮ比（ＰＳＮＲ）として示された特性レベルの関係並びに符号化された内容及び採用されたビデオ符号化規格に依存するＱＰ値は、ここではさらに説明する必要がない。
【００３９】
図４及び５中では、デジタル信号プロセッサ１２ａ〜１８ａで使用されるビットレート制御マネージャー（ＢＣＭ）３０の実施の形態が示されている。図示したように、ＢＣＭ３０は、ＱＰ値５８，６０，６２及び６４を各エンコーダ１２〜１８から受信する新規のビットレート計算機５６から構成される。ブロック６６によって概略的に示されたカメラＣ１〜Ｃ４からの前の画像の実際のビットレートも、ビットレート計算機５６によって受信される。ＢＣＭ３０は、上述した式（１）〜（３）を適用して新しいビットレートＮＢＷ１〜ＮＢＷ４又はターゲットＴを計算する。この新しいビットレートＮＢＷ１〜ＮＢＷ４又はターゲットＴは、エンコーダ１２〜１８のデジタル信号プロセッサ１２ａ〜１８ａによって受信される。この新しいビットレートは、カメラＣ１〜Ｃ４によって取得される次の画像セットに対して使用される。現在のビットレートは、常駐する（ＣＢＲ）レート制御アルゴリズム内へのパラメータとしてデジタル信号プロセッサ１２ａ〜１８ａによって使用され、Ｅｎ１〜Ｅｎ４  １２〜１８によって利用される。この新しいターゲットビットレートは、正しく計算された場合はエンコーダ１２〜１８によって生成されたＱＰ値を実質的に同じにする。この場合、画像が例えば並んで表示される時に、全ての画像に対する画像特性を実質的に同じにすることを保証する。
【００４０】
図５中では、本発明の処理及び方法がブロック７０で開始する。ビデオ会議が、ブロック７０で初期化される。ＢＣＭは、第１画像が符号化される前に初期化の間に適用される式（１）によって初期化される。ＢＣＭ３０は、ブロック７２で各エンコーダ１２〜１８に対して最後に取得された画像のビットレートを算定する。次いでＢＣＭ３０は、各エンコーダ１２〜１８に対して最後に取得された画像のＱＰ値を算定し（ブロック７４）、その後に各エンコーダ１２〜１８（図４中のブロック６６）に対して受信されたビットレート及びＱＰ値５８〜６４に応じて各エンコーダ１２〜１８に対して調整されたビットレートを計算する（ブロック７６）。ＢＣＭ３０は、ブロック７８で各エンコーダ１２〜１８に対して次に取得される画像のビットレートをセットする。ＢＣＭ３０によって受信されるデータが、複数のカメラＣ１〜Ｃ４によって取得された最後の画像に関連するデータであるかどうかが、決定ブロック８０で決定される。最後の画像に関連するデータである場合、ビデオ会議が終了する（図５中のブロック８２）。最後に関連するデータでない場合、ルーチンが、ブロック７２にループバックする。次に取得される画像に対するデータ及びビットレートが、このブロック７２で説明したように処理され得る。
【００４１】
本発明のシステム及び方法は、図６〜８及び関連する説明によってさらに示されている。説明を容易にするため、カメラＣ１，Ｃ２及びＣ４によって取得される画像は、会議中に変化しない（すなわち、対象物が動かない）と考える。その一方で、カメラＣ３によって取得される画像に関連するビットレートは、画像  （すなわち、図６中のフレーム２４）のフレーム画像の右手側に座っている参加者又は人が変化する点で変化する。何故なら、フレーム２４の（図６中に示されたような）右側の参加者が、腕を広げたまま座っている位置から立っている位置に移動するからである。図６中に示されたように、カメラＣ１〜Ｃ４が、示された画像を取得する。エンコーダ１２〜１８がそれぞれ、5Kbps,15Kbps,10Kbps 及び0Kbps の関連するビットレートを生成する。これらの値はそれぞれ、エンコーダ１２〜１８のデジタル信号プロセッサ１２ａによって受信される。これらの取得された画像は、説明を容易にするために（図５中のブロック７２で参照するように）「最後に取得された画像」とみなす。説明する図では、時間が零ミリ秒に等しいか又は図６中のビデオ会議の開始に等しいとみなす。図６中に示された説明では、取得されたフレーム２０〜２６内の画像が、移動又はフレーム２０〜２６に関連する新しいビットレートの結果として変化しないので、ビットレートが実質的に変化しない。したがって、エンコーダ１２〜１８のデジタル信号プロセッサ１２ａ〜１８ａはそれぞれ、これらのビットレートを受信し、レート制御アルゴリズムを使用し、図４及び５に対してここの先に説明したように新しいビットレート値を計算する。この新しいビットレート値は、実質的に同じである、すなわち説明した例中の12である。
【００４２】
しかしながら、フレーム２４内の参加者が、図７中に示したように座っている位置から立っている位置に起立する時に、ビットレートが変化する。ＢＣＭ３０のビットレート計算機５６（図４）が、最後に取得された画像（すなわち、5,15,10 及び0 ）に対するビットレートを使用して各エンコーダ１２〜１８に対するＱＰ値を受信する（ブロック７４）。レート制御アルゴリズムによって要求されるＱＰ値は、エンコーダ１２〜１８に対するＱＰ値がそれぞれ10,10,18及び10であるように劇的に変化する。このことは、遠隔ステーション３６で表示されたデータに対する画像の特性はエンコーダ１２，１４及び１８によって符号化されたデータに対して一般に改善される一方で、エンコーダ１６によって符号化されたデータから遠隔ステーション３６で表示された画像の特性はＱＰ値における量子化の差８（18−10）に起因して実質的に低下する。したがって、全ての画像４８〜５４から構成されたワイドバンド画像が互いに隣接して表示された場合、３番目のフレーム内に表示又は投影された画像は、その他の３つのフレームに対して実質的に劣っている。この結果は、従来の技術に関して最初に説明したものに対して一般的である。本発明のシステム及び方法では、ＱＰ値は数ミリ秒間だけ違って存在する。したがって、人の裸眼では感知できない。以下で説明をする。
【００４３】
カメラＣ１〜Ｃ４からの次の符号化されていない画像が、エンコーダ１２〜１８によって処理される時に、ＤＳＰ１２ａ〜１８ａが、符号化されていない画像を受信し、これらの画像を本発明にしたがって処理し、そして式（１）〜（３）及び図５中に示されたアルゴリズムを利用して新しいターゲットビットレートを計算する。この新しいターゲットビットレートは、各エンコーダＥＮ１〜ＥＮ４からのＱＰ値を実質的に同じにする。説明した図では、図８中に示されたように、時間が60ミリ秒に等しい場合、ビットレート決定器３０が、次のデータセットに対する各エンコーダＥＮ１〜ＥＮ４の新しいビットレートを計算する。その結果、ＱＰ値が、実質的に同じ（説明した例では13）になる。したがって本発明のシステム及び方法は、各エンコーダ１２〜１８に対して新しいビットを生成することによって各エンコーダに対する帯域の新しい配置を生成する。その結果、符号化されたデータが、表示のために遠隔ステーション３６に伝送される場合、エンコーダ１２〜１８によって符号化されたデータに関連するＱＰ値が実質的に同じである。注目すべきは、使用される全体で得られる帯域が変化せず、54(12+12+18+12) で開始して54(13+13+13+13) で終了する。
【００４４】
このシステム及び方法は、カメラＣ１〜Ｃ４のような複数の入力装置によって生成された複数のサブ画像から構成されたブロードバンド又はワイドバンド画像の画像特性を向上させることを有利に容易にする。データの全体的な改善又はロードバランシングが、ビデオ伝送システムの画像特性を実質的に最適にするか又は向上させ、そして全体のビデオ会議経験を向上させる。
【００４５】
図９は、Pleasanton,CA のPolycom Inc.から入手可能なエンコーダ・モデルＶＳ4000のような商業的に入手可能な複数のエンコーダ８０，８２，８４及び８６を示す本発明の別の実施の形態を示す。さらにこの実施の形態は、示されたＢＣＭ３０及びマルチプレクサ９０に関してここで最初に説明した特徴を有するビットレート制御マネージャー８８から構成される。図示した実施の形態では、各エンコーダＥｎ１〜Ｅｎ４８０〜８６が、ＩＰネットワーク・インターフェース９２を通じて制御される。このＩＰネットワーク・インターフェース９２は、イーサネット技術，その他のIEEE 802.xパケットネットワーク，シリアルリンク又はその他の適切なナットワーク技術に基づき、既知の簡単なネットワーク管理プロトコル（ＳＮＭＰ，ＲＦＣ３４１６）を実行する。ＩＰネットワーク・インターフェース９２は、ＳＮＭＰを実行し、符号化されたデータをエンコーダ８０〜８６からゲートウェイに出力する。このゲートウェイは、ＩＰネットワーク・インターフェース９０を広域ネットワーク（ＷＡＮ）９４並びに遠隔地点３６のデマルチプレクサ９６及びエンコーダ９８，１００，１０２及び１０４に接続している。
【００４６】
ＢＣＭ８８は、ＳＮＭＰを使用してＳＮＭＰ制御メッセージを送信し、ここで最初に説明した方法及びシステムを使用して全てのエンコーダ８０〜８６に対するターゲットビットレートをセットできる。
【００４７】
本発明のこの実施の形態では、ＢＣＭ８８は、一定の時間間隔で例えば10秒ごとに全てのエンコーダ８０〜８６の現在の状態をインターフェース９２を通じて要求する。ＢＣＭ８８は、ここで最初に説明したシステム及び方法を利用して、各エンコーダ８０〜８６に対する新しいターゲットビットレートを計算する。新しいビットレートが、各エンコーダ８０〜８６に対して計算された後に、ＢＣＭ８８は、ＳＮＭＰ制御メッセージを使用して各エンコーダ８０〜８６に対するこの新しいビットレートをやり取りする。
【００４８】
ここで説明したシステム及び方法並びにこれらのシステム及び方法を実施する装置の形態は、本発明の１つの実施の形態を構成する一方で、本発明は、これらの方法及び装置の形態に限定されず、特許請求の範囲に記載の本発明の範囲から離れることなしに変更してもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施の形態を示す概略図である。
【図２】第１ステーションの別の概略図である。
【図３】第２ステーション又は遠隔ステーションの概略図である。
【図４】本発明の実施の形態にしたがうビットレート制御マネージャーの概略図である。
【図５】本発明の１つの見方にしたがう方法の流れ図である。
【図６】本発明のさらなる特徴を示す図である。
【図７】第１組のビットレート及び量子化値を示す別の図である。
【図８】図７に類似するものの、本発明の特徴を利用した後のビットレート及び量子化値の別のフレームを示す。
【図９】本発明の別の実施の形態の図である。
【図１０】レート歪み曲線を示すグラフである。
【図１１】特性の悪い画像に起因して生じる変化する量子化サイズを示す従来の技術の図である。
【符号の説明】
【００５０】
１２〜１８  エンコーダ
３２  マルチプレクサ
３４  ネットワーク
３８  デマルチプレクサ
４０〜４６  デコーダ
４８〜５４  画像
【図１】
2006520141.tif 000009
【図２】
2006520141.tif 000010
【図３】
2006520141.tif 000011
【図４】
2006520141.tif 000012
【図５】
2006520141.tif 000013
【図６】
2006520141.tif 000014
【図７】
2006520141.tif 000015
【図８】
2006520141.tif 000016
【図９】
2006520141.tif 000017
【図１０】
2006520141.tif 000018
【図１１】
2006520141.tif 000019
【国際調査報告】
2006520141.tif 000020
2006520141.tif 000021
2006520141.tif 000022