(57)【特許請求の範囲】
【請求項１】
ビデオ・フレームの多重ストリームを処理する方法であって、  前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するために、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得するステップと、  前記ビデオ・フレームの相対複雑度を用いて、前記多重ストリームを並列に符号化するステップであって、前記相対複雑度の変化により、前記多重ストリームを適応的に符号化するステップと、  前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出するステップと  を含み、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するステップを含み、
前記適応的に符号化するステップが、前記相対複雑度の変化により、前記ビデオ・ストリームの多重ストリームを符号化するために、前記符号化するステップにより使用される少なくとも１つの符号化ビット・レートを調整するステップを含み、ビデオ・フレームの前記多重ストリームの少なくとも１つのために前記少なくとも１つの符号化ビット・レートを調整するステップが、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、方法。
【請求項２】
前記ピクチャ統計及び前記符号化統計の両方を使用し、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計を所定量により重み付けすることにより、前記多重ストリームを符号化するために前記符号化するステップにより使用される前記少なくとも１つの符号化ビット・レートを調整するステップを含む、請求項１記載の方法。
【請求項３】
前記重み付けするステップが、前記ピクチャ統計を５０％に、及び前記符号化統計を５０％に重み付けすることにより、前記多重ストリームの前記相対複雑度にもとづき、前記少なくとも１つの符号化ビット・レートを調整するステップを含む、請求項２記載の方法。
【請求項４】
前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記多重ストリームを適応的に符号化するステップを実行するステップを含み、前記符号化するステップが、前記シーン変化の検出に応じて新しいＧＯＰを開始するステップを含む、請求項１記載の方法。
【請求項５】
前記適応的に符号化するステップが、前記多重ストリームの前記ピクチャ統計及び前記符号化統計にもとづき、前記符号化するステップにより使用される少なくとも１つの符号化ビット・レートを調整するステップを含み、前記符号化するステップが多重圧縮ビデオ・ストリームを生成するものにおいて、前記方法が各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを含み、前記適応的に符号化するステップが、各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記少なくとも１つの符号化ビット・レートを変更するステップを含む、請求項１記載の方法。
【請求項６】
前記バッファの上限及び下限の保護帯域を事前に定義するステップを含み、前記バッファの充填度が前記バッファの上限または下限のいずれかの前記保護帯域内にある場合、前記少なくとも１つの符号化ビット・レートを変更するステップを含む、請求項５記載の方法。
【請求項７】
ビデオ・フレームの多重ストリームを処理する方法であって、  前記多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出するステップと、  前記ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するステップと、  前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記少なくとも１つの特性の相対変化に適応化するステップと、  前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出するステップと  を含み、前記符号化を適応化するステップが、前記符号化統計を前記ピクチャ統計と共に使用し、前記少なくとも１つのストリームの符号化を適応化するステップを含み、
前記少なくとも１つの制御可能な符号化パラメータが、少なくとも１つの符号化ビット・レートを含み、前記符号化を適応化するステップが、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、方法。
【請求項８】
前記符号化を適応化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用することにより、前記少なくとも１つのストリームの符号化に使用される、前記少なくとも１つの符号化ビット・レートを調整するステップを含む、請求項７記載の方法。
【請求項９】
前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの符号化ビット・レートを調整するステップを含む、請求項８記載の方法。
【請求項１０】
前記適応化するステップが、前記多重ストリームの符号化の開始時、及び前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含み、前記符号化するステップが、前記シーン変化の検出に応じて新しいＧＯＰを開始するステップを含む、請求項７記載の方法。
【請求項１１】
ビデオ・フレームの多重ストリームを処理するシステムであって、  前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、  各々が前記多重ストリームの１ストリームを受信し、符号化される前記ストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を生成する手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、  前記各符号器及び前記分析手段に接続され、前記多重ストリームを構成する前記ビデオ・フレームから導出される前記ピクチャ統計及び前記符号化統計にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置とを含み、
前記結合制御装置が、前記複数の符号器のうちの少なくとも１つの符号器によって使用される少なくとも１つの符号化ビット・レートを調整する手段を含み、前記調整が、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、システム。
【請求項１２】
ビデオ・フレームの多重ストリームを処理するシステムであって、  ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出する分析手段と、  各々が前記多重ストリームの１ストリームを受信し、少なくとも１つの符号化ビット・レートを用いて前記ストリームを符号化し、前記符号化の間に前記ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出する符号化手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、      前記各符号器及び前記分析手段に接続され、前記ピクチャ統計及び前記符号化統計から導出される相対情報にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置とを含み、
前記符号化の適応化が、前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの符号化ビット・レートの調整を含み、前記調整が、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、システム。
【請求項１３】
ビデオ・フレームの多重ストリームの処理をコンピュータに指示するためのプログラムを記録するコンピュータ読み取り可能な記録媒体であって、前記プログラムが、
（ｉ）前記ビデオ・フレームの多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するように前記コンピュータに指示し、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得する手段、 （ｉｉ）前記ビデオ・フレームの相対複雑度を用い、前記多重ストリームを並列に符号化するように前記コンピュータに指示し、前記ビデオ・フレームの前記相対複雑度の変化により、前記多重ストリームを適応的に符号化する手段、  （ｉｉｉ）前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出する手段であって、前記適応的に符号化する手段が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化する、手段、
（ｉｖ）前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの符号化ビット・レートを調整する手段であって、前記調整が、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、手段、
としてコンピュータを機能させる、媒体。
【請求項１４】
ビデオ・フレームの多重ストリームの処理を指示するためのプログラムを記録するコンピュータ読み取りな可能な記録媒体であって、前記プログラムが、 （ｉ）前記ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出する手段、 （ｉｉ）前記ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化する手段、 （ｉｉｉ）前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記相対情報の変化に適応化する手段、
（ｉｖ）前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出する手段であって、前記符号化を適応化する手段が、前記符号化統計を前記ピクチャ統計と共に使用し、前記ビデオ・フレームの少なくとも１つのストリームの前記符号化を適応化する、手段、としてコンピュータを機能させ、
（ｖ）前記少なくとも１つの制御可能な符号化パラメータが、少なくとも１つの符号化ビット・レートを含み、前記符号化を適応化するステップが、前記少なくとも１つのストリーム内の新しいフレームのグループ（ＧＯＰ）の開始に応じてのみ発生し、ビデオ・フレームの前記少なくとも１つのストリームに対して、前記符号化ビット・レートがそれぞれのＧＯＰ内で一定であり、ＧＯＰ間で可変である、媒体。
【請求項１５】
請求項１から１０のいずれかに記載の方法の各ステップをコンピュータに実行させるコンピュータ・プログラムを記録するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般にデジタル・ビジュアル・イメージの圧縮に関して、特に、ビデオ・データの多重ストリームを並列に動的に符号化し、一定ビット・レート・チャネル上に多重化する制御技術に関する。本制御技術は、各ビデオ・データ・ストリームに対する個々の符号化ビット・レートが、ビデオ・データの多重ストリームの相対複雑度に部分的にもとづき、動的に調整されることを可能にする。相対複雑度は部分的に、先読みアプローチを用いて評価され、そこではピクチャ統計が各ビデオ・データ・ストリームに対して、その符号化以前に決定される。
【０００２】
【従来の技術】
放送テレビジョン、通信ネットワーク、家電製品及びマルチメディア・コンピュータなどの業界における、様々なデジタル・ビデオ技術の出現は、急速に増えつつある。デジタル・ビデオ・アプリケーションのこの広範な利用は、デジタル情報の信号処理、編集及びデータ転送が、アナログ表現の処理に比較して、大変容易である事実により促進される。しかしながら、重要な点は、デジタル・ビデオはその普及を、近年デジタル・ビデオ圧縮のための作成された幾つかの規格に負っていることである。
【０００３】
デジタル・ビデオ圧縮ソルーションは、恐らく任意のデジタル・ビデオ・プラットフォームの最も重要な要素である。デジタル・ビデオは非圧縮形式では大量の情報を含むことがわかっているので、その操作、記憶及び伝送は、非常に時間を要し、高価となる。その結果、その内容の知覚品質を保存する一方、圧倒的なデータ量を低減するデジタル・ビデオ圧縮技術が考案された。互換のビデオ伸張方式が、データを再生のために圧縮解除するために使用される。
【０００４】
Moving Pictures and Expert Groupにより形成され、ＩＳＯ／ＩＥＣ１３８１８−２、"Information Technology - Generic Coding of Moving Pictures and Associated Audio Information： Video 1996"で述べられるＭＰＥＧ−２国際標準規格は、前述の業界のために、圧縮を標準化することを目的とする。ＩＳＯ  ＭＰＥＧ−２規格は、符号化ビットストリームの構文及び復号プロセスのセマンティクス（意味）を指定する。しかしながら、符号化パラメータの選択、及び性能対複雑度のトレードオフが、符号器開発者には残される。
【０００５】
ＭＰＥＧ−２符号化システムの効率は、固定通信帯域幅上で伝送される、またはデジタル媒体に記憶される知覚ビデオの精度により評価される。デジタル衛星システムなどの一部のアプリケーションでは、複数の番組が単一の大規模ストリームに多重化されて同報され、ＭＰＥＧ−２符号器のバンクが、全ての番組をモニタ及び符号化するために使用される一方で、受信チャネルの品質を維持しようとする。ＭＰＥＧ−２ストリームは非同期転送モード（ＡＴＭ）・ネットワークにおいて、固定通信帯域幅または動的帯域幅のいずれかにより送信される。
【０００６】
直接放送衛星（ＤＢＳ）アプリケーションなどの典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリーム（すなわち番組）が、単一一定ビット・レート・チャネル上に多重化される。残念ながら、所定の一定ビット・レートでの各番組の符号化は、時間の経過に伴う番組のシーン内容の変化により、ピクチャ品質の劣化を生じ得る。ビデオ・ソースが異なる符号化を施されたり、異なるピクチャ・グループ（ＧＯＰ）構造を有する場合など、符号器の作用が時間的に整列されない場合、問題は一層複雑になる。
【０００７】
【発明が解決しようとする課題】
使用可能な帯域幅を番組間で動的に分配することにより、システムの全体的なビデオ品質を最適化する多重番組圧縮技術が待望される。本発明は、符号化プロセスの間に、個々の符号器を動的に制御する結合レート制御技術を使用することにより、こうした技術を提供する。
【０００８】
【課題を解決するための手段】
要するに、１態様では、本発明の原理に従い、ビデオ・フレームの多重ストリームを処理する方法が提供される。この方法は、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を決定するにおいて、多重ストリームの符号化以前に、ビデオ・フレームの相対複雑度に関するピクチャ統計を獲得するステップと、ビデオ・フレームの相対複雑度を用いて、ビデオ・フレームの多重ストリームを並列に符号化するにおいて、ビデオ・フレームの相対複雑度の変化により、多重ストリームを適応的に符号化するステップと、符号化の間に、ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出するステップとを含み、適応的に符号化するステップが、ピクチャ統計及び符号化統計の両方を使用し、ビデオ・フレームの多重ストリームを適応的に符号化するステップを含む。
【０００９】
別の態様では、ビデオ・フレームの多重ストリームを処理する方法が、多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出するステップと、ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、多重ストリームを並列に符号化するステップと、多重ストリームから獲得されるピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、多重ストリームの符号化を少なくとも１つの特性の相対変化に適応化するステップと、符号化の間に、ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出するステップとを含み、適応化するステップが、符号化統計をピクチャ統計と共に使用し、ビデオ・フレームの少なくとも１つのストリームの符号化を適応化するステップを含む。
【００１０】
更に別の態様では、ビデオ・フレームの多重ストリームを処理するシステムが提供される。このシステムは、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、ビデオ・フレームの多重ストリームを並列に符号化する複数の符号器とを含む。各符号器は、ビデオ・フレームの多重ストリームの１ストリームを受信する。複数の符号器の各々は、符号化されるビデオ・フレームのストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を生成する手段を含む。システムは更に、各符号器及び分析手段に接続され、多重ストリームを構成するビデオ・フレームから導出されるピクチャ統計及び符号化統計にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置を含む。
【００１１】
更に別の態様では、本発明はビデオ・フレームの多重ストリームを処理するシステムを含む。このシステムは、ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出する分析手段を含む。複数の符号器が多重ストリームを並列に符号化するために提供され、各符号器が少なくとも１つの制御可能な符号化パラメータを使用し、ビデオ・フレームのストリームを符号化する。複数の符号器は、符号化の間にビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出する符号化手段を含む。システムは更に、各符号器及び分析手段に接続され、ピクチャ統計及び符号化統計から導出される相対情報にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置を含む。符号化の動的な適応化には、少なくとも１つのストリームの符号化に使用される、少なくとも１つの制御可能な符号化パラメータの調整が含まれ、多重ストリームの符号化が、相対情報の変化に適応する。
【００１２】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、ビデオ・フレームの多重ストリームを分析し、多重ストリームを構成するビデオ・フレームの相対複雑度を決定するようにコンピュータに指示し、多重ストリームの符号化以前に、ビデオ・フレームの相対複雑度に関するピクチャ統計を獲得する手段と、ビデオ・フレームの相対複雑度を用い、ビデオ・フレームの多重ストリームを並列に符号化するようにコンピュータに指示し、ビデオ・フレームの相対複雑度の変化により、多重ストリームを適応的に符号化する手段と、符号化の間に、ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出するようにコンピュータに指示する手段とを含み、適応的に符号化する手段が、ピクチャ統計及び符号化統計の両方を使用し、ビデオ・フレームの多重ストリームを適応的に符号化するように、コンピュータに指示する手段を含む。
【００１３】
更に別の態様では、ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む製造物が提供される。製造物内のコンピュータ読出し可能プログラム・コード手段が、ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出するように、コンピュータに指示する手段と、ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、多重ストリームを並列に符号化するようにコンピュータに指示する手段と、多重ストリームから獲得されるピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、多重ストリームの符号化を相対情報の変化に適応化するように、コンピュータに指示する手段と、符号化の間に、ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出するように、コンピュータに指示する手段とを含み、適応化するようにコンピュータに指示する手段が、符号化統計をピクチャ統計と共に使用し、ビデオ・フレームの少なくとも１つのストリームの符号化を適応化するようにコンピュータに指示する手段を含む。
【００１４】
再度述べると、本発明は、例えばＭＰＥＧ−２互換ビデオ符号器などを使用し、幾つかのビデオ番組を並列に符号化する、統計的多重化のためのシステム・ソルーションを提供する。符号器間でビット・レートを動的に割当てる結合レート制御技術が提供される。各符号器のビット・レートは、例えば番組の相対複雑度、及び符号化される番組内で発生するシーン変化にもとづき決定される。相対複雑度は、特定のピクチャの符号化以前に獲得される"イメージ統計"、または特定のピクチャの符号化の結果獲得される"符号化統計"のいずれか一方、または両方を用いて評価される。従って、イメージ統計が、まだ符号化されていない現ピクチャを特徴付ける一方、符号化統計が、符号化された先行ピクチャに関する情報を提供する。
【００１５】
２つのタイプの統計から、多重ビデオ・ストリーム間のビット・レートの改善された割当てが達成される。更に、始動時及びシーン変化時の先読み処理が、新たなシーンの履歴の欠如にも関わらず、正確なビット・レート分配を可能にする。例えば、純粋なフィードバック・アプローチにおいて必要な所定の固定ビット・レートを使用する代わりに、符号化の開始時に、ビデオ・ソースのシーン内容にもとづき、チャネル・ビット・レートが符号器間で適応的に分配され得る。また、純粋なフィードバック・アプローチは不可避の遅延を要求するのに対して、先読み処理は、シーン変化に対する迅速な反応を可能にする。
【００１６】
ビデオ・ソースの符号化が、各符号器内において、同一のＧＯＰ構造及びＧＯＰ長を要求するように制限されない。有利な点として、各符号器はそのビット・レートをＧＯＰ境界において変更できる一方、ＧＯＰ内では一定ビット・レートで作用する。全体として、この技術は区分的に一定であるが可変ビット・レートの圧縮をもたらす。符号器が異なるＧＯＰ長及び構造で作用でき、異なる時刻に符号化できる。従って、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きいかまたは小さい場合、時間間隔が存在し得る。更に、この技術は、シーン変化に対して提案され、システムのシーン変化に対する迅速な反応を保証することにより、ピクチャ品質を改善する。
【００１７】
【発明の実施の形態】
【数１】
0004346732.tif 000002
は、本明細書ではバーＸと記載する。
【００１８】
簡単に前述したように、本発明は複数のビデオ符号器を用い、ビデオ番組の多重ストリーム（例えばチャンネル）を並列に符号化するための統計的多重化制御技術に関する。符号器（ＭＰＥＧ準拠の符号器、及び前述のＭＰＥＧ−２国際標準規格で述べられるような符号化プロセスを含み得る）の間で、ビット・レートを動的に割当てる外部結合レート制御技術が使用される。各符号器のビット・レートは、番組の相対複雑度にもとづき決定され、番組内のシーン変化及びＧＯＰ境界において調整が行われる。提案される技術は、ピクチャ統計及び符号化統計のいずれか一方または両方を使用し、相対複雑度を決定する。ここで使用される"ピクチャ統計"または"イメージ統計"は、まだ符号化されていないピクチャを先取り及び評価することにより、ピクチャの少なくとも１つの特性に関して収集される情報を指し示す。従って、本技術のこの態様は、先読みアプローチと呼ばれる。"符号化統計"は、ピクチャの符号化に応じて生成され、次のピクチャの符号化のためにフィードバックされる、前述の特許出願で述べられる統計を含む。従って、符号化統計はピクチャ複雑度の履歴指示を提供する。更にここで述べられるように、本発明は選択的に、例えば符号化の開始時に、またはあるビデオ・データ・ストリーム内でシーン変化が生じる都度、ピクチャ統計だけを使用するか、或いはピクチャ統計と符号化統計の組み合わせを所与の関係において使用する。図１及び図２は、本発明に従うシステム内で使用される１つのビデオ符号器の動作を示す。
【００１９】
説明のために、ＭＰＥＧ準拠符号化の一般的なフロー図を図１に示す。フロー図において、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイメージが処理され、動きベクトルを生成する。動きベクトルは、前の及び（または）後のピクチャ内で画素のマクロブロックが存在する場所を予測する。動きベクトルの使用は、ＭＰＥＧ規格における時間圧縮の主要な面である。図１に示されるように、一旦生成されると、動きベクトルは、ｉ番目のピクチャからｉ＋１番目のピクチャへの、画素のマクロブロック（ＭＢ）の変換のために使用される。
【００２０】
図１の符号化プロセスでは、ｉ番目のピクチャ及びｉ＋１番目のピクチャのイメージが符号器１１内で処理され、動きベクトルが生成される。続くピクチャの入力イメージ１１１が、符号器１１の動き推定ユニット４３に入力する。動きベクトル１１３が動き推定ユニット４３の出力として形成される。これらのベクトルは動き補償ユニット４１により、先行及び（または）将来のピクチャから、"基準"データと呼ばれるマクロブロック・データを、このユニットの出力として取り出すために使用される。動き補償ユニット４１の１出力が、動き推定ユニット４３からの出力から減算され、離散コサイン変換器（ＤＣＴ）２１に入力される。離散コサイン変換器２１の出力は、量子化器２３内で量子化される。量子化器２３の出力は２つの出力１２１及び１３１に分割され、一方の出力１２１はラン・レングス符号器などの下流の要素２５に送られ、圧縮及び処理された後に伝送される。他の出力１３１は、画素の符号化マクロブロックの復元を通じて、フレーム・メモリ４２に記憶される。図示の符号器では、この第２の出力１３１は逆量子化２９及び逆離散コサイン変換３１を通じて、差分マクロブロックの有損失バージョンを再構成する。このデータは動き補償ユニット４１の出力と加算され、原ピクチャの有損失バージョンをフレーム・メモリ４２に返却する。
【００２１】
図２に示されるように、３つのタイプのピクチャが存在する。"イントラ・ピクチャ"または"Ｉ"ピクチャは、独立に符号化されて伝送され、動きベクトルの定義を必要としない。これらの"Ｉ"ピクチャは動き推定のための基準イメージとして作用する。"予測ピクチャ"または"Ｐ"ピクチャは、先行ピクチャからの動きベクトルにより形成され、将来のピクチャの動き推定のための基準イメージとして作用する。最後に、"双方向ピクチャ"または"Ｂ"ピクチャは、２つの他のピクチャ、すなわち過去と将来のピクチャからの動きベクトルを用いて形成され、動き推定のための基準イメージとしては作用しない。
【００２２】
様々なピクチャ・タイプが符号器１１により、幾つかのステップにおいて量子化される。第１に、ピクチャ・タイプに固有の量子化マトリックスが、８×８ＤＣＴブロックに適用される。低周波数係数が重要視されるように、マトリックスの要素（重み）が選択される。これらの係数はより多くの情報を含み、ピクチャの知覚品質により大きく寄与する。次に、イメージの局所的なアクティビティ、ピクチャ・タイプの複雑度、及びバッファ充填度にもとづき、量子化スケーリング・ファクタが計算される。この指標は、ピクチャに割当てられるビット数及びその知覚品質に直接関連付けられる。実際のビット数は、ＭＰＥＧ−２規格において定義されるプロシージャに従い、最初に各ＤＣＴブロックを走査し、次に量子化済み係数を一緒にグループ化することにより獲得される。各グループは、ハフマン・ルックアップ・テーブルを用いることにより、固有の可変長コード（ＶＬＣ）によりエントロピ符号化される。差分パルス符号変調（ＤＰＣＭ）（動きベクトルの符号化に類似）及び一様量子化を用いて、ＤＣ係数が符号化される。
【００２３】
エントロピ符号器の出力は、エントロピ復号器に入力される。復号器の出力は、逆走査、逆量子化、及び逆離散コサイン変換を通じて、損失のある差分マクロブロックを再構成する。次に、復号されたピクチャが既知のように、遅延を通じて動き推定及び（または）動き補償に渡される。
【００２４】
ＭＰＥＧ−２符号器の動作機能については、１９９７年４月１日付けの米国特許出願第０８／８３１１５７号で詳述されている。一定ビット・レート（ＣＢＲ）符号化方式及び可変ビット・レート（ＶＢＲ）符号化方式の基本が、１９９８年３月１９日付けの米国特許出願第０９／０４４６４２号で、ピクチャ・グループ（ＧＯＰ）またはフレームに関連して詳述されている。更に、後述のようなイメージ統計を使用するフレーム・シーケンスの適応符号化が、１９９８年３月２０日付けの米国特許出願第０９／０４６１１８号で詳述されている。
【００２５】
前記の情報を背景として、本発明の原理に従う統計的多重化及びレート制御技術について、図３乃至図５を参照しながら説明することにする。
【００２６】
典型的な統計的多重化システムでは、幾つかのビデオ・ビットストリームが単一一定ビット・レート・チャネル上に多重化される。あいにく、所定の一定ビット・レートでの各番組の符号化は、時間に伴うシーン内容の変化により、ピクチャ品質の劣化を招き得る。従って、本発明に従う多重番組圧縮の根底の目的は、使用可能な帯域幅を番組間で動的に分配し、システムの全体的なビデオ品質を最大化することである。これは個々の符号器を制御する結合レート制御アルゴリズムを用い、全ての番組のピクチャ品質を等しくすることに対応する。本発明はビデオ・ソースの相対シーン内容に従い、符号器の間でビット・レートを割当てる一方、固定チャネル・ビット・レートの要求を満足するものである。
【００２７】
より詳細には、ＭＰＥＧ−２互換のビデオ符号器を使用し、幾つかのビデオ番組を並列に符号化する、統計的多重化のためのシステム・ソルーションが提供される。符号器間で動的にビット・レートを割当てる外部結合レート制御アルゴリズムが述べられる。各符号器のビット・レートは、番組の相対複雑度及び番組内のシーン変化にもとづき決定される。本発明に従うシステム及び方法は、各符号器内で同一のＧＯＰ構造またはＧＯＰ長を要求しない。各符号器は結合レート制御に従い、ＧＯＰ境界においてそのビット・レートを変更する一方、ＧＯＰ内では一定ビット・レートで作用する。全体として、この技術は区分的に一定な可変ビット・レート圧縮をもたらす。実験結果によれば、本発明に従う多重番組ビデオ圧縮システムは、シーン変化に高速に応答して、良好なピクチャ品質をもたらす。更に、市販のＭＰＥＧ−２符号器チップがこのシステムにおいて、成功裡に使用され得る。
【００２８】
基本的に、結合レート制御のために２つの異なるアプローチが使用され、それらはフィードバック・アプローチと先読みアプローチである。フィードバック・アプローチでは、統計が符号器により符号化プロセスの副産物として生成される。これらの符号化統計が次に、続くピクチャに対するビット割当てを部分的に制御するために使用される。先読みアプローチでは、符号化の前に、統計がプリプロセッサにより計算され、次にこれらのイメージ統計がピクチャの符号化の前に、ビット・レートを調整するために使用される。いずれのアプローチでも、番組の複雑度を示す最適な統計を見い出すことが、課題となり得る。フィードバック・アプローチでは、統計は主として、符号化に関係する量に限られる。先読みアプローチはより大きな自由度を有するが、計算が複雑になったり、追加の装置が必要になったりする。
【００２９】
いずれか一方のまたは両方のアプローチを使用することにより、結合レート制御アルゴリズムが各ピクチャのビット・レートを計算し、個々の符号器の各々に対する全体レート制御を実行する。これは可変ビット・レート符号化をもたらす。通常、こうしたレート制御アルゴリズムは大抵、各符号器内で同一のＧＯＰ構造を要求するが、これは現実とかけ離れている。符号器は異なるＧＯＰ長及び構造において動作することができ、また動作する。
【００３０】
本発明によれば、先読みアプローチ及びフィードバック・アプローチの両方を使用し、符号器のビット・レートを動的に割当てる、統計的多重化のためのソルーションが開示される。レート制御技術が番組の相対複雑度にもとづき、符号器間でチャネル・ビット・レートを分配する。番組の複雑度が、圧縮ビットストリームと共に、プリプロセッサにより生成されるピクチャ統計、及び符号器により生成される符号化統計を用いて決定される。或いは、当業者であればここでの議論から明らかになるように、事前処理機能を組み込むことにより、符号器がピクチャ統計及び符号化統計の両方を生成するように変更され得る。
【００３１】
結合レート制御アルゴリズムにより、各ピクチャのターゲット・ビット・レートを計算する代わりに、ＧＯＰ境界において、またはシーン変化が発生する場合、ビット・レートが変更される。この技術は、符号器がＧＯＰ内において一定ビット・レートで動作することを可能にし、区分的に一定の可変ビット・レート圧縮をもたらす。符号器は同一のＧＯＰ構造を有する必要がなく、すなわち、ＧＯＰ境界が各符号器内で異なる時刻に発生し得る。符号器の異なるＧＯＰ構造のため、チャネル・バッファ及び対応するバッファ制御フィードバック・ループが、本発明に従いシステム内に組み込まれる。シーン変化に際して、ＧＯＰ構造を動的に変更し、十分なビット・レート変化を可能にすることにより、迅速な反応が保証される。本システム及び方法は、例えばＩＢＭの単一チップＭＰＥＧ−２ビデオ符号器（部品番号：ＩＢＭ３９  ＭＰＥＧＳ４２２  ＰＢＡ  １７Ｃ）を用いて実現され得る。
【００３２】
下記のセクション１は、本発明に従う多重番組ビデオ圧縮システムについて述べる。セクション２では、本発明の結合レート制御技術について、またセクション３では、シーン変化の場合の結合レート制御技術について述べる。セクション４では、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について述べる。セクション５では、市販の単一チップＭＰＥＧ−２符号器の、本システムにおける可能な使用について述べる。また、プロセスの概要がセクション６で述べられる。
【００３３】
１．多重番組ビデオ圧縮システム：
図３は、本発明のアプローチを使用し、幾つかの番組（ソース１、ソース２、．．．、ソースｎ）を並列に符号化する多重番組ビデオ圧縮システム２００を示す。システム２００は、幾つかのプリプロセッサ２０５（プリプロセッサ１、プリプロセッサ２、プリプロセッサ３、．．．、プリプロセッサｎ）を含み、各々は幾つかの番組の対応する１つを受信し、ビデオ・フレームのそれぞれのストリームを並列に分析し、そこから例えば平均ピクチャ・アクティビティを表すピクチャ統計を導出する。
【００３４】
システム２００はまた、幾つかのＭＰＥＧ−２ビデオ符号器２１０と、符号器２１０に接続される個々のバッファ２２０と、結合レート制御装置２３０と、マルチプレクサ２４０と、チャネル・バッファ２５０とを含む。符号器の各々は、それぞれの遅延番組（遅延ソース１、遅延ソース２、遅延ソース３、．．．、遅延ソースｎ）を受信し、符号化する。遅延はプリプロセッサ２０５が後述の分析を実行できるように、十分に確保される。別の実施例では、要求に応じて、ピクチャ統計生成機能がＭＰＥＧ−２符号器２１０内に組み込まれる。各符号器２１０はまた、丁度符号化されたばかりのピクチャに関する符号化統計を生成する。これらの符号化統計は、ピクチャ統計と共に、結合レート制御アルゴリズム２３０への入力パラメータとなり、アルゴリズム２３０が後述のように、各個々の符号器のビット・レートを動的に計算する。
【００３５】
提案されるシステム２００では、各符号器２１０のビット・レートが、番組（ソース１、ソース２、．．．、ソースｎ）の相対複雑度と、対応する番組内のシーン変化の発生とにもとづき決定される。符号器は好適には、ＭＰＥＧ−２規格に互換のビットストリームを生成する。シーン変化検出は通常、符号器２１０の内部または外部のいずれかにおいて実行され得る。各符号器はそのビット・レートを結合レート制御装置２３０に従い、ＧＯＰ境界またはシーン変化において変更する。このことは符号器がＧＯＰ内では、ＭＰＥＧ−２規格に従うＣＢＲビデオ・バッファ検証器モデルを使用し、一定ビット・レート（ＣＢＲ）で動作することを可能にする。全体として、この技術は区分的に一定の可変ビット・レート圧縮をもたらす。
【００３６】
ビデオ・ソースの符号化が各符号器内で、同一のＧＯＰ構造またはＧＯＰ長を有するように制限されない。ＧＯＰ境界は各符号器内で異なる時刻に発生し得、ビット・レート変化はＧＯＰ境界においてのみ有効となるので、チャネル・バッファ２５０は、チャネル・レートの可能なオーバーフローまたはアンダーフローを補償するために使用される。チャネル・バッファ制御フィードバック２５５もまた、結合レート制御アルゴリズム２３０に組み込まれ、チャネル・バッファ２５０のオーバーフローまたはアンダーフローを阻止する。
【００３７】
本発明の以下の説明では、結合レート制御技術、チャネル・バッファの最小サイズの決定、及び対応するチャネル・バッファ制御について詳述する。
【００３８】
２．結合レート制御：
ここで述べる結合レート制御技術は先読みとフィードバックの結合概念にもとづき、そこでは統計が符号化以前（ここでは"ピクチャ統計"）、並びに符号化の間（"符号化統計"）に生成される。これらの統計が、チャネル・バッファ２５０の充填度に関する情報と共に、結合レート制御装置２３０に供給される。レート制御技術は、符号化プロセスの間に個々の符号器を制御し、番組の相対複雑度に従い、番組間で使用可能な帯域幅を動的に分配する。番組の相対複雑度は、ピクチャ統計及び符号化統計にもとづき決定される。
【００３９】
フレームのピクチャ・シーン内容に関連する情報が、例えばフレームの平均アクティビティとして推定される。それはフレーム全体に渡り、平均マクロブロック・アクティビティとして計算される。ピクチャの符号化以前に、幾つかのフレームの平均アクティビティを計算することは、結合レート制御アルゴリズムにおいてルックアヘッドすなわち先読みを生成する。前述のように、平均アクティビティが符号器の内部で、または事前処理ユニット（例えば図３のプリプロセッサ）により計算され得る。番組の符号化複雑度が、各符号器により符号化プロセスの副産物として生成される符号化統計を用いて推定される。例えば、符号化複雑度は、ピクチャを符号化するために使用されるビットと、ピクチャに対して使用される平均量子化パラメータとにもとづき決定される。
【００４０】
ピクチャ及び符号化複雑度を使用することにより、符号器のビット・レートが２つの比率の加重合計に比例すると仮定される。一方の比率は、その番組の符号化複雑度と、全ての番組の符号化複雑度の合計との比率であり、他方の比率は、幾つかのフレーム先読みを使用するその番組の平均アクティビティと、全ての番組の平均アクティビティの合計との間で計算される。シーン変化が発生する場合、または符号化の開始時には、番組の複雑度は好適には、平均フレーム・アクティビティ（すなわちピクチャ統計）だけにもとづき決定される。シーン変化が発生しない場合には、ピクチャ統計比率及び符号化統計比率が所定の関係において、例えば等しい重み付けで使用される。本発明に従う結合レート制御技術の１実施例について、次に述べることにする。
【００４１】
フレームのピクチャ・シーン内容に関連する情報が、フレームの平均アクティビティとして決定される。最初に、フレーム内の各マクロブロックのアクティビティが、次のように推定される。
【数２】
0004346732.tif 000003
【００４２】
ここでｌｕｍ（ｉ、ｊ）は画素（ｉ、ｊ）の輝度値であり、バーｌｕｍはマクロブロックの平均輝度値である。フレームの平均アクティビティは、マクロブロック・アクティビティをフレーム全体に渡り平均することにより、次のように決定される。
【数３】
0004346732.tif 000004
【００４３】
ここでＮＭＢはフレーム内のマクロブロックの数である。
【００４４】
幾つかのフレームの先読みは、式１）及び式２）を使用することにより、結合レート制御アルゴリズムに組み込まれる。例えば、我々の実験では、ピクチャの符号化以前に、４つのフレームの平均アクティビティを計算した。
【００４５】
番組の符号化複雑度は、Boroczkyらによる米国特許出願第０９／０８７６０３号、"Control Strategy For Dynamically Encoding Multiple Streams Of Video Data In Parallel For Multiplexing Onto A Constant Bit Rate Channel"で提案されるように推定される。ピクチャ複雑度の決定は、ＭＰＥＧ−２テスト・モデル５で提案されるものと類似の使用ビット生成モデルにもとづく（１９９３年４月付けのISO/IEC JTCI/SC29/WG11 N0400、"Test Model 5"を参照のこと）。番組ｉの符号化複雑度は次のように決定される。
【数４】
0004346732.tif 000005
【００４６】
ここでｆiは番組ｉのフレーム・レートであり、Ｎiは番組ｉのＧＯＰ内のピクチャの数であり、ｂijはピクチャｊを符号化するために使用されるビットであり、Ｑijはピクチャｊの平均量子化パラメータである。
【００４７】
ピクチャ及び符号化複雑度を使用することにより、符号器ｉのビットレートＲiが、次のように決定される。
【数５】
0004346732.tif 000006
【００４８】
ここでＲcはチャネル・ビットレート、Ｘiは符号化複雑度、バーａｃｔｉｖiは番組ｉの平均アクティビティであり、後者は我々の実験では、４つのフレーム・アクティビティの平均として計算される。パラメータαは、符号化の開始時またはシーン変化発生時には、０として選択される。それ以外では、その値は０．５であり、これは実験的に決定されたものである。従って、シーン変化時または開始時には、番組の複雑度は平均フレーム・アクティビティだけにもとづき決定される。シーン変化が発生しない場合、ピクチャ統計及び符号化統計が等しい重み付けで使用される。
【００４９】
シーン変化が発生する場合、現ＧＯＰが早まって終了され、新たなＧＯＰが新たなシーン開始として即時開始する。旧シーンの最後のピクチャがＢピクチャの場合、新旧のシーン・ピクチャ間の参照を阻止するために、後方予測が禁止される。また、前述の米国特許出願で提案されるバッファ充填度誤差技術が、このアプローチにおいて使用される。
【００５０】
番組複雑度の関係により、たとえシーン変化が番組内において発生しなかった場合にも、ビット・レート変化がその番組内の任意のＧＯＰ境界において発生し得る。ビット・レート変化がシーン・カットの無い番組内で余りに突然発生する場合、たとえシステムの総品質が改善されても、ピクチャ品質はＧＯＰ間で多大に変化し得る。この状況を阻止するために、ビット・レート変化がＧＯＰ境界上で制限されるが、シーン変化では、好適には制限は課せられない。例えば、シーン変化が発生しない場合、ＧＯＰ境界における先行ビット・レートに対する１０％の変化が許容され得る。シーン・カットが発生する場合、ビット・レート変化に対する制限は存在しない。
【００５１】
３．シーン変化における結合レート制御：
既に、符号器がＧＯＰ内ではＣＢＲモードで動作し、各符号器がＣＢＲビデオ・バッファ検証器モデルを使用することについて述べた。バッファ・アンダーフローまたはオーバーフローは許可されない。例えば、ＣＢＲレート制御アルゴリズムの目標は、ＧＯＰの終りにおけるバッファ充填度が、初期バッファ充填度（例えばバッファ・サイズの８０％）と同一であることを保証することである。しかしながら、これはターゲット・ビット・バジェットと１ピクチャにつき使用される実際のビットとの不一致により、常に当てはまる訳ではない。ＧＯＰ内のビットの過剰生成または過小生成により、バッファ充填度はそれぞれ初期レベルを下回ったり、上回ったりする。かなり大きなバッファ充填度誤差が累積し得る。この誤差は持ち越され、次のＧＯＰ内で補償されるように試行される。このレート制御は、ＧＯＰ境界においてビット・レート変化がほとんど発生しないか、全く発生しない場合、良好に作用する。しかしながら、ビット・レート変化がシーン変化などにおいて突然発生する場合、本発明に従うバッファ充填度誤差（ＢＦＥ）技術が、ピクチャ品質を改善するために適用される。
【００５２】
シーン変化が発生する場合、バッファ充填度誤差がシーン変化後の新たなＧＯＰの開始において、０と見なされる。各符号器に接続されるバッファのアンダーフローまたはオーバーフローを阻止するために、式４）により計算されたビット・レートが次のように変更される。
【数６】
Ｒimod＝Ｒi＋Ｅ・ｆi／Ｎi                              ５）
【００５３】
ここでＲiは式４）に従い、番組ｉに対して計算されたビット・レート、Ｅはバッファ充填度誤差ビット、ＮiはＧＯＰ内のピクチャの数、及びｆiは番組ｉのフレーム・レートである。バッファ充填度誤差Ｅが正の場合（ＧＯＰの開始におけるバッファ充填度が初期値よりも小さい）、番組のビット・レートは増加され、Ｅが負の場合、番組のビット・レートは減少される。ＧＯＰ内のレート制御のために、初期バッファ充填度は、例えばバッファ・サイズの８０％を使用する代わりに、先行ＧＯＰの終りにおけるバッファ充填度と見なされる。ＢＦＥ技術は、シーン変化後のピクチャ品質を改善する。
【００５４】
４．チャネル・バッファ・サイズ及びフィードバック制御：
符号器が異なるＧＯＰ長及び構造にて動作可能であること、または異なる時刻に符号化を開始し得る事実により、個々のビット・レートの総和が所定チャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。これを改善するため、チャネル・バッファが要求され、正確にチャネル・ビット・レートでビットストリームを出力する。このバッファに関連して、２つの問題が考慮されなければならない。それらはバッファの最小サイズの決定と、チャネル・バッファ・アンダーフロー及びオーバーフローを阻止するための制御技術である。
【００５５】
チャネル・ビット・レートからの最大合計偏差がΔＲmaxであり、最悪の場合として、この偏差の最大期間が、符号器間の最長ＧＯＰ時間と同じであると仮定する。この場合、チャネル・バッファの要求最小サイズは次のように決定される。
【数７】
Ｂs＝２・ΔＲmax・ｔｇｏｐmax                          ６）
【００５６】
ここでΔＲmaxはΣＲi−Ｒc、ｔｇｏｐmaxは最大ＧＯＰ時間である。
【００５７】
式６）では、係数２が使用されている。なぜなら、チャネル・ビット・レートの過小生成及び過剰生成が仮定され、バッファが最初にこのサイズＢsの半分まで充填され、その後、Ｒcのレートでビットを連続的に出力するからである。この場合、初期遅延は、バッファをそのサイズの半分まで充填するために要求される時間に対応する。例えば、チャネル・バッファ・レートが１６Ｍビット／秒、ΔＲmaxが８Ｍビット／秒、及びｔｇｏｐmax＝０．５秒の場合、３０フレーム／秒のフレーム・レートでの最小バッファ・サイズは８Ｍビットで、対応する初期遅延は０．２５秒である。統計的多重化システムにおいて、式６）により決定されるよりも小さなチャネル・バッファが所望される場合、チャネル・ビット・レートからの最大合計偏差は、それに従い制限されなければならない。
【００５８】
チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・モデル（図４参照）が好適には使用される。チャネル・バッファ・モデルは、バッファの頂部及び底部に所定の保護帯域を含む。これらの保護帯域はビット・レートの分配を調整するために使用される。アンダーフロー及びオーバーフローを阻止するために、任意の時刻におけるバッファ充填度Ｂfが次の条件を満足しなければならない。
【数８】
０＜Ｂf（ｔ）＜Ｂs                                     ７）
【００５９】
パラメータ'ａ'が保護帯域のサイズを決定し、例えば０．２５として選択される。
【００６０】
実際のバッファ充填度Ｂfに応じて、区別可能な３つのケースが存在する。これらのケースについて、対応するビット・レートの変更と共に、次に示すことにする。
【００６１】
ケース１：
これはバッファ充填度が保護帯域間にある場合である。すなわち、
【数９】
ａ・Ｂs≦Ｂf≦（１−ａ）・Ｂs                          ８）
【００６２】
この場合では、番組のために計算されたビット・レートが、極端な状況を除き、一般に変更されない。
【数１０】
ΣＲi＞Ｒc且つΣＲi−Ｒc＞（Ｂs−Ｂf）／ｔｇｏｐmaxの場合、
Ｒi＝Ｒi・［Ｒc＋（（１−ａ）Ｂs−Ｂf）／ｔｇｏｐmax］／（ΣＲi）
（オーバーフロー無し）                                 ９）
【数１１】
ΣＲi＜Ｒc且つＲc−ΣＲi＞Ｂf／ｔｇｏｐmaxの場合、
Ｒi＝Ｒi・［Ｒc−（Ｂf−ａＢs）／ｔｇｏｐmax］／（ΣＲi）
（アンダーフロー無し）                                 １０）
【００６３】
前記以外では、何もアクションは実行されない。
【００６４】
ケース２：
これはバッファ充填度が上側の保護帯域内にある場合である。すなわち、
【数１２】
Ｂf＞（１−ａ）・Ｂs                                   １１）
【００６５】
この場合では、バッファ充填度を減少させるか、またはＢfに留まるビット・レート変化だけが許可される。
【数１３】
ΣＲi＞Ｒcの場合、
Ｒi＝Ｒi・（Ｒc／（ΣＲi））                           １２）
（スケーリング・ダウン）
【数１４】
ΣＲi＜Ｒc且つＲc−ΣＲi＞Ｂf／ｔｇｏｐmaxの場合、
Ｒi＝Ｒi・［Ｒc−（Ｂf−ａＢs）／ｔｇｏｐmax］／（ΣＲi）
（アンダーフロー無し）                                 １３）
【００６６】
前記以外では、何もアクションは実行されない。
【００６７】
ケース３：
これはバッファ充填度が下側の保護帯域内にある場合である。すなわち、
【数１５】
Ｂf＜ａ・Ｂs                                           １４）
【００６８】
この場合では、バッファ充填度を増加させるか、またはＢfに留まるビット・レート変化だけが許可される。
【数１６】
ΣＲi＜Ｒcの場合、
Ｒi＝Ｒi・（Ｒc／（ΣＲi））                           １５）
（スケーリング・アップ）
【数１７】
ΣＲi＞Ｒc且つΣＲi−Ｒc＞（Ｂs−Ｂf）／ｔｇｏｐmaxの場合、
Ｒi＝Ｒi・［Ｒc＋（（１−ａ）Ｂs−Ｂf）／ｔｇｏｐmax］／（ΣＲi）
（オーバーフロー無し）                                 １６）
【００６９】
前記以外では、何もアクションは実行されない。
【００７０】
５．統計的多重化システム内でのＭＰＥＧ−２符号器の使用：
本発明の原理に従う多重番組ビデオ圧縮システム内で使用される全てのＭＰＥＧ−２符号器は、少なくとも、前述の結合レート制御アルゴリズムにより要求される必要な符号化統計を提供できなければならない。符号器はまた、ＧＯＰ境界においてビット・レートを変更する能力を有さねばならない。本発明の利点を更に利用するために、シーン変化に際して、符号器はＧＯＰ構造を動的に変更し、バッファ充填度誤差を計算するための量を提供し、シーン変化検出及び反応を内部的または外部的に実行できなければならない。
【００７１】
６．プロセス概要：
図５は、本発明に従う符号化処理の概要を示す。統計が個々のプリプロセッサ及び符号器から、レート制御装置に供給される。これらの統計は、プリプロセッサからのピクチャ統計（平均フレーム・アクティビティ）、及び符号化統計を含む。後者には、使用されるビット、平均ＭＱＵＡＮＴ、及びバッファ充填度が含まれる（ステップ３００）。更に、ビデオ・フレームの各ストリームにおいて発生するシーン変化、チャネル・バッファ充填度、及び前述のようにシステム内において発生する最大ＧＯＰ長に関する情報が提供される。チャネル・バッファ充填度は、チャネル・バッファ自身からフィードバック信号として受信される。ビット・レート制御装置は初期に、符号化の開始が存在するか否か、またはシーン変化を示すシーン変化フラグがセットされたか否か判断する（ステップ３１０）。肯定の場合、新たなシーンの最初のフレームが、新たなＧＯＰの最初のピクチャとして符号化される（ステップ３２０）。次に、前記の式４）内の変数"α"が、０にセットされる（ステップ３３０）。αを０にセットすることにより、プリプロセッサにより提供されるピクチャ統計だけが、前述のように、この新たなＧＯＰの開始時に、符号器間でビットレートを割当てるために使用される。シーン変化フラグがセットされておらず、これが符号化の開始でないと仮定すると、変数αが０．５にセットされる（ステップ３４０）。変数αを０．５にセットすることにより、ビットレートの決定において、式４）内のピクチャ統計情報及び符号化統計情報が、本質的に等しく重み付けされる。当業者であれば、統計の重要度は本発明から逸れることなく、異なって割当てられ得ることが理解できよう。
【００７２】
ビット・レートＲiが各符号器に対して、式４）を用いて計算される（ステップ３５０）。次に、シーン変化フラグがセットされたか否かを判断し（ステップ３６０）、セットされた場合、バッファ充填度誤差技術により、符号器のビット・レートＲiを変更する（ステップ３７０）。次に、チャネル・バッファ制御技術が前述のように実行され（ステップ３８０）、現フレームが、符号器ｉにて符号化されるビデオ・フレームのストリームのＧＯＰ境界にあるか否かを判断する（ステップ３９０）。否定の場合、処理はステップ３００に戻り、入力パラメータの次のセットを収集する。現フレームがＧＯＰ境界にある場合、新たなビット・レートＲiが符号器ｉに伝達される（ステップ４００）。
【００７３】
再度要約すると、本発明によれば、複数の符号器間でビット・レートを動的に割当て、ビデオ・ストリームを並列に符号化し、共通のチャネル上に多重化する結合レート制御技術が提供される。番組の相対複雑度及び番組内で発生するシーン変化にもとづき、チャネル・ビット・レートが符号器間で分配される。番組の複雑度が先読みピクチャ統計、フィードバック符号化統計、及びシーン変化検出にもとづき決定される。ピクチャ統計は、例えばプリプロセッサにより生成され、符号化統計及びシーン変化検出信号は、圧縮ビットストリームと共に、符号器により生成される。各ピクチャのターゲット・ビット・レートを計算する代わりに、ビット・レートがＧＯＰ境界において、またはシーン変化の発生時に変更される。このことが符号器がＧＯＰ内において、一定ビット・レート（ＣＢＲ）で動作することを可能にする。
【００７４】
ＧＯＰ境界においてのみビット・レートを変更することは、番組の複雑度の変化に対する、結合レート制御装置の反応時間を制限する。この問題を解決するために、ビデオ・フレームのストリーム内の各連続ピクチャ間で、シーン変化検出が実行され、それが新たなシーン内の最初のフレームを符号化する前に知れていると仮定する。更に、市販の符号器において使用可能なように、符号器がＧＯＰ構造を動的に変更可能であると仮定する。シーン変化が発生する場合、現ＧＯＰが早まって終了され、新たなシーンの最初のピクチャが符号化され、新たなＧＯＰを開始する。次に、新たなシーンのこの最初のＧＯＰからの符号化統計が、ピクチャ統計と一緒に、続くＧＯＰのビット・レートを計算するために使用される。
【００７５】
シーン変化の場合にピクチャ品質を改善するために、更に追加の変更が開発された。特に、ＧＯＰ内のビットの過剰生成または過小生成に起因するバッファ充填度誤差が、シーン変化後の新たなＧＯＰの開始において、０と見なされる。各符号器に接続されるバッファ内のアンダーフローまたはオーバーフローを阻止するために、結合レート制御装置により計算されるビット・レートが変更される。バッファ充填度誤差が正の場合（ＧＯＰの開始におけるバッファ充填度が、初期バッファ充填度（例えばバッファ・サイズの８０％）よりも小さい）、番組のビット・レートが増加される。反対に、バッファ充填度誤差が負の場合、番組のビット・レートが減少される。この技術はシーン変化の後、より優れたピクチャ品質をもたらす。この概念は更に、動的ＧＯＰ構造機能を有さない符号器、及びシーン変化検出が外部的に実行される符号器に対して拡張され得る。
【００７６】
符号器は好適には同一のフレーム・レートで動作するが、異なるＧＯＰ長及び構造を有し得、異なる時刻に符号化を開始し得る。従って、個々のビット・レートの総和が、所定のチャネル・ビット・レートよりも大きかったり、小さかったりする場合、時間間隔が存在し得る。チャネル・バッファがシステム内に組み込まれ、正確にチャネル・ビット・レートで多重化ビット・ストリームを出力する。また、チャネルの最小サイズを決定する方法も開発された。これはチャネル・ビット・レートからの許容合計偏差、及びシステム内で発生する最大ＧＯＰ時間にもとづく。チャネル・バッファ・アンダーフローまたはオーバーフローを阻止するために、バッファ・フィードバックが結合レート制御装置内に組み込まれる。
【００７７】
本発明は例えば、コンピュータ使用可能媒体を有する製造物（例えば１つ以上のコンピュータ・プログラム製品）内に含まれ得る。この媒体は、例えば本発明の機能を提供し、容易にするコンピュータ読出し可能プログラム・コード手段を実現する。製造物はコンピュータ・システムの一部として含まれるか、或いは別々に販売され得る。
【００７８】
更に、本発明の機能を実行するために、マシンにより実行可能な命令の少なくとも１つのプログラムを実現する、マシンにより読出し可能な少なくとも１つのプログラム記憶装置が提供され得る。
【００７９】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００８０】
（１）ビデオ・フレームの多重ストリームを処理する方法であって、
前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するにおいて、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得するステップと、
前記ビデオ・フレームの相対複雑度を用いて、前記多重ストリームを並列に符号化するにおいて、前記相対複雑度の変化により、前記多重ストリームを適応的に符号化するステップと、
前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出するステップと
を含み、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するステップを含む、方法。
（２）前記適応的に符号化するステップが、前記多重ストリームの前記分析にもとづき、前記多重ストリームを符号化するために、前記符号化するステップにより使用される制御可能な符号化パラメータを調整するステップを含む、前記（１）記載の方法。
（３）前記多重ストリームの符号化の開始時、及び前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含む、前記（１）記載の方法。
（４）前記ピクチャ統計及び前記符号化統計の両方を使用し、前記適応的に符号化するステップが、前記ピクチャ統計及び前記符号化統計を所定量により重み付けすることにより、前記多重ストリームを符号化するために前記符号化するステップにより使用される制御可能な符号化パラメータを調整するステップを含む、前記（１）記載の方法。
（５）前記重み付けするステップが、前記ピクチャ統計を５０％に、及び前記符号化統計を５０％に重み付けすることにより、前記多重ストリームの前記相対複雑度にもとづき、前記制御可能な符号化パラメータを調整するステップを含む、前記（４）記載の方法。
（６）前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記多重ストリームを適応的に符号化するステップを実行するステップを含む、前記（１）記載の方法。
（７）前記分析するステップが、前記多重ストリームを事前処理し、前記多重ストリームを構成する前記ビデオ・フレームの各々の平均フレーム・アクティビティを生成するステップを含み、前記符号化が前記ビデオ・フレームの前記相対複雑度を表すものとして、前記平均フレーム・アクティビティを使用する、前記（１）記載の方法。
（８）前記適応的に符号化するステップが、前記多重ストリームの前記ピクチャ統計及び前記符号化統計にもとづき、前記多重ストリームを符号化するために前記符号化するステップにより使用される符号化パラメータを調整するステップを含み、前記ビデオ・フレームの各ストリームの前記制御可能な符号化パラメータが、符号化ビット・レートを含み、前記符号化するステップが多重圧縮ビデオ・ストリームを生成するものにおいて、前記方法が各圧縮ビデオ・ストリームをバッファ内にバッファリングするステップを含み、前記適応的に符号化するステップが、各ストリームに対して、前記圧縮ビデオ・ストリームを受信する前記バッファの充填度にもとづき、前記符号化ビット・レートを変更するステップを含む、前記（１）記載の方法。
（９）前記多重圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを含む、前記（８）記載の方法。
（１０）前記バッファの上限及び下限の保護帯域を事前に定義するステップを含み、前記バッファ充填度が前記バッファの上限または下限のいずれかの前記保護帯域内にある場合、前記符号化ビット・レートを変更するステップを含む、前記（９）記載の方法。
（１１）前記適応的に符号化するステップがレート制御アルゴリズムを使用し、前記多重ストリームの各ストリームの符号化ビット・レートを制御するステップを含み、前記方法が、前記多重ストリームを構成する前記ビデオ・フレームの前記相対複雑度を表す前記ピクチャ統計及び前記符号化統計を、前記レート制御アルゴリズムに提供するステップを含む、前記（１）記載の方法。
（１２）ビデオ・フレームの多重ストリームを処理する方法であって、
前記多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出するステップと、
前記ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するステップと、
前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記少なくとも１つの特性の相対変化に適応化するステップと、
前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出するステップと
を含み、前記符号化を適応化するステップが、前記符号化統計を前記ピクチャ統計と共に使用し、前記少なくとも１つのストリームの符号化を適応化するステップを含む、方法。
（１３）前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、またはバッファ充填度の少なくとも１つを含む、前記（１２）記載の方法。
（１４）前記符号化を適応化するステップが、前記ピクチャ統計及び前記符号化統計の両方を使用することにより、前記少なくとも１つのストリームの符号化に使用される、前記少なくとも１つの制御可能な符号化パラメータを調整するステップを含む、前記（１２）記載の方法。
（１５）前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの制御可能な符号化パラメータを調整するステップを含む、前記（１４）記載の方法。
（１６）前記少なくとも１つの制御可能な符号化パラメータが、各ストリームの符号化ビット・レートを含む、前記（１４）記載の方法。
（１７）前記符号化するステップが多重圧縮ビデオ・ストリームを生成し、前記方法が前記各圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するステップを含む、前記（１２）記載の方法。
（１８）前記方法が、前記各圧縮ビデオ・ストリームを前記多重化以前にバッファリングするステップを含み、前記ビデオ・フレームの各ストリームを分析し、前記符号化統計を導出するステップが、使用されるビット、平均ＭＱＵＡＮＴ、バッファ充填度またはシーン変化に関する統計の少なくとも１つを導出するステップを含む、前記（１７）記載の方法。
（１９）前記適応化するステップが、前記多重ストリームの符号化の開始時、及び前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するステップを含む、前記（１２）記載の方法。
（２０）ビデオ・フレームの多重ストリームを処理するシステムであって、
前記多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を表すピクチャ統計を決定する分析手段と、
各々が前記多重ストリームの１ストリームを受信し、符号化される前記ストリームのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を生成する手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、
前記各符号器及び前記分析手段に接続され、前記多重ストリームを構成する前記ビデオ・フレームから導出される前記ピクチャ統計及び前記符号化統計にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置と
を含む、システム。
（２１）前記分析手段が、前記多重ストリームを受信するように接続され、各々が異なるストリームを受信する複数のプリプロセッサを含み、前記複数のプリプロセッサが、前記多重ストリームを構成する前記ビデオ・フレームの前記相対複雑度に関する情報を提供する前記ピクチャ統計を出力し、前記ピクチャ統計が前記結合制御装置に提供されて、前記少なくとも１つのストリームの前記符号化を動的に適応化する、前記（２０）記載のシステム。
（２２）前記結合制御装置が、前記少なくとも１つのストリームを符号化するために前記符号器により使用される、少なくとも１つの制御可能な符号化パラメータを調整する手段を含む、前記（２１）記載のシステム。
（２３）前記結合制御装置が、前記少なくとも１つのストリーム内のシーン変化の検出時、または前記少なくとも１つのストリーム内の新たなフレーム・グループ（ＧＯＰ）の開始時に、前記制御可能な符号化パラメータを調整する手段を含む、前記（２２）記載のシステム。
（２４）前記結合制御装置が、前記多重ストリームの符号化の開始時、及び前記少なくとも１つのストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用する手段を含む、前記（２０）記載のシステム。
（２５）前記結合制御装置が、前記ピクチャ統計及び前記符号化統計を所定量により重み付けし、前記多重ストリームを符号化するために前記複数の符号器により使用される、少なくとも１つの制御可能な符号化パラメータを調整する手段を含む、前記（２０）記載のシステム。
（２６）前記ピクチャ統計が、符号化される前記多重ストリームを構成する前記ビデオ・フレームの平均フレーム・アクティビティを含み、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、またはバッファ充填度の少なくとも１つを含む、前記（２０）記載のシステム。
（２７）ビデオ・フレームの多重ストリームを処理するシステムであって、
ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出する分析手段と、
各々が前記多重ストリームの１ストリームを受信し、少なくとも１つの制御可能な符号化パラメータを用いて前記ストリームを符号化し、前記符号化の間に前記ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出する符号化手段を含む、前記多重ストリームを並列に符号化する複数の符号器と、
前記各符号器及び前記分析手段に接続され、前記ピクチャ統計及び前記符号化統計から導出される相対情報にもとづき、少なくとも１つのストリームの符号化を動的に適応化する結合制御装置と
を含み、前記符号化を適応化するステップが、前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの制御可能な符号化パラメータを調整するステップを含み、前記多重ストリームの前記符号化が、前記相対情報の変化に適応する、システム。
（２８）前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、またはバッファ充填度の少なくとも１つを含む、前記（２７）記載のシステム。
（２９）前記結合制御装置が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記少なくとも１つのストリームの符号化に使用される、前記少なくとも１つの制御可能な符号化パラメータを調整する手段を含み、前記少なくとも１つの制御可能な符号化パラメータが、符号化ビット・レートを含む、前記（２７）記載のシステム。
（３０）前記結合制御装置が、前記ピクチャ統計及び前記符号化統計を所定の関係で使用することにより、前記少なくとも１つのストリームの前記符号化に使用される、前記少なくとも１つの制御可能な符号化パラメータを調整する手段を含む、前記（２７）記載のシステム。
（３１）前記複数の符号器が多重圧縮ビデオ・ストリームを生成し、前記システムが前記圧縮ビデオ・ストリームを一定ビット・レート・チャネル上に多重化するマルチプレクサを含む、前記（２７）記載のシステム。
（３２）前記システムが、前記各圧縮ビデオ・ストリームを前記多重化以前にバッファリングする手段を含み、前記符号化統計を導出する符号化手段が、使用されるビット、平均ＭＱＵＡＮＴ、バッファ充填度またはシーン変化に関する統計の少なくとも１つを導出する手段を含む、前記（３１）記載のシステム。
（３３）ビデオ・フレームの多重ストリームの処理をコンピュータに指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む装置であって、前記コンピュータ読出し可能プログラム・コード手段が、
ｉ）前記ビデオ・フレームの多重ストリームを分析し、前記多重ストリームを構成する前記ビデオ・フレームの相対複雑度を決定するように前記コンピュータに指示し、前記多重ストリームの符号化以前に、前記ビデオ・フレームの前記相対複雑度に関するピクチャ統計を獲得する手段と、
ｉｉ）前記ビデオ・フレームの相対複雑度を用い、前記多重ストリームを並列に符号化するように前記コンピュータに指示し、前記ビデオ・フレームの前記相対複雑度の変化により、前記多重ストリームを適応的に符号化する手段と、
ｉｉｉ）前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、そのイントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関する符号化統計を導出するように前記コンピュータに指示する手段と
を含み、前記適応的に符号化するように前記コンピュータに指示する手段が、前記ピクチャ統計及び前記符号化統計の両方を使用し、前記多重ストリームを適応的に符号化するように前記コンピュータに指示する手段を含む、装置。
（３４）前記多重ストリームの符号化の開始時、及び前記多重ストリームの１ストリーム内のシーン変化の検出時に、前記ピクチャ統計だけを使用するように前記コンピュータに指示する手段を含む、前記（３３）記載の装置。
（３５）前記ピクチャ統計及び前記符号化統計の両方を使用し、適応的に符号化するように前記コンピュータに指示する手段が、前記ピクチャ統計及び前記符号化統計を所定量により重み付けするように前記コンピュータに指示し、前記多重ストリームを符号化するために、前記符号化手段により使用される制御可能な符号化パラメータを調整する手段を含む、前記（３３）記載の装置。
（３６）ビデオ・フレームの多重ストリームの処理を指示するコンピュータ読出し可能プログラム・コード手段を有する、少なくとも１つのコンピュータ使用可能媒体を含む装置であって、前記コンピュータ読出し可能プログラム・コード手段が、
ｉ）前記ビデオ・フレームの多重ストリームを分析し、イントラフレーム特性またはインタフレーム特性のいずれかを含む、少なくとも１つの特性に関するピクチャ統計を導出するように、前記コンピュータに指示する手段と、
ｉｉ）前記ビデオ・フレームの各ストリームに対して、少なくとも１つの制御可能な符号化パラメータを使用し、前記多重ストリームを並列に符号化するように前記コンピュータに指示する手段と、
ｉｉｉ）前記多重ストリームから獲得される前記ピクチャ統計からの相対情報を使用し、少なくとも１つのストリームの符号化に使用される少なくとも１つの制御可能な符号化パラメータを調整することにより、前記多重ストリームの符号化を前記相対情報の変化に適応化するように、前記コンピュータに指示する手段と、
ｉｖ）前記符号化の間に、前記ビデオ・フレームの各ストリームを分析し、イントラフレーム符号化特性またはインタフレーム符号化特性のいずれかを含む、少なくとも１つの符号化特性に関する符号化統計を導出するように、前記コンピュータに指示する手段と
を含み、前記符号化を適応化するように前記コンピュータに指示する手段が、前記符号化統計を前記ピクチャ統計と共に使用し、前記ビデオ・フレームの少なくとも１つのストリームの前記符号化を適応化するように前記コンピュータに指示する手段を含む、装置。
（３７）前記ピクチャ統計が平均フレーム・アクティビティを表し、前記符号化統計が前記ビデオ・フレームの符号化の間に使用されるビット、平均ＭＱＵＡＮＴ、またはバッファ充填度の少なくとも１つを含む、前記（３６）記載の装置。
【図面の簡単な説明】
【図１】本発明の原理に従う統計的多重化システムで使用される一般的なＭＰＥＧ−２準拠の符号器１１のフロー図である。
【図２】Ｉピクチャ、Ｐピクチャ及びＢピクチャの表示順序及び伝送順序、及び前方動き予測及び後方動き予測の例を示す図である。
【図３】本発明に従い実現される多重ストリーム・ビデオ圧縮統計的多重化システムの例を示す図である。
【図４】本発明に従う統計的多重化システムのチャネル・バッファ充填度対時間の関係を示す図である。
【図５】本発明の原理に従う統計的多重化レート制御処理の１実施例のフロー図である。
【符号の説明】
１１  符号器
２１  離散コサイン変換器
２３  量子化器
２９  逆量子化
３１  逆離散コサイン変換
４１  動き補償ユニット
４２  フレーム・メモリ
４３  動き推定ユニット
１１３  動きベクトル
２００  多重番組ビデオ圧縮システム
２０５  プリプロセッサ
２１０  ＭＰＥＧ−２ビデオ符号器
２２０  バッファ
２３０  結合レート制御装置
２４０  マルチプレクサ
２５０  チャネル・バッファ
２５５  チャネル・バッファ制御フィードバック
【図１】
0004346732.tif 000007
【図２】
0004346732.tif 000008
【図３】
0004346732.tif 000009
【図４】
0004346732.tif 000010
【図５】
0004346732.tif 000011