(57)【要約】本開示は、パケット化オーバヘッドを削減するための動画像符号化レート適応技術を記述する。動画像符号化レートは符号化される動画像のセグメントに割り当てられる符号化ビット数、ひいては符号化された動画像セグメントの長さを制御する。符号化された動画像セグメントの長さと動画像セグメントを符号化するために使用される一連のパケットの累積長との間の差異は、系の最終パケット内に不使用のパケットスペースをもたらす。この不使用のパケットスペースは典型的には埋め草ビットで満たされる。本開示に従って、動画像符号化レートは、符号化された動画像がよりぴったりと一連のパケット内に収まることにより最終パケットによって必要とされる埋め草ビット数が低減するように、デジタル動画像のセグメントに関して調整される。
2010508769.tif 000002
【特許請求の範囲】
【請求項１】
デジタル動画像データの符号化されたセグメントをパケット化するために使用されるパケットサイズを決定することと、
前記デジタル動画像データのセグメントのための符号化レートを前記パケットサイズに基づいて選択することと
を具備する動画像符号化方法。
【請求項２】
選択された符号化レートを用いて前記デジタル動画像データのセグメントを符号化することと、
前記デジタル動画像データの符号化されたセグメントを一連のパケットにわたってパケット化することと
を更に具備し、
前記デジタル動画像データの符号化されたセグメントは前記一連のパケットにおける最終パケットの一部を満たす残余を含む
請求項１記載の方法。
【請求項３】
前記デジタル動画像データのセグメントを符号化するために使用されるレート制御アルゴリズムの推定分散及び前記デジタル動画像データの既に符号化されたセグメントに関する前記残余の平均値を表示するヒストリカルデータに基づいて前記符号化レートを選択することを更に具備する請求項２記載の方法。
【請求項４】
前記符号化レートを選択することは、前記残余のサイズを増大させるように前記符号化レートを選択することにより前記最終パケットを満たすために必要とされる埋め草ビット数を削減することを包含する請求項３記載の方法。
【請求項５】
前記パケットの各々は固定パケットサイズを持つ請求項１記載の方法。
【請求項６】
前記セグメントは複数のフレームを含み、前記符号化レートを選択することは前記デジタル動画像データの既に符号化されたフレームのターゲットサイズと前記デジタル動画像データの既に符号化されたフレームの実際のサイズとの間の差分を表示する変数に基づいて前記符号化レートを調整することを包含する請求項１記載の方法。
【請求項７】
前記デジタル動画像データの複数の追加的なセグメントの各々のための符号化レートを前記パケットサイズに基づいて選択することと、選択された符号化レートを使用して前記デジタル動画像データの追加的なセグメントを符号化することと、前記デジタル動画像データの追加的な符号化されたセグメントをパケット化することとを更に具備する請求項１記載の方法。
【請求項８】
デジタル動画像データの符号化されたセグメントをパケット化するために使用されるパケットサイズを決定し、前記パケットサイズに基づいて前記デジタル動画像データのセグメントのための符号化レートを選択するレート制御部を具備するデジタル動画像符号化装置。
【請求項９】
選択された符号化レートを使用して前記デジタル動画像データのセグメントを符号化する符号化モジュールと、
前記デジタル動画像データの符号化されたセグメントを一連のパケットにわたってパケット化するパケット化モジュールと
を更に具備し、
前記デジタル動画像データの符号化されたセグメントは前記一連のパケットにおける最終パケットの一部を満たす残余を含む
請求項８記載の装置。
【請求項１０】
前記レート制御部は、前記デジタル動画像データのセグメントを符号化するために使用されるレート制御アルゴリズムの推定分散及び前記デジタル動画像データの既に符号化されたセグメントに関する残余の平均値を表示するヒストリカルデータに基づいて前記符号化レートを選択する請求項８記載の装置。
【請求項１１】
前記レート制御部は、前記残余のサイズを増大させるように前記符号化レートを選択することにより前記最終ビットを満たすために必要とされる埋め草ビット数を削減する請求項１０記載の装置。
【請求項１２】
前記パケットの各々は固定パケットサイズを持つ請求項８記載の装置。
【請求項１３】
前記セグメントは複数のフレームを含み、前記レート制御部は前記デジタル動画像データの既に符号化されたフレームのターゲットサイズと前記デジタル動画像データの既に符号化されたフレームの実際のサイズとの間の差分を表示する変数に基づいて前記符号化レートを調整する請求項１０記載の装置。
【請求項１４】
前記レート制御部は、前記デジタル動画像データの複数の追加的なセグメントの各々のための符号化レートを前記パケットサイズに基づいて選択し、前記装置は選択された符号化レートを用いて前記デジタル動画像データの追加的なセグメントを符号化する符号化モジュールと、前記デジタル動画像データの追加的な符号化されたセグメントをパケット化するパケット化モジュールとを更に具備する請求項８記載の装置。
【請求項１５】
デジタル動画像データの符号化されたセグメントをパケット化するために使用されるパケットサイズを決定し、前記パケットサイズに基づいて前記デジタル動画像データのセグメントのための符号化レートを選択するよう構成される、デジタル動画像データを符号化するためのプロセッサ。
【請求項１６】
デジタル動画像データの符号化されたセグメントをパケット化するために使用されるパケットサイズを決定するための手段と、
前記パケットサイズに基づいて前記デジタル動画像データのセグメントのための符号化レートを選択するための手段と
を具備する動画像符号化装置。
【請求項１７】
選択された符号化レートを使用して前記デジタル動画像データのセグメントを符号化するための手段と、
前記デジタル動画像データの符号化されたセグメントを一連のパケットにわたってパケット化するための手段と
を更に具備し、
前記デジタル動画像データの符号化されたセグメントは前記一連のパケットにおける最終パケットの一部を満たす残余を含む
請求項１６記載の装置。
【請求項１８】
前記デジタル動画像データのセグメントを符号化するために使用されるレート制御アルゴリズムの推定分散及び前記デジタル動画像データの既に符号化されたセグメントに関する前記残余の平均値を表示するヒストリカルデータに基づいて前記符号化レートを選択するための手段を更に具備する請求項１７記載の装置。
【請求項１９】
前記残余のサイズを増大させるように前記符号化レートを選択することにより前記最終パケットを満たすために必要とされる埋め草ビット数を削減するための手段を更に具備する請求項１８記載の装置。
【請求項２０】
前記パケットの各々は固定パケットサイズを持つ請求項１６記載の装置。
【請求項２１】
前記セグメントは複数のフレームを含み、前記装置は前記デジタル動画像データの既に符号化されたフレームのターゲットサイズと前記デジタル動画像データの既に符号化されたフレームの実際のサイズとの間の差分を表示する変数に基づいて前記符号化レートを調整するための手段を更に具備する請求項１６記載の装置。
【請求項２２】
前記デジタル動画像データの複数の追加的なセグメントの各々のための符号化レートを前記パケットサイズに基づいて選択するための手段と、選択された符号化レートを用いて前記デジタル動画像データの追加的なセグメントを符号化するための手段と、前記デジタル動画像データの追加的な符号化されたセグメントをパケット化するための手段とを更に具備する請求項１６記載の装置。
【請求項２３】
動画像符号化のための命令を包含する機械読み取り可能な媒体において、前記命令は実行時に機械に、
符号化されたデジタル動画像データのセグメントをパケット化するために使用されるパケットサイズを判断させ、
前記パケットサイズに基づいて前記デジタル動画像データのセグメントのための符号化レートを選択させる
機械読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は、デジタル動画像符号化、特に動画像符号化レートを制御するための技術に関する。
【背景技術】
【０００２】
デジタル動画像キャパビリティーは、デジタルテレビジョン、デジタル直接放送システム、無線通信機器、ＰＤＡ(Personal Digital Assistant)、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、デジタルカメラ、デジタル記録機器、セルラまたは衛星無線電話機及び類似のものを含む広範な機器に組み込まれ得る。デジタル動画像機器は、動画像列の処理及び伝送においてアナログ動画像システムを越える著しい改善を提供できる。
【０００３】
様々な動画像符号化標準が、デジタル動画像列を符号化するために確立されている。ＭＰＥＧ(Moving Picture Experts Group)は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む多数の標準を開発している。その他の例は、ＩＴＵ(International Telecommunication Union)−Ｔ  Ｈ．２６３標準、新興のＩＴＵ−Ｔ  Ｈ．２６４標準及びその片割れ(counterpart)であるＩＳＯ／ＩＥＣ  ＭＰＥＧ−４，  Ｐａｒｔ  １０、即ち、ＡＶＣ(Advanced Video Coding)を含む。これらの動画像符号化標準は、圧縮方式でデータを符号化することにより、改善された動画像列の伝送効率をサポートする。
【０００４】
レート制御技術は、各動画像フレームに割り当てられる符号化ビットの数、即ち、符号化レートを調整するために使用される。符号化レートは、符号化された動画像列が品質要求及び／または帯域幅制限に適合することを確実にするために調整されてよい。一部のレート制御技術は一定の符号化レートを生じさせるよう設計される一方、他のレート制御技術は一定の品質を生じさせるよう設計される。他のレート制御技術は、符号化レート及び品質レベルの平衡を保たせ、動画像フレームの内容に応じるかもしれない。
【０００５】
有線または無線の、パケット交換型ネットワークにおいて、符号化された動画像は伝送のためにパケット化される。適用可能なネットワークプロトコルは、一般的に、パケットサイズ要求を指定する。例えば、インターネット伝送のために使用されるＴＣＰ(Transmission Control Protocol)は、最大伝送単位(ＭＴＵ)を指定する。指定されたパケットサイズを仮定すると、符号化された動画像のバーストはネットワーク上の伝送のための複数パケットに分割され得る。一般に、バーストのサイズは、パケットのサイズに正確には適合しないかもしれない。従って、最終パケットは通常少なくともいくらかの埋め草(padding)ビットを含むことになる。
【発明の概要】
【０００６】
本開示は、パケット化オーバヘッドを削減するための動画像符号化レート適応技術を記述する。動画像符号化レートは、符号化される動画像のセグメントに割り当てられる符号化ビット数、ひいては符号化された動画像セグメントの長さを制御する。符号化された動画像セグメントの長さと動画像セグメントを符号化するために使用される一連のパケットの累積長との間の差異は、系の最終パケット内に不使用のパケットスペースをもたらす。この不使用のパケットスペースは典型的には埋め草ビットで満たされる。本開示に従って、動画像符号化レートは、符号化された動画像がよりぴったりと一連のパケットに収まることにより最終パケットによって必要とされる埋め草ビット数が低減するように調整される。
【０００７】
一態様において、本開示は、符号化されたデジタル動画像データのセグメントをパケット化するために使用されるパケットサイズを決定することと、パケットサイズに基づいてデジタル動画像データのセグメントのための符号化レートを選択することとを具備する動画像符号化方法を提供する。
【０００８】
別の態様において、本開示は、符号化されたデジタル動画像データのセグメントをパケット化するために使用されるパケットサイズを決定し、パケットサイズに基づいてデジタル動画像データのセグメントのための符号化レートを選択するレート制御部を具備するデジタル動画像符号化装置を提供する。
【０００９】
更なる態様において、本開示はデジタル動画像データを符号化するためのプロセッサを提供し、このプロセッサは符号化されたデジタル動画像データのセグメントをパケット化するために使用されるパケットサイズを決定し、パケットサイズに基づいてデジタル動画像データのセグメントのための符号化レートを選択するよう構成される。
【００１０】
本開示において記述される技術は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいてデジタル動画像装置で実装されてよい。ソフトウェアにおいて実装されるならば、ソフトウェアはプロセッサなどの機械において実行されてよい。ソフトウェアは、機械読み取り可能な媒体において命令として最初は保存され、本開示に従って、パケット化オーバヘッドを削減するための動画像符号化レート適応をサポートするために機械によって実行されてよい。
【００１１】
様々な態様の更なる詳細は、添付図面及び以下の記述において説明される。その他の特徴、目的(object)及び利点は、説明及び図面から、そして請求項から明らかとなることだろう。
【図面の簡単な説明】
【００１２】
【図１】図１は、本開示の一態様に従うパケット化オーバヘッドを削減するための動画像符号化レート適応を使用するデジタル動画像処理装置を説明するブロック図である。
【図２】図２は、かなりのパケット化オーバヘッドをもたらす符号化レートでの動画像セグメントのパケット化を説明する図である。
【図３】図３は、削減されたパケット化オーバヘッドをもたらす、本開示に従って適応されたパケットレートでの動画像セグメントのパケット化を説明する図である。
【図４】図４は、複数の異なるタイプの内容が連結された動画像列にわたる動画像セグメント残余サイズの分布を説明するグラフである。
【図５】図５は、パケット化オーバヘッドを削減するための符号化レート制御に関する関数を説明するグラフである。
【図６】図６は、パケット化オーバヘッドを削減するための符号化レート制御に関する関数を説明するグラフである。
【図７】図７は、本開示の一態様に従ってパケット化オーバヘッドを削減するための動画像符号化レート適応方法を説明するフロー図である。
【図８】図８は、図７の方法における動画像符号化レートを調整するためのヒストリカルデータの使用を説明するフロー図である。
【発明を実施するための形態】
【００１３】
本開示は、パケット化オーバヘッドを削減するための動画像符号化レート適応に関する技術を記述する。動画像符号化レートは、符号化された動画像セグメントにおけるフレームに割り当てられるビット数を制御し、故に符号化された動画像セグメントの長さを制御する。符号化された動画像セグメントの長さと、動画像セグメントを符号化するために使用される一連のパケットの累積長との間の差分は、系(series)の最終ビット内に使用されないパケットスペースをもたらす。この使用されないパケットスペースは一般的には埋め草ビットで満たされ、無駄な帯域幅をもたらす。
【００１４】
本開示に従って、動画像符号化レートは、符号化された動画像がよりぴったりと一連のパケットに収まって、最終パケットによって要求される埋め草ビットの数を削減するように、デジタル動画像セグメントにおけるフレームに関して調整される。例えば、最終パケットに落ちる(fall in)セグメント部分、即ち、残余(remainder)が、最終パケットのサイズによりぴったりと適合するように最大化され、或いは、少なくとも増大されることになり、より少数の埋め草ビットのための空きスペースを残す。
【００１５】
概して、一部の態様において、符号化レートは、セグメントのための符号化レートを制御するために使用されるレート制御アルゴリズムについての推定分散(estimated variance)、及びデジタル動画像データの既に符号化済みのセグメントに関する残余の平均値を表示するヒストリカルデータに基づいて選択されてよい。動画像符号化レート適応技術は、様々な動画像の内容に適応し、低い計算の複雑性を必要とするかもしれず、異なるレート制御アルゴリズムに関して微調整され得ることよりも複数のパラメータによって特徴付けられてよい。
【００１６】
本技術は、ＭＰＥＧ−１、ＭＰＥＧ−２またはＭＰＥＧ−４標準、ＩＴＵ  Ｈ．２６３またはＨ．２６４標準、またはＨ．２６４標準に実質的に同一のＩＳＯ／ＩＥＣ  ＭＰＥＧ−４，  Ｐａｒｔ  １０標準、即ち、ＡＶＣ(Advanced Video Coding)などの任意の様々な予測動画像符号化標準と共に使用されてよい。例えば、動画像符号化レート適応のための技術は、本開示に記述されるように、改善された(enhanced)パケット化オーバヘッド効率のためにレートを調整する標準のレート制御アルゴリズムとともに使用されてよい。一部の態様において、動画像符号化レート適応のための技術は、標準のレート制御アルゴリズムによって生成された符号化レートを調整するために使用されてよい。標準のレート制御アルゴリズムは、定レートアルゴリズムでもよいし、可変レートアルゴリズムでもよい。
【００１７】
図１は、実例となるデジタル動画像処理装置１０を説明するブロック図である。図１の例において、動画像処理装置１０は、動画像ソース１２、動画像符号化器１４、動画像パケット化器１６及び送信器１８を含む。動画像処理装置１０は、ビデオカメラ、デジタル直接放送システム、無線通信機器（例えばセルラまたは衛星無線電話機）、ＰＤＡ(Personal Digital Assistant)、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソールまたは類似のものなどの動画像データを符号化及び送信可能な任意の機器内に存在してよい。
【００１８】
動画像ソース１２は、ビデオカメラ等の動画像キャプチャ機器であってもよいし、既にキャプチャされたデジタル動画像を保存するビデオアーカイブであってもよい。動画像ソース１２は、生(live)のまたはアーカイブに保管されている動画像の供給(feed)へのインタフェースであってもよい。動画像符号化器１４は、Ｈ．２６４などの上述した任意の様々な動画像符号化標準に従って、動画像ソース１２から得られる動画像を符号化する動画像符号化モジュール２０を含む。また、動画像符号化器１４は、動画像セグメント内のフレームを符号化するために動画像符号化モジュール２０によって適用される符号化レートを制御するレート制御モジュール２２を含む。符号化レートは、動画像セグメント内のフレームに割り当てられる符号化ビット数を指定する。
【００１９】
動画像パケット化器１６は、動画像符号化モジュール１８から符号化された動画像セグメントを受信し、送信器１６を経由した伝送のために符号化された動画像セグメントを一連のパケットに分割する。結果として生じるパケットは、多重化、追加的な(additional)パケット化及びその他の操作などの更なる処理のために、アプリケーションレイヤからトランスポート及び物理レイヤなどのその他のレイヤに渡される。
【００２０】
動画像パケット化器１６によって生成される各パケットは、符号化された動画像データセグメントの一部と、任意のアプリケーションヘッダデータとを含む。具体的には、各パケットは動画像セグメントから１または複数のフレームを搬送するだろう。動画像セグメントを符号化するために使用される一連のパケットにおける最終パケットは、動画像セグメントの「残余(remainder)」、即ち、系の前のパケットに収まらなかった残存部分に加えて、埋め草ビットによって占有された空きスペースを搬送することになる。
【００２１】
一部の場合において、動画像符号化モジュール２０によって作成された符号化された動画像データは、動画像パケット化に先行して、動画像処理装置１０の例えばメモリまたはデータストレージにおいてアーカイブに保管されてよい。或いは、動画像パケット化器１６によって作成されたパケット化された動画像は、直ちに送信されるよりもむしろ、アーカイブに保管されてよい。いずれの場合においても、送信器１８は、パケット交換型ネットワークなどの有線または無線通信媒体上で動画像パケット化器１６によって作成されるパケットを送信可能な任意の適した送信器であってよい。
【００２２】
動画像符号化モジュール２０は、符号化された動画像データセグメントをバーストで生成する。その「集中的な(bursty)」性質により、圧縮された動画像ストリームは、時不定の帯域幅を持つ。Ｈ．２６４標準の場合において、例えば、動画像符号化モジュール２０によって処理される各動画像データセグメントは、いわゆるスーパーフレーム(ＳＦ)であって、これは一般に動画像データのバーストの１秒を構成する。ＳＦは、動画像データの多数のフレームを搬送してよい。例えば、一部のアプリケーションにおいて、ＳＦは約３０フレームを搬送してよい。フレームは動画像列における連続画像であり、Iフレームとしてイントラ符号化されるかもしれないし、Pフレームとしてインター符号化されるかもしれないし、双方向（Ｂ）フレームとしてインター符号化されるかもしれない。
【００２３】
フレームは異なるサイズであってよく、パケットは１または複数のフレームを搬送してよい。従って、動画像データの各セグメント、例えば、各ＳＦは、動画像データセグメントの内容に関連したビット数に関して、異なるサイズを持つかもしれない。各フレームに割り当てられる符号化ビット数も異なるかもしれない。更に、セグメントにおけるフレームにわたって割り当てられる符号化ビット数、即ち、セグメントに関する符号化レートは、本開示において記述されるレート制御適応技術に応じて異なるかもしれない。
【００２４】
複雑性の比較的高いシーンを含む動画像データセグメントのサイズは、一般的に、複雑性の比較的低いシーンを含む動画像データセグメントのサイズに比べて大きくなるだろう。また、セグメント内の個別のフレームのサイズは、複雑性によって異なるかもしれない。例えば、一部のフレームは、他のフレームに比べてより多くの動きまたはより多くの複雑なテクスチャを含むかもしれない。任意のイベントにおいて、各フレームのサイズ及び多数フレームを含むセグメントのサイズは、フレーム間及びセグメント間で異なるだろう。従って、可変レート制御アルゴリズムは、異なるセグメントに異なる符号化レートを割り当てるだろう。
【００２５】
動画像パケット化器１６によって生成される各パケットは、固定サイズを持ってもよいし、いくらかの拘束を受ける可変サイズを持ってもよい。例えば、適用可能なネットワークプロトコルは、典型的には、ＴＣＰに関して指定されるＭＴＵなどの最大パケットサイズ要求を定める。指定されたパケットサイズを仮定すると、動画像符号化器１４によって符号化された動画像セグメントは、ネットワーク上の伝送のための動画像パケット化器１６による多数のパケットに分割される。一般に、符号化モジュール２０によって作成される符号化された動画像のサイズは、パケット化器１６によって作成されるパケットのサイズに正確には適合しないだろうし、上述のように、時不定となるだろう。
【００２６】
符号化された動画像セグメントのサイズと符号化された動画像セグメントを搬送するために必要とされる複数パケットの累積サイズとの間のミスマッチにより、パケット化器１６によって作成される最終パケットは通常少なくともいくらかの埋め草ビットを含むことになる。埋め草ビットは、符号化された動画像のサイズとパケットの累積サイズとの間のミスマッチに由来する空きスペースを満たす。埋め草ビットの包含は非効率的であり、その他の目的のために使用され得る帯域幅の消費をもたらす。本開示に従って、レート制御モジュール２２は、動画像セグメントにおけるフレームを符号化する動画像符号化モジュール２０によって適用される符号化レートを、パケット化器１６によって要求される埋め草ビットの数を削減するよう定式化された方法で調整する。この方法によって、動画像データのパケットベース符号化及び通信は、より効率的となり得る。
【００２７】
レート制御モジュール２２は、本開示に従って、パケット化オーバヘッドを削減するように偏向されている(biased)、標準のレート制御アルゴリズムを適用してよい。例えば、レート制御モジュール２２は、動画像符号化モジュール２０によって作成される符号化されたデジタル動画像データをパケット化するために使用されるパケットのサイズを決定する。レート制御モジュール２２は、図１に示されるように、動画像パケット化器２２からパケットサイズを受信してよい。パケットサイズは、固定であっても可変であってもよく、動画像パケット化器２２によって周期的または間欠的な基準でパケット毎に指定されてよい。或いは、パケットサイズは固定であって、レート制御モジュール２２にとって既知であってよい。いずれの場合にも、レート制御モジュール２２は、符号化された動画像セグメントをパケット化するために使用されることになる動画像パケットのサイズ(size or sizes)を得る。
【００２８】
加えて、レート制御モジュール２２は、既に符号化されたデジタル動画像データセグメントに関する平均残余を示すヒストリカルデータを受信してよい。パケットサイズ及び／またはヒストリカル情報に基づいて、レート制御モジュール２２は符号化される現在のデジタル動画像データセグメントのために動画像符号化モジュール２０によって使用される符号化レートを選択する。符号化レートはセグメント間で変化してもよい。具体的には、レート制御モジュール２２によって設定される符号化レートは、レート制御モジュール２２がセグメント毎の原則でパケット化オーバヘッドを削減するために動画像符号化レートを適応させるように、符号化される現在のセグメントのサイズに応じて変化してよい。この方法によって、レート制御モジュール２２はセグメント間での動画像の内容の変化に適応できる。
【００２９】
選択された符号化レートを用いて、動画像符号化モジュール２０は、符号化された動画像データセグメントを搬送するために使用される一連のパケットの累積サイズによりぴったりと適合するように動画像データセグメントを符号化する。この方法によって、レート制御モジュール２２はパケット化オーバヘッドを削減し、帯域幅の効率性を促進する。帯域幅の効率性は、どの通信媒体にとっても重要であるかもしれないが、制限された帯域幅を備える無線通信媒体にとってとりわけ重要である。更に、帯域幅の効率性は、無線チャネル上での動画像列のリアルタイム伝送を包含するアプリケーションにとって重大な関心事であるかもしれない。
【００３０】
図２は、かなりの(substantial)パケット化オーバヘッドをもたらす符号化レートでの動画像セグメントのパケット化を説明する図である。図２に示されるように、符号化モジュール２０はデジタル動画像データのセグメント２３を符号化する。セグメント２３は、限定でなく説明のためにスーパーフレーム(ＳＦ)として参照されるかもしれない。本願明細書において記述される技術は、任意のサイズのセグメントに適用されてよい。同様に、ＳＦは、典型的には、動画像列の約３０枚の連続フレームのセグメントを参照するが、フレーム数はＳＦ間で異なるだろう。
【００３１】
図２の例において、符号化モジュール２０は、セグメントをパケット化するために使用されるパケットに対する符号化されるセグメントのサイズを考慮しない所定の符号化レート（例えば、標準のレート制御アルゴリズムを用いて）で、セグメント２３を符号化する。パケット化器１６は、整数個のパケット２４Ａ−２４Ｎ（集合的にパケット２４）にセグメント２３を分割する。各パケット２４は、符号化された動画像セグメント２３の一部を搬送し、とある量のヘッダ情報またはその他の管理データも搬送するかもしれない。動画像セグメント２３は、動画像データの多数フレーム２５を含んで符号化される。各パケット２４は、多数の符号化されたフレーム２５を搬送するかもしれない。
【００３２】
一連のパケット２４Ａ−２４Ｎの累積サイズは符号化された動画像セグメント２３のよりも大きいので、最終パケット２４Ｎはかなりの量の空きスペース２６を持ち、これはパケット化器１６が埋め草ビットで満たす。換言すれば、符号化された動画像セグメント２３の最終の残存部分は最終パケット２４Ｎの一部２８だけを満たし、無駄となり埋め草ビットで満たされる空きスペース２６を残している。空きスペース２６の量は、現在の(current)動画像セグメントのサイズが変わるのでセグメント間で異なる。しかしながら、夫々の場合において、典型的にはいくらかの量の空きスペース２６が存在し、非効率的な帯域幅の利用をもたらす。
【００３３】
図３は、削減されたパケット化オーバヘッドをもたらす、本開示に従って適応されたパケットレートでの動画像セグメントのパケット化を説明する図である。図３のダイアグラム(diagram)は、図２と実質的に一致する。しかしながら、図３の例において、レート制御モジュール２２は、パケット２４Ａ−２４Ｎの累積サイズによりぴったりと適合するように符号化された動画像セグメント２３を作成するために、各パケット２４Ａ−２４Ｎのサイズに基づいて動画像セグメント２３内で搬送されるフレーム２５に関する符号化レートを調整する。この場合において、符号化モジュール２０は、パケット帯域幅をより効率的に利用するために選択された符号化レートで、セグメント２３内のフレーム２５を符号化している。例えば、レート制御モジュール２２は、パケット化オーバヘッドが削減され得るように標準のレート制御アルゴリズムを変更するよう構成されてよい。
【００３４】
適応された符号化レートの選択において、レート制御モジュール２２は各パケット２４Ａ−２４Ｎのサイズと、随意的に、ヘッダまたは任意のその他の管理データによって消費される各パケットの量とを考慮する。レート制御モジュール２２は、埋め草ビットをあまり必要とせずに整数個のパケット２４に収まる符号化された動画像セグメントを生じさせるような符号化レートを選択するよう設計される。符号化されたセグメント２３を搬送するために要求されるパケットの数は、あまり重要でない。むしろ、関心のある特性は最終パケットにおけるセグメント残余のサイズである。一部の場合において、埋め草ビットの削減は、所与のセグメント内のフレームの符号化におけるわずかな品質改善を直接的にもたらすことができる。他の場合において、あまり埋め草のないパケットにフレームのセグメントが収まることを確実にするために、品質はわずかに低減するかもしれない。
【００３５】
一般に、レート制御モジュール２２は、当該レート制御モジュール２２が比較的大きな残余を生み出すために符号化レートを御するように、整数個のパケットのわずかなオーバーシュートよりもむしろわずかなアンダーシュートを好むように設計されてよい。言い換えると(in turn)、比較的大きな残余は、最終パケットにおいて比較的小さな量の空きスペースを生み出し、改善された(enhanced)帯域幅の利用を促進する。後述するように、より大きな残余を生み出すようにレート制御アルゴリズムを偏向させるために、レート制御モジュール２２はレート制御アルゴリズムの推定分散（例えば、既に符号化されたセグメントについての割り当てられたビットと実際のビットとの間の差分に関する正確さに関する）を考慮してよい。また、レート制御モジュール２２は、既に符号化されたデジタル動画像データセグメントに関する残余の平均値を示すヒストリカルデータを考慮してよい。
【００３６】
パケット２４の累積サイズの考慮において、レート制御モジュール２２は各パケットに関して固定サイズを仮定してもよいし、可変サイズを推定してもよい。固定サイズが説明の目的で本開示において仮定されるが、広く具体化され説明される通りに、レート制御技術の限定でない。同様に、本開示は、パケット毎の原則、或いは、周期的または間欠的な原則で変化する可変パケットサイズに適用可能である。特に、動画像セグメントをパケット化するために使用される一連のパケットにおけるパケット数は固定である必要はなく、典型的には固定でなく、むしろ符号化されるセグメントの符号化レート及び複雑性に応じて変動するだろう。従って、レート制御モジュール２２は、固定サイズの可変個数のパケットに関してパケット化オーバヘッドを削減する方法で符号化レートを選択してよい。
【００３７】
レート制御モジュール２２は、通常、後述されるようなアルゴリズムを適用してよい。例えば、レート制御モジュール２２によって実行され得る典型的なレート制御アルゴリズムを説明するために、毎秒のデジタル動画像がバーストとして送信されることが仮定され、これはスーパフレーム(ＳＦ)として参照されるかもしれない。k番目のＳＦのビット数bは、b(k)である。パケット化のために、k番目のＳＦのb(k)ビットは夫々uビットのパケットに分けられる必要があることが仮定される。換言すれば、各パケットは、ｋ番目のＳＦの一部を搬送するために、ヘッダ及びその他の管理情報を除いてuビットのスペースを含み、これは１または複数の符号化されたフレームを含むかもしれない。k番目のＳＦを搬送するために使用される一連のパケットにおける最終パケットは、uビットを構成するために埋め草をされるかもしれない。故に、k番目のＳＦに関して送信される実際のビット数B（符号化された動画像ビット及び埋め草をされたビットを含む）は、次の通りである。
【数１】
2010508769.tif 000003
【００３８】
ceilingは、変数以上の最小の整数を生じるceiling関数を表す。従って、b(k)/uに適用されるとき、ceiling関数はk番目のＳＦについてのビットを搬送するために必要とされるパケット数を生じる一方、B(k)は動画像ビット及び埋め草ビットを含む全体の一連のパケットにおける総ビット数を表す。パケット化オーバヘッドを削減するためには、より少ない埋め草ビットが使用されるべきである。
【００３９】
図４は、アニメーション、ミュージックビデオ、ニュース及びスポーツなどの複数の異なるタイプの内容が連結された長い動画像テスト列にわたる、符号化された動画像セグメントサイズの分布を説明するグラフである。図４のデータは、既に符号化されたセグメントに関する平均残余を推定するために評価可能なヒストリカルデータの一例である。各セグメントはスーパーフレーム(ＳＦ)として参照されてよく、動画像データの１秒のバーストを含むものと仮定されてよい。図４の例において、動画像セグメントは256 Kbps(kilobits per second)の通常のレートで符号化済みである。
【００４０】
図４において、縦棒３０は、u=１２キロビットを法とした状態での、セグメントサイズ分布を示す。従って、図４のために、各パケットはＳＦの少なくとも一部、例えば、１または複数のフレームに適合するために、１２キロビットを持つことが仮定される。図４におけるx軸（残余）は、整数個のパケットにおける利用可能なビットの累積数を上回ったＳＦビットの数を表す。換言すれば、x軸は最終パケットにおいてＳＦによって満たされることになる残余ビット数を表す。x軸はパケットを完全に満たすためにＳＦビットに加えて必要とされることになる埋め草ビットの数も間接的に表示しており、パケット化オーバヘッドの表示を提供する。
【００４１】
y軸（freq）は、主題の(subject)動画像テスト列における、x軸上で示される残余レベルを生じるビット数を持つ動画像セグメントの数を表す。例えば、図４におけるグラフは、それら各ＳＦにおけるビット数が整数個のパケットにおける利用可能なビット数に正確に一致するため０ビットの残余を生じる約４２個のＳＦがテスト列にあることを示す。対照的に、６０００ビットの残余を生じる約１１２個のＳＦがテスト列にある。各パケットはＳＦに適合するために１２キロビットを準備しているので、残存する６０００ビットは最終パケットの半分を満たす。従って、最終パケットは、パケット内の空きスペースを満たすために６０００の追加的な埋め草ビットを必要とする。同様に、最終パケットがパケット内の全体の１２キロビットを満たすために３０００の埋め草ビットを必要とするような、９０００ビットの残余レベルを持つ約１０８個のＳＦがある。
【００４２】
セグメントの中の残余分布は一様分布に近いことが図４から理解できる。しかしながら、パケット化オーバヘッドを削減するために、上記分布を変更するよう適用可能なレート制御アルゴリズムを適応させることが望ましい。具体的には、図４における曲線３２によりぴったりと適合するように分布を変更することが望ましい。適切なレート制御によって、曲線３２は零または最終パケットにぴったりと適合するような（例えば１２キロビットの）ＳＦ残余がより多くなるような分布を提供する。換言すれば、曲線３２に調和して、ＳＦは、最終パケットが完全に満たされ追加的なパケットが必要とされない０ビットの残余か、最終パケットがほとんど満たされ埋め草ビットがほとんど必要ないような非常に大きな残余のいずれかを持つことが望ましい。
【００４３】
また、曲線３２によって、小ないし中間サイズの残余を備えたＳＦの分布は実質的に低減されている。曲線の最も左側はわずかなオーバーシュートを表す一方、曲線の最も右側はわずかなアンダーシュートを表す。正確な一致は、埋め草ビットを全く必要としない。わずかなアンダーシュートは埋め草ビットをほとんど必要とせず、これは帯域幅の効率性のためには望ましい。対照的に、わずかなオーバーシュートは多数の埋め草ビットを必要とし、帯域幅についてかなりの無駄を引き起こす。例として、１１０００の動画像ビットの残余に起因するわずかなアンダーシュートは、１２キロビットのスペースが各パケットによって準備されていると仮定すれば、１０００の埋め草ビットだけを必要とするだろう。対照的に、わずかなオーバーシュートは、望ましくない多数の埋め草ビットを必要とする非常に小さな残余を生じるだろう。例えば、１０００の動画像ビットのわずかなオーバーシュートは、１１０００の埋め草ビットを含む最終パケットを必要とするだろう。
【００４４】
パケットサイズ、推定分散及び平均残余に基づいて符号化レートを制御することにより、レート制御モジュール（図１）は、パケットサイズをわずかにアンダーシュートするより大きなサイズの残余を生じるようにＳＦ分布を調整し、埋め草ビットによって満たされる無駄なパケットスペースを削減できる。図４において示され、一連の既に符号化されたセグメントにわたるヒストリカルな残余データ表示するようなテストデータの組は、以前(once)に（例えば動画像処理装置の使用に先行して）確立され、パケット化オーバヘッドを削減するためのレート制御に関する適応関数を定めるために評価されてよい。この場合において、適応レート制御のために使用される平均は、動画像符号化器１４によって処理されることになる動画像セグメントを予測したヒストリカルなデータの静的な組に基づいていてよい。或いは、適応レート制御が既に符号化された動画像セグメント列にわたる平均残余に従って動的に変化するように、ヒストリカルなデータは動画像符号化器によって処理される実際の動画像セグメントに関して時間とともに更新されてよい。
【００４５】
一例として、ヒストリカルデータは、個別の動画像処理装置に関して確立されてよいし、動画像処理装置のクラスまたはカテゴリに関して確立されてもよい、いずれの場合においても、データの解析から生成された適応関数は、動画像処理装置の例えば「ファクトリー(factory)」に読み込まれてよい。代替的にまたは追加的に、関数を定期的に更新できるよう、或いは、動画像処理装置によって処理される実際の動画像の内容に較正(calibrate)できるように、テストデータの組が実際の動画像データから得られ、動画像処理装置１０の動作中に定期的に解析されてよい。更なる代替案として、上述のように、レート制御モジュール２２が既に符号化された動画像セグメントに関して生じた実際の残余値に適応するよう、平均残余値が定期的にまたは概ね継続的に（例えば、符号化された動画像セグメントのスライディングウィンドウ(sliding window)にわたって）解析されてよい。
【００４６】
ヒストリカルデータは、レート制御モジュール２２への入力として（例えば、残余値を表示するデータの組または平均残余を表示する予め処理された値として）提供されてよい。そのためには、平均残余値の動的解析のための機能性は、動画像符号化器１４の分離コンポーネントにおいて提供されてもよいし、レート制御モジュール２２に一体化されてもよい。いずれの場合においても、各々の符号化された動画像セグメントのパケット化のために必要とされる埋め草ビット数、ひいては各動画像セグメントに関する残余値を表示するために、動画像パケット化モジュール１６が備え付けられてよい。
【００４７】
適応関数の定義づけのためのヒストリカルデータの解析及び処理が、図４の例を更に参照して記述されることになる。図４において示されるようなデータの組に関して、曲線３２の確率分布は次の数式によって特徴付けられる。  
【数２】
2010508769.tif 000004
【００４８】
xはx軸上のＳＦ残余であり、Aはシミュレーションに基づいて選択され得るモデルパラメータである。  
【数３】
2010508769.tif 000005
【００４９】
これは、平均μ及び分散σ2での残余xの正規分布Nx(μ,σ2)であり、σ2は符号化器１４のレート制御モジュール２２の標準レート制御アルゴリズムによって形作られる符号化ビットの分散、ひいてはレート制御アルゴリズムの正確さを表示する。分散は、レート制御アルゴリズムに関して得られる実際のデータに基づいて選択されてもよいし、推定されてもよい。上記確率関数は一般性を失うことなく[0,u]から[0,1]に正規化されることに注意されたい。
【００５０】
図４の例における正規分布に関して、68.3%の確率がμ周囲の[-σ,σ]に位置し、95.4%の確率がμ周囲の[-2σ,2σ]に位置し、99.7%の確率がμ周囲の[-3σ,3σ]に位置する。故に、σ≦0.5を仮定すれば、上記分布は次のように近似される。  
【数４】
2010508769.tif 000006
【００５１】
最小のパケット化オーバヘッドを達成するために、ＳＦ残余xの平均μは次のように最大化される。  
【数５】
2010508769.tif 000007
【００５２】
故に、E(x)を最大化するために、次の関数が最大化される。  
【数６】
2010508769.tif 000008
【００５３】
使用中のレート制御アルゴリズムの標準偏差次第で（これはシミュレーションから推定され得る）、数式(6)におけるμの値は、例えば以下の数式(9)−(12)において示されるように、レート制御ターゲットを更に微調整するために使用され得る。
【００５４】
図５は、更なる説明のためのσ=0, 0.1, 0.2, 0.3, 0.4及び0.5の場合に関する上記関数ｆ(μ)を描くグラフである。図５のグラフは、σ2によって表される異なる分散についての関数における差異を示す。従って、ＳＦ残余の所望の分布を達成するために、特定の符号化器１４に適用可能なσ2の情報を考慮して、様々なｆ(μ)曲線が使用のためにレート制御モジュール２２によって選択され得る。σ≧0.39894228に関してｆ(μ)の最大値はμ=1で達成される一方、より小さなσに関してｆ(μ)の最大値は次の基準の満足の上に達成される。  
【数７】
2010508769.tif 000009
【００５５】
上記を考慮して、次の数式が結果として生じる。  
【数８】
2010508769.tif 000010
【００５６】
上記数式は、パケット化オーバヘッドを最も削減する所望のＳＦ残余分布を達成するために選択されるべき最適のμをもたらす。従って、レート制御モジュール２２によって選択される符号化レートは、最適なμまたは当該最適なμから所定の許容範囲内のいくらかのμが実質的に維持され得るように、継続的または定期的に偏向されてよい。更に、μは、動画像符号化モジュール２０によって既に符号化された動画像セグメントを特徴付ける静的なヒストリカルデータ、または動画像符号化モジュール２０によって時間と共に実際に符号化される動画像セグメントに関して定期的または継続的に更新される動的なヒストリカルデータに基づいて得られてよい。
【００５７】
図６は、更なる説明のために上記数式(8)におけるμopt及びσの間の関係を描くグラフである。標準偏差σは、レート制御モジュール２２による使用におけるレート制御アルゴリズムの正確さによって定められる。レート制御アルゴリズムがＳＦサイズを0.2≦σ≦0.25のようなμを法とするヒストグラムに適応させることができるならば、μの作用点(working point)は約0.77となるように選択されるべきである。
【００５８】
レート制御アルゴリズムのフレームレベルにおいて、ターゲットフレームサイズは典型的には当該フレームが符号化される前に設計される。このターゲットフレームサイズがＦtであることを仮定するならば、フレームの符号化の後の、実際のフレームサイズはＦaである。Ｆt及びＦaの間には典型的にはミスマッチがあり、それらの間の比率はゆっくりと変化する変数である。Ｆt及びＦaの間の比率は次のように表されてよい。  
【数９】
2010508769.tif 000011
【００５９】
比率γは、次のように線形的に重み付けされた関数を用いて推定され得る。  
【数１０】
2010508769.tif 000012
【００６０】
αは現在の動画像の内容の持続性を表す値を持つ重み付け係数である。レート制御モジュール２２（図１）によって実行されるレート制御アルゴリズムは、以下のように次のフレームサイズターゲットに関してフレームレベルレート制御を行うよう設計されてよい。  
【数１１】
2010508769.tif 000013
【００６１】
ＳSFはレート制御モジュール２２によって推定されたＳＦサイズであり、roundは丸め関数であり、μはレート適応ののちにｕを法とするＳＦサイズの尖度(peakedness)から推定される。上記レート制御アルゴリズムを適用することにより、レート制御モジュール２２は、レート適応のないレート制御アルゴリズムに比較してより少ない埋め草オーバヘッドを達成できる。
【００６２】
上記アルゴリズムにおいて、レート制御モジュール２２はターゲットフレームサイズＦtに基づいてフレームレベル符号化レートを調整する。同様に、レート制御モジュール２２は、推定されたＳＦサイズ及びパケットサイズｕだけでなくターゲットフレームサイズに対する実際のフレームサイズの比率γ及び平均μに基づいて、ターゲットフレームサイズを決定する。この方法において、レート制御モジュール２２はターゲットフレーム符号化レート及び実際のフレーム符号化レートとの間の差分を補償する。実施中に(in operation)、レート制御モジュール２２によって実行されるレート制御アルゴリズムは、レート制御ターゲットを定める。最終パケットの高い占有を維持するために、レート制御ターゲットはモジュロセンス(modulo sense)における最適なμを実質的に維持するための定期的または継続的な原則で微調整され得る。従って、レート制御ターゲットのこの微調整は、最終パケットが平均してほとんどの充足を達成するように、レート制御ターゲットを微調整するための任意の既存のレート制御アルゴリズムに「接続する(plug into)」アルゴリズムによって成し遂げられ得る。
【００６３】
レート制御モジュール２２によって適用されるＳＦレベルレート適応は、追加的なエラー耐性を提供するためにGOP(Group Of Picture)またはスライスレベルレート制御アルゴリズムと協力できることに注意されたい。例えば、ＳＦにおいて符号化されることになる最後のフレームが著しく小さい符号化の複雑性を備え、かつ、ｕ＝１２キロビットのモジュロサイズにおいて大きな残存帯域幅があるならば、符号化されている現在のフレームはエラー耐性のためのスライスサイズに適応できる。例えば、残存ビットを利用してエラー耐性を改善するためにモード決定も調整されてよい。例えば、見込まれるチャネル機能障害(impairment)から回復するためにインターの代わりにイントラとして符号化されてよい。この場合において、追加的な符号化ビットが埋め草ビットに取って代わる。換言すれば、この技術は最終パケットにおける符号化ビット数が埋め草ビット数に対して増大されることを許容する。
【００６４】
図７は、本開示の一態様に従って、パケット化オーバヘッドを削減するための動画像符号化方法を説明するフロー図である。図７の方法は、図１の動画像処理装置１０、具体的には動画像符号化器１４の符号化モジュール２０及びレート制御モジュール２２とパケット化器１６によって実行されてよい。図７に示されるように、符号化モジュール２０は動画像ソース１２から動画像データのセグメントを受信する（７０）。符号化モジュール２０は、パケット化器によって提供される情報に基づいて或いはパケット化器によって使用されることになると想定される所定のパケットサイズに基づいてパケット化器１６によって生み出されるパケットサイズを決定する（７２）。
【００６５】
パケットサイズの決定があってから、レート制御モジュール２２は符号化レートをパケットサイズに基づいて選択する（７４）。符号化モジュール２０は選択された符号化レートを動画像データセグメントを符号化するために適用し（７６）、パケット化器１６は符号化モジュールによって生み出された符号化された動画像データセグメントをパケット化する（７８）。処理は次のセグメントに続いて（９０）、繰り返す。従って、レート制御モジュール２２は、符号化されることになる各々の新たな動画像セグメントに関してコーディングレートをパケットサイズベースで適応的に選択し、パケット化オーバヘッドを削減する。
【００６６】
図８は、図７の方法において動画像符号化レートを調整するためのヒストリカルデータの使用を説明するフロー図である。概して、図８は図７の例における符号化レートの選択（７４）に関する更なる詳細を説明する。図８において示されるように、動作中に動画像処理装置１０によって処理される実際の動画像データに応じたレート制御のために、レート制御モジュール２２はヒストリカルデータを得て、或いは、ヒストリカルデータにアクセスしてよい（８２）。ヒストリカルデータは、既に符号化されたデジタル動画像データのセグメントに関する残余の平均値を表しており、図４のグラフにおいて描かれるデータと同様であってよい。更に、既に符号化された動画像セグメントに関する平均値は、符号化された動画像セグメントのスライディングウィンドウにわたって得られ、動画像符号化器１４内の別のコンポーネントのレート制御モジュール２２によって解析され計算されてよい。
【００６７】
レート制御モジュール２２によって使用されるレート制御アルゴリズムの分散の推定（８４）があってから、レート制御モジュール２２はヒストリカルデータから平均残余値を得て（８６）、将来のセグメントに関して残余の平均サイズを増大させるように符号化レートを例えば上記数式(6)を用いて偏向させる（８８）。既に述べたように、レート制御アルゴリズムに関して得られた実際のデータに基づいて選択され、または推定ないし仮定されてよい。平均残余値を最大化ないし最適化するための符号化レートの調整があってから、図８において説明される処理は次の符号化される動画像セグメントのために、ループ８９によって表示されるように、繰り返す。
【００６８】
本願明細書において記述される技術は、ハードウェア、ソフトウェア、ファームウェアまたはそれらの任意の組み合わせにおいて実装されてよい。動画像符号化モジュール２０及びレート制御モジュール２２などの様々なコンポーネントは、動画像符号化復号化器(ＣＯＤＥＣ)内に実装されてよい。ソフトウェアにおいて実装されるならば、技術は、プログラムコードまたは命令を包含し、動画像列を符号化する機械における実行時に１または複数の上述の方法を行う機械読み取り可能な媒体を対象としてよい。その場合には、コンピュータ読み取り可能な媒体は、ＳＤＲＡＭ(synchronous dynamic random access memory)などのＲＡＭ(random access memory)、ＲＯＭ(read-only memory)、ＮＶＲＡＭ(non-volatile random access memory)、EEPROM(electrically erasable programmable read-only memory)、ＦＬＡＳＨメモリ及び類似のものを包含してよい。
【００６９】
プログラムコード及び命令は、コンピュータ読み取り可能な命令の形式でメモリ上に保存されてよい。その場合には、ＤＳＰなどのプロセッサは、本願明細書において記述される１または複数の技術を実現するために、メモリ内に保存された命令を実行してよい。一部の場合において、技術は、符号化処理を加速するために様々なハードウェアコンポーネントを呼び出す(invoke)ＤＳＰによって実行されてよい。その他の場合において、動画像符号化器は、マイクロプロセッサ、１または複数のＡＳＩＣ(application specific integrated circuit)、１または複数のＦＰＧＡ(field programmable gate array)、または何らかのその他のハードウェア−ソフトウェアの組み合わせとして実装されてよい。
【００７０】
様々な態様が述べられてきた。これら及びその他の態様は、以下の請求項の範囲内である。
【図１】
2010508769.tif 000014
【図２】
2010508769.tif 000015
【図３】
2010508769.tif 000016
【図４】
2010508769.tif 000017
【図５】
2010508769.tif 000018
【図６】
2010508769.tif 000019
【図７】
2010508769.tif 000020
【図８】
2010508769.tif 000021
【国際調査報告】
2010508769.tif 000022
2010508769.tif 000023