(57)【要約】微粒子ビデオ符号化システムにおいて、画像品質と対象の動きのバランスをとるためにフレーム内のＳＮＲ符号化ビデオデータおよび一時的符号化ビデオデータの送信ビット数を決定するための方法が提供される。本発明の原理に従って、品質エンハンスドビデオフレームおよび一時的エンハンスドビデオフレームに対する所定のビットレートにおける送信ビット数が、画像品質と対象の動きの平滑性とのバランスをとるために決定される。本発明の１つの側面において、各々のフレームにおいて送信されるビット数は品質エンハンスドビデオフレーム内のビデオ符号化情報の測定値と品質エンハンスドビデオフレームおよび一時的エンハンスドビデオフレームの測定値との比を所定の閾値水準と比較することにより決定される。各々のエンハンスメントレイヤにおける送信ビット数は、次いで、その比が所定の閾値より大きいときは第１方法を用いて、そうでないときは第２方法を用いて決定される。本発明の第２の側面において、ビット数は、動きアクティビティおよび複雑度の測定値の第１方法により決定される。送信ビット数は、動きアクティビティが所定の測定値より小さいとき、または複雑度が所定の閾値より大きいとき、第１方法３１０を用いて決定される。そうでない場合は、各々のエンハンスメントレイヤにおける送信ビット数を決定するために第２方法３２０が用いられる。
2005500755.tif 000002
【特許請求の範囲】
【請求項１】
微粒子によりエンハンスされた符号化ビデオフレームの送信における現時点の一時的エンハンスメントレイヤフレームと現時点の品質エンハンスメントレイヤフレームの各々のために、所定のビットレートにおいて、送信ビット数を決定するための方法であって：
前記品質エンハンスメントレイヤフレームの第１測定値と前記品質エンハンスメントレイヤフレームおよび前記一時的エンハンスメントレイヤフレームの第２測定値との比を所定の閾値と比較する段階；並びに
前記比が所定の閾値より小さいとき、第１方法を用い、そうでないとき、第２方法を用いて前記送信ビット数を決定する段階；
を有することを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、前記第１測定値は前記現時点の品質エンハンスメントレイヤフレームと少なくとも１つの次の品質エンハンスメントレイヤフレームとの間の品質測定値における差であり、前記現時点のフレーム品質測定値と前記少なくとも１つの次のフレーム品質測定値は前記第１方法に従って決定されるビット数を用いて決定される、ことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、前記第２測定値は前記現時点の品質エンハンスメントレイヤフレームと少なくとも１つの次の一時的エンハンスメントレイヤフレームとの間の品質測定値における差であり、前記現時点のフレーム品質測定値は前記第１方法に従って決定されるビット数を用いて決定され、前記少なくとも１つの次の一時的エンハンスメントレイヤフレーム品質測定値は前記第２方法に従って決定されるビット数を用いて決定される、ことを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記閾値は前記一時的エンハンスメントレイヤフレーム測定値に従って選択され、前記一時的エンハンスメントレイヤフレーム測定値は前記第２方法に従って決定されたビット数を用いて決定される、ことを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、前記閾値は、前記一時的エンハンスメントレイヤフレーム測定値の増加につれて、単調に減少する、ことを特徴とする方法。
【請求項６】
請求項１に記載の方法であって：
少なくとも１つの次の一時的エンハンスメントレイヤフレームの測定値を所定の水準と比較する段階；並びに
前記測定値が前記所定の水準より小さいとき、前記第１方法に従って送信ビット数を決定する段階；
をさらに有する、ことを特徴とする方法。
【請求項７】
請求項６に記載の方法であって、少なくとも１つの一時的エンハンスメントレイヤフレームの前記測定値は前記第２方法に従って決定されるビット数を用いて決定される、ことを特徴とする方法。
【請求項８】
請求項１に記載の方法であって：
前記現時点の一時的エンハンスメントレイヤフレームの測定値を第２の所定の水準と比較する段階；並びに
前記測定値が前記第２の所定の水準より大きいとき、前記第２方法に従って前記送信ビット数を決定する段階；
をさらに有する、ことを特徴とする方法。
【請求項９】
請求項８に記載の方法であって、前記現時点の一時的エンハンスメントレイヤフレームの前記測定値は前記第２方法に従って決定されるビット数を用いて決定される、ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、前記第１測定値は式１に従って決定される、ことを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、前記第２測定値は式２に従って決定される、ことを特徴とする方法。
【請求項１２】
微粒子によりエンハンスされた符号化ビデオフレームの送信における現時点の一時的エンハンスメントレイヤフレームと現時点の品質エンハンスメントレイヤフレームの各々のために、所定のビットレートにおいて、送信ビット数を決定するための装置であって：
前記品質エンハンスメントレイヤフレームの第１測定値と前記品質エンハンスメントレイヤフレームおよび前記一時的エンハンスメントレイヤフレームの第２測定値との比を所定の閾値と比較するための符号；並びに
前記比が所定の閾値より小さいとき、第１方法を用い、そうでないとき、第２方法を用いて、前記送信ビット数を決定するための符合；
を有することを特徴とする装置。
【請求項１３】
請求項１２に記載の装置であって：
前記現時点の品質エンハンスメントレイヤフレームと少なくとも１つの次の品質エンハンスメントレイヤフレームとの間の品質の差として前記第１測定値を決定するための符合であって、前記現時点のフレームと前記少なくとも１つの次のフレームの前記品質測定値は前記第１方法に従って決定されたビット数を用いて決定される、符号；
をさらに有する、ことを特徴とする装置。
【請求項１４】
請求項１２に記載の装置であって：
前記現時点の品質エンハンスメントレイヤフレームと少なくとも１つの次の一時的エンハンスメントレイヤフレームとの間の差として前記第２側低値を決定するための符合であって、前記現時点のフレーム品質測定値は前記第１方法に従って決定されるビット数を用いて決定され、前記少なくとも１つの次の一時的エンハンスメントレイヤフレーム品質測定値は前記第２方法に従って測定されたビット数を用いて決定される、符合；
をさらに有する、ことを特徴とする装置。
【請求項１５】
請求項１２に記載の装置であって：
前記一時的エンハンスメントレイヤフレーム測定値に従って前記閾値を決定するための符合であって、前記一時的エンハンスメントレイヤフレーム測定値は前記第２方法に従って決定されたビット数を用いて決定される、符合；
をさらに有する、ことを特徴とする装置。
【請求項１６】
請求項１５に記載の装置であって、前記一時的エンハンスメントレイヤフレーム測定値が増加するにつれて前記閾値は減少する、ことを特徴とする装置。
【請求項１７】
請求項１２に記載の装置であって：
少なくとも１つの次の一時的エンハンスメントレイヤフレームの測定値を所定の水準と比較するための符号；並びに
前記測定値が前記所定の水準より小さいとき、前記第１方法に従って送信ビット数を決定するための符合；
をさらに有する、ことを特徴とする装置。
【請求項１８】
請求項１７に記載の装置であって、少なくとも１つの一時的エンハンスメントレイヤフレームの前記測定値は前記第２方法に従って決定されるビット数を用いて決定される、ことを特徴とする装置。
【請求項１９】
請求項１に記載の装置であって：
前記現時点の一時的エンハンスメントレイヤフレームの測定値を第２の所定の水準と比較するための符号；並びに
前記測定値が前記第２の所定の水準より大きいとき、前記第２方法に従って前記送信ビット数を決定するための符合；
をさらに有する、ことを特徴とする装置。
【請求項２０】
請求項１９に記載の装置であって、前記現時点の一時的エンハンスメントレイヤフレーム測定値は前記第２測定値に従って決定されたビット数を用いて決定される、ことを特徴とする装置。
【請求項２１】
請求項１２に記載の装置であって、前記第１測定値は式１に従って決定される、ことを特徴とする装置。
【請求項２２】
請求項１２に記載の装置であって、前記第２測定値は式２に従って決定される、ことを特徴とする装置。
【請求項２３】
請求項１０に記載の方法であって、前記一時的レイヤエンハンスメントフレームにおける前記送信ビット数は０である、ことを特徴とする方法。
【請求項２４】
請求項２１に記載の装置であって：
前記一時的エンハンスメントレイヤフレームにおける前記送信ビット数を０に設定するための符号；
をさらに有する、ことを特徴とする装置。
【請求項２５】
微粒子スケーラビリティ符号化ビデオフレームの送信における現時点の品質エンハンスメントレイヤフレームと現時点の一時的エンハンスメントレイヤフレームの各々における送信ビット数を決定するための符合を有する記憶モジュールであって、全に記憶モジュールの符号は：
少なくとも１つの次の一時的エンハンスメントレイヤフレームの測定値を所定水準と比較する；
前記測定値が前記所定水準より小さいとき、第１方法に従って前記送信ビット数を決定する；
現時点の一時的エンハンスメントレイヤフレームの測定値を第２の所定水準と比較する；
前記第２測定値が前記第２の所定水準より大きいとき、第２方法に従って前記送信ビット数を決定する；
前記品質エンハンスメントレイヤフレームの測定値と前記品質エンハンスメントレイヤフレームおよび前記一時的エンハンスメントレイヤフレームの測定値との比を所定の閾値と比較する；並びに
前記比が所定の閾値より大きいとき、前記第１方法に従って、そうでないとき、前記第２方法に従って、前記送信ビット数を決定する；
ために実施可能である、ことを特徴とする記憶モジュール。
【請求項２６】
請求項２５に記載の記憶モジュールであって：
前記第２方法に従って決定されたビット数を用いて前記少なくとも１つの一時的エンハンスメントレイヤフレームを決定する；
ためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項２７】
請求項２５に記載の記憶モジュールであって：
前記第２方法に従って決定されたビット数を用いて前記現時点のエンハンスメントレイヤフレームを決定する；
ためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項２８】
請求項２５に記載の記憶モジュールであって：
前記第１方法に従って決定されたビット数を用いて前記現時点の品質エンハンスメントレイヤフレームの品質測定値を決定する；
前記第１方法に従って決定されたビット数を用いて少なくとも１つの次の品質エンハンスメントレイヤフレームの品質測定値を決定するめ；並びに
前記現時点の品質エンハンスメントレイヤフレーム品質測定値と少なくとも１つの次の品質エンハンスメントレイヤフレーム品質測定値における差として前記品質エンハンスメントレイヤフレーム測定値を決定する；
ためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項２９】
請求項２５に記載の記憶モジュールであって：
前記第１方法に従って決定されたビット数を用いて前記現時点の品質エンハンスメントレイヤフレームの品質測定値を決定する；
前記第２方法に従って決定されたビット数を用いて前記少なくとも１つの次の一時的エンハンスメントレイヤフレームの品質測定値を決定する；並びに
前記現時点の品質エンハンスメントレイヤフレーム品質測定値と前記少なくとも１つの次の一時的エンハンスメントレイヤフレーム品質測定値における差として疝気品質エンハンスメントレイヤフレームおよび前記一時的エンハンスメントレイヤフレーム測定値を決定する；
ためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項３０】
請求項２５に記載の記憶モジュールであって、式１に従って前記第１測定値を決定するためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項３１】
請求項３０に記載の記憶モジュールであって、前記一時的エンハンスメントレイヤフレームにおいて前記送信ビット数を０に決定するためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項３２】
請求項２５に記載の記憶モジュールであって、式２に従って前記第２測定値を決定するためにさらに実施可能である、ことを特徴とする記憶モジュール。
【請求項３３】
微粒子エンハンスド符号化ビデオフレームの送信において現時点の品質エンハンスメントレイヤフレームと現時点の一時的エンハンスメントレイヤフレームの各々のために、所定のビットレートにおいて、送信ビット数を決定するための方法であって：
品質レイヤフレーム測定値が所定の閾値より大きいとき、第１方法を用いて前記送信ビット数を決定する段階；
一時的エンハンスメントレイヤフレーム測定値が許容される測定値より小さいとき、前記第１方法を用いて前記送信ビット数を決定する段階；
そうでないとき、第２方法を用いて前記送信ビット数を決定する段階；
を有することを特徴とする方法。
【請求項３４】
請求項３３に記載の方法であって、前記第２方法は式２に従って決定される、ことを特徴とする方法。
【請求項３５】
請求項３３に記載の方法であって、前記第１方法は式１に従って決定される、ことを特徴とする方法。
【請求項３６】
請求項３３に記載の方法であって、前記一時的エンハンスメントレイヤフレーム測定値は前記フレームにおける動きアクティビティ測定値から決定される、ことを特徴とする方法。
【請求項３７】
請求項３３に記載の方法であって、前記品質レイヤフレーム測定値は前記フレームの複雑性測定値からから決定される、ことを特徴とする方法。
【請求項３８】
請求項３６に記載の方法であって、前記動きアクティビティ測定値は前記フレームの動きベクトルに関連して決定される、ことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ビデオの符号化に関し、さらに詳細には、画像品質と動き平滑性とのバランスをとるために送信されたデータビットの数を決定することに関する。
【背景技術】
【０００２】
微粒子スケーラビリティ（Ｆｉｎｅ−Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ（ＦＧＳ））ビデオ符号化の柔軟性は、１９９９年６月６日に申請された、“ベースレイヤ符号化情報を用いる改善された微粒子スケーラブルビデオのためのシステムおよび方法（Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｉｍｐｒｏｖｅｄ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｕｓｉｎｇ  Ｂａｓｅ  Ｌａｙｅｒ  Ｃｏｄｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ）”と題され、譲受人に譲渡された米国出願特許第ＰＨＡ２３，７２５号明細書に記載されているように、送信帯域幅の広い範囲に対応することができる。改善されたＦＧＡビデオ符号化法は、２０００年６月９日に申請された、“ハイブリッド一時的ＳＮＲ微粒子スケーラビリティビデオ符号化（Ｈｙｂｒｉｄ  Ｔｅｍｐｏｒａｌ−ＳＮＲ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）”と題され、譲受人に譲渡された米国出願特許第ＰＨＡ２３，５８２号明細書に開示されている。開示されたハイブリッド一時的ＳＮＲ（信号対ノイズ比）ＦＧＳビデオ符号化法においては、符号器は、ＳＮＲ  ＦＧＳ専用フォーマットまたはハイブリッド一時的ＳＮＲ  ＦＧＳフォーマットにビデオ画像を符号化するために動作可能である。フレーム内の専用ＳＮＲ（即ち、品質）ＦＧＳ符号化ビデオデータを送信するかフレーム内のハイブリッド一時的ＳＮＲ符号化ビデオを送信するかのどちらかに対する決定がなされる。前者の場合、高品質画像は、全ての有効な帯域幅が画像品質に寄与するデータビットにより利用されるとき、送信される一方、後者の場合、有効な帯域幅は、画像品質をエンハンスするデータビットおよび対象の動きを平滑化するデータビットにより占められる。符号化ビデオ画像が高品質の第１モードで送信されるとき、フレーム内の対象は“ぎくしゃくした”動きを示し、第２モードで送信される符号化ビデオ画像はより低い品質と成る。この方法の有利点は、一旦、モードが選択されると、送信の間、選択されたモードは変わらないことである。それ故、送信の第２モードが選択されるとき、より低い品質の画像が送信され、さらに、フレームからフレームへの対象の動きがないときでさえ、そうである。
【０００３】
従って、送信モードがビデオ画像に適合していないため、送信モード選択方法を用いて、有効なネットワーク帯域幅の効果的な使用を行うことはできない。
【０００４】
それ故、受信画像品質と画像対象の動きの平滑化とのバランスをとるために、フレームからフレームへの画像の動きと送信帯域幅における変化を割り当て且つそれらを有効に使用する送信モードを決定するための方法およびシステムが求められている。
【発明の開示】
【課題を解決するための手段】
【０００５】
微粒子ビデオ符号化システムにおいては、画像品質と対象の動きのバランスをとるために、一時的にエンハンスされたビデオデータとエンハンスされたＳＮＲの送信ビット数を決定するための方法が提供されている。本発明の原理に従って、品質がエンハンスされたフレームデータの値並びに品質的にエンハンスされたフレームデータと一時的にエンハンスされたフレームデータの値の所定の閾値に対する比を比較することによる１つの側面において、品質的にエンハンスされたビデオ画像フレームと一時的にエンハンスされたビデオ画像フレームの各々に対する所定のビットレートにおいて送信ビット数が決定される。品質的にエンハンスされたフレームと一時的にエンハンスされたフレームの各々において送信されたビット数は、それ故、その比が所定の閾値より大きいとき、第１方法を用いることにより、他の場合は第２方法を用いることにより、決定される。
【０００６】
添付の図面は本発明の概念を示すことのみを目的とし、本発明を限定するレベルを示すことを意図するものではないことを理解されたい。参照文字を補った同じ参照番号が、適切な場合には、対応する部分を識別するために一貫して用いられていることが理解されるであろう。
【発明を実施するための最良の形態】
【０００７】
図１は、ハイブリッド一時的ＳＮＲ  ＦＧＳ符号化構造におけるビデオ画像を符号化するためのシステム１００を示している。システム１００は、ビデオソース２からビデオ画像を受信し、可変帯域幅ネットワーク６を横断してエンハンスされたビデオ画像を送信する。理解されるであろうように、ビデオソース２は、テレビ、カメラ、ビデオレコーダ／再生装置、アナログまたはデジタル等のようないずれかのビデオ捕捉装置により取り入れられることができ、可変帯域幅ネットワークは、インターネットのような陸上通信線ネットワーク、電話回線ネットワークのようなポイントツーポイントネットワーク、衛星回線のような無線ネットワークまたは携帯電話あるいはコンピュータのような移動受信装置とすることが可能である。
【０００８】
符号器１１０は、基本的には、ベースレイヤ（ＢＬ）符号器８、ハイブリッド一時的ＳＮＲ  ＦＧＳビデオ符号器２０およびビデオレート制御器１８から構成される。参照文献としての過去の出願である米国特許出願公開第０９／３４７，８８１号明細書に記載されているベースレイヤ符号器８は、受信されたビデオ画像をベースレイヤデータストリームに符号化する。符号化されたベースレイヤは符号化のレベルを表し、即ち、最低限の許容可能ビデオ画像を表し、ネットワーク６において送信されるように保証される。参照文献としての過去の出願である米国特許出願公開第０９／５９０，８２５号明細書に記載されているＦＧＳレイヤ符号器２０は、入力ビデオ画像と入力ビデオ画像のベースレイヤ符号化画像との間に生成された残像をビデオエンハンスメントレイヤに符号化する。ビデオエンハンスメントレイヤは、符号化されたベースレイヤにより生成される画像の品質を改善するために用いられる。レート制御器１８は、ベースレイヤとエンハンスメントレイヤの送信レートであって、それ故、例えば、有効な帯域幅（Ｒ）およびユーザの優先度に依存して送信されることができるビット数を決定する。ユーザの優先度は、ユーザの入力３により制御器１８に入力されることができる。
【０００９】
図示したように、ビデオソース２からのビデオデータは、ＢＬ符号器８およびハイブリッド一時的ＳＮＲ  ＦＧＳビデオ符号器２０の両方に入力される。ＢＬ符号器８は、従来のフレーム予測符号化技術を用いてオリジナルビデオ画像を符号化し、ＲＢＬで表される所定のビットレートでビデオデータを圧縮する。計算ブロック４は、最小ビットレート（Ｒｍｉｎ）と最大ビットレート（Ｒｍａｘ）との間の値にＲＢＬを設定する。殆どの場合、最小の帯域幅を保証するためにＲｍｉｎに設定され、ネットワーク６はベースレイヤ符号器８により符号化されるビデオデータを受け入れることができる。
【００１０】
ビデオソース２からのオリジナルビデオデータおよびＢＬ符号器８により提供される符号化ビデオデータ（即ち、ベースレイヤ符号化画像）は、残像（ＲＪ）計算ブロック１０とハイブリッド符号器２０における動き補償残像（ＭＣＲＩ）計算ブロック２４の両方にさらに提供される。ＲＩ計算ブロック１０とＭＣＲＩ計算ブロック２４は、残像１２および動き補償（ＭＣ）残像２２を生成するために、オリジナルビデオデータおよび符号化ビデオデータをそれぞれ処理する。残像１２は、この復号化ビデオデータにおける画素とオリジナルビデオデータにおける対応する画素との間の差に基づいて、生成される。ＭＣＲＩ計算ブロック２４は、ＢＬ符号器８から符号化ビデオデータを受信し、また、この符号化ビデオデータを復号化する。ＭＣ残像２２は、復号化ビデオデータからの動き補償アプローチに基づいて生成される。
【００１１】
上記のハイブリッド符号化の結果として、エンハンスメントレイヤフレームの２つのストリーム、即ち、ここで符号化されたＦＧＳＴと呼ぶ一時的エンハンスメントストリーム３２と、ここで符号化されたＦＧＳと呼ぶエンハンスメントストリーム３１とが生成される。ＦＧＳＴ符号化エンハンスメントストリーム３２は、ＭＣＲＩ  ＥＬ符号器２６からの圧縮されたＦＧＳ一時的フレームを含む一方、ＦＧＳ符号化エンハンスメントストリーム３１は、残像符号器１４からのＳＮＲフレーム、即ち、標準的ＦＧＳ残像フレームを含む。ビデオ符号化ストリーム３１、３２は、１つのエンハンスメントレイヤストリームを生成するために、独立して送信され、結合されることができる。
【００１２】
ここで、図２ａを参照するに、代表的なハイブリッド一時的ＳＮＲスケーラビリティ構造のシーケンスが示されており、ここでは、ＦＧＳエンハンスメントレイヤ２４０において示された符号化ビデオフレーム２４２、２４４、２４６，２４８等のみが送信される。エンハンスメントレイヤＦＧＳレイヤフレームは、図示されたベースレイヤ符号化フレーム２１２、２１４、２１６、２１８等を用いて同時に送信される。この場合、ＦＧＳエンハンスメントレイヤ２４０のフレームが対応するベースレイヤ２１０のフレームにおいて符号化データを補うとき、高品質のビデオ画像を得ることができる。理解されるであろうように、送信されたＦＧＳ符号化ブロック２４２、２４４、２４６、２４８等のビット数は、有効な帯域幅により制限される。このようにして、有限数のＦＧＳ符号化情報アイテムまたはデータビットが、送信時に送信されることができる。
【００１３】
一時的エンハンスメントデータ送信のないこの場合、送信されるベースレイヤフレームデータおよびＦＧＳエンハンスメントレイヤフレームデータは、交互のフレームに送信される。受信システム（図示せず）において一貫したフレームレートを保つために、復号器は送信されないフレームに受信されたフレームをコピーする。このようにして、受信されるフレーム、例えば、２１２／２４２は、受信器の処理を単純化するために受信シーケンス（図示せず）において複製される。
【００１４】
ここで、図２ｂを参照するに、ハイブリッド一時的ＳＮＲスケーラビリティ構造が示されており、ここでは、一時的レイヤ（即ち、ＦＧＳＴ）フレームのみが送信される。この場合、ベースレイヤフレーム２１０と一時的レイヤフレーム２３２´における情報アイテムが交互に送信される。この代表的な例においては、画像品質は、フレームツーフレームの対象の平滑な動きをもつベースレイヤ２１０の画像品質に基本的に対応する。
【００１５】
ここで、図２ｃを参照するに、ハイブリッド一時的ＳＮＲスケーラビリティ構造の代表的な送信シーケンスを示しており、ここでは、ＦＧＳＴ符号化エンハンスメントレイヤ２３０およびＦＧＳ符号化エンハンスメントレイヤ２４０両方のフレームデータが送信される。この場合、高品質と一時的スケーラビリティの両方が達成される。ここに示した例においては、ベースレイヤフレーム２１２における符号化データと対応するＦＧＳエンハンスメントレイヤフレーム２４２″における符号化データは、ＦＧＳＴエンハンスメントレイヤフレームデータ２３２″の次に送信される。その送信シーケンスは送信の単なる１つの例であり、ＦＧＳレイヤおよびＦＧＳＴレイヤの両方は並列チャンネルにおいて同時に送信されることが可能である。
【００１６】
図１におけるＦＧＳレート制御器２８とリアルタイムスケーラブルビデオレート制御器１８は、１つのみのエンハンスメントレイヤが送信されるときは第１方法を、ＳＮＲと一時的エンハンスメントの組み合わせが必要であるときは第２方法を用いて、上記の送信スキームの各々において送信されることができるビット数を決定する。
【００１７】
以下、方法Ａという、送信ビットの数を決定する第１方法においては、エンハンスメントレイヤは送信されないため、エンハンスメントレイヤの１つを送信されたデータビットは０に等しい。それ故、品質専用エンハンスメント、即ち、ＳＮＲ専用に対して、ＦＧＳＴレイヤのビットレートは０に等しい。従って、送信された符号化ＦＧＳエンハンスメントレイヤフレームビットは次式により決定されることができる。
【００１８】
【数１】
2005500755.tif 000003
ここで、ＦＦＧＳｅＡは各々のＦＧＳエンハンスメントフレームに対するビット数であり、
ＦＦＧＳＴｅＡ＝０であり、
Ｒｅｎｈは送信時のエンハンスメントレイヤについて有効なビットレートであり、
ｆｔは送信フレームレートであり、
Ｒは送信時に有効な総帯域幅であり、そして
ｆＢＬはベースレイヤビットレートである。
【００１９】
対象的に、対象画像の動きの平滑性が主として考慮されるものであるとき、即ち図２ｂまたは２ｃの場合、送信時における円はエンハンスメントレイヤＲｅｎｈに対して有効なビットレートは、ＦＧＳ符号化エンハンスメントレイヤフレームおよびＦＧＳＴ符号化エンハンスメントレイヤフレームの両方に適応する必要がある。ＦＧＳ符号化エンハンスメントレイヤおよびＦＧＳＴ符号化エンハンスメントレイヤの両方の送信における全体的送信フレームレートは、ｆＢＬ＋ｆＥＬとして決定される。好適な実施形態において、各々のＦＧＳおよびＦＧＳＴエンハンスメントレイヤフレームについてのビット数は、送信フレーム間に実質的に均等に分割される。それ故、各々のエンハンスメントにおけるビット数は次式により決定されることができる。
【００２０】
【数２】
2005500755.tif 000004
ここで、ＦＦＧＳｅＢは各々のＦＧＳフレームに対するビット数であり、
ＦＦＧＳＴｅＢはＦＧＳＴフレームに対するビット数であり、そして
ｆＢＬは全体に亘るエンハンスメントレイヤビットレートである。
【００２１】
以下、方法Ｂという、この送信ビット数を決定する第２方法においては、１つのＦＧＳＴフレームのみが２つのＦＧＳフレームの間に挿入されるとき、即ち、図２ｃに示すようにｆＥＬ＝ｆＢＬであるとき、各々の送信フレームにおけるビット数は次式で表されることができる。
【００２２】
【数３】
2005500755.tif 000005
この場合、エンハンスメントＦＧＳレイヤのビット数の半分のみが送信される。その結果、ベースレイヤの品質を改善するために用いられるＦＧＳエンハンスメントビットの数が減少するにつれ、画像品質は著しく減少する。理解されるであろうように、ＦＧＳエンハンスメントレイヤ間の一時的エンハンスメントレイヤの数は、任意の数のレイヤを含むことが可能である。この場合、各々のレイヤにおいて送信されるビット数は、好適には、実質的に同じであるため、対象の動きは著しく平滑になる。
【００２３】
ここで、方法Ａを参照するに、ＦＧＳＴエンハンスメントレイヤフレーム２３２、２３４等は送信されないため、各々の符号化ＦＧＳエンハンスメントレイヤフレーム２４２，２４４等は、ＦＧＳ（ｉ）、ｉ＝１，３，５，７，．．．，ｎのように表されることが可能である。
【００２４】
次いで、各々のフレームに対する品質についての測定値である信号対ノイズ比のピーク（ＰＳＮＲ）値が決定され、ＰＳＮＲ（ＦＧＳ（ｊ））（ここで、ｊ＝１，２，．．．，ｎ）のように表されることが可能である。理解されるであろうように、ＰＳＮＲＡ（ＦＧＳ（ｉ））は、実質的にＰＳＮＲＡ（ＦＧＳ（ｉ＋１））と同じである。しかしながら、フレーム画像が高度の動きを含むとき、２ｆＢＬにおける隣接フレーム間、即ち、ＰＳＮＲＡ（ＦＧＳ（ｉ））およびＰＳＮＲＡ（ＦＧＳ（ｉ＋１））の間の画像コンテンツにおける差は比較的大きい。それ故、送信されるフレームのＰＳＮＲ値は、前のフレームについての値より著しく大きい、すなわち、ＰＳＮＲＡ（ＦＧＳ（ｉ））＞＞ＰＳＮＲＡ（ＦＧＳ（ｉ＋１））となる。
【００２５】
ＦＧＳエンハンスメントレイヤ２４０およびＦＧＳＴエンハンスメントレイヤ２３０が送信される図２ｃに示した送信に関連して、隣接フレームのＰＳＮＲの値と隣接フレームのＰＳＮＲ測定値との間にある比較的小さい変化は殆どなく実質的に等しく、即ち、ＰＳＮＲＢ（ＦＧＳ（ｉ））≒ＰＳＮＲＢ（ＦＧＳ（ｉ＋１））である。
【００２６】
図３ａは、最適な視認品質を達成するために、送信されるＦＧＳレイヤ２４０のビット数およびＦＧＳＴ２３０のレイヤビット数を決定するために代表的な処理シーケンスのフロー図３００を示している。
【００２７】
ブロック３０５において、方法ＢのＰＳＮＲ符号化次フレームＰＳＮＲＢ（ｉ＋１）のＰＳＮＲ測定値が所定の水準より小さいかどうかに関する決定がなされる。その答えが肯定的である場合、品質の改善は優先度が大きいため、各々のレイヤのために送信されるべきビット数は方法Ａ、すなわち、式１に従って決定される。この場合、行こうなエンハンスメントレイヤ帯域幅は、ＦＧＳレイヤ２４０の情報アイテムのビットにより全体的に占められる。
【００２８】
しかしながら、ブロック３０５における決定が否定的である場合、方法ＢのＦＧＳＴ符号化現時点フレームのＰＳＮＲ測定値が所定の水準より大きいかどうかに関して、ブロック３１５において決定がなされる。この答えが肯定的である場合、品質が十分な水準に達しており、動き平滑性が最も重要であるため、ブロック３１５において、各々のレイヤのために送信されるべきビット数は方法Ｂに従って決定される。
【００２９】
しかしながら、ブロック３１５における決定が否定的である場合、ブロック３２５において、方法Ａおよび方法Ｂ両方における現時点のフレーム間のＰＳＮＲ測定値における差が決定される。さらに、方法Ａにおける現時点のフレームと次のフレームとの間のＰＳＮＲ測定の差が決定される。前者の品質測定値に対する後者の品質測定値の比は
（ＰＳＮＲＡ（ＦＧＳ（ｉ＋１）−ＰＳＮＲＡ（ＦＧＳ（ｉ）／（ＰＳＮＲＡ（ＦＧＳ（ｉ）−ＰＳＮＲＢ（ＦＧＳ（ｉ））
のように表され、ブロック３２５において決定される。
【００３０】
ブロック３３０において、ＰＳＮＲの差について決定された比が所定の閾値より小さいかどうかに関する決定がなされる。ＰＳＮＲの差の比が所定の閾値より小さい場合、各々のレイヤのために送信されるべきビット数は、方法Ａ，すなわち式１に従って決定される。そうでない場合、各々のレイヤのために送信されるべきビット数は、方法Ｂ，すなわち式２に従って決定される。
【００３１】
理解されるであろうように、有効な帯域幅が既知であるとき、ＰＳＮＲ測定値およびＰＳＮＲの差の測定値の計算は送信時においてのみ実行されることができる。他の実施形態において、ＰＳＮＲ測定値と対応するＦＧＳレイヤ２４０およびＦＧＳＴレイヤ２３０の情報データアイテムは、複数の所定のビットレートＲｋ（ｋ＝１，．．．，ｍ）に対して非リアルタイムに決定され、将来の参照のために記憶されることができる。このようにして、送信時に、予備記憶、予備決定されたＦＧＳ例や２４０およびＦＧＳＴレイヤ２３０の情報アイテムのＰＳＮＲ値は、Ｒｋ＋１＞Ｒ＞Ｒｋである有効ビットレートに対してアクセスされることが可能である。
【００３２】
良い性能のために、所定の閾値は、ＦＧＳエンハンスメントレイヤ２４０フレームおよびＦＧＳＴエンハンスメントレイヤ２３０フレームの画像品質と、有効ビットレートＲとに関連される。さらに詳細には、ＦＧＳエンハンスメントレイヤフレーム２４０の品質が向上するにつれ、動きのギクシャクさにより導入される視認性を撹乱させる影響は許容より小さくなる。送信帯域幅が広くなり、すなわち、より大きいビットレートＲが利用可能になるとき、対応する個々の画像の品質は向上する。それ故、視認品質を改善するために、増加したＦＧＳＴレイヤフレーム数を送信することができる。
【００３３】
図３ｂは、本発明の原理に従ったレートの決定３５０のための第２実施形態についてのフロー図を示している。この実施形態において、レートの決定は、ブロック３５５において、画像またはシーンの複雑性に関してなされる。シーンの複雑性を決定するための１つの方法については、“ＭＰＥＧ−２  Ｔｅｓｔ  Ｍｏｄｅｌ  ５，Ｃｏｄｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  Ｐｉｃｔｕｒｅ  ａｎｄ  Ａｕｄｉｏ  Ｉｎｆｏｒｍａｔｉｏｎ，  ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００，ＡＰＲＩＬ  １９９３”に開示されている。ブロック３６０において、シーンの複雑性が所定の閾値より大きいかどうかについての決定がなされる。その答えが肯定的である場合、シーンは複雑であり、品質の改善の優先度が大きいため、各々のレイヤのために送信されるべきビット数が、ブロック３１０において、方法Ａ，すなわち式１に従って決定される。この場合、有効なエンハンスメント帯域幅は、ＦＧＳレイヤ２３０の品質エンハンスメントビットにより占められる。
【００３４】
しかしながら、その答えが否定的である場合、ＦＧＳＴフレームの動きアクティビティは、ブロック３６５において決定される。一実施形態においては、動きアクティビティは、送信動きベクトルのために必要とされるビット数を評価することにより決定されることができる。ブロック３７０において、動きアクティビティが許容閾値より小さいかどうかについての決定がなされる。その答えが肯定的である場合、シーンにおける動きアクティビティは殆どなく、品質の改善の優先度が大きいため、各々のレイヤのために送信されるべきビット数は、ブロック３１０において、方法Ａ、すなわち式１に従って決定される。この場合、有効なエンハンスメント帯域幅は、ＦＧＳレイヤ２４０の情報アイテムのビットにより全体的に占められる。
【００３５】
しかしながら、その答えが否定的である場合、シーンの品質は十分な水準に達しており、動き平滑性が最も重要であるため、各々のＦＧＳおよびＦＧＳＴエンハンスメントレイヤのために送信されるべきビット数は、ブロック３２０において、方法Ｂ，すなわち式２に従って決定される。例えば、十分な水準は、１０ＨｚにおいてＣＩＦ解像度画像に対して、複雑度の測定値が３００，０００ビットより大きく、動きベクトルが６，０００ビットに少なくとも等しいとき、決定されることが可能である。
【００３６】
図４は、ＰＳＮＲおよびＦＧＳＴエンハンスメントレイヤ２３０フレームの測定値の関数として、図３ａのブロック３３０を参照して、閾値を決定するための代表的なグラフ４００を示している。図４に示すように、閾値は、４３０に示すようにＰＳＮＲ測定値が所定の低い値より小さいとき、最大値４１０に設定され、ＰＳＮＲ測定値が増加するにつれてライン４４０を減少するように示されるとき、単調に減少する。決定された閾値は、ＰＳＮＲ測定値が４５０で示される所定の水準より大きいとき、最小値に設定される。
【００３７】
本発明は、現時点のフレームと次のフレームとの間の比較に関して開示したが、図３において示した決定が同じ方法を用いるより大きいフレームの群において実行される場合、ＦＧＳエンハンスメントレイヤとＦＧＳＴエンハンスメントレイヤとの間のスイッチングの一貫性が改善されることができることは理解されるであろう。
【００３８】
図５ａは、本発明の原理を用いて、代表的な送信システム５００を示している。この場合、ビデオデータは、ビデオ符号化ユニット５１０にビデオフレームソースにより提供される。符号化されたビデオデータは、次いで、符号化バッファ５１４において記憶される。サーバ５１６は、データネットワーク６における変化する帯域幅状態、パケット損失またはユーザの優先度に従って、符号化されたビデオ情報を受信し、送信ビットストリームを調整する。受信システム５１７において、受信されたデータフレームは復号器バッファ５１８に記憶され、ビデオ復号器５２０に提供される。ビデオ復号器５２０は受信された情報を抽出し、復号化する。復号化された情報アイテムは、次いで、ビデオ表示装置５２２において表示されるか、または、アナログビデオレコーダまたはデジタルビデオレコーダのようなビデオレコーディング装置（図示せず）において記憶されることが可能である。図５ｂは、広い帯域幅を有する広帯域幅ネットワーク５５０が、ネットワーク５７０に対する帯域幅状態、パケット損失またはユーザの優先度に従って、符号化されたビデオ情報を受信し、プロキシ５６０により送信ビットストリームを調整する。
【００３９】
図６は、本発明の原理を実行するために用いることが可能であるシステム６００の代表的な実施形態を示している。システム６００は、テレビ、セットトップボックスコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、パーソナル携帯デジタル端末（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）やデジタルビデオレコーダ（ＤＶＲ）やＴｉＶＯ装置のようなビデオ／画像記憶装置、並びに以上の装置および他の装置の組み合わせまたはその一部を意味することが可能である。システム６００は、１つまたはそれ以上のビデオ／画像ソース２、１つまたはそれ以上の入力／出力装置６０２、プロセッサ６０３および記憶装置６０４を含む。ビデオ／画像ソース２は、例えば、テレビ受信装置、ＶＣＲまたは他のビデオ／画像記憶装置を表すことが可能である。ビデオ／画像ソース２はまた、例えば、インターネットのようなグローバルなコンピュータ数進ネットワーク、広域ネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上放送波システム、ケーブルテレビネットワーク、衛星放送ネットワーク、無線ネットワークまたは電話回線ネットワーク、並びにそれらのネットワークおよび他のネットワークの組み合わせまたはその一部におけるサーバからビデオを受信するために、１つまたはそれ以上のネットワーク接続を表すことが可能である。
【００４０】
入力／出力装置６０２、プロセッサ６０３および記憶装置６０４は通信媒体６を亘って通信することが可能である。通信媒体６は、例えば、バス、通信ネットワーク、１つまたはそれ以上の回路の内部接続、回路カードまたは他の装置、並びにそれらの媒体および他の媒体の組み合わせまたはその一部を表すことが可能である。ソース２からの入力ビデオデータは、表示装置６０６に供給される出力ビデオ／画像を生成するために、記憶装置６０４に記憶され且つプロセッサ６０３により実行される１つまたはそれ以上のソフトウェアプログラムに従って処理される。
【００４１】
好適な実施形態において、本発明の原理を実施する符号化および復号化は、システムにより実行されるコンピュータ読み取り可能符号により実行されることが可能である。符号は、記憶装置６０４において記憶され、またはＣＤ−ＲＯＭまたはフロッピー（R）ディスクのような記憶媒体から読み取り／ダウンロードされることが可能である。他の実施形態において、ハードウェア回路が、本発明を実行するためのソフトウェア命令に代えて、またはそれとの組み合わせにおいて、用いられることが可能である。例えば、ここで示した構成要素はまた、別々のハードウェア要素として実行されることが可能である。
【００４２】
本発明は、特定の具体性を備える好適な形態において詳述してきたが、以上の好適な形態の開示は単に例として挙げたに過ぎず、本発明の主旨および範囲から逸脱することなく、構成要素の構成、組み合わせおよび配置の詳細における数多くの変更がなされることが可能であることは理解されるであろう。特許の新規性についてどのような特徴が上記詳細説明に開示されていようが、同時提出の本発明の請求項における適切な説明をもって特許は網羅されるであろうことが意図されている。
【図面の簡単な説明】
【００４３】
【図１】先行技術のＦＧＳ符号化システムを示す図である。
【図２ａ】ハイブリッド一時的ＳＮＲ  ＦＧＳ符号化構造の例を示す図である。
【図２ｂ】ハイブリッド一時的ＳＮＲ  ＦＧＳ符号化構造の例を示す図である。
【図２ｃ】ハイブリッド一時的ＳＮＲ  ＦＧＳ符号化構造の例を示す図である。
【図３ａ】本発明の原理に従ったレート制御を決定するための処理のフロー図である。
【図３ｂ】本発明の第２実施形態に従ったレート制御を決定するための処理のフロー図である。
【図４】本発明の原理に従った画像品質に関する閾値の設定についてのグラフである。
【図５ａ】本発明の原理を用いる代表的なシステムを示す図である。
【図５ｂ】本発明の原理を用いる代表的なシステムを示す図である。
【図６】本発明の原理を実行するために用いることが可能である送信システムの代表的な実施形態を示す図である。
【図１】
2005500755.tif 000006
【図２ａ】
2005500755.tif 000007
【図２ｂ】
2005500755.tif 000008
【図２ｃ】
2005500755.tif 000009
【図３ａ】
2005500755.tif 000010
【図３ｂ】
2005500755.tif 000011
【図５ａ】
2005500755.tif 000012
【図５ｂ】
2005500755.tif 000013
【図６】
2005500755.tif 000014
【国際公開パンフレット】
2005500755.tif 000015
2005500755.tif 000016
2005500755.tif 000017
2005500755.tif 000018
2005500755.tif 000019
2005500755.tif 000020
2005500755.tif 000021
2005500755.tif 000022
2005500755.tif 000023
2005500755.tif 000024
2005500755.tif 000025
2005500755.tif 000026
2005500755.tif 000027
2005500755.tif 000028
2005500755.tif 000029
2005500755.tif 000030
2005500755.tif 000031
2005500755.tif 000032
2005500755.tif 000033
2005500755.tif 000034
2005500755.tif 000035
2005500755.tif 000036
2005500755.tif 000037
2005500755.tif 000038
2005500755.tif 000039
【国際調査報告】
2005500755.tif 000040
2005500755.tif 000041
2005500755.tif 000042