(57)【要約】  それぞれ重み値を有する複数の品質インクレメントにおいて符号化された符号化単位に区分された変換係数を有するスケーラブルに符号化された画像のシーケンスのレート制御の方法。上記方法は、サブセットを規定する（工程２９）。上記サブセットはそれぞれ、１つ以上の符号化単位を有する。少なくとも１つの画像が、少なくとも１つの符号化単位を２つ以上のサブセットに貢献する。各サブセットと関連付けられた少なくとも１つのエントリを有する要求リスト（ＬＯＲ）が設定される（工程３０）。これらの重み値を用いて、上記サブセットに関するＬＯＲを満たす許容コードストリームを構築するように、品質インクレメントを選択する（工程３４、工程３６）。上記品質インクレメントは、上記ＬＯＲ中のサイズ要求に晒された異なるサブセットについて高品質を達成するように、選択され得る。特定の要求について、上記コードストリームは、ほぼ一定の再構築された画像品質も示す。上記品質インクレメントはまた、上記ＬＯＲ中のサイズ要求に晒された異なるサブセットについてより小さな圧縮サイズを達成するように選択することもできる。【選択図】図２
2008541664.tif 000002
【特許請求の範囲】
【請求項１】
変換された１つ以上の画像をレート制御して（工程３１）変換係数を得る方法であって、前記変換係数は符号化単位５２に区分され、前記符号化単位５２は、それぞれ重み値５６を有する複数の品質インクレメント５０にそれぞれ符号化され（工程３２）、
サブセット５４を符号化単位の集合として定義する工程（工程２９）であって、少なくとも１つのサブセットが２つ以上の符号化単位を含み、少なくとも１つの画像が１つ以上の符号化単位を２つ以上のサブセットに与えている、工程と、
サブセットに関する要求リスト（ＬＯＲ）を設定する工程（工程３０）であって、第１のサブセットは、第２のサブセットのサイズ要求と異なるサイズ要求を有する、工程と、
前記重み値を用いて、各サブセットの前記ＬＯＲを満たすように品質インクレメントを選択する工程（工程３４、工程４１）と、
前記選択された品質インクレメントから許容コードストリームを構築する工程（工程３６）と、
を含む、方法。
【請求項２】
２つ以上のサブセット５４は、同一符号化単位５２を有する（工程２９）、請求項１に記載の方法。
【請求項３】
前記画像は、ＪＰＥＧ２０００を用いて符号化され（工程３１）、前記ＪＰＥＧ２０００において、前記符号化単位はコードブロックであり、前記品質インクレメントは符号化パスである、請求項１または２に記載の方法。
【請求項４】
前記許容コードストリーム２つ以上の層を含み、１つ以上の層が、前記要求を満たす、
請求項１または２に記載の方法。
【請求項５】
サイズ要求に晒されたサブセットについて、最大重み値５６を有する前記品質インクレメント５０が選択される（工程３４、工程４１）、請求項１または２に記載の方法。
【請求項６】
前記ＬＯＲ中の少なくとも１つのエントリ（工程３０）がサブセット５４についての品質要求であり、品質要求に晒されて、最大重み値を有する前記品質インクレメント５０が選択される（工程３４、工程４１）、請求項１または２に記載の方法。
【請求項７】
前記サブセット５４（工程２９）は、個々の画像から符号化単位の集合として定義されたイメージワイズサブセットおよび／または画像のシーケンスにおける各画像から符号化単位の集合として定義されたシーケンスワイズサブセットを含み、前記ＬＯＲは、イメージワイズおよび／またはシーケンスワイズ要求を含み、前記品質インクレメントは、
任意のイメージワイズサブセットについて、前記ＬＯＲ中のそのイメージワイズ要求を満たすように品質インクレメント５０を選択する工程（工程３４）と、
任意のシーケンスワイズサブセットについて、前記ＬＯＲ中のそのシーケンス要求を満たすように品質インクレメント５０を選択する工程（工程３８、４１）と、
によって選択される、
請求項１または２に記載の方法。
【請求項８】
前記第１のサブセットはイメージワイズサブセットであり、前記第２のサブセットはシーケンスワイズサブセットである（工程２９）、請求項７に記載の方法。
【請求項９】
前記第１および第２のサブセットはイメージワイズサブセットである（工程２９）、請求項７に記載の方法。
【請求項１０】
前記１つ以上の画像のための前記許容コードストリーム全体は、１パス中で構築される（工程３４、工程４１、工程４２）、請求項７に記載の方法。
【請求項１１】
品質インクレメント５０は、その重み値５６に基づいて任意のイメージワイズ要求を満たすように選択され、前記選択された品質インクレメントは、各前記画像について保存され（工程３４）、その後、重み値に基づいて任意のシーケンスワイズ要求を満たすように品質インクレメントを選択し（工程４１）、その後、前記選択された保存された品質インクレメントから前記許容コードストリームを構築する（工程４２）、請求項１０に記載の方法。
【請求項１２】
前記第１および第２のイメージワイズサブセットに関する前記イメージワイズサイズ要求は、最大サイズまたは所望のサイズを指定する、請求項９に記載の方法。
【請求項１３】
前記サブセット５４（工程２９）は、各画像について第１イメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットならびに第４のイメージワイズサブセットを含み、前記第１イメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットはそれぞれ、前記画像の３つの色成分それぞれを再構築するために必要な全符号化単位５２を含み、前記第４のイメージワイズサブセットは、前記３つの色サブセットの和集合であり、前記ＬＯＲ（工程３０）は、前記第１、第２および第３のイメージワイズサブセットそれぞれに関する最大イメージワイズサイズ要求を含み、前記最大イメージワイズサイズ要求は、前記第４のイメージワイズサブセットに関するイメージワイズサブセット要求によって可能な最大許容サイズよりもより小さな最大許容サイズを指定する、請求項７に記載の方法。
【請求項１４】
前記サブセット５４（工程２９）は、前記シーケンス中の全画像の全符号化単位を含むシーケンスワイズサブセットをさらに含み、前記ＬＯＲ（工程３０）は、前記シーケンスワイズサブセットのシーケンスワイズサイズ要求を含み、前記シーケンスワイズサイズ要求は、前記第４のイメージワイズサブセットに関する最大イメージワイズサブセット要求よりも大きなサイズを可能にする、請求項１３に記載の方法。
【請求項１５】
前記許容コードストリームは、第１のより低い解像度および第２のより高い解像度において前記画像を再構築することができ、前記サブセットは、各画像について、第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットならびに第４のイメージワイズサブセットを含み、前記各画像について、第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットは、前記画像の３つの色成分それぞれを前記第１のより低い解像度において再構築するために必要な全符号化単位を含み、前記第４のイメージワイズサブセットは、前記画像の全体の全符号化単位を含み（工程２９）、前記ＬＯＲは、各画像について、前記第４のイメージワイズサブセットに関するイメージワイズサイズ要求と、前記第１、第２および第３のイメージワイズサブセットそれぞれに関するイメージワイズ最大サイズ要求とを含み（工程３０）。前記イメージワイズ最大サイズ要求は、前記第４のイメージワイズサブセットによって許容されるサイズよりもより小さなサイズを要求する、請求項７に記載の方法。
【請求項１６】
前記許容コードストリームは２つ以上の層を含み、１つ以上の層は共に前記要求を満たす、請求項１５に記載の方法。
【請求項１７】
前記第４のイメージワイズサブセットに関する前記イメージワイズサイズ要求は、最大イメージワイズサイズ要求である（工程３０）、請求項１５に記載の方法。
【請求項１８】
前記サブセットは、全画像の全符号化単位を含むシーケンスワイズサブセットをさらに含み（工程２９）、前記ＬＯＲは、前記シーケンスワイズサブセットに関するシーケンスワイズサイズ要求を含む（工程３０）、請求項１７に記載の方法。
【請求項１９】
各画像について、前記第１のサブセットおよび前記第２のサブセットは、前記画像の異なる空間的領域の再構築のために必要な前記符号化単位を含むイメージワイズサブセットである（工程２９）請求項７に記載の方法。
【請求項２０】
複数の画像を含むシーケンスについて、
前記符号化単位に関する前記品質インクレメントをアーカイブとして保存する工程であって、前記品質インクレメントは、各サブセットに関する前記ＬＯＲを満たしかつ前記許容コードストリームを構築するように前記アーカイブから選択される、工程、
をさらに含む、請求項１または２に記載の方法。
【請求項２１】
前記関連付けられた重み値は、前記アーカイブ中に保存される。請求項２０に記載の方法。
【請求項２２】
前記サブセットを規定する工程および前記ＬＯＲを設定する工程は、前記品質インクレメントが前記アーカイブとして保存された後に行われる、請求項２０に記載の方法。
【請求項２３】
同一の画像のシーケンスの同一または異なるサブセットについて異なるＬＯＲを設定する工程と、
前記重み値を用いて、前記異なるＬＯＲを満たす別の許容コードストリームを構築するように、前記アーカイブから品質インクレメントを選択する工程と
をさらに含む、請求項２０に記載の方法。
【請求項２４】
許容コードストリームを生成するシステムであって、
１つ以上の画像１５２の入力シーケンスを受信し、符号化単位に区分された変換係数が得られるように前記シーケンスを変換するように適合された符号器１５０であって、前記符号化単位は、重み値および長さをそれぞれ有する複数の品質インクレメントにおいてそれぞれ符号化される、符号器１５０と、
サブセット定義１７２を受信するように適合されたレート制御器１６８であって、前記サブセット定義１７２は、符号化単位の集合を規定し、前記符号化単位の集合において、少なくとも１つのサブセットが２つ以上の符号化単位を含み、少なくとも１つの画像が１つ以上の符号化単位を２つ以上のサブセットに与えており、前記レート制御器１６８は、前記サブセット１７４に関する要求リスト（ＬＯＲ）１７４を受信するように適合され、第１のサブセットは、第２のサブセットのサイズ要求と異なるサイズ要求を有し、前記レート制御器は、前記重み値を用いて、前記関連するサブセットに関するＬＯＲを満たす品質インクレメントを選択し、前記選択された品質インクレメントから許容コードストリーム１７６を構築する、レート制御器１６８と、
を含む、システム。
【請求項２５】
２つ以上のサブセット１７２が同一符号化単位を含む、請求項２４に記載のシステム。
【請求項２６】
前記サブセット１７２は、各画像について、第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットならびに第４のイメージワイズサブセットを含み、前記第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットは、前記画像の３つの色成分それぞれを再構築するために必要な全符号化単位をそれぞれ含み、前記第４のイメージワイズサブセットは、前記３つの色サブセットの和集合であり、前記ＬＯＲ１７４は、前記第１、第２および第３のイメージワイズサブセットそれぞれに関する最大イメージワイズサイズ要求を含み、前記最大イメージワイズサイズ要求は、前記第４のイメージワイズサブセットに関するイメージワイズサイズ要求によって許容される最大許容サイズよりも小さな最大許容サイズを指定する、請求項２４または２５に記載のシステム。
【請求項２７】
前記許容コードストリームは、第１のより低い解像度および第２のより高い解像度において前記画像を再構築することができ、前記サブセット１７２は、各画像について、第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットならびに第４のイメージワイズサブセットを含み、前記第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットは、前記第１のより低い解像度における前記画像の３つの色成分それぞれを再構築するために必要な全符号化単位を含み、前記第４のイメージワイズサブセットは、画像全体の全符号化単位を含み、前記ＬＯＲ１７４は、各画像について、前記第４のイメージワイズサブセットに関するイメージワイズサイズ要求と、前記第１のイメージワイズサブセット、第２のイメージワイズサブセットおよび第３のイメージワイズサブセットに関するイメージワイズ最大サイズ要求とを含み、前記イメージワイズ最大サイズ要求は、前記第４のサブセットの前記サイズ要求によって許容されるサイズよりも小さなサイズを要求する、請求項２４または２５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルに符号化された画像のレート制御方法に関し、より詳細には、画像データのサブセットに関する規定要求を満足するレート制御に関する。
【背景技術】
【０００２】
過去数十年の間、サブバンドまたはウェーブレット符号化は、高効率の画像圧縮方法として知られてきた。中でも特に重要なものとして、非特許文献１（ここで、同文献を参考のため援用する）中に記載されているような新規の画像圧縮標準ＪＰＥＧ２０００がある。他の圧縮標準と同様に、ＪＰＥＧ２０００標準は、復号器および関連付けられたコードストリームシンタックスを定義している。この標準は、生成されたコードストリームが定義されたコードストリームシンタックスに準拠しておりかつ準拠した復号器によって復号化可能である限り、符号器の動作を命令しない。その結果、柔軟性の高い符号器の設計が可能となる（非特許文献２および非特許文献３を参照（ここで、同文献を参考のため援用する））。
【０００３】
図１は、画像１１の符号化に用いられる代表的なＪＰＥＧ２０００符号器１０を示す。各画像は、（必要に応じて）重なり合っていない矩形タイル１２に分割される。タイルは、空間的ランダムアクセスを可能にし、インプレメンテーションメモリ要求を限定する。次に、必要に応じた成分変換１４を用いて、圧縮効率を向上させることができる。例えば、１つの画像が赤色成分、緑色成分および青色成分からなる場合、色変換の適用により、圧縮性能を向上させることができる。以降、タイルの各（変換された）色成分をタイル成分と呼ぶ。ウェーブレット変換１６を各タイル成分に適用すると、各タイル成分のサブバンドに整理された多数の変換係数が生成される。その後、各サブバンドの変換係数は、コードブロック１８と呼ばれる矩形ブロックに分割される。その後、各コードブロックは、コードブロック符号器１９により、独立的に符号化される。
【０００４】
所与のコードブロックについて、その符号化は、その係数を量子化して量子化指数を得る工程により、開始する。これらの量子化指数は、符号付き整数の配列として見なすことができる。可逆的ウェーブレット変換を用いた場合、ウェーブレット係数は既に整数であるため、量子化は厳密には不要である。この符号付き整数の配列は、サイン配列および大きさ配列を用いて表すことができる。このサイン配列は、各点における配列の値は量子化指数が正または負であるかを示す二元配列としてみなすことができる。この大きさ配列は、各量子化指数からの１ビットにより、一連の二元配列に分割することができる。これらの配列のうち第１の配列は量子化指数の最上位ビット（ＭＳＢ）に対応し、最終配列は最下位ビット（ＬＳＢ）に対応する。このような配列をそれぞれビットプレーンと呼ぶ。その後、コードブロックの各ビットプレーンは、ビットプレーン符号器を用いてエントロピー符号化される。ＪＰＥＧ２０００において用いられるビットプレーン符号器は、コンテキスト依存のバイナリ算術符号器である。ビットプレーン符号器は、コードブロックの各ビットプレーンにわたって３パスを行う。これらのパスを符号化パスと呼ぶ。ビットプレーン中の各ビットは、これらの符号化パスのうち１つにおいて符号化される。その結果得られた圧縮データを圧縮された符号化パスを呼ぶ。
【０００５】
コードブロック符号器は、圧縮符号化パスの長さと共に各圧縮符号化パスによって提供されるひずみ（平均二乗誤差）低減の量も演算する。この情報により、圧縮符号化パスの長さにわたるひずみ低減の比を圧縮符号化パスのひずみレート傾斜として規定することができる。圧縮符号化パスのひずみレート傾斜は、上記圧縮符号化パスによって提供されるバイト当たりのひずみ低減量である。従って、ひずみレート傾斜の大きな圧縮符号化パスを、ひずみレート傾斜がより小さな圧縮符号化パスよりもより重要であるとみなすことができる。コードブロック符号器１９は、圧縮符号化パス２０、その長さ２２およびひずみレート傾斜２１をコードストリーム生成ユニット２３に提供する。このコードストリーム生成ユニット２３は、各コードブロック１８からのどの圧縮符号化パス２０を当該コードストリーム中に含めるべきかを決定する。このコードストリーム生成ユニットは、バイトバジェットが使い果たされるまで、上記コードストリーム中への最大レートひずみ傾斜と共に、上記圧縮符号化パスを含む。
【０００６】
画像シーケンスを圧縮するためにＪＰＥＧ２０００が用いられる場合、上記シーケンス中の各画像に対して用いられるべきレートを決定するための現在公知の方法はわずかしかない。１つの可能性として、当該シーケンス中の各画像を符号化するための固定レート（すなわち、個定数のバイト）の選択がある。この方法は簡単でインプレメンテーションが容易であるが、アプリケーションによっては適切な性能が得られない。多数の画像シーケンスにおいて、シーケンス中の画像の特性が著しく変動する。この方法は固定数のバイトを各画像に割り当てるため、その結果得られた伸長された画像シーケンスは、画像間の品質のばらつきが大きい。
【０００７】
この欠陥は、Ｔｚａｎｎｅｓらによって特許文献１中において特定されている。Ｔｚａｎｎｅｓらは、これらの画像を連続的に符号化する場合に、特定の性能向上を達成するための圧縮パラメータの適応選択を可能にする。この適応は、当該シーケンス中の先行する画像のみから収集された情報を用いて、現在の画像について行われ、後続画像は、上記現在の画像のレートを割り当てる際、考慮されない。さらに、シーケンス中の２つの連続する画像が高く相関されていない場合（例えば、場面変化の場合）、上記適応は行き詰まる。固定レート符号化の別の代替例が、非特許文献４において提示されている。この方法において、圧縮画像はバッファ中に配置される。圧縮データは、一定のレートで上記バッファから引き出される。新規の圧縮画像が利用可能になった場合、この圧縮画像がバッファに追加される。新規圧縮画像を追加すべきであるときにバッファが満杯である場合、上記新規の圧縮画像および上記バッファ中に既に存在するその他の画像は短縮され、これにより、全圧縮データが上記バッファ中に入るようにする。その結果得られた画像は、用いられるバッファの長さに対応する「スライディング時間窓」内の比較的低い品質変化を有する。しかし、品質は、上記スライディング窓の長さよりも大きな時間フレームにわたって大きく変動し得る。さらに、上記方法のいずれも、画像データ（例えば、個々の画像、個々の成分）のサブセットに関するサイズ要求または品質要求を発行する能力を提供していない。
【０００８】
【特許文献１】米国特許出願ＵＳ２００４／００４７５１１Ａ１
【非特許文献１】ＩＴＵ−Ｔ  Ｒｅｃ．Ｔ．８００／ＩＳＯ／ＩＥＣ１５４４４−１：２００４ＪＰＥＧ  ２０００  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  システム
【非特許文献２】「ＪＰＥＧ２０００  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  システム」、２００４
【非特許文献３】Ｄ．Ｓ．ＴａｕｂｍａｎおよびＭ．Ｗ．Ｍａｒｃｅｌｌｉｎ、ＪＰＥＧ２０００：Ｉｍａｇｅ  圧縮ｉｏｎ  Ｆｕｎｄａｍｅｎｔａｌｓ、Ｐｒａｃｔｉｃｅ  ａｎｄ  Ｓｔａｎｄａｒｄｓ、Ｋｌｕｗｅｒ  Ａｃａｄｅｍｉｃ  Ｐｕｂｌｉｓｈｅｒｓ、Ｂｏｓｔｏｎ、２００２
【非特許文献４】Ｄａｇｈｅｒら（Ｒｅｓｏｕｒｃｅ−Ｃｏｎｓｔｒａｉｎｅｄ  Ｒａｔｅ  Ｃｏｎｔｒｏｌ  ｆｏｒ  Ｍｏｔｉｏｎ  ＪＰＥＧ２０００、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、２００３年１２月）
【発明の開示】
【０００９】
本発明は、画像データのサブセットに適用される要求を満たすスケーラブルに符号化された画像のシーケンスのレート制御方法を提供する。
上記レート制御方法は、シーケンス中の画像を変換して変換係数を得るあるクラスの符号器に適用することができる。これらの係数は、符号化単位に分割される。各符号化単位の係数は符号化されて、複数の品質インクレメントが得られる。ＪＰＥＧ２０００圧縮システムにおいて、これらの符号化単位はコードブロックであり、これらの品質インクレメントは圧縮符号化パスである。
【００１０】
符号化単位を１つ以上のサブセットに収集することにより、レート制御を達成する。イメージワイズサブセットは、単一の画像からの符号化単位で構成される。所与の画像について、イメージワイズサブセットは、異なる解像度レベル、空間的領域、タイル、色成分または画像全体を含むその任意の組み合わせを規定することができる。シーケンスワイズサブセットは、シーケンス中の各画像からのコードブロックで構成され、異なる解像度レベル、空間的領域、タイルまたは色成分、あるいはシーケンス全体を含むその任意の組み合わせを規定することができる。単一のシーケンスワイズサブセットは、シーケンス中の全画像の全ての符号化単位を含み得、従って、画像シーケンス全体を規定する。
【００１１】
要求リスト（ＬＯＲ）を生成する際、上記リスト中の少なくとも１つの関連付けられたエントリを各サブセットが有するように、生成する。イメージワイズサブセットと関連付けられた要求をイメージワイズ要求と呼ぶ。シーケンスワイズサブセットと関連付けられた要求をシーケンスワイズ要求と呼ぶ。
【００１２】
各符号化単位の各品質インクレメントについて、重み値を演算する。これらの重み値を用いて、再構築された高品質または低圧縮サイズを達成することを試行しつつ、関連するサブセットに関する要求を満たすためにどの符号化パスを決定するのかを決定する。全サブセットに関するＬＯＲを満たすコードストリームは、上記保存された品質インクレメントからの画像シーケンスについて、構築される。このようなコードストリームを「許容コードストリーム」と呼ぶ。各符号化単位について保存する品質インクレメントを決定し、許容コードストリームを構築する方法は、ＬＯＲ、計算複雑性、メモリなどの問題に依存する。
【００１３】
サイズに関する規定要求によって可能となるような高品質の達成を試行する場合について、本発明をまとめる。品質に関する規定要求によって可能となるような低サイズの達成も、同様である。各画像について、１パスアプローチでは、各イメージワイズサブセット内の最大重み値を有する品質インクレメントを選択する際、上記選択された品質インクレメントの全体サイズが当該サブセットに関するイメージワイズサイズ要求を満たすように、選択する。上記選択された品質インクレメント、重み値および長さが保存される。残りは捨象される。全画像がこのように処理された後、最大重み値を有する各シーケンスワイズサブセットの残りの品質インクレメントを選択する際、上記選択された品質インクレメントのサイズ全体が当該サブセットに関する上記シーケンスワイズサイズ要求を満たすように、選択する。上記許容コードストリームおよび上記残りからの上記選択された品質インクレメントは捨象される。
【００１４】
各方法は、上記要求によって可能となるような上記サブセット内の再構築された高画像品質を達成しようとする。具体的には、これらの方法は、各シーケンスワイズサブセット内の各個々の画像の各イメージワイズサブセットおよび（全ての画像またはシーケンスについて平均化された）高い平均品質内の高品質を達成しようとする。イメージワイズ対シーケンスワイズサイズ要求の相対的厳密性に起因して、画像品質による高い画像と高い平均品質との間のトレードオフが発生し得る。品質インクレメント選択が任意のシーケンスワイズサイズ要求によって占有されている場合、上記方法それぞれは、上記関連するサブセット内の画像対画像からほぼ一定の再構築された画像品質も達成する。
本発明の上記の特徴および利点および他の特徴および利点は、以下の好適な実施形態の詳細な説明を添付図面と共に鑑みれば、等位業者にとって明らかである
【発明を実施するための最良の形態】
【００１５】
本発明は、ＪＰＥＧ２０００によって例示されるスケーラブル符号器のクラスを用いた画像符号化方法に関し、より具体的には、スケーラブルに符号化された画像のシーケンスのレート制御方法に関する。上記レート制御方法は、或る画像シーケンスについて、許容コードストリーム中に含めるべき圧縮データを決定する際、所定のサブセット定義について所定要求の組が満たされるように、決定する。上記方法は、上記サブセットに関するサイズ要求によって許容されるような、上記関連するサブセット内の再構築された高画像品質を達成することを試行する。特定の要求について、上記方法は、上記関連するサブセット内の画像対画像からのほぼ一定の再構築された画像品質も達成する。もちろん、小型サイズに制限されたサブセットは、大サイズに制限されたサブセットと比較して、低品質を有する。そのため、「高品質」という用語は、当該要求に対して相対的に解釈すべきである。あるいは、上記方法は、上記サブセットに関する規定された品質要求を満たしつつ、上記サブセットに対して小さな圧縮サイズを達成することを試行することもできる。
【００１６】
上記したレート制御方法は、デジタル画像（例えば、動画、映像、時系列データ、３−Ｄボリューム画像（例えば、マルチスペクトルおよびハイパースペクトル遠隔感知データ）、またはより高次元のデータセット、ならびに個々の静止画）の任意のシーケンスに適用可能である。上記実施形態ではＪＰＥＧ２０００圧縮について説明したが、上記実施形態は、ＪＰＥＧ２０００と同様の機能性を持つ他の圧縮方法に適用可能である。
本発明のいくつかの実施形態では単一の画像シーケンスについて説明するが、これらの実施形態は、上記画像シーケンスが多数の群で構成される場合にも適用可能である。一例として、このような群は、シーケンスの時間的分割により、得られ得る。この場合、各群は、フィルムの「リール」と類似している。別の例として、異なる群を予告編上映、予告編１、予告編２、上映前広告などとして定義することもできる。「３Ｄ」（ステレオ）画像シーケンスの場合、左右の眼によって視認されるべき画像からなる２つの群があり得る。これらの「左側」群および「右側」群をさらにリールに分割してもよい。それぞれの場合において、レート割当は、各群をシーケンスとして取り扱うことにより、各群について個々に実施され得る。一方、全ての群は、集計され、レート割当目的のために単一のシーケンスとして取り扱われ得る。
【００１７】
スケーラブルに符号化された画像のレート制御
図２に示すように、符号化単位のサブセットを規定することにより、レート制御を達成する（工程２９）。好適には符号化単位はＪＰＥＧ２０００中のコードブロックであるが、サブバンド、ＤＣＴブロック、変換された成分、変換された画像の全体、または他のデータ構造を用いてもよい。これらのサブセットは、工程３１において用いられる符号化プロセスの知識を用いて定義される。
【００１８】
個々の画像について定義されたサブセットをイメージワイズサブセットと呼ぶ。これらのイメージワイズサブセットは、異なる解像度レベル（例えば、２Ｋおよび４Ｋ）、異なる空間的領域（例えば、前景および背景）、異なる色成分（例えば、Ｒ、Ｇ、Ｂ）、またはこれらの任意の組み合わせ（画像全体を含む）を規定し得る。上記方法の意図および範囲内において、他のサブセットも可能である。イメージワイズサブセットは、個々の画像に関する要求を定義する際に有用である。例えば、多成分アプリケーションにおいて、一画像の各成分および画像全体に対して圧縮サイズ要求を発行することができる。３成分画像の場合、画像の符号化単位３つの画像成分（例えば、Ｒ、Ｇ、Ｂ）に対応する３つのサブセットにグループ分けする。第４のサブセットは、上記画像中の全符号化単位で構成される。明らかなことであるが、この場合、イメージワイズサブセットは分解しなくてよい。
【００１９】
画像シーケンス全体について定義されたサブセットをシーケンスワイズサブセットと呼ぶ。シーケンスワイズサブセットは、異なる解像度レベル（例えば、２Ｋおよび４Ｋ）、異なる空間的領域（例えば、前景および背景）または異なる色成分（例えば、Ｒ、Ｇ、Ｂ）またはこれらの任意の組み合わせ（シーケンス全体を含む）を規定し得る。上記方法の意図および範囲内において、他のシーケンスワイズサブセットも可能である。シーケンスワイズサブセットは、シーケンス全体に関する要求総計を規定する際に有用である。例えば、多成分アプリケーションの場合、各成分の（シーケンス中の全画像について集計された）圧縮サイズ総計と、上記シーケンス中の全画像の圧縮サイズ総計とについて、要求を発行することができる。それぞれ３成分を有する画像のシーケンスの場合、上記シーケンス中の全画像の符号化単位は、Ｒ、ＧおよびＢに対応する３個のサブセットにグループ分けされる。第４のサブセットは、上記シーケンス中の全画像の全符号化単位で構成される。明らかなことであるが、シーケンスワイズサブセットは分解する必要はない。
【００２０】
一つの画像のイメージワイズサブセットは、別の画像のイメージワイズサブセットと異なり得る。例えば、一つの画像はＲ、ＧおよびＢに対応する３個のサブセットを持ち得、別の画像は、当該画像全体に対応する単一のサブセットを持つ。さらに別の画像は、定義されたサブセットを持たない場合がある。同様に、１つのシーケンスは、定義されたシーケンスワイズサブセットを持たない場合がある。少なくとも１つの画像は、１つ以上の符号化単位を２つ以上のサブセットに提供しなければならない。上記一つの画像は、同一の符号化単位を上記２つのサブセットに提供するか、または、異なる符号化単位を上記２つのサブセットに提供し得る。上記２つのサブセットは両方ともイメージワイズであってもよいし、両方ともシーケンスワイズであってもよいし、あるいはこれらのうち１つであってもよい。
【００２１】
要求リスト（ＬＯＲ）をサブセットに対して設定する（工程３０）際、各サブセットが少なくとも１つの要求を持つようにする。上記ＬＯＲは典型的には、上記サブセットそれぞれについて、典型的には品質要求（所望、最小、最大）および／またはサイズ要求（所望、最小、最大）を含み得る。上記方法の意図および範囲内において、他の要求も可能である。
【００２２】
レート制御を各画像および画像シーケンスに適用する。この目的のため、符号器（例えば、ＪＰＥＧ２０００）を用いて各画像を符号化する（工程３１）。上記符号化プロセスは当業者にとって周知である多数の工程をたどっているが、レート制御目的のための本質的工程かつ関連的工程は、（１）ウェーブレット、ＤＣＴまたは他の適切な変換を用いて各画像を変換係数に変換する工程と、（２）上記変換係数を符号化単位に分割する工程と、（３）各符号化単位の係数を符号化して、各符号化単位に関する多数の品質インクレメントを得る工程である。ＪＰＥＧ２０００では、ウェーブレット変換を用い、上記係数を、各コードブロックについて圧縮符号化パスが得られるように符号化されたコードブロックに分割する。
【００２３】
ＪＰＥＧ２０００において、上記符号化単位符号化プロセスでは、量子化を行った後、ビットプレーン符号化を行って、品質インクレメントを得る。この視点では、量子化を符号化単位符号化プロセスの一部としてみなしている。あるいは、量子化を変換プロセスの一部としてみなすこともできる。実際、特定のインプレメンテーションでは、適切なスケーリングおよび丸めおよび／または可逆的変換を用いることにより、変換に量子化を取り入れることができる。典型的には、量子化工程サイズは比較的小さく設定され、全ビットプレーンは、レート割当の前に高いベース品質が保証されるように、符号化される。あるいは、より中程度の工程サイズを用いて、符号化の必要な開始ビットプレーン数を低減して、開始品質レベルを低下させることもできる。あるいは、（全てではなく）より少数の最上位ビット−プレーンを符号化して、同様の効果を得ることもできる。これらの代替例の裏側にある動機は、複雑性および／またはメモリ／保存の節約である。しかし、初期品質を過度に落とすことがないよう注意が必要である。あるいは、所望の品質に応じて工程サイズを選択することもできる。
【００２４】
各品質インクレメントの重み値を演算する（工程３２）。これは、工程３１と同時に行うことができる。適切な重み値は、ひずみレート傾斜であり得る。このような傾斜は、品質インクレメントをコードストリーム内に含めることによる利益／コスト比を表す。具体的には、特定の品質インクレメントの傾斜は、ひずみの低減（典型的には、品質インクレメントを（典型的にはバイト単位の）品質インクレメントの長さで除算することによって得られたＭＳＥまたは他のいくつかの品質インジケータ）である。その後、より大きなひずみレート傾斜を持つ品質インクレメントを、より小さな傾斜を持つ品質インクレメントよりもより重要なものであると見なすことができる。上記において、ＭＳＥ計算は、ビジュアルウェイティングおよび／またはビジュアルマスキング考慮事項を含むように改変され得る（例えば、ＴａｕｂｍａｎおよびＭａｒｃｅｌｌｉｎ、Ｓｅｃｔｉｏｎ１６．１を参照）。あるいは、ＭＳＥの代わりに、「最小可知差異」または他の視覚的に動機付けされたひずみ策を用いてもよい。
【００２５】
重み値についてさらに選択が可能である。例えば、サブセットの符号化単位それぞれが、Ｋ−Ｉ〜０（ＭＳＢ〜ＬＳＢ）のＫビットプレーンを持つと仮定する。これらのビットプレーン数を重み値として用いることができる。（ビットプレーン数ではなく）品質インクレメント数を重み値として用いることにより、同様の効果を得ることができる。別の変更例では、同一ビットプレーン数を有する全品質インクレメントに関する重み値の範囲を割り当てる。異なるビットプレーン数の範囲は別個であり、ある範囲内の重み値は、ひずみレート傾斜に従って並べられる。例えば、品質インクレメントのビットプレーン数をｂとし、そのひずみレート傾斜をｓとする。さらに、最大傾斜をｍｓとする。その場合、品質インクレメントに対する重み値の１つの選択肢は、ｂ＋ｓ／ｍｓとなり得る。
【００２６】
重み値は、１つ以上の画像の１つ以上の空間的領域（おそらくは画像全体）をエンファサイズまたはデエンファサイズするように、重み付けされ得る。
【００２７】
ＴａｕｂｍａｎおよびＭａｒｃｅｌｌｉｎの第８．２章から明らかなように、特定の品質インクレメント間の符号化単位コードストリーム終端を不可能にすることが望まれる場合がある。同等に、２つ以上の品質インクレメントを「グループ分け」し、これらのグループを本質的にレート割当目的のための単一の複合品質インクレメントとして取り扱うことが望まれ得る。このような複合品質インクレメントは、インクレメントの群の長さ全体によって除算されたインクレメントの群の全ひずみ低減として演算されたａ単一のひずみレート傾斜を有する。説明を簡単にするため、本明細書中、このグループ分けを適切な場合に実施し、「品質インクレメント」という用語は複合品質インクレメントを指し得ることと仮定する。
【００２８】
これらの重み値を用いて、特定のサブセット要求を満たすようにどの品質インクレメントを必要に応じて保存すべきかを決定する（工程３４）。工程３１、３２および３４は、上記シーケンス中の各画像について実施される（工程３５）。上記図は、逐次的処理プロセスまたは画像を示しているように見えるが、工程３１、３２および３４における画像間に依存関係は存在しないため、並行処理も可能である。この時点において、関連するサブセットに関する要求が残っている場合、シーケンス全体に関する許容コードストリームを構築する（工程３６）。
【００２９】
例示的実施形態において、任意のイメージワイズ要求が工程３４において満たされ、任意のシーケンスワイズ要求が工程３６において満たされる。あるいは、工程３４において全品質インクレメントを保存し、工程３６まで決定を延期することも可能である。その結果、必要なメモリ／保存が増加するが、編集およびアーカイビングなどの特定のアプリケーションにおいて有利であり得る。
【００３０】
各符号化された画像に対してどの品質インクレメントを保存するのかを決定する方法（工程３４）および画像シーケンスの許容コードストリームを構築する方法（工程３６）は要求および任意のさらなる問題（例えば、計算複雑性、メモリ、さらなる復号器要求）のリストに応じて異なる。
【００３１】
先ず、サイズ要求によって可能にされるような高品質の達成を試行する実施形態について説明する。次に、品質要求によって可能とされるような低サイズの達成を試行する実施形態について説明する。
【００３２】
１パスアプローチ
１パスアプローチでは、最大重み値を有する品質インクレメントを各イメージワイズサブセットから選択する際、当該サブセットから選択された品質インクレメントのサイズ全体が当該サブセットに対する任意のイメージワイズサイズ要求を満たすように、選択する（工程３４）。
【００３３】
上記選択された品質インクレメント、重み値および長さは、各画像について保存される。選択されなかった品質インクレメントは捨象される。上記画像全てが処理されると、上記方法は、各シーケンスワイズサブセット中に残っている重み値から最大重み値を有する（全画像からの）品質インクレメントを選択する際、（全画像についての総計での）当該サブセットからの上記選択された品質インクレメントのサイズ全体が上記サブセットに対する任意のシーケンスワイズサイズ要求を満たすように、選択する（工程４１）。上記選択された品質インクレメントを用いて、許容コードストリームを形成する（工程４２）。残りの品質インクレメント（選択されなかった品質インクレメント）は捨象され、上記許容コードストリームは、ドライブ、ディスクまたはテープなどの媒体に記録されるか、または、チャンネルを介して送信される。
【００３４】
２パスアプローチ
上記１パスアプローチでは、上記許容コードストリームにおいて最終的に必要となる量よりも大きい圧縮データの一時保存が必要となり得る。いくつかのアプリケーションの場合、これは望ましくない場合がある。２パスアプローチは、以下の点について１パスアプローチを改変したものである。すなわち、重み値および長さのみを保持し、各画像は符号化されているため全品質インクレメントを放棄し、その後許容コードストリーム構成が決定された後（工程４１）、全画像の再符号化（工程４３）を行って、上記許容コードストリームの形成に用いられる品質インクレメントを生成する（工程４２）。この第２のパスの間、所望の品質インクレメントのみを生成して、不要な演算および／または保存を回避することが可能である。
【００３５】
反復アプローチ
反復アプローチは、以下のように進行する。各画像について、各イメージワイズサブセットからの最大重み値を有する品質インクレメントを選択する際、当該サブセットからの上記選択された品質インクレメントのサイズ全体が当該サブセットに対する任意のイメージワイズサイズ要求を満たすように、選択する（工程３４）。選択されなかった品質インクレメントは捨象される。さらに、当該画像からの残りの品質インクレメント全てのうち、当該サブセットに関する有意閾値を超える重み値を有する各シーケンスワイズサブセットに属するものが選択される（やはり工程３４）。選択されなかった品質インクレメントは捨象される。後者の動作について、各シーケンスワイズサブセットに対する閾値は、全画像がこのように処理されるまで、固定保持される。工程３４の動作は、サブセット定義に応じて、同時実施してもよいしあるいは異なる順序で行ってもよい。全画像そのように処理された後、上記方法は、上記選択された品質インクレメントのサイズ全体が上記関連するシーケンスワイズサブセットに対するシーケンスワイズサイズ要求を満たすか否かを決定する（工程３７）。上記選択された品質インクレメントのサイズ全体が上記関連するシーケンスワイズサブセットに対するシーケンスワイズサイズ要求を満たさない場合、上記関連するシーケンスワイズサブセットに対する有意閾値を変更することにより、上記シーケンスワイズサイズ要求が満たされるまで上記プロセスを反復し（工程３８）、工程３１に戻る。その後、許容コードストリームを出力する（工程３９）。
【００３６】
上記有意閾値を増加させると、コードストリームが減少し、上記有意閾値を減少させると、コードストリームが増加する。異なるサブセットに対する頻繁な要求は独立しており、適切な有意閾値の検索を独立的に実施することができる。この場合、多数の技術（例えば、試行錯誤、二分、勾配降下または他の任意の一次元数値解析検索技術）を用いて、有意閾値を工程３８において変更することができる。上記検索を独立的に実施することが出来ない場合、任意の多次元数値検索技術を用いてもよい。ひずみレート傾斜を重み値として用いる場合、ひずみレート傾斜を用いて、導関数／傾度に基づいた検索方法を支援することができる。
【００３７】
品質インクレメントの選択
全ての上記の実施形態においては、サブセット内の最大重み値を有する品質インクレメントを選択するプロセスを用いる。このプロセスは、多数の様式で達成することが可能である。１つの方法では、品質インクレメントをその重み値の降順に従ってリスト化した後、上記リストの最上位から選択を行う。別の方法では、重み値と品質インクレメントとの間の対応関係は既知であるため、重み値のみをその重み値の降順に従ってリスト化する。別の方法では、閾値を越える重み値を有する全品質インクレメントを選択するという考えのもと、サブセットに対して有意閾値を設定する。これは、図３を鑑みることにより、サブセットの順序付けられたリストの最上位からの多数の品質インクレメントの選択に相当すると見なすことができる。
【００３８】
図３において、各水平実線は品質インクレメント５０を表し、水平線の各積み重ねは符号化単位５２を表す。符号化単位の集合はサブセット５４を表す。図３において、重み値５６が各品質インクレメントに隣接して示されている。（破線水平線で示されるような）１９で設定された閾値５８を越える重み値を有する各符号化単位の全品質インクレメントを選択する工程は、上記サブセット中の全品質インクレメントを選別した後にリスト最上位から１５個の品質インクレメントを選択する工程に相当することが明らかである。このようにして選択された品質インクレメントの全長が所望ではない場合、上記閾値を調節し、上記全長が（特定公差内の）所望値になるまで上記プロセスを繰り返すことができる。これは、上記した反復レート制御プロセスと類似するが、この場合データ再符号化は不要である。この反復は、先行して演算された重みおよび長さを用いて、工程３４または工程４１内において実施される。このアプローチは、重み値または品質インクレメントの選別およびリスト化よりも有利な演算およびメモリを得ることができる。上記有意閾値の増加により、選択された品質インクレメントのサイズ全体がより小さくなり、上記有意閾値の低減により、選択された品質インクレメントのサイズ全体が大きくなる。上記有意閾値は、多数の技術（例えば、試行錯誤、二分、勾配降下または任意の他の一次元数値解析検索技術）を用いて、工程３４および／または工程４１内に変更することができる。これを反復する代わりに、多数の閾値を並行して試験することも可能である。
【００３９】
並行処理
上述したように、工程３１、３２および３４を多数の画像について並行して実施することができる。工程４１および／または工程４２における作業の大部分を並行して実施することも可能である。各プロセッサは、１つ以上の画像について品質インクレメント、重み値、およびサイズを有する。制御プロセッサは、各サブセットに関する有意閾値を全プロセッサにブロードキャストすることができる。各プロセッサは、上記ブロードキャスト閾値に対応するその画像の各サブセットに関するサイズ全体を返送することができる。上記制御プロセッサは、これらのサイズの総計を計算し、新規の閾値をブロードキャストし、所望のサイズ全体（総計）が達成されるまで反復する。その後、上記制御は、最終閾値を超える有意値を有する品質インクレメントからその画像に関する許容コードストリームを生成および出力するよう、各プロセッサに対して要求することができる。
【００４０】
高品質
各アプローチは、（ＬＯＲの要求において実施可能なような）関連するサブセット内の再構築された高画像品質を達成することを試行する。具体的には、これらの実施形態は、工程３４において個々の画像について高品質を達成することを試行する。これらの実施形態は、工程３６においてシーケンス全体について高い平均品質を達成することを試行する。工程３４および工程３６それぞれにおいて、これらの実施形態は、最大重み値を有する品質インクレメントを含めることにより、高品質を達成することを試行する。いくつかの場合において、これらの実施形態は、上記関連するサブセット内において一定の品質画像対画像を大まかに達成する。「品質インクレメントの選択」と題した上記部分から、上記１パス、２パスおよび反復方法は、当該サブセットに対する閾値を設定する工程と、（全画像から）当該閾値を上回る重み値を有するサブセット内の全品質インクレメントを含める工程と（に相当する工程）により、所与のシーケンスワイズサブセットに関する任意のシーケンスワイズ要求を満たすことが分かった。
【００４１】
よって、その後、上記許容コードストリームは、工程３４における任意の関連するイメージワイズ要求に起因して捨象された有意閾値よりも大きな重み値を有するシーケンスワイズサブセット内の全画像の全品質インクレメントを含む。よって、イメージワイズ要求が実際に無い場合、品質は、画像対画像からのシーケンスワイズサブセット内で（おおよそ）一定になる。シーケンスワイズ要求およびイメージワイズ要求双方が実際にある場合において、上記シーケンス中の他の画像と比較して特定の画像の符号化が極めて困難である場合、有意な品質逸脱が発生し得る。このような画像の場合、任意のイメージワイズ要求に従って品質インクレメントを捨象するが、その場合、当該画像の品質が低下し得る。従って、上記一定の品質を達成する能力は、シーケンスワイズ要求対イメージワイズ要求の相対的厳密性により、支配される。詳細には、シーケンスワイズ要求よりもイメージワイズ要求の方が厳しい場合、この能力は低減される。極端には、シーケンスワイズ要求が実際に無い場合、所望のシーケンスワイズサイズを「最大限に」とみなすことができる。この場合、上記イメージワイズ要求は、各画像に適用され、品質は大きく変動する。
【００４２】
当該シーケンス中の他の画像と比較して或る画像の符号化が極めて容易である場合、その圧縮サイズが極小であっても、その品質がその他の画像よりも有意に高くなり得る点に留意されたい。
【００４３】
小サイズ
上記したような１パス実施形態、２パス実施形態および反復実施形態は、ＬＯＲ中のサイズ要求によって可能となるような高品質を達成しようとするものである。逆に、別の実施形態は、ＬＯＲ中の品質（ひずみ）要求によって可能となるようなより小さなサイズを達成しようとするものである。サブセットに対してイメージワイズ品質要求が存在する場合、工程３４では、当該サブセットについて任意の品質要求を満足するように、最大重み値を有するサブセットから品質インクレメントを選択する。シーケンスワイズサブセットに対してシーケンスワイズの品質要求が存在する場合、上記反復方法とは別に上記１パス方法および２パス方法を考える必要がある。１パス方法および２パス方法の場合、工程４１において、（全画像について平均化された）サブセットの平均品質が品質要求を満たすように、全画像についてシーケンスワイズサブセットから品質インクレメントを選択する。反復方法の場合、工程３８において、上記平均品質が上記品質要求を満たすまで、閾値を変更する。
【００４４】
品質要求が満たされた場合、（品質インクレメント長さではなく）各品質インクレメントと関連付けられたひずみ低減がこの点において有用であり得る点に留意されたい。また、要求種類が混合されている点にも留意されたい。例えば、単一のシーケンスについて、サイズ要求および品質要求双方がＬＯＲ中に存在し得る。
【００４５】
メモリ／ストレージ低減のための層使用
ＪＰＥＧ２０００によって得られる層化メカニズムを上記１パス実施形態または２パス実施形態において用いて、重み値および長さの保存に用いられるメモリ／保存の保存と、特定のインプレメンテーションの簡略化とを行うことができる。この実施形態において、品質インクレメントをグループ化して、２つ以上の層を形成する。より有意な品質インクレメントを先行層内に配置し、有意性がより低い品質インクレメントを後発層に配置する。層形成は、各層が所望のサイズを持つように行うことができる。あるいは、各層が所与の有意閾値（例えば、一定の品質）に対応するように、層形成を行ってもよい。１パス実施形態において、品質インクレメントも保存する。２パス実施形態において、品質インクレメントを捨象する。その後、サブセット要求を満たすように、各サブセットについて層を選択する。上記選択された層を新規の層に組みわせるかまたは分割して、許容コードストリーム中の所望の層化構造を達成することができる。
【００４６】
多数のＬＯＲを満足する層
多くの場合において、それぞれが異なる目的を果たす多数の埋設コードストリームを含む１つのコードストリームを生成することができる。例えば、超高品質ファイルは、画像シーケンスのアーカイバルバージョンを含み得る。このファイルから、１つ以上の異なるコードストリームを抽出することが可能であり得る。例えば、或るバージョンは、映画配信用の高い解像度を持ち、別のバージョンは、テレビ配信用のより低解像度を持ち得る。これは、抽出時における任意の「レート割当」無しに達成することができる。レート割当は、先験的に行うことができる。抽出に必要なのは、適切なＪＰＥＧ２０００データへのアクセスのみである。他の例として、異なるバージョンを、異なる圧縮されたサイズ、前景／背景などまたはこれらの組み合わせに対応させることができる。
【００４７】
この機能性は、２つ以上の層を有するコードストリームを生成することにより、達成可能である。サブセットが定義され、２つ以上の層のうち少なくとも１つについてＬＯＲ設定される。本明細書中教示されるレート割当方法を用いて、各このような層のＬＯＲを満たすことができる。サブセットは、各このような層について同一でなくてもよい層点に留意されたい。サブセットおよびＬＯＲは、当該層の目的に応じて、各層に対して異なって設定することができる。
いくつかの場合において、多数の層を有するコードストリームを、１つ以上の層に関するデータをそれぞれ含む多数のファイルに分割することが望ましい場合がある。例えば、２つの層の場合、別個のファイル中の第１の層および第２の層についてデータを持つと有用であり得る。その結果、サイズまたは速度が限定された保存デバイス（例えば、サーバ）に第１の層のみをロードし、サイズおよび／または速度がより高い保存デバイスに双方の層をロードすることが容易になる。同様の議論が、多数の解像度に当てはまる。
【００４８】
レート制御の例
以下の例では、イメージワイズサブセットおよびシーケンスワイズサブセットと、上記１パスアルゴリズムを用いた要求との異なる組み合わせを示す。これらの例においてはサイズ要求のみについて説明するが、上記の改変を用いれば、品質要求を満足することができる。
【００４９】
さらに、以下の例では、議論を容易にするため、品質インクレメントデータのサイズのみについて言及する。実際には、必要なオーバーヘッド情報（例えば、メインヘッダ、タイル／タイル部分ヘッダおよびパケットヘッダ）のサイズを考慮することが望ましい。これは、品質インクレメントデータのビットバジェットを適切に低減することにより、達成可能である場合が多い。
【００５０】
最後に、上記例では、選択された品質インクレメントからのＪＰＥＧ２０００コードストリームの詳細な構造については言及していない点に留意されたい。選択された品質インクレメントは、一般的には、ＪＰＥＧ２０００によって可能となる任意の様式（例えば、任意の進行順）で整理することができる。
【００５１】
例１：多成分
シーケンス中の各画像が赤色成分、緑色成分および青色成分を持つ例を考える。
【００５２】
Ｒ（Ｉ）、Ｇ（Ｉ）およびＢ（Ｉ）は、それぞれ画像Ｉの赤色成分、緑色成分および青色成分の符号化単位のセットを示すと仮定する。
2008541664.tif 000003
2008541664.tif 000004
および
2008541664.tif 000005
と仮定する。また、
Ａ（Ｉ）＝Ｒ（Ｉ）∪Ｇ（Ｉ）∪Ｂ（Ｉ）および
2008541664.tif 000006
と仮定する。
この例のサブセットは、以下のようになる。
イメージワイズ：Ａ（Ｉ）、Ｒ（Ｉ）、Ｇ（Ｉ）、Ｂ（Ｉ）  Ｉ＝１，  ，Ｌ
シーケンスワイズ：Ａ
上記セットの残りは全て、表記の便宜上のものである。
この要求リストは、以下のようになる。
イメージワイズ：
2008541664.tif 000007
シーケンスワイズ：
2008541664.tif 000008
（公差内）
ここで、
2008541664.tif 000009
は、任意の画像の最大合計サイズであり、
2008541664.tif 000010
2008541664.tif 000011
および
2008541664.tif 000012
は、任意の画像のＲ成分、Ｇ成分およびＢ成分の最大合計サイズであり、
2008541664.tif 000013
は、圧縮コードストリーム全体の所望の合計シーケンスワイズサイズである。上記合計サイズ要求に加えて、各画像の個々の画像および／または成分は、過度の数のバイトを必要とすべきではない。これらの要求は、バッファオーバーフロー／アンダーフローの回避または復号器における各画像および／または成分の解凍のために行われる演算量の限定のために、有用であり得る。上記例は、１つ以上のイメージワイズサブセットおよびそのサイズ要求を省略する場合を網羅することを意図する。また、上記方法は、シーケンスワイズサブセットおよびそのサイズ要求を省略する場合も網羅する。これらの省略を支持する改変が、以下の説明に含まれる。上記方法は、ＸＹＺなどの他の色空間にも適用可能である。また、色変換を用いる場合にも適用可能である。この場合、上記要求は、（色）変換成分に適用される。
【００５３】
１パスアプローチにおいて、
2008541664.tif 000014
となるように、最大重み値を有するＲ（Ｉ）から品質インクレメントを選択する。Ｒ（Ｉ）から選択されなかった品質インクレメントは捨象される（工程３４）。このプロセスをＧ（Ｉ）およびＢ（Ｉ）にも行う。上記選択された品質インクレメントの合計サイズＳ（Ａ（Ｉ））が
2008541664.tif 000015
以下となるように、最大重み値を有するＡ（Ｉ）中に残るものから品質インクレメントを選択する（工程３４）。選択されなかった品質インクレメントは捨象される。選択において他の順序も可能である。Ｒ（Ｉ）、Ｇ（Ｉ）、Ｂ（Ｉ）およびＡ（Ｉ）に関する要求のうち１つ以上が存在しない場合、工程３４の関連部分は省略される。このプロセスが当該シーケンス中の全画像について完了すると、公差内で
2008541664.tif 000016
となるように、品質インクレメントが、最大重み値を有するＡから選択される（工程４１）シーケンスワイズ要求が存在しない場合、工程４１は省略してよい。
【００５４】
シーケンスワイズ要求が無い場合、（公差内で）
2008541664.tif 000017
の代わりに
2008541664.tif 000018
を用いることができる。上記実施形態は、Ｓ（Ａ（Ｉ））が工程３４において
2008541664.tif 000019
をやや上回ることを可能にした点のみについて変更されている。正確な品質が所望される場合、不等価要求の後にパッデングを用いることができる。シーケンスワイズ要求もＳ（Ａ（Ｉ））に関する要求も無い場合、Ｒ（Ｉ）、Ｇ（Ｉ）、およびＢ（Ｉ）に対して等価要求を出すことができる。ここでも、上記実施形態はほとんど変更されていない。この議論から、当業者は、他の実施形態におけるイメージワイズ不等価および不等価要求を満たすことができる。
【００５５】
例２：多解像度、多成分
シーケンス中の各画像が赤色成分、緑色成分および青色成分を有し、２つの異なる解像度（例えば、２Ｋおよび４Ｋ）における復号化画像の表示を可能にするようにコードストリームが形成されている場合について考える。このシナリオにおける例示的コードストリーム機構１３０を図４に示し、対応するサブバンド分解１４０を図５に示す。図４において、上記コードストリームは、６つのセグメントにセグメント化される。セグメント１および４は赤成分からの圧縮データを含み、セグメント２および５は緑成分からの圧縮データを含み、セグメント３および６は青成分からの圧縮データを含む。最初の３つのセグメントが上記最初の３つのセグメントと共に用いられると、画像の２Ｋ解像度での再構築が可能となる。コードストリーム機構は例示目的のものである。上記アルゴリズムから得られた圧縮データは、その後、任意の有効ＪＰＥＧ２０００コードストリームとして構成することができる。
【００５６】
ここで、Ｒ1（Ｉ）、Ｇ1（Ｉ）およびＢ1（Ｉ）が、２Ｋ解像度および４Ｋ解像度双方における画像再構築に貢献するサブバンド１４１、１４２および１４３にそれぞれ対応する赤成分、緑成分および青成分の符号化単位のセットを表すと仮定する。ここで、Ｒ2（Ｉ）、Ｇ2（Ｉ）およびＢ2（Ｉ）が、４Ｋ解像度のみにおける画像再構築に貢献するサブバンド１４４、１４５および１４６にそれぞれ対応する赤成分、緑成分および青成分の符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000020
2008541664.tif 000021
および
2008541664.tif 000022
が、１つの画像中の赤成分、緑成分および青成分それぞれの全符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000023
2008541664.tif 000024
および
2008541664.tif 000025
が、１つの画像における２Ｋおよび４Ｋ双方、４Ｋのみおよびフル４Ｋそれぞれに貢献する全符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000026
2008541664.tif 000027
および
2008541664.tif 000028
が、シーケンス全体に対する２Ｋ解像度および４Ｋ解像度双方に貢献する赤成分、緑成分および青成分それぞれに対する全符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000029
2008541664.tif 000030
および
2008541664.tif 000031
が、シーケンス全体に対する４Ｋ解像度のみに貢献する赤成分、緑成分および青成分それぞれに対する全符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000032
2008541664.tif 000033
および
2008541664.tif 000034
が、シーケンス全体に対するフル４Ｋ解像度に貢献する赤成分、緑成分および青成分それぞれに対する全符号化単位のセットを表すと仮定する。ここで、
2008541664.tif 000035
2008541664.tif 000036
および
2008541664.tif 000037
が、シーケンス全体に対する２Ｋおよび４Ｋ双方、４Ｋのみおよびフル４Ｋそれぞれに貢献する全符号化単位のセットを表すと仮定する。
【００５７】
この例におけるサブセットは、以下のようになる。
イメージワイズ：Ｒ1（Ｉ）、Ｇ1（Ｉ）、Ｂ1（Ｉ）、Ａ3（Ｉ）
シーケンスワイズ：Ａ3
他の残りのセットは全て、表記の便宜のみのために示している。
要求リストは、以下のようになる。
イメージワイズ：
2008541664.tif 000038
（合計サイズＲ、Ｇ、Ｂ２Ｋ）
2008541664.tif 000039
（合計サイズフル４Ｋ）
【００５８】
シーケンスワイズ
公差内の
2008541664.tif 000040
（合計サイズフル４Ｋ）
フル４Ｋにおける合計シーケンスワイズサイズ要求に加えて、個々の画像および個々の色成分の２Ｋ部位は、過度のバイト数を必要とすべきではない。これらの要求は、バッファオーバーフロー／アンダーフローの回避または復号器における解凍において行われる演算の量の限定において有用であり得る。上記方法は、ＸＹＺなどの他の色空間にも適用可能であり、色変換の使用にも適用可能である。この場合、これらの要求は、（色）変換成分に適用される。最後に、上記方法は、イメージワイズ要求のうちの１つ以上が存在しない場合に適用可能である。この場合、工程３４の関連部位をスキップしてよい。同様に、シーケンスワイズ要求が存在しない場合にも上記アルゴリズムが適用可能である。この場合、工程３４、４１、３７および／または３８の関連部位はスキップしてよい。
【００５９】
１パスアプローチにおいて、
2008541664.tif 000041
となるように、最大重み値を有するＲ1（Ｉ）から品質インクレメントを選択する。Ｒ1（Ｉ）において選択されなかった品質インクレメントは全て捨象される。同一動作をＧ1（Ｉ）およびＢ1（Ｉ）に対して行う。その後、
2008541664.tif 000042
となるように、最大重み値を有するＡ3（Ｉ）中に残っているものの中から品質インクレメントを選択する。選択されなかった品質インクレメントは捨象される。
【００６０】
全画像が処理された後、公差内において
2008541664.tif 000043
となるように、最大重み値を有するＡ3から選択された品質インクレメントが選択される（工程４１）。選択されなかった品質インクレメントは捨象される。その後、これらの選択された品質インクレメントを用いて、コードストリームを形成する。シーケンスワイズ要求が存在しない場合、工程４１は省略してよい。
【００６１】
２つの層におけるこの例からコードストリームの形成を考えるのは興味深い。１つの方法は、上述したような品質インクレメントを選択することにより、上記２つの層に関する要求を共に満たす。その結果、これらの品質インクレメントは２つの層に分割される。簡単な場合では、
2008541664.tif 000044
および
2008541664.tif 000045
である第１の層の場合において、
2008541664.tif 000046
および
2008541664.tif 000047
が必要となり得る。他の場合も同様である。この場合、第１の層の品質インクレメントを以下のようにして選択することができる。各画像について、
2008541664.tif 000048
となるように、上記のように選択されかつ最大重み値を有する品質インクレメントを選択する。その後、このように選択されたものの全ての中から、
2008541664.tif 000049
となるように、品質インクレメントを選択する。第１の層についてシーケンスワイズ要求が無い場合、後者の
2008541664.tif 000050
となるような選択プロセスはスキップしてよい。このように選択された品質インクレメントは第１の層内に存在し、残りは第２の層へと行く。当業者であれば、多数の層を含むようにこの実施形態を容易に用いることができる。
【００６２】
２つの層を含むための別のアプローチでは、上述したような状況を逆転させる。すなわち、２つの層は、共に
2008541664.tif 000051
および（恐らくは）
2008541664.tif 000052
を満たす（ここで、
2008541664.tif 000053
および
2008541664.tif 000054
その後、例６において最初に説明したような要求を満たすように、第１の層を選択する。これらの要求を満たす１パス方法は以下のようなものである。先ず、２つの層双方に関する要求を満たすように、品質インクレメントを選択する。具体的には、
2008541664.tif 000055
となるように、各画像について、最大重み値を有する品質インクレメントを選択し、残り全てを捨象する。その後、Ａ3中に残っている最大重み値を有する全品質インクレメントから、
2008541664.tif 000056
となるように選択を行う（この要求が存在しない場合、
2008541664.tif 000057
となるように選択を行う工程は、スキップしてよい）。このように選択された全品質インクレメントは、許容コードストリーム内に行く。残り全てを捨象する。上記許容コードストリーム中の品質インクレメントのうち第１の層に属するものは、例２の元の要求を満たすために説明された上記実施形態を用いて、選択可能である。２つを超える層への使用は直接的である。
【００６３】
例３：交互の重み値
非スケーラブル圧縮スキームにおけるレート制御を行うための一般的方法では、初期工程サイズで量子化し、全係数データを符号化した後、要求が満たされるまで、異なる工程サイズにういて量子化および符号化を繰り返す。これは典型的には、（画像全体を含む）１サブセットのみに対して用いられる。本発明の１パス実施形態では、ビットプレーン数を重み値として用いることにより、多数のサブセットおよび／または多数の要求について、同一効果を達成することができる。その結果得られたレート割当は、関連するサブセットから含まれるビットプレーン数を最大化することを試行し、ＬＯＲに晒す。その結果は、サブセット中の各係数について固定量子化器工程サイズを用いた場合と同様である。その後、有効工程サイズは２PΔとなり、ここで、Δは、工程３１において用いられる有効工程サイズであり、ｐは、サブセット内において捨象されたビットプレーン数である。このアプローチは、所望のシーケンスワイズサイズについて高公差を必要とし得る。これが受容不可能である場合、反復を行うことができる。恐らくは、さらに１パスが必要となる。なぜならば、所望の最終のΔが２PΔと２P-1Δとの間に存在することが保証されるからである（ここで、ｐは、捨象されたときに（工程４１）所望のシーケンスワイズサイズよりも小さなシーケンスワイズサイズが得られるビットプレーン最小数である）。その後、次のパスにおいて所望のサイズの合理的公差内のシーケンスワイズサイズが得られる可能性が高くなるように、これら２つの値の補間を用いる。補間は、線形であっても非線形であってもよい。特定の一定のＣについてΔがＣsizeに頻繁に比例するという関係は、この点において有用であり得る。
【００６４】
他の例
上記例は、レート制御の可能な構造可能な要求のうちのいくつかを示したものに過ぎない。例えば、シーケンス中の各画像を前景および背景と呼ばれる２つの領域に空間セグメント化することができ、これら２つの領域は、接続する必要が無くまた画像間で静的である必要も無く、また、解凍後に異なる品質レベルを持つ。この場合、上記前景および背景に対応する符号化単位は、異なるサブセットに分離され、１パスアルゴリズム、２パスアルゴリズムまたは反復アルゴリズムを用いて処理される。１つの可能な要求は所与のサブセット中の符号化単位によって貢献される圧縮されたデータの合計サイズが上限と下限との間にあること、であり得る。また、画像の群（ミニシーケンス）に合わせて要求を変えてもよい。これは、編集アプリケーションまたは時変通信チャンネルを介した送信において有用であり得る。
【００６５】
レート制御の例示的アプリケーション
本明細書中に記載の、画像のサブセットのＬＯＲを満たしつつ高平均の再構築画像品質または小圧縮サイズを提示するコードストリームを構築するためのレート制御技術の他の多数のアプリケーションが存在する。以下に、そのうちのいくつかの例示的アプリケーションを示す。
【００６６】
ポストリリース改変のためのレート制御
シーケンス符号化の後、１つ以上の画像を濃い間することが望ましい場合があると仮定する。各代用画像は、本発明の教示内容を用いて交換されようとしている当該画像のサブセット中のバイト数と同一バイト数を持つように、それぞれ符号化することができる。あるいは、これらの代用画像は、フルシーケンス内の時間的に異なる位置から来たものであったとても、シーケンスとして符号化することができる。上記代用「シーケンス」のシーケンスワイズの所望のサイズは、交代されようとしている画像のサイズと適合するように、選択することができる。
【００６７】
アーカイビングおよび／または圧縮されたワークフローのためのレート制御
同時係属中の米国特許出願第１１／０５１７７１号（出願日：２００５年２月４日、以下「ＤＩワークフロー」と呼び、同文献を参考のため援用する）において、ＪＰＥＧ２０００圧縮ワークフローについての記載がある。本明細書中記載したレート制御技術は、この環境において用いることができる。任意の符号化／レート割当前の未圧縮データを用いて、画像シーケンスおよび／またはシーケンスの画像の任意の編集を実施することができる。しかし、好適には、図６および図７に示すように、ＪＰＥＧ２０００符号器１５０またはより一般的にはスケーラブル符号器が、各画像１５２を（好適には超高品質に、恐らくは無損失で）符号化（工程１５４）し、全品質インクレメントについての重み値および長さを保存する（工程１５８）（図２中の工程３１および工程３２に対応）。これらの圧縮された品質インクレメントも保存される（好適にはＪＰＥＧ２０００コードストリーム中であるが、他のデータ構造も可能である）（工程１６０）。
【００６８】
保存されたデータは、後続のレート割当および／または編集のための高品質圧縮されたアーカイブとして機能し得る。編集が所望される場合、これらの画像を伸長および編集した後、再圧縮作業または編集作業を行う工程（工程１６２）を、ＤＩワークステーション１６４においてＤＩワークフローにおいて説明したような圧縮コードストリームを用いて実施することできる。任意の新規生成された（代用）品質インクレメントについて、重み値および長さが保存される（工程１６６）。編集が完了すると、保存されたデータを高品質アーカイブとして再利用することができる。レート割当の実施が所望される場合、レート制御器１６８は、サブセット定義１７２およびＬＯＲ１７４に晒された編集された（かまたはアーカイブされた）コードストリームに対してレート制御技術（工程１７０）を適用し、許容コードストリーム１７６を生成する（工程１７８）。許容コードストリーム１７６は、メディアにアーカイブまたは記録してもよいし、あるいはチャンネルを介して送信してもよい。
【００６９】
レート制御を行うために、本発明によって教示されるような技術を用いて解凍およびその後の再圧縮を行うことができる。好適には、解凍／再圧縮は行わない方がよい。１パスアルゴリズムは、全圧縮画像に対して工程３４を行った後に工程３６に進むことにより、簡単に進行することができる。あるいは、全画像が既に圧縮および保存されているため、工程３４および工程３６は同時実行してもよい。１つ以上の許容コードストリームをこのようにして生成することができ、各バージョンは異なるＬＯＲに対応することが明らかである。生成されたコードストリームそのものを保存すること無く、このようにして生成された各コードストリームについて記録を行うことができる。１つのこのような方法では、各イメージワイズおよびシーケンスワイズ要求を満たすために用いられる関連有意閾値を保存する。図６および図７中に構成するように、圧縮動作、編集動作およびレート制御動作は、ＪＰＥＧ２０００符号器１５０、ＤＩワークステーション１６４およびレート制御器１６８によって行われる。しかし、これらの動作は単一ワークステーションに統合することもできる。
【００７０】
上記実施形態は、品質インクレメントをその重み値および長さと共に保存することについて述べている。これらの長さは、サイズ要求を満たす際に有用である。その代わりに（またはさらに）品質要求を満たすべき場合、品質インクレメント長さの代わりに（または品質インクレメント長さに加えて）品質インクレメントひずみ低減が保存され得る。
【００７１】
アーカイビングのための交互のレート制御
上記したように、アーカイブは、全品質インクレメントをその重み値および長さと共に含み得る。その結果、（工程３１および工程３２の実施時にはおそらく未知である）異なるサブセットおよびＬＯＲ定義について異なる許容コードストリームを生成できるというとてつもない柔軟性が得られる。一方、対象となる全サブセットおよびＬＯＲ定義が既知である場合、超高品質で恐らく無損失の許容コードストリームを交互のアーカイブとして生成および保存することができる。本明細書中に記載のレート制御技術を（例２中に示す１つの簡単な場合と共に）用いれば、異なるサブセット定義の異なるＬＯＲを満たす異なる層を含むように、アーカイブを生成することができる。その後、さらなる任意のレート割当を必要とすることなく、多様なＬＯＲを満たす多様な許容コードストリームを後日抽出することができる。
【００７２】
本発明のいくつかの例示的実施形態について図示および説明してきたが、当業者であれば、多くの改変および別の実施形態を想起する。例えば、本発明のこれらの実施形態をシーケンス中の画像サブセットに適用して、演算を低減することができる。その後、画像のサブセットを用いて推定された初期のパラメータセットをフル画像シーケンスに適用することができる。この方法により、有意な量の演算を節約することができる。さらに、いくつかの実施形態を単一の画像適用することができる。さらに、これらの実施形態は、時間予測または時間変換を用いる場合にも適用することができる。これらの場合において、上記技術は、予測エラー画像または時間変換画像に適用される。時間変換の場合、サ時間変換画像の群についてサブセットを定義することができる。例えば、３つのレベルの時間ウェーブレット変換を考える。この場合、８個の時間変換画像が、８個の元の画像にノミナルで対応する。よって、８個の時間変換画像に適用可能なサブセットを規定すると有用であり得る。このような改変および別の実施形態は、添付の特許請求の範囲中に定義されるような本発明の精神および範囲から逸脱することなく、企図され、また実施可能である。
【図面の簡単な説明】
【００７３】
【図１】上述したような図１は、代表的なＪＰＥＧ２０００符号器のブロック図である。
【図２】図２は、本発明による画像シーケンスのレート割当を示すフローチャートである。
【図３】図３は、サブセットから品質インクレメントを選択する工程を示す。
【図４】図４は、多数の画像成分が存在する場合の例示的コードストリーム機構を示す。
【図５】図５は、多数の成分画像の異なる解像度に貢献するウェーブレットサブバンドを示す。
【図６】図６は、ＤＩワークフロープロセスにおけるレート制御の統合を示すフロー図である。
【図７】図７は、符号器、ＤＩワークステーションおよびレート制御器のシステム図である。
【図１】
2008541664.tif 000058
【図２】
2008541664.tif 000059
【図３】
2008541664.tif 000060
【図４】
2008541664.tif 000061
【図５】
2008541664.tif 000062
【図６】
2008541664.tif 000063
【図７】
2008541664.tif 000064
【国際調査報告】
2008541664.tif 000065
2008541664.tif 000066