(57)【要約】  ＦＧＳ符号化されるビデオ画像の１つ又は複数の所望のエリアを動的に選択的に拡張するための方法及びシステム。上述の方法は、ビデオ画像の所望のエリア又は部分と関連する各々のＦＧＳ符号化されたビットプレーンにおけるＦＧＳ符号化されたマクロブロックのうち少なくとも１つを決定するステップと、伝送シーケンス内の各々の決定されたＦＧＳ符号化されたマクロブロックの伝送の順序を決定するステップと、既知の拡張レベルに対応して伝送シーケンス順序において決定されたＦＧＳ符号化されたマクロブロックのそれぞれを繰り上げるステップと、を含む。繰り上げられるＦＧＳ符号化されたマクロブロックは、より高い伝送優先順位を有するビットプレーンに含まれる。本発明の１つの見地において、所望のエリアは、ユーザによってインタラクティブに選択されることができる。別の見地において、１つ又は複数の所望のエリアは自動的に選択されることができる。
2005512470.tif 000002
【特許請求の範囲】
【請求項１】
複数のビットプレーンに分配される複数のマクロブロックからなるＦＧＳ符号化されたビデオ画像の所望の部分の選択的な拡張を可能にするために、該ビデオ画像の伝送シーケンスを動的に決定する方法であって、
前記伝送シーケンスは予め決められており、前記方法は、
前記ビットプレーンのそれぞれにおけるＦＧＳ符号化された前記マクロブロックのうち前記ビデオ画像の前記所望の部分と関連する少なくとも１つを決定するステップと、
前記伝送シーケンス内における、前記ＦＧＳ符号化されたマクロブロックの前記決定された少なくとも１つのマクロブロックのそれぞれの伝送の順序を決定するステップと、
既知の拡張レベルに対応して前記伝送シーケンス順序において前記ＦＧＳ符号化されたマクロブロックの前記決定された少なくとも１つのマクロブロックのそれぞれを繰り上げるステップと、
を含み、前記繰り上げられるＦＧＳ符号化されたマクロブロックはより高い伝送優先順位を有するビットプレーンに含まれる方法。
【請求項２】
前記伝送シーケンス順序を維持するために前記伝送シーケンスを既知の値で埋めるステップを更に含む、請求項１に記載の方法。
【請求項３】
前記既知の値は有意でない値を表わす、請求項２に記載の方法。
【請求項４】
ユーザ要求から前記所望の部分を決定するステップを更に含む、請求項１に記載の方法。
【請求項５】
ユーザ要求から前記既知の拡張レベルを決定するステップを更に含む、請求項１に記載の方法。
【請求項６】
既知のファクタに従って前記所望の部分を決定するステップを更に含む、請求項１に記載の方法。
【請求項７】
前記既知のファクタが、画像の中心、顔、動画等を含むグループから選択される、請求項６に記載の方法。
【請求項８】
利用可能なネットワーク帯域幅に従って前記拡張のファクタを決定するステップを更に含む、請求項１に記載の方法。
【請求項９】
前記予め決められた伝送シーケンスが、水平、垂直、斜め、ラスタ、プログレッシブ、インタレース走査を含むグループから選択される、請求項１に記載の方法。
【請求項１０】
前記伝送シーケンスから前記伝送シーケンス順序を決定するステップを更に含む、請求項１に記載の方法。
【請求項１１】
複数のビットプレーンに分配される複数のマクロブロックからなるＦＧＳ符号化されたビデオ画像の所望の部分の選択的な拡張を可能にするために、該ビデオ画像の伝送シーケンスを動的に決定する装置であって、
前記伝送シーケンスは予め決められており、前記装置は、
前記ビットプレーンのそれぞれにおける前記ＦＧＳ符号化されたマクロブロックのうち前記ビデオ画像の前記所望の部分と関連する少なくとも１つを決定するための手段と、
前記伝送シーケンス内において、前記ＦＧＳ符号化されたマクロブロックの前記決定された少なくとも１つのマクロブロックのそれぞれの伝送の順序を決定するための手段と、
既知の拡張レベルに対応して前記伝送シーケンス順序において前記決定されたＦＧＳ符号化されたマクロブロックの前記少なくとも１つのマクロブロックのそれぞれを繰り上げるための手段と、を有し、
前記繰り上げられるＦＧＳ符号化されたマクロブロックはより高い伝送優先順位を有するビットプレーンに含まれる装置。
【請求項１２】
前記伝送シーケンス順序を維持するために前記伝送シーケンスを既知の値で埋めるための手段を更に有する、請求項１１に記載の装置。
【請求項１３】
前記既知の値が有意でない値を表わす、請求項１２に記載の装置。
【請求項１４】
ユーザ要求から前記所望の部分を決定するための手段を更に有する、請求項１１に記載の装置。
【請求項１５】
ユーザ要求から前記既知の拡張レベルを決定するための手段を更に有する、請求項１１に記載の装置。
【請求項１６】
既知のファクタに従って前記所望の部分を決定するための手段を更に有する、請求項１１に記載の装置。
【請求項１７】
前記既知のファクタが、画像の中心、顔、動画等を含むグループから選択される、請求項１６に記載の装置。
【請求項１８】
利用可能なネットワーク帯域幅に従って前記拡張のファクタを決定するための手段を更に有する、請求項１１に記載の装置。
【請求項１９】
前記予め決められた伝送シーケンスが、水平、垂直、斜め、ラスタ、プログレッシブ、インタレース走査を含むグループから選択される、請求項１１に記載の装置。
【請求項２０】
前記伝送シーケンスから前記伝送シーケンス順序を決定するための手段を更に有する、請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、本発明の譲受人に譲渡された「System And Method For Fine Granular Scalable Video With Selective Quality Enhancement」というタイトルの米国特許出願第６０／２１７，８２７号（２０００年７月１２日出願）と、「Method And Apparatus For Dynamic Allocation Of Scalable Selective Enhanced Fine Granular Encoded Images」というタイトルの米国特許出願第１０／０１５，５０８号（２００１年１２月１３日出願）とに関連する。
【０００２】
本発明は、概してビデオ符号化に関し、より具体的には、微細粒度スケーラブル符号化された（Fine Granular Scalable encoded；以下、ＦＧＳ符号化された、とする）ビデオデータに選択的な拡張（selective enhancement）を動的に割り当てることに関する。
【背景技術】
【０００３】
ＭＰＥＧ−４  微細粒度スケーラビリティ（Fine-Granular Scalability、ＦＧＳ）フレームワークは、選択的拡張と呼ばれるような、適応型量子化技法を使用することによってビデオ画像の異なる部分に対して異なる圧縮レベルを可能にする。ＦＧＳ符号化されたビデオ画像の選択的拡張は、「System And Method For Fine Granular Scalable Video With Selective Quality Enhancement」というタイトルの米国特許出願第６０／２１７，８２７号（２０００年７月１２日出願）の明細書においてより十分に開示されている。選択的に拡張されたＦＧＳビデオ信号の伝送効率に対する改善は、「Method And Apparatus For Dynamic Allocation Of Scalable Selective Enhanced Fine Granular Encoded Images」というタイトルの米国特許出願第１０／０１５，５０８号（２００１年１２月１３日出願）の明細書においてより十分に開示されている。
【０００４】
選択的拡張を利用する場合、ＦＧＳ符号化されたビデオ画像の指定された領域は、画像の指定されない領域より高い品質レベルを達成するように伝送されることができる。上述の特許出願明細書に開示されているように、伝送された画像のより高い品質レベル又はより高い解像度は、ＦＧＳ符号化された画像要素の特定の又は指定されたエリア又は領域を、より高い伝送優先順位レベルに「シフト」することによって達成されることができる。こうして、選択的に拡張された画像は、それらの通常のシーケンスから伝送される。特定の又は指定されたエリア又は領域は、特定のピクセル、ピクセルアレイ、又はここでマクロブロックと呼ばれるピクセルアレイの組と関連しうる。拡張ファクタ又はシフトファクタの指示は、それぞれのシフトされたＦＧＳ符号化された画像要素、すなわちマクロブロックにも関連する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
今日の選択的拡張方法の１つの不利益は、選択された拡張のために選択されるシフトファクタ及び１つ又は複数のエリアが、基本的にあらかじめ決められており、ＦＧＳ符号化処理中に割り当てられることである。拡張されるエリアのこのような選択は、予め決められたなんらかのルールに基づいて自動システムによって予め形成されることができる。例えば、画像内の最も遅い動きと関連するデータブロックが、拡張のために選択されることができる。代替例として、画像内の顔が、背景よりも拡張されることができる。しかしながら、ルールに基づくこれらの自動システムは、多くの場合、ユーザ又は視聴者が興味をもつものを正確に拡張することに失敗する。それゆえ、自動システムによって選択された興味のあるエリア又は領域は、ユーザ又は視聴者にとって興味のあるエリア又は領域と一致しないことがある。
【０００６】
それゆえ、ユーザ又は視聴者が拡張されたＦＧＳ符号化されたデータとして伝送するための興味のある１つ又は複数のエリアを選択する又は割り当てることができるシステムを提供する必要がある。
【課題を解決するための手段】
【０００７】
ＦＧＳ符号化されたビデオ画像内の１つ又は複数のエリアを動的に選択する又は割り当てる方法及びシステムが提示される。この方法は、ＦＧＳ符号化されたビットプレーンのそれぞれにおけるＦＧＳ符号化されたマクロブロックのうちビデオ画像の所望のエリア又は部分と関連する少なくとも１つを決定するステップと、伝送シーケンス内の決定されたＦＧＳ符号化されたマクロブロックのそれぞれの伝送の順序を決定するステップと、既知の拡張レベルに対応して伝送シーケンス順序において決定されたＦＧＳ符号化されたマクロブロックのそれぞれを繰り上げるステップとを含み、繰り上げられるＦＧＳ符号化されたマクロブロックは、より高い伝送優先順位を有するビットプレーンに含まれる。本発明の１つの見地において、所望のエリアは、ユーザによってインタラクティブに選択されることができる。別の見地において、１つ又は複数の所望のエリアは、自動的に選択されることができる。
【発明を実施するための最良の形態】
【０００８】
図面は単に本発明の概念を説明するためであり、本発明の制限のレベルを意図するものではないことを理解すべきである。必要に応じて参照符号を補われるであろう同一の参照数字は、対応する部分を識別するために全体を通して使用されていることが理解されるであろう。
【０００９】
図１ａは、予め決められた選択的拡張技術を用いる通常の微細粒度スケーラビリティ（ＦＧＳ）ビデオ符号化システム１００を示している。図示するように、このシステムは、ベース層符号器１０２及び拡張層符号器１０４からなる。元のビデオ信号１０６は、ベース層符号器１０２によってデジタル的に符号化され、量子化される。ベース層符号器１０２は、ベース層（ＢＬ）１１０を生成する。ベース層１１０は、最小限に許容できるビデオ信号を表わす十分な情報を含む。ベース層信号１１０は更に、動き補償情報を含むことができる。動き補償は、当技術分野においてよく知られており、ここで記述される必要はない。ベース層信号１１０は、例えばインターネット１８０のようなネットワーク上にのちに伝送するためにバッファ／レート伝送器１７０に供給される。
【００１０】
元のビデオ信号１０６は更に、ベース層１１０のデジタル化され量子化されたバージョンと共に、拡張層符号器１０４に供給される。拡張層符号器１０４は、元のビデオ信号と、量子化されたベース層１１０との間の残余（residual）エラーを決定する。拡張層符号器１０４は、情報項目を含む品質改善（ＳＮＲ）拡張層１５０を生成する。この品質改善（ＳＮＲ）拡張層１５０は、伝送されたベース層１１０に適用されるとき、量子化のエラーを除去し、伝送された画像品質を改善する。ＳＮＲ拡張層信号１５０は、レート制御器１７５を通してインターネット１８０のようなネットワーク上にそののち伝送するためにバッファ１７０に供給される。
【００１１】
更に、ベース層１１０及び拡張層１５０に関する動き補償情報を含む時間的なＦＧＳ符号化された拡張層（ＦＧＳＴ）１５５が図示されている。時間拡張層信号１５５もまた、レート制御器１７５を通してネットワーク１８０上にそののち伝送するためにバッファ１７０に供給される。
【００１２】
ＦＧＳ符号化されたビデオ画像の伝送において理解されているように、伝送される拡張層１５０、１５５内の情報項目の量は利用可能な帯域幅に依存する。それゆえ、拡張層１５０、１５５内のそれぞれの情報項目は、フレーム中において伝送されることができない。従って、伝送される画像のうち最初に又はより高い優先順位で伝送されるエリアは、あとから伝送されるものより高い品質又はより大きい解像度を有する傾向がある。
【００１３】
ＦＧＳ符号器１０４内の選択的拡張装置１０８は、画像のうち他の指定されないエリア又は領域より高い伝送優先順位で伝送されるべき画像内の指定されたエリアを供給する。選択的拡張は、上述の参照された特許出願明細書においてより十分に開示されており、それらの内容は参照によってここに盛り込まれる。
【００１４】
図１ｂは、図１ａに示した符号器に従って生成される、予め決められた選択的拡張を伴う通常のＦＧＳ符号化された画像２００を示している。図示するように、画像２００は、ベース層１１０、拡張層１５０及びシフトファクタ層１６０からなる。上述の参照された特許出願明細書においてより十分に記述されているように、ＦＧＳ符号化されたビデオ画像は、ブロックに分けられ、それらのブロックは、通常、マクロブロックと通常呼ばれる６個の８ｘ８データブロック内に含まれる画像情報を表わす。符号化された画像は、ビットプレーンと呼ばれる情報のレベルに記憶される。それぞれのビットプレーンは、それぞれのマクロブロックのビデオ情報に関して漸進的に細かくなる情報（例えば非ゼロのＤＣＴ残余係数）を含むようになる。例えば、ビデオ画像の一部は、ベース層ブロック１１２に記憶されることができ、漸進的に細かくなる画像解像度のデータは、拡張層ブロック１３２、１４２等に記憶される。それゆえ、ＦＧＳ符号化原理によれば、最小解像度ビデオ画像は、情報ブロック、マクロブロック又はデータブロック１１２、１１４、１１６、１１８等からなるベース層１１０に記憶され、ビデオ画像の対応する部分に関する漸進的に細かくなる解像度情報は、ビットプレーン１２０、１３０及び１４０等からなる拡張層１５０に記憶される。こうして、この説明的な例では、ビットプレーン１３０は、対応するマクロブロックの最上位ビット又はバイトに関する情報を含み、ビットプレーン１４０は、対応するマクロブロックの最下位ビット又はバイトに関する情報を含む。
【００１５】
ビットプレーン１２０は、より高い伝送優先順位を達成するようにスケーリングされた選択的に拡張されたマクロブロックに関する情報を含む。この例示的な説明において、Ｅ’ｅと表現された対応するマクロブロック１３４の最上位ビット又はバイトが、Ｅ’ｏと表現された第１のマクロブロック１３２に対応する最上位ビット又はバイトより先に伝送されるように、画像に関する情報がスケーリングされる。同様に、Ｅ’’ｅと表現されたマクロブロック１４４に対応する次の最上位ビット又はバイトに関する情報は、Ｅ’’ｏと表現された第１のマクロブロック１４２の次の最上位ビット又はバイトより先に伝送されるように「シフトされ」又はスケーリングされる。対応するマクロブロックのシフト又はスケーリングに関する情報は、シフトファクタ層１６０に位置する。この図示される例において、シフトファクタ層１６０は、それぞれの対応するマクロブロックに情報を供給するブロック１６２、１６４、１６６、１６８からなる。既に知られているように、シフトファクタ層１６０におけるシフトファクタは、すべて同時に伝送されるのではなく、拡張層１５０の前に伝送される。シフトファクタは、当該マクロブロック（ＭＢ）が有意（すなわち非ゼロのＤＣＴ残余係数）になるとすぐに、各マクロブロック（ＭＢ）ごとに伝送される。それゆえ、マクロブロック（ＭＢ）は、それが有意になると伝送され、又は代替例として、非ゼロのマクロブロックシンボル（ヌル）が、当該マクロブロック（ＭＢ）がまだ有意でないことを示すために伝送される。マクロブロック（ＭＢ）が初めて有意になったとき、対応する選択的拡張（ＳＥ）シフトファクタ１６０もまた伝送される。
【００１６】
ビデオソースの関連するフレームに対応するビットプレーンに記憶されたそれぞれのＦＧＳ符号化されたマクロブロック情報項目は、装置１７０に記憶される。装置１７０は、インターネットのような通信網にのちに伝送するために、例えばリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気又は光学ディスク等の永久的又は半永久的な媒体でありうる。例示の選択的に拡張された合成画像２００が図示されているが、異なる帯域幅又はビットレート条件に従って伝送するために、ビデオソース１０６の複数のバージョンが、少なくとも１つの永久的又は半永久的な媒体に同時に記憶されてもよいことが更に理解されるであろう。図示していないが、ＦＧＳＴ拡張層１５５も同様にマクロブロックからなり、よってシフトされるものと理解されるであろう。
【００１７】
図２は、本発明の原理による例示的な符号化システムを示している。この例示的なシステムにおいて、ベース層１１０、ＦＧＳ拡張層１５０及びＦＧＳＴ拡張層１５５は、通常の非選択的に拡張された構成でバッファ１７０に記憶される。マクロブロックデータは、選択的拡張が要求されるとき、伝送シーケンスを動的に決定するために動的な選択的拡張モジュール２１０に供給される。マクロブロックデータ又は情報が選択的に拡張されるか否かにかかわらず、マクロブロックデータ又は情報は、ネットワーク１８０上にのちに伝送するために、レート制御器１７５に供給される。
【００１８】
図３ａは、４つのマクロブロックからなるものとして簡潔に表されている通常のＦＧＳ符号化されたビデオ画像のビットプレーン構造を示している。更に、ビデオ画像は、６つのビットプレーンにわたってＦＧＳ符号化されている。ここで、マクロブロック３１１、３１２、３１３及び３１４からなるビットプレーン３１０はベース層１１０を表わし、後続のビットプレーン３２０−３６０は、拡張層１５０をそれぞれ表わす。こうして、マクロブロック３２１、３３１、３４１等は、マクロブロック３１１に含まれるビデオ情報に対して漸進的に細かくなる解像度に関する情報を含む。
【００１９】
この例において、ビデオ画像は、この説明的な例では奇数行におけるマクロブロックデータを左から右に及び偶数行におけるマクロブロックデータを右から左に伝送する通常の行ラスタタイプ走査３７０を使用して伝送される。それゆえ、マクロブロック３１１におけるデータが最初に伝送され、マクロブロック３１２におけるデータの後に、マクロブロック３１４及び３１３におけるデータがそれぞれ続く。十分な帯域幅が利用可能な場合、拡張層データの第１のレベルを表わすマクロブロック３２１、３２２、３２４及び３２３におけるデータが次に伝送される。十分な帯域幅が利用可能な場合、ビットプレーン３３０−３６０におけるデータもまた伝送されることができる。行ラスタタイプ走査が例示されているが、水平及び／又は垂直プログレッシブ／インタレース走査もまた、本発明の範囲内にあると考えられることが理解されるであろう。
【００２０】
図３ｂは、図３ａに示されるＦＧＳ符号化されたビットプレーン構造に対応する例示的な伝送シーケンス順序３８０を示している。図示される例示的な伝送シーケンス順序において、それぞれのビットプレーン内のそれぞれのマクロブロックに対するポインタ又はそれと関連するベクトルが、伝送の順に記憶される。こうして、図３ａに示される例示的な水平ラスタ走査の場合、マクロブロック３１１に対するポインタ又はそれと関連するベクトルが、伝送シーケンス順序３８０における第１のエントリとして記憶され、マクロブロック３１２、３１４及び３１３に対する対応するポインタ又はそれらと関連するベクトルが、順次に、伝送シーケンス制御テーブルに記憶される。同様に、それぞれのビットプレーンにおけるそれぞれのマクロブロックに対する対応するポインタ又はそれと関連するベクトルが、それらの伝送の順に記憶される。理解されるように、図１ａ又は図２に示されるレート制御器１７５は、更に記述されるように、伝送されるべき第１の／次のマクロブロックを決定するために、伝送シーケンス順序３８０のそれぞれの要素を順次に進むプロセスを含む。理解されるように、マクロブロック伝送の代替順序は、関連するマクロブロックポインタ又はベクトルの記憶の代替順序を与える。それゆえ、本発明の原理によれば、固定でない又は「ハードワイヤード」でないマクロブロックの例示的な伝送シーケンスは、伝送シーケンス順序３８０において選択された順序によって決定される。
【００２１】
図４ａは、マクロブロック３１３に示されるものに対応する画像の所望の部分を選択的に拡張するための要求に応じた伝送シーケンス順序３８０の適応化を示している。この場合には、マクロブロック３１３及び後続のビットプレーンにおけるマクロブロック、すなわちマクロブロック３２３、３３３、３４３、３５３、３６３に対する対応するポインタ又はそれらと関連するベクトルが、要求された拡張に対処するために、伝送テーブル順序３８０においてシフトされ又は再配置される。伝送の順序のこのシフト又は再配置は、要求された画像部分に、より高い伝送優先順位を与える。こうして、ポインタ又はベクトル３９４と表現されるマクロブロック３１３に関する情報は、ポインタ又はベクトル３９５と表現されるマクロブロック３１１に関する情報の前に配置される。同様に、ポインタ又はベクトル３９７と表現されるマクロブロック３６３に関する情報は、ポインタ又はベクトル３９８と表現されるマクロブロック３６１に関する情報の前に配置される。
【００２２】
多くの既存の受信システムとの互換性を提供し、特別な受信又は伝送設備の必要を制限するために、通常のラスタタイプ伝送シーケンスが維持されることが理解されるであろう。この場合には、要求されたマクロブロック３１１の選択的拡張又はより高い伝送優先順位を補償するために、ポインタ又はベクトル３９１、３９２、３９３が、伝送シーケンス順序３８０に取り入れられる。この説明的な例において、ポインタ又はベクトルは、「有意でない」マクロブロック又はブロックにセットされる。理解されるように、ポインタ又はベクトルは、「有意でない」キャラクタ又はブロックを示す使用されていない値、例えば「０」にも同様にセットされることができる。「有意でない」マクロブロックは、受信されたマクロブロックをゼロフィルするように対応する受信システムに対して示すために伝送される。同様に、すべての選択的に拡張されたマクロブロックが伝送されたあとに伝送順序を維持するために、「０」ポインタが、選択的に拡張されたマクロブロックのビットプレーンに取り入れられる。それゆえ、「０」ポインタが伝送制御テーブルに置かれ、それによって、シフトされたマクロブロック情報に対応する位置におけるシーケンス順序３８０を与える。この場合には、ゼロブロックの組が伝送されることを示すように、「０」ポインタが位置３９９に置かれる。
【００２３】
図４ｂ及び図４ｃは、伝送シーケンス順序の代替の実施例及びリンクリスト構造を使用する例示的な変更例をまとめて示している。図４ｂは、図３ｂに示されるものと同様の伝送シーケンス順序を示している。しかしながら、この場合には、第１のポインタ又はベクトルは、図３ｂに示される例と同様に伝送するためにマクロブロックを決定するのに用いられる。第２のポインタ又はベクトル４１５、４２０、...、４４０等は、伝送するための後続のマクロブロックを決定するために用いられる。こうして、図３ｂにおいて行われるように次のマクロブロックを順次にアクセスし、決定するのではなく、第２のポインタ又はベクトルが、伝送するための次のマクロブロックを決定するために使用される。ポインタ又はベクトルを含む別個の値４１０を伝送するための第１のエントリを決定することが維持される。
【００２４】
図４ｃは、図３ａのマクロブロック３１３の選択的拡張又は伝送優先順位の繰り上げのための伝送シーケンス順序の適応化を示している。この例において、初期値ポインタ４１０’は、「有意でない」値のデータブロック４５５にアクセスするように変更される。この場合には、既知の伝送順序を維持するために、データブロック４５５が用いられる。データブロック４５５の最後のエントリは、マクロブロック３１３に対応する伝送シーケンス内のエントリを選択するポインタ又はベクトル４６０を含む。マクロブロック３１３と関連する次のマクロブロックポインタ４６５は、次に伝送するためのマクロブロック３１１を選択するように変更される。マクロブロック３１１と関連する次のマクロブロックポインタが変更されていないとき、マクロブロック３１２が、伝送するための次のマクロブロックとして選択される。同様に、マクロブロック３１２と関連する次のマクロブロックポインタ４７０が変更されていないとき、マクロブロック３１４が、伝送するための次のマクロブロックとして選択される。しかしながら、マクロブロック３１４と関連する次のマクロブロックポインタ４７５は、伝送するためのマクロブロック３２４を選択するように変更される。伝送シーケンス順序を完成させ維持するために、「有意でない」ブロックを含む最後又は最終のブロック４８０が、最後に伝送されるマクロブロック３６４と関連するポインタ４８５によってアクセスされることができる。
【００２５】
理解されるように、データブロック４５５及び４８０は、それぞれのビットプレーンについてマクロブロックの一様な数を維持するために用いられる。しかしながら、ビットプレーンごとのマクロブロックの均一でない数が維持され伝送されてもよいという点で、データブロック４５５又は４８０のいずれの使用も選択可能なものであることが理解されるであろう。
【００２６】
図３ｂ、図４ａ、図４ｂ及び図４ｃは、伝送の線形の又はシーケンシャルな順序を示している。当業者には、伝送シーケンスを維持し動的に変更するために、最初のポインタ及びリンクされたリスト及び／又はダブルリストを使用することが知られている。更に、代替の非シーケンシャルな伝送シーケンスが、リンクリスト又はダブルリンクリストを使用して維持されることができる。
【００２７】
ただ１つのマクロブロックが伝送優先順位の１つ高いレベルに選択的に拡張されるが、いかなる数のマクロブロックが伝送優先順位のいかなる高さのレベルにシフトされてもよいことが理解されるであろう。例えば、シフトされるマクロブロックが、拡張されない画像の最上位ビット又はバイトの伝送に先立って完全に伝送されることができるように、複数のマクロブロックが、シフトされ又は再配置されることができる。
【００２８】
動的な選択的拡張プロセスは、更に以下の例において説明される。元のＦＧＳ残余画像が６個のビットプレーンにわたって符号化され、それぞれのビットプレーンが、４個のマクロブロックを含むものとする。更に、第１のマクロブロックの最上位バイトは６であり、第２のマクロブロックの最上位バイトは３であり、第３のマクロブロックの最上位バイトは４であり、第４のマクロブロックの最上位バイトは５である。元のＦＧＳ符号化されたビットプレーンは、以下のように表現されることができる。
【００２９】
【表１】
2005512470.tif 000003
【００３０】
ここで、「Ｃｏｄｅｄ−ｂｐｘ」は、マクロブロックに対応する符号化されたビットプレーンを指し、「０」は、有意でない値を示す。
【００３１】
例えば、マクロブロック３がファクタ３によって選択的に拡張されるものとすると、ビットプレーンの数は７に増やされ、選択的にＦＧＳ符号化されたマクロブロックは次のように表現される。
【００３２】
【表２】
2005512470.tif 000004
【００３３】
図５は、本発明の原理を利用する例示的な伝送システム５００を示している。この例示的なシステムにおいて、伝送ユニット５１０は、ビデオフレーム画像情報を受け取るビデオフレームソース１０６と、選択的拡張ユニット１０８のない図１ａに示したものと同様のビデオ符号化ユニット１００と、ＦＧＳ符号化されたビデオ画像を記憶する符号器バッファ１７０と、を有する。伝送レートコントローラ１７５は、符号器バッファ１７０内に含まれる記憶されたＦＧＳ符号化されたビデオ画像にアクセスし、関連する伝送シーケンステーブルに記憶された順に、データネットワーク１８０上に記憶された画像データを伝送する。受信システム５１７において、受信されたデータフレームは、復号器バッファ５１８に記憶され、ビデオ復号器５２０に供給される。復号化された情報は、ビデオディスプレイ５２２上に表示される。
【００３４】
プロセッサ５７７について更に説明する。プロセッサ５７７は、図２に示される動的な選択的拡張装置２１０に相当する。この例示の実施例において、動的な選択的拡張は、伝送レートコントローラ１７５内に組み込まれる。この説明的な例において、コントローラ１７５は、画像の所望の部分を含む選択的に拡張されるべきマクロブロックを動的に決定し、次の／後のフレーム伝送のために伝送シーケンス順序を適応化し、利用可能な帯域幅に適したレートでネットワーク１８０上に画像データを伝送する。プロセッサ５７７は、ユーザによって指示された又は要求された選択的な拡張に関して、ネットワーク１８０を通して情報を受け取ることができる。この例において、Ｉ／Ｏプロセッサ５２５によって供給されることができる選択的拡張のためのユーザ要求に応じて、プロセッサ５７７は、その要求された画像部分を含むマクロブロックを動的に決定し、次の／後の伝送のために伝送シーケンス順序を適応させることができる。
【００３５】
理解されるように、プロセッサ５７７又はＩ／Ｏプロセッサ５２５は、汎用若しくは特定用途のコンピューティングシステムのようないかなる手段でもあってもよく、又は専用の論理回路、集積回路、プログラマブルアレイロジック（ＰＡＬ）、既知の入力すなわち伝送シーケンス順序に応じて既知の出力すなわちマクロブロックデータを供給する特定用途向け集積回路（ＡＳＩＣ）のようなハードウェア構成であってもよい。
【００３６】
本発明の代替の見地において、伝送コントローラ１７５は、利用可能な帯域幅に基づいて受信システムにより良い品質を提供するために、伝送される画像の指定されたエリアを自動的に（ユーザ要求なく）選択的に拡張することができる。例えば、顔に基づく拡張ルール、動きに基づくセグメンテーションルール、重要マスクに基づく拡張ルール、中心に基づく拡張ルール等が、拡張の１つ又は複数のエリアを自動的に決定することができる。
【００３７】
図６は、伝送コントローラ１７５に関する例示のプロセスのフローチャート６００を示している。この例示的なプロセスにおいて、第１のポインタが、ブロック６１０において選択される。ブロック６１５において、選択されたポインタが有意でないマクロブロックに対応するかどうか決定がなされる。答えが肯定である場合、ブロック６２０において、「０」ポインタを表わすデータブロックが伝送のために選択される。
【００３８】
しかしながら、答えが否定である場合、ブロック６３０において、選択されたデータブロック内の情報項目が伝送のために選択される。
【００３９】
ブロック６４０において、次のポインタが選択される。ブロック６５０において、選択された次のポインタがエンドオブフレームマーカであるかどうか決定がなされる。答えが否定である場合、処理は選択された次のポインタが「ヌル」ブロックと関連するかどうか決定するために、ブロック６１５における決定に戻る。
【００４０】
しかしながら、答えが肯定である場合、選択されたフレーム伝送シーケンスのための処理が完了する。
【００４１】
図７は、本発明の原理に従って、フレーム伝送シーケンステーブルを動的に適応化するための例示的なプロセスのフローチャート７００を示している。この例において、プロセッサ５７７は、画像の指定されたエリアが選択的に拡張されることができると決定する。例えば、図示されるようにブロック７１０において、プロセッサ５７７は、画像の一部の選択的拡張についてユーザ要求を受け取ることができる。代替実施例において、プロセッサ５７７は、利用可能な帯域幅に基づいて、選択的拡張が適当であると決定することができる。
【００４２】
ブロック７２０において、選択的に拡張されるように要求された選択された画像部分と関連する又はそれを含むマクロブロックが決定される。同様に、拡張のレベルが、ブロック７３０において決定される。ブロック７４０において、それぞれの次のフレーム伝送シーケンステーブルが選択される。より高い伝送優先順位が決定されたマクロブロックに割り当てられることを可能にするため、ブロック７５０において、それぞれの選択された次のフレーム伝送シーケンステーブル内で、要求される選択された拡張エリアと関連する決定されたマクロブロックが調整され、すなわちシフトされ又は再配置される。ブロック７６０において、ポインタデータを含まないそれぞれの選択されたシーケンステーブル内の位置は、「０」データを表わすデータブロック伝送を可能にするように埋められる。
【００４３】
図８は、本発明の原理を実現するために使用されることができるプロセッサ５７７の例示的な実施例を示している。プロセッサ５７７は、デスクトップ、ラップトップ又はパームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、例えばビデオカセットレコーダ（ＶＣＲ）、デジタルビデオレコーダ（ＤＶＲ）、ＴｉＶＯ装置等のようなビデオ／画像記憶装置、並びにこれら及び他の装置の一部又は組み合わせであってもよい。プロセッサ５７７は、１つ又は複数の入力／出力装置８０２、プロセッサ８０３及びメモリ８０４を有する。メモリ８０４は、例えばＲＡＭ、ＲＯＭ、フラッシュ、キャッシュのような半導体媒体、例えば磁気ディスクのような磁気媒体、又はＣＤ−ＲＯＭのような光学式媒体であってもよい。
【００４４】
プロセッサ５７７は、入力／出力装置８０２を通して、例えばバッファ１７０のような１つ又は複数のデータソース８０１にアクセスすることができ、そのようなデータはネットワーク（図示せず）を通して受け取られることができる。代替例として、１つ又は複数のソース８０１は、例えばインターネットのようなグローバルコンピュータ通信ネットワーク、ワイドエリアネットワーク、メトロポリタンエリアネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブルネットワーク、衛星ネットワーク、ワイヤレスネットワーク、電話網、又はこれら及び他のタイプのネットワークの一部又は組み合わせを通して１つ又は複数のサーバから情報を受け取るための１つ又は複数のネットワーク接続を表すこともできる。
【００４５】
入力／出力装置８０２、プロセッサ８０３及びメモリ８０４は、通信媒体８０５を通して通信することができる。通信媒体８０５は、例えばバス、通信網、又は回路、回路カード若しくは他の装置の１つ又は複数の内部接続のみならず、これら及び他の通信媒体の一部及び組み合わせであってもよい。１つ又は複数のソース８０１からのデータは、伝送シーケンス順序を変更し、ネットワーク（図示せず）上に又は表示装置８０６に供給されることができる出力を生成するために、メモリ８０４に記憶されプロセッサ８０３によって実行される１つ又は複数のソフトウェアプログラムに従って処理される。
【００４６】
好ましい実施例において、本発明の原理を用いる符号化及び復号化は、システムによって実行されるコンピュータ読み取り可能なコードによって実現されることができる。コードは、メモリ８０４に記憶され、又はＣＤ−ＲＯＭ若しくはフロッピーディスクのような記憶媒体から読み取られ／ダウンロードされることができる。他の実施例において、本発明を実現するために、ハードウェア回路が、ソフトウェア命令の代わりに又はそれらと組み合わせて使用されることができる。例えば、本願明細書に示される構成要素は、ディスクリートのハードウェア要素として実現されてもよい。
【００４７】
本発明は好ましい形態で説明され図示されているが、本開示は例示としてのみ示されており、特許請求の範囲に記載されるような本発明の精神及び範囲から逸脱することなく、詳細部分の変更を行うことができることが理解されるであろう。例えば、説明されたインジケータは、伝送フレームにおいて用いられる特定の方法を記述する個々の設定によって指定されることができる。あるいは、インジケータは伝送フレーム内の伝送ビットの固定の数をもつコード化された値であってもよい。あるいは、インジケータは、伝送フレームにおいて用いられる特定の方法の存在を特定する単一の設定であってもよい。本特許出願は、添付の特許請求の範囲における適切な表現によって、開示された本発明に存在する特許され得る新規の特徴をカバーする。
【図面の簡単な説明】
【００４８】
【図１ａ】選択的拡張技術を用いる通常のＦＧＳシステムを示す図。
【図１ｂ】通常の選択的に拡張されたＦＧＳ符号化されたビデオ画像を示す図。
【図２】本発明の原理による、ＦＧＳ符号化された画像を動的に選択的に拡張するためのＦＧＳ符号化システムを示す図。
【図３ａ】通常の非選択的に拡張されたＦＧＳ符号化されたビデオ画像を示す図。
【図３ｂ】本発明の原理による、図３ａに示された符号化されたビデオ画像と関連する例示的な伝送シーケンス順序を示す図。
【図４ａ】図３ｂに示される例示的な伝送シーケンス順序の例示的な適応化を示す図。
【図４ｂ】本発明の原理による、図３ａに示された符号化されたビデオ画像と関連する第２の例示的な伝送シーケンス順序を示す図。
【図４ｃ】図４ｂに示された例示的な伝送シーケンス順序の例示的な適応化を示す図。
【図５】本発明の原理による、ＦＧＳ符号化された画像を伝送するための例示的なシステムを示す図。
【図６】本発明の原理による、ＦＧＳ符号化された画像のフレーム伝送シーケンスを動的に変更するための例示的なプロセスを示すフローチャート。
【図７】本発明の原理による、ＦＧＳ符号化された画像のフレーム伝送シーケンスを変更するための例示的なプロセスを示すフローチャート。
【図８】本発明の原理の１つの見地による、ユーザ要求を処理するための例示的なシステムを示す図。
【図１Ａ】
2005512470.tif 000005
【図１Ｂ】
2005512470.tif 000006
【図２】
2005512470.tif 000007
【図３Ａ】
2005512470.tif 000008
【図３Ｂ】
2005512470.tif 000009
【図４Ａ】
2005512470.tif 000010
【図４Ｂ】
2005512470.tif 000011
【図４Ｃ】
2005512470.tif 000012
【図５】
2005512470.tif 000013
【図６】
2005512470.tif 000014
【図７】
2005512470.tif 000015
【図８】
2005512470.tif 000016
【国際調査報告】
2005512470.tif 000017
2005512470.tif 000018
2005512470.tif 000019