(57)【要約】ＭＰＥＧ復号化システムは、一連の画像フレームのエンハンスメント領域の選択識別に基づいて、ＭＰＥＧエンハンストストリームを選択的にデコードする。エンハンスメント領域中のＭＰＥＧブロックはエンハンスメントレイヤでデコードされるのに対し、エンハンスメント領域外のブロックはベースレイヤでデコードされる。さらに、ユーザには、エンハンスメント領域のみ、またはベースレイヤ領域により囲まれたエンハンスメント領域のみを含むように選択的にサイズが調節されたウィンドウ、または、エンハンスメントおよびベースレイヤ領域のすべてまたは一部を含んでよいカスタムサイズのウィンドウに、一連の画像を表示するオプションが与えられる。
2005506774.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤ入力ストリームを復号化し、そこからベースレイヤ出力ストリームを生成するように構成されたベースレイヤ構成部品と、
エンハンスメントレイヤ入力ストリームを復号化し、前記ベースレイヤ出力ストリームに追加してエンハンスされた出力ストリームを与える情報をそこから生成するように構成されたエンハンスメントレイヤ構成部品と、
前記ベースレイヤ出力ストリームの規定されたサブセットに基づいて、前記エンハンスメントレイヤ入力ストリームの復号化を制御するように構成され、前記エンハンスメントレイヤ構成部品に動作可能に連結されたコントローラとを備えた復号器。
【請求項２】
前記ベースレイヤ入力ストリームは、一連の画像フレームの符号化に対応し、
前記ベースレイヤ出力ストリームの前記規定されたサブセットは、前記画像フレームよりサイズが小さい画像フレーム内に規定された領域を含むことを特徴とする請求項１に記載の復号器。
【請求項３】
前記エンハンスメントレイヤ入力ストリームは、
空間的エンハンスメントと、
時相的エンハンスメントと、
データエンハンスメントと、
信号対雑音エンハンスメントの少なくとも１つに対応することを特徴とする請求項２に記載の復号器。
【請求項４】
前記時相的エンハンスメントは、ＭＰＥＧ  Ｂフレームを含むことを特徴とする請求項３に記載の復号器。
【請求項５】
ディスプレイデバイスに対してレンダリングを行うために、前記エンハンスされた出力ストリームおよび前記ベースレイヤ出力ストリームの少なくとも一部分を抽出するように構成された第２のコントローラをさらに含むことを特徴とする請求項２に記載の復号器。
【請求項６】
前記ベースレイヤ構成部品は、
前記ベースレイヤ入力ストリームから一連のＤＣＴ符号化を与えるように構成されたベースレイヤ可変長復号器と、
前記一連のＤＣＴ符号化に対応する直接符号化されたピクセル値および誤差項値を与えるように構成され、前記ベースレイヤ可変長復号器に動作可能に連結された逆離散コサイン変換と、
先行するピクセル値に対応する動きベクトルを受信し、それから移動したピクセル値を生成するように構成された動き補償デバイスと、
前記移動したピクセル値と前記誤差項値を組み合わせて、動き補償されたピクセル値を生成するように構成された加算器とを含み、
前記ベースレイヤ出力ストリームは、前記直接符号化されたピクセル値および前記動き補償されたピクセル値を含むことを特徴とする請求項２に記載の復号器。
【請求項７】
前記エンハンスメントレイヤ構成部品は、
前記エンハンスメントレイヤ入力ストリームから一連のエンハンスメントＤＣＴ符号を与えるように構成されたエンハンスメントレイヤ可変長復号器と、
前記一連のエンハンスメントＤＣＴ符号に対応するエンハンスメント値を与えるように構成され、前記エンハンスメントレイヤ可変長符号器に動作可能に連結された、エンハンスメント逆離散コサイン変換と、
前記エンハンスメント値を前記ベースレイヤ出力ストリームに組み合わせて、前記エンハンスされた出力ストリームを生成するように構成された第２の加算器とを含むことを特徴とする請求項６に記載の復号器。
【請求項８】
前記エンハンスメントレイヤ入力ストリームは、エンハンスメントフレームに対応し、前記ベースレイヤ入力ストリームに対する動きベクトルを含み、
前記エンハンスメントレイヤ構成部品は、
前記エンハンスメントフレームを前記ベースレイヤ出力ストリームに挿入して、前記エンハンスされた出力ストリームを生成するように構成されたインタリーバを含むことを特徴とする請求項６に記載の復号器。
【請求項９】
前記規定されたサブセットの特定を助けるように構成され、前記コントローラに動作可能に連結されたユーザインタフェースをさらに含むことを特徴とする請求項１に記載の復号器。
【請求項１０】
ベースレベル入力ストリームおよび対応するエンハンスメントレベルストリームを与えるように構成されたカメラシステムと、
前記ベースレベル入力ストリームに対応するベースレベル出力ストリームを与えるように構成されたベースレベルデコーダと、
前記エンハンスメントレベルストリームに対応するエンハンスメントストリームを与えるように構成されたエンハンスメントレベルデコーダと、
前記エンハンスメントストリームを前記ベースレベル出力ストリームに組み合わせて、エンハンスされた出力ストリームを生成するように構成された結合器と、
前記エンハンスメントレベル復号器を制御して、前記カメラシステムの規定された視野領域に基づいて、前記エンハンスメントレベルストリームを選択的に復号化して、前記エンハンスメントストリームを与えるように構成されたコントローラとを備えた画像処理システム。
【請求項１１】
前記規定された視野領域は、
ユーザ選択と、
位置パラメータと、
パターン認識と、
色認識の少なくとも１つの基づいたものであることを特徴とする請求項１０に記載の画像処理システム。
【請求項１２】
ベースレイヤ入力ストリームを受信することと、
エンハンスメントレイヤ入力ストリームを受信することと、
前記ベースレイヤ入力ストリームを復号化して、ベースレイヤ出力ストリームを与えることと、
前記ベースレイヤ出力ストリームの規定されたサブセットに基づいて、前記エンハンスメントレイヤ入力ストリームを選択的に復号化して、エンハンスメント出力ストリームを与えることと、
前記ベースレイヤ出力ストリームと前記エンハンスメント出力ストリームを組み合わせて、前記エンハンスされた出力ストリームを与えることとを含むことを特徴とするエンハンスされた出力ストリームの提供方法。
【請求項１３】
前記ベースレイヤ入力ストリームは、一連の画像フレームの符号化に対応し、
前記ベースレイヤ出力ストリームの前記規定されたサブセットは、前記画像フレームよりサイズが小さい画像フレーム内に規定された領域を含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記エンハンスメントレイヤ入力ストリームは、
空間的エンハンスメントと、
時相的エンハンスメントと、
データエンハンスメントと、
信号対雑音エンハンスメントの少なくとも１つに対応することを特徴とする請求項１３に記載の方法。
【請求項１５】
前記時相的エンハンスメントは、ＭＰＥＧ  Ｂフレームを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
ディスプレイデバイスに対してレンダリングを行うために、前記エンハンスされた出力ストリームおよび前記ベースレイヤ出力ストリームの少なくとも一部分を抽出することをさらに含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記ベースレイヤ入力ストリームの復号化は、
前記ベースレイヤ入力ストリームの可変長ビットストリームを復号化して、一連のＤＣＴ符号化を与えることと、
逆離散コサイン変換により、前記一連のＤＣＴ符号化を復号化して、直接符号化されたピクセル値と誤差項値を与えることと、
先行するピクセル値に対応する動きベクトルを受信することと、
前記先行するピクセル値から移動したピクセル値を生成することと、
前記移動したピクセル値と前記誤差項値を組み合わせて、動き補償されたピクセル値を生成することとを含み、
前記ベースレイヤ出力ストリームは、前記直接符号化されたピクセル値および前記動き補償されたピクセル値を含むことを特徴とする請求項１３に記載の方法。
【請求項１８】
前記エンハンスメントレイヤ入力ストリームの復号化は、
前記エンハンスメントレイヤ入力ストリームの可変長ビットストリームを復号化して、一連のエンハンスメントＤＣＴ符号化を与えることと、
エンハンスメント逆離散コサイン変換により、前記一連のエンハンスメントＤＣＴ符号化を復号化して、エンハンスメント値を生成することと、
前記エンハンスメント値を前記ベースレイヤ出力ストリームに組み合わせて、前記エンハンスされた出力ストリームを生成することとを含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
前記エンハンスメントレイヤ入力ストリームは、エンハンスメントフレームに対応し、前記ベースレイヤ入力ストリームに対する動きベクトルを含み、
前記エンハンスメントフレームを前記ベースレイヤ出力ストリームにインタリーブして、前記エンハンスされた出力ストリームを生成することを特徴とする請求項１７に記載の方法。
【請求項２０】
前記規定されたサブセットの特定を助けるユーザインタフェースを与えることをさらに含むことを特徴とする請求項１１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ処理の分野に関し、さらに詳しく言えば、ＭＰＥＧベースレイヤウィンドウ内の選択ウィンドウにおけるエンハンスされたビデオの復号化に関する。
【背景技術】
【０００２】
ビデオ画像のＭＰＥＧ符号化は、ベースレイヤビデオストリームの「スケーラブル拡張」の使用をサポートする。スケーラブルビデオストリームは、異なる複雑性の復号器がストリームを処理できるように構成されて、異なる品質の復号化された画像を生成する。ＭＰＥＧスケーラブル拡張は、例えば、空間的、時間的、ＳＮＲ、データ、および他の拡張を含む。
【０００３】
ＭＰＥＧ符号化の空間的拡張は、画像のより高い解像度の符号化をより低い解像度のベースレイヤの符号化に追加する。ユーザの処理能力が制限されていれば、ユーザは、符号化フレームレートでの継続的なストリーミングを確保するために、ベースレイヤのみを復号化するように選択してよい。この代わりとして、「フリーズ」フレームや他の視覚的な異常の可能性があるとしても、復号化プロセスが符号化フレームレートに追いつくことができなければ、ユーザは、より高い解像度の画像を獲得するために、エンハンスメントレイヤも復号化するように選択してよい。
【０００４】
ＭＰＥＧ符号化の時相的拡張は、追加フレームをベースレイヤフレームに追加する。ベースレイヤフレームは、ある程度低いフレームレートで符号化され、追加フレームは、フレームレートを増大させる。利用可能な処理能力に応じて、ユーザは、画像の低フレームレートシーケンスまたは高フレームレートシーケンスのいずれかを見るように選択してよい。しかしながら、この場合も、処理能力が、高フレームレートで画像を復号化するのに不充分であれば、視覚的な異常が生じることになる。
【０００５】
同様に、ＳＮＲ拡張は、表示される画像の信号対雑音比を高めるために、素材をベースレイヤ画像に追加し、データ拡張により、画像の高周波数成分などのそれほど重要度が高くないデータを、ベースレイヤ符号化から省き、任意の選択可能なデータ拡張により供給することができる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述した例の各々において、ユーザには、一般に、すべてか無か（オールオアナッシング：all or nothing）の選択肢が与えられる。空間的エンハンスメント復号化がオンにされるか、またはオフにされるか、追加フレームが追加されるか、または追加されないか、などである。中間的な選択肢を可能にする従来の方法は、各エンハンスメントの異なるレベルを与えることである。例えば、中解像度のエンハンスメントレイヤが与えられてよく、高解像度のエンハンスメントレイヤが、中解像度のエンハンスメントレイヤ上に構築される。このようにして、ユーザは、利用可能な処理能力に応じて、さらに、ユーザが特に好む解像度に応じて、解像度を低、中、高の中から選択することができる。しかしながら、この場合も、ユーザには、「オール」の定義が異なるが、「オールオアナッシング」の選択肢が与えられることになる。すなわち、ユーザが、「中」解像度を選択すれば、すべてのフレームは、中解像度で復号化されることになる。復号化プロセッサが、中解像度の復号化に追いつくことができなければ、視覚的な異常が生じる。
【０００７】
本発明の目的は、エンハンスされたＭＰＥＧストリームの選択的な復号化において、ユーザにより高い融通性をもたせることである。本発明のさらなる目的は、ユーザが一連の画像フレームの特定の領域を選択的にエンハンスすることができるシステムおよび方法を提供することである。本発明のさらなる目的は、ユーザが、一連のエンハンスされた画像フレームの領域を選択的に表示できるシステムおよび方法を提供することである。
【課題を解決するための手段】
【０００８】
上記および他の目的は、一連の画像フレームのエンハンスメント領域の選択識別に基づいて、ＭＰＥＧエンハンスされたストリームを選択的に復号化するシステムおよび方法により達成される。エンハンスメント領域内のＭＰＥＧブロックは、エンハンスメントレイヤで復号化されるのに対して、エンハンスメント領域外のブロックは、ベースレイヤで復号化される。さらに、ユーザには、エンハンスメント領域のみ、またはベースレイヤ領域により囲まれたエンハンスメント領域のみを含むように選択的に大きさが調節されたウィンドウ、またはエンハンスメントおよびベースレイヤ領域のすべてまたは一部を含んでよいカスタムサイズのウィンドウに、一連の画像を表示するオプションが与えられる。
【発明を実施するための最良の形態】
【０００９】
本発明は、実施例を用い、添付の図面を参照しながら、さらに詳細に説明される。
【００１０】
図面において、同じ参照番号は、同様のまたは対応する特徴または機能を示す。
【００１１】
本発明によれば、ユーザには、拡張されたＭＰＥＧ復号化を与えるために、ビデオ画像内の領域を特定する機会が与えられる。拡張されたＭＰＥＧ復号化をビデオ画像の全体のサブセットと隔離することにより、拡張されたＭＰＥＧ復号化を与えるのに必要な追加の処理時間が実質的に短縮される。例えば、８００×１６００ディスプレイにおいて、エンハンスされた復号化を中心６００×１２００に縮小することにより、エンハンスされた復号化がほぼ半分縮小されるが、各寸法の長さと高さは、４分の１しか縮小されない。したがって、ユーザの処理能力が、「フリーズ」フレームまたは他の異常を発生させることなく、８００×１６００ディスプレイ領域のすべてに対して、エンハンスされた復号化を発生させるのに十分なものでなければ、ユーザは、異常を目にするよりも、さらに、エンハンスされた復号化を完全に諦めるよりも、エンハンスされた領域を縮小する方を好む可能性がある。エンハンスメントがオンまたはオフであるかを単に選択するだけでなく、ユーザがエンハンスメント領域を選択できることにより、本発明により、ユーザの好みに基づいて、さらに、ユーザのシステム能力に基づいて、復号化を最適化することができる。
【００１２】
本発明は、ＭＰＥＧベースレイヤに対する空間的な拡張の典型例を用いて提供されるが、当業者であれば、本発明の原理は、エリア依存の基本的な符号化に対する任意の拡張の応用であることを認識するであろう。本発明は、例えば、ＭＰＥＧに対する上述したＳＮＲ拡張に特に良好に適している。例えば、ノイズが、その顕著さや特定の色スキームから特定の領域に容易に識別できれば、ユーザは、その領域内でのＳＮＲ拡張の復号化により、高めるための領域を選択することができる。本発明は、ＭＰＥＧ符号化に関連して提供されるが、本発明の原理は、ベースレイヤでの情報の符号化および情報に対するエンハンスメントの追加的な符号化を含む任意の符号化に適用可能である。例えば、ベースレイヤおよびエンハンスメントレイヤとして、オーディオストリームが符号化されれば、ユーザには、特定の周波数範囲にある音、または音源が識別可能である場合の特定の音源からの音をエンハンスするオプションが与えられてよい。
【００１３】
図１は、本発明による復号化システム１００の例示的なブロック図を示す。ブロック１１０から１１９は、従来のＭＰＥＧ復号器を含む。本発明によれば、ブロック１２０から１２９は、従来のＭＰＥＧ復号器１１０から１１９に対する従来の空間的な拡張エンハンスメントを含み、復号コントローラ１４０がブロック１２０および１２２の間のエンハンスされたビデオストリームの経路と交わっている。
【００１４】
ベースレイヤにおいて、ＭＰＥＧベースレイヤストリーム１０１および対応する動きベクトル１０２が、もし存在すれば、可変長復号器（ＶＬＤ）１１０および動き補償器１１６によりそれぞれ受信される。可変長復号器１１０は、ビット長符号化ＭＰＥＧストリーム１０１を明確な一連のビットに伸張する。この一連のビットは、ＭＰＥＧマクロブロックとして体系化された、原入力画像の量子化された符号化に対応する。各マクロブロックは、４つの８×８ピクセルブロックに対応する量子化されたＤＣＴ値を含む。使用される色空間符号化方式に応じて、マクロブロックは、４つの８×８ブロック（４輝度、２色度）の６つのＤＣＴ符号化を含む「４：２：０マクロブロック」から、４つの８×８ブロック（４輝度、４Ｃｂ色度、４Ｃｒ色度）の１２のＤＣＴ符号化を含む「４：４：４マクロブロック」までの範囲のものであってよい。また、他の符号化方式が用いられてもよい。逆量子化器１１２が、これらの値を適切なＤＣＴ値に復号化し、この値は、逆ＤＣＴデバイス１１４により、対応する８×８ピクセル値に変換される。
【００１５】
最初のマクロブロックは、ベースレイヤストリーム１０１により完全に記述され、ベースレイヤフレームメモリ１１８に格納される。現行のマクロブロックの位置への格納されたマクロブロックの移動を記述するように動きベクトル１０２を使用し、さらに、格納されたマクロブロックに対するマクロブロックの変化（「誤差項」）を規定するようにマクロブロックストリーム１０１を使用して、後続するマクロブロックが既存のマクロブロックの変化として記述されてよい。マクロブロックの誤差項は、上述したように、ＶＬＤ１１９、逆量子化器１１２、および逆ＤＣＴデバイス１１４により復号化される。動き補償デバイス１１６は、格納されたマクロブロックの移動、および複数のマクロブロックの組み合わせなどの他の処理を行う。移動させたマクロブロックおよび復号化された誤差項は、加算器１１９により加算され、ベースレイヤフレームメモリ１１９に格納される。
【００１６】
各復号化マクロブロックが生成されると、ベースレイヤビデオ１２１のように、加算器１１９の出力として利用可能である。このビデオ情報は、直接表示されてよく、または、エンハンスされた画像出力１５１を生成するために、エンハンスメントレイヤストリーム１０３からの情報と組み合わせてよい。
【００１７】
従来の空間的エンハンスメントにおいて、エンハンスメントレイヤストリーム１０３は、上述したＶＬＤ１１０および逆ＤＣＴ１１４と実質的に同等の可変長復号器（ＶＬＤ）１２０および逆ＤＣＴデバイス１２４により復号化されて、復号化されたエンハンスメントデータマクロブロックを形成する。加算器１２９は、このエンハンスメントデータとベースレイヤビデオ情報１２１を組み合わせて、表示に適したエンハンスされたビデオデータ１５１を生成する。
【００１８】
同様の方法で、従来の時相的エンハンスメントにおいて、エンハンスメントレイヤストリーム１０３は、動きベクトルおよびベースレイヤからのマクロブロックの使用とともに、新しく追加された画像情報に対して完全に規定されたマクロブロックの使用を含む、追加ビデオ情報のフレームに対応する。インタリービングデバイス（図示せず）が、追加フレームをベースレイヤビデオストリーム１２１に挿入して、より高いフレームレートビデオ出力を与える。
【００１９】
同様に、従来のデータエンハンスメントにおいて、エンハンスメントレイヤＶＬＤ１２０の出力は、ベースレイヤＶＬＤ１１０の出力と組み合わされて、デバイス１１４で逆ＤＣＴプロセスに対して高周波数ＤＣＴタームを与える。
【００２０】
本発明によれば、図２に示すように、ユーザには、画像を選択的にエンハンスメントするために、ビデオ画像における領域を特定するオプションが与えられる。一般に、帯域幅要求を下げるために動きベクトル１０２を使用するため、画像の選択的なＭＰＥＧ処理は実現不可能であることに留意されたい。動きベクトル１０２の使用は、フレームメモリ１１８に格納されたマクロブロックの利用度に依存する。参照される格納されたマクロブロックは、画像フレーム内のどの位置からのものであってよいため、すべてのマクロブロックは、デバイス１１０から１１４によりすべて処理され、後続するマクロブロックが使用できるようにフレームメモリ１１８に格納されなければならない。
【００２１】
図２は、ビデオ画像フレーム２１０を示し、このフレーム内に、本発明によるエンハンスされたビデオディスプレイ用の領域２５０が規定されている。通常、ユーザが、ディスプレイデバイス上に境界ボックスを描くことにより、領域２５０を規定するが、例えば、所定の境界エリアサイズの選択を含む、より大きなエリア内の領域を特定する任意の他の手段が使用されてよい。図１に関連して、本発明によれば、エンハンスされたビデオデータ１５１は、領域２５０に表示されるのに対して、ベースレイヤビデオデータ１２１は、領域２５０の外側に表示される。このようにして、着目する領域２５０にエンハンスされたビデオ画像を与えながら、エンハンスされたビデオデータを生成するのに必要な処理リソースを低減することができる。例えば、スポーツイベントを見ている間、「アクション」のほとんどは、通常、スクリーンの中心領域に生じる。通常のユーザが、例えば、空間的エンハンスメントにより与えられるより高い解像度、またはデータエンハンスメントにより与えられるより高い周波数応答を望む場所は、この中心領域であるため、アクションイベントをより鮮明に見ることができる。同時に、ディスプレイの周辺でエンハンスされたビデオを与えるために、処理時間およびリソースが消費されない。
【００２２】
図１を再度参照すると、ユーザインタフェース１７０により、ユーザは、上述したエンハンスメント領域２５０を規定することができる。解析器１６０が、ＭＰＥＧヘッダ情報１０４を復号化して、各マクロブロックの場所を受信時に決定する。復号コントローラ１４０は、エンハンスメント領域２５０の規定および現行のマクロブロックのアドレスを受信して、現行のマクロブロックがエンハンスメント領域２５０内にあるかを決定する。現行のマクロブロックがエンハンスメント領域２５０内にあれば、このマクロブロックに対応するＶＬＤ１２０からのエンハンスメントレイヤビットストリームは、逆ＤＣＴデバイス１２４に送られて、ベースレイヤビデオデータ１２１と組み合わせるためのエンハンスされた情報を与える。現行のマクロブロックがエンハンスメント領域２５０内になければ、エンハンスメントレイヤビットストリームは、逆ＤＣＴデバイス１２４に与えられず、逆ＤＣＴデバイス１２４は、ベースレイヤビデオデータ１２１に情報を追加しない。したがって、エンハンスメント領域２５０の外側のマクロブロックに対して、エンハンスメントレイヤビデオを復号化することにより一般に消費される時間とリソースが回避される。
【００２３】
理解しやすいように、エンハンスされたマイクロブロックとエンハンスされていないマクロブロックとの間を区別するために、本願明細書において、それぞれ参照番号１２１および１５１が用いられていることに留意されたい。当業者には明らかなように、好適な実施形態において、図２に示す画像を生成するために、ディスプレイデバイスに、別のベースレイヤビデオストリーム１２１および別のエンハンスされたビデオストリーム１５１が与えられない。この代わりとして、加算器１２９の出力が、エンハンスメント領域２５０の外側にあるマクロブロックに対して、変更されていないベースレイヤビデオ１２１と、エンハンスメント領域２５０内にあるマクロブロックに対して、エンハンスされたビデオストリーム１５１との両方を含み、加算器１２９のこの組み合わせ出力が、ディスプレイデバイスに与えられる。
【００２４】
ベースレイヤフレーム間に追加フレームが挿入される時相的エンハンスメントの場合、エンハンスメント情報は、一般に、第１のベースレイヤ画像の時間と次のベースレイヤ画像の時間との間の画像フレームの変化を含む。フレームの変化が、エンハンスメント領域２５０内で発生しなければ、第１のベースレイヤ画像は、追加フレームに置き換えられることができ（すなわち、介入期間中に表示され）、追加フレームは復号化される必要がない。
【００２５】
特に、従来のＭＰＥＧ復号化の場合、フレームが、Ｉ、Ｐ、およびＢフレームとして規定される。ベースレイヤストリーム１０３にあるすべてのＩおよびＰフレームが与えられて、フレームメモリ１１８に参照マクロブロックを与える。しかしながら、本発明の場合、Ｂフレームは、時相的エンハンスメントであると見なされるが、ベースレイヤストリーム１０３に含まれてよい。Ｂフレームは、画像のドアが開かれたときに画像に発生する新しいアイテムなど、画像に新しい情報が追加されたときに一般に発生する。本発明の代替実施形態において、復号コントローラ１４０は、ＶＬＤ１００からのＢフレームベースレイヤ情報の伝達を制御するように構成される。Ｂフレームの新しい情報が、エンハンスメント領域２５０の外側にあれば、Ｂフレームが復号化されないことにより、追加の処理時間を省くことができる。本発明の上記および他の代替実施形態は、本願明細書において当業者に明らかであろう。
【００２６】
本発明の第２の態様によれば、ユーザには、表示される全画像２１０の量を選択するオプションも与えられる。上述したように、スポーツイベントを見る際、ユーザは、エンハンスされた画像情報１５１とエンハンスされていない画像情報１２１との両方を含む、画像全体２１０の表示をおそらく選択するであろう。この代わりとして、美術館などからの画像などの他の画像を見るさい、ユーザは、選択したエンハンスメント領域２５０のみの表示を選択するかもしれない。好適な実施形態において、ユーザには、これらの２つの共通視聴モード間での選択肢が与えられ、さらに、図２の破線で描かれた輪郭２８０で示したカスタムサイズのウィンドウを選択する機会が与えられる。このカスタムサイズのウィンドウ２８０は、ユーザの好みに応じて、エンハンスされていない画像情報１２１およびエンハンスされた画像情報１５１の一部またはすべてを含むことになる。
【００２７】
図１を参照すると、選択したウィンドウエリア２８０が、ウィンドウ制御デバイス１８０に与えられ、このデバイスは、加算器１２９から画像情報を選択的に「トリミング」した後、それをディスプレイデバイスに送る。
【００２８】
ビデオ画像の表示に関して本発明を上述してきたが、本発明は、ビデオ画像の合成にも適用可能である。画像部分を選択的にエンハンスすることにより、興味を引くビデオ効果を達成することができる。この場合、ユーザには、エンハンスメントするための複数の領域２５０を選択するオプションが与えられてよく、加算器１２９の出力は、後続する伝送または処理用に、ＭＰＥＧ符号化デバイスに与えられてよい。
【００２９】
図３は、本発明による画像処理システム３００の例示的なブロック図を示す。システム３００において、カメラシステム３１０または他のビデオソースが、カメラシステム３１０の視野の１つ以上の領域を選択的にエンハンスするデコーダ１００に、ベースレイヤ入力およびエンハンスメントレイヤ入力を与える。選択的にエンハンスされた画像は、後続する表示および／または処理用に、レコーダ３２０またはトランスミッタ３３０、又はその両方に与えられる。
【００３０】
図３の画像処理システム３００は、遠隔監視用途に特に適しており、この場合、カメラの視野内にある特定の領域は、入出口のドア、銀行の現金自動支払機の窓、銀行の金庫室などの他のものより有意であるか、または高感度のものである。伝導時間および／または保管コストを最小限に抑えるために、監視エリアの周辺領域がベースレベルで送信および／または記録されてよく、高感度エリアのみが、より高い解像度またはより高い信号対雑音比で記録されてよい。
【００３１】
上述したものは、本発明の原理を説明したものにすぎない。したがって、当業者であれば、本願明細書に明確に記載または図示していないが、本発明の原理を具体化し、したがって、本発明の趣旨および範囲内にあるさまざまな構成を考え出すことができるであろう。例えば、本発明は、エンハンスメント領域の手動選択に関して記載される。この代わりとして、または手動選択に追加して、制御デバイス１４０は、自動または半自動で制御されてよい。図３の例示的なシステムにおいて、領域コントローラ３５０は、画像認識デバイスであってよく、このデバイスにおいて、カメラシステム３１０の視野において特定のパターンまたは色が認識される時、コントローラ３５０は、後続するエンハンスメント処理用のパターンに関する境界領域２５０を自動的に作成する。上述した監視システムの例において、コントローラ３５０は、顔を認識しやすいように、エンハンスされたビデオ１５１として画像の肌色領域を選択的に記録または伝送するように構成されてよい。さらに、別々の構成部品として、ＶＬＤ構成部品１１０および１２０と、ＤＣＴ構成部品１１４および１２４が示されているが、共通するＶＬＤおよびＤＣＴ構成部品により、ベースレイヤストリーム１０１とエンハンスされたレイヤストリーム１０３の両方に、ＶＬＤ機能とＤＣＴ機能が与えられてよい。上記および他のシステムの構成および最適化の特徴は、本願明細書により当業者に明らかであり、添付の特許請求の範囲内に含まれる。
【図面の簡単な説明】
【００３２】
【図１】本発明による復号化システムの例示的なブロック図を示す。
【図２】本発明による選択的にエンハンスされたビデオ情報の例示的な表示を示す。
【図３】本発明による画像処理システムの例示的なブロック図を示す。
【図１】
2005506774.tif 000003
【図２】
2005506774.tif 000004
【図３】
2005506774.tif 000005
【国際公開パンフレット】
2005506774.tif 000006
2005506774.tif 000007
2005506774.tif 000008
2005506774.tif 000009
2005506774.tif 000010
2005506774.tif 000011
2005506774.tif 000012
2005506774.tif 000013
2005506774.tif 000014
2005506774.tif 000015
2005506774.tif 000016
2005506774.tif 000017
2005506774.tif 000018
2005506774.tif 000019
2005506774.tif 000020
2005506774.tif 000021
【国際調査報告】
2005506774.tif 000022
2005506774.tif 000023
2005506774.tif 000024