(57)【要約】空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構を備えたビデオエンコーダー／デコーダーが開示される。映像圧縮の機構は、基本レイヤに複数の多様な映像拡張技術を導入する。多様な映像拡張技術の最善のもの又は最善の混合を判断するために、画像分析装置が用いられる。画像分析装置は、元の最大解像度の入力信号と、映像拡張技術の選択された混合を比較し、画素又は画素のグループのうちのどれが残差の上位レイヤを必要とするかを判断する。映像拡張技術の選択された混合を規定するパラメーターは、デコーダーのレイヤに送信され、映像拡張技術の同じ混合がデコーダーのレイヤで用いられ得る。
2005507586.tif 000002
【特許請求の範囲】
【請求項１】
入力映像ビットストリームをエンコードする階層化エンコーダーであって、
低解像度での基本ビットストリームと残差ビットストリームをエンコードする階層化エンコーダー部であって、
デコードされたアップスケールされた基本ストリームを拡張し、拡張された基本映像ストリームを出力する異なる拡張アルゴリズムをそれぞれが備えた複数の拡張部と、
前記デコードされたアップスケールされた基本ビットストリーム及び前記拡張された基本映像ストリームと前記入力映像ビットストリームとを比較する画像分析装置と
を有する階層化エンコーダー部を有し、
前記画像分析装置の出力が前記残差ビットストリームに含まれる情報を制御するエンコーダー。
【請求項２】
請求項１に記載の階層化エンコーダーであって、
前記画像分析装置が、前記拡張された基本映像ストリームの混合を計算する混合パラメーターを表すベクトルを選択し、前記選択されたベクトルを用いて前記残差ビットストリームの情報を制御する階層化エンコーダー。
【請求項３】
請求項２に記載の階層化エンコーダーであって、
前記画像分析装置が、前記入力映像ビットストリームと前記拡張された基本映像ストリームの選択された混合とを比較し、どの画素又は画素のグループについて、前記残差ビットストリームを介して追加の拡張が必要であるかを判断する階層化エンコーダー
【請求項４】
請求項２に記載の階層化エンコーダーであって、
それぞれの画素のグループが、異なるベクトルを用いて拡張される階層化エンコーダー。
【請求項５】
請求項２に記載の階層化エンコーダーであって、
前記画像分析装置が、限られた数のテストのベクトルについてコストの関数を計算し、最小のコストの関数を備えたテストのベクトルが選択される階層化エンコーダー。
【請求項６】
請求項５に記載の階層化エンコーダーであって、
前記選択されたベクトルが、圧縮データストリームに含まれる階層化エンコーダー。
【請求項７】
請求項５に記載の階層化エンコーダーであって、
複数の前記テストのベクトルが、時間及び空間について近くの画素のグループの既に選択されたベクトルである階層化エンコーダー。
【請求項８】
請求項１に記載の階層化エンコーダーであって、
前記階層化エンコーダー部が、
前記入力映像ビットストリームの解像度を削減するダウンサンプル（downsample）部と、
前記低解像度の基本ストリームをエンコードする基本エンコーダーと、
デコードして前記基本ストリームの解像度を増加させ、アップスケールされた基本ストリームを作るアップスケール部と、
前記入力映像ビットストリームから前記アップスケールされた基本ビットストリームを差し引き、前記残差ビットストリームを作る減算部と、
前記画像分析装置からの制御信号に基づき、前記残差ビットストリームの一部のみが上位エンコーダーに送信されることを選択的に可能にするスイッチング手段と、
前記スイッチング手段を通過する前記残差ビットストリームの前記一部をエンコードし、前記エンコードされた残差ビットストリームを形成する上位エンコーダーと
を更に有する階層化エンコーダー。
【請求項９】
請求項８に記載の階層化エンコーダーであって、
前記スイッチング手段が0と1の間の値を有する乗算器であり、
0の値が、前記スイッチング手段が開いていることを意味し、1の値が、前記スイッチング手段が閉じていることを意味する階層化エンコーダー。
【請求項１０】
基本ビットストリームと残差ビットストリームをデコードする階層化デコーダー部であって、
前記デコードされた基本ビットストリームを拡張する手段であって、拡張された基本映像ストリームを出力する異なる拡張アルゴリズムを有する複数の拡張部を有する拡張する手段と、
前記拡張された基本映像ストリームに前記デコードされた残差ビットストリームを重ね合わせる手段と
を有する階層化デコーダー部。
【請求項１１】
請求項１０に記載の階層化デコーダー部であって、
前記デコーダーが、前記拡張された基本映像ストリームを作るために、前記複数の拡張部によって作られた拡張された基本ストリームの混合を計算する混合パラメーターを表すベクトルを受信するように構成された階層化デコーダー部。
【請求項１２】
入力映像ビットストリームをエンコードする方法であって、
拡張された基本映像ストリームを出力する複数の異なる拡張アルゴリズムでデコードされたアップスケールされた基本ビットストリームを拡張するステップと、
前記デコードされたアップスケールされた基本ビットストリーム及び前記拡張された基本映像ストリームと前記入力映像ビットストリームとを比較するステップであって、前記比較の出力が、残差ビットストリームに含まれる情報を制御するステップと
を有する基本ビットストリーム及び残差ビットストリームをエンコードするステップを有する方法。
【請求項１３】
請求項１２に記載の方法であって、
前記拡張された基本映像ストリームの混合を計算する混合パラメーターを表すベクトルが選択され、前記選択されたベクトルを用いて前記残差ビットストリームの情報を制御する方法。
【請求項１４】
請求項１３に記載の方法であって、
前記拡張された基本映像ストリームの選択された混合が、前記入力画像ビットストリームと比較され、どの画素又は画素のグループについて、前記残差ビットストリームを介して追加の拡張が必要であるかを判断する方法。
【請求項１５】
請求項１３に記載の方法であって、
それぞれの画素のグループが、異なるベクトルを用いて拡張される方法。
【請求項１６】
請求項１３に記載の方法であって、
限られた数のテストのベクトルについてコストの関数が計算され、最小のコストの関数を備えたテストのベクトルが選択される方法。
【請求項１７】
請求項１６に記載の方法であって、
前記選択されたベクトルが、圧縮データストリームに含まれる方法。
【請求項１８】
請求項１６に記載の方法であって、
複数の前記テストのベクトルが、時間及び空間について近くの画素のグループの既に選択されたベクトルである方法。
【請求項１９】
請求項１２に記載の方法であって、
前記入力映像ビットストリームの解像度を削減するステップと、
前記のより低い解像度の基本ストリームをエンコードするステップと、
デコードして前記基本ストリームの解像度を増加させ、アップスケールされた基本ビットストリームを作るステップと、
前記入力映像ビットストリームから前記アップスケールされた基本ビットストリームを差し引き、前記残差ビットストリームを作るステップと、
画像分析装置からの制御信号に基づき、前記残差ビットストリームの一部のみが上位エンコーダーに送信されることを選択的に可能にするステップと、
前記残差ビットストリームの前記選択的に可能にされた一部をエンコードし、前記エンコードされた残差ビットストリームを形成するステップと
を更に有する方法。
【請求項２０】
基本ビットストリームと残差ビットストリームをデコードする方法であって、
拡張された基本映像ストリームを出力する複数の異なる拡張アルゴリズムで、前記デコードされた基本ビットストリームを拡張し、
前記拡張された基本映像ストリームに前記デコードされた残差ビットストリームを重ね合わせることを有する方法。
【請求項２１】
請求項２０に記載の方法であって、
前記拡張された基本映像ストリームを作るために、複数の拡張部によって作られた拡張された基本ストリームの混合を計算する混合パラメーターを表すベクトルを受信することを更に有する方法。
【請求項２２】
基本ビットストリームと残差ビットストリームを有する圧縮データストリームであって、
前記残差ビットストリームに含まれる情報が、前記基本ビットストリームより高い解像度でのビットストリームと、拡張されたデコードされたアップスケールされた基本ビットストリームとの間の差を表し、
前記拡張されたデコードされたアップスケールされた基本ビットストリームが、前記基本ビットストリームに基づき、
複数の拡張アルゴリズムの混合によって前記拡張が実行されたものである圧縮データストリーム。
【請求項２３】
請求項２２に記載の圧縮データストリームであって、
前記混合を計算する混合パラメーターを表すベクトルを有する圧縮データストリーム。
【請求項２４】
請求項２２又は２３に記載の圧縮データストリームが保存されているストレージ媒体。
【請求項２５】
入力映像ビットストリームをエンコードし、デコードする階層化エンコーダー／デコーダーであって、
低解像度での基本ビットストリームと残差ビットストリームをエンコードする階層化エンコーダー部であって、
デコードされたアップスケールされた基本ストリームを拡張し、拡張された基本映像ストリームを出力する異なる拡張アルゴリズムをそれぞれが備えた複数の拡張部と、
前記デコードされたアップスケールされた基本ビットストリーム及び前記拡張された基本映像ストリームと前記入力映像ビットストリームとを比較する画像分析装置であって、前記画像分析装置の出力が前記残差ビットストリームに含まれる情報を制御する画像分析装置と
を有する階層化エンコーダー部と、
前記基本ビットストリームと前記残差ビットストリームをデコードする階層化デコーダー部であって、
前記エンコーダー部で実行されたものと同じ前記デコードされた基本ビットストリームへの拡張を実行する手段と、
前記デコードされて拡張された映像基本ストリームに前記デコードされた残差ビットストリームを重ね合わせ、映像出力ストリームを作る手段と
を有する階層化デコーダー部と
を有する階層化エンコーダー／デコーダー。
【請求項２６】
コンピュータプログラム製品であって、
前記製品がコンピュータで実行すると、請求項１２に記載のステップを実行するソフトウェアコード部分を有するコンピュータプログラム製品。
【請求項２７】
コンピュータプログラム製品であって、
前記製品がコンピュータで実行すると、請求項２０に記載のステップを実行するソフトウェアコード部分を有するコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオエンコーダー／デコーダーに関するものであり、特に、空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構を備えたビデオエンコーダー／デコーダーに関するものである。
【背景技術】
【０００２】
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発において有意な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる未処理のデジタル情報量は大量になる。送信しなければならないデータ量を削減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
【０００３】
１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかに拡張性の技術と称される。拡張性を実施し得る３つの軸が存在する。第１のものは時間軸の拡張性であり、しばしば時間拡張性と称される。第２に、品質軸の拡張性が存在し、しばしば信号対雑音拡張性又は細粒拡張性と称される。第３軸は解像度の軸（画像における画素の数）であり、空間拡張性又は階層化コーディングと称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム又はレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、基本レイヤが低品質の映像信号を提供する場合があり、上位レイヤが基本レイヤの画像を拡張し得る追加情報を提供する。
【０００４】
特に、空間拡張性は、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間拡張性で、基本レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが基本レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
【０００５】
図１は既知の階層化ビデオエンコーダー100を示したものである。描かれたエンコードシステム100は階層化圧縮を達成し、それによってチャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力はスプリッタ102によって分割され、それによってデータが低域通過フィルタ104と減算回路106に送信される。低域通過フィルタ104は映像データの解像度を削減し、それが基本エンコーダー108に供給される。一般的に低域通過フィルタとエンコーダーは技術的に周知であり、簡潔のため、ここで詳細に説明されない。エンコーダー108は低解像度の基本ストリームを作り、それがシステム100から出力される第２のスプリッタ110に提供される。基本ストリームは放送され、受信され、デコーダーを介して現状のまま表示され得るが、基本ストリームは高画質と考えられる解像度を提供しない。
【０００６】
スプリッタ110の出力はまた、システム100内でデコーダー112に供給される。そこから、デコードされた信号が補間及びアップサンプル（upsample）回路114に供給される。一般的に、補間及びアップサンプル（upsample）回路114は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じるフィルタリングと損失のため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、前記損失が減算回路106で判断される。減算回路106の出力は、適度な品質の上位ストリームを出力する上位エンコーダー116に供給される。
【０００７】
入力映像を低解像度にフィルタリングし、ダウンスケールし、その後それを圧縮することの不利点は、映像が鮮明度を失うことである。このことは、ある程度はデコーダーの後で鮮明度の拡張を用いることによって補われ得る。このことは、ビデオ画像の大部分について合理的にうまく作動するように作られ得るが、結果が元の画像に比べて質の悪い状態が残るいくつかの領域が画像内に存在し、例えば最も高度な拡張ですら、小さいテキスト部分が読みづらい状態になる。
【発明の開示】
【課題を解決するための手段】
【０００８】
本発明は、基本レイヤに複数の映像拡張技術を導入することにより、拡張可能圧縮の機構の映像圧縮を増加させることによって、他の既知の階層化圧縮の機構の欠点を克服する。ビデオ画像分析装置を用いて、多様な映像拡張技術の最善の混合が判断され、前記混合を規定するパラメーターがユーザデータとしてデコーダー部分に送信される。ビデオ画像分析装置は、上位ビットストリームの選択された混合を元の最大解像度の入力信号と比較し、どの画素に残差の上位レイヤが必要であるかを判断する。
【０００９】
本発明の１つの実施例によると、入力映像ストリームをエンコードし、デコードする方法と装置が開示される。基本ビットストリームと残差ビットストリームが次の方法でエンコードされる。デコードされたアップスケールされた基本ビットストリームは、異なる拡張アルゴリズムを有する第１の複数の拡張部で拡張され、複数の拡張された基本映像ストリームが出力される。入力映像ストリームが、デコードされたアップスケールされた基本ビットストリーム及び拡張された基本映像ストリームと比較され、映像分析装置の出力が残差ビットストリームに含まれる情報を制御する。基本ビットストリームと残差ビットストリームが次の方法でデコードされる。エンコーダー部で実行されたものと同じ拡張が、デコードされた基本ビットストリームで実行される。デコードされた残差ビットストリームがデコードされて拡張された基本映像ストリームに重ね合わされ、映像出力ビットストリームを作る。
【００１０】
本発明の他の実施例によると、拡張された基本映像ストリームとデコードされたアップスケールされた基本ビットストリームとの混合は、エンコードされた残差ビットストリームの情報、すなわちどの画素又は画素のグループがデコードされた残差ビットストリームに含まれるべきかを制御するために用いられ得る。
【００１１】
本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
【発明を実施するための最良の形態】
【００１２】
本発明の１つの実施例によると、空間的鮮明度拡張技術を用いた空間拡張可能圧縮の機構が開示される。簡単には、フィルタリングされ、ダウンスケールされた映像シーケンスが圧縮される。その後、デコードされた基本レイヤのフレームから、多様な拡張アルゴリズムを用いていくつかのアップスケールされたバージョンが処理される。前記のものは、多様な鮮明度拡張アルゴリズムのバージョンと同様に、標準的なアップスケールされてフィルタリングされたバージョン、例えばナイキストフィルタリング（nyquist  filter）されたバージョンを含む。画像分析装置は全ての情報を処理し、前記のバージョンの最善のもの又は最善の混合を選択する。選択された混合を規定する混合パラメーターはまた、デコーダーが正確に前記拡張を再現し得るように、ユーザデータとしてエンコードされた残差ビットストリームに挿入される。
【００１３】
しかし、鮮明度拡張フレームのいくつかの領域において、結果が不適当に残る。エンコーダーで拡張フレームと利用可能な元の最大解像度のフレームとを比較することによって、前記領域が検出され得る。前記検出された領域のみが圧縮され、上位レイヤに入力される残差ビットストリームの一部になる。デコーダーが基本レイヤのダウンスケールされたビットストリームをデコードし、エンコーダーで実行されたものと同じ拡張パラメーターをデコードされた出力で適用する。その後、デコーダーは残差ビットストリームをデコードし、デコードされたビットストリームを既にデコードされて拡張された基本レイヤのフレームの画素に重ね合わせる。
【００１４】
この実施例は、本発明で用いられ得るエンコーダー／デコーダーのブロック図である図２を参照して、更に詳細に説明される。描かれたエンコード／デコードシステム200は階層化圧縮を達成し、それによってチャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力201はスプリッタ210によって分割され、それによってデータが低域通過フィルタ212、例えばナイキストフィルタ（nyquist  filter）と、スプリッタ232に送信される。低域通過フィルタ210は映像データの解像度を削減し、それが基本エンコーダー214に供給される。一般的に、低域通過フィルタとエンコーダーは技術的に周知であり、簡潔さのためここで詳細に説明されない。基本エンコーダー214は低解像度の基本ストリーム215を作る。基本ストリームは放送され、受信され、デコーダーを介して現状のまま表示され得るが、基本ストリームは高画質と考えられる解像度を提供しない。
【００１５】
エンコーダーはまた、デコードされた基本ストリームをアップスケール回路216に出力する。更に、デコーダー（図示なし）は、エンコーダーの後の回路に挿入され、アップスケール回路216に送信される前にエンコーダーの出力をデコードし得る。一般的に、アップスケール回路216はデコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを提供する。アップスケール回路216からのアップスケールされたビットストリームv1は、スプリッタ218によって分割され、画像分析装置230と減算回路234とスプリッタ220とに入力される。スプリッタ220からのアップスケールされたビットストリームv1は、拡張部222と224に入力される。それぞれの拡張部は、以下に更に詳細に説明される異なる空間的拡張アルゴリズムで動作する。図２は２つの拡張部を有するが、何らかの数の拡張部が本発明において用いられ得ることがわかる。
【００１６】
多数の映像拡張技術が存在し、それら全てが、結果の画像の認識が改善されるように画像のコンテンツを修正する。前記拡張の主観的な特徴が最適化処理を複雑にし、おそらく映像拡張アルゴリズムの多様性の原因になる。多様な拡張アルゴリズムは、どうにかして画像品質に貢献し、結果として、しばしば一連で個々の強みから利益を得るようにみえる。ノイズ削減アルゴリズムと鮮明度改善アルゴリズムは、拡張アルゴリズムの多数のセットのうちの少しの例である。本発明において、前記既知の拡張アルゴリズムの何らかが用いられ得ることがわかる。
【００１７】
高品質の空間的拡張機能は、鮮明度の異なる形態に貢献するアルゴリズムの集合で構成される。いくつかのアルゴリズムは、勾配を増加させることによって画像の階調度のみを改善するのに対して、他のものは階調度の大きさを修正する。前記アルゴリズムは相互に排他的であると考えられ得るが、このことは決して真実ではない。階調度の特徴を改善する双方の手段が用いられる場合があり、所定のモデルがそれぞれのアルゴリズムの個々の貢献を判断する。
【００１８】
図２を参照すると、アップスケールされたビットストリームv1は、拡張部222と224で、各部の拡張アルゴリズムに従って処理される。拡張部222と224からの結果の映像ストリームは、それぞれ減算部226と228に入力され、ビットストリームv1が拡張部222と224からの結果の映像ストリームから差し引かれ、それぞれ映像ストリームv2とv3を作る。映像ストリームv2とv3は、画像分析装置230に入力される。入力ビットストリーム201はまた、スプリッタ232を介して画像分析装置230に入力される。画像分析装置230は元のビットストリームとv1、v2及びv3を比較し、画像を拡張するのに最善の方法を判断する。画像分析装置によって実行される画像分析は、多様な方法で実行され得る。例えば、画像分析装置230は元の画像とv1、v2及びv3を比較し、元の画像に最も近い映像ストリーム（v1、v2又はv3）を選択する。その他、画像分析装置は、映像ストリームの組み合わせから最適の全体の画像品質が達成されるように、混合パラメーター（α，β）又は拡張ベクトルを用いて異なるビットストリームの混合を用い得る。例えば、画像分析装置は、拡張された基本映像ストリームの混合を計算する混合パラメーターを表すベクトルを選択し、選択されたベクトルを用いて残差ビットストリームの情報を制御し得る。更に、図３を参照して以下に説明される通り、最善の混合パラメーターを判断する際に、ビットコストの関数もまた用いられ得る。説明されたもの以外の機構が画像分析装置230にもちいられ得ることがわかり、本発明はそれに限定されない。
【００１９】
画像分析装置230に混合パラメーターを用いる多数の利点が存在する。第１に、これは完全に拡張可能なシステムである。画像の鮮明度に貢献する更なる機能が存在する場合は、それが容易に原因になり得る。新しい機能がシステムに最適化される必要はない。第２に、適切な拡張ベクトルを決定する際に、多様な機能の相互依存性が原因になり得る。第３に、時空的整合性モデルが画像分析装置230に組み込まれ得る。
【００２０】
アップスケール回路216のアップスケールされた出力は、減算回路234で元の入力201から差し引かれ、スイッチ236に適用される残差ビットストリームを作る。スイッチは画像分析装置230の出力によって制御される。多様な拡張された基本映像ストリームと入力映像ビットストリーム201を比較することによって、画像分析装置230は、どの画素又は画素のグループ（ブロック）が上位レイヤ208によって更に拡張される必要があるかを判断し得る。画像分析装置230によって拡張の必要があると判断される画素又は画素のグループ（ブロック）について、画像分析装置230はスイッチ236を閉じる制御信号を出力し、残差ビットストリームの前記の部分を上位レイヤのエンコーダー240に通す。画像分析装置230はまた、選択された混合パラメーターとスイッチのための制御信号をエンコーダー240に送信し、それ故に、前記情報がスイッチ236からの結果の残差ビットストリームでエンコードされ、上位ストリーム241として出力される。
【００２１】
デコーダー部分204において、基本ストリーム215は基本デコーダー250に送信され、上位ストリーム241は上位デコーダー252に送信される。デコーダー250は、基本ストリーム215をデコードし、それがアップスケール回路254によってアップスケールされる。アップスケールされたデコードされたビットストリームは、スプリッタ256によって分割され、拡張部262と264、併合部270及び加算部272に送信される。拡張部262は拡張部222と同じ空間的拡張アルゴリズムを有し、拡張部264は拡張部224と同じ空間的拡張アルゴリズムを有する。拡張部262と264はそれぞれのアルゴリズムを実行し、併合部270に出力v2とv3を送信する。
【００２２】
上位デコーダー252は、上位ストリームをデコードし、残差ビットストリームを加算部272に出力する。更に、デコーダー252は混合パラメーターと制御信号をデコードし、この情報を併合部270に送信する。併合部は全ての入力を合わせて併合し、画像分析装置230からの拡張出力を生成する。アップスケールされたデコードされた基本ストリームとデコードされた残差ビットストリームが加算部272によって一緒に組み合わされ、結果のビットストリームがスイッチ274に適用される。スイッチ274は、制御信号によって制御され、それ故に、併合部270の出力が、出力信号276を作るように、加算部272によって出力されるビットストリームの適切な画素又はブロックに適用され得る。
【００２３】
図３は、本発明の他の実施例によるエンコーダー／デコーダー300のブロック図である。図３の多数の構成要素は図２に示された構成要素と同じであり、それらは同じ参照番号が与えられている。更に、簡潔さのため、類似の構成要素の動作は説明されない。この実施例において、個々の拡張信号v2,v3,…について混合パラメーターα,β,…を判断する際にコストの関数が用いられる。本発明の１つの実施例によると、拡張ベクトルがブロック毎に割り当てられる。時空的に近くからの以前に決定された最善の拡張ベクトルが、図４に示す通り、コストの関数で評価される。コストの関数は、目的の画像品質に関する測定基準を計算する。拡張ベクトルの最善の評価が最小のコストを生じるものによって規定される。すなわち、最善のベクトル=min  e(αi,βi,…)であり、i=1,2,…は候補の数であり、e()はパラメーターとしてのベクトルαi,βi,…でのコストの関数である。
【００２４】
コストの関数は、高品質と加工物の防止の機構を規定する全ての要素をそれ自体に組み込むべきである。例えば、鮮明度の拡張の関数の場合、階調度の勾配が重要な要素であり、コストの関数において原因になるべきである。鮮明度の改善から生じるエイリアシング（aliasing）のような加工物もまた、コストの関数に含まれるべきである。コストの関数は品質の指標としての役割をする。
【００２５】
図３を参照すると、上位レイヤのエンコーダー240は、ビットコストの情報を画像分析装置230に送信する。パラメーターα,β,…の限られたセットについての混合信号Ve(α,β,…)から、コストの関数が計算される。信号Ve(α,β,…)の画像品質が良いほど、コストの関数が低くなる。それぞれの画素又は画素のグループについてα,β,…のいくつかのベクトルが検査される。その後、最小のコストの関数を備えたテストのベクトルが選択される。１つの実施例について、いくつかのテストのベクトルは、時間及び空間（以前のフレーム）について近くの画素のグループの既に選択されたベクトルである。例えば、図４に示されるベクトルλ1β1,λ2β2,λ3β3は、テストされる画素のグループの近くである。更に、１つ以上のベクトルがランダムなオフセットを備えて選択され得る。画像分析装置は、Ve=v1+αv2+βv3とVb=v1+λv2+μV3を出力し、αとβは混合パラメーターであり、λとμはコストの関数のパラメーターである。この実施例において、信号Vbが減算器234で元の入力ビットストリームから差し引かれ、残差ビットストリームを形成する。最終的なコストの関数が所定の閾値の制限を超えると常に、画像分析装置が信号sをスイッチ236に出力し、それ故にスイッチが閉じ、その画素のグループについて残差ビットストリームがエンコーダー240でエンコードされる。更に、画像分析装置はまた、制御信号と混合パラメーターとコストの関数をエンコーダー240に送信し、それらはコード化されて上位ストリーム241に挿入される。上位ストリームが上位デコーダー252でデコードされると、混合パラメーターとコストの関数がデコードされ、併合部270に送信される。併合部は、加算部272でデコードされた上位ストリームに加えられるVbを出力し、結果のビットストリームがスイッチ274に適用される。スイッチ274は制御信号Sによって制御され、それ故に併合部270からのVeが、出力信号276を作るように、加算部272によって出力されるビットストリームの適切な画素又はブロックに適用され得る。
【００２６】
本発明の前述の実施例は、規定の拡張ベクトルを介して複数の拡張された基本ビットストリームの最善なもの又はその混合を選択し、エンコードされた残差ビットストリームの情報を制御するために、画像分析装置を用いることによって、空間拡張可能圧縮の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
【図面の簡単な説明】
【００２７】
【図１】既知の階層化ビデオエンコーダーを表したブロック図である。
【図２】本発明の１つの実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。
【図３】本発明の１つの実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。
【図４】本発明の１つの実施例によるベクトルの候補のセットの位置を示したものである。
【図１】
2005507586.tif 000003
【図２】
2005507586.tif 000004
【図３】
2005507586.tif 000005
【国際公開パンフレット】
2005507586.tif 000006
2005507586.tif 000007
2005507586.tif 000008
2005507586.tif 000009
2005507586.tif 000010
2005507586.tif 000011
2005507586.tif 000012
2005507586.tif 000013
2005507586.tif 000014
2005507586.tif 000015
2005507586.tif 000016
2005507586.tif 000017
2005507586.tif 000018
2005507586.tif 000019
2005507586.tif 000020
2005507586.tif 000021
2005507586.tif 000022
2005507586.tif 000023
2005507586.tif 000024
【国際調査報告】
2005507586.tif 000025
2005507586.tif 000026
2005507586.tif 000027