(57)【要約】本発明は、比較的低い解像度を有するビットストリームを提供するベース層符号化と、第２のビットストリームを与える残差信号を符号化するエンハンスメント層符号化とを含み、エンハンスメント層符号化の前に、残差信号を通常の入力ビデオ信号のレベル範囲を有する信号へ変換する変更が与えられる、ビデオの空間スケーラブルな圧縮を提供する。
2005507588.tif 000002
【特許請求の範囲】
【請求項１】
入力信号内に捕捉されたビデオ情報の空間スケーラブル圧縮を行なう装置であって、
比較的低い解像度を有するビットストリームを符号化するベース符号化器と、
第２のビットストリームを生成するよう残差信号を符号化するエンハンスメント符号化器と、
前記エンハンスメント符号化器の前に置かれ、前記残留信号をビデオ圧縮に用いられる通常の入力ビデオ信号の信号レベル範囲を有する信号へと変換する変更ユニットとを有し、前記残差信号は再構成されたベースストリーム及び前記入力信号から生成される差分信号である、装置。
【請求項２】
前記変更ユニットは、ＤＣオフセット値を前記残差信号へ加算する、請求項１記載の装置。
【請求項３】
前記変更ユニットは、前記変更ユニットの出力が第１の所定の値よりも下になること及び第２の所定の値よりも上になることを防止するクリップ動作を含む、請求項２記載の装置。
【請求項４】
前記ＤＣオフセット値は、前記残差信号の大部分の画素値を、所定の画素値範囲の一端から所定の画素値範囲の略中央へシフトさせる、請求項２記載の装置。
【請求項５】
ビデオストリームを符号化及び復号化する階層化された符号化器であって、
前記ビデオストリームの解像度を低下させるダウンサンプリングユニットと、
より低い解像度のベースストリームを符号化するベース符号化器と、
再構成されたビデオストリームを生成するよう前記ベースストリームを復号化し解像度を高めるアップコンバートユニットと、
残差信号を生成するよう前記元のビデオストリームから前記再構成されたビデオストリームを差し引く減算器ユニットと、
エンハンスメント符号化器の前に置かれ、前記残差信号をビデオ圧縮に用いられる通常の入力ビデオ信号の信号レベル範囲を有する信号へ変換する変更ユニットと、
前記変更ユニットからの結果として得られる残差信号を符号化し、エンハンスメントストリームを出力するエンハンスメント符号化器とを有する、階層化された符号化器。
【請求項６】
前記変更ユニットは、前記残差信号にＤＣオフセット値を加算する、請求項５記載の階層化された符号化器。
【請求項７】
前記変更ユニットは、前記変更ユニットの出力が第１の所定の値よりも下になること及び第２の所定の値よりも上になることを防止するクリップ動作を有する、請求項６記載の階層化された符号化器。
【請求項８】
前記ＤＣオフセット値は、前記残差信号の大部分の画素値を、所定の画素値範囲の一端から所定の画素値範囲の略中央へシフトさせる、請求項６記載の階層化された符号化器。
【請求項９】
ビデオストリームの適応内容フィルタリングを用いて空間スケーラブル圧縮を行なう方法であって、
前記ビデオストリームの解像度を低下させるよう前記ビデオストリームをダウンサンプリングする段階と、
ベースストリームを生成するよう前記ダウンサンプリングされたビデオストリームを符号化する段階と、
再構成されたビデオストリームを生成するよう前記ベースストリームを復号化しアップコンバートする段階と、
残差ストリームを生成するよう前記ビデオストリームから前記再構成されたビデオストリームを差し引く段階と、
前記残差信号をビデオ圧縮に用いられる通常の入力ビデオ信号の信号レベル範囲を有する信号へ変換する段階と、
前記結果として得られる残差信号を符号化し、エンハンスメントストリームを出力する段階とを有する、方法。
【請求項１０】
前記変換段階は、
前記残差信号にＤＣオフセット値を加算する段階と、
前記変更ユニットの出力が第１の所定の値よりも下になること及び第２の所定の値よりも上になることを防止するクリップ動作の段階とを有する、請求項９記載の方法。
【請求項１１】
前記ＤＣオフセット値は、前記残差信号の大部分の画素値を、所定の画素値範囲の一端から所定の画素値範囲の略中央へシフトさせる、請求項１０記載の方法。
【請求項１２】
圧縮されたビデオ情報を復号化する復号化器であって、
受信されたベースストリームを復号化するベースストリーム復号化器と、
前記復号化されたベースストリームの解像度を高めるアップコンバートユニットと、
受信したエンハンスメントストリームを復号化するエンハンスメントストリーム復号化器と、
前記復号化されたエンハンスメントストリームの信号範囲を元の残差信号の信号範囲へと変換する変更ユニットと、
ビデオ出力を生成するよう、前記アップコンバートされた復号化されたベースストリーム及び前記変換されたエンハンスメントストリームを結合する加算ユニットとを有する、復号化器。
【請求項１３】
ベースストリーム及びエンハンスメントストリーム中に受信された圧縮されたビデオ情報を復号化する方法であって、
前記ベースストリームを復号化する段階と、
前記復号化されたベースストリームの解像度を高めるよう前記復号化されたベースストリームをアップコンバートする段階と、
前記エンハンスメントストリームを復号化する段階と、
前記復号化されたエンハンスメントストリームの信号範囲を元の残差信号の信号範囲へと変換する段階と、
ビデオ出力を生成するよう、前記アップコンバートされ復号化されたベースストリームを前記変換されたエンハンスメントストリームと結合する段階とを有する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化に関連する。
【背景技術】
【０００２】
ディジタルビデオ中には膨大な量のデータが含まれているため、フルモーションの高精細度のビデオ信号の伝送は、高精細度ビデオの開発において重大な問題である。特に、各ディジタル画像フレームは、特定のシステムのディスプレイ解像度に従って画像のアレイから形成される静止画像である。結果として、高解像度ビデオシーケンス中に含まれる生データ情報の量は膨大である。送信されねばならないデータの量を減少させるために、データを圧縮するべく圧縮技術が用いられる。ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３を含む様々なビデオ圧縮標準又は処理が定められている。
【０００３】
ビデオが１つのストリーム中で様々な解像度及び／又は質で利用可能である多くの適用が可能とされている。これを達成する方法は、はっきりと定義されてはいないがスケーラビリティ技術と称される。スケーラビリティを活用するのみ用いられ得る３つの軸がある。第１のものは、時間軸上のスケーラビリティであり、これはしばしば時間スケーラビリティと称される。第２に、質の軸上のスケーラビリティがあり、これはしばしば信号対雑音比スケーラビリティ又は微粒子スケーラビリティと称される。第３の軸は解像度軸（画像中の画素の数）であり、しばしば、空間スケーラビリティ又は階層化された符号化（layered  coding）と称される。階層化された符号化では、ビットストリームは２つ又はそれ以上のビットストリーム又は階層（レイヤ）へ分割される。各階層は、単一の高質な信号を形成するよう組み合わされうる。例えば、ベース層がより低い質のビデオ信号を与える一方で、エンハンスメント層がベース層の画像を向上させうる追加的な情報を与えてもよい。
【０００４】
特に、空間スケーラビリティは、異なるビデオ標準又は復号化器の能力の間の互換性を与えうる。空間スケーラビリティでは、ベース層ビデオは入力ビデオシーケンスよりも低い解像度を有し、この場合、エンハンスメント層はベース層の解像度を入力シーケンスのレベルへ復元しうる情報を持つ。
【０００５】
図１は、公知の空間スケーラブルビデオ符号化器１００を示す。図示の符号化システム１００は、伝送路の一部が低解像度ベース層を与えるのに用いられ、残る部分がエッジ強調情報を伝送するのに用いられ、システムを高解像度へと高めるよう２つの信号が再び結合されうる階層圧縮を達成する。高解像度ビデオ入力Ｈｉ−Ｒｅｓは、スプリッタ１０２によって分割され、それによりデータは低域通過フィルタ１０４及び減算回路１０６へ送られる。低域通過フィルタ１０４は、ビデオデータの解像度を低下させ、これは次にベース符号化器１０８へ供給される。一般的に、低域通過フィルタ及び符号化器は、従来技術で周知であり、説明を簡潔とするためここではこれについて詳述しない。符号化器１０８は、ブロードキャストされ、受信され、復号化器を通じてそのままで表示されうる、より低い解像度のベースストリームを生成するが、ベースストリームは高精細度と考えられる解像度を与えない。
【０００６】
符号化器１０８の出力はまた、システム１００内の復号化器１１２へ供給される。そこから、復号化された信号は、補間・アップサンプル回路１１４へ供給される。一般的に、補間・アップサンプル回路１１４は、復号化されたビデオストリームからフィルタ除去された解像度を再構成し、高解像度入力と同じ解像度を有するビデオデータストリームを与える。しかしながら、フィルタリング、並びに、符号化及び復号化から生ずる損失により、再構成されたストリーム中では情報の損失がある。損失は、減算回路１０６において、元の変更されていない高解像度ストリームから再構成された高解像度ストリームを差し引くことによって得られる。減算回路１０６の出力は、適度な質のエンハンスメントストリームを出力するエンハンスメント符号化器１１６へ供給される。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、エンハンスメントストリームの有利な符号化を提供することを目的とする。このために、本発明は、独立項に記載の装置、階層化された符号化器、方法、復号化器、及び、復号化方法を提供する。有利な実施例は、従属項に記載されている。
【０００８】
出願人は、従来技術のエンハンスメント符号化器は、ゼロ付近に集中した画素値を有する残差信号を処理するために、標準でない構成要素を必要とすることに着目した。従って、残差信号がエンハンスメント符号化器へ供給される前に、残差信号の画素値の集中度を変化させる方法及び装置が必要とされている。
【課題を解決するための手段】
【０００９】
エンハンスメントユニットの前に、残差信号を通常の入力ビデオ信号の信号レベル範囲を有する信号へ変換する変更ユニットを設けることにより、エンハンスメント符号化器で標準構成要素が使用されうる。望ましくは残差信号の画素値がエンハンスメント符号化器の所定の入力範囲の中央にシフトされるよう、望ましくは変更ユニットは残差信号にＤＣオフセットを加算する加算器を有する。
【００１０】
本発明の１つの実施例によれば、ビデオストリームの適応内容フィルタリングを用いる空間スケーラブル圧縮を提供する方法及び装置が開示される。ビデオストリームは、ビデオストリームの解像度を減少させるようダウンサンプリングされる。ダウンサンプリングされたビデオストリームは、ベースストリームを生成するよう符号化される。ベースストリームは、再構成されたビデオストリームを生成するよう復号化されアップコンバートされる。再構成されたビデオストリームは残差ストリームを生成するようビデオストリームから差し引かれる。残差信号は、ビデオ圧縮に用いられる通常の入力ビデオ信号の信号レベル範囲を有する信号へ変換される。結果として得られる残差ストリームは符号化されエンハンスメントストリームとして出力される。
【００１１】
本発明の他の実施例によれば、ベースストリーム及びエンハンスメントストリーム中に受信される圧縮されたビデオ情報を復号化する方法及び装置が開示される。ベースストリームは復号化され、次に、復号化されたベースストリームの解像度を高めるようアップコンバートされる。エンハンスメントストリームは復号化される。復号化されたエンハンスメントストリームの信号範囲は、元の残差信号の信号範囲へ変換される。アップコンバートされた復号化されたベースストリームは、ビデオ出力を生成するよう、変換されたエンハンスメントストリームと結合される。
【発明を実施するための最良の形態】
【００１２】
本発明の上述の及び他の面は、以下に説明する実施例を参照して明らかとなろう。本発明について、例として、添付の図面を参照して説明する。
【００１３】
図２は、本発明の１つの実施例による空間スケーラブルビデオ符号化器２００を示す図である。図示の符号化システム２００は、伝送路の一部が低解像度ベース層を与えるのに用いられ、残る部分がエッジ強調情報を伝送するのに用いられ、システムを高解像度へと高めるよう２つの信号が再び結合されうる階層圧縮を達成する。高解像度ビデオ入力は、スプリッタ２０２によって分割され、それによりデータは低域通過フィルタ２０４及び減算回路２０６へ送られる。低域通過フィルタ２０４は、ビデオデータの解像度を低下させ、これは次にベース符号化器２０８へ供給される。一般的に、低域通過フィルタ及び符号化器は、従来技術で周知であり、説明を簡潔とするためここではこれについて詳述しない。符号化器２０８は、ブロードキャストされ、受信され、復号化器を通じてそのままで表示されうる、より低い解像度のベースストリームＢＳを生成するが、ベースストリームは高精細度と考えられるであろう解像度を与えるものではない。
【００１４】
符号化器２０８の出力はまた、システム２００内の復号化器２１２へ供給される。そこから、復号化された信号は、補間・アップサンプル回路２１４へ供給される。一般的に、補間・アップサンプル回路２１４は、復号化されたビデオストリームからフィルタ除去された解像度を再構成し、高解像度入力と同じ解像度を有するビデオデータストリームを与える。しかしながら、フィルタリング、並びに、符号化及び復号化から生ずる損失により、再構成されたストリーム中では情報の損失がある。損失は、減算回路２０６において、元の変更されていない高解像度ストリームから再構成された高解像度ストリームを差し引くことによって決定される。減算回路２０６の出力は、変更ユニット２０７へ供給される。変更ユニット２０７は、残差信号を、ビデオ圧縮に用いられる通常の入力ビデオ信号と同じ信号レベル範囲内の信号へ変換する。変更ユニット２０７は、ＤＣオフセット値２０９を残差信号に加算する。変更ユニット２０７はまた、変更ユニットの出力が第１の所定の値よりも下になること及び第２の所定の値よりも上になることを防止するクリップ動作を有する。このＤＣオフセット及びクリップ動作は、画素値が所定の範囲、例えば０．．．２５５にあるエンハンスメント符号化器に対して、例えばＭＰＥＧ等の既存の標準を用いることを可能とする。残差信号は、通常はゼロ付近に集中する。ＤＣオフセット値２０９を加算することにより、サンプルの集中は、範囲の中央、例えば８ビットビデオサンプルでは１２８、へシフトされうる。変更ユニット２０７からの変更された残差信号は、適度な質のエンハンスメントストリームＥＳを出力するエンハンスメント符号化器２１６へ供給される。この加算の利点は、エンハンスメント層についての符号化器の標準構成要素が使用されえ、費用効率の良い（ＩＰブロックの再利用）解決策を与えることである。
【００１５】
図３は、本発明の１つの実施例による復号化器３００を示す図である。図３は、階層化された符号化器２００によって処理された符号化された信号を復号化する復号化器を示す。ベースストリームは、ベース復号化器３０２において復号化される。復号化器３０２からの復号化された出力は、アップコンバータ３０６によってアップコンバートされ、次に、加算回路３１０へ供給される。エンハンスメントストリームは、復号化器３０４中で復号化される。復号化器３０４の出力は、変更ユニット３０８へ供給される。変更ユニット３０８は、符号化器２００における変更２０７の逆の動作を行う。変更ユニット３０８は、復号化されたエンハンスメントストリームを通常のビデオ信号範囲から元の残差信号の信号範囲へ変換する。変更ユニット３０８の出力は加算ユニット３１０へ供給され、復号化器３００の出力を形成するよう、アップコンバータ３０６の出力と結合される。
【００１６】
本発明の様々な実施例は、上述の段階の内の幾つかのタイミングは本発明の全体動作に影響を与えることなく入れ替えられ得るため、上述の各段階の正確な順序に限られるものではない。更に、「含む」又は「有する」の用語は、他の要素又は段階を排除するものではなく、単数形で記載されているものは複数の場合を排除するものではなく、単一のプロセッサ又は他のユニットが特許請求の範囲に記載のユニット又は回路のうちの幾つかの機能を満たしうる。
【図面の簡単な説明】
【００１７】
【図１】空間スケーラビリティを有する従来技術の符号化器を示すブロック図である。
【図２】本発明の１つの実施例による空間スケーラビリティを有する符号化器を示すブロック図である。
【図３】本発明の１つの実施例による復号化器を示すブロック図である。
【国際公開パンフレット】
2005507588.tif 000003
2005507588.tif 000004
2005507588.tif 000005
2005507588.tif 000006
2005507588.tif 000007
2005507588.tif 000008
2005507588.tif 000009
2005507588.tif 000010
2005507588.tif 000011
2005507588.tif 000012
2005507588.tif 000013
2005507588.tif 000014
【国際公開パンフレット（コレクトバージョン）】
2005507588.tif 000015
2005507588.tif 000016
【国際調査報告】
2005507588.tif 000017
2005507588.tif 000018
2005507588.tif 000019