(57)【要約】インタレースビデオに対するフルにスケーラブルなエンコーダおよびデコーダ。デジタルビデオデータのインタレースシーケンスをエンコードする本発明の方法は、インタレースビデオシーケンス（Ｉ）を第１フィールド（Ｆ１）および第２フィールド（Ｆ２）に分解し、デジタルフィルリング（ＳＦ１）を行って、上記の第１フィールド（Ｆ１）の比較的周波数の低い成分（Ｌ）および比較的周波数の高い成分（Ｈ）を得、空間時間フィルタリング（ＳＴＦ）および動き推定（ＭＥ１）を使用して、受信器においてプログレッシブモードビデオシーケンス（Ｖ１，Ｖ２）を再構成するのに適した基本レイヤ信号（Ｐ，ＭＶ１）を生成する。有利にもエンコーダにおける空間時間フィルタ（ＳＴＦ）および受信器における逆プロセス（ＳＴＳ）の両方が、空間的および時間的な次元におけるスケーリングを行うことができる。第２フィールド（Ｆ２）は拡張信号（ＦＦ２，ＭＶ２）を生成するために使用され、これらの拡張信号によって受信器は、フルの空間および／または時間的な解像度、またはスケーリングされた空間および／または時間的な解像度を再生することができる。
2006521727.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオデータのインタレースシーケンスを符号化する方法であって、
ここでは符号化信号の複数のレイヤ、基本レイヤおよび１つまたはそれ以上の拡張レイヤを生成し、
少なくとも１つの前記基本レイヤは、前記のビデオデータの基本的な再構成に適しており、
前記拡張レイヤは、当該のビデオデータの基本レイヤ再構成を拡張するのに適している形式の、デジタルビデオデータのインタレースシーケンスを符号化する方法において、
−  前記のインタレースシーケンス（Ｉ）を２つのサブシーケンス（Ｆ１，Ｆ２）に分解（ＳＰ）し、
−  当該の２つのサブシーケンス（Ｆ１，Ｆ２）を別個に処理し、
−  第１のサブシーケンス（Ｆ１）を、比較的周波数の低いストリーム（Ｌ）と比較的周波数の高いストリーム（Ｈ）とに分解（ＳＦ１）し、
−  前記の比較的周波数の低いストリーム（Ｌ）を第１デジタルフィルタ（ＳＴＦ）によって処理し、
−  当該第１フィルタ（ＳＴＦ）の出力を使用して基本レイヤ信号（Ｐ）を生成し、
−  また前記の比較的周波数の低いストリーム（Ｌ）を、第１の動き推定（ＭＥ１）に使用し、ここで結果的に得られる動きベクトル（ＭＶ１）は、前記基本レイヤ信号（Ｐ）と共にデコーダにおけるプログレッシブモードのビデオシーケンスの再構成に適しており、
−  前記の第２のサブシーケンスを第２デジタルフィルタ（ＭＣＴＦ）によって処理することを特徴とする、
デジタルビデオデータのインタレースシーケンスを符号化する方法。
【請求項２】
前記の第１デジタルフィルタ（ＳＴＦ）は、時間的または空間的な次元またはその両方の次元における解像度を変更するのに適している、
請求項１に記載の方法。
【請求項３】
第２動き推定（ＭＥ２）を前記インタレースビデオシーケンス（Ｉ）に行う、
請求項１または２に記載の方法。
【請求項４】
前記第２デジタルフィルタ（ＭＣＴＦ）によって、前記のインタレースビデオ信号（Ｉ）または第１動き推定（ＭＥ１）の結果も使用する、
請求項１から３のいずれか１項に記載の方法。
【請求項５】
以下のサブシーケンスのうちの少なくともいくつかを伝送する、すなわち、
前記の第１サブシーケンス（Ｌ）の比較的周波数の低いストリーム（Ｐ）、
前記の第１サブシーケンス（Ｌ）の動きベクトル（ＭＶ１）、
前記の第１サブシーケンスの比較的周波数の高いストリーム（Ｈ）、
前記のインタレースシーケンス（Ｉ）の動きベクトル（ＭＶ２）、
前記のフィルタリングされた第２サブシーケンス（ＦＦ２）のうちの少なくともいくつかを伝送する、
請求項１から４までのいずれか１項に記載の方法。
【請求項６】
ビットストリームを復号化する方法であって、
該ビットストリームは、複数のサブストリームから構成されており、
当該のサブストリームは、基本レイヤ（ＢＬ）または拡張レイヤ（ＥＬ）のいずれかに関連づけられており、
前記方法は、
−  復号化品質を選択または決定（ＱＳ）するステップと、
−  前記の基本レイヤ（ＢＬ）に関連づけられているサブストリーム（Ｐ，ＭＶ１）を前記ビットストリームから抽出するステップと、
−  前記サブストリーム（Ｐ，ＭＶ１）に逆デジタルフィルタリング（ＳＴＳ）を行ってプログレッシブモードビデオシーケンス（Ｖ１）を形成するステップとを有することを特徴とする、
ビットストリームを復号化する方法。
【請求項７】
さらに
−  前記のプログレッシブモードビデオシーケンス（Ｖ１）と、前記の拡張レイヤ（ＥＬ）に関連づけられた１つまたはそれ以上のサブストリーム（Ｈ）とに逆デジタルフィルタリング（ＳＳ）を行い、当該フィルタリング（ＳＳ）によって拡張プログレッシブモードビデオシーケンス（Ｖ３）を生成するステップを含む、
請求項６に記載の方法。
【請求項８】
さらに
−  前記の拡張プログレッシブモードビデオシーケンス（Ｖ３）と、前記の拡張レイヤ（ＥＬ）に関連づけられた１つまたはそれ以上の前記サブストリーム（ＭＶ２，ＦＦ２）とに逆デジタルフィルタリング（IMCTF，ＩＳＰ）を行い、当該のフィルタリング（IMCTF，ＩＳＰ）によって、拡張された空間時間解像度またはフルの空間時間解像度のインタレースビデオシーケンス（Ｖ４）を生成するステップを含む、
請求項６または７に記載の方法。
【請求項９】
前記の基本レイヤ（ＢＬ）に関連づけられたサブストリームへの逆デジタルフィルタリング（ＳＴＳ）によって、空間的または時間的にスケーリングされた、または空間的かつ時間的にスケーリングされた、プログレッシブモードビデオシーケンス（Ｖ２）の表現を生成する、
請求項６から８までのいずれか１項に記載の方法。
【請求項１０】
ビデオ符号化用装置において、
請求項１から５までのいずれか１項に記載の方法を使用することを特徴とする、
ビデオ符号化用装置。
【請求項１１】
ビデオ復号化用装置において、
請求項６から９までのいずれか１項に記載の方法を使用することを特徴とする、
ビデオ復号化用装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮法に関する。さらに詳しくいうと本発明は、デジタルビデオデータのインタレースシーケンスを符号化および復号化する際にスケーラビリティを達成する方法に関する。
【０００２】
発明の背景
今日、ほとんどのビデオ符号化アルゴリズムは、動き補償予測符号化を使用して伝送帯域幅を低減している。このようなハイブリッド方式では時間的な冗長性が動き補償によって低減され、空間的な冗長性が動き補償残差変換符号化によって低減される。テストを目的とした利用可能なＭＰＥＧビデオ素材を含むほとんどの標準定義（ＳＤ standard definition）のビデオ素材はインタレースされているが、スケーラブルビデオ符号化における最近の研究は、プログレッシブビデオの評価だけに力が注がれて来た。この点についての努力は、例えばＭＰＥＧ−４に対して払われ、これは"Description of Exploration experiments in Scalable Video Coding", ISO/IEC JEC1/SC29/WG11, MPEG2002/N5414, Awaji, December 2002に記載されている通りである。例えばＨＤＴＶに対してWO9003082に記載されている公知のアルゴリズムは、空間的および時間的にスケーラブルなインタレースビデオを伝送するのに十分でない。それは、より広範なスケーラビリティが要求されるからである。新しいディスプレイタイプ、例えば小型モバイルディスプレイは、低い空間および時間解像度のプログレッシブビデオで対処しているが、その他のもの、例えばＨＤＴＶ受信器には、高い空間解像度および標準の時間解像度を有するインタレースシーケンスが必要である。
【０００３】
発明の要約
本発明の目的は、インタレースビデオのサブバンドまたはウェーブレット符号化を改善することである。インタレースビデオにおいて空間および時間的な次元は密に結合しているため、本発明の方法は空間時間ＳＮ比（ＳＮＲ）との関わり合いにおいて付加的な研究を使用する。
【０００４】
本発明によって解決すべき課題は、インタレースビデオの符号化および復号化において十分な空間的および時間的なスケーラビリティが得られるようにする方法を提供することである。このような方法は、符号化については請求項１に、また復号化については請求項６に記載されている。この符号化方法を利用する装置は請求項１０に記載されている。上記の復号化方法を利用する装置は請求項１１に記載されている。これは、受信信号をプログレッシブかまたはインタレースの時間解像度レベルの異なるビデオシーケンスに、またさまざまなレベルの空間解像度に変換することができる。
【０００５】
本発明によれば、インタレースデジタルビデオデータはつぎのように処理される。すなわちここでは、空間的、時間的および品質、ＳＮＲについての品質上のスケーラビリティがサポートされるように処理されるのであり、すなわち十分な分解操作および空間時間フィルタリングによって、スケーラブルな空間的および／または時間的なサブレゾリューションシーケンスが生成されるのである。
【０００６】
これはインタレースソースビデオ素材を２つのレイヤ、すなわち基本レイヤ（ＢＬ base layer）と拡張レイヤ（ＥＬ enhancement layer）とに分けるまたは分解することによって達成される。ＢＬには、プログレッシブモードにおける入力ビデオソースのフルにスケーラブルな記述が含まれ、ここでスケーラビリティは空間解像度、時間解像度および品質についてのスケーラビリティである。ＥＬとＢＬとを組み合わせた場合、ＥＬにより、オリジナルのインタレースビデオ素材を低コストでスケーラブルに再構成することができる。これにはオリジナルの空間解像度、時間解像度およびＳＮＲ品質の達成が含まれる。
【０００７】
上記の分解は、インタレースビデオシーケンスの１つおきのフィールドを同じレイヤに関連づけることによって達成可能であり、例えば、１レイヤが偶数フィールドを処理し、別のレイヤが奇数フィールドを処理するのである。有利にも、ＥＬ処理の一部に対してＢＬからの動き推定（ＭＥ motion estimation）ベクトルを使用することにより、計算能力を節約することができる。インタレースビデオシーケンスは５つの成分に分解され、これらは２つのレイヤＢＬおよびＥＬに属する。本発明による受信器は、空間時間解像度およびＳＮＲが異なるさまざまな品質レベルのビデオシーケンスにこれらの成分を結合することができる。
【０００８】
本発明の有利な実施形態は、従属請求項、以下の説明、および図に示されている。
【０００９】
図の簡単な説明
本発明の例示的な実施形態を、添付の図面に関連して説明する。ここで、
図１は、本発明にしたがってスケーラブル符号化を行うビデオコーダの構造を示しており、
図２は、本発明によるスケーラブルビデオデコーダの構造を示している。
【００１０】
本発明の詳細な説明
図１は、本発明によるビデオコーダの構造を示している。入力信号Ｉは、２αＨｚの時間解像度、すなわち秒当たり２α個のフィールドまたは秒当たりα個のフレームと、２Ｍ×２Ｎの空間解像度、すなわちそれぞれ２Ｍ個のピクセルを有する２Ｎ行のフレームまたはそれぞれ２Ｍ個のピクセルを有するＮ行のフィールドとを有するインタレースビデオシーケンスである。分解ブロックＳＰは、このシーケンスを分配して、フィールドが交互に第１分岐または第２分岐に渡されるようにする。第１分岐は、ＢＬ情報とＥＬ情報を生成するが、ここではＢＬ分岐と称される。別の１つの分岐はＥＬ情報だけを形成し、ここではＥＬ分岐と称される。各分岐は秒当たりαフレームの時間解像度と、２Ｍ×Ｎピクセルの空間解像度を有するビデオシーケンスを受け取る。例えば、ＢＬシーケンスＦ１は、偶数フィールドを含み、ＥＬシーケンスは奇数フィールドを含む。一般的には分解ブロックＳＰは任意の分解変換を行って、単一のソース表現から２つの表現を形成する。これはまた、さらに高度な処理、例えばロー／ハイフィルタリングのためにさまざまなフィルタもを利用する。
【００１１】
ＢＬ分岐はｘ軸に沿って、すなわち行内でＦ１シーケンスに空間フィルタリングＳＦ１を行い、Ｆ１の比較的周波数の低い部分からＭ×Ｎピクセルの空間解像度を有するビデオシーケンスＬを生成し、Ｆ１の比較的周波数の高い部分から空間解像度拡張信号Ｈを生成する。簡単な例ではこのフィルタリングは、ローパスフィルタＬＰｒｏｗおよびハイパスフィルタＨＰｒｏｗによって行うことができ、これらは共に例えばファクタ２の水平サブサンプリングを行う。別のファクタが有利な場合もある。低解像度シーケンスＬは、空間時間フィルタＳＴＦに入力され、また動き推定（ＭＥ Motion Estimating）ブロックＭＥ１に入力される。空間時間フィルタＳＴＦは、３Ｄウェーブレット変換または２Ｄ＋ｔウェーブレット変換とも称される動き補償時間変換を行う。これは例えば、長さ２のＨａａｒ変換フィルタ、または長さ９および７または長さ５および３のDaubechiesフィルタとして実現することができる。ＭＥブロックＭＥ１は動きベクトルＭＶ１を生成し、これは３つの目的に使用される。すなわち、第１にこれらの動きベクトルは空間時間フィルタリング処理を最適化するために使用される。第２にこれは受信器に伝送され、例えば逆フィルタリング７処理に使用される。また第３にこれらはコーダのＥＬ分岐に使用される。
【００１２】
空間時間フィルタＳＴＦの出力信号Ｐは伝送され、受信器によって動きベクトルＭＶ１と組み合わされて、例えばＭ×Ｎピクセル、αＨｚのプログレッシブモードビデオシーケンスを再生することができる。有利にも上に述べた実現を使用する場合、空間時間フィルタを設計して、このプログレッシブシーケンスが時間解像度について、またｘおよびｙの両方向の空間解像度についてスケーラブルであるようにすることも可能である。このフィルタは、ターゲットフレームレートまたはフォーマットに応じて、複数のフィルタリングレベルを有することができるため、例えば、Ｍ′×Ｎ′の空間解像度および／またはθαＨｚの時間解像度を達成することができる。ただしここでＭ′およびＮ′はそれぞれ[０，Ｍ]および[０，Ｎ]の範囲にあり、θ∈Ｑ０１であり、Ｑ０１は[０，１]の範囲にある有理数である。このフィルタリングによって、相異なる空間時間周波数が得られ、その適合のさせ方によって、例えば、データストリーム内での編成によって、基本レイヤを完全にスケーラブルすることができる。このブロックＳＴＦの出力Ｐは、解像度Ｍ′×Ｎ′のプログレッシブシーケンスであり、これはオリジナルの２Ｍ×２Ｍフォーマットのサブレゾリューションであり、また本発明のシステムが生成する最も低い空間および時間解像度レベルを表す。
【００１３】
ｘ軸に沿った高周波数フィールドを含む空間解像度エンハンスメント信号Ｈは、拡張レイヤＥＬに属しており、また高性能受信器によって使用されて、ｘ軸方向に空間解像度がより高い、オリジナルの解像度までのフレームを再構成することができる。
【００１４】
ＥＬ分岐により、Ｆ２シーケンスに対して動き補償時間フィルタリング（ＭＣＴＦ Motion Compensated Temporal Filtering）が行われる。これは動きベクトル（ＭＶ Motion Vector）を使用して、１つの画像におけるオブジェクトの位置が別の画像に対して移動している場合に伝送するデータの量を最小化する。ＭＶの相異なる２つの集合を使用することができる。すなわち、オリジナルのインタレースシーケンスから生成されるＭＶか、奇数または偶数の同じパリティのフィールドを比較することよって生成されるＭＶかのいずれかを使用することができる。有利にも、後者の場合にＢＬ分岐のＭＥ１ブロックで生成されるＭＶ１ベクトルを使用可能である。それは、例えば連続する２つの偶数フィールド間の動きは、相応する２つの奇数フィールド間の動きに極めて類似しており、またこの逆が成り立つことが多いからである。４つのフィールドのシーケンス内で動きが変化することがなおあり得るため、第２の動き推定ブロックＭＥ２においてインタレースシーケンスＩから生成されるより良好な動きベクトルＭＶ２を使用することが有利なこともある。このため決定ブロックがＥＬ分岐に組み込まれており、これによってＭＶのいずれの集合をＭＣＴＦに対して使用するかが決定され。この決定情報を伝送することも有利である。
【００１５】
動き補償時間フィルタリング（ＭＣＴＦ）により、フィルタリングされたＦ２フィールドＦＦ２、すなわちオリジナルのＦ２フィールドよりもコストの低いＦ２フィールドを生成することができる。これらのフィルタリングされたフィールドＦＦ２は、入力Ｆ２フィールドと同じ空間および時間解像度を有する。コストの低減は、上記の動きベクトルを使用することによって達成される。それは伝送データ量が低減されるからである。動き推定および動き補償は、パリティとは無関係にフィールドにわたって行うことができ、これによってフィールド内およびフィールド間の相関が取り込まれる。さまざまな予測モード（後方、前方または双方向）ならびに多重基準フィールドアルゴリズム（multiple reference fields algorithm）を使用可能である。ＭＶ符号化コストおよび推定の複雑度を低減するため、目標とされる要求に応じて、基本レイヤからの動き情報を事前または事後に使用することができる。
【００１６】
本発明の１実施形態では、動き補償時間フィルタリングＭＣＴＦによって、上記のインタレースビデオ信号Ｉまたは第１動き推定ＭＥ１の結果も使用する、
伝送に対して有利であるのは、結果的に得られる複数のストリームを１ビットストリームに多重化することである。ここで示した符号化方法により、インタレースされたオリジナルのビデオシーケンスは２つのレイヤ、ＢＬおよびＥＬに分解される。これによって、結果的に得られるビットストリームは、コーダ側でもデコーダ側でも共にさまざまな空間および時間解像度レベルをサポートすることができる。上記のＥＬは複数のレイヤとしてみなすことも可能である。それはこれが複数の解像度のレベルを含むからである。
【００１７】
本発明の１実施形態では、上記の第１基本レイヤ信号Ｐ、第１サブシーケンスＦ１から生成される動きベクトルＭＶ１、第１サブシーケンスＦ１から生成される比較的周波数の高いストリームＨ、インタレースシーケンスＩから生成される動きベクトルＭＶ２、動き補償時間フィルタリングＭＣＴＦから得られる拡張レイヤ信号ＦＦ２のうちの少なくともいくつかを伝送する。
【００１８】
具体例として、入力ビデオシーケンスＩが、α＝３０ないしは２αＨｚが６０Ｈｚである標準定義（ＳＤ）ビデオ、Ｆ１が例えば偶数フィールドを、またＦ２が例えば奇数フィールドを表し、ＬＰｒｏｗによって２：１のサブサンプリングが行われ、Ｌが３０Ｈｚにおける共通イメージフォーマット（ＣＩＦ Common Image Format）シーケンスであり、ＳＴＦが１レベルの空間時間フィルタとすると、Ｐは１５ＨｚのＣＩＦシーケンスである。
【００１９】
デコーダ側では目的とするアプリケーションに応じて、すなわち、プログレッシブかまたはインタレースモードにおいて復号化のロスがないかまたはあるかに応じて、複数のシナリオを考慮しなければならない。図２は例示的な高性能デコーダを示しており、これは、技術的な要求またはユーザの要求によって選択可能な複数の品質レベルを生成することができる。デコーダモードは、品質セレクタＱＳ（quality selector）によって選択可能である。これは、例えば、送信器またはコンテンツプロバイダ、ないしは受信器の技術的な性能、またはユーザの好みによって制御可能である。さまざまなモードの例は、ロスのの有無、異なるフィールドレート、異なる空間解像度などである。復号化処理は、選択された復号品質に依存する。
【００２０】
デコーダ側から見て最も簡単なモードは、ロスのないプログレッシブモードである。この場合、プログレッシブシーケンスＰと動きベクトルＭＶ１とを含む基本レイヤ信号ＢＬだけを完全に復号化するだけでよい。復号化は空間時間合成ＳＴＳ（spatio-temporal systhesis）を使用して行われる。このようにして、再構成されるビデオシーケンスＶ１は、フルの空間時間解像度、すなわち、Ｍ×Ｎピクセルの空間解像度およびαＨｚの時間解像度を有するのである。
【００２１】
別のモードは、ロスがあるプログレッシブなモードである。つまり、再構成されるビデオシーケンスＶ２の空間時間解像度は、ロスのないプログレッシブモードＶ１で達成される解像度のサブレゾリューションである。復号化に対して空間時間合成ＳＴＳを使用することによって可能になるのは、任意のＭ′×Ｎ′、θ′αＨｚのプログレッシブシーケンスを再構成することであり、ここでＭ′およびＮ′はそれぞれ]０，Ｍ]および]０，Ｎ]の範囲にあり、θ′は]０，１]の範囲にある。ここでも基本レイヤだけを復号化すればよい。
【００２２】
フルのオリジナルのインタレースビデオ素材を再構成する場合には、すなわち、情報のロスなしに再構成したい場合、ロスのないインタレースモードが必要である。つまり、基本レイヤＢＬ全体および拡張レイヤＥＬの両方を完全に復号化しなければならないのである。コーダについて述べたように、ＥＬ信号は、Ｆ１フィールドのｘ方向における比較的高い周波数に関連する付加的なデータＨと、入力インタレースシーケンスから生成される動きベクトルＭＶ２と、Ｆ２フィールドに関連する情報ＦＦ２とを含む。適切な復号化のためには、すべてのコーダ操作を逆に実行しなければならない。逆フィルタリングは、ふつう合成（synthesis）と称される。ここでは空間合成ＳＳ（spatial synthesis）である相応の逆フィルタリングが上記の付加的なデータＨおよび再構成されたＢＬ信号Ｖ１に適用される場合、この逆フィルタリングによってビデオシーケンスＶ３が形成される。これは、解像度２Ｍ×ＮおよびαＨｚのコーダ側におけるオリジナルのＦ１シーケンスに相応する。同じ解像度を有する、コーダ側からのオリジナルのＦ２シーケンスは、逆動き補償時間フィルタＩＭＣＴＦ（inverse motion compensated temporal filter）を使用することにより、別のＥＬ信号ＦＦ２およびＭＶ２から合成することができる。つぎにＦ１フィールドは、逆分解操作ＩＳＰ（inverse splitting operation）によってＦ２フィールドとマージされ、フルの２Ｍ×２Ｎの空間時間解像度および２αＨｚないしは秒当たりα個のインタレースフレームを有する完全なインタレースビデオシーケンスＶ４が再構成される。
【００２３】
別の可能性として、ロスのあるインタレースモードを使用することができる。すなわち、再構成される空間時間解像は、フルの解像度のサブレゾリューションである。上でロスのあるプログレッシブモードに対して示したように、復号化により、任意のＭ′×Ｎ′、θαＨｚのインタレースシーケンスを再構成することができる。このロスのあるケースが意味するのは、基本レイヤまたは拡張レイヤ、またはこれらの両方が完全には復号化されないことである。これは空間時間合成ＳＴＳによって行うことができ、さらなる処理のためにＶ１の代わりにＶ２を使用することができる。これはまた空間合成ＳＳまたは逆動き補償時間フィルタリングIMCTFによって行うことも可能である。
【００２４】
本発明の別の実施形態では、コーダにおける空間時間フィルタＳＴＦを単純化して、Ｆ１シーケンスを直接伝送することができる。この場合、受信器において空間時間合成ＳＴＳを取り消すことも可能である。
【００２５】
有利にも本発明の方法により、インタレースビデオを含めたスケーラブルビデオを生成することができ、ここでこれスケーラブルビデオは、高解像度インタレースモードのＴＶおよび低解像度プログレッシブモードのモバイル装置に使用可能な同じビットストリームを有する。このビットストリームは完全に埋め込まれているため、送信器側でも受信器側でも共に所望のすべての空間的または時間的なサブレゾリューションを抽出することができる。
【００２６】
本発明の方法は、すべてのビデオアプリケーション、有利にはすべてのＭＰＥＧ準拠システムに使用可能である。
【図面の簡単な説明】
【００２７】
【図１】本発明にしたがってスケーラブル符号化を行うビデオコーダの構造を示す図である。
【図２】本発明によるスケーラブルビデオデコーダの構造を示す図である。
【図１】
2006521727.tif 000003
【図２】
2006521727.tif 000004
【手続補正書】
【提出日】平成16年10月8日(2004.10.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータの基本的な再構成のための基本レイヤと、当該の基本レイヤ再構成を拡張する１つまたはそれ以上の拡張レイヤとを生成する、デジタルビデオデータのインタレースシーケンスを符号化する方法において、
−  前記のインタレースシーケンス（Ｉ）を２つのサブシーケンス（Ｆ１，Ｆ２）に分割する（ＳＰ）ステップと、
−  当該の第１サブシーケンス（Ｆ１）を空間的にフィルタリング（ＳＦ１）して、比較的周波数の低いストリーム（Ｌ）と、比較的周波数の高いストリーム（Ｈ）とを生成するステップと、
−  当該の比較的周波数の低いストリーム（Ｌ）を空間時間的にフィルタリング（ＳＴＦ）して、第１解像度のプログレッシブモードにおけるビデオシーケンスを再構成するための第１基本レイヤ信号（Ｐ）を生成するステップと、
−  前記の比較的周波数の低いストリーム（Ｌ）に第１動き推定（ＭＥ１）を行って、得られた動きベクトル（ＭＶ１）と、前記の第１基本レイヤ信号（Ｐ）とから、第２解像度のプログレッシブモードにおけるビデオシーケンスを再構成するための第２基本レイヤ信号（ＢＬ）を形成するステップと、
−  前記の第２サブシーケンス（Ｆ２）を動き補償時間フィルタリング（ＭＣＴＦ）して、拡張レイヤ信号（ＦＦ２）得るステップとを有することを特徴とする、
デジタルビデオデータのインタレースシーケンスを符号化する方法。
【請求項２】
前記空間時間フィルタリング（ＳＴＦ）によって、時間的または空間的な次元または両方の次元における前記ビデオ解像度を変更する、
請求項１に記載の方法。
【請求項３】
前記のインタレースビデオシーケンス（Ｉ）に第２動き推定（ＭＥ２）を行って、第２動きベクトル（ＭＶ２）を生成するステップを有する、
請求項１または２に記載の方法。
【請求項４】
前記の動き補償デジタルフィルタリング（ＭＣＴＦ）によって、前記のインタレースビデオシーケンス（Ｉ）および／または第１動き推定（ＭＥ１）の結果も使用する、
請求項１から３までのいずれか１項に記載の方法。
【請求項５】
以下のサブシーケンスのうちの少なくともいくつかを伝送する、すなわち、
前記第１基本レイヤ信号（Ｐ）、
前記の第１サブシーケンス（Ｆ１）から生成される動きベクトル（ＭＶ１）、
前記の第１サブシーケンス（Ｆ１）から生成される比較的周波数の高いストリーム（Ｈ）、
前記のインタレースシーケンス（Ｉ）から生成される動きベクトル（ＭＶ２）、
前記の動き補償時間フィルタリング（ＭＣＴＦ）から得られる拡張レイヤ信号（ＦＦ２）のうちの少なくともいくつかを伝送する、
請求項１から４までのいずれか１項に記載の方法。
【請求項６】
個々のサブストリームが基本レイヤ（ＢＬ）または拡張レイヤ（ＥＬ）のいずれかに関連づけられている、ビデオデータのインタレースシーケンスを表す１ビットストリームの複数のサブストリームを復号化する方法において、
−  前記ビットストリームから、基本レイヤ（ＢＬ）に関連づけられているサブストリーム（Ｐ，ＭＶ１）を抽出するステップと、
−  前記サブストリーム（Ｐ，ＭＶ１）に空間時間合成（ＳＴＳ）を行って、プログレッシブモードビデオシーケンス（Ｖ１）を生成するステップと、
−  送信器またはコンテンツプロバイダからの制御信号、受信器側の技術的な性能および／またはユーザの好みを評価して、基本復号化品質または拡張復号化品質のいずれかである復号化品質を選択または決定（ＱＳ）するステップと、
−  拡張復号化品質の選択に基づいて、前記プログレッシブモードビデオシーケンス（Ｖ１）と、拡張レイヤ（ＥＬ）に関連づけられたサブストリーム（Ｈ）とに空間合成（ＳＳ）を行い、当該空間合成（ＳＳ）によって拡張プログレッシブモードビデオシーケンス（Ｖ３）を生成するステップとを有することを特徴とする、
ビデオデータのインタレースシーケンスを表す１ビットストリームの複数のサブストリームを復号化する方法。
【請求項７】
さらに
−  前記の拡張プログレッシブモードビデオシーケンス（Ｖ３）と、前記拡張レイヤ（ＥＬ）に関連づけられた１つまたはそれ以上のサブストリーム（ＭＶ２，ＦＦ２）とに逆動き補償時間フィルタリング（IMCTF）を行うステップと、
−  当該の逆動き補償空間フィルタリングの出力および拡張プログレッシブモードビデオシーケンス（Ｖ３）に逆分解（ＩＳＰ）を行って、拡張された空間時間解像度またはフルの空間時間解像度のインタレースビデオシーケンス（Ｖ４）を生成するステップとを有する、
請求項６に記載の方法。
【請求項８】
前記の基本レイヤ（ＢＬ）に関連づけられたサブストリームへの空間時間合成（ＳＴＳ）によって、プログレッシブモードビデオシーケンス（Ｖ２）のスケーリング表現、空間的な次元、時間的な次元または両方の次元についてのスケーリングを形成する、
請求項６または７に記載の方法。
【請求項９】
基本レイヤおよび１つまたはそれ以上の拡張レイヤが生成される、デジタルビデオデータのインタレースシーケンスを符号化する装置において、
−  前記のインタレースシーケンス（Ｉ）を２つのサブシーケンス（Ｆ１，Ｆ２）に分解する分解ブロック（ＳＰ）と、
−  当該第１サブシーケンス（Ｆ１）を比較的周波数の低いストリーム（Ｌ）と、比較的周波数の高いストリーム（Ｈ）とに分解する空間フィルタ（ＳＦ１）と、
−  当該の比較的周波数の低いストリーム（Ｌ）を処理する空間時間フィルタ（ＳＴＦ）と、
−  前記の比較的周波数の低いストリーム（Ｌ）を処理する第１動き推定ブロック（ＭＥ１）と、
−  前記の第２サブシーケンス（Ｆ２）を処理して拡張レイヤ信号（ＦＦ２）を得るための動き補償時間フィルタ（ＭＣＴＦ）とを有しており、
前記空間時間フィルタ（ＳＴＦ）では、第１解像度のプログレッシブモードにおけるビデオシーケンスを再構成するための第１基本レイヤ信号（Ｐ）が生成され、
前記第１動き推定ブロック（ＭＥ１）にて結果的に得られる動きベクトル（ＭＶ１）と、前記第１基本レイヤ信号（Ｐ）とによって、第２解像度のプログレッシブモードにおけるビデオシーケンスを再構成するための第２基本レイヤ信号（ＢＬ）が形成されることを特徴とする、
デジタルビデオデータのインタレースシーケンスを符号化する装置。
【請求項１０】
個々のサブストリームが基本レイヤ（ＢＬ）または拡張レイヤ（ＥＬ）のいずれかに関連づけられている、ビデオデータのインタレースシーケンスを表す１ビットストリームの複数のサブストリームを復号化する装置において、
−  前記の基本レイヤに関連づけられているサブストリーム（Ｐ，ＭＶ１）から、第１解像度のプログレッシブモードビデオシーケンス（Ｖ１）を生成するための空間時間合成ブロック（ＳＴＳ）と、
−  基本復号化品質または拡張復号化品質のいずれかである復号化品質を選択または決定するための品質選択ブロック（ＱＳ）と、
−  当該品質選択ブロック（ＱＳ）における拡張符号化品質の選択に応じて、前記のプログレッシブモードビデオシーケンス（Ｖ１）および拡張レイヤ（ＥＬ）に関連づけられたサブストリーム（Ｈ）を処理する空間合成ブロック（ＳＳ）とを有しており、
前記品質選択ブロック（ＱＳ）では、送信器またはコンテンツプロバイダからの制御信号、受信器側の技術的な性能および／またはユーザの好みが評価され、
前記空間合成ブロック（ＳＳ）では拡張プログレッシブモードビデオシーケンス（Ｖ３）が生成されることを特徴とする、
ビデオデータのインタレースシーケンスを表す１ビットストリームの複数のサブストリームを復号化する装置。
【請求項１１】
さらに、
−  前記の拡張プログレッシブモードビデオシーケンス（Ｖ３）および前記の拡張レイヤ（ＥＬ）に関連づけられている１つまたはそれ以上のサブストリーム（ＭＶ２，ＦＦ２）を処理するための逆動き補償時間フィルタリングブロック（IMCTF）と、
−  当該の逆動き補償時間フィルタリングブロック（IMCTF）の出力および前記の拡張プログレッシブモードビデオシーケンス（Ｖ３）を処理して、拡張された空間時間解像度またはフルの空間時間解像度のインタレースビデオシーケンス（Ｖ４）を生成する逆分解ブック（ＩＳＰ）とを含む、
請求項１０に記載の装置。
【国際調査報告】
2006521727.tif 000005
2006521727.tif 000006
2006521727.tif 000007