(57)【要約】スケーラブルなシステム用に特に企図された復号器のかわりに各レイヤで汎用復号器（例えば、MPEG-2/4/AVC）を用いることによってスケーラビリティが柔軟で、かつ費用対効果の高いものになるようにする異種レイヤ・ビデオ復号化システム及び関連した方法を開示している。一実施例では、パラメータ・リストとして実施された更なる信号情報（２２０）が伝送ストリーム（２５０）とともに伝送される。パラメータ・リストは、特定のレイヤを復号化することとする方法をレイヤ（BS、ES）毎に別個に規定している。このようにして、複雑度と効率性とのトレードオフが達成される。例えば、ベース・レイヤ（BS）は高度なベース・レイヤAVCコデックを用い得るものである一方、1つ又は複数のエンハンスメント・レイヤ（ES）は、完全なAVCコデックに対して複雑度は半分であるが、効率性はわずかに低いMPEG-2コデックを用い得る。
2007513565.tif 000002
【特許請求の範囲】
【請求項１】
異種レイヤ・ビデオ・サポートを備える方法であって、
少なくとも２つのレイヤを復号器で合成することとする方法を規定する信号情報を構成する工程と、
前記信号情報を前記少なくとも２つのレイヤとともに伝送ストリームにおいて前記復号器に伝送する工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記伝送ストリームがMPEG-2伝送ストリームであることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記信号情報が複数のパラメータ・リストとして構成されることを特徴とする方法。
【請求項４】
請求項３記載の方法であって、前記複数のパラメータ・リストのそれぞれが前記伝送ストリームの一意のサービス品質を規定することを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記信号情報がパラメータ・リストとして構成されることを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記パラメータ・リストが複数のパラメータ値を備えることを特徴とする方法。
【請求項７】
請求項６記載の方法であって、前記パラメータ値は、前記少なくとも２つのレイヤのそれぞれについて信号情報を規定することを特徴とする方法。
【請求項８】
請求項６記載の方法であって、前記パラメータ値のうちの１つが、相当するレイヤについてDC補償を規定することを特徴とする方法。
【請求項９】
請求項８記載の方法であって、前記パラメータ値のうちの少なくとも２つが、相当するレイヤについて、該相当するレイヤを参照レイヤと合成するのに必要なフィルタリング処理のための水平FIR係数を規定することを特徴とする方法。
【請求項１０】
請求項８記載の方法であって、前記パラメータ値のうちの少なくとも２つが、相当するレイヤについて、該相当するレイヤを参照レイヤと合成するのに必要なフィルタリング処理のための垂直FIR係数を規定することを特徴とする方法。
【請求項１１】
請求項６記載の方法であって、前記パラメータ値のうちの１つが、相当するレイヤについてビデオ・ストリーム符号化タイプを規定することを特徴とする方法。
【請求項１２】
請求項６記載の方法であって、前記パラメータ値のうちの２つの比が、相当するレイヤについて水平スケーリング係数を規定することを特徴とする方法。
【請求項１３】
請求項６記載の方法であって、前記パラメータ値のうちの２つの比が、相当するレイヤについて垂直スケーリング係数を規定することを特徴とする方法。
【請求項１４】
請求項６記載の方法であって、前記パラメータのうちの１つが、現在のレイヤと合成する対象の前記参照レイヤの識別子を規定することを特徴とする方法。
【請求項１５】
請求項６記載の方法であって、前記パラメータのうちの１つが、前記現在のレイヤが前記参照レイヤと合成される方法を規定することを特徴とする方法。
【請求項１６】
請求項１５記載の方法であって、前記現在のレイヤは、並列と直列との一方で前記参照レイヤと合成されることを特徴とする方法。
【請求項１７】
請求項６記載の方法であって、前記パラメータのうちの１つは、相当するレイヤが、インタレース・ビデオ・ストリームとプログレシブ・ビデオ・ストリームとの一方を備えるか否かを規定することを特徴とする方法。
【請求項１８】
請求項１記載の方法であって、前記信号情報がMPEGシステム記述子によって埋め込まれていることを特徴とする方法。
【請求項１９】
異種レイヤ・ビデオ・サポートを備える方法であって、
少なくとも２つのレイヤを復号器で合成することとする方法を規定する信号情報を構成する工程と、
前記信号情報を前記少なくとも２つのレイヤとともに番組ストリームにおいて前記復号器に伝送する工程とを備えることを特徴とする方法。
【請求項２０】
請求項１９記載の方法であって、前記番組ストリームがMPEG-2番組ストリームであることを特徴とする方法。
【請求項２１】
異種レイヤ・ビデオ・サポートを備える方法であって、
少なくとも２つのレイヤを復号器で合成することとする方法を規定する信号情報を構成する工程と、
前記少なくとも２つのレイヤを、MPEG-2伝送ストリームと、MPEG-2番組ストリームと、インターネット・プロトコル・ストリームとのうちの少なくとも１つによって前記復号器に伝送する工程と、
前記信号情報を、MPEG-2伝送ストリームと、MPEG-2番組ストリームと、インターネット・プロトコル・ストリームとのうちの少なくとも１つによって前記復号器に伝送する工程とを備えることを特徴とする方法。
【請求項２２】
異種レイヤ・ビデオ・サポートを備える方法であって、
少なくとも２つのレイヤを復号器で合成することとする方法を規定する信号情報を構成する工程と、
前記少なくとも２つのレイヤをレイヤ毎に伝送セッションにおいてリアルタイム伝送プロトコルを用いてインターネット・プロトコルによって伝送する工程と、
前記信号情報を前記伝送セッションのコンテキスト内で伝送する工程とを備えることを特徴とする方法。
【請求項２３】
請求項22記載の方法であって、前記信号情報が前記セッション内で、バンド内で伝送されることを特徴とする方法。
【請求項２４】
請求項22記載の方法であって、前記信号情報が前記セッション内で、バンド外で伝送されることを特徴とする方法。
【請求項２５】
請求項22記載の方法であって、前記信号情報がセッション記述プロトコルを用いて伝送されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、スケーラブル・ビデオ符号化システムに関し、特に、ビデオ符号化/復号化形式をレイヤ毎に独立して選択することを可能にする、柔軟で、かつ費用対効果の高い異種レイヤ・ビデオ復号化手法に関する。
【背景技術】
【０００２】
近年、ハード・ディスクや光ディスク（例えば、DVD＋RW）などの種々の媒体上でのディジタル・ビデオ記憶が取り入れられている。消費者の観点からは、記録時間の量は、固定されるか少なくとも保証されるべきである。現行の圧縮手法では、このことは量子化パラメータを制御することによって達成される。しかし、１つの欠点として、ピクチャにアーチファクトがない状態に必要なビットレートは入力系列によって変わってくるということがある。例えば、選択された（平均の）ビットレートが入力系列に対して低すぎる場合、それによって、適切なメトリックを用いて示すことができるようにブロッキングのような符号化アーチファクトが生じることになる。こうしたアーチファクトは、低い分解能で系列が圧縮された場合には起こるのを防止することができたであろう。これは、MPEGのような現行の標準では可能であるが、静的な系列のみに限定され、急峻な離散的ステップ（SDTV,  1/2D1、  CIF）単位である。分解能におけるそうした急峻な変動は、視聴者にとって極めて不快なものである。
【０００３】
記憶アプリケーションは別として、アーチファクトが生じるという問題は、例えば、IEEE802.1bを用いた、無線ビデオ接続においてもみられる。無線ビデオ接続では、利用可能なビットレートは、完全なSDTV分解能を搬送するうえで常に十分な訳でない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
よって、ビデオ分解能圧縮を動的に適応させることを可能にし、それによってMPEGのような既存の圧縮標準を構築ブロックとして利用できる方法が必要である。
【課題を解決するための手段】
【０００５】
本発明は、汎用MPEG-2/4/AVC復号器のみを用いてMPEG-2/4/AVC準拠システムを復号化する異種レイヤ・ビデオ復号化システム及び関連した方法を備えることによって前述の必要性に対処するものである。一実施例では、このことは、特定のレイヤを復号化することとする方法をレイヤ毎に独立して規定する、MEPG-2/4/AVC準拠ストリームとともに伝送する対象のパラメータ・リストを利用することによって達成される。パラメータ・リストは、(1)特定のレイヤをアップスケーリングするか、ダウンスケーリングするか、何らスケーリングしないかということと、（２）DC圧縮をレイヤに施すこととするか否かということと、（３）レイヤを規定するストリーム・タイプ（例えば、MPEG-2/4）と、(4)FIR係数と、(5)サブバンド内の一定の利得とを判定するための値をレイヤ毎に規定し得る。パラメータ値は、好ましくは、復号器がパラメータ値を解釈し、それによって復号化することを可能にするよう、符号化信号とともに多重化される。
【０００６】
一態様では、3つ以上のエンハンスメント・レイヤが存在する場合、広範囲の品質レベルを規定し得る。品質レベル毎に、符号器は別個のパラメータ・リストを送信することができる。例えば、１つのベース・レイヤ及び３つのエンハンスメント・レイヤを備える４レイヤ・ビデオ・ストリームの場合、第１のパラメータ・リストを、ベース・レイヤBSと、エンハンスメント・レイヤES1及びES2の両方との組み合わせを規定するように構成することができる。第２のパラメータ・リストは、ベース・レイヤBSと、第２のエンハンスメント・レイヤ及び第４のエンハンスメント・レイヤとの組み合わせ（BS+ES2+ES4）を規定するよう構成することができる。他の組み合わせも、本明細書を読む人には明らかなはずである。ユーザにとって関心がある組み合わせは全て、パラメータ・リストの構成要素として同時に送信し得る。
【発明を実施するための最良の形態】
【０００７】
本発明の前述の特徴は、添付図面とともに解釈される、本発明の例示的な実施例の以下の詳細な説明を参照することによってより容易に明らかになり、理解することができる。
【０００８】
以下の詳細な説明は多くの具体的内容を例証の目的で備えるが、以下の記載に対する多くの変形及び改変が本発明の範囲内にあるということを当業者は分かるであろう。よって、本発明の以下の好ましい実施例を、本特許請求の範囲記載発明の汎用性を失うことなく、かつ、本特許請求の範囲記載発明に制約を課すことなく表す。
【０００９】
本発明は、従来技術のシステムに対するいくつかの特定の利点を備える。特に、本発明のシステム及び方法は、スケーラブルなシステム用に特に企図された復号器のかわりに各レイヤで汎用MPEG-2/4/AVC復号器を用いることによってスケーラビリティが柔軟で、かつ費用対効果の高いものになるようにするものである。本発明の更なる利点は、本発明が複雑度と効率性とのトレードオフを可能にすることである。例えば、ベース・レイヤは高度なベース・レイヤAVCコデックを用い得るものである一方、1つ又は複数のエンハンスメント・レイヤは、完全なAVCコデックに対して複雑度は半分であるが、効率性はわずかに低いMPEG-2コデックを用い得る。更なる別の利点は、本発明のシステム及び方法によって、１つの標準から別のものへのシームレスな移行が可能になるということである。すなわち、現在、放送局の大半は、MEPG圧縮標準を用いて放送している。新たな圧縮標準が出てくるにつれ、同じ信号品質をより低いビットレートで達成することができる。本発明によって、ベース・レイヤを、MPEG圧縮標準を用いて送信することが可能になり、機器の更新が実現されるにつれ、エンハンスメント・レイヤを、新たな圧縮標準を用いて送信することができる。本発明のシステムはユーザによって定義される何れかのサービス品質（QOS）構成に適合させることができるので移行は徐々に生じ得る。
【００１０】
異種レイヤ・ビデオ・サポートを備えるということの更なる利点は、ユーザが当初、例えば、セットトップ・ボックス内のベース・レイヤにおけるビデオ・ストリームのみを復号化する場合において示す。特定の後の時点で、ユーザが又、インターネットをオーバレイとして用いたいこととする。すなわち、ベース・レイヤでのビデオ符号化のサポートに加えて、ベース・レイヤでのビデオ・ストリームの復号化は、エンハンスメント・レイヤで低いサービス品質（QoS）を利用するだけで完全にサポートされた状態に留まる。別の利点として、完全な品質の高度な（複雑な）コデックと比較した、汎用MEPG-2/4/AVC復号器を用いる場合に実現し得る費用削減がある。更なる利点は、バッテリで動作するポータブル機器又はモバイル機器の低電力の（ベース・レイヤのみの）復号化と、ビットの伝送に関するサービス品質（QoS）と、DSPのサイクル・バジェットに対するサービス品質がある。
【００１１】
一般的なスケーラブル符号化（空間スケーラビリティ）をまず、簡単に検討する。多くのアプリケーションでは、種々の分解能及び/又は品質でビデオを送信し、受信する機能が望まれている。このことを達成するための１つの方法は、スケーラブル符号化又はレイヤ符号化によるものであり、これは、ビデオを、独立したベース・レイヤと、1つ又は複数の従属エンハンスメント・レイヤに符号化する処理である。これによって、一部の復号器がベース・レイヤを復号化してベース・ビデオを受信し、他の復号器が、ベース・レイヤに加えてエンハンスメント・レイヤを復号化して、高い時間分解能、空間分解能、及び/又はビデオ品質を達成することが可能になる。
【実施例】
【００１２】
スケーラビリティの概括的な概念は、２つのレイヤを備えたコデックについて図１に示す。なお、更なるレイヤを用いることが可能である。スケーラブル符号器１００は、２つの入力系列を得て、多重化装置１４０で多重化するための２つのビット・ストリームを生成する。特に、入力ベース・ビデオ・ストリーム又は入力ベース・ビデオ・レイヤを、ベース・レイヤ符号器１１０で処理し、中間プロセッサ１２０でアップサンプリングして、エンハンスメント・レイヤ符号器１３０での入力エンハンスメント・ビデオ・ストリーム
入力エンハンスメント・ビデオ・レイヤの予測符号化のための参照画像を供給する。
【００１３】
なお、ベース・レイヤの符号化及び復号化は、スケーラブルでない単一レイヤの場合と全く同様に動作する。入力エンハンスメント・ビデオに加えて、エンハンスメント・レイヤ符号器は、中間プロセッサによって供給されるベース・レイヤについての情報を用いてエンハンスメント・レイヤを効率的に符号化する。例えば、インターネットなどのコンピュータ・ネットワーク、又は、ケーブル・テレビジョン・ネットワークなどのブロ―ドバンド通信チャネルであり得るチャネルを介した通信の後、ビット・ストリーム全体が逆多重化装置１５０で逆多重化され、スケーラブル復号器１６０は、ベース・レイヤ復号器１７０、プロセッサ１８０、及びエンハンスメント・レイヤ復号器１９０を用いてスケーラブル符号器１００の処理を単に逆にする。
【００１４】
MPEG標準は、階層的に配列されたビット・ストリーム・レイヤの処理を「スケーラビリティ」によって表す。「空間スケーラビリティ」と呼ぶ一形態のMPEGスケーラビリティによって、別々のレイヤ内のデータが、異なるフレーム・サイズ、フレーム・レート及びクロミナンス符号化を有することが可能になる。「時間スケーラビリティ」と呼ぶ別の形態のMPEGスケーラビリティによって、別々のレイヤ内のデータが、異なるフレーム・レートを有することが可能になるが、同一のフレーム・サイズ及びクロミナンス符号化が必要になる。更に、「時間スケーラビリティ」によってエンハンスメント・レイヤが、動きに依存する予測によって形成されるデータを備えることが可能になる一方、「空間スケーラビリティ」の場合、それが可能になるものでない。これらのタイプのスケーラビリティ、及び「SNR（信号対雑音比）スケーラビリティ」と呼ぶ更なるタイプのものは、MPEG標準のsection３において更に規定されている。
【００１５】
図２は、本発明の一実施例による空間スケーラブル・ビデオ符号器２００を示す。図示した符号化システム２００はレイヤ圧縮を達成し、それによって、チャネルの一部分を、低分解能ベース・レイヤ（BS）を備えるうえで用い、残りの部分を、エッジ・エンハンスメント情報（ES）を伝送するうえで用い、それによって、２つの信号を再合成して、システムを高分解能にし得る。高分解能(Hi-Res)ビデオ入力信号は、分離器２０２によって分離され、それによって、デ―タが、一方向に低域通過フィルタ（LPF）及びダウンスケーリング装置２０４まで送られ、別の方向に減算回路２０６まで送られる。低域通過フィルタ及びダウンスケーリング装置２０４はビデオ・データの分解能を低減し、それは、ベース符号器２０８に更に供給される。一般的に、低域通過フィルタ及び符号器は当該技術分野において周知であり、本明細書及び特許請求の範囲では詳細に説明するものでない。ベース符号器２０８は、多重化装置１４０の一入力である低分解能ベース・ストリームBSを生成する。
【００１６】
ベース符号器２０８の出力はシステム２００内の復号器２１２にも供給される。そこから、復号化信号は補間及びアップサンプル回路２１４に供給される。一般的に、補間及びアップサンプル回路２１４は、除去された分解能を復号化ビデオ・ストリームから再構成し、高分解能入力と同じ分解能を有するビデオ・データ・ストリームを供給する。しかし、フィルタリングと、符号化及び復号化から生じる損失との理由で、情報の損失が再構成ストリーム内に存在する。この損失は、減算回路２０６において、再構成高分解能ストリームを、元の非修正高分解能ストリームから減算することによって判定される。減算回路２０６の出力は修正装置２０７に供給される。修正装置２０７は、残差信号を、ビデオ圧縮に用いる通常の入力ビデオ信号と同じ信号レベル範囲を備える信号に変換する。修正装置２０７はDCオフセット値２０９を残差信号に加算する。修正装置２０７は、修正装置の出力が一所定値を下回ることと別の所定値を上回ることとを阻止するクリップ機能も備える。このDCオフセット処理及びクリッピング処理によって、画素値が所定の範囲内、例えば0...255の範囲内にあるエンハンスメント符号器に既存の標準、例えば、MPEGを用いることが可能になる。残差信号は通常、ゼロ付近に集中している。DCオフセット値２０９を加算することによって、サンプルの集中を、範囲の、例えば、8ビットのビデオ・サンプルの場合、128の、中央に移すことができる。なお、スケーラブル・システムに特に企図された復号器のかわりに各レイヤで汎用MPEG-2/4/AVC復号器を用いることを可能にするために、DCオフセット値が、符号化に先行して、かつ復号化に後続して加えられる。
【００１７】
図２を引き続き参照すると、修正装置２０７からの変換残差信号が、エンハンスメント符号器２１６に供給され、エンハンスメント符号器２１６は適度な品質のエンハンスメント・ストリームESを出力し、エンハンスメント・ストリームESは多重化装置２４０の更なる入力を表す。
【００１８】
本発明の主要な特徴が、多重化装置２４０に供給される第３の入力によって表される。第３の入力は、MPEG-2/4/AVC準拠ストリーム250とともに伝送されるパラメータ・リストとして実施される信号情報220を備える。パラメータ・リストは、特定のレイヤを復号化することとする方法をレイヤ毎に独立して規定する。
【００１９】
一実施例では、パラメータ・リスト２２０は、復号器での種々のレイヤ（例えば、BS、ES）を単一の復号化ビット・ストリームに適切に合成する方法について復号器に指示するためのパラメータ値として実施される更なる信号情報を備える。
【００２０】
パラメータ値は、例えば、
（１）各レイヤに施す対象の水平スケーリング係数及び垂直スケーリング係数（例えば、スケールアップ、スケールダウン、スケーリングなし）と、
（２）（該当する場合）各レイヤに施す対象のDC圧縮と、
（３）ストリームのタイプ（例えば、MPEG-2、MPEG-4、AVC等）と、
（４）スケーリングに関連したFIR係数（FIRフィルタを複雑にするほど、スケーリングが完全なものになる。なお、符号器内で用いられた係数を復号器が分かっている場合、良好な結果が達成される。）と、
（５）サブバンド内の一定の利得と、
（６）現在のレイヤと合成する対象の参照レイヤの識別子と、
（７）現在のレイヤを参照レイヤと合成することとする方法と、
（８）相当するレイヤが、インタレース・ビデオ・ストリームと、プログレシブ・ビデオ・ストリームとのうちの一方を備えるか否かということとを規定し得る。
【００２１】
図示するように、パラメータ・リスト２２０（すなわち、信号情報）をレイヤ（BS、ES）毎に符号化信号とともに多重化して、復号器が、パラメータ値を解釈し、それによって、MPEG2/4/AVCストリーム250を復号化することを可能にする。
【００２２】
なお、図２の符号器２００は２レイヤ・システムを示しているが、本発明は、もっと高次の（更なる）エンハンスメント・レイヤに対するより広い適用可能性を有する。
【００２３】
なお、レイヤ化の概念が単純でかつ容易であるという目的を達成するために、いくつかの制約、すなわち、
●各レイヤが同じ時間分解能を有するという点と、
●各レイヤでは同じピクチャ領域が符号化されるが、各レイヤにおける分解能は異なり得るという点とを施す。
【００２４】
更に、異種レイヤ・ビデオ・サポートを備える本発明の方法によれば、少なくとも２つのレイヤ（BS、ES）を、一実施例において、レイヤ毎に伝送セッションにおいてリアルタイム伝送プロトコル（RTP）を用いてインターネット・プロトコルによって伝送し得る。その上、信号情報（２３０）が、伝送セッションのコンテキスト内で、伝送セッション内でバンド内又はバンド外で伝送される。信号情報は、例えば、セッション記述プロトコル（SDP）を用いて伝送することができる。
【００２５】
別の実施例によれば、少なくとも２つのレイヤ（BS、ES）を、MPEG-2伝送ストリームと、MPEG-2番組ストリームと、インターネット・プロトコル（IP）ストリームとのうちの少なくとも１つによって、復号器に伝送し得るものであり、信号情報を、MPEG-2伝送ストリームと、MPEG-2番組ストリームと、インターネット・プロトコル（IP）ストリームとのうちの少なくとも１つによって復号器に同様に伝送し得る。
【００２６】
本明細書及び特許請求の範囲記載の機能を実施するために、MPEG-2標準への修正が必要であるということを提案する。以下に、提案する修正の詳細を説明する。提案する修正の詳細は、（I)MPEG-2標準のストリーム・タイプの割り当てへの修正、及び（II）MPEG-2標準の番組記述子及び番組エレメント記述子への修正として開示する。
【００２７】
I  追加差分ビデオ・ストリーム記述子
差分ビデオ・ストリーム記述子は、関連したストリーム及び加えるDCオフセットの符号化形式を規定する。ITU-T  Rec.  H.  222.0  ISO/IEC  13818-1（すなわち、MPEG-2システム標準の文書番号）のストリームにおいて伝搬させる差分符号化ビデオ・ストリーム毎に、差分ビデオ・ストリーム記述子が、PMT（番組マップ・テーブル）内に、又は、PSM（番組ストリーム・マップ）が番組ストリーム内に存在する場合にPSM内に備えられているはずである。
【００２８】
【表１】
2007513565.tif 000003
表１のフィールドの意味論的な定義
(a)Stream_type-ITU-T  Rec.  H.  222.0  ISO/IEC  13818-1のtable  2-29に規定されているように符号化される関連した差分ビデオ・ストリームの符号化形式を規定する8ビットの正整数。ビデオ・ストリーム以外を示すStream_type値は禁止する。ストリーム・タイプ値0x１Cも禁止する。
【００２９】
(b)DC_offset-ビデオ出力を再構成する場合に復号化信号に対して加えるDCオフセットを規定する16ビットの正整数。
【００３０】
II.  追加：空間レイヤ・ビデオ・ストリーム記述子
空間レイヤ・ビデオ・ストリーム記述子はレイヤ・ビデオ・システム内のビデオ・ストリームについて、2-15に規定されているような、レイヤと、正確な水平再サンプリング係数及び垂直再サンプリング係数と、水平再サンプリング及び垂直再サンプリングに推奨されるフィルタ係数とを規定する。空間レイヤ・ビデオ・ストリーム記述子は、レイヤ・ビデオ・システムにおいて、各ビデオ・ストリームに関連付け、よって、各ベース・ストリーム及び各エンハンスメント・ストリームに関連付ける。ITU-T  Rec.  H.  222.0  ｜ISO/IEC  13818-1ストリームにおいて伝搬させるそうしたストリーム毎に、空間レイヤ・ビデオ・ストリーム記述子を、PMT内に、又はPSMが番組ストリーム内にある場合にPSM内に備える。
【００３１】
【表２】
2007513565.tif 000004
表２のフィールドの意味論的な定義
(a)layer-関連したビデオ・ストリームのレイヤのインデックス番号を規定する4ビットの正整数。
【００３２】
(b)reference_layer-ビデオ・ストリームのレイヤのインデックス番号を、このビデオ・ストリームが再サンプリングされる空間分解能と関連付ける4ビットの正整数。例えば、0の参照レイヤ値は、このビデオ・ストリームが再サンプリングされないということを示す。
【００３３】
(c）referenced＿flag-「1」に設定されている場合、このビデオ・ストリームは、1つ又は複数の他のストリームが再サンプリングされる空間分解能を有するということを示す1ビットのフラグ。
【００３４】
referenced＿flagが「0」に設定されている場合、この記述子は、reference＿layerフィールドによって参照されるビデオ・ストリームの分解能に再サンプリングするためのフィルタ情報を備える。
【００３５】
referenced＿flagが「0」に設定されている場合、先行するreference＿layerフィールドはゼロより大きな値によって符号化される。
【００３６】
referenced＿flagが「１」に設定されている一方で、先行するreference＿layerフィールドがゼロより大きな値によって符号化される場合、この記述子は、reference＿layerフィールドによって参照されるビデオ・ストリームの分解能にこのストリームの空間分解能での中間再サンプル結果を再サンプリングするためのフィルタ情報を備える。
【００３７】
(d)up_horizontal、down_horizontal-水平再サンプリング係数が（up_horizontal）/（down_horizontal）に等しくなることを規定する２つの4ビット正整数。１よりも大きな（例えば、8/3の）再サンプリング係数は、アップサンプリングを示し、１よりも小さな係数はダウンサンプリングを示す。何れのフィールドについても、ゼロの値を禁止する。
【００３８】
(e)up_vertical、down_vertical、垂直再サンプリング係数が（up_vertical）/（down_vertical）に等しくなることを規定する２つの4ビット正整数。１よりも大きな（例えば、8/3の）再サンプリング係数は、アップサンプリングを示し、１よりも小さな係数はダウンサンプリングを示す。何れのフィールドについても、ゼロの値を禁止する。
【００３９】
(f）number_of_horizontal_coefficients-この記述子における水平フィルタ係数の数を規定する4ビットの正整数。
【００４０】
(g)number_of_vertical_coefficient-この記述子における垂直フィルタ係数の数を規定する4ビットの正整数。
【００４１】
(h)hor_fir(i)-係数iを備える水平FIRフィルタ係数を規定する16ビットの正整数。中央係数はゼロのインデックス値を有する。
【００４２】
レイヤ毎に上記信号パラメータを規定することによって、高い度合いの柔軟性が達成される。特に、従来技術では、ベース・レイヤが最低分解能で存在することが要件となっている。本願の手法では、そうした制約は何ら存在しない。前述のパラメータは、レイヤ毎に、何れかの他のレイヤとは無関係に、独立して規定し得る。
【００４３】
本発明の別の特徴は、複数のエンハンスメント・レイヤが規定される場合である。この場合、別個のパラメータ・リストを構成して、複数の品質レベルを規定することができる。例えば、１つのベース・レイヤ及び３つのエンハンスメント・レイヤを備える４レイヤ・ビデオ・ストリームの場合、第１のパラメータ・リストを、ベース・レイヤBSと、エンハンスメント・レイヤES1及びES2の両方との組み合わせを規定するように構成することができる。第２のパラメータ・リストは、ベース・レイヤBSと、第２のエンハンスメント・レイヤ及び第４のエンハンスメント・レイヤとの組み合わせ（BS+ES2+ES4）を規定するよう構成することができる。他の組み合わせも、本明細書を読む人には明らかなはずである。ユーザにとって関心のある組み合わせは全て、パラメータ・リスト２２０の構成要素として同時に送信してもよい。
【００４４】
図３は、本発明の一実施例による復号器３００を示す。図３は、図２のレイヤ符号器２００によって処理された符号化信号を復号化する復号器を示す。ベース・ストリームBSは、ベース・レイヤBSに関連したパラメータ・リスト２００からのパラメータによってベース復号器３０２において復号化される。復号器３０２からの復号化出力は、アップコンバータ３０６によってアップコンバートされ、加算装置３１０に更に供給される。エンハンスメント・ストリームESは、エンハンスメント・ストリームESに関連付けされたパラメータ・リスト２００からのパラメータによって復号器３０４において復号化される。修正装置３０８は、修正装置２０７の逆の処理を符号器２００において行う。修正装置３０８は、通常のビデオ信号範囲から元の残差信号の信号範囲に復号化エンハンスメント・ストリームを変換する。修正装置２０８の出力を、加算装置３１０に供給し、これをアップコンバータ３０６の出力と合成して復号器３００の出力を形成する。
【００４５】
例
例１―AVC復号器をベース・レイヤにおいて利用し、MPEG-2復号器をエンハンスメント・レイヤにおいて利用するデュアル・レイヤ構成。
【００４６】
図４を参照すると、表I及び表IIは、種々のストリーム（例えば、Lay１、Lay2）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リスト２２０を規定する。
【００４７】
パラメータ・リストの第１の行（すなわち、ベース・レイヤLay１に特有なパラメータを記載する行）を参照すると、符号器側のパラメータ・リストは、AVC復号器をベース・レイヤ（Lay1）において用いるよう復号器に指示する。次に、パラメータ・リストは、DCオフセット・パラメータがゼロであるということを復号器に指示する。これによって、このレイヤをエンハンスメント・レイヤLay2と合成する前にベース・レイヤにおけるDCオフセットを減算することのないよう復号器３００に指示する。第１の行の、次の４つの列は、upH、dwH、upV及びdwVの各々と表記されており、水平軸におけるアップスケーリング係数（upH）、水平軸におけるダウンスケーリング係数（dwH）、垂直軸におけるアップスケーリング係数（upV）、及び垂直軸におけるダウンスケーリング係数（dwV）を表す。復号器３００は、これらのパラメータを対で用いる。すなわち、復号器３００は、第１の２つのパラメータの比、すなわちupH/dwHをとって、水平軸をアップスケーリングするか、ダウンスケーリングするか、何らスケーリングしないかを判定する。前述の例では、水平スケーリング比は、
水平スケーリング比=upH/dwH=2/1=2                                        (1)  
である。
【００４８】
同様に、垂直方向の場合、復号器３００は、upV/dwVの比をとって、垂直軸をアップスケーリングするか、ダウンスケーリングするか、何らスケーリングしないかを判定する。前述の例では、垂直スケーリング比は、
垂直スケーリング比=upV/dwV=2/1=2                                    (2)  
である。何らかのDCオフセットを行い、適切な水平オフセット及び垂直オフセットについて調節した後、次の列は、先行するレイヤに付加することとするレイヤを表す。ベース・レイヤ（Lay1）に対して前述の処理を行った後、その結果を単一のエンハンスメント・レイヤLay2と合成する。
【００４９】
表Iは、エンハンスメント・レイヤLay2に特有のいくつかのパラメータを備える。特に、パラメータ・リストは、単一のエンハンスメント・レイヤLay2についてMPEG-2復号器を用いるよう復号器に指示する。パラメータ・リストは、128のDCオフセットを行うよう復号器に更に指示する。このオフセットを行ううえでの（推奨）フィルタ係数を表IIに規定する。特に、７つのフィルタ係数を、水平方向にも垂直方向にも規定する。
【００５０】
例２―AVC復号器をベース・レイヤ（Lay1）及び両方のエンハンスメント・レイヤ（Lay２、Lay３）において利用する３レイヤ構成。
【００５１】
次に図5を参照すると、表I及び表IIは、種々のストリームを合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リスト２２０を規定する。
【００５２】
パラメータ・リストの表Iの第１の行を参照すると、パラメータ・リストは、AVC復号器をベース・レイヤ（Lay1）において用いるよう復号器に指示する。パラメータ・リストは、DCオフセット・パラメータがゼロであるということを復号器に更に指示する。これによって、このレイヤを第１のエンハンスメント・レイヤLay2と合成する前にベース・レイヤにおけるDCオフセットを減算することのないよう復号器３００に指示する。前述の例では、水平スケーリング比は２であり、垂直スケーリング比も２である。次の列は、ベース・レイヤLay１を付加することとするレイヤを表す。この場合、Lay1をLay２、すなわち、第１のエンハンスメント・レイヤに付加することとする。両方のエンハンスメント・レイヤ、すなわちLay２及びLay３は、１２８のDCオフセットを規定する同様なパラメータ値を有し、水平方向にも垂直方向にもスケーリングを何ら有しない。
【００５３】
例3―AVC復号器をベース・レイヤ及び両方のエンハンスメント・レイヤにおいて利用する３レイヤ構成。各レイヤは並列構成で付加される。
【００５４】
図６及び図７を参照すると、図6の表I及び表IIは、種々のストリーム（すなわち、Lay１、Lay2、Lay3）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リスト２２０を規定する。
【００５５】
図６のパラメータ・リストの表Iの第１の行を参照すると、パラメータ・リストは、AVC復号器をベース・レイヤ（Lay1）において用いるよう復号器に指示する。パラメータ・リストは、DCオフセット・パラメータがゼロであるということを復号器に更に指示する。これによって、このレイヤを第１のエンハンスメント・レイヤLay2と合成する前にベース・レイヤにおけるDCオフセットを減算することのないよう復号器３００に指示する。前述の例では、水平スケーリング比は２として算出され、垂直スケーリング比は２として算出される。次の列「参照レイヤ（スケーリング）」は次にベース・レイヤLay1を付加することとするレイヤを表す。この場合、Lay1をLay２、すなわち、第１のエンハンスメント・レイヤに付加することとする。次の列である「参照フラグ」は、参照フラグ・パラメータによって規定されるレイヤと合計する前に現在のレイヤ（Lay1)について必要な何らかのDC補正及びスケーリングを行うこととする順序について復号器に指示するためのパラメータ値を規定する。前述の例では、Lay１はDC補償を何ら必要としないが、１の「参照フラグ」パラメータ値によって、前述の場合には4/1である、必要な何らかのスケーリングを、図７の合計ブロック７２によってLay１をLay２と合計する前に行うよう復号器に指示する。
【００５６】
前述の例を続ければ、次にLay２、すなわち第１のエンハンスメント・レイヤを参照すると、ゼロの「参照フラグ」パラメータ値は、前述のように、Lay２をLay３と合計する前に必要な何らかのDC補償及びスケーリングを施すよう復号器に指示する。
【００５７】
例4―AVC復号器をベース・レイヤ及び両方のエンハンスメント・レイヤにおいて利用する３レイヤ構成。
【００５８】
図８及び図９を参照すると、図8の表I及び表IIは、種々のストリーム（すなわち、Lay１、Lay2、Lay3）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リスト２２０を規定する。
【００５９】
パラメータ・リストの表１の第１の行を参照すると、符号器側のパラメータ・リストは、AVC復号器をベース・レイヤ（Lay1）において用いるよう復号器に指示する。パラメータ・リストは、DCオフセット・パラメータがゼロであるということを復号器に更に指示する。これによって、このレイヤを第１のエンハンスメント・レイヤLay2と合成する前にベース・レイヤにおけるDCオフセットを減算することのないよう復号器３００に指示する。前述の例では、水平スケーリング比は２として算出され、垂直スケーリング比は２として算出される。次の列「参照レイヤ（スケーリング）」は次にベース・レイヤLay1を付加することとするレイヤを表す。この場合、Lay1をLay２、すなわち、第１のエンハンスメント・レイヤに付加することとする。次の列である「参照フラグ」は、参照フラグ・パラメータによって規定されるレイヤと合計する前に必要な何らかのDC補償及びスケーリングを現在のレイヤ（Lay1）について行うよう復号器に命令するためのパラメータ値を規定する。前述の例では、Lay1は、Lay２、すなわち第１のエンハンスメント・レイヤと合計する前に、DC補償を何ら必要としないが、4/1スケーリングを必要とする。
【００６０】
前述の例を続ければ、次にLay２を参照すると、１の「参照フラグ」パラメータ値によって、必要な何らかのDC補償を、前述のように現在のレイヤに施すよう復号器に指示する。しかし、この場合、１の値によって、現在のレイヤが先行レイヤと合計された後にスケーリングを施すよう復号器に指示する。前述の例では、１２８のDC補償をLay２について行い、次に、図９の合計ブロック９２によってLay1との合計を行い、次に、図９の合計ブロック９２の出力の2/1スケーリングを行う。
【００６１】
前述の例を続ければ、次にLay３を参照すると、１の「参照フラグ」のパラメータ値によって、この場合も又、必要な何らかのDC補償を、前述のように現在のレイヤに施すよう復号器に指示する。このDC補償は現在のレイヤの場合には、先行レイヤに施したものと同じである、振幅が128のDC補償である。現在のレイヤのスケーリング係数が１であるので、図９の合計ブロック９４の右に示すスケーリング・ブロックは何ら存在しない。
【００６２】
本発明は、特定の実施例を参照して説明したが、多くの変形を、本特許請求の範囲に記載した本発明の技術思想及び範囲から逸脱することなく用いることができる。本明細書及び添付図面は、よって、例示的な方法であるものとみなすこととし、本特許請求の範囲を限定することを意図するものでない。
【図面の簡単な説明】
【００６３】
【図１】スケーラブルな符号化（空間スケーラビリティ）の原理を示す略構成図である。
【図２】本発明の一実施例による空間的にスケーラブルなビデオ符号器の略構成図である。
【図３】レイヤ符号器（図２）によって処理された符号化信号を復号化する空間的にスケーラブルなビデオ復号器の略構成図である。
【図４】伝送ストリームの種々のストリーム（例えば、Lay１、Lay2）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リストの一例を示す図である。
【図５】伝送ストリームの種々のストリーム（例えば、Lay１、Lay2）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リストの別の例を示す図である。
【図６】伝送ストリームの種々のストリーム（例えば、Lay１、Lay2）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リストの更なる例を示す図である。
【図７】図６のパラメータ・リストによって符号化信号を復号化する空間的にスケーラブルなビデオ復号器の略構成図である。
【図８】伝送ストリームの種々のストリーム（例えば、Lay１、Lay2）を合成して単一の復号化ビデオ・ストリームを出力する方法について復号器に通知するよう通信チャネルを介して補助情報として放送されることになるパラメータ・リストの更なる例を示す図である。
【図９】図８のパラメータ・リストによって符号化信号を復号化する空間的にスケーラブルなビデオ復号器の略構成図である。
【図１】
2007513565.tif 000005
【図２】
2007513565.tif 000006
【図４】
2007513565.tif 000007
【図５】
2007513565.tif 000008
【図６】
2007513565.tif 000009
【図７】
2007513565.tif 000010
【図８】
2007513565.tif 000011
【図９】
2007513565.tif 000012
【手続補正書】
【提出日】平成18年6月23日(2006.6.23)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007513565.tif 000013
【図２】
2007513565.tif 000014
【図３】
2007513565.tif 000015
【図４】
2007513565.tif 000016
【図５】
2007513565.tif 000017
【図６】
2007513565.tif 000018
【図７】
2007513565.tif 000019
【図８】
2007513565.tif 000020
【図９】
2007513565.tif 000021
【国際調査報告】
2007513565.tif 000022
2007513565.tif 000023
2007513565.tif 000024