(57)【要約】ベースレイヤと少なくとも１つの拡張レイヤとを備えたスケーラブルビデオデータストリームを符合化および復号化する方法。スケーラブルデータストリームは符号化されるが、このデータストリームは、レイヤのある時間位置において、少なくとも１つの不要なピクチャを含み、復号化順に関して前記時間位置以降のピクチャが上位レイヤで復号化されるにおいて、前記不要なピクチャを必要とせず、また少なくとも１つの不要なピクチャの情報をスケーラブルビデオデータストリームでシグナリングする。復号化フェーズでは、シグナリングされた情報が復号化され、復号化順における時間位置以降の前記不要なピクチャより上のレイヤ内のピクチャが、前記不要なピクチャを復号化せずに復号化される。【選択図】図４
2008544615.tif 000002
【特許請求の範囲】
【請求項１】
ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを符合化する方法であって、
レイヤのある時間位置において、少なくとも１つの不要なピクチャを含むスケーラブルデータストリームを符号化することであって、上位レイヤでピクチャを復号化するにおいては、復号化順に関して前記時間位置以降において、前記不要なピクチャを必要とせずに復号化する、前記符号化することと、
前記少なくとも１つの不要なピクチャの情報を前記スケーラブルビデオデータストリームでシグナリングすることと、を含む方法。
【請求項２】
前記１つ以上の拡張レイヤは、１つ以上の空間的、品質、またはファイングラニュリティスケーラビリティ（Fine Granularity Scalability: FGS）の拡張レイヤを備える、請求項1に記載の方法。
【請求項３】
前記シグナリングは、前記スケーラブルデータストリームの一部の範囲内で実行される、請求項1に記載の方法。
【請求項４】
前記シグナリングは、補足拡張情報（Supplemental Enhancement Information: SEI）メッセージで実行される、請求項3に記載の方法。
【請求項５】
ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを復号化する方法であって、
スケーラブルデータストリームによって受信したシグナリング情報を復号化することであって、前記シグナリング情報が、レイヤのある時間位置において、不要なピクチャに関するデータを少なくとも１つ含む、ことと、
前記不要なピクチャより上のレイヤ内でピクチャを復号化することであって、復号化順に関して前記時間位置以降においては、前記不要なピクチャを復号化せずに、復号化することと、を含む方法。
【請求項６】
前記１つ以上の拡張レイヤは、１つ以上の空間的、品質、またはファイングラニュリティスケーラビリティ（Fine Granularity Scalability: FGS）の拡張レイヤを備える、請求項5に記載の方法。
【請求項７】
前記シグナリング情報は、前記スケーラブルデータストリームの一部の範囲内で受信される、請求項5に記載の方法。
【請求項８】
前記シグナリング情報は、補足拡張情報（SEI）メッセージにおいて受信される、請求項7に記載の方法。
【請求項９】
ベースレイヤと少なくとも１つの拡張レイヤとを備えたスケーラブルビデオデータストリームを符合化するためのビデオエンコーダであって、
レイヤのある時間位置において、不要なピクチャを少なくとも１つ含むスケーラブルデータストリームを符号化するための手段であって、上位レイヤでピクチャを復号化するにおいては、復号化順に関して前記時間位置以降において、前記不要なピクチャを必要とせずに復号化する、前記符号化するための手段と、
前記少なくとも１つの不要なピクチャの情報を前記スケーラブルビデオデータストリーム内に含めるための手段と、を備えるビデオエンコーダ。
【請求項１０】
前記少なくとも１つの不要なピクチャの情報は、前記スケーラブルデータストリームの一部の範囲内でシグナリングされるように構成される、請求項9に記載のビデオエンコーダ。
【請求項１１】
前記少なくとも１つの不要なピクチャの情報は、補足拡張情報（SEI）メッセージでシグナリングされるように構成される、請求項10に記載のビデオエンコーダ。
【請求項１２】
ベースレイヤと少なくとも１つの拡張レイヤとを備えたスケーラブルビデオデータストリームを復号化するためのビデオデコーダであって、
スケーラブルデータストリームによって受信したシグナリング情報を復号化するための手段であって、前記シグナリング情報が、レイヤのある時間位置において、不要なピクチャを少なくとも１つ含む、手段と、
前記不要なピクチャより上のレイヤ内でピクチャを復号化する手段であって、復号化順に関して前記時間位置以降においては、前記不要なピクチャを復号化せずに、復号化する手段と、を備えるデータデコーダ。
【請求項１３】
前記シグナリング情報は、前記スケーラブルデータストリームの一部から復号化されるように構成される、請求項12に記載のデータデコーダ。
【請求項１４】
前記シグナリング情報は、補足拡張情報（SEI）メッセージから復号化されるように構成される、請求項13に記載のビデオデコーダ。
【請求項１５】
ビデオエンコーダを含み、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを符合化するための電子デバイスであって、
レイヤのある時間位置において、少なくとも１つの不要なピクチャを含むスケーラブルデータストリームを符号化するための手段であって、上位レイヤでピクチャを復号化するにおいては、復号化順に関して前記時間位置以降において、前記不要なピクチャを必要とせずに復号化する、前記符号化するための手段と、
前記少なくとも１つの不要なピクチャの情報を前記スケーラブルビデオデータストリーム内に含めるための手段と、を備える電子デバイス。
【請求項１６】
ビデオデコーダを含み、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを復号化するための電子デバイスであって、
スケーラブルデータストリームによって受信したシグナリング情報を復号化するための手段であって、前記シグナリング情報が、レイヤのある時間位置において、少なくとも１つの不要なピクチャに関するデータを含む手段と、
前記不要なピクチャより上のレイヤ内でピクチャを復号化する手段であって、復号化順に関して前記時間位置以降においては、前記不要なピクチャを復号化せずに、復号化する手段と、を備える電子デバイス。
【請求項１７】
前記電子デバイスは、携帯電話、コンピュータ、PDAデバイス、デジタルテレビシステム用のセットトップボックス、ゲームコンソール、メディアプレーヤ、またはテレビのうちの１つである、請求項15に記載の電子デバイス。
【請求項１８】
コンピュータ可読の媒体に格納され、データ処理デバイスで実行可能であり、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータを符号化するためのコンピュータプログラムであって、
レイヤのある時間位置において、少なくとも１つの不要なピクチャを含むスケーラブルデータストリームを符号化するためのコンピュータプログラムコードセクションであって、上位レイヤでピクチャを復号化するにおいては、復号化順に関して前記時間位置以降において、前記不要なピクチャを必要とせずに復号化する、コンピュータプログラムコードセクションと、
前記少なくとも１つの不要なピクチャの情報を前記スケーラブルビデオデータストリーム内に含むためのコンピュータプログラムコードセクションと、を含むコンピュータプログラム。
【請求項１９】
コンピュータ可読の媒体に格納され、データ処理デバイスで実行可能であり、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータを復号化するためのコンピュータプログラムであって、
スケーラブルデータストリームによって受信したシグナリング情報を復号化するためのコンピュータプログラムコードセクションであって、前記シグナリング情報が、レイヤのある時間位置において、少なくとも１つの不要なピクチャに関するデータを含むコンピュータプログラムコードセクションと、
前記不要なピクチャより上のレイヤ内でピクチャを復号化することであって、復号化順に関して前記時間位置以降においては、前記不要なピクチャを復号化せずに、復号化するためのコンピュータプログラムコードセクションと、を含むコンピュータプログラム。
【請求項２０】
スケーラブルビデオデータストリームを実装するデータ構造であって、
ビデオデータのベースレイヤと、
ビデオデータのうちの少なくとも１つの拡張レイヤと、
レイヤのある時間位置における少なくとも１つの不要なピクチャであって、上位レイヤでターゲットピクチャを復号化するにおいて、復号化順に関して前記時間位置以降においては不要となる、ピクチャと、
前記少なくとも１つの不要なピクチャを識別する目印データと、を含むデータ構造。
【請求項２１】
前記目印データは、
少なくとも１つのターゲットピクチャの第一の目印と、
前記ターゲットピクチャのための少なくとも１つの不要なピクチャの第二の目印と、
少なくとも１つの不要なピクチャの品質レベルの第三の目印と、を含む請求項20に記載のデータ構造。
【請求項２２】
前記目印データは、補足拡張情報（SEI）メッセージとして前記スケーラブルデータストリームに関連付けられる、請求項20に記載のデータ構造。
【請求項２３】
前記電子デバイスは、携帯電話、コンピュータ、PDAデバイス、デジタルテレビシステム用のセットトップボックス、ゲームコンソール、メディアプレーヤ、またはテレビのうちの１つである、請求項16に記載の電子デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブルビデオ符号化に関し、特にスケーラブルビデオ符号化における符号化依存性の表示（Coding Dependency）に関する。
【発明の背景】
【０００２】
いくつかのビデオ符号化システムは、ビデオシーケンスのうちのいくつかの要素または要素グループを、ビデオシーケンスの他の部分の再構成に影響を及ぼさずに取り除くことができるスケーラブル符号化を用いている。スケーラブルビデオ符号化は、広範な処理能力を備えたデコーダを用いるシステムで使用される多数のマルチメディアアプリケーションおよびサービスに望ましい機能である。スケーラブルビットストリームは、例えば、ストリーミングサーバー内の予め符合化されたユニキャストストリームの速度適応、および異なる能力および/または異なるネットワーク状態を有する端末への単一のビットストリームの送信に使用することができる。
【０００３】
スケーラビリティは、一般的に、画像フレームを複数の階層的なレイヤにグループ化することによって実装される。ベースレイヤの画像フレームに実質的に符号化される画像フレームは、受信端でのビデオ情報の復号化に必須であるものだけを含む。１つ以上の拡張レイヤは、ベースレイヤより上に特定することができ、レイヤのそれぞれは、下位レイヤと比較して、符号化ビデオの品質が向上する。なお、意味のある復号化表現は、スケーラブルビットストリームの特定の要素だけを復号化することによって生成することができる。
【０００４】
拡張レイヤは、時間分解能（すなわち、フレームレート）、空間分解能、または単に品質を高めることができる。ある場合では、拡張レイヤのデータは、任意の位置であっても特定の位置の後ろを切り捨てることができ、それによって、いくつかの追加的なデータを有する各切捨て位置は、視覚的品質の更なる向上を示す。これらのスケーラビリティは、細粒（ファイングラニュラリティ）スケーラビリティ（fine-grained (granularity) scalability: FGS）と呼ばれる。FGSとは対照的に、細かなスケーラビリティを提供しない品質拡張レイヤによって提供されるスケーラビリティは、粗粒状のスケーラビリティ（coarse-grained scalability: CGS）と呼ばれる。
【０００５】
スケーラブルビデオ符号化の分野で現在開発中のプロジェクトのうちの１つに、スケーラブルビデオ符号化（Scalable Video Coding: SVC）規格があり、やがては、ITU-T H.264ビデオ符号化規格（別名、ISO/IEC MPEG-4 AVC）のスケーラブル拡張版となろう。SVC規格の草案によれば、空間的またはCGS拡張レイヤ内の符号化ピクチャは、レイヤ間予測基準の表示を含む。レイヤ間予測は、符号化モード、モーション情報、およびサンプル残余の３つのパラメータのうちの１つ以上の予測を含む。レイヤ間予測の使用によって、拡張レイヤの符号化効率を著しく向上させることができる。レイヤ間予測は、常に下位レイヤに基づいている。すなわち、上位レイヤは下位レイヤの復号化時に必要になることはない。
【０００６】
スケーラブルビデオビットストリームでは、拡張レイヤピクチャに対して、いずれかの下位レイヤからのピクチャをレイヤ間予測のために選択することが可能である。したがって、ビデオストリームが複数のスケーラブルレイヤを含む場合は、上位レイヤ全体の復号化および再生には必要ではないピクチャを、中間レイヤ上に含むことがある。これらのピクチャは、（上位レイヤ全体の復号化に対して）不要なピクチャと称される。
【０００７】
しかし、従来技術のスケーラブルビデオ方法には、不要なピクチャを復号化する前に、これらの依存情報を示す手段が無いという重大な不利点がある。結果的に、デコーダは、不要なピクチャを復号化しなければならず、これは無駄な計算負荷であり、また、対応する復号化ピクチャをバッファリングしなければならず、これは無駄なメモリ消費である。また、特定の時間位置での不要なピクチャが参照されないピクチャ（non-reference picture）である場合は、デコーダは、再生に必要なスケーラブルレイヤ内の前記時間位置でピクチャの到着を待ち、次いで依存情報を解析することができる。しかし、これによって、エンドツーエンドの遅延が増加し、これはリアルタイムの視覚的アプリケーションでは許容できない。
【発明の概要】
【０００８】
今や、改善された方法および該方法を実装する技術装置が発明され、これによって、不要なピクチャをそれらの復号化の前にデコーダに示すことができる。本発明のさまざまな側面は、符号化および復号化方法、エンコーダ、デコーダ、ビデオ符号化デバイス、ビデオ復号化デバイス、符号化および復号化を実行するためのコンピュータプログラム、およびデータ構造を含み、これらの側面を以下に記述する。本発明の様々な実施形態を開示する。
【０００９】
第一の側面によれば、本発明による方法は、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを符号化するという概念に基づくものであり、レイヤのある時間位置において、少なくとも１つの不要なピクチャを含むスケーラブルデータストリームを符号化することであって、上位レイヤでピクチャを復号化するにおいては、復号化順に関して前記時間位置以降において、前記不要なピクチャを必要とせずに復号化する、前記符号化することと、前記少なくとも１つの不要なピクチャの情報を前記スケーラブルビデオデータストリームでシグナリングすることとを含む。
【００１０】
ある実施形態では、前記１つ以上の拡張レイヤは、１つ以上の空間的、品質、またはファイングラニュリティスケーラビリティ（Fine Granularity Scalability: FGS）の拡張レイヤを備える。
【００１１】
ある実施形態では、前記シグナリングは、前記スケーラブルデータストリームの一部の範囲内で実行される。
【００１２】
ある実施形態では、前記シグナリングは、補足拡張情報（Supplemental Enhancement Information: SEI）メッセージで実行される。
【００１３】
第二の側面によれば、ベースレイヤおよび少なくとも１つの拡張レイヤを含むスケーラブルビデオデータストリームを復号化する方法であって、スケーラブルデータストリームによって受信したシグナリング情報を復号化することであって、前記シグナリング情報が、レイヤのある時間位置において、少なくとも１つの不要なピクチャに関するデータを含むことと、前記不要なピクチャより上のレイヤ内でピクチャを復号化することであって、復号化順に関して前記時間位置以降においては、前記不要なピクチャを復号化せずに、復号化することと、を含む方法が提供される。
【００１４】
本発明に記載の機構は、顕著な利点を提供する。スケーラブルビデオストリームとともにシグナリングされる不要なピクチャの目印情報によって、デコーダは、復号化の前に不要なピクチャを特定することができ、それによって、不要なピクチャのあらゆる不必要な復号化およびバッファリングが回避される。これにより、復号化プロセスの計算負荷およびメモリの消費が低減される。さらに、本発明による機構により、エンドツーエンドの遅延のメンテナンスを最小にすることができる。
【００１５】
本発明の更なる態様は、上記方法の発明的ステップを実行するように構成された様々な装置を含む。
【発明の詳細な説明】
【００１６】
以下、添付の図面を参照して本発明の様々な実施形態を詳細に説明する。
【００１７】
本発明は、スケーラブルビデオ符号化を使用した全てのビデオ符号化方法に適用することができる。ビデオ符号化規格には、ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262、またはISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、およびITU-T H.264（別名、ISO/IEC MPEG-4 AVC）が挙げられる。加えて、新しいビデオ符号化規格に対する取り組みが行われている。その１つは、スケーラブルビデオ符号化（scalable video coding: SVC）規格の開発であり、H.264/AVCのスケーラブル拡張版となろう。SVC規格は、現在、ITU-T VCEGおよびISO/IEC MPEGで形成されたジョイントビデオチーム（JVT）の下で開発されている。もう１つの取り組みは、中国オーディオビジュアル符号化規格の作業グループ（China Audio Visual coding Standard Work Group: AVS）によって構成される中国ビデオ符号化規格の開発である。
【００１８】
以下は、H.264ビデオ符号化を一例として使用した本発明の例示的な説明である。以下、H.264符号化を、本発明およびその好適な実施形態を十分に理解できるように考慮して詳述する。H.264の実装のより詳細な説明のために、H.264規格を参照する。その最新の仕様は、次の資料に記載されている。
【非特許文献１】JVT-N050d1、"Draft of Version 4 of H.264/AVC"、第14回JVTミーティング（香港、中国、2005年1月18-21日）
【００１９】
図1によれば、H.264/AVCでは、２つの異なる概念的レイヤ、すなわち、ビデオ符号化レイヤ（video coding layer: VCL）とネットワーク抽象化レイヤ（network abstraction layer: NAL）とを区別する。VCLおよびNALは、どちらもH.264/AVC規格の一部である。VCLは、符号化ビデオ信号のための効率的な表現を規定する。H.264/AVCのNALは、ビデオコーデック自体と外界との間のインターフェースを形成する。これはNALユニットで機能し、大部分の既存のネットワークのパケットベースの手法をサポートする。NALデコーダインターフェースでは、NALユニットが復号順に供給され、そのパケットは、適切に受信されるか、失われるかのいずれかであるか、またはペイロードがビットエラーを含む場合に、NALユニットヘッダー内にエラーフラグを上げることができることを前提としている。後者の機構は、フラグを異なる目的に使用することができるので、規格の一部ではない。しかし、ネットワーク全体を介してエラー表示をシグナリングする方法を提供する。加えて、インターフェース仕様は、確実な規格化内容によって規定される、異なるトランスポートプロトコルに必要である。H.320、MPEG-2システム、およびRTP/IPのような異なるトランスポートシステムのためのNALユニットのうちの正確なトランスポートおよびカプセル化も、H.264/AVCの規格化の範囲外である。NALデコーダインターフェースは、規格内に規範的に形成されており、一方で、VCLとNALとの間のインターフェースは概念的であり、VCLおよびNALのタスクの記述および区別に助力する。
【００２０】
H.264/AVCへのスケーラブル拡張版の草案によって、現在、複数のスケーラブルレイヤの符号化が可能である。最新の草案は、次の文献に記載されている。
【非特許文献２】JVT-O202 Annex S、"Scalable video coding - working draft 2"（第15回JVTミーティング、釜山、韓国、2005年4月）  これらのスケーラブルレイヤの符号化では、ビットストリームでシグナリングされるdependency_id変数を使用して、異なるスケーラブルレイヤの符号化依存性を示す。
【００２１】
スケーラブルビットストリームは、少なくとも２つのスケーラビリティレイヤ、すなわち、ベースレイヤと１つ以上の拡張レイヤとを含む。１つのスケーラブルビットストリームが複数のスケーラビリティレイヤを含む場合は、復号化および再生のための同じ数のオルタナティブを有する。各レイヤは、復号化オルタナティブである。たとえば、レイヤ0、すなわちベースレイヤは、第一の復号化オルタナティブである。レイヤ1、すなわち第一の拡張レイヤは、第二の復号化オルタナティブである。このようなパターンが、以降のレイヤにも続いていく。一般的に、下位レイヤは、上位レイヤに含まれる。例えば、レイヤ0はレイヤ1に含まれ、レイヤ1はレイヤ2に含まれる。
【００２２】
下位レイヤ内のピクチャは、上位層全体の復号化および再生に必ずしも必要ではない場合がある。これらのピクチャは、（全体の上位レイヤの復号化に対して）「不要なピクチャ」と呼ばれる。
【００２３】
SVC符号化、また他のスケーラブルビデオ符号化方法における重大な欠点は、不要なピクチャを復号化する前に、不要なピクチャをデコーダに示す手段が無いことである。不要なピクチャの復号化によって、不必要な計算負荷が生じ、また不要な復号化ピクチャのバッファリングによってメモリ空間が必要以上に確保される。ビットストリームでシグナリングされるdependency_id変数は、異なるスケーラブルレイヤの符号化依存性を示すことにだけ使用され、不要なピクチャには使用されない。デコーダが、再生のために選択されるスケーラブルレイヤ内の特定の時間位置でピクチャの到着を待つような場合は、dependency_id変数を不要なピクチャの特定にだけ用いることができ、その後にデコーダは、dependency_id変数が解析および復号化された後に、dependency_id変数に含まれる依存情報を取得する。しかし、これによって、かなりのエンドツーエンド遅延が生じ、ビデオ電話またはテレビ会議のようなリアルタイムの低遅延のビデオアプリケーションには許容できない。
【００２４】
以下、本発明の１つの側面によれば、少なくとも２つのレイヤを備えたスケーラブルビデオストリームが形成され、それによって、少なくとも１つのレイヤの復号化に必要のない、不要なピクチャの目印（Indication）が作成される。デコーダが、不要なピクチャをそれらの復号化の前に特定し、したがって、不要なピクチャの復号化およびバッファリングを回避することができるように、不要なピクチャの目印情報は、スケーラブルビデオストリームと共にシグナリングされる。
【００２５】
不要なピクチャの目印情報は、スケーラブルビデオストリームのビットストリームでシグナリングすることができる。H.264/AVC規格は、ビデオシーケンスの復号化および表示を支援するための、補足拡張情報（Supplemental Enhancement Information: SEI）と呼ばれるシグナリング機構を含む。SEIメッセージは、ビデオデータコンテンツと同調して送信される。複数のSEIメッセージが以下の文献で規定されている。
【非特許文献３】H.264/AVC規格、Annex D、JVT-N050d1、"Draft of Version 4 of H.264/AVC"
【００２６】
好適な一実施形態によれば、不要なピクチャ情報の目印は、新しいSEIメッセージを使用して送信され、この不要なピクチャ情報の目印に対して新しいフィールドが規定される。
【００２７】
好適な一実施形態によれば、不要なピクチャの情報は、以下の構文およびセマンティックスに基づいて、SEIメッセージで伝達される。
【００２８】
以下は、レイヤ間の依存情報のSEIメッセージ構文である。
2008544615.tif 000003
【００２９】
上記SEIメッセージで伝達される情報は、アクセスユニットに関わるものであり、同じ時間位置での全てのスケーラブルレイヤの符号化スライスと符号化スライスデータとを含む。これらの情報が存在するときには、SEIメッセージは、あらゆる符号化スライスNALユニットか、または対応するアクセスユニットの符号化スライスデータパーティションのNALユニットの前に発生する。上記SEIメッセージのセマンティックスは、次の通りである。
【００３０】
num_info_entries_minus1プラス1は、後続の情報エントリの数を示す。
【００３１】
entry_dependency_id[i]は、不要なピクチャの情報が後続の構文要素によって記述されるターゲットピクチャのdependency_id値を示す。ターゲットピクチャのquality_level値は、常にゼロである。これは、quality_levelが0より大きいピクチャは、相互予測参照ソース（inter-prediction reference source）が常に固定されるFGSピクチャであるという事実によるものである。したがって、不要なピクチャの情報は、FGSピクチャと同じdependency_id値を持ち、quality_levelが0であるピクチャの情報と同じである。ターゲットピクチャにおける不要なピクチャも、符号化されたビデオシーケンスにおける他のピクチャの復号化には不要であり、ターゲットピクチャと同じdependency_id値およびquality_level値を有する。
【００３２】
num_non_required_pics_minus1[i]プラス1は、dependency_id値がentry_dependency_id[i]であり、quality_levelが0であるターゲットピクチャに対して、明示的にシグナリングされた不要なピクチャの数を示す。明示的にシグナリングされた不要なピクチャの他に、以下に規定されるように導出される、更なる不要なピクチャも存在する場合がある。
【００３３】
non_required_pic_dependency_id[i][j]は、dependency_id値がentry_dependency_id[i]であり、quality_level値が0であるターゲットピクチャに対して、明示的にシグナリングされたj番目の不要なピクチャのdependency_id値を示す。
【００３４】
non_required_pic_quality_level[i][j]は、dependency_id値がentry_dependency_id[i]であり、quality_level値が0であるターゲットピクチャに対して、明示的にシグナリングされたj番目の不要なピクチャのquality_level値を示す。加えて、dependency_idがnon_required_pic_dependency_id[i][j]に等しく、quality_levelがnon_required_pic_quality_level[i][j]よりも大きい、これらのピクチャも同じターゲットピクチャに対する不要なピクチャである。
【００３５】
上述のSEIメッセージおよびセマンティックスの実装を、以下の実施例でさらに詳しく説明する。最初に、ビデオストリームが、ベースレイヤ（0）、CGSレイヤ（1）、および空間レイヤ（2）の３つのレイヤを備え、それぞれ同じフレームレートであると仮定する。レイヤ間予測依存性階層（inter-layer prediction dependency hierarchy）を図2に示す。図中の矢印は、レイヤ間予測参照（inter-layer prediction reference）に対して、矢印が到達するオブジェクトが矢印が出発したオブジェクトを使用することを示し、図中の各レイヤの右側の一対の値は、dependency_idおよびquality_levelの値を表す。本実施例では、CGSレイヤ（1）上のピクチャは、レイヤ間予測にベースレイヤ（0）を使用する。さらに、空間レイヤ（2）内のピクチャは、レイヤ間予測にベースレイヤ（0）（すなわち、その次のCGSレイヤ（1）ではない）を使用する。したがって、CGSレイヤ（1）のピクチャ（dependency_id=1、quality_level=0）は、空間レイヤ（2）のピクチャを復号化するための不要なピクチャである。
【００３６】
次いで、上述のSEIのシンタックスおよびセマンティックスに従って、上記CGSレイヤ（1）のピクチャが、復号化順に関して上記空間レイヤ（2）のピクチャに後続するどの空間レイヤ（2）のピクチャの復号化にも不要であると仮定すると、図2の実施例のシグナリングされる値は次のようになる。
2008544615.tif 000004
【００３７】
さらに、図3の依存階層に示されるように、空間レイヤ（2）内のピクチャがレイヤ間予測にベースレイヤ（0）を使用し、一方で、同じ時間位置において、CGSレイヤ（1）内のピクチャがレイヤ間予測を全く使用しないことがありうる。したがって、CGSレイヤ（1）のピクチャ（dependency_id=1、quality_level=0）は、空間レイヤ（2）のピクチャを復号化するための不要なピクチャであり、ベースレイヤ（0）ピクチャ（dependency_id=0、quality_level=0）は、CGSレイヤ（1）のピクチャを復号化するための不要なピクチャである。
【００３８】
また、上記CGSレイヤ（1）のピクチャが、復号化順に関して上記空間レイヤ（2）のピクチャに後続する空間レイヤ（2）のピクチャのいずれの復号化にも不要であり、上記ベースレイヤ（0）ピクチャも、復号化順に関して上記CGSレイヤ（1）のピクチャに後続するCGSレイヤ（1）のピクチャのどの復号化にも不要であると仮定すると、図3の実施例のシグナリング値は次のようになる。
2008544615.tif 000005
【００３９】
FGSレイヤを伴うときには、符号化モードおよびモーション情報のためのレイヤ間予測は、サンプル残余のためのレイヤ間予測とは異なるベースレイヤに由来する場合がある。この一実施例を図4に示す。図では、空間レイヤ（2）のピクチャに対して、符号化モードおよびモーション情報のためのレイヤ間予測は、CGSレイヤ（1）のピクチャに由来し、サンプル残余のためのレイヤ間予測は、FGSレイヤ（1_0）ピクチャに由来する。したがって、FGSレイヤ（1_1）ピクチャ（dependency_id=1、quality_level=2）は、空間レイヤ（2）のピクチャを復号化するための不要なピクチャである。また、上記FGSレイヤ（1_1）ピクチャも、復号化順に関して上記空間レイヤ（2）のピクチャに後続する空間レイヤ（2）のピクチャのどの復号化にも不要であると仮定すると、図4の実施例のシグナリング値は次のようになる。
2008544615.tif 000006
【００４０】
図5は、図4の依存階層の一変形例を示す。本願明細書では、空間レイヤ（2）のピクチャに対するレイヤ間予測、すなわち符号化モード、モーション情報、およびサンプル残余の全ての側面は、CGSレイヤ（1）のピクチャに由来する。したがって、FGSレイヤ（1_0）ピクチャ（dependency_id=1、quality_level=1）およびFGSレイヤ（1_1）ピクチャ（dependency_id=1、quality_level=2）は、どちらも空間レイヤ（2）のピクチャを復号化するための不要なピクチャである。また、FGSレイヤ（1_0）ピクチャもFGSレイヤ（1_1）ピクチャも、復号化順に関して上記空間レイヤ（2）のピクチャに後続する空間レイヤ（2）のピクチャのどの復号化にも不要であると仮定すると、図5の実施例のシグナリング値は次のようになる。
2008544615.tif 000007
【００４１】
FGSレイヤ（1_1）ピクチャは、FGSレイヤ（1_0）ピクチャにしか依存せず、それによって、FGSレイヤ（1_1）ピクチャも明らかに不要なピクチャであるので、不要なピクチャとしてFGSレイヤ（1_0）ピクチャ（dependency_id=1、quality_level=1）だけを示せばよいことに留意されたい。
【００４２】
上述のように規定されたSEIメッセージのセマンティックスの解釈に関して、考慮しなければならない更なる状況がある。再生に必要なレイヤが、SEIメッセージ内のシグナリングされたいかなるentry_dependency_id[i]値にも等しくないdependency_id='A'である場合は、entry_dependency_id[i]が最大であるが'A'よりも小さいn番目のentry_dependency_id[i]が検索される。dependency_id='A'であるピクチャは、n番目のエントリに規定されたものと同じ不要なピクチャを有する。'A'よりも小さいentry_dependency_id[i]であるエントリが無い場合は、dependency_id='A'であるピクチャのための対応するアクセスユニット内に（すなわち、SEIメッセージに対応する時間位置において）、不要なピクチャが存在しない。
【００４３】
dependency_id='A'であるピクチャが、dependency_id='B'（'B'は'A'以上である）であるピクチャのための不要なピクチャではない場合、dependency_id='A'であるピクチャのための全ての不要なピクチャも、dependency_id='B'であるピクチャのための不要なピクチャである。
【００４４】
図6に示す実施例では、ビデオストリームは、ベースレイヤ（0）、CGSレイヤ（1）、空間レイヤ（2）、空間レイヤ（3）、および空間レイヤ（4）の5つのレイヤを備え、それぞれ同じフレームレートを有する。CGSレイヤ（1）上のピクチャは、レイヤ間予測にベースレイヤ（0）を使用する。空間レイヤ（2）内のピクチャは、レイヤ間予測にベースレイヤ（0）（すなわち、その次のCGSレイヤ（1）ではない）を使用する。空間レイヤ（3）のピクチャは、レイヤ間予測に空間レイヤ（2）を使用する。最後に、空間レイヤ（4）のピクチャは、レイヤ間予測に空間レイヤ（2）だけしか使用しない。したがって、CGSレイヤ（1）のピクチャ（dependency_id=1、quality_level=0）は、空間レイヤ（2）のピクチャを復号化するための不要なピクチャであり、空間レイヤ（3）ピクチャ（dependency_id=3、quality_level=0）は、空間レイヤ（4）ピクチャを復号化するための不要なピクチャである。上述のルールによれば、dependency_id値（3および4）が、空間レイヤ（2）のピクチャ（dependency_id=2）の値よりも大きく、空間レイヤ（2）のピクチャが、空間レイヤ（3）ピクチャおよび空間レイヤ（4）ピクチャのための不要なピクチャではないので、CGSレイヤ（1）のピクチャは、空間レイヤ（3）ピクチャおよび空間レイヤ（4）ピクチャを復号化するための不要なピクチャである。
【００４５】
再び、復号化順に関して後続するアクセスユニットにおけるレイヤ間の依存関係が同じであると仮定すると、図6の実施例のシグナリング値は次のようになる。
2008544615.tif 000008
【００４６】
図7は、ある実施形態における符号化デバイスを示す図であり、符号化デバイス700は、データストリーム702を受信し、エンコーダ700のスケーラブルデータエンコーダ704によって符号化され、１つ以上のレイヤが生成される。スケーラブルデータエンコーダ704は、データストリームを符号化しながら不要なピクチャを推測し、不要なピクチャの目印情報を、例えばアクセスユニットコンポーザとすることが可能なメッセージ形成ユニット706に挿入する。符号化データストリーム708はエンコーダ700から出力されるので、デコーダは、不要なピクチャをそれらの復号化の前に特定し、不要なピクチャの復号化およびバッファリングを回避することができる。
【００４７】
図8は、ある実施形態における復号化デバイスを示す図であり、復号化デバイス800は受信器804を経て符合化されたデータストリーム802を受信する。不要なピクチャの目印情報は、例えばアクセスユニットデコンポーザとすることが可能なメッセージ変形ユニット806内のデータストリームから取り出される。デコーダ808は、次いで、不要なピクチャが復号化またはバッファリングされないように、不要なピクチャの目印情報に基づいて、復号化データストリームの選択されたレイヤを復号化する。復号化データストリーム810は、デコーダ800から出力される。
【００４８】
ビデオベースの通信システム、特に端末の異なる要素は、マルチメディアストリームの双方向性の伝送、すなわちストリームの送受信が可能になるような特性を備えることが可能である。これにより、エンコーダおよびデコーダは、エンコーダおよびデコーダの両機能を備えたビデオコーデックとして実装することができる。
【００４９】
上述のビデオエンコーダ、ビデオデコーダ、および端末における本発明の機能要素は、ソフトウェア、ハードウェア、それらの組み合わせとして実装できることが好ましいことに留意されたい。本発明の符号化および復号化方法は、本発明の機能ステップを実行するためのコンピュータ可読の命令を備えたコンピュータソフトウェアとしての実装に特に適している。エンコーダおよびデコーダは、格納手段に格納されたソフトウェアコードとして実装でき、また、前記デバイスによる符号化および復号化機能を達成するために、パーソナルコンピュータ（PC）または移動局（MS）のようなコンピュータ類似のデバイスによって実行可能であることが好ましい。これらの符号化および復号化機能を提供することができる電子デバイスの他の例には、携帯情報端末（personal digital assistant: PDA）デバイス、デジタルテレビシステム、ゲームコンソール、メディアプレーヤ、およびテレビ用のセットトップボックスが挙げられる。
【００５０】
図9は、本発明の好適な実施形態によるモバイル通信デバイスMSのブロック図である。モバイル通信デバイスでは、主制御ユニットMCUは、モバイル通信デバイスの様々な機能に関与する、ランダムアクセスメモリRAM、無線周波数要素RF、リードオンリメモリROM、ビデオコーデックCODEC、およびユーザーインターフェースUIといったブロックを制御する。ユーザーインターフェースは、キーボードKBと、ディスプレイDPと、スピーカSPと、マイクロホンMFとを備える。MCUは、マイクロプロセッサであるが、別の実施形態では、他の数種類のプロセッサ（例、デジタル信号処理器）である。好都合に、MCUの操作命令は、事前にROMメモリ内に格納されている。その命令（すなわち、コンピュータプログラム）に従って、MCUは、アンテナAERを経た無線経路を通じてデータを送受信するために、RFブロックを使用する。ビデオコーデックは、ハードウェアベース、あるいは完全または部分的ソフトウェアベースのいずれかとすることが可能であり、その場合、CODECは、MCUを制御して必要に応じてビデオの符号化および復号化を実行するためのコンピュータプログラムを備える。MCUは、その作業メモリとしてRAMを使用する。モバイル通信デバイスは、ビデオカメラによって動画ビデオを取り込み、MCU、RAM、およびCODECベースのソフトウェアを使用して動画ビデオを符号化およびパケット化することができる。次いで、RFブロックを使用して、符合化ビデオを他のパーティと交換する。
【００５１】
図10は、複数のモバイル通信デバイスMSと、モバイル電気通信ネットワーク110と、インターネット120と、ビデオサーバー130と、インターネットに接続された固定PCとを備えたビデオ通信システム100を示す図である。ビデオサーバーは、ビデオエンコーダを備え、天気予報またはニュースのようなオンデマンドのビデオストリームを提供することができる。
【００５２】
本発明は上記実施例のみに限定されず、添付の請求項の範囲内で変更することができることは明らかである。
【図面の簡単な説明】
【００５３】
【図１】H.264のデザインの概念的構造を示す図である。
【図２】スケーラブルビデオストリームの符号化依存性階層の一例を示す図である。
【図３】スケーラブルビデオストリームの符号化依存性階層の別の例を示す図である。
【図４】FGSレイヤを伴うスケーラブルビデオストリームの符号化依存性階層の一例を示す図である。
【図５】図4の依存階層の変形例として、スケーラブルビデオストリームの符号化依存性階層の一例を示す図である。
【図６】スケーラブルビデオストリームの符号化依存性階層のさらに別の例を示す図である。
【図７】ある実施形態における符号化デバイスの簡略化したブロック図である。
【図８】ある実施形態における復号化デバイスの簡略化したブロック図である。
【図９】好適な実施形態によるモバイル通信デバイスのブロック図である。
【図１０】本発明の適用が可能であるビデオ通信システムを示す図である。
【図１】
2008544615.tif 000009
【図２】
2008544615.tif 000010
【図３】
2008544615.tif 000011
【図４】
2008544615.tif 000012
【図５】
2008544615.tif 000013
【図６】
2008544615.tif 000014
【図７】
2008544615.tif 000015
【図８】
2008544615.tif 000016
【図９】
2008544615.tif 000017
【図１０】
2008544615.tif 000018
【国際調査報告】
2008544615.tif 000019
2008544615.tif 000020
2008544615.tif 000021