(57)【要約】本発明は、ビデオ・コンテンツを新規な時間的レイヤー化された符号化構造にエンコードするための方法および装置を提供する。本発明のある実施形態では、複数のサブシーケンス・レイヤーが本発明に基づくレイヤー階層において定義される。あるグループの画像のうちあるサブシーケンスに含まれる複数の画像が、選択的に、一つの個別のサブシーケンス・レイヤーに割り当てられる。階層的に最低位のサブシーケンス・レイヤーを含み連続的なサブシーケンス・レイヤーの任意の組み合わせに含まれる画像のグループ化は、時間的に実質的に等間隔の一群の画像を与える。時間的レイヤー化されたビデオ・コンテンツをデコードするための関係する方法および装置も開示される。
2009506626.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・コンテンツを時間的レイヤー化された符号化構造にエンコードする方法であって：
レイヤー階層構造における複数のサブシーケンス・レイヤーを定義する段階と；
一群の画像のサブシーケンス内の複数の画像のそれぞれを、選択的に、前記複数のサブシーケンス・レイヤーのうちの個別の一つに割り当てて、前記複数のサブシーケンス・レイヤーのうち階層的に最低位のものを含む諸サブシーケンス・レイヤーの任意の連続的な組み合わせに含まれる画像のグループ化が時間的に実質的に等間隔の画像のグループを与えるようにする段階とを有する方法。
【請求項２】
各非イントラ画像の予測を、前記レイヤー階層構造においてその非イントラ画像を含むサブシーケンス・レイヤーと同じまたはより低位のサブシーケンス・レイヤーに割り当てられている、前記複数の画像のうちの一つまたは複数のみから行う段階をさらに有する、請求項１記載の方法。
【請求項３】
イントラ画像（I画像）を前記階層的に最低位のサブシーケンス・レイヤーにのみ割り当てることをさらに含む、請求項１記載の方法。
【請求項４】
前記I画像が時間的に実質的に等間隔である、請求項３記載の方法。
【請求項５】
予測画像（P画像）を前記複数のサブシーケンス・レイヤーのうち、前記レイヤー階層構造において最低位のサブシーケンス・レイヤーより１レベル上の二番目のサブシーケンス・レイヤーに割り当てることをさらに含む、請求項３記載の方法。
【請求項６】
前記I画像および前記P画像が、時間的に実質的に等間隔な画像のグループを形成する、請求項５記載の方法。
【請求項７】
I画像およびP画像からなるグループから選択される画像からのみ予測される、第一の集合の双方向画像（BR画像）を選択する段階と；
該BR画像を、前記レイヤー階層構造において前記二番目のサブシーケンス・レイヤーより１レベル上の三番目のサブシーケンス・レイヤーに割り当てる段階とをさらに含む、請求項５記載の方法。
【請求項８】
前記I画像、前記P画像および前記BR画像が、時間的に実質的に等間隔な画像のグループを形成する、請求項７記載の方法。
【請求項９】
I画像、P画像およびBR画像からなるグループから選択される画像からのみ予測される、第二の集合の双方向画像（BU画像）を選択する段階と；
該BU画像を、前記レイヤー階層構造において前記三番目のサブシーケンス・レイヤーより１レベル上の四番目のサブシーケンス・レイヤーに割り当てる段階とをさらに含む、請求項７記載の方法。
【請求項１０】
前記BU画像が、前記四番目のサブシーケンス・レイヤーにおいて時間的に実質的に等間隔である、請求項９記載の方法。
【請求項１１】
サブシーケンス・レイヤー階層の構造情報を、サブシーケンス情報（SEI）メッセージ、サブシーケンス・レイヤー特性SEIメッセージおよびビデオ可用性情報（VUI）メッセージからなる群から選択される少なくとも一つのメッセージにおいて提供する段階をさらに有しており、前記レイヤー階層の構造情報は、時間的レイヤー化された符号化構造を示す、請求項１記載の方法。
【請求項１２】
時間的レイヤー化されたビデオ・コンテンツをデコードする方法であって：
サブシーケンス・レイヤー階層の構造情報に基づいて、サブシーケンス・レイヤーのうち選択されたものをデコードする段階を有しており、選択されたサブシーケンス・レイヤーは、サブシーケンス・レイヤーのうち階層的に最低位のものを含み、連続する諸サブシーケンス・レイヤーの組み合わせである、方法。
【請求項１３】
前記サブシーケンス・レイヤー階層の構造情報は、何らかのサブシーケンス・レイヤーからの画像の予測を、そのサブシーケンス・レイヤーがその画像を含むサブシーケンス・レイヤーよりレイヤー階層において上にある場合には常に禁止する、請求項１２記載の方法。
【請求項１４】
前記の選択的にデコードされたサブシーケンス・レイヤーを処理して、早送りおよび早戻しからなる群から選択されるトリック再生の少なくとも一つのモードを実装する段階をさらに有する、請求項１２記載の方法。
【請求項１５】
ビデオ・コンテンツを時間的レイヤー化された符号化構造にエンコードするための、プロセッサおよびメモリを有するビデオ・エンコーダであって、レイヤー階層構造における複数のサブシーケンス・レイヤーを定義し、一群の画像のサブシーケンス内の複数の画像のそれぞれを、選択的に、前記複数のサブシーケンス・レイヤーのうちの個別の一つに割り当てて、前記複数のサブシーケンス・レイヤーのうち階層的に最低位のものを含む諸サブシーケンス・レイヤーの任意の連続的な組み合わせに含まれる画像のグループ化が時間的に実質的に等間隔の画像のグループを与えるようにするよう適応されている、ビデオ・エンコーダ。
【請求項１６】
各非イントラ画像の予測を、前記レイヤー階層構造においてその非イントラ画像を含むサブシーケンス・レイヤーと同じまたはより低位のサブシーケンス・レイヤーに割り当てられている、前記複数の画像のうちの一つまたは複数のみから行う、請求項１５記載のビデオ・エンコーダ。
【請求項１７】
イントラ画像（I画像）を前記階層的に最低位のサブシーケンス・レイヤーにのみ割り当てる、請求項１５記載のビデオ・エンコーダ。
【請求項１８】
前記I画像が時間的に実質的に等間隔である、請求項１７記載のビデオ・エンコーダ。
【請求項１９】
予測画像（P画像）を前記複数のサブシーケンス・レイヤーのうち、前記レイヤー階層構造において最低位のサブシーケンス・レイヤーより１レベル上の二番目のサブシーケンス・レイヤーに割り当てる、請求項１７記載のビデオ・エンコーダ。
【請求項２０】
前記I画像および前記P画像が、時間的に実質的に等間隔な画像のグループを形成する、請求項１９記載のビデオ・エンコーダ。
【請求項２１】
I画像およびP画像からなるグループから選択される画像からのみ予測される、第一の集合の双方向画像（BR画像）を選択し、該BR画像を、前記レイヤー階層構造において前記二番目のサブシーケンス・レイヤーより１レベル上の三番目のサブシーケンス・レイヤーに割り当てる、請求項１９記載のビデオ・エンコーダ。
【請求項２２】
前記I画像、前記P画像および前記BR画像が、時間的に実質的に等間隔な画像のグループを形成する、請求項２１記載のビデオ・エンコーダ。
【請求項２３】
I画像、P画像およびBR画像からなるグループから選択される画像からのみ予測される、第二の集合の双方向画像（BU画像）を選択し、該BU画像を、前記レイヤー階層構造において前記三番目のサブシーケンス・レイヤーより１レベル上の四番目のサブシーケンス・レイヤーに割り当てる、請求項２１記載のビデオ・エンコーダ。
【請求項２４】
前記BU画像が、前記四番目のサブシーケンス・レイヤーにおいて時間的に実質的に等間隔である、請求項２３記載のビデオ・エンコーダ。
【請求項２５】
サブシーケンス・レイヤー階層の構造情報を、サブシーケンス情報（SEI）メッセージ、サブシーケンス・レイヤー特性SEIメッセージおよびビデオ可用性情報（VUI）メッセージからなる群から選択される少なくとも一つのメッセージにおいて提供するメッセージ発生器を有しており、前記レイヤー階層の構造情報は、時間的レイヤー化された符号化構造を示す、請求項１５記載のビデオ・エンコーダ。
【請求項２６】
時間的レイヤー化されたビデオ・コンテンツをデコードするための、プロセッサおよびメモリを有するビデオ・デコーダであって、サブシーケンス・レイヤー階層の構造情報に基づいて、サブシーケンス・レイヤーのうち選択されたものをデコードするよう適応されており、選択されたサブシーケンス・レイヤーは、サブシーケンス・レイヤーのうち階層的に最低位のものを含み、連続する諸サブシーケンス・レイヤーの組み合わせである、ビデオ・デコーダ。
【請求項２７】
前記サブシーケンス・レイヤー階層の構造情報は、何らかのサブシーケンス・レイヤーからの画像の予測を、そのサブシーケンス・レイヤーがその画像を含むサブシーケンス・レイヤーよりレイヤー階層において上にある場合には常に禁止する、請求項２６記載のビデオ・デコーダ。
【請求項２８】
前記の選択的にデコードされたサブシーケンス・レイヤーを処理して、早送りおよび早戻しからなる群から選択されるトリック再生の少なくとも一つのモードを実装する請求項２６記載のビデオ・デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概括的にはデジタル・ビデオ信号に関し、より詳細にはビデオ・コンテンツのエンコードおよびデコードに関する。
【背景技術】
【０００２】
ビデオ・コンテンツは、該ビデオ・コンテンツを保存するのに必要な記憶容量を最小化し、該ビデオ・コンテンツをコンテンツ視聴者に送信するために必要な帯域幅の量を最小化するために、しばしば圧縮フォーマットでデジタル的にエンコードされる。人気のあるビデオ圧縮規格は、確立されたMPEG-2フォーマットおよびより新しいJVT/H.264/MPEG  AVC（以下「H.264」）フォーマットである。
【０００３】
画像全体をエンコードすることによってビデオを圧縮するMPEG-2とは対照的に、H.264は、画像ピクセルのマクロブロックまたはスライスを圧縮することによってビデオを圧縮する。特に、H.264はツリー構造の階層的マクロブロック区分を使う。たとえば、16×16ピクセルのマクロブロックは大きさ16×8、8×16または8×8のマクロブロック区分に分解されうる。8×8ピクセルのマクロブロック区分はサブマクロブロックとしても知られる。サブマクロブロックは、大きさ8×4、4×8または4×4のサブマクロブロック区分にさらに分解されてもよい。H.264エンコーダは、圧縮効率と主観的な品質を最大化するために、マクロブロックを区分およびサブマクロブロック区分にどのように分割するかを選択しうる。使用される分割アルゴリズムは、特定のマクロブロックの特性に基づく。
【０００４】
H.264のもう一つの顕著な特徴は、補足向上情報（SEI:  supplemental  enhancement  information）およびビデオ可用性情報（VUI:  video  usability  information）を提供することである。これらは、広範な目的のためにビデオの使用を向上させるためにビデオ・ビットストリームに挿入できる追加的な情報である。SEIの例としては、サブシーケンス情報SEIメッセージ、サブシーケンス・レイヤー特性SEIメッセージおよびサブシーケンス特性SEIメッセージが含まれる。
【０００５】
サブシーケンス情報SEIメッセージは、サブシーケンス・レイヤーおよびサブシーケンスからなるデータ依存性階層における、ある映像の位置を示すのに使われる。サブシーケンス・レイヤーは、あるサブシーケンス中の符号化された映像の部分集合を含み、非負の整数で番号付けられている。大きなレイヤー番号をもつレイヤーほど、より小さなレイヤー番号をもつレイヤーよりも高位のレイヤーである。サブシーケンスとは、あるサブシーケンス・レイヤー内の符号化された映像の集合である。映像は、一つのサブシーケンス内にしか存在せず、サブシーケンスは、そのサブシーケンスに属さないいかなる映像からも独立してデコードできる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
標準的なH.264レイヤー化階層は、MPEG-2のような他のビデオ圧縮規格に比べて大きなビデオ圧縮を可能にするが、予測方式は複雑である。たとえば、予測画像（P画像）は実際に双方向画像（B画像）から予測されうる。よって、H.264エンコードされたビデオ・ビットストリームに対して早送りや早戻しのトリック・モードが実行されているときでさえ、すべての画像がデコードされる必要があるかもしれない。そうしたデコードに十分な高速デコードを提供するのに十分強力なビデオ・プロセッサは高価である。よって、低コストのビデオ・プロセッサを使って実行されるべき早送りおよび早戻しを可能にする解決策が必要とされている。
【課題を解決するための手段】
【０００７】
本発明に基づくある実施形態は、ビデオ・コンテンツを時間的レイヤー化された符号化構造にエンコードするための方法および装置を含む。あるレイヤー階層構造において複数のサブシーケンス・レイヤーが定義されることができる。一群の画像のあるサブシーケンス内の複数の画像が、選択的に個々のサブシーケンス・レイヤーに割り当てられることができる。サブシーケンス・レイヤーのうち階層的に最低位のものを含むサブシーケンス・レイヤーの任意の連続的な組み合わせに含まれる画像のグループ化は、時間的に実質的に等間隔の画像のグループに帰結することができる。
【０００８】
非イントラ画像の予測は、レイヤー階層においてその非イントラ画像を含むサブシーケンス・レイヤーと同じまたはより低位のサブシーケンス・レイヤーに割り当てられている複数の画像のうちの一つまたは複数のみからできる。イントラ画像（I画像）は、階層的に最低位のサブシーケンス・レイヤーにのみ割り当てられることができ、時間的に実質的に等間隔であることができる。予測画像（P画像）は、サブシーケンス・レイヤーのうち、レイヤー階層において最低位のサブシーケンス・レイヤーより１レベル上の二番目のサブシーケンス・レイヤーに割り当てられることができる。I画像およびP画像は、時間的に実質的に等間隔な画像のグループを形成できる。
【０００９】
双方向画像（BR画像）の第一の集合は、該BR画像が、I画像およびP画像からなるグループから選択される画像からのみ予測されるように選択されることができる。該BR画像は、レイヤー階層において二番目のサブシーケンス・レイヤーより１レベル上の三番目のサブシーケンス・レイヤーに割り当てられることができる。I画像、P画像およびBR画像も、時間的に実質的に等間隔な画像のグループを形成できる。
【００１０】
双方向画像（BU画像）の第二の集合も選択できる。BU画像は、I画像、P画像およびBR画像からなるグループから選択される画像からのみ予測されることができる。該BU画像はサブシーケンス・レイヤーのうち第四のサブシーケンス・レイヤーに割り当てられることができる。第四のサブシーケンス・レイヤーは、レイヤー階層において第三のサブシーケンス・レイヤーより１レベル上でありうる。BU画像は、第四のサブシーケンス・レイヤーにおいて、時間的に実質的に等間隔であることができる。サブシーケンス・レイヤー階層の構造情報は、サブシーケンス情報（SEI）メッセージ、サブシーケンス・レイヤー特性SEIメッセージおよび／またはビデオ可用性情報（VUI）メッセージにおいて提供されることができる。レイヤー階層の構造情報は、時間的レイヤー化された符号化構造を示すことができる。
【００１１】
本発明は、時間的レイヤー化されたビデオ・コンテンツをデコードするための方法および装置をも含む。サブシーケンス・レイヤーのうち選択されたものは、サブシーケンス・レイヤー階層の構造情報に基づいてデコードされることができる。選択されたサブシーケンス・レイヤーは、サブシーケンス・レイヤーのうち階層的に最低位のものを含み、連続する諸サブシーケンス・レイヤーの組み合わせであることができる。サブシーケンス・レイヤー階層の構造情報は、何らかのサブシーケンス・レイヤーからのある画像の予測を、そのサブシーケンス・レイヤーがその画像を含むサブシーケンス・レイヤーよりレイヤー階層において上にある場合には常に禁止することができる。選択的にデコードされたサブシーケンス・レイヤーは、早送りおよび／または早戻しのトリック再生を実装するために処理されることができる。
【００１２】
本発明の好ましい実施形態について、以下で、付属の図面を参照しつつ、より詳細に述べる。
【００１３】
図面は本発明の概念を例解する目的のためであり、必ずしも本発明を例解するための唯一の可能な構成ではないことは理解しておくべきである。理解を助けるため、複数の図に共通な同一要素を指示するには、可能な場合には同一の参照符号を使った。
【発明を実施するための最良の形態】
【００１４】
本発明は、符号化画像の時間的レイヤー化を使ってビデオ・デコーダ上でトリック再生をサポートするための方法および装置を提供することによって、従来技術の欠点に対処する。特に、画像は、レイヤー階層において定義されるサブシーケンス・レイヤーにエンコードされ、第一のレイヤー0で始まるサブシーケンス・レイヤーのいかなる連続的な組み合わせも、時間的に実質的に等間隔の一群の画像を与えるようにすることができる。よって、エンコードされたビデオ・ストリームに含まれるサブシーケンス・レイヤーの総数よりも少ないサブシーケンス・レイヤーを使って、高品質のビデオ・トリック再生が達成できる。使われないサブシーケンス・レイヤーはデコードする必要がない。したがって、高品質のビデオ・トリック再生を提供するために必要とされるビデオ処理の量が最小化できる。
【００１５】
たとえば、４サブシーケンス・レイヤー方式において、レイヤー0、1および2がデコードされ、組み合わされることで、レイヤー3のデコードを必要とすることなく、通常の再生スピードの約２倍のスピードでの高品質再生を提供できる。同様に、レイヤー0および1がデコードされ、組み合わされることで、レイヤー2および3はエンコードされたままであってよいながら、通常の再生スピードの約４倍のスピードでの高品質再生を提供できる。レイヤー0だけをデコードすることで、通常の再生スピードの約８倍のスピードでの高品質再生を提供できる。
【００１６】
補足向上情報（SEI）およびビデオ可用性情報（VUI）がビデオ・ビットストリーム内で提供されることができる。SEIおよびVUIは、ビデオ・ビットストリームのデコードを最適化するためにデコーダによって使用されうる情報を含むことができる。たとえば、SEIおよび／またはVUIは、デコーダに対して、ビデオ・ビットストリームのエンコードに使われている時間的レイヤー符号化の構造を示すことができる。デコーダはそのSEIおよび／またはVUIを処理して、特定の早送りまたは早戻しスピードのためにどのサブシーケンス・レイヤーをデコードするかを選択できる。にもかかわらず、使用されるエンコード方式は、H.264のような所望の規格に準拠したままでありうる。よって、SEIおよびVUIを処理するようプログラムされていないデコーダは、そのような情報は無視し、通常の仕方でビデオ・ビットストリームをデコードしうる。
【００１７】
図１を参照すると、複数のサブシーケンス・レイヤー１０４、１０６、１０８、１１０に含まれる画像のグループ１０２を描いたテーブル１００が示されている。サブシーケンス・レイヤー１０４、１０６、１０８、１１０は、レイヤー階層をなして配列されている。たとえば、テーブル１００は、４つのサブシーケンス・レイヤーを含み、これを例示的にレイヤー0、レイヤー1、レイヤー2およびレイヤー3としている。にもかかわらず、本発明はこの点に関して限定されるものではなく、テーブル１００は、４つより多いまたは少ないサブシーケンス・レイヤーを含むことができる。たとえば、テーブル１００は、３つのサブシーケンス・レイヤー、５つのサブシーケンス・レイヤー、６つのサブシーケンス・レイヤーあるいは他の任意の数のサブシーケンス・レイヤーを含むことができる。
【００１８】
レイヤー0は、イントラ符号化された映像またはスライス（以下、「I画像」）１１０を含む。これは、画像のグループ１０２を通じて時間的に実質的に等間隔である。たとえば、画像番号0、12および24がレイヤー0上のI画像としてエンコードされることができる。８倍速の早送りまたは早戻し再生が開始されると、そのようなトリック再生はレイヤー0のみをデコードすることによって実装できる。こうして、８倍速の早送りまたは早戻し再生を実装するためにはレイヤー1、レイヤー2またはレイヤー3をデコードすることは必要とされず、必要とされるビデオ処理の量が最小化される。
【００１９】
例示的に、レイヤー1は、予測画像またはスライス（以下、「P画像」）１１２を含む。P画像は、レイヤー0およびレイヤー1がデコードされてビデオ・ビットストリームに組み合わされるとき、レイヤー0とレイヤー1の画像の組み合わせが画像のグループ１０２を通じて時間的に実質的に等間隔となるように、時間的に離間されている。たとえば、画像番号4、8、16および20がP画像としてエンコードされることができる。よって、レイヤー0およびレイヤー1の組み合わせは画像番号1、4、8、12、16、20および24を含む。
【００２０】
レイヤー1上のP画像１１２のそれぞれは、レイヤー0上のI画像１１０から、あるいはレイヤー1上の別のP画像から予測できる。したがって、レイヤー0およびレイヤー1の画像１１０、１１２を表示するためにデコードされる必要があるのは、レイヤー0およびレイヤー1だけである。こうして、４倍速の早送りまたは早戻し再生が開始されると、そのようなトリック再生はレイヤー2およびレイヤー3のデコードを必要とすることなく実装できる。
【００２１】
図１では、レイヤー2は基準（reference）双方向画像（BR画像）１１４を含んでいる。BR画像１１４は、レイヤー3上のBU画像またはレイヤー2上の他のBR画像１１４を予測するために使うことができる。BR画像１１４において、ネットワーク抽象化層（NAL:  network  abstraction  layer）ヘッダ内のnal_ref_idcが0でない値に設定されることができる。BR画像１１４の時間的離間は、レイヤー0、レイヤー1およびレイヤー2がデコードされ、ビデオ・ビットストリームに組み合わされるときに、これらのレイヤーの画像の組み合わせが画像のグループ１０２を通じて時間的に実質的に等間隔となるようになっている。たとえば、画像番号2、6、10、14、18および22はP画像としてエンコードできる。したがって、レイヤー0、レイヤー1およびレイヤー2の組み合わせは、画像番号1、2、4、6、8、10、12、14、16、20、22および24を含むことができる。
【００２２】
レイヤー2上のBR画像１１４のそれぞれは、一つまたは二つの他の画像から予測されることができる。たとえば、各BR画像１１４は、レイヤー0上のI画像１１０、レイヤー1上のP画像１１２、レイヤー2上の別のBR画像１１４あるいはそのような画像の任意の対から予測できる。したがって、レイヤー0、レイヤー1およびレイヤー2の画像１１０、１１２、１１４を表示するためにデコードされる必要があるのは、レイヤー0、レイヤー1およびレイヤー2のみである。こうして、２倍速の早送りまたは早戻し再生が開始されると、そのようなトリック再生は、レイヤー3のデコードを必要とすることなく実装できる。
【００２３】
図１に描かれるように、レイヤー3はBU画像１１６を含むことができる。これは、他の仕方でエンコードされて他のレイヤーに含まれているのでない任意の画像でありうる。ある構成では、BU画像１１６は他の画像のための基準としては不使用（unused）でもよいが、本発明はこの点に関して限定されるものではない。他の画像のための基準として使われないBU画像のいずれにおいても、そのことを示すためにNALヘッダ中のnal_ref_idcを0に設定できる。BU画像１１６のそれぞれは、レイヤー0上のI画像１１０、レイヤー1上のP画像１１２、レイヤー2上の別のBR画像１１４、レイヤー3上の別のBU画像、あるいはそのような画像の任意の対から予測できる。各レイヤー１０４、１０６、１０８、１１０、すなわちレイヤー0、レイヤー1およびレイヤー3は、通常スピードでの順方向または逆方向の再生のためにデコードされることができる。
【００２４】
重要なことに、２倍速、４倍速および８倍速の早送りおよび早戻しトリック再生モードに加えて、ここに提示されるサブシーケンス・レイヤー化方式は、他の早送りおよび早戻しスピードを実装するためにも使うことができる。たとえば、３倍速のトリック再生スピードが望まれる場合、レイヤー0、レイヤー1およびレイヤー2がデコードされることができ、トリック再生中、これらのレイヤーに含まれる画像のうちの選ばれた画像がスキップされ、２倍速よりも速い再生を呈することができる。あるいはまた、レイヤー0およびレイヤー1は、レイヤー2およびレイヤー3をデコードすることなくデコードできる。レイヤー0および／またはレイヤー1上の選択された画像を反復することで、４倍速よりも遅い再生スピードを呈することができる。画像のスキップおよび／または反復は、所望のトリック再生スピードを達成するためにいかなる好適な仕方で実装されることもできる。
【００２５】
図２は、本発明のある実施形態に基づくビデオ・エンコード方式のフローチャートを描いている。図２の方法２００は、ビデオ・ストリームが与えられるステップ２０５で始まる。ステップ２１０では、第一のグループの画像が選択される。ステップ２１５に進み、該グループの画像のうちの最初の画像がI画像としてエンコードされる。ステップ２２０では、該最初の画像に続く第一の画像サブシーケンスが選択される。ステップ２２５に進み、選択された画像サブシーケンス中の各画像がエンコードされて、時間的レイヤー化された符号化構造（temporal  layered  coding  structure）、たとえば図１に描かれた構造が生じる。
【００２６】
判断ボックス２３０およびステップ２３５を参照すると、画像のグループの終わりに達していなければ、次の画像サブシーケンスが選択される。その画像のグループの終わりに達するまでステップ２２５および２３５が繰り返される。次いでサブシーケンス・レイヤー階層の構造情報が、その画像のグループに関連付けられたSEIおよび／またはVUIメッセージ中で与えられることができる。これがステップ２４０に示されている。判断ボックス２４５およびステップ２５０を参照すると、まだビデオ・ストリームの終わりに達していなければ、次の画像のグループが選択され、前記プロセスが繰り返される。ビデオ・ストリームの終わりに達していれば、ステップ２５５で、本方法は終了する。
【００２７】
図３は、本発明のある代替的な実施形態に基づく、レイヤー階層に配列された複数のサブシーケンス・レイヤーのテーブルを描いている。図３に示されるテーブル３００は、画像のグループ１０２をサブシーケンス・レイヤー１０４、１０６、１０８、１１０にエンコードするのに使うことのできるエンコード順の例を描いている。画像のグループ１０２は、サブシーケンス３０２に分解されるが、ここで各サブシーケンスがI画像１１０またはP画像１１２を含む。各サブシーケンス３０２について、I画像１１０またはP画像１１２がエンコードされる最初の画像となれる。図のように、I画像１１０はレイヤー0にエンコードされる。次いでP画像１１２がレイヤー1にエンコードされる。各P画像３１２は、I画像３１０または別のP画像３１２から予測できる。さらに、基準I画像３１０またはP画像３１２は、エンコードされているP画像３１２より時間的に前または後に位置されることができる。次いで各サブシーケンス３０２中のBR画像１１４がレイヤー2にエンコードされる。次に、BU画像１１６がレイヤー3にエンコードされる。ある構成では、BR画像１１４およびBU画像１１６は、同じサブシーケンス３０２内の他の画像からのみ予測できる。しかしながら、本発明はこの点に関して限定されるものではなく、BR画像１１４およびBU画像１１６は、他のサブシーケンス３０２中の画像から予測することもできる。
【００２８】
図４は、本発明のある実施形態に基づくビデオ・エンコード・システムの高レベルのブロック図を描いている。図４のビデオ・エンコード・システム４００は、例示的に、デジタル信号プロセッサ（DSP）４０５およびデータ記憶（data  store）４１０を有している。データ記憶４１０は一つまたは複数のデータ記憶デバイスを含む。たとえば、データ記憶デバイスは、ハードディスクドライブ（HDD）のような磁気記憶媒体、デジタルビデオディスク（DVD）のような光記憶媒体、ランダムアクセスメモリ（RAM）のような電子記憶媒体、光磁気記憶媒体または他の任意の好適な記憶デバイスであることができる。あるいはまた、データ記憶４１０は、記憶デバイスのいかなる組み合わせを含むこともできる。データ記憶４１０は、ビデオ・エンコードを実装するためにDSP４０５によって実行可能なプログラム・コードを保存するために使われる。
【００２９】
DSP４０５は、デジタル・ビデオ信号を処理するために好適な任意のプロセッサを含む。図４のDSP４０５は、入力ビデオ・ビットストリーム４２５をエンコードして時間的レイヤー化を有するエンコードされたビデオ・ビットストリーム４３０にするビデオ・エンコーダ４１５を含む。たとえば、ビデオ・エンコードされたビデオ・ビットストリーム４３０がH.264ビデオ・ビットストリームである場合、ビデオ・エンコーダ４１５は、本項記載のエンコード方法を実装するH.264ビデオ・エンコーダであることができる。にもかかわらず、本発明はこの点に関して限定されるものではなく、他のいかなる好適なビデオ・エンコーダを使うこともできる。
【００３０】
図４のDSP４０５はまた、SEI/VUIメッセージ発生器４２０をも含む。SEI/VUIメッセージ発生器４２０は、先述したSEIおよび／またはVUIメッセージを発生させ、そのようなメッセージをビデオ・エンコーダ４１５に通信する。ビデオ・エンコーダ４１５は、発生されたメッセージを、エンコードされたビデオ・ビットストリーム４３０中に含める。メッセージは、ビデオ・エンコード・プロセスの間に、あるいはビデオがエンコードされたあとにビデオ・ビットストリーム４３０に挿入されることができる。
【００３１】
図５は、本発明のある実施形態に基づくビデオ・デコード・システムの高レベルのブロック図を描いている。図５のビデオ・デコード・システム５００は、例示的に、ビデオ・デコーダ５０５およびデータ記憶５１０を有する。ビデオ・デコーダ５０５は、エンコードされたビデオ・ビットストリーム４３０に対応するデコード方式に基づいて、エンコードされたビデオ・ストリーム４３０に含まれるサブシーケンス・レイヤーのうち選択されたものを選択的にデコードする。さらに、ビデオ・デコーダ５０５は、どのサブシーケンス・レイヤーをデコードするか、たとえばレイヤー0か、レイヤー0と1か、レイヤー0、1および2かなどを選択するために、SEIおよび／またはVUIメッセージを処理する。デコードされたビデオ・ビットストリームは次いで視聴のためにディスプレイ５１５に通信されることができる。
【００３２】
データ記憶５１０は一つまたは複数のデータ記憶デバイスを含む。たとえば、データ記憶デバイスは、ハードディスクドライブ（HDD）のような磁気記憶媒体、デジタルビデオディスク（DVD）のような光記憶媒体、ランダムアクセスメモリ（RAM）のような電子記憶媒体、光磁気記憶媒体または他の任意の好適な記憶デバイスであることができる。あるいはまた、データ記憶５１０は、記憶デバイスのいかなる組み合わせを含むこともできる。データ記憶５１０は、ビデオ・デコードを実装するためにビデオ・デコーダ５０５によって実行可能なプログラム・コードを保存するために使われる。
【００３３】
図６は、図４のビデオ・エンコード・システム４００および図５のビデオ・デコード・システム５００で使うのにそれぞれ好適なビデオ・エンコーダ４１５またはビデオ・デコーダ５０５の実施形態の高レベルのブロック図を描いている。図６のビデオ・エンコーダ／デコーダ６００は、プロセッサ６１０のほか、プログラム、アルゴリズムなどを記憶するためのメモリ６２０を有する。プロセッサ６１０は、電源、クロック回路、キャッシュメモリなどの通常の補助回路６３０ならびにメモリ６２０に保存されているソフトウェア・ルーチンの実行において支援する回路と協働する。よって、本稿でソフトウェア・プロセスとして論じるプロセス・ステップの一部は、ハードウェア内で、たとえばさまざまなステップを実行するためにプロセッサ６１０と協働する回路として実装されてもよいことが考えられている。ビデオ・エンコーダ／デコーダ６００はまた、該ビデオ・エンコーダ／デコーダ６００と通信するさまざまな個別の機能要素間のインターフェースをなす入出力回路６４０をも含む。
【００３４】
図６のビデオ・エンコーダ／デコーダ６００は、本発明に基づくさまざまな制御機能を実行するようプログラムされた汎用コンピュータとして描かれているが、本発明は、ハードウェアにおいて、たとえば特定用途向け集積回路（ASIC）として実装されることもできる。よって、本項に記載のプロセス・ステップは、ソフトウェア、ハードウェアまたはそれらの組み合わせによって等価に実行されるものと広く解釈されることが意図されている。
【００３５】
本発明はまた、本項記載の諸方法の実装を可能にするすべての特徴を有し、処理システムにロードされると該方法を実行できるコンピュータ・プログラム・プロダクトに組み込まれることもできる。ここで、コンピュータ・プログラム、ソフトウェアまたはソフトウェア・アプリケーションは、情報処理機能をもつシステムをして特定の機能を実行させることが意図された命令の組の任意の言語、コードまたは記法における任意の表現を意味する。該実行は、直接に、あるいは次の一方または両方ののちにである：ａ）別の言語、コード、記法への変換；ｂ）異なる物質形態での再現。
【００３６】
以上は本発明の好ましい実施形態に向けられているが、本発明の基本的範囲から外れることなく、本発明の他の実施形態およびさらなる実施形態が考案されうる。したがって、本発明の範囲は付属の請求項によって決まるものである。
【図面の簡単な説明】
【００３７】
【図１】本発明のある実施形態に基づく、レイヤー階層に配列された複数のサブシーケンス・レイヤーのテーブルを描いた図である。
【図２】本発明のある実施形態に基づく、ビデオ・エンコード方式のフローチャートである。
【図３】本発明のある代替的な実施形態に基づく、レイヤー階層に配列された複数のサブシーケンス・レイヤーのテーブルを描いた図である。
【図４】本発明のある実施形態に基づく、ビデオ・エンコード・システムの高レベルのブロック図を描いた図である。
【図５】本発明のある実施形態に基づく、ビデオ・デコード・システムの高レベルのブロック図を描いた図である。
【図６】図４のビデオ・エンコード・システムおよび／または図５のビデオ・デコード・システムにおいてそれぞれ使用するために好適なビデオ・エンコーダまたはビデオ・デコーダのある実施形態の高レベルのブロック図である。
【図１】
2009506626.tif 000003
【図２】
2009506626.tif 000004
【図３】
2009506626.tif 000005
【図４】
2009506626.tif 000006
【図５】
2009506626.tif 000007
【図６】
2009506626.tif 000008
【国際調査報告】
2009506626.tif 000009
2009506626.tif 000010
2009506626.tif 000011