(57)【要約】ＭＰＥＧ−４ビデオ規格には、予測符号化スキームが含まれる。符号化スキームによって処理されるシーケンスにシーンの切れ目が起きると、シーンの切れ目に続く最初のビデオオブジェクトプレーン（ＶＯＰ）は、それを全く異なる前のＶＯＰから予測するのではなく、Ｉ−ＶＯＰとして符号化される。時間冗長度がある場合、エンハンスメントレイヤの２つのＶＯＰ間でシーンの切れ目が起きると、エンハンスメントレイヤにおける予測動作の際の時間基準を選択するための特定の規則が決められる。
2004515132.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスを受信し、上記ビデオシーケンスのビデオフレームに含まれるビデオオブジェクトに対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第１のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、上記ビデオシーケンス及び上記ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、上記ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダに使用し、上記ビデオシーケンスに適用するビデオ符号化方法であって、
（１）上記ビデオシーケンスを上記ビデオオブジェクトに分割するステップと、
（２）上記ビデオオブジェクトの連続ビデオオブジェクトプレーンを符号化するステップとを含み、
上記符号化ステップは、上記ビデオオブジェクトプレーンのテキスチャ及び形状を符号化するサブステップを含み、
上記テキスチャ符号化サブステップは、他のビデオオブジェクトプレーンを時間的に参照することなく符号化され、イントラ符号化又はＩ−ＶＯＰと称するビデオオブジェクトプレーンに対し予測を行わない第１の符号化動作と、過去又は未来のＩ−ＶＯＰ又はＰ−ＶＯＰのみを時間基準として使用して符号化され、予測符号化又はＰ−ＶＯＰと称するビデオオブジェクトプレーンに対し単一方向予測を行う第２の符号化動作と、過去及び未来のＩ−ＶＯＰ又はＰ−ＶＯＰの両方を時間基準として使用して符号化され、双方向予測符号化又はＢ−ＶＯＰと称するビデオオブジェクトプレーンに対し双方向の予測を行う第３の符号化動作を含み、
シーンに切れ目が生じ、上記エンハンスメントレイヤのビデオオブジェクトプレーンが、１つのシーンの上記ベースレイヤにおける最後のビデオオブジェクトプレーンと後続のシーンの上記ベースレイヤにおける最初のビデオオブジェクトプレーンとの間に位置するとき、上記エンハンスメントレイヤのビデオオブジェクトプレーンの上記時間基準は、特定の処理規則、即ち、
（Ａ）上記シーンの切れ目の前に位置するビデオオブジェクトプレーンに対し；（ａ）符号化の種類は制約されず、（ｂ）上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用することを禁じ、
（Ｂ）上記シーンの切れ目の直後に位置するビデオオブジェクトプレーンに対し；（ａ）Ｐ符号化が実行され、（ｂ）上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用し、
（Ｃ）上記シーンの切れ目の後に位置する他のビデオオブジェクトプレーンに対し：（ａ）符号化の種類は制約されず、（ｂ）上記ベースレイヤにおいて、表示順序で前のビデオオブジェクトプレーンを時間基準として使用することを禁じる規則に従って選択される符号化方法。
【請求項２】
コンピュータ読取り可能な媒体上に格納され、請求項１記載のビデオ符号化方法を実行するコンピュータ実行可能な処理ステップ。
【請求項３】
請求項１記載の符号化方法を実行する、ビデオエンコーダ用のコンピュータプログラム製品であって、
上記製品は、上記エンコーダ内に搭載されると、請求項１記載の符号化方法のステップを実行する１組の命令を含む製品。
【請求項４】
ビデオシーケンスを受信し、上記ビデオシーケンスのビデオフレームに含まれるビデオオブジェクトに対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第１のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、上記ビデオシーケンス及び上記ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、上記ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダであって、
（１）上記ビデオシーケンスを上記ビデオオブジェクトに分割する手段と、
（２）連続ビデオオブジェクトプレーンのテキスチャ及び形状を符号化する手段とを含み、
上記テキスチャ符号化手段は、他のビデオオブジェクトプレーンを時間的に参照することなく符号化され、イントラ符号化又はＩ−ＶＯＰと称するビデオオブジェクトプレーンに対し予測を行わない第１の符号化動作と、過去又は未来のＩ−ＶＯＰ又はＰ−ＶＯＰだけを時間基準として使用して符号化され、予測符号化又はＰ−ＶＯＰと称するビデオオブジェクトプレーンに対し単一方向予測を行う第２の符号化動作と、過去及び未来のＩ−ＶＯＰ又はＰ−ＶＯＰの両方を時間基準として使用し符号化され、双方向予測符号化又はＢ−ＶＯＰと称するビデオオブジェクトプレーンに対し双方向の予測を行う第３の符号化動作を行い、
上記エンコーダは、シーンに切れ目が生じ、上記エンハンスメントレイヤのビデオオブジェクトプレーンが、１つのシーンの上記ベースレイヤにおける最後のビデオオブジェクトプレーンと後続のシーンの上記ベースレイヤにおける最初のビデオオブジェクトプレーンとの間に位置するとき、上記エンハンスメントレイヤのビデオオブジェクトプレーンの上記時間基準は、特定の処理規則、即ち、
（Ａ）上記シーンの切れ目の前に位置するビデオオブジェクトプレーンに対し；（ａ）符号化の種類は制約されず、（ｂ）上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用することを禁じ、
（Ｂ）上記シーンの切れ目の直後に位置するビデオオブジェクトプレーンに対し；（ａ）Ｐ符号化が実行され、（ｂ）上記ベースレイヤにおいて、表示順序で次のビデオオブジェクトプレーンを時間基準として使用し、
（Ｃ）上記シーンの切れ目の後に位置する他のビデオオブジェクトプレーンに対し：（ａ）符号化の種類は制約されず、（ｂ）上記ベースレイヤにおいて、表示順序で前のビデオオブジェクトプレーンを時間基準として使用することを禁じる規則に従って選択されることを特徴とするエンコーダ。
【発明の詳細な説明】
【０００１】
［発明の属する技術分野］
本発明は一般的に、ビデオ圧縮に関連し、より詳細には、ビデオシーケンスに適用され、ビデオエンコーダに使用するために提供されるビデオ符号化方法に関する。ビデオエンコーダは、ビデオシーケンスを受信し、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第１のビットストリームを構成するベースレイヤ信号を生成するよう設けられるベースレイヤ符号化手段と、ビデオシーケンスと、ベースレイヤ信号の復号化されたバージョンを受信し、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含む。より詳細には、本発明は、ビデオシーケンスのＶＯの符号化を可能にする方法に関連し、本発明の方法は、以下のステップを含む。
（１）ビデオシーケンスをＶＯに分割するステップと、
（２）各ＶＯの連続ビデオオブジェクトプレーン（ＶＯＰ）を符号化するステップとを含み、
符号化ステップは、ＶＯＰのテキスチャ及び形状を符号化するサブステップを含み、テキスチャ符号化サブステップは、他のＶＯＰを時間的に参照することなく符号化され、イントラ符号化、又は、Ｉ−ＶＯＰと称するＶＯＰに対し予測を行わない第１の符号化動作と、過去又は未来のＩ−ＶＯＰ又はＰ−ＶＯＰだけを時間基準として使用して符号化され、予測符号化、又は、Ｐ−ＶＯＰと称するＶＯＰに対し単一方向予測を行う第２の符号化動作と、過去及び未来のＩ−ＶＯＰ又はＰ−ＶＯＰの両方を時間基準として使用して符号化され、双方向予測符号化、又は、Ｂ−ＶＯＰと称するＶＯＰに対し双方向の予測を行う第３の符号化動作を含む。
【０００２】
本発明は更に、コンピュータ読取り可能な媒体上に格納され、上述したような符号化方法を実行するよう提供されるコンピュータ実行可能な処理ステップと、対応するコンピュータプログラム製品、及び、符号化方法を実行するビデオエンコーダに関連する。
【０００３】
［発明の背景］
ＭＰＥＧ−４規格のエンコーダ（ＭＰＥＧ−４規格は、例えば、文書「Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ ＭＰＥＧ−４ Ｖｅｒｓｉｏｎ １ Ｓｔａｎｄａｒｄ」ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　Ｎ１９０９，１９９７年１０月，Ｆｒｉｂｏｕｒｇ）に説明される）では、３つの種類のピクチャが使用される。即ち、他のピクチャからは独立して符号化されるイントラ符号化（Ｉ）ピクチャ、動き補償予測によって過去の基準ピクチャ（Ｉ又はＰ）から予測される予測符号化（Ｐ）ピクチャ、及び、過去及び未来の基準ピクチャ（Ｉ又はＰ）から予測される双方向予測符号化（Ｂ）ピクチャが使用される。Ｉピクチャが最も重要である。なぜなら、Ｉピクチャは基準ピクチャであり、（ビットストリーム中における）アクセスポイントを与えることができるからである。アクセスポイントでは、前のピクチャを参照することなく、復号化を開始することができる（このようなピクチャでは、空間冗長度しか除去されていない）。空間冗長度及び時間冗長度の両方を縮小することにより、Ｐピクチャは、空間冗長度のみを縮小するＩピクチャに比べて良好な圧縮を提供する。Ｂピクチャは、最も高い圧縮度を提供する。
【０００４】
ＭＰＥＧ−４では、幾つかのストラクチャが使用され、例えば、ユーザがアクセスし操作することが可能にされるエンティティであるビデオオブジェクト（ＶＯ）、及び、所与の時間におけるビデオオブジェクトのインスタンスであるビデオオブジェクトプレーン（ＶＯＰ）が挙げられる。符号化されたビットストリームには、異なる種類のＶＯＰがある。即ち、空間冗長度のみを使用するイントラ符号化ＶＯＰ（最もビット数が必要となる）、過去の基準ＶＯＰからの動き推定及び補償を使用する予測符号化ＶＯＰ、及び、過去及び未来の基準ＶＯＰからの動き推定及び補償を使用する双方向予測符号化ＶＯＰがある。
【０００５】
Ｐ−ＶＯＰ及びＢ−ＶＯＰでは、現在のＶＯＰとその基準ＶＯＰ間の差のみが符号化される。Ｐ及びＢ−ＶＯＰのみに動き推定が関連し、動き推定は、いわゆる「ブロックマッチングアルゴリズム」によって実行される。即ち、ブロックマッチングアルゴリズムでは、現フレームの各マクロブロックに対し、基準ＶＯＰにおいて最も良好に適合するマクロブロックが所定の検索領域内において探され、動きベクトルＭＶが計算される。類似性の基準は、絶対差の和（ＳＡＤ）によって与えられる。Ｎ×Ｎのマクロブロックに対し、ＳＡＤは以下の通りに表される。
【０００６】
【数１】
2004515132.tif 000003
従って、選択されるマクロブロックは、検索領域において計算されるＳＡＤのうち最も小さいＳＡＤに対応するマクロブロックである。この推定には、フレームの種類に依存して異なるモードが存在する。
【０００７】
（ａ）Ｐ−ＶＯＰマクロブロックには、「前方向モード」（過去の基準Ｉ−ＶＯＰ又はＰ−ＶＯＰを使用する）のみが利用可能である。
【０００８】
（ｂ）Ｂ−ＶＯＰマクロブロックには、マクロブロック推定には４つのモードが利用可能である。即ち、
−「前方向モード」（Ｐ−ＶＯＰと同様）
−「逆方向モード」：前方向モードと同様であるが、過去からではなく、未来のＰ−又はＩ−ＶＯＰを基準とする
−「補間モード」又は「双方向モード」：前方向モードと逆方向モードを組合せ、過去及び未来の基準ＶＯＰを使用する
−「直接モード」：各動きベクトルが、未来の基準ＶＯＰの動きベクトルと、異なるＶＯＰ間の時間的な距離によって計算される。
【０００９】
ＭＰＥＧ−４では、重要な機能性、即ち、スケーラビリティが提供される。スケーラブル符号化は、「レイヤード符号化」とも知られるが、スケーラブルに復号できるような方法で、符号化表現を生成することを可能にする。スケーラビリティとは、ビットストリームの特性であって、復号化されるビットストリームのプロポーションに相応する分解能及び／又は品質を有する完全なピクチャを生成するよう適切なサブセットのデータを復号化することを可能にする。このような機能は、様々な分解能及び／又は品質及び／又は複雑さのビデオシーケンスが同時に利用可能であることが必要である多数のアプリケーションにおいて有用である。更に、ビットストリームがスケーラブルであると、１人のユーザはビットストリームの一部のみにアクセスし、ユーザ自身のデコーダ又はディスプレイに応じた、又は、利用可能な帯域幅に応じたベーシックビデオを供給し、一方、別のユーザは、良好なビデオ品質を生成することができるようビットストリーム全体を使用する。
【００１０】
幾つかの独立したビットストリームが符号化される解決策よりも符号化処理が少なくて済むスケーラビリティの利点は、少なくとも２つの異なるビットストリーム（そのうち、１つのビットストリームは、他のビットストリームよりも高いビットレートである）に分離可能なビットストリームを供給可能である点である。従って、各種のスケーラビリティは、１つ以上のレイヤが関連する。時間スケーラビリティの場合、下位レイヤ及び上位レイヤからなる少なくとも２つのレイヤが考慮される。下位レイヤは、ベースレイヤと称され、所与のフレームレートで符号化され、追加のレイヤはエンハンスメントレイヤと称され、ベースレイヤ中に欠落している情報を供給するよう符号化され（高いフレームレートを有するビデオ信号を形成するために）、従って、表示側において高い時間分解能を供給する。デコーダは、ビデオストリームを復号化するのに必要最小限であるデータ量に対応するベースレイヤのみを復号化しても、又は、エンハンスメントレイヤも（ベースレイヤに加えて）復号化してもよい。エンハンスメントレイヤは、エンハンスビデオ信号を供給するのに必要な追加のデータに対応する。デコーダは、高い分解能が望まれる場合は、１秒間当たりのフレーム数を増やして出力する。
【００１１】
上述したように、ＭＰＥＧ−４ビデオ規格は、予測符号化スキームを含む。従って、シーンの切れ目があるとき、シーンの切れ目の直後の最初のＶＯＰを、それとは全く異なる先行するＶＯＰから予測するのではなく、Ｉ―ＶＯＰとして符号化することがより効率的である。時間スケーラビリティの場合、問題はより複雑となる。なぜなら、シーンの切れ目は、エンハンスメントレイヤの２つのＶＯＰ間で発生する場合もあるが、その切れ目は、ベースレイヤにおいて依然として対処されなければならないからである。最初のＶＯＰが、各レイヤのＩ−ＶＯＰとして符号化されると、ビットを無駄遣いしてしまい、符号化効率が損なわれてしまう。
【００１２】
［発明の概要］
従って、本発明は、シーンの切れ目において符号化の効率が損なわれることを少なくする符号化方法を提案することを目的とする。
【００１３】
このために、本発明は、明細書の導入部分に記載されるような符号化方法に関連し、更に、シーンに切れ目が生じ、エンハンスメントレイヤのＶＯＰが、１つのシーンのベースレイヤにおける最後のＶＯＰと後続のシーンのベースレイヤにおける最初のＶＯＰの間に位置するとき、エンハンスメントレイヤのＶＯＰの時間基準が、以下の特定の処理規則に従って選択されることを特徴とする。この特定の処理規則は、即ち、
（Ａ）シーンの切れ目の前に位置するＶＯＰ：
（ａ）符号化の種類は制約されない；
（ｂ）ベースレイヤにおいて、表示順序で次のＶＯＰを時間基準として使用することを禁じる；
（Ｂ）シーンの切れ目の直後に位置するＶＯＰ：
（ａ）Ｐ符号化が実行される；
（ｂ）ベースレイヤにおいて、表示順序で次のＶＯＰを時間基準として使用する；
（Ｃ）シーンの切れ目の後に位置する他のＶＯＰ：
（ａ）符号化の種類は制約されない；
（ｂ）ベースレイヤにおいて、表示順序で前のＶＯＰを時間基準として使用することを禁じる。
【００１４】
この解決策の主な利点は、有効でないシーン間の予測を回避しながら、１つのイントラＶＯＰしか符号化しなくてよい点である。
【００１５】
本発明は更に、コンピュータ読取り可能な媒体に格納され、本発明のビデオ符号化方法を実行するよう与えられるコンピュータによって実施可能な処理ステップと、一連の命令を含むコンピュータプログラム製品に関連し、このコンピュータプログラム製品は、上述したようなエンコーダに搭載されると、本発明のステップを実行する。本発明は更に、ビデオシーケンスを受信し、そこから、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第１のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、ビデオシーケンスとベースレイヤ信号の復号化されたバージョンを受信し、そこから、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含むビデオエンコーダに関連する。このビデオエンコーダは、
（１）ビデオシーケンスをＶＯに分割する手段と、
（２）連続ビデオオブジェクトプレーン（ＶＯＰ）のテキスチャ及び形状を符号化する手段とを含み、
テキスチャ符号化手段は、他のＶＯＰに時間参照しないで符号化され、イントラ符号化又はＩ−ＶＯＰと称するＶＯＰに対し予測を行わない第１の符号化動作と、過去又は未来のＩ−又はＰ−ＶＯＰだけを時間基準として使用して符号化され、予測符号化又はＰ−ＶＯＰと称するＶＯＰに対し単一方向の予測を行う第２の符号化動作と、過去及び未来のＩ−又はＰ−ＶＯＰを時間基準として符号化され、双方向予測又はＢ−ＶＯＰと称するＶＯＰに対し双方向予測を行う第３の符号化動作とを行う。本発明のビデオエンコーダは、シーンに切れ目が生じ、エンハンスメントレイヤのＶＯＰが、１つのシーンのベースレイヤにおける最後のＶＯＰと後続のシーンのベースレイヤにおける最初のＶＯＰの間に位置するとき、エンハンスメントレイヤのＶＯＰの時間基準は、以下の特定の処理規則に従って選択されることを特徴とする。特定の処理規則とは、
（Ａ）シーンの切れ目の前に位置するＶＯＰ：
（ａ）符号化の種類は制約されない；
（ｂ）ベースレイヤにおいて、表示順序で次のＶＯＰを時間基準として使用することを禁じる；
（Ｂ）シーンの切れ目の直後に位置するＶＯＰ：
（ａ）Ｐ符号化が実行される；
（ｂ）ベースレイヤにおいて、表示順序で次のＶＯＰを時間基準として使用することを禁じる；
（Ｃ）シーンの切れ目の後に位置する他のＶＯＰ：
（ａ）符号化の種類は制約されない；
（ｂ）ベースレイヤにおいて、表示順序で前のＶＯＰを時間基準として使用することを禁じる。
【００１６】
［本発明の詳細な説明］
本発明を、添付図面を参照しながらより詳細に説明する。
【００１７】
上述したように、符号化されたビットストリームには、異なる種類のＶＯＰがある。即ち、イントラ符号化ＶＯＰ、予測符号化ＶＯＰ、及び、双方向予測符号化ＶＯＰがある。ＭＰＥＧ−４ビデオ規格は、予測符号化スキームであるので、イントラ符号化ＶＯＰ以外の各ＶＯＰに対し時間基準を決めなければならない。単一のレイヤの場合、又は、スケーラブルストリームのベースレイヤ（ＢＬ）において、時間基準は、図１に示すように規格によって独特の方法で決められる（ＴＲ１１、ＴＲ１２、ＴＲ１３）。反対に、ＭＰＥＧ−４ストリームの時間的なエンハンスメントレイヤ（ＥＬ）の場合、３つのＶＯＰを、動き予測のための可能な時間基準と考えてよい。即ち、エンハンスメントレイヤの最近に復号化されたＶＯＰ（ＴＲ２１、ＴＲ２２）、ベースレイヤの前のＶＯＰ（表示順序で）（ＴＲ２３、ＴＲ２４）、又は、ベースレイヤの次のＶＯＰ（表示順序で）（ＴＲ２５、ＴＲ２６）である。これらの３つの可能な選択肢は、図１において、時間的なエンハンスメントレイヤのＰ−ＶＯＰ及びＢ−ＶＯＢに対し示す（各矢印は、可能な時間基準に対応する）。即ち、エンハンスメントレイヤの各Ｐ−ＶＯＰに対しては１つの基準が選択されなければならず、エンハンスメントレイヤの各Ｂ−ＶＯＰに対しては２つの基準が選択されなければならない。
【００１８】
本発明を、図２を参照しながら説明する。理論的には、圧縮効率の制約を満たすためには、シーンの変更の度に、１つのＩ−ＶＯＰしか必要でない。ベースレイヤにおいて時間基準として選択できるものはないので、シーンの切れ目（シーンの切れ目は、図２中ＳＣとして示す）の後のベースレイヤにおける最初のＶＯＰをＩ−ＶＯＰとして符号化し、エンハンスメントレイヤでは、特に、１つのシーンのベースレイヤにおける最後のＶＯＰと、後続のシーンのベースレイヤにおける最初のＶＯＰの間に位置する全てのエンハンスメントＶＯＰに対し、シーン間のイントラ符号化及び予測を禁じるよう決められる。この符号化規則は以下に示す。
【００１９】
（１）シーンの切れ目の前に位置するＶＯＰ：（ａ）条件Ｃ１：符号化の種類は制約されず、（ｂ）条件Ｃ２：ベースレイヤにおける、表示順序で次のＶＯＰを時間基準として使用することが禁じられる。
【００２０】
（２）シーンの切れ目の直後に位置するＶＯＰ：（ａ）条件Ｃ３：Ｐ符号化が実行され、（ｂ）条件Ｃ４：そのＰ符号化は、ベースレイヤにおける、表示順序で次のＶＯＰを時間基準として使用する。
【００２１】
（３）シーンの切れ目の後に位置するその他のＶＯＰ：（ａ）条件Ｃ５：符号化の種類は制約されず、（ｂ）条件Ｃ６：ベースレイヤにおける、表示順序で前のＶＯＰを時間基準として使用することが禁じられる。
【００２２】
これらの３つの状況に関連付けられる６つの条件は、図２に示すが、Ｘは任意の種類の符号化のＶＯＰに対応する。図１と図２を比較することによって、シーンの切れ目の前に位置するＶＯＰに対し次のＶＯＰを使用しない条件である条件Ｃ２、ベースレイヤの次のＶＯＰを時間基準として使用する条件である条件Ｃ４、及び、ベースレイヤの前のＶＯＰを時間基準として使用しない条件である条件Ｃ６が明らかに満たされていることが分かる。
【００２３】
このように説明されるビデオ符号化方法は、ビデオエンコーダによって行われる。このビデオエンコーダは、ビデオシーケンスを受信し、そこから、ビデオシーケンスのビデオフレームに含まれるビデオオブジェクト（ＶＯ）に対応し、ビデオデコーダにベースレイヤビットレートで送信するのに好適な第１のビットストリームを構成するベースレイヤ信号を生成するベースレイヤ符号化手段と、ビデオシーケンス及びベースレイヤ信号の復号化されたバージョンを受信し、そこから、対応するベースレイヤ信号に関連付けられ、ビデオデコーダにエンハンスメントレイヤビットレートで送信するのに好適なエンハンスメントレイヤ信号を生成するエンハンスメントレイヤ符号化手段とを含む。このエンコーダは、ビデオシーケンスを、ＶＯに分割する手段と、各ＶＯの連続ビデオオブジェクトプレーン（ＶＯＰ）のテキスチャ及び形状を符号化する手段を含む。テキスチャ符号化手段は、３種類の符号化動作を行い、即ち、イントラ符号化又はＩ−ＶＯＰと称するＶＯＰに対し予測を行わない第１の符号化動作、予測符号化又はＰ−ＶＯＰと称するＶＯＰに対し単一方向の予測を行う第２の符号化動作、及び、双方向符号化又はＢ−ＶＯＰと称するＶＯＰに対し双方向予測を行う第３の符号化動作を行う。
【００２４】
本発明では、上述したエンコーダにおいて、シーンの切れ目が発生し、エンハンスメントレイヤのＶＯＰが、１つのシーンのベースレイヤにおける最後のＶＯＰと、後続のシーンのベースレイヤにおける最初のＶＯＰの間に位置するとき、エンハンスメントレイヤのＶＯＰの時間基準は、上述するように決められる処理規則に従って選択される。即ち、
（Ａ）シーンの切れ目の前に位置するＶＯＰ：符号化の種類は制約されず、ベースレイヤの次のＶＯＰを時間基準として使用することを禁じる。
【００２５】
（Ｂ）シーンの切れ目の直後に位置するＶＯＰ：Ｐ符号化時間が実行され、ベースレイヤの次のＶＯＰを時間基準として使用する。
【００２６】
（Ｃ）シーンの切れ目の後に位置する他のＶＯＰ：符号化の種類は制約されず、ベースレイヤの前のＶＯＰを時間基準として使用することを禁じる。
【００２７】
尚、本願に説明したビデオエンコーダは、ハードウェア又はソフトウェア、又は、ハードウェア及びソフトウェアの組合せによって実施可能であることを理解しなければならない。ビデオエンコーダは、任意の種類のコンピュータシステム、又は、上述した方法を実行するよう適応される他の装置によって実施可能である。ハードウェア及びソフトウェアの一般的な組合せとしては、コンピュータプログラムを有する汎用コンピュータシステムであってよく、コンピュータプログラムは、搭載されて実行されると、本願に説明した方法を実行するようコンピュータシステムを制御する。或いは、本発明の１つ以上の機能タスクを実行する特化されたハードウェアを含む特殊用途用コンピュータも使用可能である。本発明は、コンピュータプログラム媒体又は製品に組み込まれることも可能であり、媒体及び製品は、本願に説明する方法及び機能を実施することを可能にする特徴を全て含み、また、コンピュータシステムに搭載されると、これらの方法及び機能を実行できる。本発明は、そのようなコンピュータ読取り可能な媒体又は製品に格納され、上述したビデオ符号化方法を実行するよう設けられるコンピュータが実行可能な処理ステップに関連する。本発明のコンテキストにおけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品、又は、ソフトウェアは、直接的に、又は、（ａ）別の言語、コード、又は、表記への変換、及び／又は、（ｂ）異なるマテリアルフォームに再現した後に特定の機能を、情報処理能力を有するシステムに行わせる一連の命令を、任意の表現、言語、コード、又は、表記において意味するものである。
【００２８】
本発明の上述した説明は、例示及び説明目的のために提示されたものであり、本発明を、開示した正確な形式に制限するものではなく、上述の教示内容に従って、変更が可能である。このような変更は、当業者には明らかであり、それらは本発明の範囲内に含まれる。
【図面の簡単な説明】
【図１】
スケーラブルＭＰＥＧ−４ビデオストリームのベースレイヤ及びエンハンスメントレイヤにおける時間基準の選択を説明する図である。
【図２】
本発明の時間基準の選択処理用に決められる特定の規則を説明する図である。
【国際公開パンフレット】
2004515132.tif 000004
2004515132.tif 000005
2004515132.tif 000006
2004515132.tif 000007
2004515132.tif 000008
2004515132.tif 000009
2004515132.tif 000010
2004515132.tif 000011
2004515132.tif 000012
2004515132.tif 000013
2004515132.tif 000014
2004515132.tif 000015
2004515132.tif 000016
【国際公開パンフレット（コレクトバージョン）】
2004515132.tif 000017
【国際調査報告】
2004515132.tif 000018