(57)【要約】【課題】ビデオ信号を效率的にデコーディングするための方法を提供する。【解決手段】ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）基盤のビデオ信号デコーディング方法において、現在ブロックのためのレファレンスピクチャを示すピクチャ識別情報を得る段階と、前記レファレンスピクチャを用いて前記現在ブロックをデコーディングする段階と、を含み、ここで、基本レイヤレファレンスピクチャ及びそれに対応する拡張レイヤレファレンスピクチャは、同じピクチャ識別情報を有する。これにより、転送過程上のエラーによる映像信号の復号過程で発生する問題を最小化する。【選択図】図３
2009512268.tif 000002
【特許請求の範囲】
【請求項１】
ＦＧＳ基盤のビデオ信号デコーディング方法であって、
現在ブロックのためのレファレンスピクチャを示すピクチャ識別情報を得る段階と、
前記レファレンスピクチャを用いて前記現在ブロックをデコーディングする段階と、を含み、
基本レイヤレファレンスピクチャ及びそれに対応する拡張レイヤレファレンスピクチャは、同じピクチャ識別情報を持つ、ビデオ信号デコーディング方法。
【請求項２】
前記現在ブロックを含むピクチャがキーピクチャである場合、前記現在ブロックのためのレファレンスピクチャは、基本レイヤレファレンスピクチャまたはそれに対応する拡張レイヤレファレンスピクチャである、請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
ピクチャ識別情報に基づいてレファレンスピクチャリストから前記現在ブロックのためのレファレンスピクチャを得る段階をさらに含む、請求項１に記載のビデオ信号デコーディング方法。
【請求項４】
前記拡張レイヤレファレンスピクチャは、前記基本レイヤレファレンスピクチャよりも向上した画質を持つ、請求項１に記載のビデオ信号デコーディング方法。
【請求項５】
レファレンスピクチャリストを初期化する段階をさらに含む、請求項１に記載のビデオ信号デコーディング方法。
【請求項６】
前記初期化されたレファレンスピクチャリストを並べ替えする段階をさらに含む、請求項５に記載のビデオ信号デコーディング方法。
【請求項７】
ピクチャ識別情報に基づいて、前記並べ替えされたレファレンスピクチャリストから前記現在ブロックのためのレファレンスピクチャを得る段階をさらに含む、請求項６に記載のビデオ信号デコーディング方法。
【請求項８】
ピクチャ識別情報に基づいて、レファレンスピクチャバッファに保存されたレファレンスピクチャを読み取る段階をさらに含む、請求項１に記載のビデオ信号デコーディング方法。
【請求項９】
前記レファレンスバッファに保存されたレファレンスピクチャは、所定のバッファ管理方法によって前記レファレンスバッファから削除される、請求項８に記載のビデオ信号デコーディング方法。
【請求項１０】
前記所定のバッファ管理方法は、アダプティブメモリマネージメント方法またはスライディングウィンド方法である、請求項９に記載のビデオ信号デコーディング方法。
【請求項１１】
前記ピクチャ識別情報は、レファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報である、請求項１に記載のビデオ信号デコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のデコーディング方法に関する。
【背景技術】
【０００２】
現在の通信環境は、有無及び無線の複合ネットワーク、放送網と通信網との融合、ＩＰ網を用いたＩＰ統合などのサービスを可能にする基幹ネットワークである広帯域統合網（ＢｃＮ：Ｂｒｏａｄｂａｎｄ  Ｃｏｎｖｅｒｇｅｎｃｅ  Ｎｅｔｗｏｒｋ）が現れるなど変化しつつあり、このような変化は、今後もより加速化すると見られる。このような通信環境の変化に伴い、様々な通信環境で使われる端末機も様々に変化してきており、当然、端末機の処理能力も極めて多様化しつつある。したがって、多様な通信環境と多様な端末機に最適化した映像を提供するためには、端末機に提供される映像もまた、多様に用意しなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源（ｓｏｕｒｃｅ）は、秒当たりの転送フレーム数、解像度、ピクセル当たりのビット数など多様な変数の組み合わせを具備していなければならないということを意味し、これはコンテンツプロバイダに非常に負担となる。
【０００３】
このような理由から、コンテンツプロバイダは、原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機から映像要請を受信する場合、原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供する。しかし、このようなトランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）(デコーディング＋エンコーディング)では、エンコーディング→デコーディング→エンコーディング処理を行わねばならず、映像提供において時間遅延が起こり、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求される。
【０００４】
このような問題点を解消するために提案されたのが、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：ＳＶＣ）である。この方式は、映像信号のエンコーディングにおいて、最高画質にエンコーディングするものの、その結果として生成されたピクチャシーケンスの部分シーケンス（シーケンス全体から間欠的に選択されたフレームのシーケンス）のみをデコーディングして使用しても映像表現が可能となる方式である。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間スケーラビリティ（ｓｐａｔｉａｌ  ｓｃａｌａｂｉｌｉｔｙ）を用いて映像のサイズを縮めることもでき、ＳＮＲスケーラビリティを用いて映像のクオリティーを下げることもできる。この時、小画面及び／または秒当たりのフレーム数などが低いピクチャシーケンスを、基本レイヤ（ｂａｓｅ  ｌａｙｅｒ）とし、相対的に大画面及び／または秒当たりのフレーム数などが高いシーケンスを、拡張された（ｅｎｈａｎｃｅｄ）または拡張（ｅｎｈａｎｃｅｍｅｎｔ）レイヤとする。
【０００５】
しかしながら、上記のようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理することによっても低画質の映像表現が可能であるが、ビットレート（ｂｉｔ  ｒａｔｅ）が低くなる場合には、画質が大きく低下してしまう。これを解消するために、低い転送率のための別の補助ピクチャシーケンス、例えば、小画面及び／または秒当たりのフレーム数などが低いピクチャシーケンスを提供することができる。このような補助シーケンスを基本レイヤとし、主ピクチャシーケンスを拡張されたまたは拡張レイヤとする。
【０００６】
このようなスケーラブルビデオコーディングで、拡張レイヤまでエンコーディングされて転送された特定ピクチャを復号するとき、転送過程で拡張レイヤビットストリームの一部が損失した場合、デコーダは、損失した拡張レイヤビットストリームを用いて該当のピクチャを復号するので、原映像と復号された映像の画質が異なってくる。特に、このような問題が発生したピクチャが、他のピクチャを復号化するのに必要なレファレンスピクチャであり且つキーピクチャ（Ｋｅｙ−Ｐｉｃｔｕｒｅ）である場合には、その問題はより深刻化する。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記の問題点を解決するためのもので、その目的は、転送過程上のエラーによって映像信号の復号過程で発生する問題を最小限に抑えられるデコーディング方法を提供することにある。
【０００８】
また、本発明の他の目的は、転送過程上のエラーによって映像信号の復号過程で発生する問題を最小限に抑えられるデコーディング方法による復号ピクチャバッファの管理方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、ＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）基盤のビデオ信号デコーディング方法において、現在ブロックのためのレファレンス（ｒｅｆｅｒｅｎｃｅ）ピクチャを示すピクチャ識別情報を得る段階と、前記レファレンスピクチャを用いて前記現在ブロックをデコーディングする段階と、を含み、基本レイヤレファレンスピクチャ及びそれに対応する拡張レイヤレファレンスピクチャは同一のピクチャ識別情報を持つ、ビデオ信号デコーディング方法を提供する。
【発明の効果】
【００１０】
本発明によれば、キーピクチャを復号化する場合には、レファレンスピクチャとしてレファレンスピクチャの基本レイヤレファレンスピクチャまたは拡張レイヤレファレンスピクチャを提供し、ノンキーピクチャを復号化する場合には、レファレンスピクチャとしてレファレンスピクチャの拡張レイヤレファレンスピクチャを提供するため、転送過程上のエラーによって映像信号の復号過程で発生する問題を最小限に抑えることが可能になる。
【００１１】
なお、本発明によれば、上記の復号化方法によって映像信号を復号化する場合、その方法に最適化された復号ピクチャバッファの管理方法を新たに提示するので、本発明による映像信号のデコーディングをより效率的に行うことが可能になる。
【発明を実施するための最良の形態】
【００１２】
上記の目的及び構成の特徴は、添付の図面に基づいて説明される下記の詳細な説明からより明確になる。以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。
【００１３】
なお、本発明で使われる用語は、可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は出願人が任意に選定した用語もあり、この場合には、該当する発明の説明部分において詳細にその意味を記載したので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきである。
【００１４】
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。
【００１５】
同スケーラブルビデオコーディングシステムは、エンコーダ２とデコーダ１０とを含み、エンコーダ２は、基本レイヤエンコーダ４、拡張レイヤエンコーダ６及びマックス（Ｍｕｘ）８を含み、デコーダ１０は、デマックス（ｄｅＭｕｘ）１２、基本レイヤデコーダ１４及び拡張レイヤデコーダ１６を含む。基本レイヤエンコーダ４は、入力された映像信号Ｘ（ｎ）を圧縮してベースビットストリームを生成し、拡張レイヤエンコーダ６は、入力映像信号Ｘ（ｎ）と基本レイヤエンコーダ４によって生成される情報とを用いて拡張レイヤビットストリームを生成し、マックス８は、基本レイヤビットストリームと拡張レイヤビットストリームとを用いてスケーラブルビットストリームを生成する。生成されたスケーラブルビットストリームは、所定のチャンネルを介してデコーダ１０に転送され、転送されたスケーラブルビットストリームは、デコーダ１０のデマックス１２によって拡張レイヤビットストリームと基本レイヤビットストリームとに分けられる。基本レイヤデコーダ１４は、基本レイヤビットストリームを受信して出力映像信号Ｘｂ（ｎ）として復号し、拡張レイヤデコーダ１６は、拡張レイヤビットストリームを受信して出力映像信号Ｘｅ（ｎ）として復号する。ここで、出力映像信号Ｘｂ（ｎ）は、出力映像信号Ｘｅ（ｎ）に比べて画質が低いか、解像度が低い映像信号となる。
【００１６】
図２は、本発明の一実施例によるデコーディング方法及び復号ピクチャバッファの管理方法が適用されるピクチャの構造を示す図である。
【００１７】
同図のピクチャの構造において、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）は、階層的Ｂピクチャ（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｂ  Ｐｉｃｔｕｒｅ）構造で形成され、ＧＯＰを構成する各ピクチャは、キーピクチャ（Ｋｅｙ−Ｐｉｃｔｕｒｅ）とノンキーピクチャ（Ｎｏｎ−Ｋｅｙ−Ｐｉｃｔｕｒｅ）とに区分され、一つのピクチャは、基本レイヤレファレンスピクチャＱＢ及び拡張レイヤレファレンスピクチャＱＥで構成される。ここで、キーピクチャは、最も低いテンポラルレベル（ｔｅｍｐｏｒａｌ  ｌｅｖｅｌ）のピクチャを意味し、ノンキーピクチャは、キーピクチャ以外のピクチャを意味する。
【００１８】
このような構造で、現在ピクチャは、現在ピクチャのテンポラルレベルと等しいまたは低いテンポラルレベルにあるピクチャの中から少なくとも一つのピクチャをレファレンスピクチャとして選択して使用することができる。例えば、第１ピクチャ２２が画面内予測符号化方法によってエンコーディングされたＩピクチャである場合、第１ピクチャ２２はレファレンスピクチャ無しで復号され、第２ピクチャ２４は、第１ピクチャ２２をレファレンスピクチャとして復号され、第３ピクチャ２６は、第１及び第２ピクチャ２２，２４をレファレンスピクチャとして復号され、第４ピクチャ２８，３０は、第１及び第３ピクチャ２２，２６または第２及び第３ピクチャ２４，２６をレファレンスピクチャとして復号され、第５ピクチャ３２，３４，３６，３８は、第１及び第４ピクチャ２２，２８、第３及び第４ピクチャ２６，２８、または、第２及び第４ピクチャ２４，３０をレファレンスピクチャとして復号され、第１ピクチャ２２、第２ピクチャ２４、第３ピクチャ２６、第４ピクチャ２８，３０、第５ピクチャ３２，３４，３６，３８の順に復号化される。ここで、第１及び第２ピクチャ２２，２４はキーピクチャで、第３〜第５ピクチャ２６，２８，３０，３２，３４，３６，３８はノンキーピクチャである。キーピクチャは、基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャとで構成され、同図において第１ピクチャ２２及び第２ピクチャ２４のように表現した。また、ノンキーピクチャがレファレンスピクチャとして使われる場合、当該ノンキーピクチャの拡張レイヤレファレンスピクチャが参照される。ノンキーピクチャの拡張レイヤレファレンスピクチャは、ノンキーピクチャの基本レイヤレファレンスピクチャが既に復元されていることを示しており、これは、図２の第３〜第５ピクチャ２６，２８，３０，３２，３４，３６，３８のように点線で表した。
【００１９】
図３は、本発明の一実施例によるビデオ信号のデコーディング方法を説明するためのフローチャートである。
【００２０】
本実施例では、まず、デコーダは、エンコーディングされたビデオ信号を、所定のチャンネルを介して受信し、このビデオ信号から、現在ブロックのためのレファレンスピクチャを示すピクチャ識別情報を獲得する（Ｓ３１０）。このピクチャ識別情報は、例えば、レファレンスピクチャのレファレンスインデックス（ｒｅｆｅｒｅｎｃｅ  ｉｎｄｅｘ）情報、または、ピクチャ番号（ｐｉｃｔｕｒｅ  ｎｕｍｂｅｒ）情報とすることができる。その後、当該レファレンスピクチャを用いて現在ブロックをデコーディングすることができるが（Ｓ３２０）、基本レイヤレファレンスピクチャとそれに対応する拡張レイヤレファレンスピクチャは、同じピクチャ識別情報を持つことができる。このピクチャ識別情報は、レファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報でありうる。ここで、拡張レイヤレファレンスピクチャは、基本レイヤレファレンスピクチャよりも向上した画質を持つことができる。
【００２１】
ここで、現在ブロックを含むピクチャがキーピクチャである場合、該現在ブロックのためのレファレンスピクチャは、基本レイヤレファレンスピクチャまたはそれに対応する拡張レイヤレファレンスピクチャとすることができる。また、当該ピクチャ識別情報に基づいてレファレンスピクチャリストから現在ブロックのためのレファレンスを獲得することができる。このように獲得されたレファレンスを用いて現在ブロックをデコーディングできるが、この場合にも、基本レイヤレファレンスピクチャとそれに対応する拡張レイヤレファレンスピクチャは、同じピクチャ識別情報を持つことができる。なお、この拡張レイヤレファレンスピクチャは基本レイヤレファレンスピクチャよりも向上した画質を持つことができる。
【００２２】
例えば、図２において現在ピクチャが第２ピクチャ２４であり且つＰピクチャである場合、第２ピクチャ２４のレファレンスピクチャは第１ピクチャ２２であり、第２ピクチャ２４はキーピクチャであるので、現在ピクチャである第２ピクチャ２４は、第１ピクチャ２２の基本レイヤレファレンスピクチャまたはそれに対応する拡張レイヤレファレンスピクチャを参照してデコーディングされることができる。この時、基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャは同じピクチャ識別情報を持つことができ、ピクチャ識別情報は、レファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報とすることができる。他の例として、現在ピクチャが第４ピクチャ２８である場合、第４ピクチャ２８のレファレンスピクチャは第１及び第３ピクチャ２２，２６であり、第４ピクチャ２８はノンキーピクチャに該当する。この場合、現在ピクチャである第４ピクチャ２８のレファレンスピクチャは、第１ピクチャ２２の基本レイヤレファレンスピクチャ、第１ピクチャ２２の拡張レイヤレファレンスピクチャまたは第３ピクチャ２６の拡張レイヤレファレンスピクチャを含む。第３ピクチャ２６の拡張レイヤレファレンスピクチャは、第３ピクチャの基本レイヤレファレンスピクチャが既に復元されていることを示す。
【００２３】
図４は、本発明の他の実施例によるビデオ信号のデコーディング方法を示すフローチャートである。
【００２４】
本実施例では、まず、レファレンスピクチャリストから第１レファレンスピクチャを得ることができる（Ｓ４１０）。ここで、第１レファレンスピクチャはピクチャ識別情報と関連性があり、このピクチャ識別情報はレファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報を含む。例えば、レファレンスインデックス情報を用いてレファレンスピクチャリスト上の第１レファレンスピクチャを獲得することができる。そして、獲得された第１レファレンスピクチャを用いて現在ブロックをデコーディングすることができる（Ｓ４２０）。この時、第１レファレンスピクチャとそれに対応する第２レファレンスピクチャは、同じピクチャ識別情報を有し、第１レファレンスピクチャと第２レファレンスピクチャは別の識別情報で区分されることができる。例えば、デコーディングされたレファレンスピクチャをマーキングする過程（Ｄｅｃｏｄｅｄ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｍａｒｋｉｎｇ  ｐｒｏｃｅｓｓ）で、基本レイヤレファレンスピクチャ４０に‘ｂａｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ'というマーキングをすることによって、同じピクチャ番号を持つ基本レイヤレファレンスピクチャ４０と拡張レイヤレファレンスピクチャ４２とを区別することができる。第１レファレンスピクチャは基本レイヤに属し、第２レファレンスピクチャは拡張レイヤに属することができ、この拡張レイヤは、基本レイヤよりも向上した画質を持つことができる。また、現在ブロックを含むピクチャがキーピクチャである場合、この現在ブロックのためのレファレンスピクチャは、第１レファレンスピクチャまたはそれに対応する第２レファレンスピクチャとすることができる。このように獲得されたレファレンスを用いて現在ブロックをデコーディングすることができる。
【００２５】
図３及び図４で以上説明したように、レファレンスピクチャが第１ピクチャ２２または第２ピクチャ２４のようなキーピクチャである場合には、現在ピクチャに基本レイヤレファレンスピクチャまたは拡張レイヤレファレンスピクチャを提供できるか、第１レファレンスピクチャまたは第２レファレンスピクチャを提供することができる。したがって、復号ピクチャバッファ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）には、上記のようなレファレンスピクチャが保存されていなければならない。本発明によるビデオ信号のデコーディング方法では、復号ピクチャバッファ内でレファレンスピクチャに参照番号を割り当てる方法やレファレンスピクチャの削除方法のような復号ピクチャバッファ管理方法が新しく定義される必要がある。次に、このような本発明の一実施例による復号ピクチャバッファの管理方法を、図５及び図６を参照して具体的に説明する。
【００２６】
まず、本発明の一実施例において、レファレンスピクチャがキーピクチャである場合、復号ピクチャバッファに保存されるレファレンスピクチャの基本レイヤレファレンスピクチャ及び拡張レイヤレファレンスピクチャに、同じピクチャ識別番号を割り当てることができる。レファレンスピクチャがノンキーピクチャである場合、復号ピクチャバッファにはレファレンスピクチャの拡張レイヤレファレンスピクチャが保存されるので、該レファレンスピクチャの拡張レイヤレファレンスピクチャに一つのピクチャ識別番号を割り当てる。すなわち、レファレンスピクチャがキーピクチャである場合、レファレンスピクチャの基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャを仮想の一つのピクチャとして扱うことができる。ここで、割り当てられるピクチャ識別情報は、ピクチャ番号情報またはレファレンスインデックス情報を含み、このピクチャ番号情報は、長期レファレンスピクチャ番号（ｌｏｎｇ  ｔｅｒｍ  ｐｉｃｔｕｒｅ  ｎｕｍｂｅｒ）を含む。
【００２７】
図５は、本発明の一実施例による復号ピクチャバッファの構造を示す図である。
【００２８】
図２において、キーピクチャで且つレファレンスピクチャである第１ピクチャ２２が、デコーディングされたのち復号ピクチャバッファに保存される時、第１ピクチャ２２を構成する基本レイヤレファレンスピクチャ４０及び拡張レイヤレファレンスピクチャ４２は、ピクチャ番号‘０’で保存される。第１ピクチャ２２と同様に、キーピクチャ且つレファレンスピクチャである第２ピクチャ２４においても、第２ピクチャ２４を構成する基本レイヤレファレンスピクチャ４４及び拡張レイヤレファレンスピクチャ４６は、ピクチャ番号‘１’で保存される。また、ノンキーピクチャ且つレファレンスピクチャである第３ピクチャ２６の場合は、レファレンスピクチャ２６の拡張レイヤレファレンスピクチャ４８はピクチャ番号‘２’で保存される。また、第５ピクチャ３２，３４，３６，３８の場合は、ノンレファレンスピクチャ（ｎｏｎ−ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ）であるから、復号されて直ちにた表示されない場合を除けば、復号ピクチャバッファに保存されない。
【００２９】
この時、現在ピクチャがキーピクチャであり且つピクチャ番号‘０’のレファレンスピクチャを参照する場合、レファレンスピクチャ２２の基本レイヤレファレンスピクチャ４０と拡張レイヤレファレンスピクチャ４２がいずれも、ピクチャ番号‘０’という同じピクチャ識別情報を持っているため、ピクチャ番号‘０’を持つ基本レイヤレファレンスピクチャ４０と拡張レイヤレファレンスピクチャ４２を区分しなければならない。これを区分するために、本発明は別の識別情報を使用することができる。例えば、デコーディングされたレファレンスピクチャをマーキングする過程で、基本レイヤレファレンスピクチャ４０に‘ｂａｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ'というマーキングをすることによって、同じピクチャ番号を持つ基本レイヤレファレンスピクチャ４０と拡張レイヤレファレンスピクチャ４２とを区別することができる。
【００３０】
本発明が適用される他の実施例では、復号ピクチャバッファにおいて、どのピクチャをデコーディングするかによって、復号ピクチャバッファ内にあるピクチャのピクチャ識別情報が変わる。したがって、レファレンスピクチャリスト上の第１レファレンスピクチャを得、この第１レファレンスピクチャを用いて現在ブロックをデコーディングすることができる。この時、第１レファレンスピクチャとそれに対応する第２レファレンスピクチャは同じピクチャ識別情報を有し、これら第１レファレンスピクチャと第２レファレンスピクチャは、別の識別情報で区分されることができる。例えば、デコーディングされたレファレンスピクチャをマーキングする過程で、第１レファレンスピクチャまたは第２レファレンスピクチャに‘ｂａｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ'というマーキングをすることによって、同じピクチャ番号を持つ第１レファレンスピクチャと第２レファレンスピクチャを区別することができる。また、第１レファレンスピクチャは基本レイヤに属し、第２レファレンスピクチャは拡張レイヤに属することができ、この場合には、第１レファレンスピクチャに‘ｂａｓｅ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ'というマーキングをして区別すれば良い。
【００３１】
また、本発明の他の実施例として、図３及び図４で説明したように、レファレンスピクチャを用いて現在ブロックをデコーディングするときに、このファレンスピクチャを用いてレファレンスピクチャリストを初期化することができる。なお、初期化されたレファレンスピクチャリストを並べ替えすることができる。このようにレファレンスピクチャリストが並べ替えされた場合には、該並べ替えされたレファレンスピクチャリストからレファレンスピクチャを獲得することができる。以下、図６Ａ及び図６Ｂを用いてレファレンスピクチャリストの並べ替えについて説明する。
【００３２】
図６Ａ及び図６Ｂは、本発明の一実施例によってレファレンスピクチャの参照番号を並べ替え（ｒｅｏｒｄｅｒｉｎｇ）する様子を説明するための図である。
参照番号の並べ替えとは、現在ピクチャを復号化するときに、時間的に近くにあるピクチャが、相対的に遠くにあるピクチャよりも現在ピクチャとの相関関係（Ｃｏｒｒｅｌａｔｉｏｎ）がより低い場合、レファレンスピクチャリスト上で現在ピクチャと相関関係が最も高いピクチャに低い参照番号を並べ替えして效率的にレファレンスピクチャを管理できる命令語のことをいう。このような参照番号の並べ替え過程を、図６Ａ及び図６Ｂを参照しつつ具体的に説明する。
【００３３】
図６Ａは、ピクチャの構造を示すもので、第１〜第４ピクチャ２２，２４，２６，２８，３０は、既に復号化が終わって復号ピクチャバッファに保存されている状態である。第５ピクチャ３４を復号しようとする時、復号ピクチャバッファに保存されているピクチャのレファレンスピクチャリスト０（Ｌｉｓｔ  ０）は、図６Ｂに示す通りである。第５ピクチャ３４から反時計回り方向に回転しながら各ピクチャに参照番号を与え、レファレンスピクチャリスト１（Ｌｉｓｔ  １）は、第５ピクチャ３４から時計回り方向に回転しながら参照番号を与える。しかし、レファレンスピクチャリスト０上で、第５ピクチャ３４が、第５ピクチャ３４と時間的に近くにある第４ピクチャ２８よりも第１ピクチャ２２と高い相関関係を持つ場合、第１ピクチャ２２に参照番号０を再割当し、第４ピクチャ２８に参照番号１を再割当することによって、レファレンスピクチャリストを並べ替えする。また、レファレンスピクチャリスト１上で、第５ピクチャ３４が、第５ピクチャ３４と時間的に近くにある第４ピクチャ３０よりも第２ピクチャ２４と高い相関関係を持つ場合、第２ピクチャ２４に参照番号１を再割当し、第４ピクチャ３０に参照番号２を再割当することによって、レファレンスピクチャリストを並べ替えする。
【００３４】
本発明の一実施例においては、上述の如く、参照番号の並べ替えは、レファレンスピクチャがキーピクチャである場合、基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャを一つのピクチャとして扱って参照番号を再割当し、レファレンスピクチャがノンキーピクチャである場合には、拡張レイヤレファレンスピクチャに割り当てられた参照番号を再割当することによって、参照番号リストを並べ替えすればよい。
【００３５】
本発明の他の実施例として、レファレンスピクチャリストの初期化（Ｉｎｉｔｉａｌｉｚａｔｉｏｎ）も、参照番号の並べ替えと同様の方法を取る。例えば、現在ブロックのためのレファレンスピクチャを示すピクチャ識別情報を獲得し、この獲得されたピクチャ識別情報に基づいてレファレンスピクチャバッファに保存されたレファレンスピクチャを読み取ることができる。この読み取ったレファレンスピクチャを用いて現在ブロックをデコーディングすることができる。ここで、基本レイヤレファレンスピクチャ及びそれに対応する拡張レイヤレファレンスピクチャは、同じピクチャ識別情報を持つことができ、このピクチャ識別情報は、レファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報を含む。また、レファレンスピクチャがキーピクチャである場合、レファレンスピクチャの基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャを一つのピクチャとして扱って参照番号を割り当てることができ、レファレンスピクチャがノンキーピクチャである場合、拡張レイヤレファレンスピクチャに対して参照番号を割り当てることができる。また、該当のレファレンスピクチャがそれ以上参照される必要がなくなり、復号ピクチャバッファ上でスライディングウィンド方式を用いてレファレンスピクチャを削除する場合においても、レファレンスピクチャがキーピクチャであれば、レファレンスピクチャの基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャを一つのピクチャとして扱ってレファレンスピクチャをバッファ上で削除でき、レファレンスピクチャがノンキーピクチャであれば、バッファ上で拡張レイヤレファレンスピクチャを削除することができる。この場合、該当のピクチャの削除は、先入先出（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ：ＦＩＦＯ）方式によって、バッファ上に先保存されたピクチャが先削除される。
本発明のさらに他の実施例として、メモリ管理コマンド（Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌ  Ｏｐｅｒａｔｉｏｎ：以下、‘ＭＭＣＯ'という。）を用いて復号ピクチャバッファを管理する方法について説明する。現在ピクチャを復号する過程で、現在ピクチャからメモリ管理コマンドが獲得される場合、メモリ管理コマンドに相応して復号ピクチャバッファを管理するようになる。図５に示すように、現在ピクチャがキーピクチャの場合には、復号ピクチャバッファで、該当のレファレンスピクチャ５０の基本レイヤレファレンスピクチャ５２及び拡張レイヤレファレンスピクチャ５４の両方に対してメモリ管理動作５６（例えば、レファレンスピクチャを短期参照バッファ（ｓｈｏｒｔ−ｔｅｒｍ  ｍｅｍｏｒｙ）から長期参照バッファ（ｌｏｎｇ−ｔｅｒｍ  ｍｅｍｏｒｙ）に移動させる命令であると仮定する）を行い、現在ピクチャがノンキーピクチャの場合には、復号ピクチャバッファで、レファレンスピクチャ５８の拡張レイヤレファレンスピクチャに対してメモリ管理動作６０を行う。ここで、ＭＭＣＯに割り当てられた値による管理内容を、図７を参照しつつ具体的に説明する。
【００３６】
図７は、ＭＭＣＯのコード番号による復号ピクチャバッファの管理内容を説明するための図である。
【００３７】
まず、ＭＭＣＯのコード番号が‘０’の場合は、‘メモリ管理を終了する’ということを示し、ＭＭＣＯのコード番号が‘１’の場合は、‘短期レファレンスピクチャ（Ｓｈｏｔｒ−Ｔｅｒｍ  Ｐｉｃｔｕｒｅ）をノンレファレンスピクチャでマーキングする’ということを示し、ＭＭＣＯのコード番号が２の場合は、長期レファレンスピクチャ（Ｌｏｎｇ−Ｔｅｒｍ  Ｐｉｃｔｕｒｅ）をノンレファレンスピクチャでマーキングする'ということを示し、ＭＭＣＯのコード番号が３の場合は、‘短期レファレンスピクチャを長期レファレンスピクチャでマーキングした後、長期参照バッファに移動する'ということを示し、ＭＭＣＯのコード番号が４の場合は、‘長期参照バッファの大きさを決定する’ということを示し、ＭＭＣＯのコード番号が５の場合は、‘全てのレファレンスピクチャをノンレファレンスピクチャでマーキングし、バッファの全ての内容をリセットする'ということを示し、ＭＭＣＯのコード番号が６の場合は、‘現在ピクチャを長期レファレンスピクチャでマーキングし、長期参照バッファに保存する'ということを示す。
【００３８】
このようなＭＭＣＯのコード番号に相応する動作は、現在ピクチャがキーピクチャである場合には、該当のレファレンスピクチャの基本レイヤレファレンスピクチャ及び拡張レイヤレファレンスピクチャの両方に対して行われ、現在ピクチャがノンキーピクチャである場合には、該当のレファレンスピクチャの拡張レイヤレファレンスピクチャに対して行われる。すなわち、基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャに対して同じピクチャ識別番号が与えられている場合には、参照番号の並べ替え、レファレンスピクチャリストの初期化、レファレンスピクチャの削除、及びＭＭＣＯによるバッファの管理が、同じピクチャ識別番号を持つピクチャ単位で行われることができる。ここで、ピクチャ識別番号は、レファレンスピクチャのレファレンスインデックス情報またはピクチャ番号情報を含む。
【００３９】
本発明の他の実施例においては、レファレンスピクチャがキーピクチャなのか、ノンキーピクチャなのかによらず、復号ピクチャバッファに保存されるピクチャ単位でピクチャ識別情報を割り当てる。すなわち、レファレンスピクチャがキーピクチャである場合にも、レファレンスピクチャの基本レイヤレファレンスピクチャ及び拡張レイヤレファレンスピクチャに、異なるピクチャ識別情報が割り当てられる。レファレンスピクチャがノンキーピクチャである場合、復号ピクチャバッファにはレファレンスピクチャの拡張レイヤレファレンスピクチャが保存されるので、拡張レイヤレファレンスピクチャに一つのピクチャ識別情報が割り当てられることができる。
【００４０】
図８は、本発明の他の実施例による復号ピクチャバッファの構造を説明するための図である。
【００４１】
本発明の実施例として、図２でキーピクチャであり且つレファレンスピクチャである第１ピクチャ２２が復号されたのち復号ピクチャバッファに保存される時、第１ピクチャ２２を構成する基本レイヤレファレンスピクチャ４０にピクチャ番号‘０’を割り当て、拡張レイヤレファレンスピクチャ４２にピクチャ番号‘１’を割り当てる。第１ピクチャ２２と同様に、キーピクチャであり且つレファレンスピクチャである第２ピクチャ２４に対しても、第２ピクチャ２４を構成する基本レイヤレファレンスピクチャ４４に対してピクチャ番号‘２’を割り当て、拡張レイヤレファレンスピクチャ４６にピクチャ番号‘３’を割り当てる。ノンキーピクチャであり且つレファレンスピクチャである第３ピクチャ２６の場合、復号ピクチャバッファには拡張レイヤレファレンスピクチャが保存されるので、拡張レイヤレファレンスピクチャ４８にピクチャ番号‘４’を割り当てる。第５ピクチャ３２，３４，３６，３８は、ノンレファレンスピクチャであるから、復号されて直ちに表示されない場合を除けば、復号ピクチャバッファに保存されない。
【００４２】
本発明の他の実施例として、参照番号の並べ替えは、現在ピクチャがキーピクチャである場合、単に基本レイヤレファレンスピクチャに割り当てられた参照番号のみが再割当され、レファレンスピクチャがノンキーピクチャである場合には、拡張レイヤレファレンスピクチャに割り当てられた参照番号のみが再割当される。
【００４３】
本発明のさらに他の実施例として、レファレンスピクチャリストの初期化とＭＭＣＯによるバッファ管理の場合、現在ピクチャがキーピクチャであれば、参照番号は違うが、当該レファレンスピクチャの基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャの両方に対して初期化とＭＭＣＯによるメモリ管理命令が行われ、現在ピクチャがノンキーピクチャである場合には、該当のレファレンスピクチャの拡張レイヤレファレンスピクチャに対して初期化またはＭＭＣＯによるメモリ管理命令が行われる。
【００４４】
例えば、図８に示すように、現在ピクチャから、レファレンスピクチャ５０を短期参照バッファから長期参照バッファに移動させるとのＭＭＣＯ命令６２が獲得され、現在ピクチャがキーピクチャである場合、レファレンスピクチャ５０の基本レイヤレファレンスピクチャ５２と拡張レイヤレファレンスピクチャ５４を両方とも、短期参照バッファから長期参照バッファに移動させ、現在ピクチャがノンキーピクチャであれば、当該レファレンスピクチャの拡張レイヤレファレンスピクチャ５８に対してＭＭＣＯ命令６４を行う。
【００４５】
一方、レファレンスピクチャがそれ以上参照される必要がなくなり、復号ピクチャバッファ上からスライディングウィンド方式を用いてレファレンスピクチャを削除する場合、現在ピクチャがキーピクチャであれば、参照番号が異なっていてもレファレンスピクチャの基本レイヤレファレンスピクチャと拡張レイヤレファレンスピクチャ両方ともバッファ上から削除される。しかし、現在ピクチャがノンキーピクチャである場合、バッファ上からレファレンスピクチャの拡張レイヤレファレンスピクチャが削除される。この場合、ピクチャの削除は、先入先出（ＦＩＦＯ）方式によってバッファ上に先保存されたピクチャが先削除される。
【００４６】
本発明の属する技術分野における当業者なら、本発明がその技術的思想や必須の特徴を変更しない限度内で他の具体的な形態に実施可能であるというが理解できる。したがって、以上の各実施例はあくまでも例示的なもので、限定的なものとして理解されてはいけない。したがって、本発明の範囲は、上記の詳細な説明ではなく後述する特許請求の範囲によって定められるべきであり、特許請求の範囲の意味及び範囲並びにその均等概念から導き出される変更または変形された形態はいずれも本発明の範囲に含まれるものとして解釈しなければならない。
【図面の簡単な説明】
【００４７】
【図１】本発明が適用されるスケーラブルビデオコーディングシステムを示す概略ブロック図である。
【図２】本発明の一実施例によるデコーディング方法及び復号ピクチャバッファの管理方法が適用されるピクチャの構造を示す図である。
【図３】本発明の一実施例によるビデオ信号のデコーディング方法を説明するためのフローチャートである。
【図４】本発明の他の実施例によるビデオ信号のデコーディング方法を説明するためのフローチャートである。
【図５】本発明の一実施例による復号ピクチャバッファの構造を説明するための図である。
【図６Ａ】本発明の一実施例によってレファレンスピクチャの参照番号を並べ替え（ｒｅｏｒｄｅｒｉｎｇ）する様子を示す図である。
【図６Ｂ】本発明の一実施例によってレファレンスピクチャの参照番号を並べ替え（ｒｅｏｒｄｅｒｉｎｇ）する様子を示す図である。
【図７】ＭＭＣＯのコード番号による復号ピクチャバッファの管理内容を説明するための図である。
【図８】本発明の他の実施例による復号ピクチャバッファの構造を説明するための図である。
【図１】
2009512268.tif 000003
【図２】
2009512268.tif 000004
【図３】
2009512268.tif 000005
【図４】
2009512268.tif 000006
【図５】
2009512268.tif 000007
【図６Ａ】
2009512268.tif 000008
【図６Ｂ】
2009512268.tif 000009
【図７】
2009512268.tif 000010
【図８】
2009512268.tif 000011
【国際調査報告】
2009512268.tif 000012
2009512268.tif 000013