(57)【要約】本発明は、ビデオ信号がコード化されたベース・レイヤ及びエンハンスメント・レイヤを有するビデオ・ビットストリームをデコーディングする方法に関する。この方法は、ビデオ信号がコード化されたベース・レイヤ及びエンハンスメント・レイヤをデコードし、デコードされたベース・レイヤ・フレーム及びデコードされたエンハンスメント・レイヤ・フレームを生成する工程と、デコード化されたベース・レイヤ・フレームを単体で又はデコード化されたエンハンスメント・レイヤ・フレームと共に表示する工程と、を有する。本発明によれば、表示されるベース・レイヤの低品質フレームのそれぞれが、２つのフレーム：前のエンハンスメント・レイヤ及び後ろの上記ベース・レイヤの低品質フレーム、の間に挿入されることによって得られたフレーム、或いは上記２つのフレームのうちの一（例えば、最も時間的に接近しているもの）のみによって得られたフレーム、で置き換えられる。
2004515131.tif 000002
【特許請求の範囲】
【請求項１】
ベース・レイヤ・コード化ビデオ信号とエンハンスメント・レイヤ・コード化ビデオ信号とを含むビデオ・ビットストリームを送信及び／又は記録媒体から受信する能力と、後に単独で表示されるベース・レイヤ信号のみか、或いは後に共に表示されるベース・レイヤ信号及びエンハンスメント・レイヤ信号に対応するデコード化信号を生成するビットストリームをデコードする能力とを備えた処理回路を有するビデオ・デコーダにおいて用いられ、
前記ベース・レイヤ・コード化ビデオ信号をデコードし、デコード化されたベース・レイヤ・フレームを作成する工程と、
前記エンハンスメント・レイヤ・コード化ビデオ信号をデコードし、デコード化されたエンハンスメント・レイヤ・フレームを作成する工程と、
前記デコード化ベース・レイヤ・フレームを単独で又はビデオ・フレームを形成するために前記デコード化エンハンスメント・レイヤ・フレームと共に表示する工程と、を有する前記ベース・レイヤ及びエンハンスメント・レイヤ・コード化ビデオ信号を含む前記ビデオ・ビットストリームをデコードする方法であって、
前記表示工程は、
所定の基準に基づいて、表示される各連続ベース・レイヤ・フレームの品質を検査し、低品質フレームを選択する決定サブ工程と、
前記低品質フレームであるベース・レイヤ・フレームに先行するエンハンスメント・レイヤと後続のエンハンスメント・レイヤとの２つのフレームのうちの少なくとも１つによって各低品質ベース・レイヤ・フレームを置き換える置換サブ工程と、を有することを特徴とするデコード方法。
【請求項２】
請求項１記載のデコード方法であって、
各低品質ベース・レイヤ・フレームは、前記エンハンスメント・レイヤの先行フレーム及び後続フレームのうち時間的に最も接近したものによって置き換えられることを特徴とするデコード方法。
【請求項３】
請求項１記載のデコード方法であって、
前記低品質ベース・レイヤ・フレームは、前記エンハンスメント・レイヤの先行フレーム及び後続フレームの間への挿入によって得られたフレームによって置き換えられることを特徴とするデコード方法。
【請求項４】
表示順に配列されたエンハンスメント・フレームを含むエンハンスメント・レイヤがコード化されたビデオ信号と、ベース・レイヤがコード化されたビデオ信号とを含むビデオ・ビットストリームをデコードするビデオ・デコーダであって、
デコード化されたベース・レイヤ・フレームを作成する第一のデコーディング手段と、
デコード化されたエンハンスメント・レイヤ・フレームを作成する第二のデコーディング手段と、
表示されるベース・レイヤの各低品質フレームがベース・レイヤの該低品質フレームに先行する及び後続するエンハンスメント・レイヤの２つのフレーム間に挿入されることによって、或いは前記２つのフレームのうちの一方のみによって得られたフレームによって置き換えられるように、前記デコード化されたベース・レイヤ・フレームとエンハンスメント・レイヤ・フレームとを表示する表示手段と、を有することを特徴とするビデオ・デコーダ。
【発明の詳細な説明】
【０００１】
本発明は、該して、ビデオ伸長に係り、特にビデオ信号がコード化されたベース・レイヤとビデオ信号がコード化されたエンハンスメント・レイヤとをデコードし、後に単体で表示されるベース・レイヤ信号に対応するデコードされた信号、或いは後に共に表示されるベース・レイヤ信号及びエンハンスメント・レイヤ信号に対応するデコードされた信号を生成するデコーディング方法に関する。本発明は、更に、対応するビデオ・デコーダにも関する。
【０００２】
ＭＰＥＧ−４規格（この規格は、例えば、ドキュメント：「Ｏｖｅｒｖｉｅｗ　ｏｆ　ｔｈｅ　ＭＰＥＧ−４　Ｖｅｒｓｉｏｎ　１　Ｓｔａｎｄａｒｄ」，ＩＳＯ／ＩＥＣ　ＪＴＣ１／ＳＣ２９／ＷＧ１１　Ｎ１９０９，Ｏｃｔｏｂｅｒ　１９９７，Ｆｒｉｂｏｕｒｇ、に記載されている）に準拠したエンコーダにおいては、３種類のピクチャ：他のピクチャから独立してコード化された内部符号化（Ｉ）ピクチャ、過去の基準ピクチャ（Ｉ又はＰ）から動き補償予測によって予測された予測符号化（Ｐ）ピクチャ、及び過去及び将来の基準ピクチャ（Ｉ又はＰ）から予測した双方向予測（Ｂ）ピクチャ、が用いられる。Ｉピクチャは最も重要である。なぜなら、それらは基準ピクチャであり、デコーディングが従前のピクチャ（このようなピクチャにおいては、空間的冗長が除去される）を何ら参照せずに（ビットストリーム内に）アクセス・ポイントを設けることができるからである。空間的冗長及び時間的冗長の双方を減らすことによって、Ｐピクチャは、空間的冗長のみを減らすＩピクチャに比べてより良い圧縮を提供する。Ｂピクチャは最も高い圧縮度を提供する。
【０００３】
ＭＰＥＧ−４においては、いくつかの構造が用いられる。例えば、ビデオ・オブジェクト（ＶＯ）は、ユーザがアクセスし、操作することが可能なエンティティであり、ビデオ・オブジェクト・プレーン（ＶＯＰ）は、所定時刻におけるビデオ・オブジェクトの例である。エンコードされたビットストリームにおいては、異なる種類のＶＯＰ：空間的冗長のみを用いた内部符号化ＶＯＰ（最もビット数を要する）、過去の基準ＶＯＰからの動き推定及び補償を用いた予測符号化ＶＯＰ、及び、過去及び将来の基準ＶＯＰからの動き推定及び補償を用いた双方向予測符号化ＶＯＰ、を見つけることができる。
【０００４】
Ｐ−ＶＯＰ及びＢ−ＶＯＰについては、現ＶＯＰとその基準ＶＯＰとの差のみがコード化される。Ｐ−ＶＯＰ及びＢ−ＶＯＰのみがいわゆる「ブロック・マッチング・アルゴリズム」に従って実行される動き推定により影響を受ける。ブロック・マッチング・アルゴリズムにおいては、現フレームの各マクロブロックについて、所定のサーチ・ゾーンにおいて基準ＶＯＰに最も良くマッチするマクロブロックが検索され、次いで動きベクトルＭＶが計算される。類似性基準は、差の絶対値の合計（ＳＡＤ）によって求められる。Ｎ×Ｎのマクロブロックについて、ＳＡＤは、
【０００５】
【数１】
2004515131.tif 000003
と表すことができる。このようにして、サーチ・ゾーンにおいて計算されたＳＡＤの中から最小のＳＡＤに対応するマクロブロックが選ばれる。この推定について、ＶＯＰの種類に応じて、異なるモードが存在する。
【０００６】
（ａ）　Ｐ−ＶＯＰマクロブロックに対しては、過去の基準Ｉ−ＶＯＰ又はＰ−ＶＯＰを用いる「フォワード・モード」のみが使用可能である。
【０００７】
（ｂ）　Ｂ−ＶＯＰマクロブロックに対しては、マクロブロックを推定するために４つのモードが使用可能である。
・「フォワード・モード」（Ｐ−ＶＯＰ用と同様）
・「バックワード・モード」：フォワード・モードと同様。但し、過去のものは参照せず、将来のＰ−ＶＯＰ又はＩ−ＶＯＰを基準とする。
・「挿入モード」又は「双方向モード」：フォワード・モードとバックワード・モードとを組み合わせ、過去の基準ＶＯＰと将来の基準ＶＯＰとを用いる。
・「直接モード」：将来の基準ＶＯＰと異なるＶＯＰ間の時間差とにより、各動きベクトルが計算される。
【０００８】
ＭＰＥＧ−４の中では、重要な機能性：スケーラビリティが提供される。
【０００９】
「階層符号化」としても知られるスケーラブル・コーディングは、スケーラブル・デコーディング・オペレーションを可能にする方法でコード化された表現を生成することを可能にする。スケーラビリティは、完全な解像度ピクチャ及び／又はデコードされたビットストリームの一部と釣り合った品質の生成を導くデータの適切なサブセットのデコーディングを可能にするビットストリーム特性である。このような機能性は、様々な解像度及び／又は品質及び／又は複雑さにおいて同時に使用可能なビデオ・シーケンスを要求する多くの用途において役に立つ。
【００１０】
実際、ビットストリームがスケーラブルである場合、一ユーザは、その一部のみにアクセスし、彼自身のデコーダ又はディスプレイに対応した或いは使用可能帯域に対応した基本的ビデオを提供すると共に、他方において別のユーザが全ビットストリームを用い、より良いビデオ品質を生成する。
【００１１】
いくつもの独立したビットストリームをコード化するための方法よりも符号化処理の点で低コストなスケーラビリティの利点は、少なくとも２つの異なるビットストリーム（その中の一は他のものより高いビットレートを有する）に分離可能であるビットストリームを供給することが可能であることである。よって、スケーラビリティの各種類は、２以上のレイヤを含む。時間的スケーラビリティの場合、下位レイヤと上位レイヤとから成る少なくとも２つのレイヤが考えられる。下位レイヤはベース・レイヤと呼ばれ、所定のフレーム・レートでエンコードされる。追加的レイヤはエンハンスメント・レイヤと呼ばれ、（例えば、ドキュメント：「Ｏｖｅｒｖｉｅｗ　ｏｆ　ｆｉｎｅ　ｇｒａｎｕｌａｒｉｔｙ　ｓｃａｌａｂｉｌｉｔｙ　ｉｎ　ＭＰＥＧ−４　ｖｉｄｅｏ　ｓｔａｎｄａｒｄ」，Ｗ．Ｌｉ，ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．１１，　ｎｏ３，Ｍａｒｃｈ　２００１、に記載されているようにより高いフレーム・レートを有するビデオ信号を形成するために）エンコードされてベース・レイヤにおいて失われた情報を提供し、よってディスプレイ側においてより高い時間分解能を提供する。
【００１２】
デコーダは、ビデオ・ストリームをデコードするのに必要な最小データ量に対応するベース・レイヤのみをデコードしてもよく、ベース・レイヤに加えてエンハンスメント・レイヤをデコードしてもよい。このエンハンスメント・レイヤは、ベース・レイヤに対応するデータに関連するのであれば高性能ビデオ信号を提供し、次いでより高い解像度が必要とされる場合に１秒あたりにより多くのフレームを出力するのに必要な追加的データに対応する。
【００１３】
しかし、デコーディング側では、各レイヤについて使用可能な帯域幅非常に異なるとき、表示されるベース・レイヤ画像とエンハンスメント画像との間に大きな品質差が観測されるという状況が存在する。このような場合、シーケンスの平均に比べて数個のフレームしか大幅に低い品質を有していない場合であっても、フリッカーリング効果によりデコードされたシーケンスの主観的品質は非常に低いものとなり得る。
【００１４】
よって、本発明の目的は、表示されるデコードされたシーケンスの品質を向上させることが可能なビデオ・デコーディング方法を提案することである。
【００１５】
このために、本発明は、詳細な説明の冒頭段落に定義されたようなデコーディング方法であって、
ベース・レイヤ・コード化ビデオ信号をデコードし、デコード化されたベース・レイヤ・フレームを作成する工程と、
エンハンスメント・レイヤ・コード化ビデオ信号をデコードし、デコード化されたエンハンスメント・レイヤ・フレームを作成する工程と、
デコード化ベース・レイヤ・フレームを単独で又はビデオ・フレームを形成するためにデコード化エンハンスメント・レイヤ・フレームと共に表示する工程と、を有すると共に、
前記表示工程が、
所定の基準に基づいて、表示される各連続ベース・レイヤ・フレームの品質を検査し、低品質フレームを選択する決定サブ工程と、
低品質フレームであるベース・レイヤ・フレームに先行するエンハンスメント・レイヤと後続のエンハンスメント・レイヤとの２つのフレームのうちの少なくとも１つによって各低品質ベース・レイヤ・フレームを置き換える置換サブ工程と、を有することを特徴とする。
【００１６】
以下、添付図面を参照して、本発明をより詳細に説明する。
【００１７】
ビデオ・シーケンスを符号化・復号化するシステムは、一般的に、図１に示すように実現される。前記システムは、ビデオ・エンコーディング部１と、ビデオ・デコーディング部３と、これらの間に設けられた送信媒体２とを有する。エンコーディング部１は、非圧縮ビデオ・フレームを生成するビデオ・フレーム・ソース１１と、ソース１１から受信したフレームを符号化するためのビデオ・エンコーダ１２と、エンコーダ・バッファ１３とを有する。エンコーダ１２において、所定のフレーム・レートで入った非圧縮ビデオ・フレームは、ＭＰＥＧ−４の原理に従って符号化され、記録されたコード化フレームは送信媒体２へ向けて送られ、その出力からエンコーダ・バッファ１３へ送信される。
【００１８】
デコーディング側において、送信されたコード化フレームは、ビデオ・デコーディング部３によって受信される。ビデオ・デコーディング部３は、デコーダ・バッファ１４と、ビデオ・デコーダ５と、ビデオ・ディスプレイ１６とを有する。デコーダ・バッファ１４は、送信されたコード化フレームを受信・記録し、それらを自身でビデオ・デコーダ１５へ送信する。ビデオ・デコーダ１５は、これらフレームを、通常は同じフレーム・レートでデコードする。デコードされたフレームは、次いで、それらを表示するビデオ・ディスプレイ１６に送られる。
【００１９】
上記スケーラブル・コーディング・スキームの場合、ビデオ・エンコーダ１２は、ベース・レイヤ・エンコーディング・ステージとエンハンスメント・レイヤ・コーディング・ステージとを有する。ベース・レイヤ・エンコーディング・ステージは、オリジナル・ビデオ信号に対応するフレームをソース１１から受信し、該フレームをコード化してエンコーダ・バッファ１３へ送られるベース・レイヤ・ビットストリームを生成する。エンハンスメント・レイヤ・コーディング・ステージは、一方でオリジナル・ビデオ信号に対応するフレームを（ソース１１から）受信し、他方でベース・レイヤ・ビットストリームにおいて送信されるコード化フレームから導き出されたデコード化フレームを受信する。このエンハンスメント・レイヤ・エンコーディング・ステージは、ベース・レイヤ・フレームにおいて失われた画像情報を表し、よってベース・レイヤ・ビットストリームに加えられ得る残信号をエンハンスメント・レイヤ・コード化ビットストリームの形で生成する。
【００２０】
デコーディング側において、相互に、ビデオ・デコーディング部３のデコーダ１５は、コード化されたベース・レイヤ・ビットストリームとコード化されたエンハンスメント・レイヤ・ビットストリームとを受信し、後に単独で表示されるベース・レイヤ信号か或いは後に共に表示されるエンハンスメント・レイヤ信号と関連するベース・レイヤ信号に対応するデコード化された信号をビデオ・ディスプレイ１６へ送るための処理回路を有する。
【００２１】
場合によっては、例えば各レイヤについて使用可能な帯域幅が非常に異なるときには、ベース・レイヤから来る表示画像とエンハンスメント・レイヤから来る表示画像との間の品質の非常に大きい差が観測される。このような状況において、表示されるデコード化シーケンスの主観的品質は、平均的なシーケンス品質と比べて大幅に低い品質を有する場合であっても、ベース・レイヤのうちの数フレームのみがちらつき効果によって低くなる。この欠点は、前記ベース・レイヤの低品質フレームが表示されず、エンハンスメント・レイヤから来るフレームによって置き換えられる場合が回避され得る。
【００２２】
これら置換フレームは、例えば、エンハンスメント・レイヤの先行フレーム及び後続フレームから挿入されるフレームであってもよい。この置換フレームは、例えば時間的に最も接近した上記先行フレーム及び後続フレームのうちの一をコピーすることによって得てもよい。
【００２３】
デコードされたフレームが表示されるのに十分な品質を有するか否かを決定するために、量的基準が定義されなければならない。連続フレームの量子化ステップ・サイズを記録し、比較することが例えば可能である。他の先行及び後続フレームに関して一フレームについての上記ステップ・サイズの差が非常にはっきりしている場合、上記フレームは低品質となりがちである。別の基準は、以下の通りでもよい。各フレームは８×８ブロックへ分割され、該ブロックの境界におけるテクスチャ傾斜が検査される。該傾斜が所定のベース・レイヤ・フレームの場合より明らかに高い場合、該フレームは低品質を有するものと考えられ、表示されない。
【００２４】
上述のビデオ・デコーダは、ハードウェアでも実現可能であり、ソフトウェアでも実現可能であり、これらを組み合わせても実現可能であることは明らかである。すると、それは、例えばコンピュータ可読処理工程を記録するメモリと、該メモリに記録された処理工程を実行し、表示されるデコード化フレームを生成するプロセッサとを有する、上記方法を実行するあらゆる種類のコンピュータ・システム又は他の装置によって実現され得る。典型的なハードウェア及びソフトウェアの組み合わせは、例えば、汎用コンピュータ・システムであって、ロードされ、実行されたときに該コンピュータ・システムが上記方法を実行するように制御するコンピュータ・プログラムを有するものである。別の方法として、本発明の機能的タスクの１以上を実行するのに特化されたハードウェアを含む専用ユーザ・コンピュータとして利用されてもよい。本発明は、コンピュータ・システムにロードされたときに上記方法及び機能を実行可能なここに開示された方法及び機能の実現を可能にするすべての特徴を有するコンピュータ・プログラム媒体又は製品としても実現可能である。本発明は、更に、上記コンピュータ可読媒体又は製品上に記録され、上述のビデオ・デコーディング方法を実行するためのコンピュータ実行可能処理工程にも関連する。本文脈におけるコンピュータ・プログラム、ソフトウェア・プログラム、プログラム、プログラム製品、又はソフトウェアは、（ａ）別の言語、コード、又は表記法への変換、及び／又は（ｂ）異なるマテリアル形式での再現の少なくとも一方の後、或いは、直接的に、情報処理能力を有するシステムに特定の機能を実行させることが意図された命令群のあらゆる言語、コード、又は表記法におけるあらゆる表現を意味する。
【００２５】
本発明についての以上の記載は、例示・説明のために提示されたものであり、本発明を開示された形そのものに制限・限定することが意図されたものではなく、上記教えから様々な変形例も可能である。当業者には明らかなこのような変形例は、本発明の範囲内に含まれることが意図されている。
【図面の簡単な説明】
【図１】
ビデオ・シーケンスをコーディング／デコーディングするシステムの一般的な実施例を示す図である。
【国際公開パンフレット】
2004515131.tif 000004
2004515131.tif 000005
2004515131.tif 000006
2004515131.tif 000007
2004515131.tif 000008
2004515131.tif 000009
2004515131.tif 000010
2004515131.tif 000011
2004515131.tif 000012
2004515131.tif 000013
【国際調査報告】
2004515131.tif 000014
2004515131.tif 000015
2004515131.tif 000016