(57)【要約】  本発明は、ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法に関する。本発明の実施形態において、エンハンストレイヤに対する基準インデックス、モーションベクトル、モードなどのモーション情報は、ベースレイヤから導出することができ、エンハンストレイヤ内のイメージブロックに対する基準ブロックは、ベースレイヤに基づくメディアン基準を用いて決定される。ベースレイヤ内のイメージブロックのピクセルに対応するピクセルが最も多いブロックに対する基準インデックスが、イメージブロックに対する基準インデックスとして選択される。ベースレイヤ内の２以上のブロックが、イメージブロックのピクセルに対応する同一数のピクセルを有していた場合、より近接した基準インデックスが選択される。選択された基準インデックスに関連するベースレイヤブロックに対するモーションベクトルは、イメージブロックに対するモーションベクトルとして選択される。
2008536440.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をエンコーディングする方法であって、
ビデオ信号をスケーラブルにエンコーディングし、第１のレイヤのビットストリームを生成する段階と、
予め定められた方法を用いて前記ビデオ信号をエンコーディングし、第２のレイヤのビットストリームを生成する段階と
を備え、
前記第１のレイヤのモーション情報は、前記第２のレイヤから導出され、前記第１のレイヤ内のイメージブロックに対する基準インデックスは、前記第２のレイヤに基づくメディアン基準を用いて決定されることを特徴とする方法。
【請求項２】
前記イメージブロックに対する基準インデックスとして、前記イメージブロック内の最大数のピクセルに対応する前記第２のレイヤのブロックに対する基準インデックスが選択され、同一数のピクセルが前記第２のレイヤ内の３以上のブロックに対応する場合、前記イメージブロックに対する基準ブロックとして、より近接した基準ブロックが選択されることを特徴とする請求項１に記載の方法。
【請求項３】
同一数のピクセルに対応する前記第２のレイヤ内の３以上のブロックに対する基準ブロックが同一である場合、より小さな大きさを有するモーションベクトルが選択されることを特徴とする請求項２に記載の方法。
【請求項４】
前記イメージブロックに対するモーションベクトルとして、決定された基準インデックスを有する前記第２のレイヤのブロックに対するモーションベクトルが選択され、決定された基準インデックスを有する前記第２のレイヤのブロックの数が２以上である場合、２以上の前記ブロックに対するモーションベクトルの中から、より短い長さのモーションベクトルが選択されることを特徴とする請求項１に記載の方法。
【請求項５】
前記イメージブロックを構成し、かつ同一の大きさを有する２以上のサブブロックの各々に対する基準インデックスは、前記第２のレイヤに基づくメディアン基準を用いて決定され、前記イメージブロックに対する基準インデックスは、前記サブブロックの各々に対する前記基準インデックスに基づくメディアン基準を用いて決定されることを特徴とする請求項１に記載の方法。
【請求項６】
２以上の異なる基準インデックスが選択される場合、より近接した基準インデックスが、前記イメージブロックに対する基準ブロックであると決定されることを特徴とする請求項５に記載の方法。
【請求項７】
前記イメージブロックを構成する各サブブロックは、イントラモードまたはインターモードのサブブロックに対応する前記第２のレイヤのブロックから任意に導出されることを特徴とする請求項１に記載の方法。
【請求項８】
前記イメージブロックに対する基準インデックスおよびモーションベクトルは、導出されるイントラモードのサブブロック以外の、導出されるインターモードのサブブロックのみに基づいて前記第２のレイヤから導出されることを特徴とする請求項７に記載の方法。
【請求項９】
エンコーディングされたビデオビットストリームをデコーディングする方法であって、
スケーラブルにエンコーディングされて受信された第１のレイヤのビットストリームをデコーディングする段階と、
予め定められた方法を用いてエンコーディングされて受信された第２のレイヤのビットストリームをデコーディングする段階と
を備え、
前記第１のレイヤのモーション情報は、前記第２のレイヤから導出され、前記第１のレイヤ内のイメージブロックに対する基準ブロックは、前記第２のレイヤに基づくメディアン基準を用いて決定されることを特徴とする方法。
【請求項１０】
前記イメージブロックに対する基準インデックスとして、前記イメージブロック内の最大数のピクセルに対応する前記第２のレイヤのブロックに対する基準インデックスが選択され、同一数のピクセルが前記第２のレイヤ内の３以上のブロックに対応する場合、前記イメージブロックに対する基準ブロックとして、より近接した基準ブロックが選択されることを特徴とする請求項９に記載の方法。
【請求項１１】
同一数のピクセルに対応する前記第２のレイヤ内の３以上のブロックに対する基準ブロックが同一である場合、より小さな大きさを有するモーションベクトルが選択されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記イメージブロックに対するモーションベクトルとして、決定された基準インデックスを有する前記第２のレイヤのブロックに対するモーションベクトルが選択され、決定された基準インデックスを有する前記第２のレイヤのブロックの数が２以上である場合、２以上の前記ブロックに対するモーションベクトルの中から、より短い長さのモーションベクトルが選択されることを特徴とする請求項９に記載の方法。
【請求項１３】
前記イメージブロックを構成し、かつ同一の大きさを有する２以上のサブブロックの各々に対する基準インデックスは、前記第２のレイヤに基づくメディアン基準を用いて決定され、前記イメージブロックに対する基準インデックスは、前記サブブロックの各々に対する前記基準インデックスに基づくメディアン基準を用いて決定されることを特徴とする請求項９に記載の方法。
【請求項１４】
２以上の異なる基準インデックスが選択される場合、より近接した基準インデックスが、前記イメージブロックに対する基準ブロックであると決定されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記イメージブロックを構成する各サブブロックは、イントラモードまたはインターモードのサブブロックに対応する前記第２のレイヤのブロックから任意に導出されることを特徴とする請求項９に記載の方法。
【請求項１６】
前記イメージブロックに対する基準インデックスおよびモーションベクトルは、導出されるイントラモードのサブブロック以外の、導出されるインターモードのサブブロックのみに基づいて前記第２のレイヤから導出されることを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法に関し、より詳細には、ベースレイヤからモーション情報を導出することによってエンハンストレイヤをエンコーディングおよびデコーディングする方法に関する。
【背景技術】
【０００２】
現在広く使用されている携帯電話またはノートブックコンピュータを介して、または、将来的に広く使用されるであろう携帯用ＴＶまたはハンドヘルドＰＣを介して、無線方式で伝送されるデジタルビデオ信号に、テレビ（ＴＶ）信号に必要な帯域幅のような広帯域幅を割り当てることは難しい。このため、このような携帯用装置のためのビデオ圧縮方式に用いられる標準には、より高いビデオ信号圧縮効率を持たせる必要がある。
【０００３】
さらに、係る携帯用装置は、ビデオ信号を処理したり提供したりする固有の能力が変化することを避けられない。したがって、１秒当たりのフレーム数、解像度、および１ピクセル当たりのビット数などの様々な結合されたパラメータに関して、様々な画質を有するビデオデータが、単一のイメージソースとして提供されなければならない能力に対応するよう、圧縮されたイメージがあらかじめ多様に準備されていなければならないため、コンテンツプロバイダにとっては、避けることのできない大きな負担となる。
【０００４】
このような理由から、コンテンツプロバイダは、個別のイメージソースごとに高ビットレートを有する圧縮されたビデオデータを準備し、携帯用装置がビデオデータを要求したときに、圧縮されたイメージをデコーディングする処理を実行し、イメージを要求した携帯用装置のビデオ処理能力に適したビデオデータに、そのデコーディングされたイメージをエンコーディングする処理を行い、次いで、エンコーディングされたビデオデータを提供する。しかしながら、このような方式には、トランスコーディング（デコーディング＋スケーリング＋エンコーディング）処理が伴うので、携帯用装置によって要求されたイメージを提供する際に若干の時間遅延が発生する。さらに、トランスコーディング処理は、エンコーディングする様々な対象に応じて、複雑なハードウェア装置およびアルゴリズムも必要とする。
【０００５】
このような問題点を克服するために、スケーラブルなビデオコーデック（ＳＶＣ：Scalable Video Codec）が提案されている。ＳＶＣは、ビデオ信号をエンコーディングする際に、最高画質でビデオ信号をエンコーディングし、かつエンコーディングの結果として生成されたピクチャ（フレーム）シーケンス全体の少なくとも一部（シーケンス全体から間欠的に選択されたフレームのシーケンス）がデコーディングされても、画質がある程度確保されるようにする方式である。
【０００６】
ＭＣＴＦ（Motion Compensated Temporal Filter）方式は、スケーラブルなビデオコーデックにおいて用いられるエンコーディング方式の一例である。ＭＣＴＦ方式は、制限された帯域幅しか有さない移動通信環境などの伝送環境に適用される可能性が高く、したがって、ＭＣＴＦ方式は、１秒当たりに送信されるビット数を減少させるために、高圧縮効率、すなわち、高コーディング効率を必要とする。
【０００７】
上述したように、スケーラブルな方式であるＭＣＴＦによってエンコーディングされたピクチャシーケンスのうち部分的なシーケンスのみが受信されて処理されても、画質はある程度確保することができる。しかし、ビットレートが低下すると、深刻な画質の低下につながる。このような問題を解決するために、例えば、小さな画面、および／または１秒当たりのフレーム数が少ないピクチャシーケンスといった、低ビットレート用の別途のサブピクチャシーケンスを提供することができる。
【０００８】
サブピクチャシーケンスはベースレイヤと呼ばれ、メインピクチャシーケンスはエンハンストレイヤ（または、エンハンスメントレイヤ）と呼ばれる。しかし、ベースレイヤおよびエンハンストレイヤは、時間的に異なる解像度および異なるフレームレートを有する同一のイメージコンテンツをエンコーディングすることによって得られるので、リダンダント情報（リダンダンシ）が２つのレイヤのビデオ信号において存在する。したがって、エンハンストレイヤのコーディング効率を向上させるために、エンハンストレイヤのビデオ信号は、ベースレイヤのモーション情報および／またはテクスチャ（texture）情報を用いて、予測されてエンコーディングされる。このようなエンコーディング方法は、レイヤ間予測方法（inter-layer prediction method）と呼ばれる。
【０００９】
レイヤ間予測方法において用いられるベースレイヤのモーション情報は、基準ブロックを含むピクチャ（フレーム）を表す基準インデックス情報、基準ブロックに対する変位を表すモーションベクトル情報、対応するブロック（エンコーディングされるマクロブロックを含み、エンハンストレイヤのフレームと時間的に一致するベースレイヤのフレーム内に配置され、ベースレイヤの画面サイズに対するエンハンストレイヤの画面サイズの比率に従ってブロックが拡大されるときに、そのマクロブロックをカバーする領域を有するブロック）の分割情報などを含む。
【００１０】
図１は、例えば、分割情報、基準インデックス情報、モーションベクトル情報といった、ベースレイヤから、エンハンストレイヤのマクロブロックのモーション情報を導出する従来の方法の実施形態を示す図である。図１（ａ）には、４×４サブブロックｂに対する基準インデックスおよびモーションベクトルがベースレイヤから導出される例が示されている。
【００１１】
まず、エンコーディングされるブロックにおける４つのコーナーピクセル（ｃ１〜ｃ４）の各々に対する基準インデックスおよびモーションベクトルをそれぞれ、各ピクセルに対応するベースレイヤのブロックに対する基準インデックスおよびモーションベクトルとして設定することができる。
【００１２】
しかしながら、時間的に一致するフレームがベースレイヤに存在しない場合と同様に、各ピクセルに対応するブロックがベースレイヤに存在しない場合、または、各コーナーピクセルに対応するブロックがイントラモード（intra mode）でエンコーディングされる場合、ブロックｂをイントラブロックとして設定することができる。
【００１３】
コーナーピクセルに対応するブロックが、基準ピクチャリストＬｉｓｔ＿０に存在するフレームを使用しない場合、Ｌｉｓｔ＿０に存在するフレームおよびＬｉｓｔ＿０に存在するフレームに向けられたモーションベクトルは、ブロックｂにおいて設定されない。これは、Ｌｉｓｔ＿１に対しても同等に適用される。
【００１４】
ブロックｂに対する基準インデックスｒｂ（Ｌｉｓｔ＿ｘ）は、それぞれのコーナーピクセルに対して決定された基準インデックスｒｃｉ（Ｌｉｓｔ＿ｘ）の最小値として設定され、ブロックｂに対するモーションベクトルｍｖｂ（Ｌｉｓｔ＿ｘ）は、設定された基準インデックスｒｂ（Ｌｉｓｔ＿ｘ）を有するコーナーピクセルのモーションベクトルの平均として設定される。
【００１５】
図１（ｂ）には、４×４サブブロックから８×８ブロックＢのモーション情報が導出される例が示されている。
【００１６】
４つの４×４サブブロックのすべてがイントラブロックである場合、８×８ブロックＢは、イントラブロックとして設定される。他の場合では、８×８ブロックＢの基準インデックス情報および分割情報は、以下の手順によって決定される。
【００１７】
それぞれの４×４サブブロックに対して、基準ピクチャリストＬｉｓｔ＿０およびＬｉｓｔ＿１に対する基準インデックスは、同一の値として設定される。例として、Ｌｉｓｔ＿０を用いて記述され、Ｌｉｓｔ＿１に対しても同一の動作が行われる。
【００１８】
４×４サブブロックがＬｉｓｔ＿０に存在するフレームを使用しない場合には、Ｌｉｓｔ＿０に対する基準インデックスおよびモーションベクトルは、８×８ブロックＢに対して設定されない。
【００１９】
他の場合では、８×８ブロックＢに対する基準インデックスｒＢ（Ｌｉｓｔ＿０）は、４つの４×４サブブロックに対する基準インデックスの最小値として算出される。算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）を有する４×４サブブロックの平均モーションベクトルｍｖｍｅａｎ（Ｌｉｓｔ＿０）が算出される。さらに、４×４サブブロックにおいて、i）イントラブロック、ii）Ｌｉｓｔ＿０を使用しないブロック、または、iii）算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）以外の基準インデックスｒｂ（Ｌｉｓｔ＿０）を有するブロックのそれぞれに対する基準インデックスおよびモーションベクトルが、算出された基準インデックスｒＢ（Ｌｉｓｔ＿０）および算出されたモーションベクトルｍｖｍｅａｎ（Ｌｉｓｔ＿０）として、それぞれ強制的に設定される。
【００２０】
その後、８×８ブロックＢに対する分割モード（partitioning mode）が次のように決定される。隣接する２つの４×４サブブロックのモーションベクトルが一致した場合、サブブロックも同一と見なされ、次いで、互いに結合される。図１（ｂ）において、サブブロックｂ１とｂ２とが同一であり、かつｂ３とｂ４とが同一である場合、分割モードは、ＢＬＫ＿８×４モードであると決定される。このとき、サブブロックｂ１とｂ３ともまた同一である場合には、分割モードは、ＢＬＫ＿８×８モードであると決定される。これと同様に、サブブロックｂ１とｂ３とが同一であり、かつｂ２とｂ４とが同一である場合、分割モードは、ＢＬＫ＿４×８モードであると決定される。他の場合では、分割モードは、ＢＬＫ＿４×４モードであると決定される。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
しかしながら、ベースレイヤの画面サイズに対するエンハンストレイヤの画面サイズ（または、解像度）の比率が２の倍数でない場合（非ダイアディックケース（non−dyadic case））、例えば、ベースレイヤの画面サイズが、エンハンストレイヤの画面サイズの１／３、２／３などである場合、ベースレイヤから、基準インデックス情報、モーションベクトル情報、または分割情報などのモーション情報を導出するのは困難であり、それにより、レイヤ間予測方法を、エンハンストレイヤのスケーラブルなエンコーディングに十分に適用することができない。
【００２２】
本発明は上記の問題点を解決するためのものであり、その目的は、コーディング効率を向上させるために、非ダイアディックケースに対してもレイヤ間予測方法を效率的に適用する方法を提供することにある。
【００２３】
また、本発明の他の目的は、画面サイズの比率が２の倍数でない値を有するベースレイヤから適切なモーション情報を導出する方法、およびそれに対する新たな基準を提供することにある。
【課題を解決するための手段】
【００２４】
上述の目的を達成するために、本発明の一側面に従うと、ビデオ信号をエンコーディングする方法が提供される。この方法は、ビデオ信号をスケーラブルにエンコーディングし、第１のレイヤのビットストリームを生成する段階と、予め定められた方法を用いてビデオ信号をエンコーディングし、第２のレイヤのビットストリームを生成する段階とを備え、第１のレイヤのモーション情報は、第２のレイヤから導出され、第１のレイヤ内のイメージブロックに対する基準インデックスは、第２のレイヤに基づくメディアン基準（median criterion）を用いて決定される。
【００２５】
上述の目的を達成するために、本発明の別の側面に従うと、エンコーディングされたビデオビットストリームをデコーディングする方法が提供される。この方法は、スケーラブルにエンコーディングされて受信された第１のレイヤのビットストリームをデコーディングする段階と、予め定められた方法を用いてエンコーディングされて受信された第２のレイヤのビットストリームをデコーディングする段階とを備え、第１のレイヤのモーション情報は、第２のレイヤから導出され、第１のレイヤ内のイメージブロックに対する基準ブロックは、第２のレイヤに基づく中間基準を用いて決定される。
【００２６】
本発明の一態様に従うと、イメージブロックに対する基準インデックスとして、イメージブロック内の最大数のピクセルに対応する第２のレイヤのブロックに対する基準インデックスを選択することができ、同一数のピクセルが第２のレイヤ内の３以上のブロックに対応する場合、イメージブロックに対する基準ブロックとして、より近接した基準ブロックを選択することができる。同一数のピクセルに対応する第２のレイヤ内の３以上のブロックに対する基準ブロックが同一である場合、より小さな大きさを有するモーションベクトルを選択することができる。
【００２７】
本発明の別の態様に従うと、イメージブロックに対するモーションベクトルとして、決定された基準インデックスを有する第２のレイヤのブロックに対するモーションベクトルを選択することができ、決定された基準インデックスを有する第２のレイヤのブロックの数が２以上である場合、２以上のブロックに対するモーションベクトルの中から、より短い長さのモーションベクトルを選択することができる。
【００２８】
本発明のさらに別の態様に従うと、イメージブロックを構成し、かつ同一の大きさを有する２以上のサブブロックの各々に対する基準インデックスは、第２のレイヤに基づくメディアン基準を用いて決定することができ、イメージブロックに対する基準インデックスは、サブブロックの各々に対する基準インデックスに基づくメディアン基準を用いて決定することができる。２以上の異なる基準インデックスが選択される場合、より近接した基準インデックスを、イメージブロックに対する基準インデックスであると決定することができる。
【００２９】
本発明のさらに別の態様に従うと、イメージブロックを構成する各サブブロックは、イントラモードまたはインターモードのサブブロックに対応する第２のレイヤのブロックから任意に導出することができる。イメージブロックに対する基準インデックスおよびモーションベクトルは、導出されるイントラモードのサブブロック以外の、導出されるインターモードのサブブロックのみに基づいて第２のレイヤから導出することができる。
【発明の効果】
【００３０】
本発明によれば、ベースレイヤから、分割情報、基準インデックス情報、またはモーションベクトル情報を導出することができる。特に、ベースレイヤに対するエンハンストレイヤの画面サイズの比率が２の倍数でない値とするベースレイヤからモーション情報などを導出することができるため、コーディング効率を向上させることが可能になる。
【発明を実施するための最良の形態】
【００３１】
本発明をさらに理解するために含まれる添付の図面は、本発明の好適な実施形態を例示するものであり、以下の記載とともに、本発明の原理を説明するのに役立つものである。
【００３２】
以下、添付の図面を参照しながら、本発明の実施形態について詳細に説明する。
【００３３】
図面中、同一の参照番号を付した本発明の機能、要素、および特徴は、１つ以上の実施形態に従う、同一、均等、または類似する機能、要素、および特徴を示している。
【００３４】
図２は、本発明に従う、ビデオ信号をスケーラブルにエンコーディングする方法が適用されるビデオ信号エンコーディング装置の構成を示す図である。
【００３５】
図２のビデオ信号エンコーディング装置は、例えば、ＭＣＴＦ方式を用いてマクロブロック内の入力ビデオ信号をスケーラブルにエンコーディングし、適切な管理情報を生成するためのエンハンストレイヤ（ＥＬ：Enhanced Layer）エンコーダ１００と、エンコーディングされた各マクロブロックのデータを圧縮ビットストリームに変換するためのテクスチャコーディングユニット１１０と、予め定められた方法を用いて、ＥＬエンコーダ１００より得られたイメージブロックのモーションベクトルを圧縮ビットストリームにコーディングするためのモーションコーディングユニット１２０と、例えば、ＭＰＥＧ１、ＭＰＥＧ２、またはＭＰＥＧ４や、Ｈ．２６１またはＨ．２６４といった予め定められた方法を用いて、入力ビデオ信号をエンコーディングし、例えば、オリジナルの大きさの２５％の大きさ、または非ダイアディックケースでは、オリジナルの大きさの３３％の大きさを有するピクチャのシーケンスなどの、小さな画面シーケンスを生成するためのベースレイヤ（ＢＬ：Base Layer）エンコーダ１４０と、テクスチャコーディングユニット１１０の出力データ、ベースレイヤ（ＢＬ）エンコーダ１４０の小さな画面シーケンス、およびモーションコーディングユニット１２０の出力ベクトルデータを予め定められたフォーマットでカプセル化し、カプセル化されたフォーマットデータを予め定められた伝送フォーマットで多重化し、そして、その伝送フォーマットでデータを出力するためのマルチプレクサ（ＭＵＸＥＲ）１３０とを備えている。
【００３６】
ＥＬエンコーダ１００は、任意のビデオフレーム（または、ピクチャ）内のマクロブロックからモーション推定により得られた基準ブロックを減じる予測動作を実行し、マクロブロックと基準ブロックとの間のイメージ差を基準ブロックに選択的に付加する更新動作を実行することができる。
【００３７】
ＥＬエンコーダ１００は、入力ビデオフレームシーケンスを、例えば、奇数フレームおよび偶数フレームなどの、イメージ差を有するフレームおよび残余フレーム（すなわち、イメージ差が選択的に付加されるフレーム）に分離することができ、例えば、単一の高周波フレーム（予測動作により生成されたフレーム、これを「Ｈ」フレームと呼ぶ）、および単一の低周波フレーム（更新動作により生成されたフレーム、これを「Ｌ」フレームと呼ぶ）が単一のピクチャグループ（ＧＯＰ：Group Of Pictures）に対して生成される時間的分解レベル（temporal decomposition level）までといった、数回の時間的分解レベルを介して、予測動作および／または更新動作を実行することができる。
【００３８】
ＥＬエンコーダ１００は、以前の時間的分解レベルで得られた低周波フレームまたは入力ビデオフレームのうち、イメージ差を有するフレームを、各々が予め定められた大きさを有するマクロブロックに分離することと、以前のフレームおよび後続のフレーム、または自身のフレームにおいて、各分離されたマクロブロックのイメージと最も類似するイメージを有するブロックを検出することと、予測されるイメージを生成することと、モーションベクトルを得ることとを行う処理を実行することができる。ＥＬエンコーダ１００は、フレーム内の全てのマクロブロックに対して上記の処理を実行することによって、対応するフレームに対する予測されるイメージである高周波フレームを完成する。
【００３９】
代替として、ＥＬエンコーダ１００は、イントラＢＬ予測方法を用いて、ベースレイヤのフレームからマクロブロックに対する基準ブロックを検出することができる。この場合、ＥＬエンコーダ１００は、ＢＬエンコーダ１４０によって生成されたベースレイヤの時間的に一致するフレーム内においてイントラモードでエンコーディングされた対応するブロックを検出することによって、予測されるイメージを生成することができる（この対応するブロックは、マクロブロックを有するフレームと時間的に一致するベースレイヤのフレーム内に配置され、ベースレイヤに対するエンハンストレイヤの画面サイズの比率に従ってブロックが拡大されるときに、現在のマクロブロックをカバーする領域を有する）。
【００４０】
さらに、上述したように、ＥＬエンコーダ１００は、イントラＢＬ予測方法によって、ベースレイヤのイメージデータ（テクスチャ）を用いてエンハンストレイヤのマクロブロックをエンコーディングするだけでなく、ベースレイヤの対応するブロックに関するモード、基準インデックス、またはモーションベクトルなどのモーション情報に基づいて、エンハンストレイヤのマクロブロックをエンコーディングすることもできる。
【００４１】
さらに、ＥＬエンコーダ１００は、必要に応じて、以前の時間的分解レベルで得られた低周波フレームまたは入力ビデオフレームのうち、イメージ差が付加されるフレーム内の各マクロブロックに対して、マクロブロックの領域の一部または全部に基づいて行われた予測動作によりイメージ差を有するようにエンコーディングされたフレーム内の対応する領域をマクロブロックに付加する更新動作を実行する。この場合、更新されるマクロブロックのモーション情報は、ベースレイヤの対応するブロックから導出されるので、マクロブロックは、モーション情報に基づいて更新することができる。ＥＬエンコーダ１００は、フレームのマクロブロックの全てに対して上述の動作を実行することによって、対応するフレームに対する低周波フレームを完成する。
【００４２】
次に、本発明に従う予測処理および／または更新処理の間に、ベースレイヤから、エンハンストレイヤのマクロブロックの分割情報、基準インデックス情報、またはモーションベクトル情報などのモーション情報を導出する方法について詳細に説明する。
【００４３】
図３を参照しながら、ベースレイヤから、各４×４サブブロックに対する基準インデックスおよびモーション情報を導出する方法の実施形態について説明する。基準インデックスを決定するために、メディアン基準が用いられる。
【００４４】
エンハンストレイヤの４×４サブブロック内の各ピクセルに対応するベースレイヤのブロックが決定される。最大数のピクセルに対応するベースレイヤのブロックに対する基準インデックスは、エンハンストレイヤの４×４サブブロックに対する基準インデックスとして選択される。この状況において、同一数のピクセルがベースレイヤの２個のブロックに対応する場合、相対的により近接した基準インデックスが選択される。２個のブロックに対する基準インデックスが同一である場合、より小さな大きさを有するモーションベクトルが選択され得る。
【００４５】
モーションベクトルとして、選択された基準インデックスを有するベースレイヤのブロックに対するモーションベクトルが選択される。選択された基準インデックスを有するベースレイヤのブロックの数が２以上の場合、より短い長さのモーションベクトルが、２以上のブロックのモーションベクトルの中から選択され得る。
【００４６】
図４を参照しながら、８×８ブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態について説明する。ここでも同様に、基準インデックスを決定するために、メディアン基準が用いられる。
【００４７】
まず、図４（ａ）に示すように、上述した本発明の実施形態に従って４個の４×４サブブロックに対する基準インデックスおよびモーションベクトルが得られる。最適な基準インデックスおよび最適なモーションベクトルは、４個のサブブロックに対する基準インデックスおよびモーションベクトルの中から得ることができる。
【００４８】
他の方法として、基準インデックスおよびモーションベクトルがまず得られる４×４サブブロックから８×８ブロックに対する基準インデックスおよびモーションベクトルの候補を選択する代わりに、８×８ブロックに対応するベースレイヤのブロックに対する基準インデックスの中から、最適な基準インデックスを選択することができる。４×４サブブロックの場合と同様に、使用可能な基準インデックスの中から、最も頻繁に使用される基準インデックスを選択することができる。
【００４９】
例えば、図４（ｂ）に示すように、８×８ブロックに属する各ピクセルに対して、ピクセルに対応するベースレイヤのブロックに対する基準ブロックが、当該ピクセルに対する基準インデックスとして関連付けられ（connected）、最大数のピクセルに関連付けられた基準インデックスは、８×８ブロックに対する基準インデックスとして選択することができる。
【００５０】
この場合、２以上の異なる基準インデックスが８×８ブロックに対して選択される場合、より近接した基準インデックスが、８×８ブロックに対する基準インデックスであると決定される。
【００５１】
一方、８×８ブロックのモードがベースレイヤから導出される場合には、Ｎ×ＮイントラサブブロックモードおよびＮ×Ｎインターサブブロックモードが、８×８ブロック内に共存する。したがって、本発明では、図５に示すように、４×４イントラモードと、４×４インターモードと、８×４インターモードとから構成される８×８ブロックのモードも導出することができる。この場合、従来の方法を、ブロックの組合せに対して適用することができる。
【００５２】
８×８ブロックのモードが導出されて決定されると、単一の基準インデックスが、上述の方法に従って、８×８ブロック内の導出されたイントラモードの４×４サブブロック以外の、導出されたインターモードのサブブロックにのみ基づいて選択される。
【００５３】
上述した方法によってエンコーディングされたデータストリームは、無線または有線でデコーディング装置に伝送することもできるし、記録媒体を介して伝送することもできる。デコーディング装置は、後述する方法に従って、オリジナルのビデオ信号を再構成する。
【００５４】
図６は、図２の装置によってエンコーディングされたビットストリームをデコーディングする装置を示すブロック図である。図６のデコーディング装置は、受信したビットストリームを圧縮モーションベクトルストリームおよび圧縮マクロブロック情報ストリームに分離するためのデマルチプレクサ（ＤＥＭＵＸＥＲ）２００と、圧縮マクロブロック情報ストリームをオリジナルの圧縮が復元されたストリームに再構成するためのテクスチャデコーディングユニット２１０と、圧縮モーションベクトルストリームをオリジナルの圧縮が復元されたストリームに再構成するためのモーションデコーディングユニット２２０と、例えば、ＭＣＴＦを用いて圧縮が復元されたマクロブロック情報ストリームおよび圧縮が復元されたモーションベクトルストリームに対して逆変換を実行し、オリジナルのビデオ信号を得るためのエンハンストレイヤ（ＥＬ）デコーダ２３０と、例えば、ＭＣＴＦ、ＭＰＥＧ−４、またはＨ．２６４といった予め定められた方法を用いてベースレイヤストリームをデコーディングするためのベースレイヤ（ＢＬ）デコーダ２４０とを備えている。
【００５５】
ＥＬデコーダ２３０は、エンコーディングされて入力されるか、または以前の時間的レベルでデコーディングされて生成された「Ｌ」フレーム内のマクロブロックに対して、逆更新動作（inverse update operation）を実行する。この逆更新動作により、ＥＬデコーダ２３０は、マクロブロックの領域の一部または全部に基づいて予測され、かつイメージ差としてエンコーディングされた「Ｈ」フレームの領域が、基準インデックスおよびモーションベクトルを参照して存在するか否かを判定し、必要に応じて、マクロブロックのイメージ値から、決定された領域のイメージ差を減じる。ＥＬデコーダ２３０は、「Ｌ」フレーム内の全てのマクロブロックに対して上記の動作を実行することによって、対応する時間的レベルで「Ｌ」フレームを完成する。
【００５６】
この場合、モーションベクトルデコーディングユニット２２０が、基準インデックスおよびモーションベクトル情報を提供してもよいし、図３および図４を参照して説明した方法を用いて、ＢＬデコーダ２４０によって提供された情報またはデータに基づいて、ベースレイヤから、基準インデックスおよびモーションベクトル情報を導出してもよい。
【００５７】
さらに、エンハンストレイヤのマクロブロックにおける各サブブロックの形状および各サブブロックに対するモーションベクトルは、マクロブロックのヘッダに記録された分割情報に基づいて得ることができる。代替として、マクロブロックの各サブブロックの形状および各サブブロックのモーションベクトルは、図５を参照して説明した方法を用いて、ベースレイヤから導出することができる。
【００５８】
さらに、ＥＬデコーダ２３０は、エンコーディングされて入力された任意の時間レベルで「Ｈ」フレーム内の各マクロブロックに対して、逆予測動作（inverse prediction operation）を実行する。この逆予測動作により、ＥＬデコーダ２３０は、モーションベクトルデコーディングユニット２２０によって提供されるか、またはベースレイヤから導出された基準インデックス、分割情報、およびモーションベクトルを参照して逆更新動作によって生成された後続する時間的レベルで「Ｌ」フレーム内の基準領域を決定し、マクロブロックのイメージ差に基準領域のイメージ値を付加する。ＥＬエンコーダ２３０は、「Ｈ」フレーム内の全てのマクロブロックに対して上述の動作を実行することによって、後続する時間的レベルで「Ｌ」フレームを完成する。完成した「Ｌ」フレームは逆更新されるので、逆更新された「Ｌ」フレームおよび完成した「Ｌ」フレームは交互に配列される。
【００５９】
上述した方法に従うと、エンコーディングされたデータストリームが、完全なビデオフレームシーケンスに再構成される。特に、予測動作および更新動作が、例えばＭＣＴＦ方法を用いて説明したエンコーディング処理の間に、単一のＧＯＰに対してＮ回（すなわち、Ｎの時間的分解レベルで）実行される場合、ＭＣＴＦデコーディング処理の間に、逆更新動作および逆予測動作がＮ回実行されると、オリジナルのビデオ信号の画質と一致する画質を得ることができる。逆更新動作および逆予測動作がＮ回よりも少ない回数しか実行されない場合には、画質はやや低下するが、より低いビットレートのビデオフレームシーケンスを得ることができる。したがって、デコーディング装置は、所望の性能に適するよう、逆更新動作および逆予測動作を実行するように設計される。
【００６０】
上述したデコーディング装置は、移動通信端末や、記録媒体を再生する装置に搭載することができる。
【００６１】
例示の目的のために、本発明の好適な実施形態を開示したが、当業者であれば、特許請求の範囲に記載した本発明の趣旨および範囲を逸脱しない範囲内で、様々な変更、追加、および代替が可能であることが理解されよう。
【図面の簡単な説明】
【００６２】
【図１】ベースレイヤから、エンハンストレイヤのマクロブロックのモーション情報を導出する従来の方法の実施形態を示す図である。
【図２】本発明に従う、ビデオ信号をスケーラブルにエンコーディングする方法が適用されるビデオ信号エンコーディング装置の構成を示す図である。
【図３】本発明に従って、ベースレイヤから、４×４サブブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態を示す図である。
【図４】本発明に従って、ベースレイヤから、８×８ブロックに対する基準インデックスおよびモーションベクトルを導出する方法の実施形態を示す図である。
【図５】本発明に従って、ベースレイヤから、８×８ブロックに対するモードを導出する方法の実施形態を示す図である。
【図６】図２の装置によってエンコーディングされたビットストリームをデコーディングする装置の構成を示す図である。
【図１】
2008536440.tif 000003
【図２】
2008536440.tif 000004
【図３】
2008536440.tif 000005
【図４】
2008536440.tif 000006
【図５】
2008536440.tif 000007
【図６】
2008536440.tif 000008
【国際調査報告】
2008536440.tif 000009
2008536440.tif 000010