(57)【要約】      （修正有）【課題】拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステムを提供する。【解決手段】上位レイヤ画像２５１と、下位レイヤ画像２５３との幾何学的関係において、画像レベルの適応化方法は、（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含む。【選択図】図１
2011083022.tif 000002
【特許請求の範囲】
【請求項１】
空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法であって、
（ａ）上記ベースレイヤと上記クロップウインドウとの水平方向の大きさ及び垂直方向の大きさの比率に基づいて、上記ベースレイヤの動きベクトルを拡張する拡張工程と、
（ｂ）参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記拡張された動きベクトルを調整する調整工程と、を含むことを特徴とする方法。
【請求項２】
さらに、上記調整された拡張された動きベクトルを用いて上記エンハンスメントレイヤを予測する予測工程を含むことを特徴とする請求項１に記載の方法。
【請求項３】
上記拡張工程および調整工程を、互いに直交する２つの方向に行うことを特徴とする請求項１に記載の方法。
【請求項４】
【数１】
2011083022.tif 000072
（上記式中、sign[ｄx]は、ｄxが正の数であれば１、ｄxが負の数でれば−１であり、ｄxが０であれば０である。ｗｅｘｔｒａｃｔはエンハンスメントレイヤにおける前記クロップウインドウの幅を示し、ｈｅｘｔｒａｃｔはエンハンスメントレイヤにおける前記クロップウインドウの高さを示し、ｗｂａｓｅはベースレイヤにおける画面の幅を示し、ｈｂａｓｅはベースレイヤにおける画面の高さを示し、ｘｏｒｉｇ、ｙｏｒｉｇはエンハンスメントレイヤの画面座標系における座標を示す（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである）。）
上記予測工程は、上記式を用いて上記ベースレイヤの動きベクトルmv = (dx, dy)にスケーリングおよび調整を行った動きベクトルmvs = (dsx, dsy)を用いることを特徴とする請求項２に記載の方法。
【請求項５】
上記予測工程が、テクスチャー予測を含むことを特徴とする請求項２に記載の方法。
【請求項６】
上記予測工程が、残差予測を含むことを特徴とする請求項２に記載の方法。
【請求項７】
上記ベースレイヤと上記クロップウインドウとの大きさの比率に基づいて、上記ベースレイヤの動きベクトルを継承した動きデータをスケーリングし、参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記スケーリングされた動きデータを調整して、上記クロップウインドウで規定されるエンハンスメントレイヤ領域を予測することを特徴とする請求項１に記載の方法。
【請求項８】
空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムであって、
（ａ）上記ベースレイヤと上記クロップウインドウとの水平方向の大きさ及び垂直方向の大きさの比率に基づいて、上記ベースレイヤの動きベクトルを拡張する拡張部と、
（ｂ）参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記拡張された動きベクトルを調整する調整部と、を含むことを特徴とするシステム。
【請求項９】
さらに、上記調整された拡張された動きベクトルを用いて、エンハンスメントレイヤを予測する予測部を更に含むことを特徴とする請求項８に記載のシステム。
【請求項１０】
上記拡張部による拡張および調整部による調整を、互いに直交する２つの方向に行うことを特徴とする請求項８に記載のシステム。
【請求項１１】
【数２】
2011083022.tif 000073
（上記式中、sign[ｄx]は、ｄxが正の数であれば１、ｄxが負の数でれば−１であり、ｄxが０であれば０である。ｗｅｘｔｒａｃｔはエンハンスメントレイヤにおける前記クロップウインドウの幅を示し、ｈｅｘｔｒａｃｔはエンハンスメントレイヤにおける前記クロップウインドウの高さを示し、ｗｂａｓｅはベースレイヤにおける画面の幅を示し、ｈｂａｓｅはベースレイヤにおける画面の高さを示し、ｘｏｒｉｇ、ｙｏｒｉｇはエンハンスメントレイヤの画面座標系における座標を示す（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである）。）
上記予測部による予測は、上記式を用いて上記ベースレイヤの動きベクトルmv = (dx, dy)にスケーリングおよび調整を行った動きベクトルmvs = (dsx, dsy)を用いることを特徴とする請求項９に記載のシステム。
【請求項１２】
上記予測部による予測が、テクスチャ予測を含むことを特徴とする請求項９に記載のシステム。
【請求項１３】
上記予測部による予測が、残差予測を含むことを特徴とする請求項９に記載のシステム。
【請求項１４】
上記ベースレイヤと上記クロップウインドウとの大きさの比率に基づいて、上記ベースレイヤの動きベクトルを継承した動きデータをスケーリングし、参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記スケーリングされた動きデータを調整して、上記クロップウインドウで規定されるエンハンスメントレイヤ領域を予測することを特徴とする請求項８に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム関し、また、画像レイヤ予測に用いる動きベクトルの拡張および調整方法およびシステムに関するものである。
【背景技術】
【０００２】
動画データの圧縮符号化方式の標準であるＨ．２６４／ＭＰＥＧ−４  ＡＶＣは、非特許文献１に開示されているように、マクロブロック予測、残差符号化を順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させる映像符号化方式である。空間スケーラビリティは、レート歪特性を維持しつつ、ビットストリームの一部を取り除くことで、サポートされた如何なる空間解像度をも実現する機能を有している。しかしながら、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ  スケーラブル映像符号化（ＳＶＣ）の拡張方式でサポートされている。
【０００３】
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣスケーラブル映像符号化（ＳＶＣ）拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーデックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの拡張であるＳＶＣ規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
【０００４】
ブロック単位で動き補償する映像コーデックは、H.261, H.263, H264, MPEG-1, MPEG-2, MPEG-4等多くのビデオ圧縮の標準で用いられている。圧縮処理のロスにより、復号化された画像に可視ノイズ（画像ノイズ）が生じることがある。すなわち、画像にブロックの境界にそって、変換係数の量子化によりブロックノイズ（歪み）が生じる。
【０００５】
画像のフィルタリング技術によって、再結合された画像のノイズを減少させることができる。再結合された画像は、逆変換され復号化されることによって形成される。このフィルタリング技術で重要な法則は、画像のエッジ部分を維持しつつ、その他の部分を平滑化することである。ローパスフィルタは、特定の画素または画像エッジの周りの画素セットに基づいて、慎重に選択される。
【０００６】
ブロックの境界を跨ぐ相関のない画像を構成する画素には、特別にフィルタをかけてブロックノイズを低減させる。しかしながら、このフィルタ処理は、一方で画像ボケの要因となってしまう。したがって、隣接するブロック間でブロックノイズが存在しないか、存在しても少ない場合に上記フィルタ処理を行えば、その効果などなく、単に画像ボケを生じさせるだけであり、結局、無駄な処理を行ったことになる。
【０００７】
従来、スケーラブル映像符号化(ＳＶＣ)方式では、ダイアデック空間スケーラビリティだけが採用されていた。このダイアデック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ディメンションの比率を２の乗数としているが、２つの連続する空間レイヤ間の画像ディメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、上位画像が、対応する下位画像では存在しない領域を含む、クロップ（切り取り）ウインドウを用いた非ダイアデック型スケーリング方法である。
【０００８】
レイヤ間予測方法では、何れの場合も画像アップサンプリングが用いられている。画像アップサンプリングは、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(ＳＶＣ)で用いられる従来のアップサンプリング処理は、インター予測のためのＨ.２６４で規定された１／４サンプル輝度補間処理に基づいて行われる。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Joint Video Team of ITU-T VCEG and ISO/IECMPEG, “Advanced Video Coding (AVC) - 4th Edition,” ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005
【非特許文献２】Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーデックに適応した場合、以下の問題があった。すなわち、補間解像度処理が、１／４サンプルに限られ、非ダイアデック型スケーリング方法をサポートしていないため、１／４サンプル位置を得るために、１／２サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。したがって、上記の制限を受けることなく少ない演算量で実行できる画像アップサンプリング方法が求められている。
【課題を解決するための手段】
【００１１】
本発明の空間スケーラブル映像符号化方式における画像レベルの適応化方法は、上記の課題を解決するために、（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴としている。
【００１２】
また、本発明の空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法は、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、（ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴としている。
【００１３】
また、本発明の空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムは、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、（ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴としている。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態におけるエンハンスメントレイヤとベースレイヤとの幾何学的関係を示す説明図である。
【図２】本発明の実施の形態におけるアップサンプルされたベースレイヤ画像と、エンハンスメントレイヤ画像との幾何学的関係を示す説明図である。
【図３】４×４ブロックの画素を示す説明図である。
【図４】８×８ブロック内の４×４ブロックを示す説明図である。
【図５】予測マクロブロックの８×８ブロックを示す説明図である。
【発明を実施するための最良の形態】
【００１５】
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
【００１６】
本発明の構成要素を、図面では一般化して説明しているが、多種多様な形態に変更および設計が可能である。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
【００１７】
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
【００１８】
本発明の実施の形態は、Ｈ.２６４／ＡＶＣのスケーラブル映像符号化(ＳＶＣ)拡張方式に関するものである。また、空間スケーラブル映像符号化における画像のアップサンプリング処理における問題点の解決方法に関する。具体的には、２００５年４月にＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チーム)で採用された空間スケーラブル映像符号化の拡張方式に適応するアップサンプリング工程を提供するものである。
【００１９】
現在のところ、JSVM WD-1.0 [MPEG Doc. N6901]は、ダイアデック空間スケーラビリティのみを対象としており、２つの連続する空間レイヤ間の画像の幅および高さ（画素数で換算）の比率を２の乗数としている。これは、明らかに、例えば、放送用のＳＤ画像からＨＤ画像への拡張等の一般使用を制限する要因となっている。
【００２０】
そこで、[MPEG Doc. ｍ11669]は、拡張された空間スケーラビリティにおいて、２つの連続する空間レイヤ間の画像の幅および高さの比率が２の乗数に限定されず、高レベルの画像が、対応する低レベルの画像に存在しない領域（通常画像の境界領域周辺）を含む構成に対応できるツールを提案している。この提案[MPEG Doc. ｍ11669]は、高位レイヤと低位レイヤの画像ディメンションの比率が２の乗数に限定されず、より一般化するためにWD-1.0[MPEG Doc. N6901]のインターレイヤ予測を拡張する。
【００２１】
本発明の実施の形態は、拡張された空間スケーラビリティ、すなわち、クロップウインドウを用いた非ダイアデックスケーリングに適用されるもので、一般的なアプリケーションに対する画像レベルの適応度を向上させるための調整方法に関するものである。空間スケーラビリティにおける画像レベルの適応化のサポートとして、本発明の実施の形態では、インターレイヤ予測の精度の向上を図るものである。さらに、従来の方法では、解消できなかった種々の課題を解決するものである。
【００２２】
本明細書および特許請求の範囲では、「画像」は、画素配列、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。
【００２３】
図１は映像画像に対応する２つの画像を示している。
【００２４】
本実施の形態では、２つ以上の連続した空間レイヤとして、下位レイヤ（ベースレイヤ）２５３と上位レイヤ（エンハンスメントレイヤ）２５１を有する場合について説明する。これらのレイヤは、図１に示すように、下記の幾何学的関係を有している。以下の説明において、エンハンスメントレイヤ画像の幅をｗenh２５０、高さをｈenh２５２とする。同様に、ベースレイヤ画像の幅をｗbase２５４、高さをｈbase２５６とする。ベースレイヤ２５３は、エンハンスメントレイヤ画像２５１の一部分をサブサンプリング２６４したものであってもよい。この一部分はエンハンスメントレイヤ座標系の座標２６２ (xorig,yorig) に位置し、wextract２５８ とhextract２６０というディメンションをもつ。上位レイヤ画像２５１と、下位レイヤ画像２５３との幾何学的関係は、パラメータ(xorig ,yorig , wextract, hextract, wbase , hbase)により定義される。
【００２５】
本発明の実施の形態では、デコードされたベースレイヤに基づいたエンハンスメントレイヤのマクロブロックの符号化／復号化について説明する。エンハンスメントレイヤのマクロブロックは、(エンハンスメントレイヤ画像の境界上に)対応するベースレイヤのブロックを有しない構成としてもよく、図２に示すように、１ないし数個の、対応するベースレイヤのマクロブロックであってもよい。すなわち、WD-1.0[MPEG Doc. N6901] の場合と異なるインターレイヤ予測の管理が必要である。図２はアップサンプルされたベースレイヤ画像２７２とエンハンスメントレイヤ画像２７０の間で重なるマクロブロックを示している。ベースレイヤ画像２７２中、マクロブロックの境界は、破線２７４で示している。同様に、エンハンスメントレイヤ画像２７０中、マクロブロックの境界は、実線２７６で示している。
【００２６】
[MPEG Doc. m11669]では、幅wextractと高さhextractを、１６の倍数とする必要があるとされている。しかしながら、この制約は、画像レベルの適応化を制限する要因となる。本発明の実施の形態では、幅wextractと高さhextractとを２の倍数とし、さらに、xorig 、yorigも２の倍数とし、色度のアップサンプリング／ダウンサンプリング処理で起こりうる位相ズレの調整工程が煩雑となることを回避している。
【００２７】
図１に示すディメンションおよびその他のパラメータは、下記の符号または変数名で表すことができる。
【００２８】
【数１】
2011083022.tif 000003
【００２９】
［インターレイヤ（レイヤ間）動き予測］
上位レイヤマクロブロックは、BASE_LAYER_MODEまたはQPEL_REFINEMENT_MODEを使ってスケーリングベースレイヤ動きデータを使用することによってインターレイヤ予測を利用できる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、これらのマクロブロックモードは、マクロブロックパーティションを含む動き／予測情報が、ベースレイヤから直接得られることを示している。ベースレイヤからの動きデータを継承することによって、予測マクロブロック（MB_pred）を構築することができる。BASE_LAYER_MODEでは、参照インデックスリスト、動きベクトルと同様に、マクロブロックのパーティションは、予測マクロブロックMB_predのそれである。QPEL_REFINEMENT_MODEの場合も、１／４サンプル動きベクトルの改良である点以外は同様である。
【００３０】
予測マクロブロックMB_predを求める方法として、以下の４つのステップから求める方法が提案されている。
【００３１】
・MB_pred の各４×４ブロックについて、ベースレイヤ動きデータから動きデータを継承する。
【００３２】
・MB_pred の各８×８ブロックについて、パーティションを選択する。
【００３３】
・MB_pred のモードを選択する。
【００３４】
・動きベクトルのスケーリングをする。
【００３５】
しかしながら、本発明の実施の形態は、画像レベルの適応化をサポートするためにいくつかの方程式の変更を提示している。
［４×４ブロックの継承］
図３は、４つのコーナ２８１・２８２・２８３・２８４を有する４×４ブロック２８０を示している。この処理は、ブロックの３つのコーナ２８１・２８２・２８３・２８４をチェックする工程からなる。上位レイヤ座標系におけるコーナ画素ｃの座標位置を(x, y)とし、ベースレイヤ座標系における対応する座標位置を (xbase, ybase) とし、以下のように定義する。
【００３６】
【数２】
2011083022.tif 000004
【００３７】
画素(x、y)のコロケーティドマクロブロックは、画素(xbase, ybase)含むベースレイヤマクロブロックである。同様に、画素(x、y)のコロケーティド８×８ブロックは、画素(xbase, ybase)含むベースレイヤの８×８ブロックであり、画素(x、y)のコロケーティド４×４ブロックは、画素(xbase, ybase)含むベースレイヤの４×４ブロックである。
【００３８】
ｂの動きデータの承継処理は、以下の通りである。
【００３９】
・各コーナｃについて、各リストlistx (listx=list0またはlist1)の参照インデックスr(c,listx)、動きベクトルmv(c,listx)を、コロケーティドベースレイヤ４×４ブロックのそれに設定する。
【００４０】
・各コーナについて、コロケーティドマクロブロックが存在しない、またはイントラモードの場合、ｂをイントラブロックとして設定する。
【００４１】
・さもなければ、各リストlistxについて、
・何れのコーナもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもｂに設定しない。
【００４２】
・さもなければ、
・ｂに設定する参照インデックスrb(listx)を４つのコーナの存在する参照インデックスの最小値とする。
【００４３】
【数３】
2011083022.tif 000005
【００４４】
・mvb(listx)に設定する動きベクトルを、参照インデックスrb(listx)を有する４つのコーナの動きベクトルの平均値に設定する。
［８×８（ブロックにおける）パーティション選択］
各４×４ブロック動きデータが設定されると、それが属する８×８ブロックの実際のパーティションを決定するため、あるいは規則違反の構成を避けるために、結合処理が必要となる。以下に、図４を参照し、８×８ブロックを構成する複数の４×４ブロックについて説明する。
【００４５】
各８×８ブロックＢに対し、以下の工程が適応される。
【００４６】
・４つの４×４ブロックがイントラブロックＢとして分類された場合、Ｂはイントラブロックとみなされる。
【００４７】
・さもなければ、Ｂのパーティション選択を行う。
【００４８】
・同じ参照インデックスリストを各４×４ブロックに割り当てるための以下のプロセスを適応する。各リストlistxについて、
・何れの４×４ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもＢに設定しない。
【００４９】
・さもなければ、
・Ｂに設定する参照インデックスrＢ(listx)を４つのコーナの存在する参照インデックスの最小値として計算する。
【００５０】
【数４】
2011083022.tif 000006
【００５１】
・同じ参照インデックスrb(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を算出する。
【００５２】
・（１）イントラブロックとして分類される、（２）このリストを使わない、（３）参照インデックスrＢ(listx)と異なる参照インデックスrｂ(listx)を有する、４×４ブロックは、参照インデックスおよび動きベクトルとして、rB(listx) と mvmean(listx)とがそれぞれ設定される。
【００５３】
・そして、Ｂのパーティションモードが選択される。２つの４×４ブロックは、それらの動きベクトルが同一であれば、同一とみなす。次に、以下の工程にて結合処理を施す。
【００５４】
・b1 がb2と等しく、b3 がb4と等しい場合、
・b1 がb3と等しければ、BLK_8x8を選択する。
【００５５】
・さもなければ、BLK_8x4 を選択する。
【００５６】
・b1がb３と等しく、b２がb4と等しい場合、BLK_4×8を選択する。
【００５７】
・さもなければ、BLK_4x4 を選択する。
［予測マクロブロックモード選択］
本発明の実施の形態では、予測マクロブロックMB_predモードを決定するプロセスを含むものであってもよい。次に、図５に示すマクロブロック３００を構成する８×８ブロック３０１ないし３０４について以下に説明する。
【００５８】
以下に示す場合は、２つの８×８ブロックは同一とみなす。
【００５９】
・２つの８×８ブロックの１つまたは双方がイントラブロックに分類されている場合、又は
・これらの２つのブロック双方のパーティションモードが、いずれもBLK_8x8であり、各ブロックのlist0およびlist1の参照インデックスおよび動きベクトルが存在する場合これらが同一であれば、これらの２つのブロックは同一であるとする。
【００６０】
モード選択は、以下の工程により行う。
【００６１】
・全ての８×８ブロックがイントラブロックとして分類された場合は、予測マクロブロックMB_predを、インターマクロブロックとして分類する。
【００６２】
・さもなければ、予測マクロブロックMB_predを、イントラマクロブロックとして分類する。当該モードの選択は、以下のプロセスで行う。
【００６３】
・イントラとして分類された８×８ブロックは、BLK_8x8 パーティションとする。これらのブロックの参照インデックスおよび動きベクトルは、以下のように計算する。BINTRAを、８×８ブロックとすると、
各リストlistxについて、
・何れの８×８ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもBINTRA に割り当てない。
【００６４】
・さもなければ、以下の工程を実行する。
【００６５】
・８×８ブロックの存在する参照インデックスの最小値として、参照インデックスrmin (listx)を計算する。
【００６６】
【数５】
2011083022.tif 000007
【００６７】
・同じ参照インデックスrmin(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を計算する。
【００６８】
・rmin(listx) を BINTRA に割り当て、 BINTRA の各４×４ブロックを、参照インデックスと、動きベクトルとして、rmin(listx),mvmean(listx)を有するように設定する。
【００６９】
・これにより、Ｂのパーティションモードを選択する。２つの８×８ブロックのパーティションモードが、いずれもBLK_8x8であり、各８×８ブロックのlist0 および list1の参照インデックスおよび動きベクトルが存在する場合は、これらが同一である場合、これら２つの８×８ブロックは、同一であるとする。次に、以下の工程にて結合処理を施す。
【００７０】
・Ｂ1が Ｂ2 と等しく、Ｂ3 がＢ4 と等しい場合、
・Ｂ1 がＢ3と等しければ、MODE_16x16を選択する。
【００７１】
・さもなければ、MODE_16x8 を選択する。
【００７２】
・さもなければ、Ｂ1が Ｂ３と等しく、Ｂ２ がＢ4 と等しい場合、MODE_8x16を選択する。
【００７３】
・さもなければ、MODE_8x8 を選択する。
［動きベクトルスケーリング］
上記の工程により得られた予測マクロブロックMB_pred の存在するすべての動きベクトルに動きベクトルスケーリングを施してもよい。
【００７４】
動きベクトル mv = (dx, dy) は、以下の方式によりベクトル mvs =(dsx, dsy)でスケールすることができる。
【００７５】
【数６】
2011083022.tif 000008
【００７６】
上記式中、sign[x] はｘが正の場合「１」に、ｘが負の場合は「-１」に設定されており、ｘがゼロの場合は「０」に設定されている。添字“r”を用いた各符号は、対応する参照画像の位置を表すパラメータを示している。
［インターレイヤテクスチャ予測］
テクスチャアップサンプリング
本発明の実施の形態では、インターレイヤテクスチャ予測を、インターレイヤ動き予測と同様の原理に基づいて適応することができる。ベースレイヤテクスチャアップサンプリングには、２つまたは３つのlobed Lanczos-windowed sinc functionsを用いることができる。２つのlobed Lanczos-windowed sinc functionは、下記式にて定義することができる。
【００７７】
【数７】
2011083022.tif 000009
【００７８】
このアップサンプリングは、フレーム全体に対して行ってもよく、またブロック毎に行ってもよい。イントラテクスチャ予測では、各フレーム境界で反復パディングを用いている。残差データの予測には、各ブロック(変換に応じて４×４又は８×８)境界で反復パディングを用いている。
【００７９】
本実施の形態において、「Lanczos２function」により、以下の１６個の４タップアップサンプリングフィルタが表１に定義されている。これらのアップサンプリングフィルタは、ベースレイヤ画像の対応する成分のサンプルグリッドに対し、１／１６サンプル間隔ユニットの１６の異なる補間位相を有している。
【００８０】
座標位置 (x, y)での現在のレイヤにおける輝度サンプルとして、ベースレイヤ画像の対応するサンプルに対する位相ずれは、下記式にて定義される。
【００８１】
【数８】
2011083022.tif 000010
【００８２】
【表１】
2011083022.tif 000011
【００８３】
色度サンプル座標システムの座標位置 (xc, yc)での現レイヤにおける色度(chroma)サンプルについて、ベースレイヤ画像の対応するサンプルに対する位相ズレは、下記式にて定義できる。
【００８４】
【数９】
2011083022.tif 000012
【００８５】
上記式中、
【００８６】
【数１０】
2011083022.tif 000013
【００８７】
【数１１】
2011083022.tif 000014
【００８８】
【数１２】
2011083022.tif 000015
【００８９】
【数１３】
2011083022.tif 000016
【００９０】
【数１４】
2011083022.tif 000017
【００９１】
【数１５】
2011083022.tif 000018
【００９２】
各位相ズレについて、表１から４タップ補間フィルタを選択することができる。
インターレイヤイントラテクスチャ予測
WD-1.0 [MPEG Doc. N6901]でI_BL modeを用いた場合、全ての対応するベースレイヤのマクロブロックをイントラ符号化する必要がある。本発明の本実施の形態では、上記の制約が緩和されており、対応するベースレイヤマクロブロックをインター符号化したり、また符号化しなくてもよい。
【００９３】
I_BL modeで符号化されたマクロブロックのイントラ予測信号を生成する際には、ベースレイヤ信号のコロケーティドブロックがあれば直接デブロッキングして補間する。４つの入力サンプル (X[n-1], X[n], X[n+1], X[n+2])で４タップ補間フィルタの出力値Ｙは下記式により求めることができる。
【００９４】
輝度サンプル
【００９５】
【数１６】
2011083022.tif 000019
【００９６】
上記式中、
Clip1ｙ(x) = min( max (0, x), (1 << BitDepthｙ) -1) 
上記式中、BitDepthｙ は、輝度チャネルデータのビット深度を示す。
【００９７】
色度サンプル
【００９８】
【数１７】
2011083022.tif 000020
【００９９】
上記式中、
Clip1C( x ) = min( max ( 0, x ), ( 1 << BitDepthC ) -1) 
上記式中、BitDepthC は、色度チャネルデータのビット深度を示す。
【０１００】
式（１５）および式（１６）の算出結果は四捨五入するため、フィルタリング順序は、「水平方向が先」または「垂直方向が先」として規定する。フィルタ処理は、水平方向にフィルタ処理を施した後、垂直方向にフィルタ処理を施すことが望ましい。上記のアップサンプリング処理は、以下に説明する拡張された空間スケーラビリティが可能な場合のみ行われる。
【０１０１】
アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を埋める処理を行う。この固定値は、輝度の場合は(1<<(BitDepthY-1))に、色度の場合は(1<<(BitDepthC-1))に設定されている。
【０１０２】
インターレイヤ残差予測
インターレイヤイントラテクスチャ予測と同様に、ベースレイヤの残差のアップサンプリング処理に、同じ４タップフィルタまたは他のフィルタを用いることができるが、四捨五入、クリッピング処理については式（１５）および式（１６）で定義されるものと異なっている。
【０１０３】
４つの入力残差サンプル(X[n-1], X[n], X[n+1], X[n+2])に対し、フィルタの出力値Ｙは、下記式で算出する。
【０１０４】
輝度の残差サンプル
【０１０５】
【数１８】
2011083022.tif 000021
【０１０６】
色差の残差サンプル
【０１０７】
【数１９】
2011083022.tif 000022
【０１０８】
残差のアップサンプリング処理のためのクリッピング機能は、下記式にて定義される。
【０１０９】
【数２０】
2011083022.tif 000023
【０１１０】
【数２１】
2011083022.tif 000024
【０１１１】
上記式中、
【０１１２】
【数２２】
2011083022.tif 000025
【０１１３】
同様に、アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を含む残差の予測が適用できない画素位置を埋める処理を行う。この固定値は、全色成分で「０」に設定される。
［シンタックスおよびセマティックスの変更］
シンタックス表
本発明の実施の形態では、後述する大太文字で示した以下の変更を適用してもよい。主な変更としては、シーケンスパラメータセットのシンボル、extended_spatial  _scalability、ベースレイヤのアップサンプリング処理に適用する位置変換に関するシーケンスパラメータセットおよびslice_data_in_scalable_extension()中の以下の４つのパラメータを追加する。
【０１１４】
【数２３】
2011083022.tif 000026
【０１１５】
【表２】
2011083022.tif 000027
【０１１６】
【表３】
2011083022.tif 000028
【０１１７】
【表４】
2011083022.tif 000029
【０１１８】
［セマンティックス］
スケーラブル拡張におけるシーケンスパラメータセット
スケーラブル拡張におけるシンタックスのシーケンスパラメータのセット
extended_spatial_scalabilityは、ベースレイヤアップサンプリングの位置情報パラメータに関連するシンタックスエレメントの存在を示している。
【０１１９】
extended_spatial_scalabilityが「０」の場合、ビットストリームに位置情報パラメータが存在しないことを示している。
【０１２０】
extended_spatial_scalability が「１」の場合、ビットストリームに位置情報パラメータが存在することを示している。extended_spatial_scalabilityが「２」の場合、slice_data_in_scalable_extensionに位置情報パラメータが存在することを示している。値３は、extended_spatial_scalability 用に予約されている。
extended_spatial_scalabilityが存在する場合、「０」と等しくなるようにしている。
【０１２１】
scaled_base_left_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左上画素と、現画像の左上画像との間の水平方向のズレの１／２を示している。
【０１２２】
scaled_base_left_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
【０１２３】
scaled_base_top_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左下画素と、現画像の左下画像との間の垂直方向のズレの１／２を示している。scaled_base_top_offset_divided_by_two が存在しない場合、ゼロとみなさなければならない。
【０１２４】
scaled_base_right_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右上画素と、現画像の右上画像との間の水平方向のズレの１／２を示している。
【０１２５】
scaled_base_right_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
【０１２６】
scaled_base_bottom_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右下画素と、現画像の右下画像との間の垂直方向のズレの１／２を示している。
【０１２７】
scaled_base_bottom_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
【０１２８】
すべての位置情報パラメータが、現在のレイヤ中の輝度サンプリング格子に対する１つのサンプル間隔ユニットにおける符号なし整数として特定される。さらに、数個の追加符号(scaled_base_left_offset, scaled_base_top_offset, scaled_base_right_offset, scaled_base_bottom_offset, scaled_base_width, scaled_base_height)が位置情報パラメータに基づいて定義される。
【０１２９】
【数２４】
2011083022.tif 000030
【０１３０】
【数２５】
2011083022.tif 000031
【０１３１】
【数２６】
2011083022.tif 000032
【０１３２】
【数２７】
2011083022.tif 000033
【０１３３】
【数２８】
2011083022.tif 000034
【０１３４】
【数２９】
2011083022.tif 000035
【０１３５】
［スケーラブル拡張におけるスライスレイヤデータのシンタックス］
スライスデータのシンタクスエレメントのセマンティックスは、シーケンスパラメータセットの同一のシンタックスエレメントのセマンティックスと同じである。
［デコード処理］
予測データのデコード処理 
WD-1.0 [MPEG Doc. N6901]での処理と比較すると、以下の工程が追加される。
【０１３６】
extended_spatial_scalabilityが１または２で、かつbase_layer_mode_flagが１の場合、マクロブロックパーティションを含む動きベクトルフィールドは、項目３で説明した工程により求めることができる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、全ての対応するベースレイヤマクロブロックがイントラ符号化された場合、現マクロブロックモードはI_BL に設定する。
【０１３７】
・extended_spatial_scalabilityが１又は２でbase_layer_mode_flagが０、base_layer_refinementが１の場合、ベースレイヤリファインメントモードが指定される。ベースレイヤリファインメントモードは、ベースレイヤ予測モードに似ている。マクロブロックパーティション、参照インデックス、および動きベクトルは、項目３で説明した手順で求めることができる。しかしながら、各動きベクトルについて、１／４サンプルベクトルリファインメント（mvd_ref_lX ）(各動きベクトルコンポーネントについて-1, 0,+1)をさらに伝送し求めた動きベクトルに付加する。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
［サブバンド画像のデコード工程］
WD-1.0 [MPEG Doc. N6901]での処理に、以下の工程が追加される。
【０１３８】
extended_spatial_scalabilityが１または２の場合、I_BL modeのＭＢのイントラ予測信号は、以下の工程により生成する。
【０１３９】
・コロケーティドベースレイヤブロックまたはマクロブロックをフィルタ処理する。
【０１４０】
・デブロックされたブロックを補間することによって、イントラ予測信号を生成する。補間処理については、項目４で説明した工程により行うことができる。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
extended_spatial_scalabilityが１または２で、かつresidual_prediction_flagが１の場合、以下の処理を施す。
【０１４１】
・  ベースレイヤブロックの残差信号をアップサンプルし、現マクロブロックの残差信号に付加する。補間処理については、項目４で説明した工程により行うことができる。
［ループフィルタの変更］
extended_spatial_scalabilityが１又は２の場合、I_BL modeにおけるブロックのフィルタ強度決定時のループフィルタに対しマイナーな変更を行う。
【０１４２】
・隣接ブロックがイントラ符号化され、I_BL modeでない場合、Bs は４とする (この最初の工程については、WD-1.0 [MPEG Doc. N6901]と同様である。)。
【０１４３】
・隣接するブロックのいずれかに係数が設定されている場合、Bs は２とする。
【０１４４】
・隣接するブロックが、I_BL modeでない場合は、Bs は１とする。
【０１４５】
・上記に該当しない場合は、Bs は０とする。
［６タップフィルタの実施例］
本発明の実施の形態は、H.264/MPEG-4 AVC スケーラブル映像符号化(ＳＶＣ)の拡張方式に適応するものであり、特に２００５年４月にJVT (Joint Video Team (合同映像チーム):MPEG, VCEG)で採用されたExtended Spatial Scalable (ESS) 映像符号化特性に適応するものである。
【０１４６】
現在のスケーラブル映像符号化（ＳＶＣ）方式では、アップサンプリング処理は、Ｈ.２６４インター予測で指定された１／４−サンプル輝度補間処理に基づいて行っている。上記の方法を空間スケーラブルコーデックに適用した場合、下記の２つの欠点を引き継ぐことなる。
【０１４７】
（１）補間解像度が、１／４に限定される。
【０１４８】
（２）１／４サンプル位置を求めるために１／２サンプル補間が必要となる。
【０１４９】
本発明の実施の形態は、（１）より細かい補間解像度および（２）直接補間により、上記の欠点を解消することができる。この結果、本発明の実施の形態では、複雑な計算を要することなく、アップサンプルされた画像の品質の向上を図ることができる。
【０１５０】
本発明の実施の形態のアップサンプリング技術は、１６個の６タップフィルタを用いた直接補間を行うものである。アップサンプリングフィルタは、１／１６画像サンプルユニットの０〜１５の補間位置または位相に基づいて選択する。フィルタのセットは、ＳＶＣの１／２サンプル補間工程と、Ｈ．２６４の１／２サンプル輝度インター予測と互換可能に設計している。したがって、これらの実施例で用いる技術は、ハード／ソフトインプリメンテーションの観点では、Ｈ．２６４の自然な拡張と言える。
【０１５１】
従来の空間拡張画像符号化システムでは、空間または解像度スケーリングファクタを、２あるいは２の乗数としている。２００５年４月に、拡張された空間スケーラビリティが、SVC Joint Scalable Video Model (JSVM) に採用され、空間スケーリングファクタが２の乗数に限定されないより一般的な仕様が可能となった。しかしながら、インターレイヤテクスチャ予測のアップサンプリング工程については、依然解決すべき問題がある。２００５年４月のＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チームの会議で、Ｈ．２６４テクスチャアップサンプリングでは、当面１／４サンプル輝度補間を採用することで合意がなされた。
【０１５２】
本発明の実施の形態においても、図１を参照し説明した実施の形態でも幾何学的関係を適用することができる。
【０１５３】
上記の実施の形態では、ベースレイヤ画像における対応する成分のサンプルグリッドに対する１／１６サンプル間隔ユニットにおける１６の異なる補間位相について、以下の１６個の４タップアップサンプリングフィルタを定義している。しかしながら、４タップアップサンプリングフィルタは、Ｈ.２６４仕様と互換性がない。このため、各実施の形態では、１６個の新しい６タップアップサンプリングフィルタを用いて、対応するフィルタ処理を施してもよい。６タップフィルタとしては、例えば、表２に示すものを用いることができる。また、表３に示す６タップフィルタを用いる構成としてもよい。
【０１５４】
【表５】
2011083022.tif 000036
【０１５５】
【表６】
2011083022.tif 000037
【０１５６】
整数輝度サンプルユニットにおけるエンハンスメント画像のサンプル座標位置を（ｘ, y)とした場合、ベースレイヤ画像の１／１６輝度サンプルユニットにおけるベースレイヤ画像の座標位置(px,L, py,L) は、下記式により求めることができる。
【０１５７】
【数３０】
2011083022.tif 000038
【０１５８】
上記式中、RL=16 (１／１６サンプル解像度補間）であり、(xorig,yorig) は（現画像の）１色差サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。(wbase, hbase) は、ベースレイヤ画像の１輝度サンプルユニットにおけるベースレイヤ画像の解像度を示している。(wextract, hextract) は、現画像の１輝度サンプルユニットにおけるクロップウインドウの解像度を示している。“//”は、割り算で四捨五入することを意味している。
【０１５９】
１色差サンプルユニットにおけるエンハンスメント画像の色度サンプル座標位置を (xc, yc) とした場合、ベースレイヤ画像の１／１６色度サンプルユニットにおけるベースレイヤ画像の座標位置(px,c, py,c) は、下記式により求めることができる。
【０１６０】
【数３１】
2011083022.tif 000039
【０１６１】
上記式中、Rｃ=16であり、(xorig,c, yorig,c)は（現画像の）シングル色度サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。 (wbase,c, hbase,c) は、ベースレイヤ画像のシングル色度サンプルにおけるベースレイヤ画像の解像度を示している。(wextract,c, hextract,c) は、現画像のシングル色度サンプルユニットにおけるクロップウインドウの解像度を示している。(pbase,x, pbase,y) は、ベースレイヤ画像の１／４色度サンプルユニットにおけるベースレイヤ画像の相対的な色度の位相ズレを示している。 (penh,x, penh,y) は、現画像の１／４色度サンプルユニットにおける現画像の相対的な色度位相ズレを示している。
【０１６２】
６タップフィルタは、式（２１）および式（２２）から算出した補間位置に基づいて表２または表３から選択することができる。本発明の実施の形態では、補間位置が１／２サンプル位置の場合、Ｈ．２６４での１／２サンプル輝度補間と同様のフィルタを用いることができる。このため、同様のハードウェア／ソフトウェアモジュールを本発明の実施の形態の技術に適応することができる。
【０１６３】
インターレイヤ残差アップサンプリングについても同様の直接補間方法が用いられる。本発明の実施の形態では、上述したテクスチャアップサンプリングの６タップフィルタ、４タップフィルタに代えて双線型の補間フィルタを用いることもできる。
【０１６４】
本発明の実施の形態の補間処理について説明する。
【０１６５】
１．エンハンスメント画像のマクロブロックの左上輝度サンプルの座標位置(xP,yP)を規定する。「chroma_format_idc」が０でない場合、つまり、色度チャネルが存在する場合、同じマクロブロックの左上色度サンプルの座標位置(xC, yC)を規定する。
【０１６６】
２．ベースレイヤのマクロブロックの相対位置を算出する。
【０１６７】
【数３２】
2011083022.tif 000040
【０１６８】
【数３３】
2011083022.tif 000041
【０１６９】
「chroma_format_idc」が０でない場合、
【０１７０】
【数３４】
2011083022.tif 000042
【０１７１】
【数３５】
2011083022.tif 000043
【０１７２】
上記式中、「MbWidthC 」と「MbHeightC 」とは、それぞれ、水平方向および垂直方向の各ＭＢの色度サンプルの数を表している。
３．テクスチャ補間工程
テクスチャ補間工程における入力は、以下の通りである。
【０１７３】
・ベースレイヤ画像の整数輝度サンプル位置（(xB, yB) ・(xB1, yB1)）
・ベースレイヤ画像の輝度サンプル配列（baseL[x, y], x = -2 + xB..(xB1+2),y= -2+yB..(yB1+2)) 
・「chroma_format_idc 」が０でない場合、
・ベースレイヤ画像の整数輝度サンプル位置（(xCB, yCB)・(xCB1, yB1)）
・ベースレイヤ画像の２つの色度サンプル配列（baseCb[x, y], x =-2 + xCB..(xCB1+2),y= -2+yCB..(yCB1+2)) 
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプルマクロブロック配列(predL[x,y] (x=0..15, y=0..15)) 
・chroma_format_idcがゼロでない場合、２つの色度サンプルマクロブロック配列（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
輝度サンプルpredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
【０１７４】
tempL[x,y] (x=-2+xB..(xB1+2), y=0..15)を、一時的な輝度サンプル配列とすると、
各tempL[x,y]（x=-2+xB..(xB1+2), y=0..15)は、以下の工程にて求めることができる。
【０１７５】
ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
【０１７６】
【数３６】
2011083022.tif 000044
【０１７７】
yInt、yFracを下記のように規定する。
【０１７８】
【数３７】
2011083022.tif 000045
【０１７９】
【数３８】
2011083022.tif 000046
【０１８０】
位相としてyFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempL[x, y]を算出する。
【０１８１】
【数３９】
2011083022.tif 000047
【０１８２】
各サンプル予測 predL[x, y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
【０１８３】
ベースレイヤでの対応する小数サンプルの位置ｘｆは、下記式により求めることができる。
【０１８４】
【数４０】
2011083022.tif 000048
【０１８５】
xInt、xFracをそれぞれ下記式にて定義する。
【０１８６】
【数４１】
2011083022.tif 000049
【０１８７】
位相としてxFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてpredL[x, y]を算出する。
【０１８８】
【数４２】
2011083022.tif 000050
【０１８９】
chroma_format_idcが０でない場合、色差サンプルpredC[x,y] ((Cは、CbとCr)  x=0..MbWidthC-1, y=0..MbHeightC-1)）は、下記の工程で求めることができる。
【０１９０】
tmp1Cb[x, y], tmp1Cr[x, y] (x==-2+xCB.. ..(xCB1+2),y=0..MbHeightC-1)を一時的な色度サンプル配列とすると、
各tempC[x,y]（CはCbとCr, x= -2+xCB..(xCB1+2), y=0..MbHeightC-1)は、以下の工程にて求めることができる。
【０１９１】
・ベースレイヤの対応する小数サンプルの位置yfC、下記式により算出できる。
【０１９２】
【数４３】
2011083022.tif 000051
【０１９３】
・yIntC、yFracCを下記式により決定する。
【０１９４】
【数４４】
2011083022.tif 000052
【０１９５】
位相としてyFracCを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempC[x, y]を算出する。
【０１９６】
【数４５】
2011083022.tif 000053
【０１９７】
・各サンプル予測 predC[x, y] (CはCb, Cr, x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて求めることができる。
【０１９８】
・ベースレイヤの対応する小数サンプルの位置xfC、下記式により算出できる。
【０１９９】
【数４６】
2011083022.tif 000054
【０２００】
・xIntC、xFracCを下記式により決定する。
【０２０１】
【数４７】
2011083022.tif 000055
【０２０２】
・位相としてxFraCを用いて表２から６タップフィルタ（e[j]（j =-2..3）)を選択し、下記式にてpredC[x, y]を算出する。
【０２０３】
【数４８】
2011083022.tif 000056
【０２０４】
４．テクスチャ補間処理
テクスチャ補間工程における入力は、以下の通りである。
【０２０５】
・ベースレイヤ画像basePicの整数輝度サンプル位置（(xB, yB)・(xB1, yB1)）
・ベースレイヤ画像の輝度残差サンプル配列（resBaseL[x,y], x=xB..xB1, y=yB..yB1) 
・chroma_format_idc が０でない場合、
・ベース画像basePicの整数色度サンプル位置（(xCB, yCB)・(xCB1, yCB1)）
・２つの色差残差サンプル配列resBaseCb[x,y]・resBaseCr[x,y]（x=xCB..xCB1, y=yCB..yCB1) 
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプル配列resPredL[x,y]（x=0..15, y=0..15）
・chroma_format_idcがゼロでない場合、２つの色度サンプル配列(resPredCb[x,y])・（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
各輝度残差サンプルresPredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
【０２０６】
・tempL[x,y] (x=-xB..xB1,y=0..15)を、一時的な輝度サンプル配列とする。
【０２０７】
・各tempL[x,y]（x=-xB..xB1, y=0..15)は、以下の工程にて求めることができる。
【０２０８】
・ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
【０２０９】
【数４９】
2011083022.tif 000057
【０２１０】
・yInt、yFracを下記のように規定する。
【０２１１】
【数５０】
2011083022.tif 000058
【０２１２】
・tempL[x, y]を下記のように導出する。
【０２１３】
【数５１】
2011083022.tif 000059
【０２１４】
・各サンプル resPredL[x,y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
【０２１５】
・ベースレイヤでの対応する小数サンプルの位置xfは、下記式により求めることができる。
【０２１６】
【数５２】
2011083022.tif 000060
【０２１７】
・xInt、xFracをそれぞれ下記式にて定義する。
【０２１８】
【数５３】
2011083022.tif 000061
【０２１９】
・resPredL[x, y]を下記式により算出する。
【０２２０】
【数５４】
2011083022.tif 000062
【０２２１】
上記式中、Clip1Y, r(x)=Clip3(1-(1<<BitDepthY), (1<<BitDepthY)-1, x) 
BitDepthYは、輝度チャネルデータのビット深度を示す。
【０２２２】
chroma_format_idcが０でない場合、色度残差サンプルresPredC[x,y]（（CはCbまたはCr) x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて算出できる。
【０２２３】
・tmp1Cb[x,y]、tmp1Cr[x,y](x=xCB..xCB1, y=0..MbHeightC-1)を、一時的な色差サンプル配列とすると、
・各tempC[x,y]（Cは、Cb, Cr, x=-xCB..xCB1,y=0..MbHeightC-1)は、以下の工程にて求めることができる。
【０２２４】
・ベースレイヤでの対応する小数サンプルの位置xfCは、下記式により求めることができる。
【０２２５】
【数５５】
2011083022.tif 000063
【０２２６】
・yIntC、yFracCをそれぞれ下記式にて定義する。
【０２２７】
【数５６】
2011083022.tif 000064
【０２２８】
・tempC[x,y]は、下記式にて算出する。
【０２２９】
【数５７】
2011083022.tif 000065
【０２３０】
・各サンプルresPredC[x,y]（CはCbとCr, x=0..MbWidthC-1, y=0..MbHeight-1)は、以下の工程にて求めることができる。
【０２３１】
・ベースレイヤの対応する小数サンプルの位置xfCは、下記式により算出できる。
【０２３２】
【数５８】
2011083022.tif 000066
【０２３３】
・xIntC、xFracCをそれぞれ下記式にて定義する。
【０２３４】
【数５９】
2011083022.tif 000067
【０２３５】
・resPredC[x, y]を下記式により算出する。
【０２３６】
【数６０】
2011083022.tif 000068
【０２３７】
上記式中、Clip1C, r(x)=Clip3(1-(1<<BitDepthC), (1<<BitDepthC)-1, x) 
BitDepthCは、色度チャネルデータのビット深度を示す。
【０２３８】
説明の便宜上、操作は様々な相互接続された機能ブロックまたは異なったソフトウェアモジュールとして記述しているが、本発明は、これに限定されず、これらの機能ブロックまたはソフトウェアモジュールが不明瞭な境界で単一の論理素子、プログラムまたは操作として同等に集約された構成としてもよい。いずれの場合も、機能ブロックおよびソフトウェアモジュールまたは上記の本発明の特徴的特徴を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。自分たち、またはハードウェアまたはソフトウェアのどちらかの他の操作と組み合わせて機能ブロックとソフトウェアモジュールまたは説明した特徴を実装することができる。
【０２３９】
また、上記画像レベルの適応化方法およびシステムを以下のように構成してもよい。
【０２４０】
＜１＞
空間スケーラブル映像符号化方式における画像レベルの適応化方法であって、
（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、
（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、
（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、
（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴とする画像レベルの適応化方法。
【０２４１】
＜２＞
上記第２ベースレイヤに基づいて上記第２画像のエンハンスメントレイヤを予測する工程を更に含むことを特徴とする＜１＞に記載の方法。
【０２４２】
＜３＞
上記予測工程において、画像の動き成分とクロップウインドウの動き成分とを有する拡張した動きベクトルを用いることを特徴とする＜２＞に記載の方法。
【０２４３】
＜４＞
【０２４４】
【数６１】
2011083022.tif 000069
【０２４５】
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs= (dsx, dsy) に拡張したベクトルを用いることを特徴とする＜２＞に記載の方法。
【０２４６】
＜５＞
上記第１画像と上記第２画像とがテクスチャー画像であることを特徴とする＜２＞に記載の方法。
【０２４７】
＜６＞
上記第１画像と上記第２画像とが残差画像であることを特徴とする＜２＞に記載の方法。
【０２４８】
＜７＞
空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法であって、
（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、
（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、
（ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴とする方法。
【０２４９】
＜８＞
さらに、上記調整された拡張された動きベクトルを用いて上記エンハンスメントレイヤを予測する工程を含むことを特徴とする＜７＞に記載の方法。
【０２５０】
＜９＞
上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする＜７＞に記載の方法。
【０２５１】
＜１０＞
【０２５２】
【数６２】
2011083022.tif 000070
【０２５３】
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs= (dsx, dsy) に拡張したベクトルを用いることを特徴とする＜７＞に記載の方法。
【０２５４】
＜１１＞
上記予測工程が、テクスチャー予測を含むことを特徴とする＜７＞に記載の方法。
【０２５５】
＜１２＞
上記予測工程が、残差予測を含むことを特徴とする＜７＞に記載の方法。
【０２５６】
＜１３＞
上記拡張行程および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする＜７＞に記載の方法。
【０２５７】
＜１４＞
空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムであって、
（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、
（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、
（ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴とするシステム。
【０２５８】
＜１５＞
さらに、上記調整された拡張された動きベクトルを用いて、エンハンスメントレイヤを予測する予測部を更に含むことを特徴とする＜１４＞に記載のシステム。
【０２５９】
＜１６＞
上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする＜１４＞に記載のシステム。
【０２６０】
＜１７＞
【０２６１】
【数６３】
2011083022.tif 000071
【０２６２】
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs= (dsx, dsy) に拡張したベクトルを用いることを特徴とする＜１４＞に記載のシステム。
【０２６３】
＜１８＞
上記予測が、テクスチャ予測を含むことを特徴とする＜１４＞に記載のシステム。
【０２６４】
＜１９＞
上記予測が、残差予測を含むことを特徴とする＜１４＞に記載のシステム。
【０２６５】
＜２０＞
上記拡張および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする＜１４＞に記載の方法。
【０２６６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【０２６７】
２５１      上位レイヤ（エンハンスメントレイヤ）
２５３      下位レイヤ（ベースレイヤ）
２７０      エンハンスメントレイヤ画像
２７２      ベースレイヤ画像
２８１・２８２・２８３・２８４      コーナブロック
３００      マクロブロック
３０１・３０２・３０３・３０４      ブロック
【図１】
2011083022.tif 000074
【図２】
2011083022.tif 000075
【図３】
2011083022.tif 000076
【図４】
2011083022.tif 000077
【図５】
2011083022.tif 000078