(57)【要約】      （修正有）【課題】低演算量で実行できる低解像度画像から高解像度画像への画像アップサンプリング方法およびシステムを実現する。【解決手段】画像アップサンプリング用法および画像アップサンプリングシステムは、高解像度画像のサンプル位置に対応する低解像度画像の位置の位相に基づいて選択されたフィルタ係数を用いたダイレクト補間処理を用い、H.264/MPEG-4 AVCスケーラブル映像符号化(SVC)拡張方式に適応される。【選択図】図１
2010022020.tif 000002
【特許請求の範囲】
【請求項１】
低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、
高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、
上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、
上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、
上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、
上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、
上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、
上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、
上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、
上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含むことを特徴とする画像アップサンプリング方法。
【請求項２】
上記工程（ｂ）および工程（ｄ）の各々は、画像サンプルの１／１６の補間解像度を用いることを特徴とする請求項１に記載の画像アップサンプリング方法。
【請求項３】
上記第１フィルタ係数セットを算出する工程は、ルックアップテーブルを参照する工程を含むことを特徴とする請求項１に記載の画像アップサンプリング方法。
【請求項４】
上記第２フィルタ係数セットを算出する工程は、ルックアップテーブルを参照する工程を含むことを特徴とする請求項１に記載の画像アップサンプリング方法。
【請求項５】
上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項３に記載の画像アップサンプリング方法。
【請求項６】
上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項４に記載の画像アップサンプリング方法。
【請求項７】
低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリングシステムであって、
上記高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する相対位置取得部と、
上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する第１位置補間中心算出部と、
上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する第１位置位相算出部と、
上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する第２位置補間中心算出部と、
上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する第２位置位相算出部と、
上記第１位置位相に基づいて、第１フィルタ係数セットを算出する第１フィルタ係数選択部と、
上記第２位置位相に基づいて、第２フィルタ係数セットを算出する第２フィルタ係数選択部と、
上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する上記第１フィルタ係数セットを有する第１フィルタと、
上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する上記第２フィルタ係数セットを有する第２フィルタと、を含むことを特徴とする画像アップサンプリングシステム。
【請求項８】
上記第１位置補間中心算出部および第２位置補間中心算出部の各々は、画像サンプルの１／１６の補間解像度を用いることを特徴とする請求項７に記載の画像アップサンプリングシステム。
【請求項９】
上記第１フィルタ係数選択部は、ルックアップテーブルを参照して上記第１フィルタ係数セットを選択することを特徴とする請求項８に記載の画像アップサンプリングシステム。
【請求項１０】
上記第２フィルタ係数選択部は、ルックアップテーブルを参照して上記第２フィルタ係数セットを選択することを特徴とする請求項８に記載の画像アップサンプリングシステム。
【請求項１１】
上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項９に記載の画像アップサンプリングシステム。
【請求項１２】
上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項１０に記載の画像アップサンプリングシステム。
【請求項１３】
さらに、H.264/MPEG-4 AVCビデオコーディックを含むことを特徴とする請求項７に記載の画像アップサンプリングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像アップサンプリング方法および画像アップサンプリングシステムに関し、特に、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに関するものである。
【背景技術】
【０００２】
動画データの圧縮符号化方式の標準であるH.264/MPEG-4 AVCは、非特許文献１に開示されているように、マクロブロック予測、残差コーディングを順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させるビデオコーディック仕様である。空間スケーラビリティは、サポートされた如何なる空間解像度でもレート歪特性を維持しつつビットストリームのパーツを取り除くことができる機能である。しかしながら、H.264/MPEG-4 AVCは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、H.264/MPEG-4 AVC スケーラブル映像符号化(SVC)の拡張方式でサポートされている。
【０００３】
H.264/MPEG-4 AVCの拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーディックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。H.264/MPEG-4 AVC規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
【０００４】
従来、スケーラブル映像符号化(SVC)方式では、ダイアディック空間スケーラビリティだけが採用されていた。
【０００５】
このダイアディック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ダイメンションの比率を２の乗数（power of 2）としているが、２つの連続する空間レイヤ間の画像ダイメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、高域画像が、対応する低域画像では存在しない領域を含む、Crop（切り取り）ウインドウを用いた非dyadic型スケーリング方法である。
【０００６】
レイヤ間予測方法では、何れの場合も画像アップサンプリング処理が用いられている。画像アップサンプリング処理は、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(SVC)で用いられる従来のアップサンプリング処理は、イントラ(Intra)予測のためのH.264で規定された1/4輝度サンプル補間処理に基づいて行われる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Joint Video Team of ITU-T VCEG and ISO/IECMPEG, “Advanced Video Coding (AVC) - 4th Edition,” ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005
【非特許文献２】Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーディングに適応する場合、以下の問題があった。すなわち、補間解像度処理が、1/4サンプルに限られ、非dyadic型スケーリング方法ではサポートされていないため、1/4サンプル位置を得るために、1/2サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。
【０００９】
したがって、上記の制限を受けることなく低演算量で実行できる画像アップサンプリング方法が求められている。
【課題を解決するための手段】
【００１０】
本発明の画像アップサンプリング方法は、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含むことを特徴としている。
【００１１】
また、本発明の画像アップサンプリングシステムは、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリングシステムであって、上記高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する相対位置取得部と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する第１位置補間中心算出部と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する第１位置位相算出部と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する第２位置補間中心算出部、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する第２位置位相算出部と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する第１フィルタ係数選択部と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する第２フィルタ係数選択部と、上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する上記第１フィルタ係数セットを有する第１フィルタと、上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する上記第２フィルタ係数セットを有する第２フィルタと、を含むことを特徴としている。
【００１２】
上記の構成によれば、低演算量で実行できる画像アップサンプリング方法およびシステムを実現することができる。
【発明の効果】
【００１３】
本発明の画像アップサンプリング方法は、以上のように、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含む方法である。
【００１４】
それゆえ、低演算量で実行できるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】エンハンスメントレイヤとベースレイヤとの幾何学的な関係を示す説明図である。
【図２】エンハンスメントレイヤとベースレイヤとの相対的位置関係の一例を示す説明図である。
【図３】本発明の一実施の形態にかかる２方向の補間フィルタ処理工程を示すフローチャートである。
【図４】エンハンスメントレイヤとベースレイヤとの各マクロブロックの関係を示す説明図である。
【図５】エンハンスメントレイヤとベースレイヤとのマクロブロックの関係を示す説明図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
【００１７】
本発明の構成要素を、ここに示されている図においては一般化して描き、説明しているが、多種多様な形態に変更および設計できることができる。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
【００１８】
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
【００１９】
本発明の実施の形態に係る画像アップサンプリング方法は、補間される画素の位置の位相に基づいて選択されたフィルタ係数を用いたダイレクト補間処理工程を含んでいる。
【００２０】
本明細書および特許請求の範囲では、「画像」は、画素アレイ、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。図１はイメージ画像に対応する低域空間画像（ベース空間画像、ベースレイヤ画像）１０と高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像）１００との２つの画像を示している。図１に示すように、ベース空間画像１０は、エンハンスメント空間画像１００よりも空間解像度が低いものであってもよい。また、ベース空間画像１０は、図１に示すように、エンハンスメント空間画像１００と同じ空間領域を有していない構成としてもよい。図１には、エンハンスメント空間画像１００の空間領域１１０に対応したベース空間画像１０を示している。
【００２１】
本発明の実施の形態は、ベース空間画像とエンハンスメント空間画像とが、スケーラブルビデオコーダ／デコーダ（コーデック）における２つの空間レイヤに対応する構成としてもよい。
【００２２】
以下の説明において、エンハンスメント空間画像１００の幅１０１をｗe、高さ１０２をｈeとし、ベース空間画像１０の幅１１をｗｂ、高さ１２をｈｂとする。ベース空間画像１０は、エンハンスメント空間画像の座標(xorig, yorig)に位置するエンハンスメント空間画像１００のサブ領域（Crop（切り取り）領域）１１０をサブサンプルすることにより得ることができる。座標位置１０３は、cropウインドウ(Crop領域)１１０の左上隅に位置している。１１０の幅１１１と高さ１１２は、それぞれwex・hexで示している。エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係は、パラメータ(xorig, yorig, wex, hex, wb, hb)により規定される。
【００２３】
画像アップサンプリング処理は、低域空間解像度画像から高域空間解像度画像を生成する処理である。本実施の形態に係る画像アップサンプリング処理は、空間的あるいは時間的なダイメンションに限らず、あるダイメンションにおいて、解像度を向上させる処理と言ってもよい。図２は、高域空間解像度画像２００の画素位置２２０を示している。画素位置２２０は、低域空間解像度画像２０の位置２２に対応する位置である。画素位置２２０は、低域空間解像度画像の画素位置に並んで配置されていてもよいがこれに限定されない。図２では、位置２２は、ベースレイヤの４つの画素２１、２３、２４、２５で形成される領域内に位置している。
【００２４】
本発明の実施の形態にかかるアップサンプリング方法およびアップサンプリングシステムは、低域空間解像度画像（ベース空間画像）２０から高域空間解像度画像（エンハンスメント空間画像）２００の画素位置２２０をダイレクト補間処理するもので、ダイメンション間の比率が２の乗数に限定されない構成としてもよい。また、本発明の実施の形態に係るアップサンプリング方法およびアップサンプリングシステムは、ベース空間画像２０の画像全体をアップサンプリングする構成であってもよい。本発明の他の実施の形態として、ベース空間画像２０をブロックごとにアップサンプリングするものであってもよい。また、所定の方向にアップサンプリングした後、該所定の方向と異なる方向にアップサンプリングする構成としてもい。
【００２５】
複数の整数サンプルで構成される複数のユニットにおけるエンハンスメント空間画像のサンプル位置(x, y)の場合、複数の１／ＲＬユニットのベース空間画像における対応位置(Px,L(x), Py,L(y))は、下記式により算出する。
【００２６】
【数３】
2010022020.tif 000003
【００２７】
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。上記補間解像度を画像サンプルの解像度の１／１６に設定している場合は、ＲＬは１６となる。
【００２８】
また、ベース空間画像１０における対応する位置(Px,L(x), Py,L(y))は、下記式により算出する。
【００２９】
【数４】
2010022020.tif 000004
【００３０】
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。また、“//”は、割り算で四捨五入することを意味している。サンプル位置は、２の乗数に限らず、また、サンプル位置を直接計算することにより、当該サンプル位置における画像をダイレクト補間することができる。
【００３１】
本実施の形態において、サンプル位置(x, y)のエンハンスメントレイヤの画像値の補間処理は、フィルタ処理を含むものであってもよい。フィルタ処理は、さらに、ルックアップテーブルから補間フィルタ係数を算出する工程を含むものであってもよい。ここで、ルックアップテーブルのインデックスとして、補間位置(Px,L(x), Py,L(y))に関連付けたインデックスを用いてもよい。
【００３２】
本実施の形態の補間フィルタとしては、例えば、４タップフィルタ、６タップフィルタを用いることができる。補間フィルタ係数は、例えば、two-lobed Lanczos-windowed sinc functionまたはthree-lobed Lanczos-windowed sinc functionから導出できる。
【００３３】
表１および表２は、ぞれぞれ、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相６タップフィルタの補間フィルタ係数のルックアップテーブルを例示している。
【００３４】
【表１】
2010022020.tif 000005
【００３５】
【表２】
2010022020.tif 000006
【００３６】
表３は、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相４タップフィルタの補間フィルタ係数のルックアップテーブルを示している。
【００３７】
【表３】
2010022020.tif 000007
【００３８】
図３に示すように、本実施の形態の補間処理は、別々のパス（パス３００・パス３０）で、それぞれＸ方向およびＹ方向に行ってもよい。また、本実施の形態において、画像のマクロブロックまたは別の下位区分の中で各パスを実行できる構成としてもよく、また、全体の画像の中で各パスを実行できる構成としてもよい。
【００３９】
エンハンスメントレイヤ３１のサンプル位置、すなわち、エンハンスメントレイヤの画像位置に対応するベースレイヤ３２の位置を決定する（工程３０１）。次に、整数ベースレイヤ画素位置からベースレイヤサンプルにおける各方法のオフセットまた位相である、ｙ位置位相３３およびｘ位置位相３４をそれぞれ導出する（工程３０２・工程３０３）。これらの工程において、オフセットまたは位相は、補間解像ユニットで求めてもよい。例えば、補間解像度がサンプル画像の解像度の１／１６の場合、０位相はベースレイヤの画素位置からオフセットしていない場合に対応し、８位相は、エンハンスメントレイヤの画素が１つのダイメンションにおけるベースレイヤ画素位置間の中間に位置する場合に対応する。
【００４０】
補間フィルタ係数はルックアップテーブルを用いて決定してもよい。このルックアップテーブルにおいて、ｙ位置位相３３は、ｙ方向で補間するときのインデックスであってもよく、ｘ位置位相３４は、ｘ方向で補間するときのインデックスであってもよい。所定方向における中心補間位置は、位相位置が測定されるベースレイヤの画素位置である。本実施の形態において、上記中心補間位置は、フィルタの中心が位置する画素位置であってもよい。
【００４１】
図４はマクロブロックのオーバレイを有する図１に示されていたものと同じ結合構造を示している。参照符号１４０は、強調空間レイヤ１００におけるマクロブロックの一例を示している。参照符号４０は、ベース空間画像（ベース空間レイヤ）１０におけるマクロブロックの一例を示している。ベース空間レイヤ１０におけるマクロブロックは、Crop領域１１０内に形成されていてもよい。また、強調空間レイヤ１００のマクロブロック１４４は、完全にCrop領域１１０の外側に形成されていてもよい。強調空間レイヤ１００のマクロブロック１４６は、Crop領域１１０の内外の両方に形成されていてもよい。
【００４２】
図５は、強調空間レイヤ１００上のアップサンプルされたベース空間レイヤ５０のマクロブロックのオーバレイの一例を示している。図５中、破線は、それぞれアップサンプルされたベース空間レイヤのマクロブロックを示している。ブロック５１は、ベース空間レイヤからアップサンプルされたマクロブロックを示している。強調空間レイヤ１００のマクロブロックのうちいくつかのマクロブロック（例えば、マクロブロック５２）は、ベース空間レイヤの対応するブロックを有していない。強調空間レイヤ１００における他のマクロブロックは、１から７つのベース空間レイヤマクロブロックを有している。強調空間レイヤ１００のブロック５３は、ベース空間レイヤのブロック５４に対応している。強調空間レイヤ１００のブロック５５は、ベース空間レイヤの４つの対応するブロック５６・５７・５８・５９を有している。
【００４３】
本発明の実施の形態にかかる補間処理は、H.264(MPEG-4 AVC)のSVC拡張方式と互換性があり、以下の工程を含んでいる。
【００４４】
強調画像におけるマクロブロックの左上の輝度サンプル位置(xP, yP)を定義する。次に、chroma_format_idcがゼロでない場合、すなわち、色度チャネルが存在する場合、上記色度ブロックの左上の複数の色度サンプル位置(xC, yC)を規定する。
【００４５】
下記式を用いて、輝度ベースレイヤ画像(Px,L, Py,L)における輝度サンプルマクロブロックの相対位置を算出する。
【００４６】
【数５】
2010022020.tif 000008
【００４７】
【数６】
2010022020.tif 000009
【００４８】
上記式は、下記式を充足する。下記式中、ＲＬは、１６である。
【００４９】
【数７】
2010022020.tif 000010
【００５０】
chroma_format_idcがゼロでない場合、色度ベースレイヤ画像(Px,C, Py,CL)の色度マクロブロックの相対位置を、下記式を用いて算出する。
【００５１】
【数８】
2010022020.tif 000011
【００５２】
【数９】
2010022020.tif 000012
【００５３】
上記式中、MbWidthCおよびMbHeightCは、それぞれ、水平方向および垂直方向のマクロブロック（ＭＢ）ごとの色度サンプルの数を示している。それぞれ１つの色度サンプルからなる複数のユニットにおける強調画像における所定の色度サンプル位置において、ベース画像の複数の1/16 色度サンプルユニットにおけるベース画像(Px,c, Py,c)に対応する位置を下記式より算出する。
【００５４】
【数１０】
2010022020.tif 000013
【００５５】
上記式中、RC=16(xorig,c, yorig,c)は、Cropウインドウ(Crop領域)１１０の左上隅の位置を示し、(wb,c, hb,c)は、ベース画像の１つの色度サンプルユニットにおけるベース画像の解像度を示し、(wex,c, hex,c)は、現画像の１のシングル色度サンプルユニットにおけるCropウインドウの解像度を示し、(pbase,x, pbase,y)は、ベース画像の1/4色度サンプルユニットにおけるベース画像の相対色度位相ずれを示し、(penh,x, penh,y）は、ベース画像の1/4色度サンプルユニットにおける現画像の相対色度位相ずれを示している。
【００５６】
テクスチャ補間処理:予測 [Prediction]
テクスチャ補間処理の入力は、以下に示す通りである。
【００５７】
・ベース画像（xB,yB）および（xB1,yB1）の整数輝度サンプル位置
・ベース画像(baseL[x, y]) (=-2+xB..(xB1+2), y=-2+ yB..(yB1+2))
・chroma_format_idcがゼロでない場合、
・ベース画像((xCB,yCB),(xCB1,yCB1))の整数色度サンプル位置、
・ベース画像（baseCb[x,y], baseCr[x,y]）(=-2 + xCB..(xCB1+2), y=-2 + yCB..(yCB1+2))
テクスチャ補間処理の出力は、以下に示す通りである。
【００５８】
・輝度サンプルマクロブロックアレイ (PredL[x, y]) (x=0..15, y = 0..15))
・chroma_format_idcがゼロでない場合、
・２つの輝度サンプルマクロブロックアレイpredCb[x, y]・predCr[x, y] (x=0..MbWidthC-1, y=0..MbHeightC-1)
上記輝度サンプルマクロブロックアレイPredL[x,y] (x=0..15, y = 0..15) は、以下のように算出する。
【００５９】
・tempL[x, y] (x=-2+(xB..(xB1+2), y=0..15) を一時的輝度サンプルアレイとする。
【００６０】
各tempL[x,y] (x=-2+(xB..(xB1+2), y=0..15)は、以下のように算出することができる。
【００６１】
ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
【００６２】
【数１１】
2010022020.tif 000014
【００６３】
・上記yInt および yFrac を下記式により算出する。
【００６４】
【数１２】
2010022020.tif 000015
【００６５】
・上記式により求めたyFracを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempL[x, y]を下記式により算出する。
【００６６】
【数１３】
2010022020.tif 000016
【００６７】
・各サンプル（PredL[x, y]）（x=0..15, y = 0..15）は、以下のように算出する。
【００６８】
・ベースレイヤの対応する分数間隔サンプル位置(xf)は、下記式により算出する。
【００６９】
【数１４】
2010022020.tif 000017
【００７０】
・xInt および xFrac を下記式により算出する。
【００７１】
【数１５】
2010022020.tif 000018
【００７２】
・上記式により求めたxFrac を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predL[x, y]を下記式により算出する。
【００７３】
【数１６】
2010022020.tif 000019
【００７４】
上記式は、下記式を満たす。
【００７５】
【数１７】
2010022020.tif 000020
【００７６】
上記式において、BitDepthYは、輝度チャネルデータのビット深度を示している。
【００７７】
・chroma_format_idcがゼロでない場合、
・色度サンプル(predC[x, y]) (Cは、Cb, Cr を示し、x = 0..MbWidthC-1, y=0..MbHeightC-1を満たす)は、以下のように算出する。
【００７８】
・tempCb[x,y] およびtempCr[x, y] (x = -2 + (xCB..(xCB1+2), y=0..MbHeightC-1)を一時的色度サンプルアレイとする。
【００７９】
・各tempC[x,y] (Cは、CbおよびCrを示し、x=-2+(xB..(xB1+2)、y=0..MbHeightC-15を満たす)は、以下のように算出することができる。
【００８０】
・ベースレイヤの対応する分数間隔サンプル位置(yfC)は、下記式により算出する。
【００８１】
【数１８】
2010022020.tif 000021
【００８２】
・yIntCy および yFracC を下記式により算出する。
【００８３】
【数１９】
2010022020.tif 000022
【００８４】
・上記式により求めたyFracCを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempＣ[x,y]を下記式により算出する。
【００８５】
【数２０】
2010022020.tif 000023
【００８６】
・各サンプル（predC[x,y]）(Cは、CbおよびCrを示し、x = 0..MbWidthC-1, y = 0..MbHeightC-1を満たす)は、以下のように算出することができる。
【００８７】
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
【００８８】
【数２１】
2010022020.tif 000024
【００８９】
・yIntCy および yFracCを下記式により算出する。
【００９０】
【数２２】
2010022020.tif 000025
【００９１】
・上記式２４により求めたyFracC を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predC[x,y]を下記式により算出する。
【００９２】
【数２３】
2010022020.tif 000026
【００９３】
上記式は、下記式を満たす。
【００９４】
【数２４】
2010022020.tif 000027
【００９５】
上記式において、BitDepthCは、色度チャネルデータのビット深度を示している。
〔テクスチャ補間処理工程：残差（RESIDUAL)〕
テクスチャ補間処理の入力は、以下に示す通りである。
【００９６】
・ベース画像basePic(xB,yB)および(xB1,yB1)の各整数輝度サンプル位置
・輝度残差サンプルアレイ(resBaseL[x, y])（x=-xB..xB1, y=yB..yB1）
・chroma_format_idcがゼロでない場合、
・ベース画像 （basePic(xCB, yCB), (xCB1, yCB1)）の整数色度サンプル位置
・２つの色度サンプルアレイresBaseCb[x, y]およびresBaseCr[x, y] (x=-2 + xCB..(xCB1+2), y=yCB..yCB1。
【００９７】
テクスチャ補間処理の出力は、以下に示す通りである。
【００９８】
・輝度サンプルアレイ（resPredL[x, y] (x=0..15, y = 0..15)）
・chroma_format_idcがゼロでない場合、
・２つの色度サンプルアレイ（resPredCb[x, y],pesPredCr[x, y]) (x=0..MbWidthC-1, y=0..MbHeightC-1)）。
【００９９】
上記輝度残差サンプル(resPredL[x, y])(x=0..15, y=0..15)は、以下のように算出する。
【０１００】
・tempL[x, y](x=xB..xB1, y=0..15) を一時的輝度サンプルアレイとする。
【０１０１】
・各tempL[x, y](x=xB..xB1, y=0..15)は、以下のように算出することができる。
【０１０２】
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
【０１０３】
【数２５】
2010022020.tif 000028
【０１０４】
・yInt および yFrac を下記式により算出する。
【０１０５】
【数２６】
2010022020.tif 000029
【０１０６】
・tempL[x, y]を下記式により算出する。
【０１０７】
【数２７】
2010022020.tif 000030
【０１０８】
・各残差サンプルresPredL[x, y] (x=0..15, y=0..15)は、以下のように算出することができる。
【０１０９】
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
【０１１０】
【数２８】
2010022020.tif 000031
【０１１１】
・yInt および yFrac を下記式により算出する。
【０１１２】
【数２９】
2010022020.tif 000032
【０１１３】
・各残差サンプルresPredL[x, y]を下記式により算出する。
【０１１４】
【数３０】
2010022020.tif 000033
【０１１５】
chroma_format_idcがゼロでない場合、色度残差サンプル（resPredC[x, y] ）（Cは、Cb, Cr を示し、x=0..MbWidthC-1,y=0..MbHeightC-1を満たす)は、以下のように算出する。
【０１１６】
・tempCb[x, y] およびtempCr[x, y] (x=CB..xCB1, y=0..MbHeightC-1)を一時的色度サンプルとする。
【０１１７】
・各tempC[x, y] (Cは、Cb、Crを示し、x=xCB..xCB1、y=0..MbHeightC-1を満たす)を、下の工程で算出することができる。
【０１１８】
・ベースレイヤの対応する分数間隔サンプル位置(yfC)を、下記式により算出する。
【０１１９】
【数３１】
2010022020.tif 000034
【０１２０】
・yIntCおよびyFracCを下記式により算出する。
【０１２１】
【数３２】
2010022020.tif 000035
【０１２２】
・Tempc[x, y]を下記式により算出する。
【０１２３】
【数３３】
2010022020.tif 000036
【０１２４】
・各サンプルresPredC[x, y] (Cは、CbおよびCrを示し、x=0..MbWidthC-1,y=0..MbHeight-1を満たす)は、以下のように算出することができる。
【０１２５】
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
【０１２６】
【数３４】
2010022020.tif 000037
【０１２７】
・xIntC および yFracC を下記式により算出する。
【０１２８】
【数３５】
2010022020.tif 000038
【０１２９】
・resPredC[x, y]を下記式により算出する。
【０１３０】
【数３６】
2010022020.tif 000039
【０１３１】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１３２】
本発明は、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに利用することができる。
【符号の説明】
【０１３３】
１０      低域空間画像（ベース空間画像、ベースレイヤ画像）
２０      低域空間解像度画像
３０      パス
３３      ｙ位置位相
３４      ｘ位置位相
４０      ブロック（マクロブロック）
５０      ベース空間レイヤ
５１      ブロック（マクロブロック）
５２      ブロック（マクロブロック）
５３      ブロック（マクロブロック）
５４      ブロック（マクロブロック）
５５      ブロック（マクロブロック）
５６      ブロック（マクロブロック）
５７      ブロック（マクロブロック）
５８      ブロック（マクロブロック）
５９      ブロック（マクロブロック）
１００    高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像・強調空間レイヤ）
１１０    Crop領域（空間領域）
１４０    マクロブロック
２００    高低域空間解像度画像
３００    パス
【図１】
2010022020.tif 000040
【図２】
2010022020.tif 000041
【図３】
2010022020.tif 000042
【図４】
2010022020.tif 000043
【図５】
2010022020.tif 000044