(57)【要約】【課題】サンプル補間を行うことにより画像アップサンプリングを可能にする。【解決手段】本発明の実施例は、画像のアップサンプリングおよび画像のダウンサンプリングのためのシステムおよび方法を含む。本発明の一部の実施例は、H.264/MPEG-4 AVCのスケーラブルなビデオコーディング拡張のために設計されたアップサンプリングおよび／またはダウンサンプリング手順を提供するものである。【選択図】図３
2009516400.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度の画像から第２の解像度のフレームに画像をリサンプリングするための方法において、
（ａ）第２の解像度のフィールド内のサンプル位置に対応する第１の解像度のサンプル位置を誘導するステップと、
（ｂ）前記第１の解像度のサンプル位置に関連するフィルタデータを得るステップと、
（ｃ）前記フィルタデータに基づくフィルタにより、前記第１の解像度の画像をフィルタリングし、それによってフィルタリングされたフィールドを発生するステップとを備えたことを特徴とする、画像をリサンプリングするための方法。
【請求項２】
反対のパリティフィールドに対し、前記ステップ（ａ）〜（ｃ）を繰り返すことを更に含むことを特徴とする、請求項１記載の方法。
【請求項３】
前記フィルタリングされたフィールドを補間し、それによって反対のパリティフィールドを発生するステップを更に備えたことを特徴とする、請求項１記載の方法。
【請求項４】
前記第１の解像度の画像が、インターレースされたフィールドであることを特徴とする、請求項１記載の方法。
【請求項５】
前記フィルタデータが、フィルタ係数を含むことを特徴とする、請求項１記載の方法。
【請求項６】
第１の解像度のサンプル位置を誘導する前記ステップが、前記第１の解像度の位置に対する位相を決定することを含むことを特徴とする、請求項１記載の方法。
【請求項７】
前記フィルタデータが、前記第１の解像度のサンプル位置の位相に関係することを特徴とする、請求項６記載の方法。
【請求項８】
フィルタデータを得るステップが、前記第１の解像度のサンプル位置に基づき、第１方向に対する第１のフィルタデータを得るステップと、前記第１の解像度のサンプル位置に基づき、第２の方向に対する第２のフィルタデータを得るステップとを備えたことを特徴とする、請求項１記載の方法。
【請求項９】
フィルタデータを得るステップが、前記第１の解像度のサンプル位置の位相に基づき、第１方向に対する第１のフィルタデータを得るステップと、前記第１の解像度のサンプル位置の位相に基づき、第２の方向に対する第２のフィルタデータを得るステップとを備えたことを特徴とする、請求項６記載の方法。
【請求項１０】
（ａ）第１の解像度の入力画像から第２の解像度の画像を発生するためのリサンプリングモードを決定するステップを備え、前記第２の解像度の画像は前記入力画像の表示として符号化されるべきものであり、前記入力画像の表示から第１の解像度の層および第２の解像度の層を復号化できるようになっており、
（ｂ）更に前記表示によってコード化された少なくとも１つのフラグにより前記リサンプリングモードの信号を発生するステップとを備えたことを特徴とする、空間的にスケーラブルなリサンプリングモードの信号を発生するための方法。
【請求項１１】
前記リサンプリングモードが、前記第１の解像度の入力画像のトップフィールドから前記第２の解像度の画像を誘導するステップを含むことを特徴とする、請求項１０記載の方法。
【請求項１２】
前記リサンプリングモードが、前記第１の解像度の入力画像のボトムフィールドから前記第２の解像度の画像を誘導するステップを含むことを特徴とする、請求項１０記載の方法。
【請求項１３】
前記リサンプリングモードが、前記第１の解像度の入力画像のフレームから前記第２の解像度の画像を誘導するステップを含むことを特徴とする、請求項１０記載の方法。
【請求項１４】
第１の解像度の画像から第２の解像度のフレームに画像をリサンプリングするためのシステムにおいて、
（ａ）第２の解像度のフィールド内のサンプル位置に対応する第１の解像度のサンプル位置を誘導するための位置計算器と、
（ｂ）前記第１の解像度のサンプル位置に関連する前記フィルタデータを管理するためのデータマネージャーと、
（ｃ）前記フィルタデータに基づき、前記第１の解像度の画像をフィルタリングし、それによってフィルタリングされたフィールドを発生するためのフィルタとを備えたことを特徴とするシステム。
【請求項１５】
前記フィルタリングされたフィールドを補間し、それによって反対パリティフィールドを発生するための補間器を更に備えたことを特徴とする、請求項１５記載のシステム。
【請求項１６】
（ａ）反対パリティの第２の解像度のフィールド内の反対パリティのサンプル位置に対応する反対パリティの第１の解像度のサンプル位置を誘導するための、反対パリティ位置の計算器を更に備え、
（ｂ）前記データマネージャーが、反対パリティのフィルタデータも管理することができ、前記反対パリティのフィルタデータが前記反対パリティの第１の解像度のサンプル位置に関連しており、
（ｃ）更に前記フィルタデータに基づき、第１の解像度の反対パリティフィールドをフィルタリングし、それによって反対パリティのフィルタリングされたフィールドを発生するための反対パリティフィルタを更に含むことを特徴とする、請求項１５記載のシステム。
【請求項１７】
前記第１の解像度の画像が、インターレースされたフィールドであることを特徴とする、請求項１５記載のシステム。
【請求項１８】
前記フィルタデータが、フィルタ係数を含むことを特徴とする、請求項１５記載のシステム。
【請求項１９】
前記第１の解像度のサンプル位置の位相を決定するための位相計算器を更に含むことを特徴とする、請求項１５記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、画像リサンプリングのための方法およびシステムに関し、本発明の一部の実施例は空間的にスケーラブルなビデオコーディングのための画像リサンプリングのための方法およびシステムに関する。
【背景技術】
【０００２】
H.264/MPEG-4 AVC［ITU-T VCEGおよびISO/IEC MPEGの共同ビデオチーム、「高度ビデオコーディング（AVC）−第４版」ITU-T Rec.H.264およびISO/IEC 14496-10（MPEG4-Part10）、2005年1月］（本願では、これを参考例として援用する）は、マクロブロック予測を使用するビデオコーデック仕様であり、マクロブロック予測の次に圧縮効率のためにビデオシーケンス内の時間的および空間的冗長性を低減するための残差コーディングが続く。空間的スケーラビリティとは、サポートされた任意の空間的分解能で、レート−歪み性能を維持しながら、ビットストリームの一部を除去できる機能を意味するものである。単一層H.264/MPEG-4 AVCは空間的スケーラビリティをサポートするものではなく、空間的スケーラビリティはH.264/MPEG-4 AVCのスケーラブルビデオコーディング（SVC）の拡張によってサポートされている。
【０００３】
本明細書で参考例として援用するH.264/MPEG-4 AVC［ジョイントスケーラブルビデオモデル（JSVM）のための作業ドキュメント1.0（WD-1.0）（MPEG Doc.N6901）］のSVC拡張は、層間予測法により空間層間の冗長性を利用する階層のビデオコーデックである。H.264/MPEG-4 AVCのSVC拡張の設計には３つの層間予測技術：すなわち層間動き予測、層間残差予測および層間テクスチャー内予測が含まれている。
【０００４】
これまでSVCによってはダイアディック空間スケーラビリティしか解決されていなかった。ダイアディック空間スケーラビリティとは、連続する２つの空間層の間の画像次元の比が２のベキ乗となっているコンフィギュレーションを意味する。連続する空間層の間の画像次元の比が２のベキ乗でなく、より高いレベルの画像がクロッピングウィンドーを有するより低いレベルの対応する画像には存在しない領域を含むことができる非ダイアディックスケーリングと称されるコンフィギュレーションを管理する新しいツールがこれまで提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、層間予測方法のいずれも、画像アップサンプリングを行っている。画像アップサンプリングとは、より低い解像度の画像からより高い解像度の画像を発生するプロセスのことである。一部の画像アップサンプリングプロセスはサンプル補間を行う。従来、SVC設計で使用されているアップサンプリングプロセスは、インター予測のためにH.264で指定されている４分の１ルーマサンプル補間手順に基づくものである。従来の方法を、空間的にスケーラブルなコーディングに適用すると、次の２つの欠点が生じる。すなわち補間解像度が４分の１サンプルに限定されるため非ダイアディックスケーリングをサポートできないこと、そして４分の１サンプルポジションを入手するのにハーフサンプル補間が必要となり、従来方法では計算上手間のかかることとなる。これら制限を克服する画像アップサンプリングプロセスが望まれている。
【０００６】
本発明の一部の実施例は、H.264/AVCのスケーラブルなビデオコーディング（SVC）の拡張に関連している。H.264のSVC拡張は、（ジョイントドラフトバージョン４において）現在プログレッシーブビデオシーケンス（またはフレーム）間の空間的スケーラビリティにしか取り組んでいない。
【課題を解決するための手段】
【０００７】
本発明の一部の実施例は、インターレースされたマテリアルに関係するリサンプリング（ダウン／アップサンプリング）プロセスに関連するものである。
【０００８】
本発明の一部の実施例は、補間すべきピクセルのロケーションの位相に基づいて選択されたフィルタ係数を使用する直接補間を通して達成される画像アップサンプリングを含む。
【０００９】
添付図面を参照し、本発明の詳細な説明を検討すれば、本発明の上記およびそれ以外の目的、特徴および利点についてより容易に理解できよう。
【発明を実施するための最良の形態】
【００１０】
同じものを同じ番号で表示した添付図面を参照することにより、本発明の実施例を最もよく理解できる。図面の簡単な説明に記載された図は、次の詳細な説明の一部とする。
【００１１】
図に一般的に記載され、示される本発明の部品を、広範な種々の異なる構成で配置し、構成することができることは容易に理解される。従って、以下に述べる本発明の方法およびシステムの実施例のより詳細な説明は、発明の範囲を限定するものではなく、発明の現時点で好ましい実施例を単に示すにすぎない。
【００１２】
本発明の実施例の要素はハードウェア、ファームウェアおよび／またはソフトウェアで具現化できる。本明細書に開示される実施例は、これら形態のうちの１つしか示していないが、当業者であれば本発明の範囲内でこれら要素を上記形態のうちのいずれかで実現することができよう。
【００１３】
本明細書において、H.264/MPEG-4 AVC［ITU-T VCEGおよびISO/IEC 14496-10 MPEGの共同ビデオチーム「高度ビデオコーディング（AVC)第４版」、ITU-T Rec.H.264およびISO/IEC 14496-10(MPEG4-Part10)、2005年1月］を参考例として援用する。
【００１４】
また、H.264/MPEG AVC拡張［ジョイントスケーラブルビデオモデル（JSVM）のための作業文書1.0（WD-1.0）（MPEG Doc. N6901）］を参考例として援用する。
【００１５】
本明細書およびクレームの目的のために「画像」なる用語はピクセルのアレイ、デジタル画像、デジタル画像のサブ分割、デジタル画像のデータチャンネルまたは画像データの別の表示を含むものとする。
【００１６】
図１は１つの画像に対応する２つの画像、すなわちベース空間画像またはベース層画像とも称される、より低い空間画像１０と、エンハンスメント空間画像またはエンハンスメント層画像とも称されるより高い空間の画像１００を示す。ベース空間画像１０は、図１に示されるようにエンハンスメント空間画像１００より低い空間分解能を有することができ、ベース空間画像１０は図１に示されるようにエンハンスメント空間画像１００の空間領域と同一の空間領域を含むことはできない。図１にはエンハンスメント空間画像１００から切り出された空間領域１１０に対応するベース空間画像１０が示されている。ベース層画像１０は上部及び下部フィールドを含むインターレースされたフレーム画像、すなわちプログレッシーブフレーム画像とすることができる。エンハンスメント層画像１００は、上部および下部フィールドを含むインターレースされたフレーム画像、すなわちプログレッシーブフレーム画像とすることができる。
【００１７】
本発明の一部の実施例では、ベース空間画像およびエンハンスメント空間画像はスケーラブルなビデオコーダ／デコーダ（コーデック）における２つの空間層に対応できる。
【００１８】
エンハンスメント空間画像１００の幅１０１および高さ１０２をそれぞれｗenhおよびｈenhと表示し、ベース空間画像１０の幅１１および高さ１２を、それぞれｗbaseおよびｈbaseと表示する。ベース空間画像１０はエンハンスメント空間画像座標（ｘorig  ，ｙorig）１０３に位置するエンハンスメント空間画像１００のサブ領域１１０のサブサンプリングされたバージョンである。位置１０３は切り出された窓１１０の上部左隅の位置に対応し、サブ領域１１０の幅１１１および高さ１１２をそれぞれｗextractおよびｈextractと表示する。パラメータ（ｘorig  ，ｙorig  ，ｗextract  ，ｈextract  ，ｗbase  ，ｈbase）は、より高い空間画像１００と、より低い空間画像１０との間の関係を定める。
【００１９】
画像のアップサンプリングとは、より低い空間解像度の画像からより高い空間解像度の画像を発生することを意味する。一部の実施例では、アップサンプリングとは空間的次元または時間的次元に限定されない任意の次元における解像度の増加を意味する。図２は、より高い空間解像度の画像２００における画素位置２２０を示す。図２において、画素位置２２０はより低い空間解像度の画像２０における対応する位置２２を有する。位置２２０は、より低い空間解像度の画像２０内の画素位置と直接いっしょになったり、またはより低い空間解像度の画像２０内の画素位置と直接いっしょにならないこともある。図２において、位置２２は４つのベース層の画素２１と、２３と、２４と、２５の間に位置するように示されている。
【００２０】
本発明の一部の実施例は次元の比が２のベキ乗に限定されていないベース空間画像２０を仮定した場合のエンハンスメント空間画像２００の画素を直接補間するための方法およびシステムを含む。本発明の一部の実施例は、ベース空間画像２０の全画像におけるアップサンプリングを含む。本発明の別の実施例はベース空間画像２０のブロックごとのアップサンプリングを含む。本発明の一部の実施例は、ある方向のアップサンプリングと、その次に続く別方向のアップサンプリングを含む。アップサンプリングを行うためにはエンハンスメント層におけるサンプル位置のベース層の画像における対応するロケーションを決定しなければならない。この決定は、ベース層の画像およびエンハンスメント層の画像のフォーマット、すなわちプログレッシーブフォーマットまたはインターレースフォーマットに応じてなされる。
【００２１】
本発明の一部の実施例は次元の比が２のベキ乗に限定されていないエンハンスメント空間画像２００を仮定した場合のベース空間画像２０の画素を直接補間するための方法およびシステムを含む。本発明の一部の実施例は、エンハンスメント空間画像２００の全画像におけるダウンサンプリングを含む。本発明の別の実施例はエンハンスメント空間画像２００のブロックごとのダウンサンプリングを含む。本発明の一部の実施例は、ある方向のダウンサンプリングと、その次に続く別方向のダウンサンプリングを含む。ダウンサンプリングを行うためにはベース層におけるサンプル位置のエンハンスメント層の画像における対応する位置を決定しなければならない。この決定は、ベース層の画像およびエンハンスメント層の画像のフォーマット、すなわちプログレッシーブフォーマットまたはインターレースフォーマットに応じてなされる。
【００２２】
プログレッシーブマテリアルの実施例
ベース層画像とエンハンスメント層画像の双方がプログレッシーブフレームである場合、整数サンプルを単位とする、エンハンスメント空間画像内のサンプル位置（ｘ  ，ｙ）に対し、１／ＲＬを単位とするベース空間画像内の対応する位置（ｐx,L（ｘ），ｐy,L（ｙ）)、を次の式（１）
【００２３】
【数１】
2009516400.tif 000003
【００２４】
で示すことができ、この場合、パラメータ（ｘorig  ，ｙorig  ，ｗextract  ，ｈextract  ，ｗbase  ，ｈbase）は図１に示されるような、より高い空間画像１００とより低い空間画像１０との間の関係を定め、ＲLは補間解像度を示す。一部の実施例は、１６分の１のサンプル分解補間を行い、かかる実施例ではＲLは１６である。
【００２５】
一部の実施例では、ベース空間画像１０における対応する位置（ｐx,L（ｘ），ｐy,L（ｙ）)を次の式（１ａ）で示すことができる。
【００２６】
【数２】
2009516400.tif 000004
【００２７】
ここで、上記のようにパラメータ（ｘorig  ，ｙorig  ，ｗextract  ，ｈextract  ，ｗbase  ，ｈbase）は図１に示されるような、より高い空間画像１００とより低い空間画像１０との間の関係を定め、ＲLは補間解像度であり、“//”は丸めを伴う整数除算のような計算上簡単な除算演算を含む。サンプル位置は２のベキ乗だけに限定されず、サンプル位置の直接計算によって、そのサンプル位置における画像値の直接補間が可能となっている。
【００２８】
ＲL＝１６の補間解像度に対し、ベース層画像における対応する位置は、ＲL＝１６とした場合の、次の式（１ｂ）となる。
【００２９】
【数３】
2009516400.tif 000005
【００３０】
単一クロマサンプルを単位とするエンハンスメント画像におけるクロマサンプル位置（ｘc  ，ｙc）に対し、ベース画像の１６分の１のクロマサンプルを単位とするベース画像内の対応する位置（ｐx,c（ｘc），ｐy,c（ｙc））を次式（２）のように誘導できる。
【００３１】
【数４】
2009516400.tif 000006
【００３２】
ここで、ＲＣ＝１６であり、（ｘorig,c  ，ｙorig,c）は、現在の画像の単一クロマサンプルを単位とする現在の画像内の切り出された窓の上部左隅の位置を示し、（ｗbase,c  ，ｈbase,c）はベース画像の単一クロマサンプルを単位とするベース画像の解像度であり、（ｗextract,c  ，ｈextract,c）は現在の画素の単一クロマサンプルを単位とする切り出された窓の解像度であり、（ｐbase,x  ，ｐbase,y）はベース画像の４分の１のクロマサンプルを単位とするベース画像の相対的クロマ位相シフトを示し、（ｐenh,x  ，ｐenh,y）は現在の画像の４分の１クロマサンプルを単位とする現在の画像の相対的クロマ位相シフトを示す。
【００３３】
同様に、補間解像度がＲL＝１６であるとき、ベース画像の１／１６のクロマサンプルを単位とするベース画像（ｐx,c  ，ｐy,c）における対応する位置は次式（２ａ）のようになる。
【００３４】
【数５】
2009516400.tif 000007
【００３５】
ここで、（ｘorig,c  ，ｙorig,c）は、現在の画像の単一クロマサンプルを単位とするエンハンスメント画像内の切り出された窓の上部左隅の位置を示し、（ｗbase,c  ，ｈbase,c）はベース画像の単一クロマサンプルを単位とするベース画像の解像度であり、（ｗextract,c  ，ｈextract,c）はエンハンスメント画像の単一クロマサンプルを単位とする切り出された窓の解像度であり、（ｐbase,x  ，ｐbase,y）はベース画像の４分の１のクロマサンプルを単位とするベース画像の相対的クロマ位相位置を示し、（ｐenh,x  ，ｐenh,y）はエンハンスメント画像の４分の１クロマサンプルを単位とするエンハンスメント画像の相対的クロマ位相位置を示す。
【００３６】
式１〜２から誘導される位相位置に基づき、一部の実施例では補間プロセスのための予め定められたフィルタテーブルからアップサンプリングフィルタを選択できる。下記のセクションに詳細を記載する。位相位置に関係する別のフィルタ選択および／または計算プロセスも使用できる。
【００３７】
低解像度画像の単一ルーマ（ｌｕｍａ）サンプルを単位とする位置（ｘ  ，ｙ）での低解像度画像内のルーマサンプルを仮定した場合、高解像度画像の１６分の１ルーマサンプルを単位とする高解像度画像内の対応する位置（ｐx,L  ，ｐy,L）を次式（３）のように誘導できる。
【００３８】
【数６】
2009516400.tif 000008
【００３９】
低解像度画像の単一クロマサンプルを単位とする位置（ｘc  ，ｙc）における低解像度画像内のクロマサンプルを仮定した場合、高解像度画像の１６分の１クロマサンプルを単位とする高解像度画像（ｐx,c  ，ｐy,c）内の対応する位置を次式（４）のように誘導できる。
【００４０】
【数７】
2009516400.tif 000009
【００４１】
式３〜４から誘導されたサンプリング位置に基づき、一部の実施例では、フィルタの所定の組からダウンサンプリングフィルタを選択できる。しかしながら、ダウンサンプリングプロセスはSVCの標準的な部分ではない。
【００４２】
インターレースされたマテリアルの実施例
本発明の一部の実施例は、H.264/AVCのスケーラブルなビデオコーディング（SVC）の拡張に関係している。H.264のSVC拡張バージョンは、（ジョイントドラフトバージョン４では）現在プログレッシーブなビデオシーケンス（またはフレーム）間の空間スケーラビリティしか取上げていない。本発明の一部の実施例は、インターレースされたマテリアルに関係するリサンプリング（ダウン／アップサンプリング）プロセスに関係する問題を取上げる。
【００４３】
本発明の一部の実施例は、フィールド対フレーム、フレーム対フィールドおよびフィールド対フィールドのリサンプリングプロセスのための解決案を含む。これら実施例の一部は、１／１６サンプルの補間解像度による直接補間方法に関係するものであるが、他の補間解像度および方法も使用できる。
【００４４】
インターレースされたマテリアルのリサンプリング
インターレースされたマテリアルを取り扱う本発明の一部の実施例は、フレームをベースとする画像に対し、上記のようにすべてのパラメータ（（ｘorig  ，ｙorig  ，ｗextract  ，ｈextract  ，ｗbase  ，ｈbase）、（ｐbase,x  ，ｐbase,y）および（ｐenh,x  ，ｐenh,y）を定義するものと仮定できる。更に（ｙorig  ，ｈextract）を４の倍数とする。一般化されたリサンプリングプロセスに対し、次の２つの新しいパラメータφenh,y  および  φbase,yが使用され、次式（５）のように定義される。
【００４５】
【数８】
2009516400.tif 000010
【００４６】
パラメータφenh，y  および  φbase，yは、それぞれエンハンスメント画像およびベース画像（フィールドもしくはフレームのいずれか）の１／８クロマサンプルを単位とするクロマ垂直位相位置を示す。
【００４７】
フィールド対フィールドのリサンプリング
一部の実施例では、２つの対応するフィールド画像を同じパリティ（すなわちトップまたはボトム）とする必要があるが、別の実施例ではクロスパリティリサンプリングをサポートするために、これらの例示式を若干変形できる。フィールド対フィールドのリサンプリングに対する通用例として、ＳＤ対１０８０ｉのスケーラブルなコーディングがある。
【００４８】
単一ルーマサンプルを単位とする位置（ｘ  ，ｙ）におけるエンハンスメントフィールドの切り出し窓内のルーマサンプルを仮定した場合、ベースフィールドの１／１６ルーマサンプルを単位とするベースフィールド内の対応する位置（ｐx，L（ｘ），ｐy，L（ｙ））を次式（７）から誘導できる。
【００４９】
【数９】
2009516400.tif 000011
【００５０】
同様に、単一クロマサンプルを単位とする位置（ｘc  ，ｙc）におけるエンハンスメント画像内のクロマサンプルを仮定した場合、ベース画像の１／１６クロマサンプルを単位とするベース画像内の対応する位置（ｐx，c（ｘc），ｐy，c（ｙc））を次式（８）のように誘導できる。
【００５１】
【数１０】
2009516400.tif 000012
【００５２】
式７〜８によって誘導される位相位置に基づき、補間プロセスのために、上記実施例に記載されているような、予め定めたフィルタテーブルからアップサンプリングフィルタを選択できる。
【００５３】
アップサンプリングプロセスと同じように、低解像度画像の単一ルーマサンプルを単位とする位置（ｘ  ，ｙ）における低解像度フィールド内のルーマサンプルを仮定した場合、高解像度フィールドの１６分の１ルーマサンプルを単位とする高解像度フィールド内の対応する位置（ｐx，L  ，ｐy，L）を次式（９）のように誘導できる。
【００５４】
【数１１】
2009516400.tif 000013
【００５５】
低解像度画像の単一クロマサンプルを単位とする位置（ｘc  ，ｙc）における低解像度フィールド内のクロマサンプルを仮定した場合、高解像度フィールドの１６分の１クロマサンプルを単位とする高解像度フィールド内の対応する位置（ｐx，c  ，ｐy，c）を次式（１０）のように誘導できる。
【００５６】
【数１２】
2009516400.tif 000014
【００５７】
式９〜１０から誘導されるサンプリング位置に基づき、ダウンサンプリングフィルタを選択または算出できる。一部の実施例では、予め定めたフィルタの組から、これらフィルタを選択できる。
【００５８】
双方のフレームがインターレースされたマテリアルである場合、フレーム対フレームのリサンプリングに対し、このサブセクションに記載したリサンプリングプロセスを使用できる。これらケースでは、トップフィールドペアおよびボトムフィールドペアに対して、それぞれフィールド対フィールドのリサンプリングを適用できる。
【００５９】
フィールド対フレームのリサンプリング
一部の実施例では、フィールド対フレームのリサンプリングを行うためにベース画像をフィールドと見なし、エンハンスメント画像を一致したフレームと見なすことができる。フィールド対フレームのリサンプリングのための通用例として、ＳＤ対７２０ｐのスケーラブルなコーディングを挙げることができる。
【００６０】
一部の実施例では、アップサンプリングプロセスおよびダウンサンプリングプロセスの各々をそれぞれ２つのステージに分解することによって、リサンプリングデザインを簡略化できる。
【００６１】
アップサンプリングを行うために、フィールド対フィールドのリサンプリングに関して上で説明した方法を使い、１つのフィールドを同じパリティの第１フィールドにアップサンプリングする。次に、垂直方向に沿った対称的な偶数タップフィルタを使って、第１フィールドを補間することにより、エンハンスメントフレーム内の反対のパリティのフィールドを発生できる。一部の実施例では、H.264 1/2のサンプル補間のためのデフォルトフィルタを使用できる。
【００６２】
図４を参照し、本発明の一部の実施例について説明できる。これら実施例では、ベース層のフィールドをエンハンスメント層の解像度にアップサンプリングする（４０）。次に、このアップサンプリングされたフィールドを補間するか、または他の方法で変形し、反対のパリティフィールドを発生する（４２）。これらマッチングフィールドを組み合わせ、インターレースされたフレームを形成できる。一部の実施例では、これらフィールドを処理し、プログレッシーブフレームを形成できる。
【００６３】
図５に示された本発明の一部の実施例では、第２の解像度のロケーションに対応する第１の解像度のサンプル位置を決定する（５０）。第２の解像度ロケーションに対応する第１の解像度のサンプル位置は、第１の解像度の層、例えばベース層、画素間の中間位置とすることができる。この位置に基づき、フィルタデータが得られ、選択され、あるいは算出される（５２）。このフィルタデータは第１の解像度画像をフィルタするのに使用され（５４）、第２の解像度の画像またはフィールドを発生する。一部の実施例では、これらの画像はインターレースされた画像の対応するフィールドとなる。次に、この第２解像度のフィールドを補間するか、または他の方法で処理し、反対のパリティフィールドを発生する（５６）。次に、第２の解像度フィールドのペアはインターレースされたフィールドを構成できるし、またはこのペアを更に処理し、プログレッシーブフレームまたはその他の画像を作成できる。
【００６４】
図６を参照し、本発明の一部の実施例について説明できる。これら実施例では、図５を参照して説明した前の実施例で行ったように、第１の解像度のサンプル位置を決定できる（６０）。次に、第１の解像度の画素と第１の解像度のサンプルの位置との間のオフセットを記述するために、第１の解像度の位相セットを算出できる（６２）。次に、フィルタデータを選択したり、入手したり、または算出するのに、この位相オフセットを使用できる（６４）。次にこのフィルタデータを使って第１の解像度の画像をフィルタリングし（６６）、第２の解像度のフィルタにかけられたフィールドを発生できる。それからこのフィルタにかけられたフィールドを補間するか、または他の方法で処理して、反対のパリティのフィールドを発生できる（６８）。次に、他の実施例に関して説明したように、これらフィールドを更に処理できる。
【００６５】
ダウンサンプリングを行うために、まず１つのフレームを垂直方向にダウンサンプリングし、ベースフィールド画像の同じパリティのフィールドを保存できる。次にフィールド対フィールドリサンプリングに関して上で説明したプロセスの後でエンハンスメントフィールドをダウンサンプリングできる。一部の実施例では、第１ステップの垂直方向のダウンサンプリングのための簡単な解決方法は、フレームのうちのすべての偶数ラインまたは奇数ラインを単に廃棄することである。
【００６６】
フレーム対フィールドのリサンプリング
一部の実施例では、フレーム対フィールドのリサンプリングを行うためにベース画像を１つのフレームと見なし、エンハンスメント画像を１つのフィールドと見なし、更にベースフレームとエンハンスメントフィールドとが一致すると見なすことができる。若干変形されたシナリオに対してもフィールド対フィールドのリサンプリングに関する上記プロセスを適用することができる。
【００６７】
単一ルーマサンプルを単位とする位置（ｘ  ，ｙ）におけるエンハンスメントフィールドの切り出し窓内のルーマサンプルを仮定すると、ベースフレームの１／１６ルーマサンプルを単位とするベースフレーム内の対応する位置（ｐx，L（ｘ），ｐy，L（ｙ））を次式（１１）のように誘導できる。
【００６８】
【数１３】
2009516400.tif 000015
【００６９】
同様に単一クロマサンプルを単位とする位置（ｘc  ，ｙc）におけるエンハンスメント画像内のクロマサンプルを仮定すると、ベース画像の１／１６クロマサンプルを単位とするベース画像内の対応する位置（ｐx，c（ｘc），ｐy，c（ｙc））を次式（１２）のように誘導できる。
【００７０】
【数１４】
2009516400.tif 000016
【００７１】
同様に、低解像度画像の単一ルーマサンプルを単位とする位置（ｘ  ，ｙ）における低解像度フレーム内のルーマサンプルを仮定すると、高解像度フィールドの１／１６のルーマサンプルを単位とする高解像度フィールド内の対応する位置（ｐx，L（ｘ），ｐy，L（ｙ））を次式（１３）のように誘導できる。
【００７２】
【数１５】
2009516400.tif 000017
【００７３】
低解像度画像の単一クロマサンプルを単位とする位置（ｘc  ，ｙc）における低解像度フレーム内のクロマサンプルを仮定すると、高解像度フィールドの１／１６のクロマサンプルを単位とする高解像度フィールド内の対応する位置（ｐx，c  ，ｐy，c）を次式（１４）のように誘導できる。
【００７４】
【数１６】
2009516400.tif 000018
【００７５】
式１１〜１４は式１〜４と互換性があるので、提案するフィールド対フレームのリサンプリングプロセスをフレーム対フレームのリサンプリングプロセスに関連付けることができる。
【００７６】
フレーム対フレームのリサンプリング−特別なケース
フレーム対フレームのリサンプリングのための特別なケースとは、ベースプログレッシーブフレームが（異なるプレゼンテーション時間コードを有する２つのフィールドのうちの）エンハンスメントフレームのフィールドと一致している場合である。
【００７７】
フィールド対フレームのリサンプリングに関連する上記２ステージのプロセスを、フレーム対フィールドのリサンプリングに関連してこれまで説明したプロセスと共に適用できる。
【００７８】
補間−アップサンプリング
一部の実施例では、エンハンスメント空間画像におけるサンプル位置（ｘ  ，ｙ）におけるエンハンスメント層の画像の値を補間することはフィルタリングプロセスを含む。このフィルタリングプロセスは更にルックアップテーブルから補間−フィルタ係数を決定することを更に含むことができ、ルックアップテーブルへのインデックスを（ｐx，L（ｘ），ｐy，L（ｙ））によって決定された補間位置に関連させることができる。
【００７９】
一部の実施例では、補間フィルタを４タップフィルタとすることができ、一部の実施例では６タップフィルタとすることができ、一部の実施例では２ローブまたは３ローブのＬａｎｃｚｏｓ−ｗｉｎｄｏｗｅｄ  ｓｉｎｃ関数からフィルタ係数を誘導できる。
【００８０】
次の表１および表２は、１６位相の６タップ補間フィルタのための補間−フィルタ係数のルックアップテーブルの例を示し、この補間フィルタでは、位相は（（ｐx，L（ｘ），ｐy，L（ｙ））によって決定される補間位置に対応する。 
【００８１】
【表１】
2009516400.tif 000019
【００８２】
【表２】
2009516400.tif 000020
【００８３】
表３は、位相が（Ｐx，L（ｘ），ｐy，L（ｙ））によって決定される補間位置に対応する１６位相の４タップ補間フィルタのための補間フィルタ係数のルックアップテーブルを示す。
【００８４】
【表３】
2009516400.tif 000021
【００８５】
図３には本発明の一部の実施例が示されている。ｘ方向およびｙ方向の補間はそれぞれ別個のパス３００および３０で行うことができる。一部の実施例では、各パスは画像のマクロブロックまたは別のサブ分割内で実行でき、別の実施例では、画像全体内で実行できる。
【００８６】
エンハンスメント層３１内のサンプル位置、すなわちエンハンスメント層画素位置に対し、ベース層３２内の対応する位置を決定できる（３０１）。整数ベース層画素位置からのベース層内のサンプルの各方向のオフセットまたは位相、ｙ位置の位相３３およびｘ位置の位相３４を、エンハンスメント層の画素位置３１の対応するベース層画素位置３２からそれぞれ決定できる（３０２および３０３）。オフセットまたは位相は補間解像度を単位として決定できる。例えば１６分の１の補間解像度に対し、０の位相はベース層の画素位置からオフセットがないことに対応する。８の位相は１つの次元でベース層画素位置間の中間に入るエンハンスメント層の画素に対応する。
【００８７】
補間のフィルタ係数は，ルックアップテーブルによって決定でき、このルックアップテーブルではｙ位置の位相３３をｙ方向に補間するときのインデックスとすることができ、またはｘ位置の位相３４をｘ方向に補間したときのインデックスとすることができる。所定の方向に対する位置補間の中心は、相対的に位置位相を測定できるベース層内の画素位置である。本発明の一部の実施例では、位置補間中心はフィルタを中心とする画素位置である。
【００８８】
補間−ダウンサンプリング
一部の実施例では、予め定めた一組のフィルタの中からダウンサンプリングフィルタを選択できる。ダウンサンプリングフィルタは急いで計算することもできるし、または位置またはその他の画像パラメータに関連して変えることもできる。しかしながら、ダウンサンプリングプロセスはSVCの標準的な部分ではない。
【００８９】
シンタックスおよび信号の発生
図７を参照し、本発明の一部の実施例について説明できる。これらの実施例では、空間的にスケーラブルな画像に対してリサンプリングモードを決定する（７０）。このことは一般に、コーディングプロセス中に行われる。多数のモードを利用できるので、このリサンプリングモードはコード化された画像と共に信号化しなければならない（７２）。一部の実施例では、リサンプリングモードをフラグとして画像ビットストリームと共にコード化できる。次の章では一部の実施例について説明する。
【００９０】
【表４】
2009516400.tif 000022
【００９１】
上記すべての可能性のあるケースをサポートするために、ＪＶＴ規格に関連する本発明の一部の実施例では、SVC拡張のシーケンスパラメータの組（ＳＰＳ）に新しいシーケンスレベルの信号を追加しなければならない。フラグ（例えば（base＿frame＿progressive＿only＿flag）はベース層の画像がすべてのプログレッシーブなフレームまたはすべてのインターレースされたマテリアルのいずれであるかを指定することである。
【００９２】
インターレースされたベース画像に対し、フィールド対フィールドのリサンプリングまたはフィールド対フレームのリサンプリングに関連して上で説明したプロセスを呼び出すことができる。（注：このことは、適応形フレーム／フィールドコーディングのケースをカバーする。）
【００９３】
ベース層の画像がすべてプログレッシーブなフレームであるとき、ベースフレーム画像がエンハンスメントフレーム内のトップフィールド、ボトムフィールドまたはフレームから誘導されたものであるかを特定するために別の信号（例えばbase＿frame＿from＿field）を送ることができる。更に、インターレースされたエンハンスメント画像に対し、フレーム対フィールドのリサンプリングまたはフレーム対フレームの特殊なケースに関連して上で説明したプロセスを呼び出すことができる。当然ながら、デフォルトによりプログレッシーブフレーム間のリサンプリングを取り扱うのに現在のリサンプリング手順を適用できる。
【００９４】
一部の実施例では、各ＳＰＳに対し、明示的に信号を送ることができる。しかしながら、別の実施例では、エンハンスメント画像のうちの「frame＿mbs＿only＿frame」が０のときにしか、これら信号を送ることができない。
【００９５】
一部の実施例では、テクスチャー予測の外に、他の層間予測決定（特に層間モード／動き予測）のために同じ信号を使用することもできる。
【００９６】
【表５】
2009516400.tif 000023
【００９７】
一部の実施例では、信号送信のためのよりフレキシブルなオプションは、SVCスライスヘッダーに２〜３ａの単一ビットのフラグ、例えばbase＿frame＿from＿bottom＿field＿flagおよびbase＿bottom＿field＿coincided＿flagを挿入させることである。
【００９８】
ＪＶＴ規格に関連する一部の実施例では、次のフラグのうちの1つ以上を使用できる。
−  base＿frame＿from＿bottom＿field＿flag  ０に等しいこのフラグはベースフレーム画像（すなわちDependencyIdBaseに等しいdependency＿idを有するフレーム画像）が、そのときの層内のトップフィールド画像から誘導されたものであることを示す。１に等しいbase＿frame＿from＿bottom＿field＿flagは、ベースフレーム画像（すなわちDependencyIdBaseに等しいdependency＿idを有するフレーム画像）が、そのときの層内のボトムフィールド画像から誘導されたものであることを示す。base＿frame＿from＿bottom＿field＿flagが存在しないとき、このフラグは０に等しいと推測される。
−  base＿bottom＿field＿coincided＿flag  このフラグが０に等しいことは、ベースフレーム画像（例えばDependencyIdBaseに等しいdependency＿idを有するフレーム画像）のトップフィールドが、そのときの層内のそのときのフレーム画像に一致していることを示す。１に等しいbase＿bottom＿field＿coincided＿flagは、ベースフレーム画像（すなわちDependencyIdBaseに等しいdependency＿idを有するフレーム画像）のボトムフィールドが、そのときの層内のそのときのフレーム画像と一致していることを示す。base＿bottom＿field＿coincided＿flagが存在しないとき、このフラグは０に等しいと推測される。
【００９９】
現存し、関連するH.264のシンボルは次のように定義される。
−  frame＿mbs＿only＿flagであって、このフラグは現在の層のシーケンスがプログレッシーブフレーム画像としてコード化されているか、またはインターレースされたフレーム／フィールド画像としてコード化されているかを指定する。
−  base＿flag＿mbs＿only＿flagはベース画像のframe＿mbs＿only＿flagに等しい。
−  field＿pic＿flagは現在の画像がフィールド画像であるか、またはフレーム画像であるかを指定する。
−  base＿field＿pic＿flagはベース画像のfield＿pic＿flagに等しい。
【０１００】
別のリサンプリングフィルタ
上記インターレースされたマテリアルに関連する実施例は、リサンプリング位相位置の問題に対する解決案を含むが、特定のフィルタ構造については固定されていない。一部の実施例では、非インターレースされたマテリアルに関する援用されたＪＶＴ文書内に記載され、又、上述されているデフォルト直接補間フィルタを同じようにインターレースされたマテリアルのアップサンプリングに適用できる。しかしながら、他の実施例のためのシーケンスまたは画像レベルの適応型フィルタの選択を含み、別のフィルタ設計に対する制限はない。
【０１０１】
他の実施例
SVCで指定されるように、テクスチャー補間のための同じ式を使用して残差補間位置を誘導できる。しかしながら、現在のSVC構造と一致するように、SVCに関連する実施例において残差アップサンプリングに適用するのは簡単な双リニア補間フィルタとすべきである。
【０１０２】
本明細書では、以上で、１／１６サンプルの精度で直接補間を行うための多くの式について明示的に記載した。別の実施例では、リサンプリング精度を１／１６サンプル以外の精度に変えることができる。
【０１０３】
これまでの明細書の説明で用いた用語および表現は、発明を限定するものでなく、発明を説明するための用語として用いたものであり、かかる用語および表現の使用に当り、図示し、説明した特徴事項の均等物またはその一部を排除する意図はなく、本発明の範囲は特許請求の範囲のみによって特定、限定されるものである。
【０１０４】
関連出願
本願はシジュン・サン氏を発明者とし、「インターレースされたマテリアルをアップサンプリングするための、およびダウンサンプリングするための方法およびシステム」を発明の名称として、２００５年１１月１８日に出願された米国仮特許出願第60/738,136号に基づく権利を主張するものである。
【図面の簡単な説明】
【０１０５】
【図１】エンハンスメント層とベース層の間の幾何学的形状の関係を示す図である。
【図２】エンハンスメント層とベース層におけるサンプルの相対的ロケーションを示す図である。
【図３】２つの方向の補間フィルタリングを含む、本発明の一実施例のフローチャートである。
【図４】フィールド補間を含む、本発明の一実施例の図である。
【図５】サンプル位置に基づくフィールド補間およびフィルタデータ選択を含む、本発明の一実施例を示す図である。
【図６】サンプル位置位相に基づくフィールド補間およびフィルタデータ選択を含む、本発明の一実施例を示す図である。
【図７】リサンプリングモードの信号化を含む本発明の一実施例を示す図である。
【符号の説明】
【０１０６】
１０…ベース空間画像、１１…幅、１２…高さ、１００…エンハンスメント空間画像、１０１…幅、１０２…高さ、１０３…エンハンスメント空間領域の座標、１１０…サブ領域、１１１…幅、１１２…高さ。
【図１】
2009516400.tif 000024
【図２】
2009516400.tif 000025
【図３】
2009516400.tif 000026
【図４】
2009516400.tif 000027
【図５】
2009516400.tif 000028
【図６】
2009516400.tif 000029
【図７】
2009516400.tif 000030
【国際調査報告】
2009516400.tif 000031
2009516400.tif 000032
2009516400.tif 000033