(57)【要約】低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで低サンプリング周波数にダウンサンプルされ、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、実質的に透過であり、すべてのフィルタされたサンプルは少なくとも２つの入力サンプルの加重和から形成される。
2011521342.tif 000002
【特許請求の範囲】
【請求項１】
低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、
前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、
前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、全てのフィルタされたサンプルが少なくとも２つの入力サンプルの加重和から形成されるよう特徴づけられた実質的に透過の特性を持ち、
Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではない、
デジタル画像処理の方法。
【請求項２】
請求項１の方法であって、
前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの前記組み合わせは、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの前記組み合わせによる再構成エラーが前記デジタル画像処理の最下位１ビットよりも小さいという意味で実質的に透過である。
【請求項３】
Ｎ及びＭを整数とするＮ：Ｍのサンプリングレート比のアップコンバージョンとそれに続くＭ：Ｎのダウンコンバージョンを行う透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、
前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、
前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、
対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、
アップ及びダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、
全てのフィルタされたサンプルは少なくとも２つの入力サンプルの加重和から形成される。
【請求項４】
Ｎ及びＭを整数とするＮ：Ｍのサンプリングレート比のアップコンバージョンとそれに続くＭ：Ｎのダウンコンバージョンを行う透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、
前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、
前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、
対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、
アップ及びダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、
前記アップコンバージョンフィルタの周波数応答は前記ダウンコンバージョンフィルタの周波数応答と実質的に同一である。
【請求項５】
Ｎ及びＭを整数とするＮ：Ｍのサンプリングレート比のアップコンバージョンとそれに続くＭ：Ｎのダウンコンバージョンを行う透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、
前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、
前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、
対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、
アップ及びダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、
前記サンプリングされた信号Ｓｉｎｐｕｔのサンプリング周波数における前記ダウンコンバータの周波数応答は、ＤＣにおける周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【請求項６】
低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、
前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、
Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではなく、
周波数応答は、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせに起因する再構成エラーを最小化するように最適化され、
前記アップサンプリングフィルタのフィルタアパーチャ及び前記ダウンサンプリングフィルタのフィルタアパーチャは、前記最適化された周波数応答からそれぞれ構成される、
デジタル画像処理の方法。
【請求項７】
請求項６の方法であって、
前記最適化された周波数応答において、前記低サンプリング周波数での応答はＤＣでの周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【請求項８】
請求項６または請求項７の方法であって、
前記再構成エラーは、前記デジタル画像処理の最下位１ビットよりも小さくなるという意味で最小化される。
【請求項９】
低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、
前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、
前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、実質的に透過に特徴づけられ、
Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではなく、
前記低サンプリング周波数での前記ダウンコンバータの前記周波数応答は、ＤＣでの周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【請求項１０】
前述の請求項のいずれか１項の方法であって、
前記第１及び第２の画像データの少なくとも一部は、同じ描写物を示す。
【請求項１１】
前述の請求項のいずれか１項の方法であって、
前記アップコンバージョンフィルタの前記応答の振幅及び前記ダウンコンバージョンフィルタの前記応答の振幅は、前記低サンプリング周波数の半分の周波数において実質的に等しい大きさを持つ。
【請求項１２】
前述の請求項のいずれか１項の方法であって、
前記アップコンバージョンフィルタの前記周波数応答及び前記ダウンコンバージョンフィルタの前記周波数応答は、実質的に同一である。
【請求項１３】
前述の請求項のいずれか１項の方法であって、
アップ又はダウンサンプリングフィルタは、それらの入力サンプルと出力サンプルの間が同相でない。
【請求項１４】
前述の請求項のいずれか１項に従った方法を行うように構成され且つ適合された装置。
【請求項１５】
プログラミング可能な装置に請求項１から請求項１３のいずれか１つに従った方法を行わせるように適合された命令群を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は画像の再サンプリングに関する。
【背景技術】
【０００２】
画像表示フォーマットの多様性の増加は、あるサンプリング構造から他のサンプリング構造に画像を変換することへの相当な興味をもたらした。特に、高精細度（ＨＤ）テレビジョンフォーマット（すなわち、垂直空間のサンプリング周波数が、画像高さあたり１０００サンプルのオーダであるフォーマット）の増加する使用は、ＨＤ及び標準精度（ＳＤ）のフォーマットを両方操作できる生産設備の開発につながっている。ある設備では、ある特定の高解像度のサンプリング構造により処理が実行され、入力が受け取ることができ、処理に使用される構造又は異なるサンプリング構造で出力が送信されることができる。
【０００３】
そのような設備では、画像は処理の前又は後に、高いレートまたは低いレートに変換される必要性があるかもしれない。現在では２つの相補的な変換が必要とされることが一般的である。一つは、入力されたサンプリング構造から処理の構造、もう一つは、この処理構造からオリジナルの入力構造に戻すものである。これらの変換がユーザにとって透過的であり、処理構造が全ての領域において高いサンプリング周波数を持ち、カスケードされたアップ及びダウンサンプリングが数学的に透過となること、が強く望まれている。
【０００４】
一般的には、隣接サンプル位置からの入力サンプル値は、入力サンプル位置以外の位置の新しいサンプル値を得るために、フィルタアパーチャの加重和と組み合される。このフィルタは、入力サンプル位置と異なる空間的関係を持つサンプルサイトの新しい値を得るために異なる重みを使用できるように、いくつかの"位相"を持つことができる。このフィルタはしばしば、フィルタアパーチャが水平方向に隣接するサンプルのセット、または垂直方向に隣接するサンプルのセットを包含するように、１次元のものとなる。しかし、２次元、３次元のフィルタも知られており、２次元、３次元のフィルタアパーチャは、２次元の画像領域、または異なる時にサンプル取得した画像からの２つの次元領域のセット、のサンプルのセットからなる。
【０００５】
マルチスタンダードの映像処理システムでは、相補的なアップコンバージョンフィルタ、ダウンコンバージョンフィルタが複雑性、すなわちアパーチャのサイズや係数の大きさ、の類似したレベルにより利用可能である事が望まれる。対称のフィルタは実装しやすい。両方のタイプのフィルタにはエイリアシングを減らすために高い阻止帯域減衰を持つべきである。これらの特徴は、可逆性の特性に結合されるべきである。これらのフィルタは、一般的に使用される行当たり７２０、９６０、及び１２８０サンプルの水平サンプル構造群、並びに画像当たり４８０、４８６、５７６、７２０、及び１０８０行の垂直サンプリング構造群の間での変換に必要とされる。これらの変換では、変換時の画像中心の位置のシフトを避けるため、入力サンプリンググリッドと出力サンプリンググリッドの相対的なフェージングにオフセットが必要とされる場合がある。
【０００６】
参照によってここに引用される米国特許６７６０３７９（Werner）は、２つの相補的な処理のカスケーディングが数学的に透過となるように、線形アップコンバーションフィルタ、相補的なダウンコンバーションフィルタがどのように導出されるかについて述べられている。本発明により提供される改良点を明確にするために、この先行特許に示された例示フィルタを概説することが有益である。
【０００７】
図１は、互いに元に戻せるフィルタのペアを用いた、３：４のアップコンバージョンとそれに続く４：３のダウンコンバーションを示している。低い解像度のサンプルセットＬ０〜Ｌ４は高い解像度であってより多くのサンプルセットＨ０〜Ｈ５にアップコンバートされ、そしてその後低い解像度のサンプルＬ'０〜Ｌ'４にダウンコンバートされる。アップコンバージョンフィルタは双線形インターポレータであり、ダウンコンバーションフィルタはWernerの特許に記載された'ｕｎｄｏ−ｂｉｌ'フィルタである。
【０００８】
図１では、フィルタ係数は矢印で示されている。Wernerの記法に従い、アップコンバージョンフィルタ係数をｇ（ｘ）と示し、ダウンコンバーションフィルタ係数はｈ（ｘ）と示す。ｘは、サンプルの両方のセットを含む中間的なサンプリンググリッドのピッチの単位で示される入出力サンプル間の位相オフセットである。この図では、各ダウンコンバーションフィルタ係数は１回だけ示されているが、アップコンバーションフィルタ係数はダウンコンバーション係数に寄与する任意のサンプルに対して寄与する、全てのサンプルに示されている。
【０００９】
図１のフィルタの係数は、フィルタアパーチャ関数として図２に示される。フィルタアパーチャ（２０）は、双線形アップコンバーションフィルタｇ（ｘ）に相当し、フィルタアパーチャ（２１）は、Werner特許において'ｕｎｄｏ−ｂｉｌ'フィルタと記載されるフィルタであるｈ（ｘ）に相当する。
【００１０】
図１、図２からわかるように、ダウンコンバーションフィルタ'ｕｎｄｏ−ｂｉｌ'は非対称である。この先行特許は、可逆性の特性を失うことなく、アパーチャ関数の鏡像反転を用いたフィルタアパーチャ関数の平均化により、非対称フィルタを対称フィルタに変換できることを記述している。図３は、図１と同じアップ及びダウンコンバージョンプロセスであるが、'ｕｎｄｏ−ｂｉｌ'フィルタから導かれる対称ダウンコンバージョンフィルタを用いる（なお、図３ではゼロフィルタ係数は示していない。）。対応するダウンコンバージョンフィルタアパーチャは図４の関数（４１）に示される。
【００１１】
図３に示す係数値から、ダウンコンバートされたサンプルＬ'０〜Ｌ'２がオリジナルのサンプルであるＬ０〜Ｌ２と同一、すなわちアップコンバージョンが透過的に反転している、ことが確認できる。
【００１２】
Ｌ'０  ＝  １×Ｈ０＋１×Ｌ０
Ｌ'１  ＝  [−１／６×Ｈ０] ＋[２／３×Ｈ１]＋ [１×Ｈ２]−[２／３×Ｈ３]
＋[１／６×Ｈ４]
＝  −１／６×Ｈ０
＋２／３×（１／４×Ｌ０＋３／４×Ｌ１）
１×（１／２×Ｌ１＋１／２×Ｌ２）
−２／３×（３／４×Ｌ２＋１／４×Ｌ３）
＋１／６×（Ｌ３）
＝ ［−１／６×Ｌ０＋１／６×Ｌ０]
＋［１／２×Ｌ１＋１／２×Ｌ１]
＋［１／２×Ｌ２−１／２×Ｌ２]
＋［−１／６×Ｌ３＋１／６×Ｌ３]
＝  Ｌ−１
【００１３】
同様にＬ'２の寄与は、Ｌ'１の寄与の鏡像であり、Ｌ'２は、Ｌ２と等しい。
【００１４】
そして、その他のダウンコンバートされたサンプルの全ては、Ｌ'０、Ｌ'１、Ｌ'２、を得るために用いられたものと類似の寄与により得られる。
【００１５】
Werner特許は、双線形アップコンバージョンに比べて周波数応答が改善したアップコンバージョンである'ｄｅｆ'及び'ｕｎｄｏ−ｄｅｆ'に参照された相補的なアップ及びダウンコンバージョンフィルタの第２のペアについて述べている。この先行技術のフィルタアパーチャ関数を図５に示す。アップコンバージョンアパーチャは（５０）により示され、ダウンコンバージョンアパーチャは（５１）により示される。
【００１６】
なお、図は、最大係数を含むダウンコンバージョンフィルタのアパーチャ（５１）の中心部分のみ示している。全てのアパーチャは、ｘの値が−８から＋２０までに広がる。全てのアパーチャの係数は、表４に示され、表４は、この明細書に記載された全てのダウンコンバージョンアパーチャの係数が含む。（表３は、この明細書に記述された全てのアップコンバージョンの係数をリストしている。）上記と同じ方法によりダウンコンバージョンフィルタのアパーチャ（５１）を対称とすることができ、その結果のフィルタアパーチャは図６のアパーチャ（６１）に示される。この場合も先と同様に、アパーチャの中心のみが図に示され、全てのアパーチャは−２０から＋２０までに広がる。相補的なダウンコンバージョンフィルタのアパーチャ（５１）及び（６１）は、対応するアップコンバージョンフィルタのアパーチャ（５０）（同様に（６０））よりも広くなる。
【００１７】
これらの従来技術のフィルタの周波数応答を調査することは有益である、そしてこれらは図７から１０に示されている。この応答は、それぞれのフィルタのインパルス応答である関連フィルタのアパーチャを時間領域から周波数領域によく知られた方法で変換することにより計算される。
【００１８】
図７から１０の周波数スケールは、高低のサンプリング周波数の両方を含む概念的なサンプリンググリッドの周波数の１２倍のユニットである、すなわち低いサンプリング周波数（ｆｌｏｗ）は３つのユニットに相当し、高いサンプリング周波数（ｆｈｉｇｈ）は４つのユニットに相当する。これらの図は、応答の振幅を示すが、対称フィルタであるため、応答は常に存在し（すなわち、虚数成分は０である。）、位相が逆転した応答は負の振幅を持つことを示す。
【００１９】
図７は、Werner特許の'ｕｎｄｏ−ｂｉｌ'ダウンコンバージョンフィルタの応答（７１）と、及び双線形アップコンバージョンフィルタの応答（７０）を示す。
【００２０】
図８は、Werner特許に記載された方法により'ｕｎｄｏ−ｂｉｌ'ダウンコンバージョンフィルタから得られる対称フィルタの応答（８１）、及び双線形アップコンバージョンフィルタの応答（８０）（応答（７０）と同一）を示す。
【００２１】
図９は、Werner特許の'ｕｎｄｏ−ｄｅｆ'ダウンコンバージョンフィルタの応答（９１）、及びWerner特許に記載された'ｄｅｆ'アップコンバージョンフィルタの応答（９０）を示している。
【００２２】
図１０は、Werner特許に記載された'ｕｎｄｏ−ｄｅｆ'ダウンコンバージョンフィルタから得られる対称フィルタの応答（１０１）、及び'ｄｅｆ'アップコンバージョンフィルタの応答（１００）（応答（９０）と同一）を示している。
【００２３】
これらの従来技術のダウンコンバージョンフィルタの周波数応答は決して最適ではないことがわかる。これらは、全て阻止帯域減衰が乏しく（１．５周波数ユニット以上）、特に低いサンプリング周波数ｆｌｏｗ（３周波数ユニット）での著しい応答が有る。この周波数におけるどんな信号エネルギーもＤＣにエイリアスされる。このエイリアスは、以前にアップコンバートされていない要素をダウンコンバートするとき、特に困難を生じることが判明しそうである。フィルタの通過域が特に平坦になることがないことも把握できる。
【００２４】
図１から６に示すアップ及びダウンコンバージョンフィルタは、Werner特許では出力サンプルの通常の部分集合が入力サンプルに等しい"ナイキスト"フィルタであると述べられている。この部分集合のサンプルは、空間的に並べられたフィルタの入力サンプルのそれぞれの値をコピーすることにより形成される。例えば、図１では、入力から出力への位相のオフセットｘが０の時、アップコンバージョンフィルタｇ（ｘ）及びダウンコンバージョンフィルタｈ（ｘ）の両方がそれぞれの入力からコピーした出力を与える。
【発明の概要】
【課題を解決するための手段】
【００２５】
本発明の一態様は、低サンプリング周波数の第１の画像データがアップサンプリングフィルタにより高サンプリング周波数にアップサンプルされ、前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタにより前記低サンプリング周波数にダウンサンプルされ、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、全てのフィルタされたサンプルが少なくとも２つの入力サンプルの加重和から形成されるよう特徴づけられた実質的に透過の特性を持つ、デジタル画像処理のための方法及び装置である。
【００２６】
適切には、前記第１及び第２の画像データの少なくとも一部は、同じ描写物を示す。
【００２７】
より有利には、前記アップコンバージョンフィルタの応答の振幅及び前記ダウンコンバージョンフィルタの応答の振幅は、前記低サンプリング周波数の半分の周波数において実質的に等しい大きさを持つ。
【００２８】
好適な実施形態では、前記アップコンバージョンフィルタの周波数応答及び前記ダウンコンバージョンフィルタの周波数応答は、実質的に同一である。
【００２９】
さらに、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタの組合せに起因する前記再構成エラーは、前記デジタル画像処理の最下位１ビットよりも小さい。
【００３０】
本発明の他の一態様は、低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、全てのフィルタされたサンプルが少なくとも２つの入力サンプルの加重和から形成されるよう特徴づけられた実質的に透過の特性を持ち、Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではない、デジタル画像処理のための方法及び装置である。
【００３１】
好ましくは、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの前記組み合わせは、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの前記組み合わせに起因する再構成エラーが前記デジタル画像処理の最下位１ビットよりも小さいという意味で実質的に透過である。
【００３２】
本発明の他の態様は、Ｎ及びＭを整数とするＮ：Ｍのサンプリングレート比のアップコンバージョンとそれに続くＭ：Ｎのダウンコンバージョンを行う透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、アップコンバージョンフィルタとダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、全てのフィルタされたサンプルは少なくとも２つの入力サンプルの加重和から形成される。
【００３３】
本発明の他の態様は、Ｎ及びＭを整数とするＮ：Ｍのサンプリングレート比のアップコンバージョンとそれに続くＭ：Ｎのダウンコンバージョンを行う透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、アップコンバージョンフィルタとダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、前記アップコンバージョンフィルタの周波数応答は前記ダウンコンバージョンフィルタの周波数応答と実質的に同一である、デジタル画像処理方法である。
【００３４】
本発明の他の態様は、Ｍ：Ｎのダウンコンバージョンに続き、Ｎ及びＭを整数とするＮ：Ｍのサンプリング比のアップコンバージョンの透過的なカスケードを成し遂げるためのデジタル画像処理の方法であって、前記アップ及びダウンコンバージョンの比率Ｎ：Ｍ及びＭ：Ｎはそれぞれ有理数であり、前記整数のＮ及びＭは１＜Ｎ＜Ｍを満たし、前記アップコンバージョンのフィルタは、サンプリングされた信号Ｓｉｎｐｕｔを処理し、ｋが合計を取られる通し番号である場合に、Ｓｕｐ（ｎ）＝ΣＳｉｎｐｕｔ（ｋ）．ｇ（Ｎｎ−Ｍｋ）という形となるように選択され、対応するダウンコンバージョンフィルタは、アップコンバートされた信号Ｓｕｐを処理し、Ｓｄｏｗｎ（ｎ）＝ΣＳｕｐ（ｋ）．ｈ（Ｍｎ−Ｎｋ）という形となるように選択され、アップコンバージョンフィルタとダウンコンバージョンフィルタのペア（ｇ，ｈ）は、ｎがｍに等しくかつゼロでないときに、Σｈ（Ｍｎ−Ｎｋ）．ｇ（Ｎｋ−Ｍｍ）が１に等しくなるように選択され、前記サンプリングされた信号Ｓｉｎｐｕｔのサンプリング周波数における前記ダウンコンバータの周波数応答は、ＤＣにおける周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【００３５】
本発明の他の態様は、低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではなく、周波数応答は前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせに起因する再構成エラーを最小化するように最適化され、前記アップサンプリングフィルタのフィルタアパーチャ及び前記ダウンサンプリングフィルタのフィルタアパーチャは、前記最適化周波数応答からそれぞれ構成される。
【００３６】
好適には、前記最適化周波数応答において、前記低サンプリング周波数での応答はＤＣでの周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【００３７】
適切には、前記再構成エラーは、前記デジタル画像処理の最下位１ビットよりも小さくなるという意味で最小化される。
【００３８】
本発明の他の態様は、低サンプリング周波数の第１の画像データがアップサンプリングフィルタによりサンプリング比Ｎ：Ｍで高サンプリング周波数にアップサンプルされ、前記高サンプリング周波数の第２の画像データがダウンサンプリングフィルタによりサンプリング比Ｍ：Ｎで前記低サンプリング周波数にダウンサンプルされ、前記アップサンプリングフィルタと前記ダウンサンプリングフィルタとの組み合わせは、実質的に透過に特徴づけられ、Ｎ及びＭが整数であり、１＜Ｎ＜Ｍを満たし、ＭがＮの倍数ではなく、前記低サンプリング周波数でのダウンコンバータの周波数応答は、ＤＣでの周波数応答の１０％未満であり、好ましくは５％未満であり、さらに好ましくは１％未満である。
【図面の簡単な説明】
【００３９】
【図１】図１は、非対称ダウンコンバージョンフィルタを用いた透過な従来技術のアップ及びダウンコンバージョンフィルタ処理の説明を示す。
【図２】図２は、図１の従来技術の処理のフィルタアパーチャ関数を示す。
【図３】図３は、対称ダウンコンバージョンフィルタを用いた透過な従来技術のアップ及びダウンコンバージョンフィルタ処理の説明を示す。
【図４】図４は、図３の従来技術の処理のフィルタアパーチャ関数を示す。
【図５】図５は、非対称ダウンコンバージョンフィルタを用いた透過的な従来技術のアップ及びダウンコンバージョンフィルタ処理の代替手段のフィルタアパーチャ関数を示す。
【図６】図６は、対称ダウンコンバージョンフィルタを用いた透過的な従来技術のアップ及びダウンコンバージョンフィルタ処理の代替手段のフィルタアパーチャ関数を示す。
【図７】図７は、図２のフィルタアパーチャ関数の周波数応答を示す。
【図８】図８は、図４のフィルタアパーチャ関数の周波数応答を示す。
【図９】図９は、図５のフィルタアパーチャ関数の周波数応答を示す。
【図１０】図１０は、図６のフィルタアパーチャ関数の周波数応答を示す。
【図１１】図１１は、改良されたダウンコンバージョンフィルタを用いた透過的なアップ及びダウンコンバージョンフィルタ処理のフィルタアパーチャ関数を示す。
【図１２】図１２は、図１１のフィルタを用いたアップ及びダウンコンバージョン処理の説明を示す。
【図１３】図１３は、図１１のフィルタアパーチャ関数の周波数応答を示す。
【図１４】図１４は、３つの周波数ユニットにＮＵＬＬ応答を持つ改良されたダウンコンバージョンフィルタを用いた透過的なアップ及びダウンコンバージョンフィルタ処理のフィルタアパーチャ関数を示す。
【図１５】図１５は、図１４のフィルタアパーチャ関数の周波数応答を示す。
【図１６】図１６は、代替的なアップコンバージョンフィルタ、及び改良されたダウンコンバージョンフィルタを用いた透過的なアップ及びダウンコンバージョンのフィルタアパーチャ関数を示す。
【図１７】図１７は、図１６のフィルタアパーチャ関数の周波数応答を示す。
【図１８】図１８は、代替的なアップコンバージョンフィルタ、及び３つの周波数ユニットにＮＵＬＬ応答を持つ改良されたダウンコンバージョンフィルタを用いた透過的なアップ及びダウンコンバージョンのフィルタアパーチャ関数を示す。
【図１９】図１９は、図１８のフィルタアパーチャ関数の周波数応答を示す。
【図２０】図２０ａから２０ｄは、本発明の実施形態に準じたアップコンバージョン処理の位相の説明を示す。
【図２１】図２１ａから２１ｃは、本発明の実施形態に準じたダウンコンバージョン処理の位相の説明を示す。
【図２２】図２２は、本発明の実施態様に準じた典型的なアップ及びダウンコンバージョンフィルタのアパーチャを示す。
【図２３】図２３は、図２２及び図２４のフィルタアパーチャ関数の周波数応答を示す。
【図２４】図２４は、本発明の別実施形態に準じた典型的なアップ及びダウンコンバージョンフィルタのアパーチャを示す。
【発明を実施するための形態】
【００４０】
Werner特許は、ダウンコンバージョンフィルタの応答が与えられたアップコンバージョンフィルタの応答を反転する透過的なアップ及びダウンコンバージョンプロセスをデザインする必要があるとき、アップコンバージョンフィルタｇ（ｘ）の係数及びダウンコンバージョンフィルタｈ（ｘ）の係数が独立して選択できないことを述べている。この従来特許は、ｇ（ｘ）の与えられた係数に対して、可逆性の数学的定義がｈ（ｘ）の係数のための一次関数のシステムを導出することを続けて述べている。
【００４１】
本発明の発明者は、この方程式のシステムが未定義の問題を表わすこと（すなわち、知られていない多くの方程式が存在すること）、そしてそれ故にデザイナーが多くの利用可能なダウンコンバージョンフィルタを選択できるということ、を理解している。上記に説明したように、図３及び図４にて示す従来技術のフィルタアパーチャ（４１）は、（図４の（４０）に示す）双線形アップコンバージョンフィルタを反転する。しかしながら、図１１のアパーチャ（１１１）の例に示すように、アップコンバージョンを透過的に反転する他のダウンコンバージョンフィルタが存在する。この代替的な変換に対するフィルタ寄与は、図１２に示されている。この代替的なアパーチャは、少数の係数のみを持つために実装がシンプルであることがわかる。図３のダウンコンバージョンフィルタは、５つの係数値（対称の半分の各アパーチャ内の５つの０ではない寄与が存在する統合された中央の係数を除く）のストレージが必要であるのに対して、図１２のダウンコンバージョンフィルタは２つの統合されていない値を格納することのみを必要とする。
【００４２】
図１２のフィルタの周波数応答を図１３に示し、ダウンコンバージョンフィルタの応答を（１３１）に示し、双線形アップコンバージョンフィルタの応答を（１３０）に示す。図３の処理の周波数応答を示す図８との比較では、この代替的なダウンコンバージョンフィルタ（１３１）の通過帯域及び阻止帯域の双方が平坦であることを示している。
【００４３】
さらに改良したダウンコンバージョンフィルタは、それぞれ１／４、３／４の係数により重みづけられた図４のアパーチャと図１１のアパーチャを加算することにより得られる。これにより図１４に示すアパーチャ（１４１）及び図１５に示す周波数応答（１５１）を得る。この改良されたフィルタは、ｆｌｏｗにて０応答であり、それゆえこの周波数の全てのエネルギーに起因してＤＣエイリアスが抑制される。
【００４４】
Wernerの'ｄｅｆ'アップコンバージョンフィルタ（図６の（６０）に示す）を反転する改良フィルタも可能である。よりシンプルで対称性を持つダウンコンバージョンフィルタのアパーチャ（１６１）を図１６、その周波数応答（１７１）を図１７に示す（'ｄｅｆ'アップコンバージョンフィルタの周波数応答（１７０）も示す）。図６のフィルタは１１の統合されていない値が格納される必要がある一方、この改良されたアパーチャは、７つの統合されていない係数値のストレージを必要とする。図１０と図１７との比較は、この改良されたフィルタがより平坦な通過帯域及び阻止帯域を持つことを示している。
【００４５】
再度、この改良された図１６のダウンコンバージョンフィルタは、フィルタアパーチャの加重和を形成し、ｆｌｏｗにおける周波数応答でＮＵＬＬ値が得られるように重みを選択することにより、図６の従来のダウンコンバージョンフィルタと組み合わすことができる。この結果のアパーチャ（１８１）及び周波数応答（１９１）を図１８、図１９に夫々示す。
【００４６】
これらの改良は有益であるが、このアップコンバージョンフィルタ群はダウンコンバージョンフィルタ群よりも狭い通過帯域を持ち、阻止帯域の応答はまだ満足いくものではない。本発明の発明者は、アップ及びダウンコンバージョンフィルタの周波数応答間の違いは必要ないと理解している。このダウンコンバーターの周波数応答は低い定義のマテリアルのエイリアシングを避けなければならず、アップコンバータは低い定義のマテリアルのエイリアシングを取り除かねばならない。これらの両要件は、２つのサンプリング周波数の低い方に依存し、それぞれのフィルタの遮断周波数が低い解像度のサンプリング（すなわちｆｌｏｗの半分）に対するナイキスト限界に近似する時に満たされる。本発明の発明者は、可逆性を得るための単一のフィルタアパーチャの周波数応答の最適化が可能であると理解している。この単一のアパーチャは、このアップ及びダウンコンバージョンフィルタ群のためのサンプル寄与値を定義するために使用される。
【００４７】
この最適化された周波数応答は、フィルタアパーチャ関数（すなわちフィルタインパルス応答）を定義するために使用される。しかしながら、この関数の値はフィルタ入出力サンプルと対応するときにのみ必要とされる。したがって、この周波数応答は、（入出力サンプル一を含むオーバーサンプリングしたピッチのユニット内の）アパーチャの幅と等しいポイントの数だけ定義されることのみを必要とする。この数は、時間領域のアパーチャ関数と周波数応答とを変換するフーリエ変換のサイズを定義する。
【００４８】
このフィルタアパーチャの幅は、アップ及びダウンフィルタ群に対する寄与の数を明確に決定する。なぜならばこれらの２つのフィルタは、同一のアパーチャを持つ場合であっても異なる寄与数を使用する、異なる入力サンプル周波数を持つからである。図２０ａから２０ｄは、±１６のアパーチャ幅に対するアップコンバージョンフィルタの寄与を示す。この４つの図は、アップコンバージョンフィルタｆupの可能な位相の全てを示している。同様に図２１ａから２１ｃは、±１６のアパーチャ幅を持つダウンコンバージョンフィルタｆdownの可能な位相全てに対する寄与を示している。
【００４９】
アップコンバージョンフィルタよりもダウンコンバージョンフィルタに対する寄与の方が多いことがわかる。これは、より高い入力サンプリング周波数を持つためである。そして、アップコンバージョンに対する寄与の数は位相に依存して８と９の間を変動するのに対して、ダウンコンバージョンフィルタは常に１１の寄与を持つ。
【００５０】
適切なアップ及びダウンフィルタの関数は図２２ａ及び２２ｂにそれぞれ示される。この寄与の値は小数点第６位までの値により表３及び表４に示されている。これらの関数は、±１６の範囲での入力から出力への位相の違いに対して定義される。（この範囲の外ではフィルタのインパルス応答は０である。）２つの関数が示されているが、これらは、両フィルタの統合ＤＣゲインを得るために、各フィルタ寄与の数に反比例して異なる振幅スケールのみが違っている。なぜならば、これらの関数は、それぞれｆupとｆdownに指定された同じ関数のスケールの異なるバージョンを示すものだからである。ここで留意すべきは、０位相寄与が統合されたものでなく、各フィルタサンプルが少なくとも２つのフィルタ入力サンプルの加重和から形成されたものでないことである。
【００５１】
図２２に示すこれらのアパーチャの周波数特性（もちろん、アップ及びダウンコンバージョンフィルタが同一である）は図２３の曲線（２３０）により示される。
【００５２】
この単一のアパーチャは、候補となるアパーチャの可逆性を最適化することにより形成される。この候補となるアパーチャは、フィルタの周波数応答の遷移帯域の外形を制御する３つの周波数応答パラメータ（３２以上）により調整される。このパラメータは、特定の周波数における周波数応答の振幅である。最適化されなかったパラメータは、フィルタ通過帯域（１．５周波数ユニットよりはるかに小さい）のポイントに対して統合値に設定され、フィルタ阻止帯域（１．５周波数ユニットよりはるかに大きい）のポイントに対して０に設定される。上記に説明したように、周波数パラメータの数は、フィルタアパーチャの幅と等しくなるように選択され、よく知られたフーリエ変換は周波数応答とフィルタアパーチャとの間の変換に用いられる。図２２のアパーチャ関数から導かれる３２個の周波数応答のポイントは、表１に示される。
【表１】
2011521342.tif 000003
【００５３】
カスケードされたアップ及びダウンサンプリングプロセスは、これらの最適化を使用するが、同一フィルタは可逆的に非常に近くなり、小さな最適化誤差が生じる。しかし、（あるユニットのインパルス上で評価された）これらの最大値は、１０ビットシステムの１つの最下位ビットの振幅の１／３以下である。実用的なフィルタは量子化信号を使用し、それゆえこのようなエラーは通常、デジタル処理に本来備わっている丸め処理により取り除かれる。
【００５４】
この最適化において変化するフィルタ周波数応答で多くのポイントを許容することにより、さらに小さい再構成エラーを実現することが可能である。周波数応答パラメータの７つが変更した最適化は、図２４（及び表３、及び４）に示す代替的なアップ及びダウンフィルタアパーチャをもたらす。前述のように、それぞれは、同じ関数の異なるスケールのバージョンとなる。対応する周波数応答は図２３の（２３１）に示す。そして、エイリアシングをより許容する鋭角ではない応答という代償を払って改良された可逆性を把握することができる。再度、全てのフィルタされたサンプルは、少なくとも２つのフィルタ入力サンプルの加重和から形成されたものでなく、０位相の寄与はユニットと等しいものではない。
【００５５】
図２４のアパーチャ関数を導出するために使用される周波数応答パラメータは、表２に示される。
【表２】
2011521342.tif 000004
【００５６】
図２４の（前述のようにユニットインパルス上で評価された）アパーチャにより生じた再構成エラーは、図２２のアパーチャから生じたものよりもかなり小さく、１０ビットシステムのＬＢの１／１０以下である。
【００５７】
与えられたアパーチャ幅に対して、切りかけの鋭度と可逆性（すなわち、再構成エラーの欠如）の間でトレードオフが有る。しかしながら、大きな再構成エラーが許容でき、ことによると信号を示すのに少数のビットが使用されるために丸め処理により多くのエラーが取り除かれる場合、狭いフィルタアパーチャが使用できる。
【００５８】
これまでに記載したフィルタは、入出力サンプリング構造の適当なサブセットの間において位相の一致がある。しかし、対応するオーバーサンプリングされた構造上で位相シフトされた出力サンプルを持つフィルタの寄与を定義するために使用可能である、オーバーサンプリングされたフィルタアパーチャを導くことも可能である。これは、単に周波数応答が定義される阻止帯域のポイントの数を増加させ（すなわち、例示した１２の周波数ユニットよりも大きく、より高いオーバーサンプリングされた応答を定義する）、逆フーリエ変換からより多くのインパルス応答の値を得ることにより実現できる。
【００５９】
本発明は、３：４アップコンバージョンに続いて４：３ダウンコンバージョンを行うという背景のもと記載された。ダウンサンプリングがアップサンプリングに先行する場合にも適応できる。当業者は、本発明に他の変換率を以下の方法により適用することもできる。すなわち、実用的なアパーチャ幅と等しい周波数の数に定義された低いサンプリング周波数の半分の領域の遷移帯域を持つ周波数応答の候補を決定すること；そして、周波数応答の逆フーリエ変換により示されるアパーチャ関数により定義されたフィルタのカスケード変換のテストから得られる再構成エラーを最適化するために定義された応答値を調整することによって、周波数応答を最適化すること；である。
【００６０】
図２２及び図２４に示されるアパーチャは、インパルス入力に起因して再構成エラーを最小限にするように最適化される。カスケードされた変換プロセスに対する入力信号のスペクトラムが制限されていることが知られている場合、このフィルタ選択評価は、非現実的で厳しいかもしれない。具体的に使用される典型的な信号により生じる再構成エラーを用いたアップ及びダウンコンバージョンのフィルタアパーチャを定義する周波数応答のパラメータを最適化することが好ましいかもしれない。
【００６１】
アップ及びダウンコンバージョンフィルタの応答が類似することが通常は望ましいかもしれないが、これは常にこのようになるとは限らない。この場合、互いに異なるフィルタのペアのカスケードによって、再構成エラーを所望の方法により最適化することが可能である。
【００６２】
これまで述べた原理によるフィルタは、ビデオミキサやある分野において知られる"プロダクションスイッチ"のようなマルチスタンダードのビデオ処理装置に組み込まれ得る。このような機器は、ユーザに対して、異なるサンプリング解像度のマテリアルを入力すること、異なる出力サンプリング解像度を選択すること、及び異なるサンプリング解像度において同じマテリアルの出力を同時に提供すること、を許容する。この処理は、最も高いサンプリング解像度及びこのサンプリング解像度へのアップコンバートされる低い解像度の入力を用いて実行することができ、このサンプリング解像度からダウンコンバートされた低い解像度の出力を行うことができる。異なる解像度の入力は、それ故に高い解像度で処理実行される際に組み合されることができ、ダウンコンバージョンを行っていようがいまいが出力され得る。
【表３】
2011521342.tif 000005
【表４】
2011521342.tif 000006
【図１】
2011521342.tif 000007
【図２】
2011521342.tif 000008
【図３】
2011521342.tif 000009
【図４】
2011521342.tif 000010
【図５】
2011521342.tif 000011
【図６】
2011521342.tif 000012
【図７】
2011521342.tif 000013
【図８】
2011521342.tif 000014
【図９】
2011521342.tif 000015
【図１０】
2011521342.tif 000016
【図１１】
2011521342.tif 000017
【図１２】
2011521342.tif 000018
【図１３】
2011521342.tif 000019
【図１４】
2011521342.tif 000020
【図１５】
2011521342.tif 000021
【図１６】
2011521342.tif 000022
【図１７】
2011521342.tif 000023
【図１８】
2011521342.tif 000024
【図１９】
2011521342.tif 000025
【図２０Ａ】
2011521342.tif 000026
【図２０Ｂ】
2011521342.tif 000027
【図２０Ｃ】
2011521342.tif 000028
【図２０Ｄ】
2011521342.tif 000029
【図２１Ａ】
2011521342.tif 000030
【図２１Ｂ】
2011521342.tif 000031
【図２１Ｃ】
2011521342.tif 000032
【図２２Ａ】
2011521342.tif 000033
【図２２Ｂ】
2011521342.tif 000034
【図２３】
2011521342.tif 000035
【図２４Ａ】
2011521342.tif 000036
【図２４Ｂ】
2011521342.tif 000037
【国際調査報告】
2011521342.tif 000038
2011521342.tif 000039
2011521342.tif 000040