(57)【要約】画像のサンプルＰｉ，Ｐｏｔのサンプル値ｆを補間する方法において、サンプルＰｉ，Ｐｏｔの特定の１つについてサンプル値ｆの局所的な勾配の方向は、サンプルＰｉ，Ｐｏｔのうちの特定の１つの付近にあるサンプル値ｆから決定される。インタポレータの入力値ａiの位置は、サンプルＰｉ，Ｐｏｔのうちの特定の１つの局所的な勾配８の方向で選択される。サンプルＰｉ，Ｐｏｔのうちの特定の１つについてインタポレータの入力値ａiは、インタポレータの入力値ａiの付近にある画素値ｆから補間される。ワープドディスタンス型の補間のためのワープファクタは、インタポレータの入力値ａiを使用して決定される。
2006526832.tif 000002
【特許請求の範囲】
【請求項１】
画像のサンプルのサンプル値を補間する方法であって、
サンプルのうちの特定の１つの付近にあるサンプル値から前記サンプルのうちの特定の１つのサンプル値の局所的な勾配の方向を決定するステップと、
前記サンプルのうちの特定の１つの局所的な勾配の方向におけるインタポレータの入力値の位置を選択するステップと、
前記インタポレータの入力値の付近にあるサンプル値から前記サンプルのうちの特定の１つについてインタポレータの入力値を補間するステップと、
前記インタポレータの入力値を使用して、ワープされる距離のインタポレータのためのワープファクタを１ステップで決定するステップと、
を含むことを特徴とする方法。
【請求項２】
入力サンプル値を有する入力サンプルをもつ入力画像をデジタル的にスケーリングして出力サンプルをもつ出力画像を得るためのシステムにおいて、出力画像は前記入力画像から補間され、
当該方法は、
前記入力サンプル値を補間して、一時的な出力サンプル値を有する補間された一時的な出力サンプルを得るステップを更に含み、
前記局所的な勾配の方向を決定するステップは、近隣の一時的な出力サンプル値から出力サンプルのそれぞれ１つについて局所的な勾配の方向を決定する、
請求項１記載の画像のサンプルのサンプル値を補間する方法。
【請求項３】
入力サンプルをもつ入力画像をデジタル的にスケーリングして出力サンプルをもつ出力画像を得るためのシステムにおいて、出力画像は入力画像から補間され、
前記局所的な勾配の方向を決定するステップは、入力サンプルの勾配の値を得るため、近隣の入力サンプル値から入力サンプルのそれぞれ１つについて局所的な勾配の方向を決定し、
当該方法は、前記入力サンプルの勾配の値を前記出力サンプルの出力勾配の値にマッピングするステップを更に有し、前記出力勾配の値の対応する１つは、前記サンプルのうちの特定の１つの局所的な勾配として使用される、
請求項１記載の画像のサンプルのサンプル値を補間する方法。
【請求項４】
前記入力サンプル及び前記出力サンプルは、ｘ方向における画素の行とｙ方向における画素の列とを有するマトリクス状に配列され、
前記局所的な勾配の方向を決定するステップは、一時的な出力サンプルに対してｘ方向において第一のＳｏｂｅｌフィルタリングを行い、ｙ方向において第二のＳｏｂｅｌフィルタリングを行うステップを含み、
前記出力サンプルの局所的な勾配は、前記第二のＳｏｂｅｌフィルタリングを前記第一のＳｏｂｅｌフィルタリングで割った逆正接である、
請求項２記載の画像のサンプルのサンプル値を補間する方法。
【請求項５】
隣り合うインタポレータの入力値の間の距離は、隣り合う入力サンプルの間の距離に実質的に等しい、
請求項２又は３記載の画像のサンプルのサンプル値を補間する方法。
【請求項６】
前記入力サンプルと前記出力サンプルは、ｘ方向における画素の行とｙ方向における画素の列とを有するマトリクス状に配列され、
前記ワープファクタを決定するステップは、前記ワークファクタをｘ軸とｙ軸に投影して、第一及び第二のワープコンポーネントをそれぞれ得るステップと、インタポレータが前記第一及び第二のワープコンポーネントにより決定された修正される距離で前記入力サンプルを補間するステップとを含む、
請求項２又は３記載の画像のサンプルのサンプル値を補間する方法。
【請求項７】
画像のサンプルのサンプル値を補間するワープドディスタンス式のインタポレータであって、
サンプルのうちの特定の１つの付近にあるサンプル値から前記サンプルのうちの特定の１つのサンプル値の局所的な勾配の方向を決定する手段と、
前記サンプルのうちの特定の１つの局所的な勾配の方向においてインタポレータの入力値の位置を選択する手段と、
前記インタポレータの入力値の付近にある画素値から前記サンプルのうちの特定の１つのインタポレータの入力値を補間する手段と、
前記インタポレータの入力値を使用してワープドディスタンス式のインタポレータについてワープファクタを１ステップで決定する手段と、
を有することを特徴とするワープドディスタンス式のインタポレータ。
【請求項８】
請求項７記載のワープドディスタンス式のインタポレータ及びディスプレイスクリーンを有するディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画素の画素値を補間する方法に関する。  
さらに、本発明は、ワープドディスタンス式のインタポレータ、及びかかるワープドディスタンス式のインタポレータを有するディスプレイ装置に関する。
【背景技術】
【０００２】
ワープドディスタンス（WaDi:  Warped  Distance）コンセプトは、G.Ramponiによる刊行物“Warped  distance  for  space-variant  linear  image  interpolation”,  IEEE  Transactions  on  Image  processing,  vol.8  no.5,  May  1999から知られている。線形補間のためのワープドディスタンスのコンセプトは、線形補間を自然（グラフィックではない）画像の局所的な画素のコンフィギュレーションに適用する。特に、エッジが補間処理によりぼやけるのを防止するのを目的としていた。
【０００３】
ＷａＤｉコンセプトは、１次元補間を実行する。水平方向では、補間されたサンプルは、補間されるべきサンプルを挟んでいる２つの隣接する水平方向のサンプルの線形結合である。線形補間は、２つの隣接する水平方向のサンプルに関して補間されるべきサンプルの部分的な位置（すなわち位相）に依存する。ルミナンスエッジにある補間は、位相を局所的にワープすることで調整され、補間されるべきサンプルは、右又は左の入力サンプルの方向に仮想的に移動される。このワープは、ルミナンスエッジが存在する場合には大きく、平滑な部分では小さい。ワープの量を決定するため、補間される必要がある１つの画素の周りの４つの画素が分析され、該サンプルが属する平坦な領域に向かって補間されるべきサンプルが移動されるように非対称な値が計算される。
【０００４】
２次元画像の補間は、水平方向で入力サンプルにＷａＤｉアルゴリズムを実行して補間された水平サンプルを得て、次いで垂直方向で補間された水平サンプルにＷａＤｉアルゴリズムを実行することで得られる。問題は、比較的複雑なアルゴリズムが必要とされることである。
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明の目的は、より高い性能のアルゴリズムを提供する２次元画像にＷａＤｉ補間を実行することにある。
【０００６】
本発明の第一の態様は、請求項１に記載された画像のサンプルのサンプル値を補間する方法を提供する。本発明の第二の態様は、請求項７に記載されたワープドディスタンス式のインタポレータを提供する。本発明の第三の態様は、請求項８に記載されたディスプレイ装置を提供することにある。本発明に係る有利な実施の形態は、従属の請求項に定義されている。
【０００７】
画像のサンプルのサンプル値を補間する方法は、特定の１つのサンプルの近隣にサンプル値から特定の１つのサンプルについて局所的な勾配の方向を決定する。この局所的な勾配は、特定のサンプルの位置でのサンプル値の変化の方法を示している。たとえば、画像が白の左領域と黒の右領域を含み、特定のサンプルが白の領域と黒の領域との間の垂直の境界に近い場合、勾配は白領域の水平方向に向かう。通常、局所的な勾配は、画像のそれぞれの出力サンプルについて決定される。
【０００８】
その後、特定のサンプルの勾配方向に配置されるインタポレータの入力値を使用して、ワープドディスタンスＷａＤｉインタポレータ向けのワープファクタが決定される。次いで、局所的な勾配の方向における特定のサンプルを通して延びるラインで公知のＷａＤｉインタポレータ向けのインタポレータ入力値が選択される。
【０００９】
通常、これらのインタポレータの入力値は、入力サンプルとは一致しないので、インタポレータの入力値は、インタポレータの入力値に隣接する入力のサンプル値から補間される必要がある。
【００１０】
局所的な勾配の方向におけるワープファクタの決定は、水平及び垂直方向で連続してＷａＤｉ補間を実行する代わりに、ＷａＤｉ補間を１つのステップで実行することができるという利点を有している。
【００１１】
請求項２に記載される本発明に係る実施の形態では、ＷａＤｉ補間は、出力画像がスケーリングされた入力画像であるシステムに適用される。このアプローチは、少なくとも２であるスケーリングファクタについて特に関心があり、このことは、出力サンプル間の距離が入力サンプル間の距離の殆ど半分であることを意味している。２つの連続するサンプル間で経過される時間、又はこれらのサンプルがディスプレイスクリーンの画素で表示されるときにディスプレイスクリーン上の位置を示す場合がある。
【００１２】
この実施の形態では、出力画像は、はじめに、たとえばシンプルな双一次変換を使用することで未処理の補間されたデータを得るために入力画像から粗く補間される。結果的に得られる低域通過バージョンの画像により、勾配の推定が雑音の影響を受けにくくなる。たとえばキュービック補間といった、より複雑な補間が使用されるが、より高い計算上の複雑さとなるといった問題点を有する。局所的な勾配は、出力画素又はシンプルなインタポレータにより供給される未処理の補間されたデータを使用することで決定される。
【００１３】
請求項３に記載される本発明に係る実施の形態では、局所的な勾配は、入力サンプル値を使用することにより入力マップで決定される。発見される局所的な勾配は、出力マップにおける出力サンプルの出力サンプルの位置にマッピングされる。このマッピングは、たとえば、最近接アプローチを使用することによるか、又は線形補間によりかで実行される場合がある。このアプローチは、未処理（生）の補間ステップを必要とせず、したがってより少ない計算上の労力を要する。
【００１４】
請求項４に記載の本発明に係る実施の形態では、サンプルの位置が直交するｘ、ｙ座標により定義されるマトリクスに配置される。公知のＳｏｂｅｌ（水平方向微分）フィルタは、局所的な勾配の方向を評価するために使用される。
【００１５】
請求項５に記載の本発明に係る実施の形態では、勾配を決定するために使用される隣接するインタポレータの入力値間の距離は、コヒーレントな補間を提供するために隣接する入力サンプル間の距離に実質的に等しい。
【００１６】
請求項６に記載の本発明に係る実施の形態では、ワープファクタがｘ座標及びｙ座標に投影され、ＷａＤｉインタポレータを制御して、投影されたワープファクタに従ってｘ方向及びｙ方向における距離（時間領域でサンプルをワープするための距離、空間領域で画素をワープするための距離）を修正する。したがって、標準的なＷａＤｉアルゴリズムを２回実行する代わりに、すなわち、はじめに中間的な結果を得るためにｘ方向で実行し、次いで中間的な結果を使用してｙ方向で実行する代わりに、１つのワープファクタのコンポーネントは、入力サンプルから補間された出力サンプルを直接的に得るために使用される。
【００１７】
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかになるであろう。
【発明を実施するための最良の形態】
【００１８】
図１は、従来の２ステップの補間アプローチを示している。  
公知の線形補間技術では、２次元の入力画像ＩＩ（図６参照）は、ｘ方向及びｙ方向を有する矩形のグリッドに入力サンプルＰｉが位置されるように、通常等間隔でサンプリングされる入力サンプルＰｉにより表現される。また、入力サンプルＰｉは、入力画素Ｐｉとも呼ばれ、これは、入力サンプルＰｉがディスプレイスクリーンＤＳに表示された場合に（図６参照）、時間的な矩形グリッドがディスプレイスクリーンＤＳの位置での矩形グリッドを示すという事実に基づいている。入力サンプルＰｉの値は、入力画素Ｐｉの強度を決定する。ディスプレイスクリーンＤＳに実際に表示されるべき出力サンプルＰｏは、ディスプレイスクリーンＤＳの画素に対応する出力画素Ｐｏを得るために入力サンプルＰｉから補間される必要がある。これは、たとえば、マトリクス型ディスプレイのケースのようにディスプレイスクリーンＤＳの解像度が固定されている場合に、入力画像ＩＩの解像度がディスプレイスクリーンＤＳの解像度とは異なることが必要とされる。
【００１９】
図１は、入力サンプルＰｉ間で位置される出力サンプルＰｏの補間を示している。入力画像のサンプルのｊ番目の行のｉ番目の入力サンプルＰｉの値は、ｆ（ｘi，ｙj）により示される。出力サンプルＰｏの値は、ｆO（ｘ，ｙ）により示される。図１では、出力サンプルＰｏに最も近い４つの入力サンプルＰｉが示されている。
【００２０】
はじめに、入力画像ＩＩは、水平方向ｘで補間される。行ｙiでは、時間的なサンプルＰｔ１の値ｆｔ（ｘ，ｙj）は、列ｘiにおける入力サンプルＰｉの値ｆ（ｘi，ｙj）と、列ｘi+1における入力サンプルＰｉの値ｆ（ｘi+1，ｙj）とを使用して決定される。同様にして、行ｙj+1では、時間的なサンプルＰｔ２の値ｆｔ（ｘi，ｙj+1）は、列ｘiにおける入力サンプルＰｉの値ｆ（ｘi，ｙj+1）と、列ｘi+1における入力サンプルＰｉの値ｆ（ｘi+1，ｙj+1）とを使用して決定される。次いで、出力画素Ｐｏの値ｆO（ｘ，ｙ）は、時間的なサンプルＰｔ１及びＰｔ２を使用して決定される。
【００２１】
時間的なサンプルＰｔ１及びＰｔ２の値は、以下のように計算される。
【００２２】
【数１】
2006526832.tif 000003
ここでＳXはｘとｘiとの間のｘ方向における距離である。
【００２３】
出力サンプルＰｏの値は以下のように計算される場合がある。
【００２４】
【数２】
2006526832.tif 000004
ここでＳYはｙとｙiとの間のｙ方向における距離である。
【００２５】
図２は、公知のワープドディスタンスのコンセプトを説明する波形を示している。図１に関して説明されたのと同様に、ワープドディスタンスのコンセプト（更にＷａＤｉとも呼ばれる）は、２ステップで出力サンプルＰｏの値を決定する。図１に関して説明された線形補間との違いは、距離ＳX及びＳYが入力画像ＩＩの局所的な特徴に従って調整（ワープ）され、補間された出力画像ＯＩ（図６参照）の知覚された品質が増加することである。したがって、ＷａＤｉは、調整された距離ＳXによりｘ方向に線形補間アルゴリズムをはじめに適用して、一時的又は中間的な補間されたサンプルＰｔを得ることで、入力画像ＩＩを補間する。次いで、ＷａＤｉは、調整された距離ＳYにより中間的な補間されたサンプルＰｔにｙ方向で線形補間アルゴリズムを適用して、出力サンプルＰｏを得る。
【００２６】
ＷａＤｉは、ワープファクタＡに基づいて距離ＳX及びＳYをワープする。
【００２７】
【数３】
2006526832.tif 000005
ここで係数ａ１〜ａ４は、補間されるべき出力サンプルＰｏの近傍における入力サンプル値ｆ（ｘi，ｙj）である。ＷａＤｉにより実行されるステップに依存して、入力サンプルａ１〜ａ４は、ｘ方向又はｙ方向にいずれかで配列される。Ｌは、たとえば８ビットルミナンス信号についてＬ＝２５６といった、サンプルを表示するために利用可能なレベル数である。
【００２８】
図２は、ｘ方向にけるＷａＤｉを説明するための波形及び入力サンプルＰｉを示している。  
特に、ＷａＤｉの目的は、補間処理によりエッジがぼやけるのを防止することにあった。補間されるべき中間的なサンプルＰｔが出力領域における位置ｕ（図示せず）にある場合、入力領域における出力サンプルＰｏの対応する位置はｘ＝ｕ／ｚであり、ｚはスケーリングファクタである。入力領域は、入力画素Ｐｉを含んでおり、出力領域は出力画素Ｐｏを含んでいる。断片の位置（fractional  position）又は位相は、ＳX=ｘ−ｘ0であり、ｘ0はｘの次の左の入力サンプルＰｉである。このｘ0での入力サンプルＰｉはサンプル値ａ２を有し、ｘ1での入力サンプルＰｉは値ａ３を有し、ｘ-1での入力サンプルＰｉは値ａ１を有し、ｘ2での入力サンプルＰｉは図示される例では１である値ａ４を有する。シンプルなテント（双一次）カーネルがＷａＤｉの線形補間のベースカーネルとして適用される場合、出力値は、以下のように示される。
【００２９】
【数４】
2006526832.tif 000006
ここでｘ1はｘの次の右手の入力サンプルである。
【００３０】
一般的に言えば、補間されたサンプルｆｔ（ｘ）は、近傍のサンプルｆ（ｘ0）及びｆ（ｘ1）の線形結合であり、この線形結合は、断片の位置（又は位相）ＳXに依存する。ルミナンスエッジでの補間は、位相ＳXを局所的にワープすることで調整され、ｘは右又は左入力サンプルＰｉに向かって仮想的に移動される。このワープは、ルミナンスエッジが存在する場合に大きく、平滑な部分で小さい。ワープの量を決定するため、補間される必要がある位置ｘでのサンプルの周りの位置ｘ-1，ｘ0，ｘ1及びｘ2での４つのサンプルＰｉが分析され、非対称な値又はワープファクタＡが計算される。
【００３１】
【数５】
2006526832.tif 000007
ここで、Ｌは許容されるルミナンスレベルの数（８ビット量子化のケースで２５６）である。また、ｘ-1は入力サンプルｘ0に先行する入力サンプルであり、ｘ2は入力サンプルｘ1に連続する入力サンプルである。Ｓ字湾曲状のエッジモデルが適用されるとすると、式（５）における非対称な値Ａは、エッジが完全に対称であるときに０であり、エッジがサンプルＰｔの右（左）手側でより平坦であるときに１（又は−１）に近づく。
【００３２】
補間されるべきサンプルＰｔは、該サンプルが属する平坦な領域に向かって移動されるべきである。したがって、ワープファクタがＡ＞０であるとき、位相ＳXが増加する必要があり、ワープファクタがＡ＜０であるとき、位相ＳXは減少する必要がある。これは、以下のワープ関数により得られる。
【００３３】
【数６】
2006526832.tif 000008
ここで、ｋは制御可能な場合がある一般的なワープの量である。ワープされる位相ＳX’は、ｋが範囲［０，１］にある場合に範囲［０，１］のままである。なお、Ａ及びｋの値に関わらず、２つの極値ＳX＝０及びＳX＝１（それぞれＳX’＝０及びＳX’＝１）が保持される。ワープされる中間的なサンプルは、ＷＰとして示される。
【００３４】
ｘ方向で公知のＷａＤｉを実行することでワープされた中間的なサンプルＷＰを決定するために説明されたのと同じ方式で、ＷａＤｉは、出力サンプルＰｏを得るために、ｙ方向においてワープされた中間的なサンプルＷＰを補間する必要がある。
【００３５】
位相ＳXを変えることは、まるでワープされたかのように、ＷａＤｉの線形フィルタの式を適用する前に、中間又は出力グリッドのそれぞれにおいて、補間されるべきサンプルの位置Ｐｔ又はＰｏを移動することに等価である。実際に、サンプルの最後の位置Ｐｔ又はＰｏは変化せず、アルゴリズムは、補間されるべきサンプルＰｔ又はＰｏに、まるでワープされた位置にあるかのように得られた値を割り当てる。ファクタｋはワープ量を制御し、より大きなｋの値は、シャープニング効果を増加させる。位相ＳXが間隔０〜１にあることを確認するため、ファクタｋが≦１に選択される必要がある。しかし、自然画像について、ファクタｋは１よりも大きいことが好ましい。｜Ａ｜は通常小さいので、これらより大きなファクタｋでさえ、位相ＳXはなお１よりも小さい。位相ＳXが１よりも大きくなる場合には１にクリップされ、０よりも小さくなる場合には０にクリップされる。
【００３６】
本発明に係る実施の形態では、公知のＷａＤｉと比較して、入力画像又は出力画像のいずれかで、局所的な勾配（θ）の方向で、ワープ関数が１度だけ決定される。
【００３７】
図３は、特定の出力サンプルについて、インタポレータの入力値ａ１〜ａ４が本発明の実施の形態に従って局所的な勾配の方向にどのように配列される場合があるかを示している。入力サンプルＰｉは、ｘ，ｙ空間で距離ｄの間隔で配置される大きなドットにより示されている。出力サンプルＰｏは、出力グリッドを形成する水平及び垂直ラインの交点により示されている。図３は、例を通してファクタ２でのスケーリングを示している。ラインＴＲは、（境界ＴＲの左手側にある）黒の領域と白の領域との間の境界を示している。出力画素Ｐの位置にある局所的な勾配の方向は、境界ＴＲに垂直な破線ＤＬＧにより示される。
【００３８】
本発明は、ｘ又はｙ方向で局所的な１次元の特性に従うものではないが、２次元の特性から、位相ＳX及びＳYを変化することに基づいている。したがって、ワープファクタＡは、対角線である場合がある局所的な勾配方向θに沿って１ステップで計算される。ｘ方向及びｙ方向において個別にファクタＡを決定する必要がない。
【００３９】
公知のＷａＤｉに関して説明されたように、非対称な値又はワープファクタＡは、値が決定される必要がある出力サンプルＰの近傍に位置される入力値ａ１〜ａ４を使用することで計算される。しかし、本発明の実施の形態によれば、これらの入力値は、ｘ方向における入力サンプルＰｉであるか、又はｙ方向におけるワープされた一時的なサンプルＰｔのいずれでもない。ここで、入力値ａ１〜ａ４とは、局所的な勾配θの方向に配列される。図３に示されるように、ワープファクタＡを決定するために使用される入力値ａ１〜ａ４は、ラインＤＬＧ上に、すなわち局所的な勾配θの方向で位置される。通常、これらの値ａ１〜ａ４は、入力サンプルＰｉと一致せず、入力サンプルＰｉから補間される必要がある。好ましくは、入力値ａ１〜ａ２のうちの２つの連続する値の間の距離ｄは、画像補間ステージと一致した状態で入力画像ＩＩのサンプルＰｉのサンプリング周期に等しい。
【００４０】
このサンプリング周期は、ｘ方向又はｙ方向のいずれかで２つの連続する入力サンプルＰｉ間の距離ｄに対応する。たとえば、入力値ａ１〜ａ４は、図３に示される位置における双一次補間により得られる。入力値ａ１〜ａ４のこれらの位置は、補間されるべき出力画素Ｐの（ｘｐ，ｙｐ）位置から、距離−１．５−ｄ，−０．５−ｄ，０．５−ｄ，１．５−ｄのそれぞれで、最大の勾配の方向θに沿って選択され、ここでｄは入力グリッドにおける２つの連続する入力画素Ｐｉ間の距離である。入力値ａ１〜ａ４の座標ｘ及びｙは、以下の式で決定される。
【００４１】
【数７】
2006526832.tif 000009
ここでｉは入力値ａiのインデックスである。
【００４２】
２つの可能な実施の形態は、局所的な勾配θを決定するために説明される。第一の実施の形態では、入力画像ＩＩは、たとえば双一次フィルタといった公知のアルゴリズムではじめに補間され、粗く補間された出力サンプルを得る。局所的な勾配θは、これら出力サンプルから出力領域で決定される。たとえば、Ｓｏｂｅｌフィルタを使用することによる。探索方向に沿った関数の勾配（directional  derivative）の値を得るため、ｘ及びｙ方向に沿ったＳｏｂｅｌフィルタの可能なマスクは、以下に示される。
【００４３】
【数８】
2006526832.tif 000010
位置ｘi，ｙjでの勾配の方向は、次いで以下のように推定される。
【００４４】
【数９】
2006526832.tif 000011
ここでｆ１は入力画像ＩＩの粗い補間の結果であり、θは−π／２とπ／２との間で変化する角度である。
【００４５】
勾配の評価は、出力領域においてＳｏｂｅｌの方法を使用することで実行されている。たとえばシンプルな双一次インタポレータといった前処理は、低域通過バージョンの入力画像ＩＩを表す未処理の補間された出力サンプルを得るために必要とされ、したがって、勾配の推定は、雑音に対する感度が低くなる。粗い補間は、たとえばバイキュービック補間のような、より複雑な方法で実行される場合があり、このバイキュービック補間は、勿論、より高い計算上の複雑さが必要とされるという問題点を有するが、良好な勾配の値θを提供する。この第一の実施の形態が非常に良好な勾配の評価を与えるが、全体の処理時間に顕著なオーバヘッドを追加する。
【００４６】
別の実施の形態では、勾配θを推定する最適に準じるソリューションは、（入力サンプルＰｉを使用して）入力領域においてＳｏｂｅｌフィルタを適用し、次いで、これらの勾配の値を出力グリッドにマッピングすることである。このマッピングは、たとえば、最近接アプローチを使用するか、又は推定された勾配値θを線形補間することで実行される場合がある。
【００４７】
非常に高い補間ファクタの値が必要とされる場合、Ｓｏｂｅｌフィルタの通過帯域は、余りに広くなり、勾配の評価が機能しなくなる。高い補間ファクタについて、全体のアルゴリズムを２度実行して、２ステップで画像をリサイズすることが良好である。たとえば、ファクタ８による補間は、ファクタ２によるインタポレータのカスケードによる補間となる。代替的に、Ｓｏｂｅｌフィルタが使用され、中間解像度のバージョンの入力画像ＩＩを処理して勾配の値θを得る場合がある。同じ勾配の値θは、超高解像度の出力グリッドにおける出力画素Ｐｏのグループに割り当てられる。
【００４８】
図４は、本発明に係る１ステップのワープドディスタンスのコンセプトの実施の形態を説明するためのフローチャートを示している。  
ステップ１は、入力サンプルＰｉ（ｉ，ｊ）を受信し、（勾配とも呼ばれる）局所的な勾配θ（ｍ，ｎ）を供給する。先に説明された第一の実施の形態では、ステップ１０は、入力画素Ｐｉ（ｉ，ｊ）を補間し、ＳｏｂｅｌXフィルタリングステップ１１及びＳｏｂｅｌYフィルタリングステップ１２に入力される推定された出力サンプルＩ’（ｍ，ｎ）を得る。分割ステップ１３では、ＳｏｂｅｌYフィルタリングステップ１２の出力は、ＳｏｂｅｌXフィルタリングステップ１１の出力により分割される。ステップ１４は、分割ステップ１３の出力の逆正接を計算することで勾配θ（ｍ，ｎ）を決定する。
【００４９】
ステップ２は、ワープファクタＡの決定とも呼ばれる局所的な非対称予測を実行する。ステップ２０では、局所的な勾配の方向θ、すなわちラインＤＬＧに沿った位置で決定されるため、４つのａ１〜ａ４が入力値選択される。Ｐ（ｍ，ｎ）は、その値が補間される必要がある出力サンプルであり、θ（Ｐ）は、この出力サンプルＰ（ｍ，ｎ）の位置での局所的な勾配である。ステップ２１では、入力値ａ１〜ａ４の値は、入力値ａ１〜ａ４の位置を囲んでいる入力サンプルＰｉの補間により決定される。好ましくは、双一次補間が使用される。ステップ２２では、ワープファクタＡは、補間された入力値ａ１〜ａ４から１ステップで式５に従って決定される。
【００５０】
ステップ３は、出力サンプルＰｏ（ｉ，ｊ）の値を決定する。ステップ３０は、勾配θ（ｍ，ｎ）及びワープファクタＡを受け、公知のＷａＤｉアプローチについて式６で行ったのと同じ方式で距離ＳX及びＳYをワープすることで、局所的なワープコンポーネント又は距離ＳＬX及びＳＬYを計算する。結果を得るため、ワーピングファクタＡは、ｘ及びｙ方向に投影される。以下の式はこれらの動作を実行する。
【００５１】
【数１０】
2006526832.tif 000012
公知のＷａＤｉアプローチにおけるように、ｋは歪みの強度を調整する乗算ファクタであり、θは勾配の方向を定義する角度である。分母でのオプショナルファクタ４は、公知のＷａＤｉ結果との比較のためにのみ提供される。なお、ｋファクタは、（外部の）自動制御により、サンプル−サンプル（又は出力画素を示す場合にはピクセル−ピクセル）ベースで変動することができる。たとえば、ナチュラルコンテンツ検出器を使用して、局所的な画素が写真の一部であるかに関する可能性を評価することができる。この評価に依存して、最良の結果を得るためにｋファクタを介して、ワープ作用を調節することができる。
【００５２】
オプショナルのクリッピングステップ３１は、限界を含めて０〜１の範囲に保持するため、局所的なワープ距離ＳＬX及びＳＬYの値をクリップする。さもなければ、特に乗算ファクタｋ＞４の場合に、ワープ距離ＳＬX又はＳＬYはゼロよりも小さいか又は１よりも大きい事が生じる場合があり、このことは、補間されるべき出力画素Ｐｏが４つの最近接の入力画素Ｐｉにより形成される正方形の外に移動することを意味しており、このことは、良好な補間を提供しない。クリップされたワープ距離は、ＳＬＣX及びＳＬＣYにより示される。
【００５３】
なお、式８及び９に基づいて、位相ＳX＝０及び位相ＳY＝０である場合、Ａが非ゼロである場合、ワープ距離ＳＬX及びＳＬYはゼロに等しくならない場合がある。したがって、入力グリッドにおける点に対応する出力グリッドにおける点で補間された出力画素Ｐｏ（ｍ，ｎ）は、対応する入力サンプルＰｉ（ｉ，ｊ）とは異なる値を有する場合がある。したがって、本発明に係る調整されたＷａＤｉアルゴリズムは、近似的な補間アルゴリズムである。
【００５４】
補間ステップ３２は、リニアカーネルを好ましくは使用するインタポレータにより入力サンプルＰｉ（ｉ，ｊ）を補間する。クリップされたワープ距離ＳＬＣX及びＳＬＣYは、公知のＷａＤｉにおけるのと同じやり方で隣接する入力サンプルＰｉ（ｉ，ｊ）を重み付けすることで、出力サンプルＰｏ（ｍ，ｎ）がどのように補間される必要があるかを決定する。
【００５５】
出力サンプルの値ｆ（ｘ’，ｙ’）又は画素Ｐｏ（ｘ，ｙ）が評価される必要があるワープされた位置ｘ’，ｙ’は、３つのファクタにより影響される。  
補間している出力画素Ｐｏの座標ｘ，ｙ。  
ワープファクタＡを計算するために使用される入力値ａiの位置を制約する局所的な勾配の方向θ。  
及び、ワープ強度のパラメータｋの値。
【００５６】
図５は、本発明に係る１ステップのワープドディスタンスのコンセプトの別の実施の形態の一部に関するフローチャートを示している。図５は、先に説明された第二の実施の形態に係る局所的な勾配θ（ｍ，ｎ）の方向を決定するステップ１で要求されるステップを示している。ここで、ステップ１は、図４に示されるステップ１０〜１４の代わりに、ステップ１５及び１６を有している。ステップ１５では、局所的な勾配θ（ｉ，ｊ）の方向は、入力サンプルＰｉの入力画像ＩＩで決定される。ステップ１６は、入力領域からのこれら局所的な勾配θ（ｉ，ｊ）を出力領域にマッピングし、出力画素Ｐｏの局所的な勾配θ（ｍ，ｎ）を得る。本発明に係るこの実施の形態のＷａＤｉ処理の他のステップは、図４に示されるステップに等しい。
【００５７】
図６は、本発明に係るワープドディスタンス式のインタポレータを有するディスプレイ装置のブロック図を示している。入力ビデオプロセッサＩＶＰは、入力ビデオＩＶを処理し、入力サンプルＰｉを有する入力画像ＩＩを得る。入力ビデオＩＶがＲＧＢ信号を有する場合、入力ビデオプロセッサＩＶＰは、ルミナンス値を決定するためのマトリクスを有する場合がある。スケーラＷＩは、１ステップで２次元の入力画像ＩＩを処理することができるように調整される公知のＷａＤｉインタポレータである、本発明に従うＷａＤｉインタポレータを有する。スケーラＷＩは、出力サンプルＰｏを有する出力画像ＯＩを供給する。かかるスケーラは、通常、マトリクス型ディスプレイを有するディスプレイ装置で必要とされる。かかるマトリクス型ディスプレイは、それぞれの行における画素（表示素子）数及び行数により決定される固有の解像度を有する。他方で、入力画像ＩＩは、マトリクス型ディスプレイの固有の解像度とは異なる解像度を有している。したがって、マトリクス型ディスプレイの画素に表示されるべき出力サンプルＰｏは、入力サンプルＰｉから補間される必要がある。スケーラＷＩは、存在する場合に、３つの信号Ｒ，Ｇ及びＢのそれぞれを補間可能にするため、入力ビデオＩＶを受信する場合がある。出力ビデオ処理は、出力ビデオＯＩを処理して、ディスプレイスクリーンＤＳを有するディスプレイ装置ＤＰを駆動するのに適したビデオ駆動信号ＶＤＳを得る。
【００５８】
結論付けると、本発明に係る好適な実施の形態は、所与の順序で次のステップを実行するデジタルプロセッサに向けられる。  
予め決定された最初の補間方法により入力画像ＩＩを補間して、一時的な出力サンプルＰｏｔを有する粗く補間された出力画像Ｉ’（ｍ，ｎ）を得る（１０）。一時的な出力サンプルＰｏｔは、局所的な勾配の方向θ（ｍ，ｎ）を計算するためにそれらを使用する目的で決定され、表示されるのを意図していない。他のアルゴリズムが使用される場合もあるが、Ｓｏｂｅｌフィルタ１１及び１２、分割手段１３、逆正接計算手段１４のようなシンプルなアルゴリズムを使用して、この粗く補間された出力画像Ｉ’（ｍ，ｎ）における局所的な勾配の方向θ（ｍ，ｎ）を計算する。
【００５９】
補間した出力画素Ｐｏ（ｍ，ｎ）の周りに位置される、２０で選択された予め決定された位置において、入力画像ＩＩからこの勾配の方向θ（ｍ，ｎ）に沿って多数の補間された入力値ａiを決定する（２１）。これら入力値ａiを使用して、ワープファクタＡを計算することでＷａＤｉアプローチのエッジモデルに整合させる。このワープファクタＡを使用して、勾配の方向θ（ｍ，ｎ）に沿ってワープを計算する。
【００６０】
ｘ及びｙ軸の勾配の方向θ（ｍ，ｎ）に沿って計算されたワープを投影し（３０）、必要であれば、クリッピングを実行する（３１）。投影されたｘ及びｙ方向のワープコンポーネントを（最も近い左上の入力画素Ｐｉ（ｉ，ｊ）に関して補間されるべき出力サンプルＰｏ（ｍ，ｎ）のオフセットを表す）位相ＳX及びＳYの値に適用し（３２）、出力サンプルＰｏ（ｍ，ｎ）のワープされた位置を計算する。リニアフィルタリング技術を使用して（３２）、ワープされた位置における出力サンプル値Ｐｏ（ｍ，ｎ）を補間する。出力サンプルＰｏ（ｍ，ｎ）は、表示されるために使用される。
【００６１】
本発明に係るＷａＤｉアルゴリズムは、補間処理が写真画像又はビデオに関して要求されるたびに使用される。アルゴリズムは、２よりも大きいスケーリングファクタが必要とされるときに最良に実行される。たとえば、アルゴリズムは、ビデオウォールアプリケーション、フォトリタッチングソフトウェア及び他の環境で使用される場合がある。たとえば、デジタルディスプレイシステムのコントローラのような集積回路内部で有効である。アルゴリズムは、リアルタイムアプリケーション及びバッチ処理アプリケーションの両者で実現される。
【００６２】
なお、先に記載された実施の形態は、本発明を制限のではなく例示するものであって、当業者であれば、特許請求の範囲から逸脱することなしに多くの代替的な実施の形態を設計することができる。
【００６３】
本発明に係るＷａＤｉ処理はグレイスケール画像について記載されたが、同じ処理をカラー画像に使用することもできる。ＷａＤｉプロセッサは、ＲＧＢ（赤、緑及び青）入力信号を受ける場合、ワープされた距離ＳＬX及びＳＬYは、ＲＧＢ入力信号から決定されるルミナンス値を使用することで計算される場合がある。違いは、最後のステップ３２において、ワープされた距離ＳＬX及びＳＬY、又はクリップされたワープされた距離ＳＬＣX，ＳＬＣYの同じ値を使用してＲＧＢ信号のそれぞれ１つに対して個別に、補間が３回適用されることである。
【００６４】
請求項では、括弧間に配置される参照符号は、請求項を限定するとして解釈されるべきではない。動詞「有する“comprise”」及びその派生語の使用は、請求項で述べた以外のエレメント又はステップの存在を排除するものではない。エレメントに先行する冠詞“ａ”又は“ａｎ”は、複数のかかるエレメントの存在を排除するものではない。本発明は、幾つかの異なるエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現される場合がある。幾つかの手段を列挙している装置の請求項では、幾つかのこれらの手段は、同一のハードウェアにより実施される場合がある。所定の手段が相互に異なる請求項で引用されるという事実は、これらの手段の組み合わせを使用することができないことを示していない。
【図面の簡単な説明】
【００６５】
【図１】公知の２ステップの補間アプローチを示す図である。
【図２】公知のワープドディスタンスコンセプトを説明する波形を示す図である。
【図３】特定の出力サンプルについて、本発明に実施の形態に係る局所的な勾配の方向におけるインタポレータの入力値の配置を示す図である。
【図４】本発明に係る１ステップのワープドディスタンスのコンセプトの実施の形態を説明するためのフローチャートである。
【図５】本発明に係る１ステップのワープドディスタンスのコンセプトの別の実施の形態の一部に関するフローチャートである。
【図６】本発明に係るワープドディスタンス式のインタポレータを有するディスプレイ装置のブロック図である。
【図１】
2006526832.tif 000013
【図２】
2006526832.tif 000014
【図３】
2006526832.tif 000015
【図４】
2006526832.tif 000016
【図５】
2006526832.tif 000017
【図６】
2006526832.tif 000018
【国際調査報告】
2006526832.tif 000019
2006526832.tif 000020
2006526832.tif 000021