(57)【特許請求の範囲】
【請求項１】
予め定められた入力空間解像度を持つ入力信号から、前記入力空間解像度とは異なる予め定められた出力空間解像度を持つ高コントラストの倍率変更された画像を生成する装置であって、
Ｍ個のフィルタ位相に分割され、前記入力信号の入力サンプルから出力サンプルを生成するフィルタと、
前記入力信号の連続する入力サンプルの値の差が予め定められた振幅を越えるパルス、左端部、又は右端部を含む画像の細部を検出するための細部検出器と、
前記検出された画像の細部と対応する入力サンプルの前後に生じる一組の出力サンプルの位相が、一様なサンプリングによって十分な局所的コントラストが与えられない位相の範囲内であるか判定し、そうであるならば、前記出力サンプルの内の１つの位相を前記入力サンプルの位相により近くに調整して、前記画像の画像コントラストを強調する非一様サンプリング制御器と
を備えることを特徴とする装置。
【請求項２】
前記細部検出器は、予め定められた振幅を超えたパルスの画像細部を検出し、それに応じて、前記非一様サンプリング制御器に対して、１つの出力サンプルの位相を前記パルスと対応する入力サンプルの位相により近くに、かつ、もう１つの出力サンプルの位相を前記入力サンプルの位相からより遠くに、前記出力サンプルの２個の隣接したものの位相を移させることを特徴とする請求項１記載の装置。
【請求項３】
前記細部検出器は、予め定められた振幅を超えた左端部の画像細部を検出し、それに応じて、前記非一様サンプリング制御器に対して、前記左端部と対応する入力サンプルの位相に最も近い出力サンプルの位相を前記入力サンプルの位相にさらに近くに移させることを特徴とする請求項１記載の装置。
【請求項４】
前記細部検出器は、予め定められた振幅を超えた右端部の画像細部を検出し、それに応じて、前記非一様サンプリング制御器に対して、前記右端部と対応する入力サンプルの位相に最も近い出力サンプルの位相を前記入力サンプルの位相にさらに近くに移させることを特徴とする請求項１記載の装置。
【請求項５】
予め定められた入力空間解像度を持つ入力信号から、前記入力空間解像度とは異なる予め定められた出力空間解像度を持つ高コントラストの倍率変更された画像を生成する方法であって、
生成手段により、Ｍ個のフィルタ位相に分割されたフィルタを用いて、前記入力信号の入力サンプルから出力サンプルを生成する段階と、
検出手段により、前記入力信号の連続する入力サンプルの値の差が予め定められた振幅を越えるパルス、左端部、又は右端部に対応する画像の細部を検出する段階と、
変化手段により、前記検出された画像の細部と対応する入力サンプルの位相により近く合わせられるように前記出力サンプルの内の１つの位相を移し、それによって、前記画像の細部の画像コントラストを強調する段階と
を備えることを特徴とする方法。
【請求項６】
前記画像の細部を検出する段階は、予め定められた振幅を超えたパルスの画像細部を検出し、それに応じて、前記検出されたパルスと対応する入力サンプルの前後に生じる出力サンプルの位相を移させる段階をさらに備えることを特徴とする請求項５記載の方法。
【請求項７】
前記画像の細部を検出する段階は、予め定められた振幅を超えた左端部の画像細部を検出し、それに応じて、前記検出された左端部と対応する入力サンプルの位相に最も近い出力サンプルの位相を前記入力サンプルの位相にさらに近くに移させる段階をさらに備えることを特徴とする請求項５記載の方法。
【請求項８】
前記画像の細部を検出する段階は、予め定められた振幅を超えた右端部の画像細部を検出し、それに応じて、前記検出された右端部と対応する入力サンプルの位相に最も近い出力サンプルの位相を前記入力サンプルの位相にさらに近くに移させる段階をさらに備えることを特徴とする請求項５記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像の一般的な倍率変更に関し、特に倍率変更された画像の鮮鋭度と一様性とを向上させる方法と装置とに関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
画像の倍率変更や大きさ変更は、ディジタル画像処理システムにおいて頻繁に求められる機能である。この機能は、入力された画素（pixel）にディジタルフィルタをかけて出力画素を作り出すのに使われる。人間の目は、信号の位相の変化に敏感なので、画像の倍率変更でもっとも普通に使用されるフィルタは、線形位相の有限インパルス応答（ＦＩＲ）のフィルタである。倍率変更の処理は、入力信号のサンプリング速度を変えることで得られる。さらに特化して、サンプリング速度は、画像を拡大するために増やされるか、あるいは画像を縮小するために減らされる。
【０００３】
倍率変更の可変係数は、最初に固定サンプリング速度において信号をアップサンプリング（upsampling）し、その後にそのアップサンプリングした信号を異なる速度でダウンサンプリング（downsampling）して、必要な（可変の）画像倍率変更の係数を得ることによって得られる。通常、第１のアップサンプリングの段階では、３２から６４のアップサンプリング係数が使用される。効率的な実現のために、アップサンプリングとダウンサンプリングの動作は、普通組み合わされ、一つのサンプルのみが出力のために計算され、他の全てのサンプルは無視される。
【０００４】
ディジタル入力信号 x[n] に対して、そのフーリエ変換は、
【数１】
0004809523.tif 000002
であり、与えられた有限インパルス応答 h[n] に対して、そのフーリエ変換は、
【数２】
0004809523.tif 000003
である。
【０００５】
アップサンプリング段階において、次に続くいずれかの２個の入力サンプルの間にＭ−１個のゼロが挿入され、結果として得られるアップサンプリングされた信号のフーリエ変換は、Ｘ（ｅ-jMω）である。フィルタ h[n] は、Ｍ個のフィルタ位相に分割され、そこでｋ番目のフィルタ位相は、hk[m]=h[k+Mn] であり、そのフーリエ変換は、
【数３】
0004809523.tif 000004
である。
【０００６】
上述のように、フィルタを位相に分割するのは、アップサンプリングの整数係数の場合にのみ可能である。
【０００７】
入力信号とフィルタ h[n] の間のたたみ込みの結果は、次のフーリエ変換による y[n] である。
【数４】
0004809523.tif 000005
【０００８】
いずれかの出力サンプルは、入力信号と特定のフィルタ位相との間のたたみ込みの結果である。アップサンプリングされた各入力に対して、Ｍ個のフィルタ位相の全てを備えた入力サンプルの畳込みの結果であるＭ個の出力サンプルがある。Ｍ個の出力は、入力サンプリングの時間に対応する時間間隔に渡って等しく置かれる。出力サンプルが必要な時は、その位置が計算され、入力のたたみ込みのために適当な位相フィルタが選択される（選ばれた位相は、出力サンプルの物理的位置に最も近い）。
【０００９】
こうして、一般的に、先の倍率変更処理の段階は、以下のように単純化される。（１）入力データを選択する（２）フィルタの位相を決定する（３）データと、予め決定されたフィルタ位相との間のたたみ込みを計算する。従来は、入力データとフィルタ位相は、出力サンプルの位置に基づいて計算される。本発明の一局面の目的は、高いコントラストを持った倍率変更された画像を得るために、最適なフィルタ位相を決定することにある。
【００１０】
画像のコントラストを増やす従来の方法に従って、ピーキング（peaking）フィルタが、高周波数を上げるのに使用される。しかし、倍率変更の低い係数において、高周波数を上げることは、あまり効果がない。他の方法は、例えば、信号の第１導関数を取ることによって、信号内の短い遷移時間を検出し、これらの時間を人工的に減らす。残念なことに、この技術は、信号が通常１段階の間に最小から最大に変化するような画像分野には適さない。
【００１１】
以下の特許は、本発明に関連する従来技術に関係する。
米国特許文献。
５，７６７，９００号  Tanji; Ichiro    １９９８年６月１６日  Digital
Apparatus For Contour Enhancement Of Video Signals
４，０３０，１２１号  Faroudja        １９７７年６月１４日  Video
Crisper
３，９９７，７７２号  Ronald Eldon Crochiere  １９７６年１２月１４日
Digital Phase Shifter
【００１２】
【課題を解決するための手段】
本発明によって、倍率変更処理による、画像のコントラストを改良するための方法と装置とが提供される。従来は、倍率変更された出力画像は、一様なグリッドによる、入力信号のサンプリングによって生成された。入力と出力のサンプリング速度の比率が整数でないと、処理は空間的にもはや一様ではない。こうして、ある入力された細部は、入力信号内のその細部の位置によって、異なって倍率変更される。ときどき、入力された細部は、完全に倍率変更されるが、よりしばしば、その細部はうまく倍率変更されない。
【００１３】
本発明の方法によると、一様なサンプリングで良好なコントラストが得られないような場合を検出し、非一様なサンプリングを使用することで、個々のコントラストを改善する。
【００１４】
本発明の従来技術と、発明の実施の形態の記載が、ここで以下の図面を参照して提供される。
図１は、本発明の方法と装置が与えられる環境を作り、入力と出力の一様なサンプリンググリッドの相対的な位置を示す図である。
図２は、入力画素に合わせられた出力画素を示す図である。
図３は、入力画素に合わせられていない出力画素を示す図である。
図４は、多相補間を示す図である。
図５は、従来技術による、一様の出力グリッドに対して、いかに多相補間がなされるかを示す図である。
図６は、非一様な出力グリッドに対して、いかに多相補間がなされるかを示す図である。
図７は、別の時ならばコントラストの低い細部を作るかも知れない位置に細部が検出されたときに、出力サンプリング速度を変更するような、本発明による装置のブロック図である。
図８は、出力における一様なサンプリング速度と非一様なサンプリング速度との間の差を示すタイミング図である。
図９は、本発明の実施形態による細部検出アルゴリズムを示すフローチャートである。
【００１５】
【発明の実施の形態】
ディジタル画像は、データの配列として表現され、一様な矩形グリッド上でサンプルされ生成される。画像の倍率変更処理の間、データの他の配列が計算され、一様な矩形グリッド上で同様に出力値が与えられる。図１は、出力グリッドの矩形の４隅にマップされた、入力内の矩形の４隅を示している。矩形は、必ずしも画像の物理的な隅に一致する必要はないが、入力／出力画像の内側あるいは外側のどこかに置くことは可能であるということに注意したい。図１に表される表記は、使用されうるマッピングの多くの種類の一つに過ぎない。しかし、図１の簡単な表記は、本発明の方法と装置が動作する環境を図示して与えられる。特に、図１に示すように、整数でない倍率変更係数の一般的な場合に対して、出力グリッドのいくつかのノードは、入力グリッドのどんなノードとも物理的に一致しないことに注意したい。
【００１６】
細部が表示可能位置にのみ現れるときに、最良の局所的コントラストが得られる。こうして、出力ノードが入力ノードのどれとも一致しないような状況では、コントラストは低下する。局所的なコントラストの低下は、それらの細部が画素に近い大きさの場合に、目に見えるようになる（例えば、鋭い端部か、単一の線か、単一の画素）。
【００１７】
簡単に上述したように、本発明によると、入力グリッドと反対の出力グリッドの細部の配列に、一様でないサンプリングを与えることで、倍率変更された画像の改良されたコントラストが得られる。局所的なコントラストは、出力グリッドに対して、細部の配列を良くすることで改善する。独創的な方法は、入力グリッドと出力グリッドの間の非配列が予め定められた閾値よりも悪いような出力グリッド内のそれらの位置を検出する。この検出は、幾何異性の計算を用いて行われる。これに対して、出力内のノードのサブセットが、コントラストの改良のために選択される。次に、選択された位置の近くのデータが調べられ、もしデータが拡大のために選ばれた位置からの細部（例えば、端部あるいは線あるいは単一の画素）を示していれば（すなわちその位置における信号の急速な変動により認識される）、検出された細部が出力グリッド上により良く表示されるように、サンプリング位置はその場所の中で変更される。サンプリング位置の変更（すなわち増加か減少）の延長は、サンプリング位置における変更を最小にしている間に、コントラストを最大に高めることを得るという重なった要求によって調整される。こうして、コントラスト強調の希望する程度と、サンプリング位置を変更することにより引き起こされる空間的な非一様さの許容された程度との間の交換条件がある。
【００１８】
図２のインパルス応答の図に示されるように、出力画素が入力画素に合わせられるか非常に近いときに、画像の歪みは発生しない。しかし、図３に示すように、出力画素が入力画素に近く合わせられないとき、画像の細部は、異なる位置に非常に異なった形で再作成される。例えば、第１の場合（図２）、単一画素の幅広い線が、単一画素の幅広い線としても出力され、それに対して、第２の場合（図３）、単一画素の幅広い線が、より大きい線（輝度は落ちる）として倍率変更される。
【００１９】
図４は、従来技術として知られる、多相補間が使用されるときの画像インパルス応答を示している。補間は、１次元のみで示されているが、２次元にも同様に適用できる。入力画素の周囲の空間は、多くの等しい間隔を持った空間に分割され、信号位相として参照される。出力サンプルが必要な時には、その位置が計算され（すなわち出力画素がその中に落ちる位相）、入力信号はその位相によってサンプルされる。
【００２０】
信号位相とフィルタ位相との間の関係は、信号位相がフィルタ位相を持ったデータのたたみ込みを通して計算されるものである。フィルタ位相と信号位相とは、同じ番号によって数字的に認識される。図４に示される例において、２個の続いた画素間の空間は、Ｍ個の位相に分割される。この文脈において、“局所的コントラスト”は、２個の隣接する画素間のエネルギー差分の絶対値として定義される。図５が示すように、入力は局所的コントラストが大きな値を持つパルスであるが、入力の倍率変更された新しいものの局所的コントラストは小さい場合がある。
【００２１】
本発明によれば、非一様なサンプリングが実行され、２つの可能な結果のうちの１つが図６に示されている。図６の上部は、２個の出力サンプルに対する位相計算が、同じ量による位相の数を増やすことにより変更される状況を示しているが、下の図は同じ量による位相の数が減少する結果を示している。どちらを選ぶかは、入力の細部と２個の出力サンプルの相対的位置により決まる。わずか２個のサンプリング位置を変える理由は、入力された細部のエネルギーの大部分は、コントラストが改善されようとしている細部に最も近い２個のサンプルに集まるからである。図６が示すように、ある場合には、局所的なコントラストは改善されるが、他の場合には改善されない（ことによると悪化する）。
【００２２】
図７が示すのは、本発明による装置で、位相（H0,H1...HM-1）に分割されるフィルタを備え、フィルタの各位相は入力サンプル finput から出力サンプル foutput を作る原因となる。細部検出器が与えられて、一様なサンプリングが良好なコントラストとならないような特別な場合を検出し、非一様なサンプリング制御器を使用することで局所的なコントラストを改善する。
【００２３】
非一様なサンプリング制御器の細部と、細部検出器とは、図８のタイミング図と図９のフローチャートとを参照して以下に、より詳細に始められる。図面と以下の説明において、“特別な場合を検出する”段階は、次の状況を検出することを意味している。
【００２４】
出力 y[l-1] は、x[k-l] と x[k] の間の最も右側の出力サンプルであり、
そして
出力 y[l] は、x[k] と x[k+1] の間の最も左側の出力サンプルであり、
そして
閾値１＜位相（y[l-1]）＜閾値２
そして
閾値３＜位相（y[l]）＜閾値４
であり、
【００２５】
ここで、位相（.）の表記は、いずれの出力サンプルの引数に対しても、その位相（図３に従って、０からＭ−１の間の整数）を表しており、閾値１、閾値２、閾値３、閾値４は、０からＭ−１の範囲の整数の定数であり、これは、十分な局所的コントラストを与えない一様なサンプリングの位置を定義する。閾値１と閾値２とは、第１の出力サンプルの範囲を特定し、一方、閾値３と閾値４とは、第２の出力サンプルの範囲を特定する。閾値は、受け入れられると考えられる並べられない量を特定する。
【００２６】
“パルスを検出する”と呼ばれる段階は、次によって満たされる。
(x[k+1]-x[k])*(x[k]-x[k-1]<0,
そして
｜x[k-1]-x[k]｜>閾値５,
そして
｜x[k]-x[k-1]｜>閾値５
であり、
【００２７】
ここで、閾値５は、０と入力信号の動的範囲の値との間の整数であり、それによって、十分に大きいそれらの入力パルスのみの選択を制限する。いかなる入力サンプルにも近くなく、コントラスト強調の候補として以前に検出された、それらの出力サンプルにとって、入力画素に対するデータは、画素がパルスを含んでいるかどうかを見るために調べられるが、これは、現在の値 x[k] は、前の値 x[k-1] と 次の値 x[k+1] より大きいかあるいは小さいかである。
【００２８】
“左の端部を検出する”段階は、次によって満たされる。
｜x[k]-x[k+1]｜<閾値６
そして
｜x[k-1]-x[k]｜>閾値７
であり、
【００２９】
ここで、閾値６と閾値７とは、入力信号の動的範囲内の整数であり、十分に大きな端部のみを選択する。閾値６は、１よりも大きく、これは雑音をフィルタにかけるか、あるいは増幅される。雑音をフィルタにかけることは、特に分離可能な処理の場合に有効であり、ここで本方法が最初、片方向に適用され、倍率変更のアーチファクト（artifact）が、さらに他方向に処理される。出力源が無雑音という理想的な場合においても、２段階の倍率変更処理（１度に片方向）のゆえに、第１の倍率変更の段階によってフィルタリングの性質上、局所的細部がいくつかできてしまう。これらの細部は、信号内の細部として解釈され、従って他方向の倍率変更の間に増幅されることができる。それにもかかわらず、１段階の倍率変更処理においても、信号にはディジタル−アナログ変換とアナログ−ディジタル変換の間に加えられた雑音があるために、雑音の閾値は、有効である。
【００３０】
“右の端部を検出する”段階は、次によって満たされる。
｜x[k-1]-x[k]｜<閾値６,
｜x[k]-x[k+1]｜>閾値７
である。
【００３１】
非一様なサンプリングが必要であると分かった場合は、位相 y[l-1] と位相 y[l] とは、x[k] に対応する位相と比較され、これは図３の表記によればＭ／２であり、位相の変化は位相Ｍ／２に最も近い位相がさらに近づくことによって実行され、これは、もし M/2-位相(y[l-1])<位相(y[l])-M/2 であるなら、位相(y[l-1])+偏差は、位相(y[l-1])の代わりの出力のために計算される。もし、上記の条件が満足されないと、位相(y[l-1])-偏差が、位相(y[l-1])の代わりに計算される。位相変化は、０からＭ−１の範囲に限定されなければならない。
【００３２】
例えば、Ｍ＝６４で倍率変更の係数が１．２５だと、位相 (y[l-1])=6 かつ位相 (y[l-1])=57,閾値１=0,閾値２=12,閾値３=52,閾値４=63 であり、状況は (32-6)<(57-32) となりこれは偽となり、位相 y[l] は、物理的に y[l] より x[k] により近くなることを意味している。この場合、偏差は位相 (y[l]) から減算され、もしパルスがあれば偏差は同様に位相 (y[l]) から減算される。“偏差”は、この倍率変更係数に対して６に設定することができ、その結果、新しい位相は y[l-1] に対して６−６＝０また y[l] に対して５７−６＝５１となる。
【００３３】
“偏差”の値は、入力画素と出力画素との間の並びの程度を調整し、画像の鋭さを調整し、端部に対して一つの値を持つことができ、パルスに対して異なる値を持つことができる。条件に係わらず、“偏差”の値はＭを超えることはできない。実際の応用分野では、“偏差”の値は、Ｍ／８とＭ／４の間であり、倍率変更係数に依存する。
【００３４】
パルスの場合には、位相 y[l-1] と y[l] の両方は、同じ量だけ変更される。端部の場合には、端部上の位相だけが変更される。位相変更あるいは“偏差”の量は、数値的にパルスと端部とでは異なる。特に、端部は、端部のそれよりも小さい“偏差”に対する値を持つ。こうして、前述の例において、端部の“偏差”の値は４となろう。
【００３５】
他の実施形態と変形も可能である。例えば、本発明の実施形態は、水平方向に改善された細部の強調を備えた画像倍率変更システムを始め、本発明の原理は、垂直にあるいは水平方向と垂直方向の両方に適用される。この実施形態あるいは他の代わりの実施形態は、この点に関して添えられた請求の範囲の中で始められた本発明の領域と範囲の中にあると思われる。
【図面の簡単な説明】
【図１】  本発明の方法と装置が与えられる環境を作り、入力と出力の一様なサンプリンググリッドの相対的な位置を示す図である。
【図２】  入力画素に合わせられた出力画素を示す図である。
【図３】  入力画素に合わせられていない出力画素を示す図である。
【図４】  多相補間を示す図である。
【図５】  従来技術による、一様の出力グリッドに対して、いかに多相補間がなされるかを示す図である。
【図６】  非一様な出力グリッドに対して、いかに多相補間がなされるかを示す図である。
【図７】  別の時ならばコントラストの低い細部を作るかも知れない位置に細部が検出されたときに、出力サンプリング速度を変更するような、本発明による装置のブロック図である。
【図８】  出力における一様なサンプリング速度と非一様なサンプリング速度との間の差を示すタイミング図である。
【図９】  本発明の実施形態による細部検出アルゴリズムを示すフローチャートである。
【図１】
0004809523.tif 000006
【図２】
0004809523.tif 000007
【図３】
0004809523.tif 000008
【図４】
0004809523.tif 000009
【図５】
0004809523.tif 000010
【図６】
0004809523.tif 000011
【図７】
0004809523.tif 000012
【図８】
0004809523.tif 000013
【図９】
0004809523.tif 000014