(57)【特許請求の範囲】
【請求項１】
複数の画像画素を含むデジタル画像を、そのデジタル画像のノイズコンテンツに応じて鮮鋭化するデジタル画像鮮鋭化装置であって、
デジタル画像データに対して施す鮮鋭化処理の度合を示すゲインを求め、求められたゲインに基づいて鮮鋭化デジタル画像データを得る鮮鋭化部と、
前記デジタル画像データから低解像度のサンプル画素データを摘出する画像サンプラと、
各サンプル画素データに対する局地信号対ノイズ比を求めるＳＮＲ生成部と、
データに含まれる変調成分がノイズによるものである可能性を示す低解像度ノイズビリーフ値を、前記局地信号対ノイズ比に基づいて、各サンプル画素データに対して求めるノイズビリーフ値生成部と、
前記低解像度ノイズビリーフ値を補間して、前記デジタル画像の各画像画素に補間処理後のノイズビリーフ値を空間的に対応付けたノイズ画素ビリーフマップを作成する補間部と、
を備え、
前記鮮鋭化部は、
ノイズが大きいとの高ビリーフを前記ノイズ画素ビリーフマップが示す領域に対しては、鮮鋭化処理のゲインが所定の範囲を超えないよう前記ノイズ画素ビリーフマップに応じて当該ゲインを求め、
前記デジタル画像鮮鋭化装置は、さらに、
データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、
前記デジタル画像データに対する鮮鋭化処理のゲインを、前記対象物ビリーフ値に基づいて求めるゲイン生成部と、
を備え、
前記鮮鋭化部は、
前記ゲイン生成部によって求められたゲインが所定の範囲を超え、ノイズが大きいとの高ビリーフを前記ノイズ画素ビリーフマップが示す領域に対しては、当該ゲインを前記ノイズ画素ビリーフマップに基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とするデジタル画像鮮鋭化装置。
【請求項２】
請求項１に記載のデジタル画像鮮鋭化装置において、
前記対象物検出部は、
各サンプル画素データに対して前記対象物ビリーフ値を求め、
前記ゲイン生成部は、
各サンプル画素データに対して求められた前記対象物ビリーフ値に基づいて各サンプル画素に対するゲインを求め、前記各サンプル画素間の画素に対するゲインを、前記各サンプル画素に対して求められたゲインに基づく補間処理によって求めることを特徴とするデジタル画像鮮鋭化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、概略的にはデジタル画像の処理に関する分野、より詳しくは、処理パラメータを画像のコンテンツに関連付ける方法に関する。
【０００２】
【従来の技術】
デジタル画像の処理においては、一般的に、画像の鮮鋭（sharp）化により、鮮鋭化アルゴリズムを用いて微細な詳細部が改善される。通常、鮮鋭化は畳み込みプロセス（たとえば、A. K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall: 1989, pp.249-251参照）によって行われる。アンシャープマスキングプロセスは、畳み込みによる鮮鋭化プロセスの一例である。たとえば、アンシャープマスキングを使った画像の鮮鋭化は、次の等式で説明することができる。
【０００３】
s(x,y)＝i(x,y)**b(x,y)+βf(i(x,y)-i(x,y)**b(x,y))      (0)
ここで、
ｓ（ｘ，ｙ）＝鮮鋭さが改善された出力画像
ｉ（ｘ，ｙ）＝原入力画像
ｂ（ｘ，ｙ）＝ローパスフィルタ
β＝アンシャープマスクのスケールファクタ
ｆ（）＝フリンジ関数
**は、二次元畳み込みを示す
（ｘ，ｙ）は、画像のｘ番目の行とｙ番目の列を示す
【０００４】
一般に、不鮮明画像は、ローパスフィルタによる画像の畳み込みによって生成される（つまり、不鮮明画像はｉ（ｘ，ｙ）**ｂ（ｘ，ｙ）で示される）。次に、原画像から不鮮明画像を引くことにより、ハイパス、つまりフリンジデータが生成される（すなわち、ハイパスデータはｉ（ｘ，ｙ）−ｉ（ｘ，ｙ）**ｂ（ｘ，ｙ）で得られる）。次にハイパスデータは、スケールファクタβかフリンジ関数ｆ（）のいずれかまたはその両方によって修正される。最後に、修正されたハイパスデータに、原画像または不鮮明画像のいずれかを加算することにより、鮮鋭化された画像が得られる。
【０００５】
同様の鮮鋭化効果は、デジタル信号処理の分野ではよく知られる周波数ドメイン（たとえば、ＦＦＴドメイン）における画像修正によって実現できる。
【０００６】
１９９６年２月１８日発行のマームーディ他(Mahmoodi et al.)の米国特許第４，５７１，６３５号は、近傍中の画像画素の標準偏差に応じて、デジタル画像の高周波数情報をスケーリングするのに使用される強調係数βを得る方法を教示している。さらに、１９９２年１月１４日発行のクウォン他(Kwon et al.)の米国特許第５，０８１，６９２号は、強調係数βが中央加重分散計算に基づいていると教示している。１９８８年８月２日発行の米国特許第４，７６１，８１９号において、デニソン他(Denison et al.)はアンシャープマスクのゲインが局地分散計算とノイズ統計の両方に依存する方法について述べている。
【０００７】
上記の方法はたしかに、ノイズの増大をなるべく抑えながら画像を鮮鋭化するが、画像成形システムからの推定ノイズを正しく考慮していないため、最適な性能を得ることができない。たとえば、これらの方法のいずれも、推定される画像成形システムのノイズの信号強度と画像の色による変化を考慮していない。
【０００８】
【特許文献１】
米国特許第５，０８１，６９２号公報
【特許文献２】
米国特許第４，７６１，８１９号公報
【特許文献３】
米国特許第４，５７１，６３５号公報
【特許文献４】
欧州特許出願第１１１１９０６Ａ２号公報
【特許文献５】
欧州特許出願第１０６３６１１Ａ２号公報
【０００９】
【発明が解決しようとする課題】
したがって、画像鮮鋭化アルゴリズムに使用する画像中のノイズを予想する改善された方法に対するニーズがある。
【００１０】
【課題を解決するための手段】
本発明は、複数の画像画素を含むデジタル画像を、そのデジタル画像のノイズコンテンツに応じて鮮鋭化するデジタル画像鮮鋭化装置であって、デジタル画像データに対して施す鮮鋭化処理の度合を示すゲインを求め、求められたゲインに基づいて鮮鋭化デジタル画像データを得る鮮鋭化部と、前記デジタル画像データから低解像度のサンプル画素データを摘出する画像サンプラと、各サンプル画素データに対する局地信号対ノイズ比を求めるＳＮＲ生成部と、データに含まれる変調成分がノイズによるものである可能性を示す低解像度ノイズビリーフ値を、前記局地信号対ノイズ比に基づいて、各サンプル画素データに対して求めるノイズビリーフ値生成部と、前記低解像度ノイズビリーフ値を補間して、前記デジタル画像の各画像画素に補間処理後のノイズビリーフ値を空間的に対応付けたノイズ画素ビリーフマップを作成する補間部と、を備え、前記鮮鋭化部は、ノイズが大きいとの高ビリーフを前記ノイズ画素ビリーフマップが示す領域に対しては、鮮鋭化処理のゲインが所定の範囲を超えないよう前記ノイズ画素ビリーフマップに応じて当該ゲインを求め、さらに、本発明に係るデジタル画像鮮鋭化装置においては、データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、前記デジタル画像データに対する鮮鋭化処理のゲインを、前記対象物ビリーフ値に基づいて求めるゲイン生成部と、を備え、前記鮮鋭化部は、前記ゲイン生成部によって求められたゲインが所定の範囲を超え、ノイズが大きいとの高ビリーフを前記ノイズ画素ビリーフマップが示す領域に対しては、当該ゲインを前記ノイズ画素ビリーフマップに基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とする。
【００１１】
また、本発明に係るデジタル画像鮮鋭化装置においては、前記対象物検出部は、各サンプル画素データに対して前記対象物ビリーフ値を求め、前記ゲイン生成部は、各サンプル画素データに対して求められた前記対象物ビリーフ値に基づいて各サンプル画素に対するゲインを求め、前記各サンプル画素間の画素に対するゲインを、前記各サンプル画素に対して求められたゲインに基づく補間処理によって求めることが好適である。
【００１２】
【発明の実施の形態】
以下の説明において、本発明の実施形態はソフトウェアプログラムとして実現された方法として述べられている。当業者は、このようなソフトウェアと同等物をハードウェアで構成することができると容易に認識できる。画像改良アルゴリズムと方法は周知であるため、本願の説明は特に、本発明による方法とシステムの一部を構成する、あるいはより直接的にこれと協働する要素について行うものとする。本願において特に示されていない、あるいは説明されていないその他の要素および、画像信号生成および他の処理のためのハードウェアおよび／またはソフトウェアは、当業界で知られている材料、コンポーネント、要素から選択することができる。以下の資料において本発明に従って示され、説明されているシステムと方法について、本発明の実行にとって有益な、本願で具体的に示されていない、説明または提案されていないソフトウェアは従来のものであり、当業界における一般的技術である。
【００１３】
さらに、ここで使用されているように、コンピュータプログラムはコンピュータが読み出すことのできる記憶媒体に記憶させることができる。この記憶媒体には、たとえば磁気ディスク（ハードドライブやフレキシブルディスク）または磁気テープ等の磁気記憶媒体、光ディスク、光テープまたは機械判読可能なバーコード等の光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等のソリッドステート電子記憶装置あるいはその他、コンピュータプログラムを記憶するのに使用される物理的装置または媒体がある。
【００１４】
デジタル画像は一般に、ひとつまたは複数の二次元アレイを含む。たとえば、カラーデジタル画像には、それぞれ赤、緑、青の画素値を示す３つのアレイが含まれ、単色画像には光の強度に対応する画素値の１つのアレイが含まれる。呼び方の問題については、デジタル画像のｘ番目の行とｙ番目の列を指す座標（ｘ，ｙ）に位置する画像の画素の数値は、本願において、位置（ｘ，ｙ）におけるそれぞれ赤、緑、青のデジタル画像チャネルの数値を指す３つの値のセット［ｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）］である。この点において、デジタル画像は特定の数のデジタル画像チャネルを有するものと考えることができる。赤、緑、青の二次元アレイを含むデジタル画像の場合、この画像は３つのチャネル、つまり赤、緑、青の分光チャネルを有する。
【００１５】
一般に、本発明は（画像の、ある局所領域に加えられる）鮮鋭化の適用量がその局所領域に存在するノイズの量とその局所領域における意味（semantic）情報に関する鮮鋭化目標レベルの両方に依存する画像鮮鋭化方法を説明する。ここで用いる意味（semantic）という用語は、観察者がある領域に割り当てるであろう意味を指す。たとえば、領域の意味コンテンツは、人間の顔、ビル、雲、空といったオブジェクトである。
【００１６】
図１において、ｘ0個の行とｙ0個の列を有する画像ｉ（ｘ，ｙ）がノイズマップ発生器４に入力され、ノイズ画素ビリーフマップＮ（ｘ，ｙ）が生成される。好ましくは、画像ｉ（ｘ，ｙ）は高解像度で、たとえば、一例となる高解像度の画像はｘ0＝１０２４行、ｙ0＝１５３６列の画素を有する。ノイズ画素ビリーフマップとは、ある画素に関して発生する強度（intensity）の偏差が画像のコンテンツではなく、画像成形システムにおけるノイズによるものであるビリーフ（確信の度合）を示すマップである。
【００１７】
画像成形システムのノイズは強度によって異なる。したがって、所与の強度レベルにおけるノイズによる変調は、予想可能である。観察された変調が予想したノイズ変調より大きい場合、その変調（modulation）は画像のコンテンツによるものであるというビリーフが強い。観察された変調が予想したノイズより小さい、あるいはこれと同等であると、その変調はノイズによるものであるというビリーフが強い。好ましくは、ビリーフは０から画素がノイズの大きい画素である１００％までの確率として表す。均一な画像領域（たとえば晴れた青空）の場合、通常、その画素はノイズが大きい画素であるというビリーフが高く、混雑した領域（たとえば髪や草）に属する画素の場合、その画素はノイズが大きい画素であるというビリーフは低くなる、あるいは０となる。
【００１８】
ノイズ画素ビリーフマップＮ（ｘ，ｙ）は、好ましくは、画像ｉ（ｘ，ｙ）と同じサイズである。また、ノイズ画素ビリーフマップのビリーフ値は好ましくは、局地での信号分散（画像画素の数値に対して測定）と予想されるノイズ量の両方を考慮して生成される。たとえば、前述の米国特許第４，７６１，８１９号は、局地での分散Ｖ（ｉ，ｊ）と予想されるノイズレベルＶ（ｎｏｉｓｅ）の両方に依存する信号Ｇ（ｉ，ｊ）の生成を開示している。このように、ノイズ画素ビリーフマップは、信号対ノイズ比が低い確率が高い（つまり、ノイズの大きい画素である確率が高い）画素または領域を示す。Ｇ（ｉ，ｊ）等の信号は、画像処理技術において知られているルックアップテーブル（ＬＵＴ）または一次関数を使って、ノイズ画素ビリーフマップに容易に変換できる。たとえば、ノイズ画素ビリーフマップの数値は、Ｇ（ｉ，ｊ）＞ｔ1の場合の０、Ｇ（ｉ．ｊ）＜ｔ2の場合の１００で、Ｇ（ｉ，ｊ）がｔ1とｔ2との間にある時、０と１００の中間の数値となる。たとえば、ｔ1＝５、ｔ2＝１／２である。あるいは、２００１年６月２７日に公開されたギャラー他(Gallagher Et al.)による欧州特許出願第１１１１９０６Ａ２号は、予想されるノイズの数値を生成する方法は、画素の強度に基づき、これをルックアップテーブルとともに使用してノイズ画素ビリーフマップを作ることができると書いている。
【００１９】
ノイズマップ発生器４によってノイズ画素ビリーフマップを生成する好ましい方法を図２に示す。画像ｉ（ｘ，ｙ）は画像サブサンプラ２２に送られ、これがその画像の低解像度バージョンｉ（ｍ，ｎ）を発生する。低解像度バージョンｉ（ｍ，ｎ）はｍ0個の行とｎ0個の列の画素を含み、ここで、ｍ0＝ｘ0／２R，ｎ0＝ｙ0／２R、Ｒはサブサンプルの数を必要な２の係数によって示す画像のサブサンプリング係数である。通常、低解像度画像ｉ（ｍ，ｎ）は、エーリアシングの影響を低減するために、当業界でよく知られているように、フィルタリングと係数Ｒによるサブサンプリングを組み合わせることによって生成される。低解像度画像からノイズ画素ビリーフマップを生成することにより、計算しなければならない画素が少なくなるため、（画像ｉ（ｘ，ｙ）からノイズ画素ビリーフマップを生成する場合と比較し）時間が大幅に削減される。好ましくは、Ｒ＝２であり、これによって画像ｉ（ｘ，ｙ）について同じ操作を行うのに必要な処理時間の約９４％が削減される。
【００２０】
低解像度画像ｉ（ｍ，ｎ）は、各位置において鮮鋭化すべき画像チャネルの局地の信号対ノイズ比ＳＮＲ（ｍ，ｎ）を計算するためのＳＮＲ計算機２４に入力される。局地における信号対ノイズ比は、画像ｉ（ｘ，ｙ）の色チャネルの数に関係なく、各位置（ｍ，ｎ）でひとつの数値として表される。以下に詳しく説明するが、好ましい鮮鋭化は、画像のひとつのチャネル、輝度チャネルｌ（ｘ，ｙ）に適用される。輝度チャネルは、画像のすべての色チャネルを線形にまとめることによって作られる。たとえば、
【式１】
0004460839.tif 000002
ここで、
Ｃは画像チャネル数
ｃnは画像ｉ（ｘ，ｙ）のｎ番目の色チャネル
ａnはｎ番目の色チャネルに関する係数加重ファクタ（coefficient weighting factors）である。すべての係数加重ファクタの合計は、好ましくは１．０である。以下、赤、緑、青チャネルを有する画像ｉ（ｘ，ｙ）の場合、赤、緑、青の係数加重ファクタの好ましい数値はすべて等しく１／３である。
【００２１】
各画素位置における局地の信号対ノイズ比を計算するために、ＳＮＲ計算機２４は各画素位置における予想されるノイズの大きさを判断しなければならない。先行技術による方法において、予想されるノイズの大きさは鮮鋭化すべきチャネル、たとえば輝度チャネルからのみ計算される。しかし、各種のチャネルからの何種類もの画素数値の組み合わせにより、等式１を通じて同一の輝度チャネルが形成される場合があることを認識しなければならない。このため、画像の領域が同じ平均輝度値をもちながら、予想されるノイズ値が大きく異なるということが往々にしてある。
【００２２】
ＳＮＲ計算機２４は、以下の等式で輝度チャネルの局地ＳＮＲを判断する。
【００２３】
【式２】
0004460839.tif 000003
ここで、
σn（ｍ，ｎ）は、好ましくは位置（ｍ，ｎ）に中心を置く５×５のウィンドウについて測定された輝度チャネルにおける画素の局地標準偏差である。
【００２４】
σk（ｉ（ｍ，ｎ））は、ｉ（ｍ，ｎ）の各色チャネルにおいて予想されるノイズのレベルに基づき、鮮鋭化される画像チャネル（好ましくはｉ（ｍ，ｎ）の輝度チャネル）での画素のノイズの予想される標準偏差である。
【００２５】
ｓｉｇｎ［ｑ］は、ｑ＜０であると−１，その他であると１である。
【００２６】
σk（ｉ（ｍ，ｎ））の数値は、輝度チャネルを作るのに使用される係数加重ファクタ、ノイズテーブル、サブサンプリング係数Ｒおよびサブサンプルされた画像ｉ（ｍ，ｎ）の画素数値等のいくつかの項目の関数である。
【００２７】
σk（ｉ（ｍ，ｎ））の数値は、次のように表される。
【式３】
0004460839.tif 000004
ここで、
Ｒは画像サブサンプラ２２によって使用されるサブサンプリングレベルの数である。好ましくは、Ｒ＝２である。
【００２８】
Ｒfは、ノイズの標準偏差を各解像度レベルで低減する比率である。相関性のないノイズの場合、Ｒf＝２である。実際のフィルムデータの場合、Ｒf＝１．７は小さな数値のＲ（Ｒ＜＝３）について大まかに修正される。
【００２９】
σcn［ｑ］は、画像色チャネルｃnに関する強度ｑにおけるノイズの標準偏差である。ノイズテーブルは、たとえば２０００年１２月２７日に公開されたギャラー他(Gallagher et al.)による欧州特許出願第１０６３６１１Ａ２号において述べられているように、この関係を表している。図３は、カラー写真のネガを走査することによって作られたデジタル画像に関する赤、緑、青の色チャネルを有する画像のノイズテーブルをプロットしたものである。ノイズテーブルは、画像ｉ（ｘ，ｙ）の解像度における各色チャネルの強度と予想されるノイズの大きさとの関係を示すことに注意する。等式（３）の項１／ＲfRは基本的に、フル解像度テーブルを画像ｉ（ｍ，ｎ）の解像度に調整するための補正係数である。
【００３０】
ＳＮＲ計算機２４は、ｉ（ｍ，ｎ）の各画素位置における信号対ノイズ比を示すマップＳＮＲ（ｍ，ｎ）を出力する。このマップは、ノイズ画素分類器２６に入力され、信号対ノイズ比マップはノイズ画素ビリーフマップに変換される。これは、画像処理業界において周知のように、ルックアップテーブル（ＬＵＴ）または一次関数を使って行われる。たとえば、ノイズ画素ビリーフマップの数値は、図４に示すように、ＳＮＲ（ｍ，ｎ）＞ｔ3のときは０、ＳＮＲ（ｍ，ｎ）＜ｔ4のときは１００、Ｇ（ｉ，ｊ）がｔ3とｔ4の間であると、０と１００の中間値となる。ノイズ画素ビリーフマップは次に、補間回路２８によって、画像ｉ（ｘ，ｙ）の解像度に合わせて補間される。
【００３１】
当業者には、ノイズマップ発生器２４にノイズ画素ビリーフマップの外観にわずかな影響しか与えない特定の変更を、比較的容易に加えることができることがわかるであろう。たとえば、等式２において輝度チャネルの局地偏差を計算する代わりに、輝度チャネルのハイパス部分の局地偏差を計算してもよい。輝度チャネルのハイパス部分における予想されるノイズレベルは、等式３で計算される量に線形に関連している。この関係は、周知の確率変数関数の原理を使い、輝度チャネルのハイパス部分を生成するのに必要なフィルタから得られる。
【００３２】
図１に戻り、画像ｉ（ｘ，ｙ）はゲインマップ発生器２に渡される。ゲインマップ発生器２の目的は、パターン認識から得られる意味ラベルに基づいて、画素ごとまたは領域ごとに鮮鋭化操作のゲインを示すマップを作ることである。ゲインマップは、画素ごとに適用される鮮鋭化レベルを決定するのに使用される制御信号である。ルオ他(Luo et al.)による２００１年１２月１０日出願のＵＳＳＮ１０／０１６，６０１は、アンシャープマスク内のゲインを画素領域の意味コンテンツに基づいて変える方法を開示している。ルオ(Luo)のビリーフマップＭ（ｍ，ｎ）は、特定の画素が、好ましい鮮鋭化レベルが決定された、肌や空といった特定の標的対象物を表すというビリーフを示す。
【００３３】
ビリーフマップは、画像の中のひとつの画素または領域が特定の標的マテリアルを表すという確立を決定する対象物検出器によって作成される。ビリーフは、好ましくは確率として表される。たとえば、各画素値Ｍ（ｍ，ｎ）は、各画素Ｍ（ｍ，ｎ）は１００*Ｐ（低解像度画像（ｍ，ｎ）は標的マテリアルを示す）に等しく、Ｐ（Ａ）は事象Ａの確率を示す。あるいは、各画素値Ｍ（ｍ，ｎ）はビリーフを示すバイナリ分類を示す。たとえば、ビリーフマップの画素値１は、その画素が標的となる対象物を表すというビリーフを示し、画素値０は、その画素が標的となる対象物を表さないというビリーフを示す。好ましい実施形態において、標的となる対象物は人の肌である。たとえば、画質の点で、人の肌を他の対象物より鮮鋭化の度合いを低くすることが有利である。制御信号β（ｘ，ｙ）は、入力画像の各画素に関すアンシャープマスクのゲインを示す。
【００３４】
図５に示すように、制御信号β（ｘ，ｙ）は、まず画像（または画像の低解像度バージョン）にひとつまたは複数の対象物検出器３２1，．．．，３２Iを適用して対象物ビリーフマップを作り、次にビリーフマップアナライザ３４がビリーフマップを各対象物に関する目標鮮鋭化レベルと組み合わせ、ゲインマップ制御信号β（ｘ，ｙ）を生成するという方法で作られる。特定の位置（ｘ，ｙ）における制御信号β（ｘ，ｙ）の数値は、対応する画像の位置における各種のビリーフマップＭ（ｘ，ｙ）の数値に関係する。ビリーフマップのサイズ（ラインと列）が画像のサイズと同じであると仮定すると、ゲインマップ制御信号β（ｘ，ｙ）とビリーフマップＭ（ｘ，ｙ）との好ましい関係は、次の等式によって与えられる。
【００３５】
【式４】
0004460839.tif 000005
ここで、ｉは、対象物検出器の指数である。たとえば、Ｍ1（ｘ，ｙ）は、人の肌のビリーフを示すビリーフマップ、Ｍ2（ｘ，ｙ）は青空のビリーフを示すビリーフマップ、Ｍ3（ｘ，ｙ）は草のビリーフを示すビリーフマップ、等である。
【００３６】
Ｉtは、関連する標的となる対象物において高いビリーフを有する画素に関する制御信号目標値である。Ｔiは、目標鮮鋭化レベルといわれる。再び上記の例を用いれば、人の肌についてはＴ1＝０．５、青空についてはＴ2＝１．０、緑の草についてはＴ3＝３．０、等となる。
【００３７】
Ｔ0は、対象物検出器によって一般に背景と考えられる画素に関する制御信号目標を示す。好ましくは、Ｔ0＝２．７５である。
【００３８】
図１に戻り、ゲインマップ発生器２によって生成されるゲインマップβ（ｘ，ｙ）は、デジタル画像ｉ（ｘ，ｙ）の特定の領域または画素に適用される鮮鋭化の量を示す制御信号である。好ましい実施形態において、ゲインマップβ（ｘ，ｙ）は、アンシャープマスク鮮鋭化アルゴリズムのゲインパラメータを示す数値によって設定(populate)される。ゲインマップの数値は、ゲインマップ発生器２がそのゲインマップを作成したときの基準に応じて、画素ごとまたは領域ごとに異なる。一般に、ゲインマップβ（ｘ，ｙ）の数値は、肌を示すビリーフが高い画素についての０．５から、空を示すビリーフが高い画素の３．０、背景画素の２．７５へと変化する。ゲインマップ発生器２は、ゲインマップを生成する際、画像のノイズコンテンツを考慮しない。
【００３９】
ノイズマップ発生器４とゲインマップ発生器２はどちらも、画像の低解像度バージョンｉ（ｘ，ｙ）について動作させ、計算費用を削減することができる。
【００４０】
ノイズマップ発生器４によるノイズマップＮ（ｘ，ｙ）とゲインマップ発生器２によるゲインマップβ（ｘ，ｙ）は、ゲインマップ修正器６に入力される。ゲインマップ修正器６の目的は、ノイズ画素ビリーフマップがその画素または領域はノイズが大きいとの高いビリーフを示す領域において、ゲインが所定の限度を超えないように、ゲインマップを修正することである。このために、ゲインマップ修正器は、ノイズの大きい画素に関する鮮鋭化の最大レベルを示すパラメータであるノイズ鮮鋭化限度Ｎslを入力する。好ましい実施形態において、ノイズ鮮鋭化限度Ｎslは、ノイズ画素ビリーフマップβ（ｘ，ｙ）におけるビリーフの高い画素に関するアンシャープマスクの最大ゲインである。好ましくは、Ｎsl＝１．３である。ノイズ鮮鋭化限度は、ノイズの大きい画素すべてについて望まれる鮮鋭化レベルというわけではない。なぜなら、ノイズ画素ビリーフマップの中でノイズが大きい画素として示された画素のいくつかは、すでにゲインマップにおいて、ノイズ鮮鋭化限度より低い鮮鋭化レベルを持っているかもしれないからである。ノイズ鮮鋭化限度は、次の２つの条件が満たされる場合にかぎり、画素のゲイン値に影響を与える。
【００４１】
Ａ．ゲインマップβ（ｘ，ｙ）における画素のゲイン値がノイズ鮮鋭化限度Ｎslより大きい。
【００４２】
Ｂ．その画素についてのその画素はノイズの大きい画素であるというビリーフがゼロではない。
【００４３】
画像ノイズを考慮する最終ゲインマップβn（ｘ，ｙ）がゲインマップ修正器６から出力される。最終ゲインマップは、上記Ａ，Ｂの要件を満たす次の等式で生成される。
【００４４】
βn(x,y)＝min[β(x,y),Nsl]+N(x,y)・(max[β(x,y),Nsl]- Nsl)    (5)
ここで、
ｍｉｎ（β（ｘ，ｙ），Ｎsl）はβ（ｘ，ｙ）と同じ数の行と列を有する画像である。この画像は、Ｎslより大きなすべての画素についてはβ（ｘ，ｙ）と同じ、それ以外はＮslと等しい。
【００４５】
ｍａｘ（β（ｘ，ｙ），Ｎsl）は、β（ｘ，ｙ）と同じ数の行と列を有する画像である。この画像は、Ｎslより小さいすべての画素についてはβ（ｘ，ｙ）と同じ、それ以外はＮslと等しい。
【００４６】
ゲインマップ修正器６によって決定される最終ゲインマップβn（ｘ，ｙ）は次に、画像鮮鋭化手段１０に入力される。本発明の好ましい実施形態において、最終ゲインマップβn（ｘ，ｙ）はアンシャープマスクのスケールファクタであるが、ゲインマップ修正器６の機能は、スケールファクタの利用に限られることなく、鮮鋭さに関する他の決定を使用することもできる。たとえば、画像鮮鋭化手段１０が実行する鮮鋭化畳み込みにおいて使用されるフィルタは、ビリーフマップの分析に基づき、ゲインマップ修正器６によって決定できる。
【００４７】
画像ｉ（ｘ，ｙ）と最終ゲインマップβn（ｘ，ｙ）は、画像鮮鋭化装置に送られ、ここで最終ゲインマップβn（ｘ，ｙ）に応じて画像の鮮鋭化が行われる。
【００４８】
画像鮮鋭化手段１０は鮮鋭化パラメータを入力し、この鮮鋭化パラメータを使って画像に鮮鋭化アルゴリズムを適用し、不快な鮮鋭さのアーチファクトを発生させることなく、鮮鋭化されたより質の高い出力画像を生成する。好ましい実施形態において、鮮鋭化手段１０は、以下の等式で説明されるように、最終ゲインマップβn（ｘ，ｙ）を使って画像にアンシャープマスキングアルゴリズムを適用し、改善された画像を生成する。たとえば、アンシャープマスクを使用した画像の鮮鋭化は、次の式で説明できる。
【００４９】
s(x,y)＝i(x,y)**b(m,n)+βn(x,y)f(i(x,y)-i(x,y)**b(m,n))    (6)
ここで、
ｓ（ｘ，ｙ）＝鮮鋭化された出力画像
ｉ（ｘ，ｙ）＝原入力画像
ｂ（ｍ，ｎ）＝ローパス畳み込みフィルタ（好ましくは、標準偏差あたり１画素サイズのガウシアンローパスフィルタ。５ｘ５フィルタのフィルタ係数は次のとおり
［０．００３  ０．０１３３  ０．０２１９  ０．０１３３  ０．００３
０．０１３３  ０．０５９６  ０．０９８３  ０．０５９６  ０．０１３３
０．０１９  ０．０９８３  ０．１６２  ０．０９８３  ０．０２１９
０．０１３３  ０．０５９６  ０．０９８３  ０．０５９６  ０．０１３３
０．００３  ０．０１３３  ０．０２１９  ０．０１３３  ０．００３］）。
βn（ｘ，ｙ）＝最終ゲインマップ
ｆ（ｘ，ｙ）＝フリンジ関数
**は、二次元畳み込みを示す。
（ｘ，ｙ）は、画像のｘ番目の行、ｙ番目の列を示す。
（ｍ，ｎ）は、畳み込みフィルタの番目の行、ｎ番目の列を示す。
【００５０】
当業者は、複数のチャネルを有するカラー画像にアンシャープマスキング（等式（１）で示すもの等）を適用するにはいくつかの方法があることがわかるであろう。たとえば、アンシャープマスクプロセスを、カラー画像の各チャネルに適用できる。好ましくは、アンシャープマスクプロセスは、次のように適用する。
【００５１】
入力画像が赤、緑、青の色チャネルで構成されるカラー画像であるとすると、まず画像にマトリクスを適用し、輝度チャネルと２つまたはそれ以上の色差チャネルを作る。次に、アンシャープマスクプロセスを輝度チャネルに適用する。最後に、逆マトリクスを輝度および色差チャネルに適用し、赤、緑、青のチャネルを有する改善されたカラー画像を得る。
【００５２】
あるいは、アンシャープマスクプロセスは、ひとつの画像チャネルだけ（たとえば緑チャネル）に適用し、修正されたハイパスデータを各色チャネルと加算し、改善されたカラー画像を得ることもできる。アンシャープマスクプロセスに対する上記およびそれ以外の同様な変更や改善は、当業者にとって十分に理解できる。その使用の具体的事柄は基本的に、可変ゲイン鮮鋭化のための鮮鋭化パラメータを選択する方法には関係がないため、特定の使用態様が本発明の範囲を限定することにはならない。
【００５３】
等式（６）と本発明は、アンシャープマスクによって行われる画像に対する鮮鋭化を一般的に説明しているが、当業者であれば必ずしもこれに限られないことを認識できるであろう。等式（６）のフリンジ関数ｆ（）が恒等式であるとすると、アンシャープマスクプロセスは、画像に畳み込みとともに適用し、アンシャープマスクと同じ結果を生むことのできる単独フィルタとして構成しなおすことができる。たとえば、ｂ（ｘ，ｙ）のフィルタ係数を次のように仮定する。
【００５４】
【式５】
0004460839.tif 000006
次のように与えられる係数を有する畳み込みフィルタｃ（ｘ，ｙ）を使用すると、
【式６】
0004460839.tif 000007
等式（１）のアンシャープマスクにおいてフィルタｂ（ｘ，ｙ）を使った場合と同じ結果が得られる。代数およびデジタル信号処理において周知の方法で決定されるように、画像鮮鋭化手段１０における動作をグループ分けすることによって好ましい実施形態を変更することは、当業者にとって自明であり、本発明の範囲に含まれる。いずれの場合も、フィルタの係数は位置（ｘ，ｙ）周辺の画素値とは関係がない。
【図面の簡単な説明】
【図１】  本発明の第一の実施形態による画像を改善する技術を示すブロック図である。
【図２】  ノイズマップ発生器４のブロック図である。
【図３】  サンプルノイズテーブルを示すグラフである。
【図４】  ＳＮＲ（ｍ，ｎ）画像からノイズ画素ビリーフマップＮ（ｍ，ｎ）に変換するために使用するルックアップテーブルのプロットである。
【図５】  図１に示すゲインマップ発生器のブロック図である。
【符号の説明】
２  ゲインマップ発生器、４  ノイズマップ発生器、６  ゲインマップ修正器、１０  画像鮮鋭化手段、２２  イメージサブサンプラ、２４  ＳＮＲ計算機、２６  ノイズ画素分類器、２８  画像補間回路、３２  対象物検出器、３４  ビリーフマップアナライザ。
【図１】
0004460839.tif 000008
【図２】
0004460839.tif 000009
【図３】
0004460839.tif 000010
【図４】
0004460839.tif 000011
【図５】
0004460839.tif 000012