(57)【要約】【課題】　鮮鋭化の量を調整し、Ｄｍｉｎノイズの増幅を回避する、改善された画像鮮鋭化法を提供する。【解決手段】　画像画素値を有するデジタル画像を先鋭化する方法であり、以下のステップを有する。デジタル画像を生成したシステムにとって可能な最小露光に対応した値を示している、Ｄｍｉｎ値を決定するステップ、デジタル画像内の各画素値に対し、画素値とＤｍｉｎ値との差に従い、Ｄｍｉｎ値により近い値を有する画素値には、より小さなゲイン係数が与えられるように、ゲイン係数を付与するステップ、および、ゲイン係数を用いてデジタル画像を鮮鋭化するステップである。【選択図】図１
2004120741.tif 000002
【特許請求の範囲】
【請求項１】
　画素値を有するデジタル画像を鮮鋭化する方法であって、
　ａ）該デジタル画像を作成したシステムの最小可能露光に対応する値を表しているＤｍｉｎ値を決定するステップ、
　ｂ）該Ｄｍｉｎ値と該画素値との差に依存して、Ｄｍｉｎにより近い画素値がより小さなゲイン係数を有するように、該デジタル画像の各画素値に対して該ゲイン係数を与えるステップ、および、
　ｃ）該ゲイン係数を用いて該デジタル画像を鮮鋭化するステップを有する、画素値を有するデジタル画像を鮮鋭化する方法。
【請求項２】
　さらに、
　ａ）前記デジタル画像に対し１以上の画像変換を有する画像処理経路を適用し、レンダリングされたデジタル画像を作成するステップ、および、
　ｂ）前記ゲイン係数を用いて該レンダリングされたデジタル画像を鮮鋭化するステップを有する、請求項１に記載のデジタル画像を鮮鋭化する方法。
【請求項３】
　さらに、
　ａ）オリジナルデジタル画像に対し１以上の画像変換を有する画像処理経路を適用し、レンダリングされたデジタル画像を作成するステップ、
　ｂ）該画像処理経路を前記ゲイン係数に適用してレンダリングされたゲイン係数を得るステップ、および、
　ｃ）該レンダリングされたゲイン係数を用いて該レンダリングされたデジタル画像を鮮鋭化するステップを有する、請求項１に記載のデジタル画像を鮮鋭化する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は一般にデジタル画像処理分野に関し、特に、画像鮮鋭化の方法に関する。
【背景技術】
【０００２】
　デジタル画像処理においては、鮮鋭化アルゴリズムを用いた画像の鮮鋭化および微細な詳細の質的向上が一般的である。一般に、鮮鋭化はコンボリューション処理によって実施される（例えば、非特許文献１参照。）。ぼけマスク(unsharp mask)は、コンボリューションを基にした鮮鋭化処理の例である。例えば、ぼけマスクを用いた画像鮮鋭化は以下のような数式で表される。
s(x,y) = i(x,y)**b(x,y)+βf( i(x,y)-i(x,y)**b(x,y) )            （０）
ここで、
s(x,y) = 鮮鋭さが向上された出力画像
i(x,y) = オリジナル入力画像
b(x,y) = ローパスフィルタ
β = ぼけマスクゲイン係数
f() = フリンジ関数
** ２次元コンボリューション
(x,y) 第ｘ行、第ｙ列の画像
である。
一般に、ぼけ画像(unsharp image)は、画像とローパスフィルタとのコンボリューションによって生成される（つまり、ぼけ画像は i(x,y)**b(x,y) によって与えられる。）。次に、ハイパス、または、フリンジデータはオリジナル画像からぼけ画像を差し引くことで生成される（つまり、ハイパスデータは i(x,y)-i(x,y)**b(x,y) により得られる。）。そして、このハイパスデータは、ゲイン係数βもしくはフリンジ関数f()のいずれか、または、その両方によって修正される。最終的に、その修正されたハイパスデータはオリジナル画像またはぼけ画像のいずれかと合計されて、鮮鋭化画像が生成される。
【０００３】
　類似の鮮鋭化効果を、周波数領域（例えば、ＦＦＴ領域）において画像を修正することで達成可能であるが、これはデジタル信号処理分野においては広く知られたことである。
【０００４】
　画像鮮鋭化に関連する問題の１つに、ノイズ増幅がある。フィルム由来のデジタル画像を鮮鋭化する場合には、ノイズ増幅は特別な問題となりうる。特に、本来は僅かしか、または、一切の光が露光されていないフィルム上の画像領域（Ｄｍｉｎとも称する）は、画像を鮮鋭化した場合、かなりノイジーになりうる。
【０００５】
　カーランダ(Curlander)は、ローパス信号値、ローカルコントラスト、または、ハイパス信号値からハイパスゲイン係数を決定する、デジタル画像の鮮鋭化法を記している（非特許文献２）。しかし、カーランダは画像のＤｍｉｎノイズの増幅を最小限にとどめるような、レンダリング画像の鮮鋭化法については言及していない。
【０００６】
　写真ネガに関し、露光されていないフィルム領域はＤｍｉｎと呼ばれる最小濃度を有する。Ｄｍｉｎはまた、マスクまたはベース濃度とも称される。一般に、露光アンダーの画像は、Ｄｍｉｎを含んだ画像領域を有する。画像品質を向上させる目的でデジタル画像を処理する際に、Ｄｍｉｎ値を使用することはよくあることである。例えば、１９９２年１月１４日にテラシタに交付された米国特許第５，０８１，４８５号にはマスク濃度を用いて画像に対する露光評価を改善する方法が開示されている（特許文献１）。この目的のため、マスク濃度が平均濃度から差し引かれる。これにより、異なるカラーネガ間の変動性が低減されて、決定されたカラーバランスのロバスト性が向上される。しかし、テラシタの方法は、画像センシング装置が僅かしか、または、一切の光露光を受け取らない領域に、ノイズの鮮鋭化を減ずる目的で特別な処理を施すことは実施していない。
【０００７】
　時には、画像の異なる領域または画素を異なる量だけ鮮鋭化する必要性もある。例えば、人の顔を示す画素は、建物を示す画素よりも少なめに鮮鋭化することが望ましいという提案がなされている。例えば、グーチら(Gouch et al.)に１９９７年１０月２８日に交付された米国特許第５，６８２，４４３号は、画素の色（および、近くの周囲の色）に基づいてぼけマスクのゲインを修正することを開示している（特許文献２）。グーチは画像の鮮鋭化に伴うＤｍｉｎ領域の望ましくないノイズ増幅については考慮していない。
【０００８】
　代わって、マムーディら(Mahmoodi et al.)に１９８６年２月１８日に交付された米国特許第４，５７１，６３５号は、近傍に含まれる画像画素の標準偏差にしたがってデジタル画像の高周波情報を測るのに用いるゲイン係数βの導出方法が開示されている（特許文献３）。加えて、クォンら(Kwon et al.)に１９９２年１月１４日に交付された米国特許第５，０８１，６９２号は、ゲイン係数βは中央重み付け分散の計算(center weighted variance calculation)に基づくことを開示している（特許文献４）。デニソンら(Denison et al.)に１９８８年８月２日に交付された米国特許第４，７６１，８１９号は、ぼけマスクのゲイン係数を局所的分散の計算およびノイズの統計の両方に従属させた方法を開示している（特許文献５）。これらの方法は確かに画像を鮮鋭化し、ノイズの増幅も最小限に抑えようと試みられているが、計算が複雑である。さらには、これら方法は明示的に画像のＤｍｉｎ領域を考慮しておらず、よって、幾らかのＤｍｉｎノイズが増幅されている。
【０００９】
　シマザキ(Shimazaki)に１９９１年９月２４日に交付された米国特許第５，０５１，８４２号は、画像からぼけ信号(unsharp signals)を生成し、所定の参照表からぼけ信号レベルもしくは画像信号レベルのいずれかに基づいた２つのパラメータを導出し、一方のパラメータと画像信号を掛け合わせ、他方のパラメータとぼけ信号とを掛け合わせ、そして、２つの得られた信号を足して最終的画像信号を得る装置を開示している（特許文献６）。ある実施形態においては、全ての画像信号レベルに対し、２つのパラメータの加算値が１と等しくなることが必要である。この場合、この方法はぼけマスクの式と数学的に等価である。シマザキによれば、２つのパラメータとは、鮮鋭化の度合いが最も高い場合の画像のハイライトを表している信号に従属する信号である。２つのパラメータは鮮鋭化レベルがゼロになるまで画像信号またはぼけ信号のいずれかを減少させながら、鮮鋭化が減少するように選択される。この時、画像信号またはぼけ信号が減少を続けて濃度範囲のシャドウ領域まで減少すると、鮮鋭化はぼかし(blurring)に変換される。シマザキの装置はＤｍｉｎ濃度レベルを陽的には評価していないことで、損をしている。
【００１０】
　ガラガーら(Gallagher et al.)に２０００年１２月２６日に交付された米国特許第６，１６７，１６５号は、局所的強度レベルに基づいてぼけマスクのゲインを選択する方法を開示している（特許文献７）。この方法は、局所的強度に従属したぼけマスクゲインを示しているが、Ｄｍｉｎノイズを低減する(de-emphasize)方法での鮮鋭化を開示しているものではない。
【００１１】
　ケイスら(Keyes et al.)に２０００年７月１８日に交付された米国特許第６，０９１，８６１号（特許文献８）、および、マタマ(Matama)に２００２年５月７日に交付された米国特許第６，３８４，９３７号（特許文献９）は共に、画像の露光に基づいた、一定の、位置に依存しないゲイン係数を選択する方法を開示している。露出アンダーの画像には、低いゲイン係数が選択され、よって通常の露光がなされた画像と比べてより少ないゲインがそのような画像に対して与えられる。これら方法は、露出アンダー（またはＤｍｉｎ）の領域および通常の露光がなされた領域を共に有するような風景を処理するには不十分である。画像全体に対して単一のゲイン係数が選択されるので、露出アンダーの領域または通常の露光がなされた領域のいずれかは、最適値に達していないゲイン係数で鮮鋭化が実施される。
【００１２】
　さらに、複雑化した鮮鋭化によって増幅されるＤｍｉｎノイズの問題が、レンダリングされた画像を鮮鋭化するための画像化システムによく現われている。入力画像濃度から出力メディアにおける出力メディア濃度へのレンダリングまたはマッピングはデジタル画像化および光学的画像化の両方で起こっており、また、このことは当業者には周知である。ブーアら(Buhr et al.)に２０００年８月１日に交付された米国特許第６，０９７，４７０号は、画像レンダリングについて開示している（特許文献１０）。フィルムのＤｍｉｎに対応している、レンダリングされたデジタル画像の領域を決定することは困難である。なぜならば、レンダリングされたデジタル画像の黒い部分は、フィルムのＤｍｉｎ部分に起因するものでもあり得、また、フィルムの通常の露光がなされた部分に起因するものでもあり得るからである。よって、レンダリングされた画像を鮮鋭化する場合には、Ｄｍｉｎノイズの増幅を避けることは難しい。２００２年９月１０日出願の特許出願第２００２−２６３５８２号（特許文献１１）は、レンダリングされた画像における、Ｄｍｉｎの伝播値を決定する方法を開示しているが、レンダリングされた画像の鮮鋭化を助ける目的でＤｍｉｎの伝播値を使用することについては書かれていない。加えて、これまでに述べた鮮鋭化方法は、どれ１つとしてレンダリング画像を、Ｄｍｉｎノイズが増幅されないようにして鮮鋭化することについて記述していない。
【特許文献１】米国特許第５，０８１，４８５号明細書
【特許文献２】米国特許第５，６８２，４４３号明細書
【特許文献３】米国特許第４，５７１，６３５号明細書
【特許文献４】米国特許第５，０８１，６９２号明細書
【特許文献５】米国特許第４，７６１，８１９号明細書
【特許文献６】米国特許第５，０５１，８４２号明細書
【特許文献７】米国特許第６，１６７，１６５号明細書
【特許文献８】米国特許第６，０９１，８６１号明細書
【特許文献９】米国特許第６，３８４，９３７号明細書
【特許文献１０】米国特許第６，０９７，４７０号明細書
【特許文献１１】特開２００３−２０３２３１号公報
【非特許文献１】Ａ．Ｋ．Ｊａｉｎ著、Fundamentals of Digital Image Processing, Prentice-Hall: 1989, pp.249-251
【非特許文献２】Curlander, "Image Enhancement Using Digital Adaptive Filtering" マサチューセッツ工科大学　修士論文　1977, p.30-34, 48-49, 63, 72-73, 93-94
【発明の開示】
【発明が解決しようとする課題】
【００１３】
　従い、鮮鋭化の量を調整し、Ｄｍｉｎノイズの増幅を回避する、改善された画像鮮鋭化法に対する必要性が存在している。
【課題を解決するための手段】
【００１４】
　その必要性は、本発明により以下のステップを有する画像画素値を有するデジタル画像の鮮鋭化法を提供することにより満たされる。本方法は、デジタル画像を生成したシステムにとって可能な最小露光に対応した値を示している、Ｄｍｉｎ値を決定するステップ、デジタル画像内の各画素値に対し、画素値とＤｍｉｎ値との差に従い、Ｄｍｉｎ値により近い値を有する画素値には、より小さなゲイン係数が与えられるように、ゲイン係数を付与するステップ、および、ゲイン係数を用いてデジタル画像を鮮鋭化するステップを有する。
【発明の効果】
【００１５】
　本発明は、僅かしか、または、一切の露光を受けていない（Ｄｍｉｎとも称される）フィルムの部分に関連したノイズが増幅されることなく、より鮮鋭な画像を生成するという利点を有している。
【発明を実施するための最良の形態】
【００１６】
　以下の記述にて、本発明の実施形態を、ソフトウェアプログラムとして実施する方法として説明する。当業者であれば、このようなソフトウェアプログラムの同等物をハードウェアで構成することもできることは容易に理解するであろう。なぜならば、画像エンハンスメントのアルゴリズムおよび方法はよく知られたものであり、本説明は特に、本発明による方法およびシステムの部分を構成する要素、または、さらに直接的に協働する要素を対象としている。他の要素、ならびに、特に図示および説明の無い、画像信号を生成または処理するための、ハードウェアおよび／もしくはソフトウェアは、当業界において周知の材料、構成体、要素より選択してよい。本発明に係る、以下に図示および説明されたシステムおよび方法であるならば、本発明の実施に有用であり、特に図示、説明、もしくは提示されない材料、ソフトウェアは従来的なものであり、当業界の通常の技能の範囲内である。
【００１７】
　さらには、本発明において使用されるように、コンピュータプログラムは、例えば、（ハードドライブもしくはフロッピィーディスクのような）磁気ディスク、もしくは、磁気テープといった磁気記憶メディア、または、光学的ディスク、光学的テープ、もしくは、機械的に読み取り可能なバーコードといった光学的記憶メディア、または、ランダムアクセスメモリ（ＲＡＭ）もしくはリードオンリーメモリ（ＲＯＭ）といった固体電子記憶装置、または、その他のコンピュータプログラムを記憶することに用いられる物理的装置もしくは媒体を含んだ、コンピュータが読み取り可能な記憶媒体に記録してもよい。
【００１８】
　デジタル画像は一般に、１以上の２次元的な数字のアレイを有する。例えば、カラーのデジタル画像は、赤、緑、および、青色の画素値をそれぞれ表している３つのアレイを有してもよく、また、モノクロ画像は光の強度に対応した画素値のアレイを１つ有してもよい。用語に関し、デジタル画像の第ｘ行、第ｙ列を指している、座標系（ｘ、ｙ）に位置しているデジタル画像の画素値は、ここでは、３つの値［r(x,y),g(x,y),b(x,y)］を有するべきであって、これらの値はそれぞれ、(x,y)における、赤、緑、および、青色のデジタル画像チャンネルの値を指している。これに関し、デジタル画像は、所定の数のデジタル画像チャンネルを有すると考えてもよい。赤、緑、および、青色の２次元配列を有するデジタル画像の場合、画像は３つのチャンネル、つまり、赤、緑、および、青色スペクトルのチャンネルを有している。
【００１９】
　一般には、本発明は画像を鮮鋭化する方法を開示しており、本方法においては、（画像における、あらゆる局所領域に対して適用される）鮮鋭化の程度は、ソース画像信号のノイズ特性に依存するものである。とくに、本発明はフィルムソースから得たデジタル画像に対して有用である。本発明は、確実に、ソース画像におけるＤｍｉｎ近傍領域の画像の鮮鋭化の程度を軽減しており、よって、ノイズの視認度を低下させている。
【００２０】
　図１を参照すれば、パラメータがＬＵＴ生成器４に入力され、ＬＵＴ（参照表）βＬＵＴ［］を生成する。βＬＵＴ［］は鮮鋭化ゲイン係数βとデジタル画像の強度との関係性を定義している。当業者であれば当然理解することだが、ＬＵＴ生成器４の出力は、ＬＵＴよりも簡単な数学的関数として表現可能である。ＬＵＴ生成法は以下のように表される。
【００２１】
　ＬＵＴ生成器４は好ましくは、以下の式（１）を用いてゲインＬＵＴを生成する。
（ｘ＜Ｘｍｉｎならば）          βＬＵＴ［ｘ］＝Ｙｍｉｎ                 （１）
（ｘ＞Ｘｍａｘならば）          βＬＵＴ［ｘ］＝Ｙｍａｘ
（Ｘｍｉｎ≦ｘ≦Ｘｍａｘならば）  βＬＵＴ［ｘ］＝Ｙｍｉｎ＋
（Ｙｍａｘ−Ｙｍｉｎ）＊（０．５＋０．５＊
sin((ｘ−Ｘｍｉｎ)/(Ｘｍａｘ−Ｘｍｉｎ)π−π/２)
ここで、ＸｍｉｎはＤｍｉｎ値に設定される。Ｄｍｉｎは、デジタル画像を生成したシステムに関する、最小可能露光(minimum possible exposure)に対応した値を表している。Ｄｍｉｎは、参照暗風景(reference dark scene)（例えば、レンズキャップを取らないでカメラで露光させること）を撮影し、かつ、参照暗露光(reference dark exposure)から得たデジタル値を平均化するシステムを用いて決定可能である。平均化されるその理由は、画素値にはノイズが含まれることがあり、画素値が実際のＤｍｉｎから僅かに上下するからである。平均化により、ノイズに起因する変動は除去される。
【００２２】
　Ｘｍａｘはユーザが選択可能なパラメータであり、鮮鋭化のゲイン係数が常に最大ゲイン係数Ｙｍａｘである画素値を表している。
【００２３】
　Ｙｍｉｎはユーザが選択可能なパラメータであり、最小ゲイン係数（つまり、画像のＤｍｉｎ領域に対するゲイン係数）を表している。
【００２４】
　Ｙｍａｘはユーザが選択可能なパラメータであり、最大ゲイン係数を表している。
【００２５】
　Ｘｍａｘ、Ｙｍｉｎ、および、Ｙｍａｘの値は、処理、印刷、および、印刷物の観察によりこれらパラメータの最適値を決定することにより、経験的に得られる。
【００２６】
　図２は、例示的にＸｍｉｎ＝２７９、Ｘｍａｘ＝５７９、Ｙｍｉｎ＝１．０、および、Ｙｍａｘ＝３．０なる値としたβＬＵＴ［ｘ］のプロットである。当業者であれば、Ｄｍｉｎの近傍においてはβＬＵＴ［ｘ］の値をさらに低くし、Ｄｍｉｎノイズの過剰な増幅がないことを確実にし、その他の場所ではより高い値をもたらすような、数多くの類似の関数を構築することが可能である。図２に示すように、βＬＵＴ［ｘ］に代表される関数はＤｍｉｎ値（Ｘｍｉｎ）から所定の画素値（Ｘｍａｘ）までは、画素値の単調増加関数であり、所定の画素値を超えると、画素値に対して一定になる。
【００２７】
　再度図１を参照すれば、ｘ０行、ｙ０列を有するi(x,y)なるオリジナル画像２は、ＬＵＴ生成器４によって生成されるゲインＬＵＴ、βＬＵＴ［］による画像鮮鋭化のために、画像鮮鋭器６に入力される。好ましくは、画像i(x,y)は、例えばｘ０＝１０２４行の画素およびｙ０＝１５３６列の画素を有する高解像度画像のような、高解像度を有する。オリジナル画像は写真フィルム画像のデジタイズされたバージョンであっても、または、電子的カメラで撮影されたデジタル画像であってもよい。鮮鋭器６はオリジナル画像２を受け取り、鮮鋭化された画像２２を出力する。画像鮮鋭器６における操作は次式（２）により記述される。
s(x,y) = i(x,y)**b(x,y)+β(x,y)f(i(x,y)-i(x,y)**b(x,y))       （２）
ここで、
s(x,y) = Ｄｍｉｎノイズを増幅せずに鮮鋭さが向上された出力画像
i(x,y) = オリジナル入力画像
b(x,y) = ローパスフィルタ
β(x,y) = 位置(x,y)におけるぼけマスクゲイン係数。第１の実施形態においては、好ましくはゲイン係数はβ(x,y) = βＬＵＴ[i(x,y)**b(x,y)]により決定される。ここで、βＬＵＴ[]はゲイン係数の参照表である。
f() = フリンジ関数
i(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称される）
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。
【００２８】
　好ましくは、ローパスフィルタはガウシアンローパスフィルタである。このガウシアンフィルタは２次元的であり、循環的対称性(circularly symmetric)を有するローパスフィルタであり、そのフィルタ係数は、当業界において周知の如く、次式より導出される。
【数１】
2004120741.tif 000003
ここで、
b(i,j) = (i,j)番目の画素におけるガウシアンフィルタ係数
σ = ガウシアンフィルタの標準偏差
π = 定数、およそ3.14159265...
好ましくは、ガウシアンフィルタは、σ＝１として構成される、５×５の画素フィルタであって、フィルタの係数は以下のとおりである。
[ 0.003   0.0133  0.0219  0.0133  0.003
0.0133  0.0596  0.0983  0.0596  0.0133
0.0219  0.0983  0.162   0.0983  0.0219
0.0133  0.0596  0.0983  0.0596  0.0133
0.003   0.0133  0.0219  0.0133  0.003  ]
【００２９】
　デジタル画像における各画素値に対するゲイン係数β（ｘ、ｙ）は、画素値とＤｍｉｎ値との差異に依存しており、それはＤｍｉｎ値に近い画素値が小さなゲイン係数を有する。ゲイン係数は以下のようにしてデジタル画像を鮮鋭化するのに用いられる。
【００３０】
　ぼけ画像は、画像とローパスフィルタのコンボリューションにより生成される（つまり、ぼけ画像はi(x,y)**b(x,y)により与えられる。）。次に、ハイパス、または、フリンジデータは、オリジナル画像からぼけ画像を差し引くことにより生成される（つまり、ハイパスデータはi(x,y)- i(x,y)**b(x,y)により与えられる。）。それから、このハイパスデータは、信号に従属しているゲイン係数β(x,y)および場合によってはフリンジ関数f()によって修正される。好適な実施形態においては、フリンジ関数は恒等であり、省略しても影響はない。ゲイン係数β(x,y)はオリジナルぼけ画像の値に依存している。記載の実施形態においては、ゲイン係数はぼけ画像に従属しているが、画像処理に技能を有する者であれば、ゲイン係数β(x,y)は、オリジナル画像、または、類似の効果を生ずる別のローパスフィルタにより作成されたぼけ画像に従属することも可能であると解することは容易であろう。最後に、修正されたハイパスデータがぼけ画像に加算されて鮮鋭化画像が生成される。（当業者であれば、このことは、ゲイン係数を適当に修正して、修正されたハイパスデータをオリジナル画像に加算することと等価であると解することは容易であろう。）
【００３１】
　デジタル画像の各チャンネルは、鮮鋭化器６によって処理されてよい。この場合、ＬＵＴ生成器４で用いられるパラメータＸｍｉｎおよびＸｍａｘはしかるべく調整されることが望ましい。なぜならば、標準的民生用フィルムは一般に、各カラーチャンネルごとに異なるＤｍｉｎ値を有するからである（青色チャンネルのＤｍｉｎは一般に緑色チャンネルのＤｍｉｎよりも高く、緑色チャンネルのＤｍｉｎは一般に赤色チャンネルのＤｍｉｎよりも高い。）。好ましくは、各カラーチャンネルは独立的に取り扱われる。
【００３２】
　代わりに、時には、画像全体にわたり、各画素位置(x,y)においてカラーチャンネル間でゲイン係数を固定することが望まれるかもしれない。このことは平均値、中央値、最小値、または、各画素位置における所定ゲイン係数のその他の結合により実現可能である。
【００３３】
　別の代替として、輝度チャンネルを、当業界において周知の如く、画像のカラーチャンネルの線形結合により作成する。そして、この信号チャンネルを、鮮鋭化された出力画像を生成するために鮮鋭器６に入力する。輝度チャンネルl(x,y)は画像の全てのカラーチャンネルの線形結合により生成される。例えば、
【数２】
2004120741.tif 000004
ここで、
Ｃは画像のチャンネル数、
ｃｎは画像i(x,y)のｎ番目のカラーチャンネル、
ａｎはｎ番目のカラーチャンネルに対する係数重み付け係数である。係数重み付け係数全ての合計は１．０であることが好ましい。
【００３４】
　画像i(x,y)が赤、緑、および、青色チャンネルを有する場合、赤、緑、および、青色係数重み付け係数に対する好適な値は全て等しく１/３である。入力画像は赤、緑、および、青色カラーチャンネルを有するカラー画像であると仮定すれば、マトリックスは先ず、輝度チャンネルおよび２以上の色差チャンネルを生成するために画像に適用される。次に、ぼけマスク処理が輝度チャンネルに、鮮鋭器６によって適用される。最後に、逆マトリックスを輝度および色差チャンネルに適用し、赤、緑、および、青色チャンネルを有する、向上されたカラー画像を生成する。
【００３５】
　本発明の第２の実施形態を図３に示す。本実施形態においては、オリジナル画像２、i(x,y)は、画像処理経路１０に従って経路付与器１４に入力される。経路付与器１４は、画像処理経路１０を用いてオリジナル画像２、i(x,y)を修正し、レンダリングされた画像１６、R(x,y)を生成する。オリジナル画像２、フィルムのデジタル変換体は、ＣＲＴモニタやプリンタのような出力装置には適さない。画像処理経路付与器１４は、レンダリング画像１６、R(x,y)を生成する目的で、画像処理経路１０（一連の画像変換）に適用される。
【００３６】
　図４を参照すれば、画像処理経路１０は、１以上の画像変換２０１−Ｍを備えている。画像変換２０は、入力画像を受け入れ、場合によっては、パラメータを制御し、また、再現可能な方法で出力画像を生成する操作である。図５を参照すれば、画像処理経路１０の例が示されている。この例示的な画像処理経路１０は、写真ネガをデジタルスキャンした入力画像から、写真プリントのレンダリング画像を生成するようデザインされた画像変換２０ｍを有する。このような画像処理経路１０の例は、共に２０００年８月１日にブーアら(Buhr et al.)に交付された米国特許第６，０９７，４７０号および同第６，０９７，４７１号に開示されている。画像処理経路１０には、画像化装置の応答の非線形性を補償するために用いられる画像化装置応答線形化器４２を備えている。写真フィルムの応答の非線形性を補正する方法を、デジタル画像がフィルム起源であれば実施してよい。そのような方法は、１９９２年７月２８日にグッドウィン(Goodwin)に交付された米国特許第５，１３４，５７３号に開示されている。画像処理経路１０には、画像にシーンバランスアルゴリズムを適用する、バランス付与器４４も含まれている。画像のバランシングは、しばしばシーンバランスアルゴリズム（ＳＢＡ）、または、自動露光決定アルゴリズム（これらは高速光学的プリンタまたはフォトＣＤスキャナで使用されている。例えば、コック(Cok)に１９９０年７月３１日に付与された米国特許第４，９４５，４０６号を参照。）により実施される。また、画像処理経路は、画像の色調の決定および修正に用いられるコントラスト調整器４６を含んでいる。画像のコントラストは自動化アルゴリズムによって評価されてよい。さらに、デジタル画像のコントラストも同様に、好適なコントラストレベルに修正されてよい。画像のコントラストを評価し、画像のコントラストを調整する手段を提供するアルゴリズムの例は、リーら(Lee et al.)に１９９８年１０月１３日に交付された米国特許第５，８２２，４５３号に開示されている。最後に、画像処理経路１０は、ブーアら(Buhr et al.)に２０００年８月１日に交付された米国特許第６，０９７，４７０号に開示されているようなレンダラ４８を含んでいる。デジタルの、または、光学的な、画像の、十分な正確さを有するレンダリングは（１−、３−、または、多−次元的な）ＬＵＴで表現可能である。例えば、図６に画像の画素値と８ビットプリンタのコード値とを関連付けるＬＵＴのグラフを示す。当業者であれば当然理解することだが、数多くの出力画像測量基準をレンダリング空間として使用してよい（例えば、ｓＲＧＢはコンピュータモニタ上で画像を鑑賞するのに一般的である。）。
【００３７】
　再度図３を参照すれば、ＬＵＴ生成器４は、先に説明したＬＵＴ生成器４と同一である。ゲイン決定器８はオリジナル画像２、i(x,y)、および、ＬＵＴ生成器４からのゲインＬＵＴ出力を受け取る。ゲイン決定器８は、画像の各画素位置(x,y)に対し、適切なゲイン係数β(x,y)を決定、および、出力する。ゲイン係数は、単にオリジナル画像の画素値を表中から検索を行うことで得られる。
β(x,y) = βＬＵＴ[i(x,y)]                    （５）
【００３８】
　ゲイン決定器８は、好ましくは表の検索を行う前にオリジナル画像において（ローパスフィルタb(x,y)または別のローパスフィルタのいずれかを用いて）ぼかし操作を行う。
【００３９】
　そして、鮮鋭器１２はレンダリング画像R(x,y)、および、ゲイン決定器８からゲイン係数β(x,y)を受け取り、鮮鋭化されたレンダリング画像１８を出力する。
【００４０】
　本実施形態は、オリジナル画像i(x,y)を用いて適切なゲイン係数β(x,y)をしており、オリジナルフィルムのＤｍｉｎとの関係性が単純ではないような画素値を有するレンダリング画像R(x,y)を（不必要なノイズの増幅を回避する目的で他の領域よりも少なめにＤｍｉｎ領域を）鮮鋭化することを可能にしている。
【００４１】
　よって、図３に示す第２の実施形態の鮮鋭器１２の操作は、以下の式で表現可能である。
s(x,y) = R(x,y)**b(x,y)+β(x,y) f(R(x,y)-R(x,y)**b(x,y))      （６）
ここで、
s(x,y) = Ｄｍｉｎノイズを増幅させずに、鮮鋭さが向上された出力画像
R(x,y) = レンダリングされたデジタル画像１６
b(x,y) = （上記の）ローパスフィルタ
β(x,y) = 位置(x,y)に対するぼけマスクゲイン係数。第２実施形態においては、好ましくはゲイン係数は β(x,y) = βＬＵＴ[i(x,y)**b(x,y)] より得る。ここで、βＬＵＴ[]はゲイン係数の参照表であり、i(x,y)はオリジナル画像２である。
f() = フリンジ関数
R(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称する。）
R(x,y)-R(x,y)**b(x,y) = ハイパス画像
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。
【００４２】
　先の実施形態は、Ｄｍｉｎノイズを過度に増幅することなく、レンダリング画像を鮮鋭化可能であるという優位性を有する。しかし、本方法はオリジナル画像とレンダリング画像とが同時に共存しなければならいという要請を有する。幾つかのシステムにおいてこのことは不都合である。図７はＤｍｉｎノイズを過度に増幅させないでレンダリング画像を先鋭化することに適用される第３の好適な実施形態を示している。
【００４３】
　ＬＵＴ生成器４は先に説明したとおりである。そして、ゲインＬＵＴ、βＬＵＴ[]は画像処理経路１０に従ってＬＵＴ伝播器２４に入力される。ＬＵＴ伝播器２４は、ゲインＬＵＴβＬＵＴ[]を、画像処理経路１０の画像変換２０１−Ｍへ伝播させ、レンダリングデジタル画像１６、R(x,y)の画素コード値に対応するレンダリングゲイン係数を生成するためのレンダリングゲインＬＵＴ、βＲ_ＬＵＴ[]を出力する。
【００４４】
　共通のゲインＬＵＴ、βＬＵＴ[]を由来とするレンダリングゲインＬＵＴ、βＲ_ＬＵＴ[]は、画像処理経路１０の画像変換２０１−Ｍに依存してかなり異なった様相を呈することがある。バランス操作、および、それに続いて既に図５で示した色調レンダリング操作がなされる、２つの画像変換２０を有する画像処理経路を例に考察する。露出アンダーなオリジナル画像に対するバランスシフト（デジタル画像の各画素値に対する付加的オフセット）は、例えば８００である。正常に露光されたオリジナル画像に対するバランスシフトは、例えばゼロである。図８のａおよび図８のｂはそれぞれ、露出アンダーの画像および正常な露光の画像に対して得られるレンダリングゲインＬＵＴである。これらについて期待されることは、露出アンダーの画像から生成されるレンダリング画像は低いコード値において、少なく鮮鋭化されることである。しかし、正常な露光の画像から生成されるレンダリング画像は、より広範なコード値の範囲にわたって鮮鋭化可能である。なぜならば、オリジナル画像のＤｍｉｎ領域は、レンダリング画像において非常に暗い（つまり低いコード値）からである。
【００４５】
　再度図７を参照すれば、ＬＵＴ伝播器２４の動作は、ゲインＬＵＴ、βＬＵＴ[]を、オリジナルデジタル画像からレンダリングされたデジタル画像を生成するのに用いられる画像処理経路１０の各画像変換に通すことである。バランスシフトまたはＬＵＴ画像変換に通すと、
βＰ_ＬＵＴ[ｗ] = βＬＵＴ[ｖ]                   （７）
となる。ここで、
βＰ_ＬＵＴ[ｘ]は画像変換Ｔを通されたゲインＬＵＴである。
ｗ = Ｔ(ｖ)
ｖは画像変換Ｔへの入力値である。
ｗは画像変換Ｔからの出力値である。
【００４６】
　上記の如く、ゲインＬＵＴの伝播が続けられ、画像処理経路の画像変換によって、オリジナルのゲインＬＵＴからレンダリングされたゲインＬＵＴ、βＲ_ＬＵＴ[]へ、一度に一回の変換を加えながらゲインＬＵＴが伝播される。注意すべきは、伝播させる前に、幾つかの画像変換を単一の画像変換に合成することが可能ということである。さらに、ゲインＬＵＴが画像処理の連鎖の最後の画像変換を伝播した時には、レンダリングされたゲインＬＵＴ、βＲ_ＬＵＴ[]は、先ほど伝播されたゲインＬＵＴ、βＰ_ＬＵＴ[]と同等である。
【００４７】
　好適な実施形態において、ある特定の画像変換２０が伝播されるＤｍｉｎ値に与える影響は僅かしか、または、一切、無いので、伝播されるＤｍｉｎ値の計算をする際には、スキップ、または、省略してもよい。例えば、例えば赤目補正のような空間的な操作では一般に、Ｄｍｉｎ値は変更を受けないので、省略してもよい。ほかにも、さらに複雑な、オブジェクト認識のような画像変換２０も、伝播されるＤｍｉｎ値に影響を与えないので、無視してもよい。これら無視される画像変換は伝播されるＤｍｉｎ値とは無関係である。
【００４８】
　当業者ならば、ＬＵＴ伝播器２４は、特定の制御パラメータのみを画像処理経路に伝播させることも可能であって、レンダリングされたゲインＬＵＴは式（１）に類似した数式を用いて構成可能であることを解するのは容易であろう。例えば、ＸｍｉｎおよびＸｍａｘを、あたかも画像処理経路により変更を受ける画像の２つの画素の値であるかのように、画像処理経路に伝播させて、単純にＸｍｉｎおよびＸｍａｘの値に画像処理経路の画像変換を適用することが可能である。この処理の結果、ＸｍｉｎおよびＸｍａｘのレンダリングされたバージョン、ＸｍｉｎＲおよびＸｍａｘＲを得る。そして、ＬＵＴ伝播器２４は、ＸｍｉｎにＸｍｉｎＲを、ＸｍａｘにＸｍａｘＲを代入し、単純に式（１）を評価することでレンダリングされたゲインコントロールＬＵＴ、βＲ_ＬＵＴ［］を構成する。
【００４９】
　再度図７を参照すれば、オリジナル画像２、i(x,y)は、画像処理経路１０と共に経路付与器１４に入力される。経路付与器１４は画像処理経路１４を用いてオリジナル画像２、i(x,y)を修正し、上記のようにレンダリング画像１６、R(x,y)を生成する。
【００５０】
　そして、鮮鋭器１２は、レンダリング画像１６、R(x,y)、および、ＬＵＴ伝播器２４からレンダリングされたゲインＬＵＴ、βＲ_ＬＵＴ[]を入力し、鮮鋭化されたレンダリング画像１８を作成する。本実施形態は、オリジナルのフィルムのＤｍｉｎとの関係性が単純ではない画素値を有するレンダリング画像の（Ｄｍｉｎ領域の、不必要なノイズの増幅を回避するために他の領域より控えめな）鮮鋭化を可能にしている。
【００５１】
　第３の実施形態における鮮鋭器６の動作は次式で表される。
s(x,y) = R(x,y)**b(x,y)+β(x,y)f(R(x,y)-R(x,y)**b(x,y))       （８）
ここで、
s(x,y) = Ｄｍｉｎノイズを増幅せずに鮮鋭さが向上された出力画像
R(x,y) = レンダリングされたデジタル画像
b(x,y) = （上記）ローパスフィルタ
β(x,y) = 位置(x,y)におけるぼけマスクゲイン係数。第３の実施形態においては、好ましくはゲイン係数はβ(x,y) = βＲ_ＬＵＴ[R(x,y)**b(x,y)]により決定される。
f() = フリンジ関数
R(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称される）
R(x,y)-R(x,y)**b(x,y) = ハイパス画像
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。
【００５２】
　当業者であれば、（式（２）に示されるような）ぼけマスクを複数のチャンネルを有するカラー画像に適用可能な方法は幾つか存在することを承知している。例えば、ぼけマスク処理をカラー画像の各チャンネルに適用可能である。好ましくは、ぼけマスク処理は、当業界において周知の以下の方法により適用される。
【００５３】
　カラー画像が赤、緑、および、青色チャンネルを有すると仮定すれば、先ず画像にマトリックスが適用され、輝度チャンネル、および、２以上の色差チャンネルが生成される。次にぼけマスク処理は輝度チャンネルに適用される。最後に、輝度および色差チャンネルに逆マトリックスが適用され、赤、緑、および、青色チャンネルを有する、質が向上されたカラー画像が生成される。
【００５４】
　代わりに、ぼけマスク処理は単一の画像チャンネル（例えば緑色チャンネル）のみに適用してもよく、それから修正されたハイパスデータが各カラーチャンネルと合計されて質の向上されたカラー画像を生成してもよい。これらの、および、その他の、ぼけマスク処理に関する類似の変更および強化などは、当業者であればよく知るものである。これらの方法の特徴と、可変ゲイン鮮鋭化に関する鮮鋭化パラメータの選択方法とは基本的に関係がないので、これらの特定的利用によって本発明の範囲が制限されることはない。
【００５５】
　当業者であれば、式（２）および本発明は、概ねぼけマスクの処理による画像の鮮鋭化について開示しているが、必ずしもそれに限らないことを、承知するであろう。式（２）のフリンジ関数f()が恒等であると仮定すれば、ぼけマスク処理は、画像に対するコンボリューションとして利用するよりも、単一のフィルタとして再構成可能であって、ぼけマスクと同等の結果を出すことができる。例えば、b(x,y)のフィルタ係数が次式で与えられると仮定する。
【数３】
2004120741.tif 000005
次式で表される係数を有するフィルタc(x,y)とのコンボリューションにより、式（２）のぼけマスクにいてフィルタb(x,y)を使用して得られる結果と同一の結果が得られる。
【数４】
2004120741.tif 000006
代数学およびデジタル信号処理において周知の方法で規定可能な、画像鮮鋭器６における操作のグループ化による好適な実施形態にたいするこのような修正は、当業者には明白であって、本発明の範囲に含まれる。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施形態による、オリジナル画像の鮮鋭化技術を示すブロック図である。
【図２】ゲインＬＵＴ、βＬＵＴ[ｘ]のプロットである。
【図３】本発明の第２の実施形態による、レンダリングされた画像の鮮鋭化技術を示すブロック図である。
【図４】Ｍ個の画像変換を有する画像処理経路のブロック図である。
【図５】例示的画像処理経路である。
【図６】レンダリングＬＵＴのプロット例である。
【図７】本発明の第３の実施形態による、レンダリングされた画像の鮮鋭化技術を示すブロック図である。
【図８】ａおよびｂは、ゲインＬＵＴを２つのことなる画像処理経路に通すことにより作成される、レンダリングされたゲインＬＵＴ、βＲ_ＬＵＴ［ｘ］のプロットである。
【符号の説明】
【００５７】
　２　・・・　オリジナル画像　　　　　　　　　　　４　・・・　ＬＵＴ生成器
　６　・・・　鮮鋭器　　　　　　　　　　　　　　　８　・・・　ゲイン決定器
１０　・・・　画像処理経路　　　　　　　　　　　１２　・・・　鮮鋭器
１４　・・・　経路付与器　　　　　　　　　　　　１６　・・・　レンダリング画像
１８　・・・　鮮鋭化されたレンダリング画像　　　２２　・・・　鮮鋭化された画像
２４　・・・　ＬＵＴ伝播器
【図１】
2004120741.tif 000007
【図２】
2004120741.tif 000008
【図３】
2004120741.tif 000009
【図４】
2004120741.tif 000010
【図５】
2004120741.tif 000011
【図６】
2004120741.tif 000012
【図７】
2004120741.tif 000013
【図８】
2004120741.tif 000014