【手続補正書】
【提出日】平成15年10月3日(2003.10.3)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の名称】画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および
画像鮮鋭化方法
【特許請求の範囲】
【請求項１】画像をドットマトリクス状の画素で多階調表現した画像データに基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出工程と、
上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化工程と、
鮮鋭化された画像データを肘力する画像データ出力工程とを具備することを特徴とする画像鮮鋭化方法。
【請求項２】上記非鮮鋭領域検出工程では、人力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が小さい領域を非鮮鋭領域として検出することを特徴とする上記請求項１に記載の画像鮮鋭化方法。
【請求項３】上記非鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して非鮮鋭領域の検出範囲を調整することを特徴とする上記請求項２に記載の画像鮮鋭化方法。
【請求項４】上記非鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分が大きい領域を鮮鋭領域として検出するとともに、上記画像鮮鋭化工程では、同鮮鋭領域を反転させて非鮮銃領域としつつこの非鮮鋭領域をマスクとして上記原画像データを平滑化処理した上で、元の原画像データとの差に基づいて画像を鮮鋭化させることを特徴とする上記請求項１〜請求項３のいずれかに記載の画像鮮鋭化方法。
【請求項５】上記非鮮鋭領域検出工程では、上記検出された鮮鋭領域を縮小化してから反転することを特徴とする上記請求項４に記載の画像鮮鋭化方法。
【請求項６】上記非鮮鋭領域検出工程では、上記非鮮鋭領域の縁部に平滑化処理をかけることを特徴とする上記請求項１〜請求項５のいずれかに記載の画像鮮鋭化方法。
【請求項７】上記非鮮鋭領域検出工程では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用することを特徴とする上記請求項１〜請求項６のいずれかに記載の画像鮮鋭化方法。
【請求項８】上記画像鮮鋭化工程では、鮮鋭領域についても上記非鮮鋭領域よりも弱めに鮮鋭化することを特徴とする上記請求項１〜請求項７のいずれかに記載の画像鮮鋭化方法。
【請求項９】上記画像鮮鋭化工程では、鮮鋭化でざらつく色領域について鮮鋭化度合いを低減化させることを特徴とする上記請求項１〜請求項８のいずれかに記載の画像鮮鋭化方法。
【請求項１０】画像をドットマトリクス状の画素で多階調表現した画像デー夕に基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出手段と、
上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化手段と、
鮮鋭化された画像データを出力する画像データ出力手段とを具備することを特徴とする画像鮮鋭化装置。
【請求項１１】上記非鮮鋭領域検出手段では、人力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が小さい領域を非鮮鋭領域として検出することを特徴とする上記請求項１０に記載の画像鮮鋭化装置。
【請求項１２】上記非鮮鋭領域検出手段では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して非鮮鋭領域の検出範囲を調整することを特徴とする上記請求項１１に記載の画像鮮鋭化装置。
【請求項１３】上記非鮮鋭領域検出手段では、上記原画像データと上記平滑化画像データとの差分が大きい領域を鮮鋭領域として検出するとともに、上記画像鮮鋭化手段では、同鮮鋭領域を反転させて非鮮銃領域としつつこの非鮮鋭領域をマスクとして上記原画像データを平滑化処理した上で、元の原画像データとの差に基づいて画像を鮮鋭化させることを特徴とする上記請求項１０〜請求項１２のいずれかに記載の画像鮮鋭化装置。
【請求項１４】上記非鮮鋭領域検出手段では、上記検出された鮮鋭領域を縮小化してから反転することを特徴とする上記請求項１３に記載の画像鮮鋭化装置。
【請求項１５】上記非鮮鋭領域検出手段では、上記非鮮鋭領域の縁部に平滑化処理をかけることを特徴とする上記請求項１０〜請求項１４のいずれかに記載の画像鮮鋭化装置。【請求項１６】上記非鮮鋭領域検出手段では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用することを特徴とする上記請求項１０〜請求項１５のいずれかに記載の画像鮮鋭化装置。
【請求項１７】上記画像鮮鋭化手段では、鮮鋭領域についても上記非鮮鋭領域よりも弱めに鮮鋭化することを特徴とする上記請求項１０〜請求項１６のいずれかに記載の画像鮮鋭化装置。
【請求項１８】上記画像鮮鋭化手段では、鮮鋭化でざらつく色領域について鮮鋭化度合いを低減化させることを特徴とする上記請求項１０〜請求項１７のいずれかに記載の画像鮮鋭化装置。
【請求項１９】画像をドットマトリクス状の画素で多階調表現した画像データに基づいてコンピュータにて画像を鮮鋭化させる画像鮮鋭化処理プログラムを記録した媒体であって、
上記画像データに基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出ステップと、
上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化ステップと、
鮮鋭化された画像データを出力する画像データ出力ステップとをコンピュータに実行させることを特徴とする画像鮮鋭化プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を鮮鋭化させる画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法に関する。
【０００２】
【従来の技術】
コンピュータなどで画像を扱う際には、画像をドットマトリクス状の画素で表現し、各画素を階調値で表している。例えば、コンピュータの画面で水平方向に６４０ドット、垂直方向に４８０ドットの画素で写真を表示することが多い。
【０００３】
また、各画素ごとに色や明るさを表すデータを持つことになるため、このデータを変化させて画像処理することが行われている。この際、ぼけた感じの画像をシャープに見せる鮮鋭化処理も広く行われており、画像全体に対して一律に鮮鋭化処理をかけている。
【０００４】
【発明が解決しようとする課題】
上述した従来の画像鮮鋭化装置においては、画像全体に対して一律に鮮鋭化処理をかけているが、もともと鮮鋭なエッジ部分などは過度にシャープになりすぎ、生成された画像には妙に作り物の感じが強く表れてしまうという課題があった。
【０００５】
本発明は、上記課題にかんがみてなされたもので、より自然な感じで鮮鋭化させることが可能な画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法の提供を目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出工程と、
上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化工程と、
鮮鋭化された画像データを肘力する画像データ出力工程とを具備する構成としてある。【０００７】
上記のように構成した請求項１にかかる発明においては、画像をドットマトリクス状の画素で多階調表現した画像データに対して、まず、非鮮鋭領域検出工程で同画像データに基づいて元画像の非鮮鋭領域を検出し、続いて画像鮮鋭化工程で上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する。そして、鮮鋭化された画像データを画像データ出力工程で出力する。
【０００８】
すなわち、非鮮鋭領域を検出してその領域について鮮鋭化している。
画像データは、既に記憶領域に保存されている画像データを取得して対象とするものであっても良いし、カメラのように逐次入力されてくる画像データを取得して対象とするものであるなど、適宜変形可能である。
また、画像データ出力工程についても同様であり、出力先が具体的な記録媒体であるほか、メモリなどの一時的な記憶領域であるとか、ネットワークなどの通信回線を介した出力先であっても良い。
【０００９】
さらに、この画像鮮鋭化処理自体が、画像処理における複数の処理のうちの一つであってもよく、その場合には実質的には他の処理が取得した画像データに対して読み書きすることになる。
すなわち、画像データの入出力は以下の非鮮鋭化領域検出工程と画像鮮鋭化工程で処理できるようにするものであればいかなる態様のものであっても構わない。また、画像データについても、画像をドットマトリクス状の画素で多階調表現したものであればよく、モノクロの画像でもカラーの画像でも良いし、カラー画像の場合には表色空間における座標系の取り方であるとか、階調範囲などについても特に限定されるものではない。
【００１０】
非鮮鋭領域検出工程では、元画像の非鮮鋭領域を検出するが、その具体的手法はさまざまであり、その一例として、請求項２にかかる発明は、請求項１に記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、人力された原画像データと、この画像データに対して平滑化処理をかけた平滑化画像データとの差分が小さい領域を非鮮鋭領域として検出する構成としてある。
【００１１】
上記のように構成した請求項２にかかる発明においては、入力された画像データを原画像データとして残しつつ、この画像データに対して平滑化処理をかけることによって平滑化画像データを生成させ、その上で、上記非鮮鋭領域検出工程は、原画像データと平滑化画像データとの差分が小さい領域を非鮮鋭領域として検出する。
平滑化処理は対象となる中心画素の周りの画素との平均化した画素を生成することになるが、これは周辺画素から見た場合の当該中心画素における期待値ともいえる。だとすると、この中心画素での具体的な値との差分を求めるのであれば、その期待値との差が小さいほど当該画素での変化具合が小さいといえ、いわゆるエッジ分あるいは周波数の高い画素を除いた非鮮鋭な領域を表すことになる。
【００１２】
ただ、以上のようにして非鮮鋭な領域が分かるにしてもその差分値自体が以降の処理において利用しやすいとは限らない。このため、請求項３にかかる発明は、請求項２に記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正して非鮮鋭領域の検出範囲を調整する構成としてある。
【００１３】
上記のように構成した請求項３にかかる発明においては、上記原画像データと上記平滑化画像データとの差分値についてトーンカーブ補正する。そのままの差分値を用いた場合は、あるしきい値を境に大きく意味内容が異なる場合が考えられる。こうした場合でもトーンカーブを使用して差分値の意味に軽重を付けることにより、非鮮鋭領域の検出範囲を調整できる。
非鮮鋭領域を検出することと鮮鋭領域を検出することとは表と裏の関係にあるから、検出する領域は必ずしも非鮮鋭領域そのものに限られないと考えるべきである。その一例として、請求項４にかかる発明は、請求項１〜請求項３のいずれかに記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記原画像データと上記平滑化画像データとの差分が大きい領域を鮮鋭領域として検出するとともに、上記画像鮮鋭化工程では、同鮮鋭領域を反転させて非鮮銃領域としつつこの非鮮鋭領域をマスクとして上記原画像データを平滑化処理した上で、元の原画像データとの差に基づいて画像を鮮鋭化させる構成としてある。
【００１４】
上記のように構成した請求項４にかかる発明においては、上記原画像データと上記平滑化画像データとの差分が大きい領域を鮮鋭領域として検出する。従って、表面的には非鮮鋭領域を検出していないようにも見えるが、実は残りの領域が非鮮鋭領域であるのであるから、上記非鮮鋭領域検出工程は非鮮鋭領域を検出していることになる。この反転状態は、上記画像鮮鋭化工程で解消する。
すなわち、同画像鮮鋭化工程では上記鮮鋭領域を反転させ、これによって非鮮鋭領域としつつこの非鮮鋭領域をマスクとして上記原画像データを平滑化処理する。さらに、平滑化した画像を元の画像から引けば高周波成分が残って鮮鋭化されることになる。
【００１５】
鮮鋭領域と非鮮鋭領域との境界の調整は上述したトーンカーブ補正に限られるものではなく、その一例として、請求項５にかかる発明は、請求項４に記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記検出された鮮鋭領域を縮小化してから反転する構成としてある。
上記のように構成した請求項５にかかる発明においては、検出された鮮鋭領域を最初に縮小化するので、シャープに鮮鋭領域を検出することになる。この後、反転するが、シャープさは非鮮鋭領域の外縁を広げるように作用する。
【００１６】
同様に、鮮鋭領域と非鮮鋭領域との境界を調整する他の一例として、請求項６にかかる発明は、請求項１〜請求項５のいずれかに記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記非鮮鋭領域の縁部に平滑化処理をかける構成としてある。
上記のように構成した請求項６にかかる発明においては、非鮮鋭領域の縁部に平滑化処理をかけるため、このかけ方によっては縁部が多少なりとも内外に移動し、調整されることになる。この場合、必ずしも縁部だけに平滑化処理をかける必要はなく、画像全体に平滑化処理をかけても同様といえるし、逆に縁部だけにかけることでも可能である。
【００１７】
原画像データの値によっては同じ鮮鋭さを備えていても判断が変化してくることがある。例えば、全体的に暗い場合と全体的に明るい場合とでは、明暗の変化度合いが比例していると考えると、暗い方について非鮮鋭な領域が大きいと判断するはずである。しかし、このような結果となるのは妥当ではなく、その対策の好適な一例として、請求項７にかかる発明は、請求項１〜請求項６のいずれかに記載の画像鮮鋭化方法において、上記非鮮鋭領域検出工程では、上記原画像データに対して予めトーンカーブ補正しておいて上記非鮮鋭領域の検出に利用する構成としてある。
【００１８】
上記のように構成した請求項７にかかる発明においては、原画像データに対して予めトーンカーブ補正しておくので、上記非鮮鋭領域を検出するにあたって妥当な領域を得られるようになる。また、かかる明暗に対する調整目的に限らず、意識的に調整を加えたいということも当然に可能である。
非鮮鋭領域を鮮鋭化させることによって従来技術の不具合が解消されるものの、これは鮮鋭領域の鮮鋭化を必ずしも排斥するものではなく、その一例として、請求項８にかかる発明は、請求項１〜請求項７のいずれかに記載の画像鮮鋭化方法において、上記画像鮮鋭化工程では、鮮鋭領域についても上記非鮮鋭領域よりも弱めに鮮鋭化する構成としてある。
【００１９】
上記のように構成した請求項８にかかる発明においては、非鮮鋭領域を鮮鋭化させる画像鮮鋭化工程で、鮮鋭領域についても鮮鋭化する。鮮鋭領域についての鮮鋭化が、非鮮鋭領域についての鮮鋭化よりも強いようであれば、従来技術と異なるところはないから、非鮮鋭領域よりも弱めにしておく。
非鮮鋭領域についての鮮鋭化によって元もとの鮮鋭領域とのバランスが崩れるような場合には、このようにすることが有効といえる。鮮鋭化の度合いは非鮮鋭領域と鮮鋭領域とで予め一定の割合を定めておいても良いし、具体的状況に応じて適宜鮮鋭領域についての鮮鋭度を調整するようにしても良い。
【００２０】
一方、特定の被写体によっては観察者の視線が集中してざらついた感じが表れることがある。特に肌色の領域については、本来の被写体であることも手伝って感覚が鋭敏になるが故に画像データとしては良好な感じであるにもかかわらず、不快に思いかねない。このような場合に好適な一例として、請求項９にかかる発明は、請求項１〜請求項８のいずれかに記載の画像鮮鋭化方法において、上記画像鮮鋭化工程では、鮮鋭化でざらつく色領域について鮮鋭化度合いを低減化させる構成としてある。
【００２１】
上記のように構成した請求項９にかかる発明においては、鮮鋭化でざらつく色領域である肌色や空色などについて鮮鋭化度合いを低減化させるため、ざらつき間を低減させることになる。色領域は色度で判断すればよく、色度であれば輝度の影響も受けないので明るく写っていても暗く写っていても人の肌を検知できる。なお、色領域は肌色や空色以外であってもよく、適宜調整可能である。
【００２２】
このように、非鮮鋭領域についての鮮鋭化する手法は実体のある装置において実現され、その意味で本発明を実体のある装置としても適用可能であることは容易に理解できる。このため、請求項１０にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像デー夕に基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出手段と、上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化手段と、鮮鋭化された画像データを出力する画像データ出力手段とを具備する構成としてある。
すなわち、実体のある装置としても有効であることに相違はない。このような画像鮮鋭化装置は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。従って、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【００２３】
発明の思想の具現化例として画像鮮鋭化方法を実施するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
その一例として、請求項１９にかかる発明は、画像をドットマトリクス状の画素で多階調表現した画像データに基づいてコンピュータにて画像を鮮鋭化させる画像鮮鋭化処理プログラムを記録した媒体であって、上記画像データに基づいて元画像の非鮮鋭領域を検出する非鮮鋭領域検出ステップと、上記画像データにおける上記非鮮鋭領域と検出された部位について相対的に強く鮮鋭化する画像鮮鋭化ステップと、鮮鋭化された画像データを出力する画像データ出力ステップとをコンピュータに実行させる構成としてある。
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものではなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。むろん、このプログラム自体に発明の思想が反映されていることはいうまでもない。
【００２４】
むろん、このような画像鮮鋭化方法は単独で実施される場合もあるし、ある機器に組み込まれた状態で他の方法とともに実施されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものであって、適宜、変更可能である。
【００２５】
【発明の効果】
以上説明したように本発明は、自然な感じで画像をシャープにさせることが可能な画像鮮鋭化方法を提供することができる。
また、請求項２にかかる発明によれば、比較的容易に非鮮鋭領域を検出することができる。
さらに、請求項３にかかる発明によれば、非鮮鋭領域の検出範囲の調整が容易になる。【００２６】
さらに、請求項４にかかる発明によれば、非鮮鋭領域を直に検出するのではなく、鮮鋭領域を検出する反射的効果として非鮮鋭領域を検出できるので、より柔軟な処理が可能となる。
さらに、請求項５と請求項６にかかる発明によれば、非鮮鋭領域と鮮鋭領域の境界に対する調整が柔軟に行える。
さらに、請求項７にかかる発明によれば、非鮮鋭領域の検出を良好に行うための調整手法を提供することができる。
【００２７】
さらに、請求項８にかかる発明によれば、非鮮鋭領域だけを鮮鋭化させることによる不具合を調整することができる。
さらに、請求項９にかかる発明によれば、特定の色領域について鮮鋭化を弱めることにより、肌の部分などでざらつき感を低減させることができる。
さらに、請求項１０〜請求項１８にかかる発明によれば、同様の効果を奏する画像鮮鋭化装置を提供でき、請求項１９にかかる発明によれば、画像鮮鋭化プログラムを記録した媒体を提供できる。
【００２８】
【発明の実施の形態】
図１は本発明の一実施形態にかかる画像鮮鋭化装置をクレーム対応図により示しており、図２は同画像鮮鋭化装置を実現するハードウェアの一例としてのコンピュータシステム１０をブロック図により示している。まず、このコンピュータシステム１０について説明する。
本コンピュータシステム１０は、画像データを直接的に入力する画像入力デバイスとして、スキャナ１１ａとデジタルスチルカメラ１１ｂとビデオカメラ１１ｃとを備えており、コンピュータ本体１２に接続されている。それぞれの入力デバイスは画像をドットマトリクス状の画素で表現した画像データを生成してコンピュータ本体１２に出力可能となっており、ここで同画像データはＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。
【００２９】
コンピュータ本体１２には、外部補助記憶装置としてのフロッピーディスクドライブ１３ａとハードディスク１３ｂとＣＤ−ＲＯＭドライブ１３ｃとが接続されており、ハードディスク１３ｂにはシステム関連の主要プログラムが記録されており、フロッピーディスクやＣＤ−ＲＯＭなどから適宜必要なプログラムなどを読み込み可能となっている。
また、コンピュータ本体１２を外部のネットワークなどに接続するための通信デバイスとしてモデム１４ａが接続されており、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。この例ではモデム１４ａにて電話回線を介して外部にアクセスするようにしているが、ＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。この他、コンピュータ本体１２の操作用にキーボード１５ａやポインティングデバイスとしてのマウス１５ｂも接続されている。
【００３０】
さらに、画像出力デバイスとして、ディスプレイ１７ａとカラープリンタ１７ｂとを備えている。ディスプレイ１７ａについては水平方向に８００画素と垂直方向に６００画素の表示エリアを備えており、各画素毎に上述した１６７０万色の表示が可能となっている。むろん、この解像度は一例に過ぎず、６４０×４８０画素であったり、１０２４×７６８画素であるなど、適宜、変更可能である。
【００３１】
また、カラープリンタ１７ｂはインクジェットプリンタであり、ＣＭＹＫの四色の色インクを用いて記録媒体たる印刷用紙上にドットを付して画像を印刷可能となっている。画像密度は３６０×３６０ＤＰＩや７２０×７２０ＤＰＩといった高密度印刷が可能となっているが、諧調表限については色インクを付すか否かといった２階調表現となっている。
一方、このような画像入力デバイスを使用して画像を入力しつつ、画像出力デバイスに表示あるいは出力するため、コンピュータ本体１２内では所定のプログラムが実行されることになる。そのうち、基本プログラムとして稼働しているのはオペレーティングシステム（ＯＳ）１２ａであり、このオペレーティングシステム１２ａにはディスプレイ１７ａでの表示を行わせるディスプレイドライバ（ＤＳＰ  ＤＲＶ）１２ｂとカラープリンタ１７ｂに印刷出力を行わせるプリンタドライバ（ＰＲＴ  ＤＲＶ）１２ｃが組み込まれている。これらのドライバ１２ｂ，１２ｃの類はディスプレイ１７ａやカラープリンタ１７ｂの機種に依存しており、それぞれの機種に応じてオペレーティングシステム１２ａに対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっている。すなわち、オペレーティングシステム１２ａという標準システム上で共通化した処理体系を維持しつつ、許容される範囲内での各種の追加的処理を実現できる。
【００３２】
この基本プログラムとしてのオペレーティングシステム１２ａ上でアプリケーション１２ｄが実行される。アプリケーション１２ｄの処理内容は様々であり、操作デバイスとしてのキーボード１５ａやマウス１５ｂの操作を監視し、操作された場合には各種の外部機器を適切に制御して対応する演算処理などを実行し、さらには、処理結果をディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力したりすることになる。
【００３３】
ところで、デジタルスチルカメラ１１ｂで撮影した画像は画像データとなり、アプリケーション１２ｄにて各種の画像処理を実行後、ディスプレイ１７ａに表示したり、カラープリンタ１７ｂに出力できる。このような画像処理の一例として強調処理（鮮鋭化処理のことを以後、このように呼ぶことにする）があり、本実施形態においては、アプリケーション１２ｄが最適な結果を得られる強調処理を実行するものとして、以下に説明していく。
【００３４】
以上において、画像入力デバイスなどから画像データを取得する処理が図１に示す画像データ取得手段Ａ１を構成することになり、これに関連するハードウェア及びソフトウェアが実際には該当する。また、非鮮鋭領域検出手段Ａ２はこのように取得される画像データのうちで比較的鮮鋭度が高くない領域を検出する処理に該当し、アプリケーション１２ｄが具体的に実施する。また、アプリケーション１２ｄはこの検出結果を利用して上記画像データにおける非鮮鋭領域の鮮鋭化処理をも実施するため、画像鮮鋭化手段Ａ３も構成する。
【００３５】
本実施形態においては、アプリケーション１２ｄが画像処理を実施しているが、ディスプレイドライバ１２ｂやプリンタドライバ１２ｃが画像出力する際に自動的に鮮鋭化処理を実現するような構成とすることも当然に可能である。
むろん、かかる処理を実行するアプリケーション１２ｄやディスプレイドライバ１２ｂやプリンタドライバ１２ｃは、ハードディスク１３ｂに記憶されており、適宜、コンピュータ本体１２にて読み込まれて稼働する。また、導入時にはＣＤ−ＲＯＭであるとかフロッピーディスクなどの媒体に記録されてインストールされる。従って、これらの媒体は画像鮮鋭化プログラムを記録した媒体を構成する。
【００３６】
アプリケーション１２ｄは画像処理した画像データをファイル形式で以降の処理プロセスに委ねるが、このように画像データをファイル形式で出力する過程が画像データ出力手段Ａ４を構成する。なお、上述したようにディスプレイドライバ１２ｂやプリンタドライバ１２ｃが画像出力する際に鮮鋭化処理を実現する場合にはその出力段が画像データ出力手段Ａ４を構成するといえる。  本実施形態においては、画像鮮鋭化装置をコンピュータシステム１０として実現しているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、同様の画像データに対して補間処理が必要なシステムであればよい。例えば、図３に示すようにデジタルスチルカメラ１１ｂ１内に強調処理する画像鮮鋭化装置を組み込み、強調処理した画像データを用いてディスプレイ１７ａ１に表示させたりカラープリンタ１７ｂ１に印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するカラープリンタ１７ｂ２においては、スキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して入力される画像データについて自動的に強調処理するように構成することも可能である。このようなカラープリンタ１７ｂ２は、近年、ビデオプリンタとして家庭用テレビやビデオに接続して一場面をハードコピー化するのに使用されることも多く、着脱可能な記録メディアから画像データを取得しつつ解像度変換において最適な強調処理を実行すればよい。
【００３７】
この他、図５に示すようなカラーファクシミリ装置１８ａや図６に示すようなカラーコピー装置１８ｂといった画像データを扱う各種の装置においても当然に適用可能である。
上述した強調処理は、具体的には上記コンピュータ本体１２内にて図７〜図９に示すフローチャートに対応した画像処理プログラムで行っている。また、図１０は画像処理プログラム中での処理対象の変化を概略的に示している。なお、図１０は画像処理プログラムの中でのワークエリアを示しており、ＲＧＢの３要素色のデータからなる各画像データはレイヤと呼ぶ個別のプレーンを想定したワークエリアを使用して処理対象となり、さらに各画像処理を制御するために演算結果などを格納するためにチャンネルというワークエリアを使用している。
【００３８】
図７〜図９に示すフローチャートにおいて、ステップ１００では画像データを入力する。この画像データはオペレーティングシステム１２ａを介してスキャナ１１ａ２やデジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等から取り込まれ、取り込んだ画像データは上述したレイヤにおけるオリジナル画像レイヤに格納される。
次に、オリジナル画像を残して処理を進めるためにオリジナル画像レイヤの画像データを背景レイヤと複製レイヤにコピーする（ステップ１０２、ステップ１０４）。本実施形態においては、この背景レイヤの画像データに対して最終的な強調処理を加えることとし、複製レイヤについてマスクを生成していくための画像処理を実施する。
【００３９】
画像処理の最初に行なうのはトーンカーブ補正であり（ステップ１０６）、図１２に示すトーンカーブを利用して複製レイヤに格納されている画像データのコントラストを上げている。ここでコントラストを上げる処理を行う意義については、後述することにする。
コントラストを上げた画像データについて、ステップ１０８では硬調複製レイヤにコピーしてオリジナルを残しておき、ステップ１１０では硬調複製レイヤの画像データに平滑化処理を実施する。平滑化処理は注目画素を中心とする所定領域について画像データの平均化を行なうものであり、図１３に示すフィルタマスクを利用してフィルタ処理する。このフィルタ処理では、注目画素に隣接する８画素と注目画素の画像データを全て加え、画素数で除算するため、平均値を求めることに他ならない。図示するフィルタマスクは３×３画素の９画素であるが５×５画素というようなサイズの異なるフィルタマスクを使用しても良いし、周辺画素の重み付けを減らすような平滑化を行っても良い。
【００４０】
平滑化した画像データは硬調複製レイヤに格納され、ステップ１１２では、硬調複製レイヤの画像データと複製レイヤの画像データとの差の絶対値を演算し、演算結果をアルファチャンネル１に格納する。
図１４は、この一連の処理の意味するところを説明するための参考図であり、本来、二次元的な画像データを分かりやすく一次元的に並べ直したものである。複製レイヤの画像データが同図（ａ）に示すとおりであるとすると、平滑化することによって同図（ｂ）に示すように段差部分が滑らかになる。次いで、両者の差分を演算すると同図（ｃ）に示すように平滑化して変化した画素において差分値が生じ、かつ、その絶対値（図中一点鎖線で表れたもの）が大きくなるのは複製レイヤの画像データが大きく変化しているところである。この絶対値が大きい部分こそ画像が大きく変化しているところであり、この一連の処理は画像の鮮鋭領域を検出することに他ならない。また、ステップ１０６で複製レイヤの画像データのコントラストを上げたのは、上述した差分値を大きくすることに貢献し、鮮鋭領域の検出を行いやすくしている。この点、最初に鮮鋭領域を検出できれば以降においてその調整は任意に行えるが、鮮鋭領域を検出する段階で対象外となってしまうと調整の余地が小さくなる。従って、このように広めに鮮鋭領域を検出するようにしている。
【００４１】
また、図１５は具体的な画像イメージで上述した処理の意味するところをを説明している。同図（ａ）がオリジナルの画像であるとすると、平滑化処理することによって同図（ｂ）に示すように輪郭部分の画像データに変化が表れ、それ以外の部分は元の色のままとなる。従って、オリジナルの画像との差分値を求めると、同図（ｃ）に示すように元の画像の輪郭を中心とする領域だけが残るのである。
【００４２】
アルファチャンネル１は汎用的なチャンネルであるので、差分値の絶対値を保存するためにアンシャープマスクオリジナルチャンネルとアンシャープマスク硬調化チャンネルとに格納しておき（ステップ１１４とステップ１１６）、以下に、具体的な演算結果を良好とするためのアンシャープマスク硬調化チャンネルに調整を行っていく。
まず、ステップ１１８では図１６に示すトーンカーブを利用してトーンカーブ補正を行う。図１４（ｃ）に示すようにして画像の鮮鋭化に対応する差分値を得られても、このデータそのものが演算に利用しやすいとは限らない。特に、かかる差分値の絶対値自身は小さな値にしかならないので、より大きな値にする必要もある。図１５に示すものでは、小さな絶対値を比例的に大きくさせることを目的としているが、あるしきい値を設定してそれ以下のものは余り変化させないような急峻なＳ字カーブを採用することも可能である。【００４３】
次に、ステップ１２０ではアンシャープマスク硬調化チャンネルの縮小化処理を実施する。縮小化処理は実際のイメージとして線の幅を狭めるような処理であり、図１７に示すように１画素（１ピクセル）分だけ領域を狭める。上述したように、ステップ１１８ではしきい値の設定次第で脱落してしまいかねない画素を拾い上げている関係上、ステップ１２０では適度な範囲とするためにこのような縮小化を行っている。具体的な画像のイメージは図１５（ｃ）から同図（ｄ）へと変化する。むろん、これはチューニングの範囲であり、適宜変更可能である。
【００４４】
以上によって、鮮鋭な領域についての調整を行ったが、本発明で主に求めようとしているのは非鮮鋭領域であるから、ステップ１２２ではアンシャープマスク硬調化チャンネルを反転処理する。反転処理は単純に画像データの値を２５５から引いたものとする。従って、「２５５」は「０」に、「２００」は「５５」に「１」は「２５４」にというように変化する。反転した状態は図１５（ｅ）に示すようになり、当初の同図（ａ）において輪郭だった部分以外の領域に何らかの値を持つマスクが形成されたことになる。そして、マスクとしての処理の最後のものとして、ステップ１２４ではこのアンシャープマスク硬調化チャンネルに平滑化処理を施す。これにより、図１５（ｅ）に示すマスク画像での境界部分が滑らかになり、次に実施する強調処理で画像にジャンプが生じないようにすることを期待できる。
【００４５】
そして、この完成したマスクを完成アンシャープマスク１チャンネルと完成アンシャープマスク２チャンネルにコピーし（ステップ１２６、ステップ１２８）、さらに完成アンシャープマスク２チャンネルについては反転処理を実施する（ステップ１３０）。このように反転処理を実施することにより、鮮鋭な領域を再度検出することになる。本実施形態においては、非鮮鋭領域について強い強調処理を行う一方、非鮮鋭領域についても弱い強調処理を行うため、敢えて完成アンシャープマスク２チャンネルとして鮮鋭領域を再度検出するようにしている。
【００４６】
強調処理では図１８〜図１９に示すアンシャープマスクを使用する。ここで、ステップ１３２とステップ１３４で実施する強調処理について輝度を例として説明する。
強調前の各画素の輝度Ｙに対して強調後の輝度Ｙ’は、
Ｙ’＝Ｙ＋Ｅenhance ・（Ｙ−Ｙunsharp ）
として演算される。このＹunsharp は各画素の画像データに対してアンシャープマスク処理を施したものであり、強調係数Ｅenhance は上記完成アンシャープマスク１チャンネルと完成アンシャープマスク２チャンネルを「２５５」で除算して正規化した値である。
【００４７】
ここでアンシャープマスク処理について説明する。図１８〜図２０は三つの大きさの異なるアンシャープマスク４１〜４３を示している。このアンシャープマスク４１〜４３は、中央の「１００」の値をマトリクス状の画像データにおける処理対象画素Ｙ（ｘ，ｙ）の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。今、図１９に示すアンシャープマスク４２を利用するのであれば、
【００４８】
【数１】
2000285232.tif 000001
なる演算式に基づいて積算する。同式において、「６３２」とは重み付け係数の合計値であり、むろんサイズの異なる三つのアンシャープマスク４１〜４３においては、それぞれ「３９６」、「６３２」「２５１６」というような値となる。また、Ｍｉｊはアンシャープマスクの升目に記載されている重み係数であり、Ｙ（ｘ，ｙ）は各画素の画像データである。なお、ｉｊについては異なる縦横サイズの三つのアンシャープマスク４１〜４３に対して横列と縦列の座標値で示している。
【００４９】
このような演算の意味するところは次のようになる。Ｙunsharp （ｘ，ｙ）は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった（アンシャープ）」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Ｙ（ｘ，ｙ）−Ｙunsharp （ｘ，ｙ）」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対して強調係数Ｅenhance を乗算して「Ｙ（ｘ，ｙ）」に加えれば同強調係数Ｅenhance に比例して高周波成分を増したことになり、エッジが強調される結果となる。
【００５０】
また、エッジの強調度合いは、アンシャープマスクの大きさによっても変化する。縦横の升目数の異なる三つのアンシャープマスク４１〜４３であれば、大きなマスクほど注目画素の近隣の画素に対する重み付けが大きく、遠くの画素にいたるまでの距離の中で徐々に重み付けが減っていっている。これは言い換えればよりローパスフィルタとしての性格が強くなり、高周波成分を生成しやすくなるからである。
【００５１】
従って、強調係数Ｅenhance による強調度合いの調整に加えて、大きなサイズのアンシャープマスク４３を利用すれば強い強調処理を行うことになり、小さなサイズのアンシャープマスク４１を利用すれば弱い強調処理を行うことになる。むろん、中間的な強さの強調処理を行うのであれば中間サイズのアンシャープマスク４２を利用すればよくなる。
図９のフローチャートによれば、ステップ１３２にて非鮮鋭領域に強い強調処理を行うにはアンシャープマスク４３を使用しつつ完成アンシャープマスク１チャンネルを強調係数として使用して演算を行うし、ステップ１３４にて鮮鋭領域に弱い強調処理を行うにはアンシャープマスク４１を使用しつつ完成アンシャープマスク２チャンネルを強調係数として使用して演算を行うことになる。なお、アンシャープマスク４１〜４３のフィルタマスクは一例に過ぎず、適宜変更することも可能である。また、図１９を参照すると分かるように、最外周のパラメータは「０」または「１」であり、画素の画像データに乗算しても「６３２」で除算した場合の影響度を考えると殆ど無意味である。このため、最外周のパラメータを無視して５×５画素としたアンシャープマスク４４のフィルタマスクを使用すれば、除算の演算回数「４９（＝７×７）」回から「２５（＝５×５）」回へと半減し、演算処理時間を短縮化させることもできる。
【００５２】
以上のような処理を経ることにより、デジタルスチルカメラ１１ｂ２あるいはモデム１４ａ２等を介して取り込んだディジタルの画像データであっても、もともと鮮鋭なエッジ部分が過度にシャープになりすぎたり、妙に作り物の感じが強く表れてしまうということがなくなる。
このようにして得られた画像データ自体は背景レイヤに格納されており、この画像データをディスプレイドライバ１２ｂやプリンタドライバ１２ｃを介してディスプレイ１７ａやカラープリンタ１７ｂに出力すると、綺麗な画像となっている。
【００５３】
一般的にはこの強調処理で概ね自然な感じで画像の鮮鋭度が上がるが、人の肌が鮮鋭化してざらついた感じに見えることもあり得る。人自体が写真のオブジェクトであるため、特にその部分を注目してしまうためである。同様なことは、写真の中で広い面積を占める空の部分についても生じる。このような場合は、各画素が肌色や空色であるか否かを判断し、肌色や空色であったら強調処理を弱めるようにすればよい。ここで、各画素が肌色や空色であるか否かを判断する手法について説明する。
【００５４】
各画素の画像データが（Ｒ，Ｇ，Ｂ）で表されるとすると、色度は、
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ）
として表される。
図２１は人間の肌を表す画像データのサンプリング結果を示している。すなわち、左側の三つのデータは肌を構成する画素の（Ｒ，Ｇ，Ｂ）の値であり、その右方に（Ｒ＋Ｇ＋Ｂ）の合計（ｓｕｍ＿ｒｇｂ）を示し、その右方に上記計算に基づく色度ｒ，ｂと輝度Ｙとを示している。また、図２２は各画素についてｒｂ空間にプロットした場合のグラフを示している。同図に示すように、ＲＧＢデータとしては統一性を見出しにくいようでも、色度としてグラフにプロットしてみると規則性があることが見出される。すなわち、人の肌であれば暗く写っているときも明るく写っているときもあり得るが、それにもかかわらず、図１１に示すように直線状に分布しているのである。同図に示す直線状の分布は、
０．３３＜ｒ＜０．５１
｜０．７４ｒ＋ｂ−０．５７｜＜０．１
なる関係式が成立しているといえるから、各画素についてこの条件があてはめられれば肌色領域に属するものといえる。
【００５５】
また、図２３は同様にして青空を表す画像データのサンプリング結果を示しているとともに図２４は各画素についてｒｂ空間にプロットした場合のグラフを示しており、この場合は肌色の場合よりも変動幅が大きいことを考慮すると、
０．１７＜ｒ＜０．３０
｜１．１１ｒ＋ｂ−０．７０｜＜０．２
なる関係式が成立しているといえる。
図２５は、ステップ１３２の内部でこのような処理を実行するフローチャートを示しており、ステップ１３２ａにて色度を計算し、ステップ１３２ｂとステップ１３２ｃとで肌色や空色であるかを判断し、いずれにも引っかからなければステップ１３２ｄで強い強調処理を実行する。しかし、ステップ１３２ｂとステップ１３２ｃのいずれかで肌色や空色であると判断されると、ステップ１３２ｅで弱い強調処理を実行する。例えば、強調係数Ｅenhance として完成アンシャープマスク２チャンネルのものを利用しても良いし、小さいサイズのアンシャープマスク４１を使用しても良い。
【００５６】
ところで、以上の処理はコンピュータシステム１０を使用しつつ主にソフトウェア的な処理で実現している。しかしながら、本発明は必ずしもソフトウェア的な構成に限るものではなく、ハードウェアによるワイヤロジックで実現することもできる。
図２６は具体的なブロック回路を示しており、入力画像データは平滑化回路５１に入力されてぼかしの処理を経たものと経ていないものとを差分絶対値回路５２に入力し、両者の差分値の絶対値を演算し、トーンカーブ補正回路５３で図１６に示すようなトーンカーブ補正を実施する。次いで、縮小化回路５４では外縁部を狭める処理を実行し、反転回路５５で反転させた後、平滑化回路５６で最後の平滑化処理を実施する。この後、生成されたマスクデータを使用して第一の強調化回路５７で強い強調化を施し、反転回路５８を経たマスクデータを使用して第二の強調化回路５９で弱い強調化を施す。
【００５７】
各回路ではロジック回路でディジタル的に処理すればよいが、一部ではアナログ化して処理しても良い。
このように、デジタルスチルカメラ１１ｂ２等を介して取り込んだディジタルの画像データは、平滑化してぼかしたものと元のものとの差を演算し（ステップ１１２）て鮮鋭化領域を検出した後、トーンカーブ補正や縮小や反転や平滑化処理の各処理（ステップ１１８〜１２２）を経て非鮮鋭領域のマスクデータを完成アンシャープマスク１チャンネルに形成し、同マスクデータを使用して元の画像データに強い強調処理を施すようにした（ステップ１３２）ため、もともと鮮鋭なエッジ部分が過度にシャープになりすぎたり、妙に作り物の感じが強く表れてしまうということがなくなる。この場合、画像調整のための処理も含まれるし、鮮鋭な領域に対して弱い強調処理（ステップ１３４）を実施したりしている。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像鮮鋭化装置のクレーム対応図である。
【図２】本発明の一実施形態にかかる画像鮮鋭化装置が適用されるコンピュータシステ
ムのブロック図である。
【図３】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図６】本発明の画像鮮鋭化装置の他の適用例を示す概略ブロック図である。
【図７】本発明の一実施形態にかかる画像鮮鋭化装置のフローチャートの一部である。
【図８】同フローチャートの一部である。
【図９】同フローチャートの一部である。
【図１０】処理の全体を示す概略ブロック図である。
【図１１】データの格納状態を示す概念図である。
【図１２】トーンカーブの一例を示す図である。
【図１３】平滑化処理に使用するフィルタマスクを示す図である。
【図１４】画像データの変化過程を示す概念図である。
【図１５】画像の変化過程を示す概念図である。
【図１６】トーンカーブの一例を示す図である。
【図１７】縮小化処理の過程を示す図である。
【図１８】小サイズのアンシャープマスクを示す図である。
【図１９】中サイズのアンシャープマスクを示す図である。
【図２０】大サイズのアンシャープマスクを示す図である。
【図２１】肌色の画素の画像データと色度と輝度を示す図である。
【図２２】肌色の画素を色度のグラフで示す図である。
【図２３】空色の画素の画像データと色度と輝度を示す図である。
【図２４】空色の画素を色度のグラフで示す図である。
【図２５】強調処理の変形例を示すフローチャートの一部である。
【図２６】ハードウェアロジックで実現した画像鮮鋭化装置のブロック図である。
【符号の説明】
１０…コンピュータシステム
１１ａ…スキャナ
１１ａ２…スキャナ
１１ｂ…デジタルスチルカメラ
１１ｂ１…デジタルスチルカメラ
１１ｂ２…デジタルスチルカメラ
１１ｃ…ビデオカメラ
１２…コンピュータ本体
１２ａ…オペレーティングシステム
１２ｂ…ディスプレイドライバ
１２ｂ…ドライバ
１２ｃ…プリンタドライバ
１２ｄ…アプリケーション
１３ａ…フロッピーディスクドライブ
１３ｂ…ハードディスク
１３ｃ…ＣＤ−ＲＯＭドライブ
１４ａ…モデム
１４ａ２…モデム
１５ａ…キーボード
１５ｂ…マウス
１７ａ…ディスプレイ
１７ａ１…ディスプレイ
１７ｂ…カラープリンタ
１７ｂ１…カラープリンタ
１７ｂ２…カラープリンタ
１８ａ…カラーファクシミリ装置
１８ｂ…カラーコピー装置
４１〜４３…アンシャープマスク
５１…平滑化回路
５２…差分絶対値回路
５３…トーンカーブ補正回路
５４…縮小化回路
５５…反転回路
５６…平滑化回路
５７…第一の強調化回路
５８…反転回路
５９…第二の強調化回路