(57)【要約】【課題】デジタル画像データに対して画像のトーンジャンプや不要な荒れなどの視覚的な欠陥を発生させることなく適切な階調変更や彩度変更や色変更を行って好ましい画像を得る。【解決手段】対象画像の注目画素に鮮鋭化処理を施した主信号処理工程の画素と、一方で並列的に注目画素に対して階調変更、彩度変更、色変更を施したのちにその近傍の所定の領域での平滑処理を行った画素とを入力画像の画素のレベルに応じた比率で合成することで一定比率で合成した場合に発生する不必要な明度低下や明度上昇を軽減して好ましい画像を得ることができる。【選択図】        図１
2007066152.tif 000002
【特許請求の範囲】
【請求項１】
任意に選択された画像入力手段によって取得された入力画像が所定の画像品質を有するように、前記入力画像の画像データに画素ごとに画像処理を行う画像処理方法であって、（１）：前記入力画像の処理対象である注目画素に対して鮮鋭化処理を行う主信号処理工程と（２）：（１）の処理と並列的に前記入力画像の画素に関して当該画素の近傍の所定の領域で平滑化処理を施す工程と（３）：（２）の工程で得られた平滑化処理画素と（１）の工程で得られた鮮鋭化処理画素を入力画像の画素のレベルに応じた比率で合成する工程と、を有することを特徴とする画像処理方法。
【請求項２】
上記（３）の入力画像の画素のレベルに応じた比率で合成する工程において、あらかじめ設定されたレベル以上の画素信号値に対して（１）の工程で得られた鮮鋭化処理画素の合成比率を高めることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
上記（３）の入力画像の画素のレベルに応じた比率で合成する工程において、あらかじめ設定されたレベル以下の画素信号値に対して（１）の工程で得られた鮮鋭化処理画素の合成比率を高めることを特徴とする請求項１に記載の画像処理方法。
【請求項４】
上記（３）の入力画像の画素のレベルに応じた比率で合成する工程において、入力画像がR、G、Bから構成されるカラー画像の場合、合成の比率を決定する画素値を注目画素のR、G、Bそれぞれの値の平均値を用いることを特徴とする請求項１に記載の画像処理方法。
【請求項５】
上記（３）の入力画像の画素のレベルに応じた比率で合成する工程において、入力画像がR、G、Bから構成されるカラー画像の場合、合成の比率を決定する画素値を注目画素のR、G、Bそれぞれの値の最大値を用いることを特徴とする請求項１に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラやカラースキャナなどからデジタル的に撮像または保存された画像データの好ましい画質再現のための高品質画像処理に関するものである。
【背景技術】
【０００２】
デジタルカメラなどによって撮影されたＲＧＢ画像は、通常、モニターディスプレーもしくは、プリンタ出力によって観察されるが、露光不足や撮影対象に当たる照明の色かぶりなどの撮影状況の問題や、カメラのノイズ、ボケなどの発生によって画質的に好ましくない再現となる場合がある。また、画質的な問題は無くても、画像に対する観察者の好みから画像の修正が望まれる場合もある。
【０００３】
このような場合、通常、画像レタッチソフトウエアなどを用いて、画像の再現レンジや階調の調整、彩度の調整、色調の調整、鮮鋭度の調整などを行って好ましい画質に変換するための処理が行われる。特に、画像の階調の調整や彩度の調整や色調の調整は画質に大きな影響を与えるので、好ましい画質を得るためには必ず調整される要素である。しかし、望まれる良好な画質の画像に変換するためには、高度な画像調整技術と調整経験が必要であった。
【０００４】
一方で、画像のデジタル化が進むにつれて、容易に画像の修正を行いたいという要求が増してきたために、特開平１１−０２７５３５、特開平１１−１５０６５６に示されるように、画質調整の技術や経験が無くとも適切な調整操作が行える方法が提案されてきた。
【０００５】
しかし、デジタル的に保存された限られた階調を持つ画像に対して、上記の階調変更、彩度変更、色調変更を行うと、画像中にトーンジャンプが発生したり、画像中のノイズが強調されて画像の荒れを発生させる場合があり、大幅な階調、彩度、色調の変更を行うと返って画質の低下を来たすため、調整の技術や経験があっても、必要な調整を行うことができない場合が多い。さらに、調整技術や経験のない者が上記調整を行うと、容易に全体の画質が破綻してしまい、全く好ましい結果が得られない場合が多い。
【０００６】
上記問題の解決策として、特願２００４−６０４４３示されるように画像の平滑化処理後の信号に対して上記の階調変更、彩度変更、色調変更を行い、一方で入力画像の注目画素に対して鮮鋭化処理を施した信号と合成することで良好な処理結果を得られる方法が提案されてきた。
【特許文献１】特開平１１−０２７５３５公報
【特許文献２】特開平１１−１５０６５６公報
【特許文献３】特願２００４−６０４４３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、鮮鋭化処理信号と平滑化処理信号を一定比率で合成した場合、画像のエッジ近傍のハイライト側（画像の明るい部分）とシャドー側（画像の暗い部分）でそれぞれ明度低下と明度上昇が発生し、メリハリの無い処理結果となる場合がある。
【０００８】
本発明は前記従来の技術の問題に鑑みてなされたものであり、鮮鋭化処理信号と平滑化処理信号を合成する際に入力画素のレベルに応じて合成比率を変更することで、ハイライト側とシャドー側でそれぞれ明度低下と明度上昇を軽減し好ましい画質を容易に得ることのできる画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のうち請求項１に記載の発明は、（１）：前記入力画像の処理対象である注目画素に対して鮮鋭化処理を行う主信号処理工程と（２）：注目画素の近傍の所定の領域で平滑化処理を施す工程と（３）：（２）の工程で得られた平滑化処理画素と（１）の工程で得られた鮮鋭化処理画素を注目画像の画素のレベルに応じた比率で合成する工程と、を有することを特徴とする画像処理方法であり、注目画素のレベルに合わせて（１）の主信号の合成比率を制御することができるため、平滑化信号との合成によって発生するレベル変動の影響を軽減することができる。
【００１０】
上記目的を達成するために、本発明のうち請求項２記載の発明は、あらかじめ設定されたレベル以上の注目画素信号値に対して（１）の工程で得られた鮮鋭化処理画素の合成比率を高めることを特徴とする請求項１に記載の画像処理方法であり、この処理により画像のエッジ近傍のハイライト部の合成結果の明度低下を軽減させることができ、良好な処理結果を得られる。
【００１１】
上記目的を達成するために、本発明のうち請求項３記載の発明は、あらかじめ設定されたレベル以下の注目画素信号値に対して（１）の工程で得られた鮮鋭化処理画素の合成比率を高めることを特徴とする請求項１に記載の画像処理方法であり、この処理により画像のエッジ近傍のシャドー部の合成結果の明度上昇を軽減させることができ、良好な処理結果を得られる。
【００１２】
上記目的を達成するために、本発明のうち請求項４記載の発明は、入力画像がＲ、Ｇ、Ｂから構成されるカラー画像の場合、合成の比率を決定する画素値を注目画素のＲ、Ｇ、Ｂそれぞれの値の平均値を用いることを特徴とする請求項１に記載の画像処理方法であり、平均値を用いることにより彩度の低い領域を中心に処理結果の改善を行うことができる。
【００１３】
上記目的を達成するために、本発明のうち請求項５記載の発明は、入力画像がＲ、Ｇ、Ｂから構成されるカラー画像の場合、合成の比率を決定する画素値を注目画素のＲ、Ｇ、Ｂの値の最大値を用いることを特徴とする請求項１に記載の画像処理方法であり、最大値を用いることにより高彩度の領域においても処理結果の改善を行うことができる。
【発明の効果】
【００１４】
請求項１に記載の発明により、主信号処理工程と平滑化処理工程の画像を合成しても不必要な処理結果のレベル変動を軽減し、好ましい画像を得ることができる。
【００１５】
さらに請求項２に記載の発明により、画像のエッジ近傍のハイライト部の不必要な明度低下を軽減し、好ましい画像を得ることができる。
【００１６】
さらに請求項３に記載の発明により、画像のエッジ近傍のシャドー部の不必要な明度上昇を軽減し、好ましい画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
以下のとおりである。
【実施例１】
【００１８】
以下、本発明に係る画像処理方法の実施の一例を、添付の図面に示される実施形態を基に、詳細に説明する。図１に本発明の係る画像処理方法の簡単な構成を示す。主な構成としては、処理の対象となる画像を入力する画像入力部１００、入力された画像の着目画素に対して鮮鋭化処理を行う鮮鋭化処理部１０１、入力された画像の着目画素に対して階調変更および彩度変更および色変更を行う階調色調変更処理部１０２、階調色調変更処理された画素の近傍領域にて平滑化処理を行う平滑化処理部１０３、画素レベルに応じて合成比率を決定する合成比率決定部１０４、鮮鋭化処理部１０１と平滑化処理部１０３の出力画素を合成比率決定部１０４で決定した比率で合成する画素合成部１０５、処理結果を出力するための画像出力部１０６からなる。上記構成では着目画素ごとに処理が行われ、画像中の着目画素を例えば画面左上から右下に向かう方向に順番に処理することで全画像の処理を行うことになる。入力された画像の着目画素に対して階調変更および彩度変更および色変更を行う階調色調変更処理部１０２は必ずしも必要ではない。
【００１９】
図２は図１の鮮鋭化処理部１０１の内部処理構成を示したものである。図２に示す鮮鋭化処理はアンシャープマスキングと呼ばれる画像の鮮鋭化方法であり、２００の着目画素主信号Ｓの近傍平滑化信号Ｕ（２０１）を求め、減算器２０２にて主信号Ｓから平滑化信号Ｕを減算する。さらに、その演算結果に鮮鋭化係数Ｇ（２０３）を乗算器２０４にて乗算し、その演算結果を加算器２０５にて主信号Ｓと加算する。
加算された結果は鮮鋭化処理が施された画素となるが、さらに、画像中のノイズの鮮鋭化に伴う強調を避けるために、Ｔのレベルまでの鮮鋭化信号をカットする閾値処理２０６を作用させて２０７の鮮鋭化処理済主信号Ｓ’を得る。図２の鮮鋭化処理を式に表すと数１のようになる。入力された対象画像の注目画素は主信号処理工程として本鮮鋭化処理部において鮮鋭化処理が施される。
【００２０】
図３は図１の合成比率決定部１０４の処理を示したものである。着目画素信号ＳのＲ、Ｇ、Ｂ値の平均値を求めこれをＳｍとする（３０１）。あらかじめ設定されたレベル比較基準（３０２）にはハイライト基準Ｐｔｈとシャドー基準Ｐｔｓが設定されており、先に求めたＳｍ値とこれらの基準値が比較される。数２に示す比較結果が真の場合、ハイライト合成比率（３０７）が選択され画像合成部（１０５）に送られる。数２が偽で数３が真の場合、シャドー合成比率（３０６）が選択され画像合成部（１０５）に送られる。数２、数３が共に偽の場合は通常合成比率が選択され画像合成部（１０５）に送られる。
【００２１】
決定される合成比率は図４に示すようにハイライト合成比率をＡ、シャドー合成比率をＢ、通常合成比率をＣのようにあらかじめ設定しておけばよい。鮮鋭化処理後の信号をＳ１、平滑化処理後の信号をＳ２とすると、合成結果Ｓｆは数４のようになる。
【００２２】
上記処理の結果、着目画素信号ＳのＲ、Ｇ、Ｂ値の平均値ＳｍがＰｔｈ以上もしくはＰｔｓ以下の画素に関しては鮮鋭化処理後の信号の合成比率が高くなるため、エッジ近傍での平滑化信号の影響である不必要な明度低下や明度上昇を軽減することができる。
【００２３】
図５は上記処理の効果を図示したものである。鮮鋭化処理後の信号（５００）と平滑化処理後の信号（５０１）をたとえば０．５の比率で合成した信号は５０２のようになる。一方、ハイライト基準Ｐｔｈ以上もしくはシャドー基準Ｐｔｓ以下の条件を満たす着目信号の合成を鮮鋭化処理後の信号の合成比率が高くなる設定で合成した結果は５０３に示すようにエッジ近傍での不必要な明度低下（ハイライト側）や明度上昇（シャドー側）が軽減されていることがわかる。
【００２４】
図４に示すようにハイライト合成比率およびシャドー合成比率を固定値として合成処理を行った場合、ハイライト基準Ｐｔｈ以上とシャドー基準Ｐｔｓ以下の画素に関して合成比率が急激に変化するため、画像中にトーンのジャンプが発生する可能性がある。このような弊害を解消するためには図６に示すように、ハイライト基準Ｐｔｈ、シャドー基準Ｐｔｓから着目画素のレベルＳｍに応じて通常合成比率から直線的に目標とするハイライト合成比率およびシャドー合成比率になるように合成比率を設定すれば連続した滑らかな処理結果が得られる。
【００２５】
この場合、決定される合成比率は図５に示すようにハイライト目標合成比率をＡ、シャドー目標合成比率をＢ、通常合成比率をＣとした場合、鮮鋭化処理後の信号をＳ１、平滑化処理後の信号をＳ２とすると、合成結果Ｓｆは数５のようになる。
【００２６】
式５ではハイライト基準Ｐｔｈ、シャドー基準Ｐｔｓから着目画素のレベルＳｍに応じて通常合成比率から直線的に目標とするハイライト合成比率およびシャドー合成比率になるように合成比率を設定しているが、例えば二次関数などの曲線として合成比率を設定してもよい。
【００２７】
以上のようにして先鋭化処理信号と平滑化処理信号を合成しても不必要なエッジ近傍の明度低下や明度上昇を軽減することができ、この好ましい処理結果を得ることができる。具体的に言えば、例えば人物画像の眼の輝き部分や髪の毛の部分の画素明度が維持されるため滑らか且つ鮮鋭な処理結果が得られる。
【実施例２】
【００２８】
図７は本発明に係る画像処理方法において、着目画素信号ＳのＲ、Ｇ、Ｂ値の最大値を求めこれをＳｍとした場合（７００）の合成比率決定部１０４の処理を示したものである。
【００２９】
この場合、着目信号のＲ、Ｇ、Ｂの何れかの信号レベルがハイライト基準Ｐｔｈより大きいかシャドー基準Ｐｔｓより小さい場合に合成比率が変わるために、例えば彩度の高い領域のエッジ（カラーエッジ）などの近傍で発生する不必要な明度低下もしくは明度上昇を軽減することができる。
【００３０】
【数１】
2007066152.tif 000003
【００３１】
【数２】
2007066152.tif 000004
【００３２】
【数３】
2007066152.tif 000005
【００３３】
【数４】
2007066152.tif 000006
【００３４】
【数５】
2007066152.tif 000007
【産業上の利用可能性】
【００３５】
本発明はデジタル画像の画質の向上を提供できるので、画質の向上が求められる産業分野すなわち印刷製版、ＴＶ放送、インターネットを含む通信による画像配信などの分野で広く利用される可能性がある。さらに、本発明の画像処理方法をソフトウエアだけではなくハードウエア上に実装することで、デジタルカメラやスキャナなど撮像装置の画質向上に利用される可能性がある。また、カラープリンターやＴＶ受像機などの画像出力装置の画質向上にも利用できる。
【図面の簡単な説明】
【００３６】
【図１】本発明の画像処理方法に関する簡単な構成図である。（実施例１）
【図２】本発明の画像処理方法を構成する鮮鋭化処理に関する簡単な構成図である。
【図３】合成比率決定部の処理の説明図である。
【図４】合成比率の設定例のグラフである。
【図５】本発明の効果を図示する説明図である。
【図６】図４とは別の合成比率の設定例のグラフである。
【図７】本発明の画像処理方法の別の構成に関する簡単な構成図である。（実施例２）
【符号の説明】
【００３７】
１００  画像入力部
１０１  鮮鋭化処理
１０２  階調色調変更部
１０３  平滑化処理部
１０４  合成比率決定部
１０５  画素合成部
１０６  画像出力部
２００  着目画素主信号Ｓ
２０１  近傍平滑化信号Ｕ
２０２  減算器
２０３  鮮鋭化係数Ｇ
２０４  乗算器
２０５  加算器
２０６  閾値処理Ｔ
２０７  鮮鋭化処理済主信号Ｓ’
３００  着目画素主信号Ｓ
３０１  ＲＧＢ平均値計算
３０２  レベル比較基準
３０３  ハイライト基準との比較
３０４  シャドー基準との比較
３０５  通常合成比率
３０６  シャドー合成比率
３０７  ハイライト合成比率
５００  鮮鋭化処理信号Ｓ１
５０１  平滑化処理信号Ｓ２
５０２  一定比率での合成信号Ｓｆ
５０３  ハイライト、シャドー別の比率での合成信号Ｓｆ
７００  ＲＧＢ最大値計算
【図１】
2007066152.tif 000008
【図２】
2007066152.tif 000009
【図３】
2007066152.tif 000010
【図４】
2007066152.tif 000011
【図５】
2007066152.tif 000012
【図６】
2007066152.tif 000013
【図７】
2007066152.tif 000014