(57)【要約】【課題】デジタル画像データに対して画像のトーンジャンプや不要な荒れなどの視覚的な欠陥を発生させることなく適切な階調変更や彩度変更や色変更を行って好ましい画像を得る。【解決手段】対象画像の注目画素に鮮鋭化処理を施した主信号処理工程の画素と、一方で並列的に注目画素に対して階調変更、彩度変更、色変更を施したのちにその近傍の所定の領域での平滑処理を行った画素とを一定比率で合成することで、大幅な階調、彩度、色変更をおこなっても画像のトーンジャンプや不要な荒れなどの視覚的欠陥を発生させず、かつボケのない好ましい画像を得ることができる。【選択図】図１
2005250860.tif 000002
【特許請求の範囲】
【請求項１】
任意に選択された画像入力手段によって取得された入力画像が所定の画像品質を有するように、前記入力画像の画像データに画素ごとに画像処理を行う画像処理方法であって、（１）：前記入力画像の処理対象である注目画素に対して鮮鋭化処理を行う主信号処理工程と（２）：（１）の処理と並列的に前記入力画像の処理対象である注目画素に対して階調変更および彩度変更および色変更を施す階調色調変更工程と（３）：（２）の階調色調変更処理後の画素に関して当該画素の近傍の所定の領域で平滑化処理を施す工程と（４）：（３）の工程で得られた平滑化処理画素と（１）の工程で得られた鮮鋭化処理画素を一定比率で合成する工程と、を有することを特徴とする画像処理方法。
【請求項２】
上記入力画像の解像度もしくは画像サイズに連動させて上記（３）の平滑化処理を行うための近傍領域のサイズを決定し、さらに決定した当該平滑化処理の近傍領域のサイズに上記（１）の主信号処理工程における鮮鋭化処理の強度を連動させることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
請求項１に記載の画像処理方法において、階調色調変更工程と平滑化処理工程の処理の順序を入れ替えた画像処理方法であって、（１）：入力画像の処理対象である注目画素に対して鮮鋭化処理を行う主信号処理工程と（２）：（１）の処理と並列的に前記入力画像の処理対象である注目画素に対して当該画素の近傍の所定の領域で平滑処理を施す工程と（３）：（２）の平滑化処理後の画素に関して当該画素の階調変更および彩度変更および色変更を施す階調色調変更工程と（４）：（３）の工程で得られた階調色調変更画素と（１）の工程で得られた鮮鋭化処理画素を一定比率で合成する工程と、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラやカラースキャナなどからデジタル的に撮像または保存された画像データの好ましい画質再現のための高品質画像処理に関するものである。
【背景技術】
【０００２】
デジタルカメラなどによって撮影されたＲＧＢ画像は、通常、モニターディスプレーもしくは、プリンタ出力によって観察されるが、露光不足や撮影対象に当たる照明の色かぶりなどの撮影状況の問題や、カメラのノイズ、ボケなどの発生によって画質的に好ましくない再現となる場合がある。また、画質的な問題は無くても、画像に対する観察者の好みから画像の修正が望まれる場合もある。
【０００３】
このような場合、通常、画像レタッチソフトウエアなどを用いて、画像の再現レンジや階調の調整、彩度の調整、色調の調整、鮮鋭度の調整などを行って好ましい画質に変換するための処理が行われる。特に、画像の階調の調整や彩度の調整や色調の調整は画質に大きな影響を与えるので、好ましい画質を得るためには必ず調整される要素である。しかし、望まれる良好な画質の画像に変換するためには、高度な画像調整技術と調整経験が必要であった。
【０００４】
一方で、画像のデジタル化が進むにつれて、容易に画像の修正を行いたいという要求が増してきたために、特開平１１−０２７５３５、特開平１１−１５０６５６に示されるように、画質調整の技術や経験が無くとも適切な調整操作が行える方法が提案されてきた。
【０００５】
【特許文献１】特開平１１−０２７５３５公報
【特許文献２】特開平１１−１５０６５６公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
デジタル的に保存された限られた階調を持つ画像に対して、上記の階調変更、彩度変更、色調変更を行うと、画像中にトーンジャンプを発生させたり、画像中のノイズが強調されて画像の荒れを発生させる場合があり、大幅な階調、彩度、色調の変更を行うと返って画質の低下を来たすため、調整の技術や経験があっても、必要な調整を行うことができない場合が多い。さらに、調整技術や経験のない者が上記調整を行うと、容易に全体の画質が破綻してしまい、全く好ましい結果が得られない場合が多い。
【０００７】
本発明は前記従来の技術の問題に鑑みてなされたものであり、画像中の不要なトーンジャンプや画像の荒れを発生させることなく画像の階調、彩度、色調の大幅な調整、変更を行うことができ、その結果、好ましい画質を容易に得ることのできる画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明のうち請求項１に記載の発明は、（１）：前記入力画像の処理対象である注目画素に対して鮮鋭化処理を行う主信号処理工程と（２）：（１）の処理と並列的に前記入力画像の処理対象である注目画素に対して階調変更および彩度変更および色変更を施す階調色調変更工程と（３）：（２）の階調色調変更処理後の画素に関して当該画素の近傍の所定の領域で平滑化処理を施す工程と（４）：（３）の工程で得られた平滑化処理画素と（１）の工程で得られた鮮鋭化処理画素を一定比率で合成する工程と、を有することを特徴とする画像処理方法であり、階調変更、彩度変更、色変更処理後の画素に対して平滑処理を施すことで不要なトーンジャンプや画像の荒れが発生しない修正画素が得られ、さらにその修正画素と鮮鋭化処理を施した主信号と合成することで、大幅な階調、彩度、色修正を行っても不要なトーンジャンプや画像の荒れが無く、かつ平滑化処理で発生したボケを相殺した好ましい画像が得られる。
【０００９】
上記目的を達成するために、本発明のうち請求項２記載の発明は、入力画像の解像度もしくは画像サイズに連動させて平滑処理を行う近傍領域のサイズを決定し、さらに当該近傍領域のサイズと別途並列的に処理される注目画素に対して行う鮮鋭化の強度を連動させることを特徴とする請求項１に記載の画像処理方法であり、画像のトーンジャンプや荒れを発生させないための最適な平滑化処理と平滑化処理によって発生した画像のボケを相殺するための最適な鮮鋭化処理を行うことができ、自動的に画像の荒れやボケのない好ましい画像が得られる。
【００１０】
上記目的を達成するために、本発明のうち請求項３記載の発明は、請求項１において階調変更および彩度変更および色変更を施した階調色調変更処理後の画素に対して平滑化処理を行う代わりに、先に入力画像の注目画素に対してその近傍の所定の領域で平滑化処理を行い、当該平滑化処理後の画素に関して階調変更および彩度変更および色変更を施す階調色調変更を行う画像処理方法であり、請求項１記載の発明と同様に大幅な階調、彩度、色修正を行っても不要なトーンジャンプや画像の荒れが無く、かつ平滑化のボケのない好ましい画像が得られる。
【発明の効果】
【００１１】
請求項１に記載の発明により、デジタルで記録された限られた階調の画像データに対して大幅な階調変更や彩度変更や色変更を施しても画像のトーンジャンプや荒れなどの画像の視覚的欠陥を発生させることなく望まれる好ましい画像を得ることができる。
【００１２】
さらに請求項２に記載の発明により、画像の解像度や画像サイズに連動して平滑化処理と鮮鋭化処理を自動で行うことができ、高度な画像調整技術と調整経験がなくても好ましい画像を得ることができる。
【００１３】
さらに請求項３に記載の発明では処理の順序に依存せずに同様の効果を得ることができるため、発明の実施において高い自由度で処理系を構成でき、実施例４に記載のように処理の合理化によって処理の高速化が図れる。
【発明を実施するための最良の形態】
【００１４】
図１に発明を実施するための最良の形態を示す。処理の構成は画像入力部１００、入力された画像の着目画素に対して鮮鋭化処理を行う鮮鋭化処理部１０１、入力された画像の着目画素に対して階調変更および彩度変更および色変更を行う階調色調変更処理部１０２、階調色調変更処理された画素の近傍領域にて平滑化処理を行う平滑化処理部１０３、鮮鋭化処理部１０１と平滑化処理部１０３の出力画素を一定比率で合成する画素合成部１０４、処理結果を出力するための画像出力部１０５からなる。
【実施例１】
【００１５】
以下、本発明に係る画像処理方法の実施の一例を、添付の図面に示される実施形態を基に、詳細に説明する。図１に本発明の係る画像処理方法の簡単な構成を示す。主な構成としては、処理の対象となる画像を入力する画像入力部１００、入力された画像の着目画素に対して鮮鋭化処理を行う鮮鋭化処理部１０１、入力された画像の着目画素に対して階調変更および彩度変更および色変更を行う階調色調変更処理部１０２、階調色調変更処理された画素の近傍領域にて平滑化処理を行う平滑化処理部１０３、鮮鋭化処理部１０１と平滑化処理部１０３の出力画素を一定比率で合成する画素合成部１０４、処理結果を出力するための画像出力部１０５からなる。上記構成では着目画素ごとに処理が行われ、画像中の着目画素を例えば画面左上から右下に向かう方向に順番に処理することで全画像の処理を行うことになる。
【００１６】
図２は図１の鮮鋭化処理部１０１の内部処理構成を示したものである。図２に示す鮮鋭化処理はアンシャープマスキングと呼ばれる画像の鮮鋭化方法であり、２００の着目画素主信号Ｓの近傍平滑化信号Ｕ（２０１）を求め、減算器２０２にて主信号Ｓから平滑化信号Uを減算する。さらに、その演算結果に鮮鋭化係数Ｇ（２０３）を乗算器２０４にて乗算し、その演算結果を加算器２０５にて主信号Ｓと加算する。
加算された結果は鮮鋭化処理が施された画素となるが、さらに、画像中のノイズの鮮鋭化に伴う強調を避けるために、Ｔのレベルまでの鮮鋭化信号をカットする閾値処理２０６を作用させて２０７の鮮鋭化処理済主信号Ｓ'を得る。図２の鮮鋭化処理を式に表すと数１のようになる。入力された対象画像の注目画素は主信号処理工程として本鮮鋭化処理部において鮮鋭化処理が施される。
【００１７】
図１の階調色調変更処理部１０２にて注目画素の階調の変更、彩度の変更、色の変更が行われるが、階調の変更は通常図３の例に示すようなルックアップテーブルを参照して処理される。図３の例は赤（Ｒ）信号用の階調変更ルックアップテーブルを表しており、入力信号のＰｒはこのルックアップテーブルにてＰ’ｒに変換される。
【００１８】
さらに、色の変更に際しても図４の例に示すような多次元のルックアップテーブルが通常使用される。図４の例は赤（Ｒ）信号用の３次元ルックアップテーブルを表しており、Ｐｒ、Ｐｇ、Ｐｂはそれぞれ着目画素の赤、緑、青の画素値を表し、この入力信号に対してルックアップテーブルの赤の出力値はＰ’ｒとなる。
【００１９】
また、彩度の変更には数２に示すような演算処理によって変更が行われる。数２はＲＧＢ画像の彩度変更の演算を表しているが、Ｐｒ、Ｐｇ、Ｐｂはそれぞれ着目画素の赤、緑、青の画素値を表し、Ｓは彩度変更の強さを表し、変更後の画素値はそれぞれＰ’ｒ、Ｐ’ｇ，Ｐ’ｂで表されている。
【００２０】
入力された対象画像は上記主信号処理工程とは別に並列的にこの階調色調変更処理部１０２にて階調変更、彩度変更、色変更されるが、例えば階調変更を行った場合には変更の前後で画像にトーンジャンプが発生する場合がある。これは階調変更によって画像の階調値に粗密が発生するためであり、画質にとって好ましくない現象である。階調変更と同様に色変更を行った場合にも画像の階調値に粗密が発生するために、トーンジャンプを発生させる場合がある。また、彩度変更では、例えば対象画像の彩度を強調するような変更を行った場合、画像中の彩度の高い領域のノイズも強調してしまうことになり、変更後の画質としてざらついた荒れたものとなってしまう場合がある。
【００２１】
必要な階調変更、彩度変更、色変更された画像は次の平滑化処理部１０３にて着目画素の近傍の所定の領域に対して平滑化処理が行われる。この平滑化処理は近傍領域をｍ×ｍとすると、例えば数３に示すようにガウス分布型の重み付けを持って演算処理するのがよい。
【００２２】
階調変更、彩度変更、色変更によってトーンジャンプやノイズの強調などの画質の欠陥が発生した画像は、好ましい画質を得るための階調色調変更の効果を保存したまま、この平滑化処理によって階調のジャンプが解消され、またノイズの抑制によって滑らかな画像となり画質的な欠陥が解消されたものとなる。例えば階調変更を行った場合の効果を図５に説明する。図５はある画像のグリーン信号のヒストグラムを処理を追って示したものであるが、５００の処理前の元画像のヒストグラムは階調変更によって５０１のように階調値の欠落する部分が発生する。これがトーンジャンプとして画質の欠陥となってしまうが、階調変更後の画像に対して平滑化処理を行った画像のヒストグラムでは５０２のように失われた階調値が充填されてトーンジャンプのない画像が得られていることが分かる。
【００２３】
上記のようにして平滑化処理を受けた画像の各画素は画素合成部１０４によって鮮鋭化処理された主信号処理工程の画素と一定の比率にて合成される。平滑化処理された階調色調変更画像は高周波数成分が失われたボケた画像となっていが、画素合成部１０４にて平滑化処理後の画像と合成する主信号処理工程の画像は鮮鋭化処理によって高周波数成分を強調した画像となっているために、この合成によって平滑化処理で失われた高周波数成分は補われ、ボケのない合成後の画像を得ることができる。
【００２４】
上記のように画素合成部１０４にて鮮鋭化処理を施された主信号処理工程の画素と平滑化処理後の画素の合成が行われるが、主信号処理工程の画素値をPm、平滑化処理後の画素値をＰｓ、合成の比率をAとすると、合成後の画素値Ｐｏは数４のようになる。この合成比率Ａが大きいほど合成後の画像は平滑化による画像のボケは少ないが階調変更、彩度変更、色変更の効果が小さい画像となり、逆に合成比率Ａが小さいほど合成後の画像は平滑化による画像のボケは大きいが階調変更、彩度変更、色変更の効果は大きい画像となる。通常は合成比率Ａは０．５として主信号処理工程の画素値と平滑化処理後の画素値を同じ比率で合成するのが適当と考えられる。
【００２５】
以上のようにして大幅な階調変更、彩度変更、色変更を行ってもトーンジャンプや画像の荒れなどの画質的な欠陥を生じることなく、かつ、平滑化による画像のボケのない好ましい画像変更を行うことができる。
【実施例２】
【００２６】
図６は本発明に係る画像処理方法において、処理対象の画像の解像度もしくはサイズに連動させた平滑化処理の近傍領域のサイズの決定とその決定した当該平滑化処理の近傍領域のサイズに主信号処理工程における鮮鋭化処理の強度を連動させるための構成を示す。
【００２７】
本発明において階調色調変更１０２の後に平滑化処理１０３を行うとき、平滑化処理の近傍領域のサイズが必要以上に大きい場合、処理画像のボケも大きくなり、主信号処理工程の画像との合成後の画像出力１０５においても画像のボケが残ってしまう。また逆に、平滑化処理の近傍領域のサイズが必要以下に小さいと、階調色調変更にて発生した画像のトーンジャンプや荒れを十分に抑制することができず、好ましい結果が得られない場合がある。従って、上記平滑化処理の近傍領域のサイズは対象画像に対して適切に決定されなければならない。さらに前記平滑化処理後の画素と合成される主信号処理工程の画素は前記平滑化処理にて発生した画像のボケを抑制する目的で鮮鋭化処理１０１を施される。すなわち、前記鮮鋭化処理では前記平滑化処理にて発生したボケに応じて適切な鮮鋭化を行う必要がある。例えば、必要以上に強い鮮鋭化処理を行うと合成後の画像出力１０５はノイズが強調された、ざらついた画像となってしまうし、必要以下の弱い鮮鋭化処理だと合成後の画像出力１０５は平滑化処理１０３で発生したボケを十分に補うことができずにボケた画像となってしまい、何れにしても好ましくない画質の画像となる。
【００２８】
図６のパラメータ設定部６０１は処理対処画像の解像度もしくは画像サイズの情報から平滑化処理１０３の近傍領域のサイズと鮮鋭化処理１０１のアンシャープマスクパラメータを決定する。鮮鋭化処理１０１に設定されるアンシャープマスクパラメータは図２に示したアンシャープマスキングの構成において２０１の近傍平滑化信号Uを得るための近傍領域のサイズと鮮鋭化の強さを決定する２０３の鮮鋭化係数Gである。このパラメータ設定部６０１は例えば図７に示すように、処理対象の画像の解像度もしくは画像サイズに対して平滑化処理の近傍領域サイズ（６０３）とアンシャープマスキングのU信号生成近傍領域サイズと鮮鋭化係数G（６０２）をテーブル化しておき、対象画像の解像度情報もしくはサイズ情報から各処理のパラメータを自動的に決定すればよい。
【実施例３】
【００２９】
図８は図１の本発明に係る画像処理方法において、階調色調変更処理１０２と平滑化処理１０３の処理順序を入れ替えた別の処理構成を示す。
【００３０】
図８の構成において、主信号処理工程と並列的に処理される着目画素はまず近傍の所定の領域で平滑化処理１０３が行われる。その後、平滑化処理された画素に対して階調色調変更１０２が行われるが、対象画像は平滑化処理によってノイズが除去されかつ階調が滑らかに変換されているため、平滑化処理後の画像に対して大幅な階調変更、彩度変更、色変更を行ってもトーンジャンプや画像の荒れなどの画質的な欠陥を発生させることはない。その後、階調色調変更処理された画素は画素合成部１０４にて鮮鋭化処理された主信号処理工程の画素と一定比率で合成され、実施例１の結果と同様に、最終的にトーンジャンプや画像の荒れなどの画質的な欠陥を生じることなく、かつ、平滑化による画像のボケのない好ましい画質の画像を得ることができる。
【実施例４】
【００３１】
図９は実施例３の図８の処理構成における平滑化処理１０３を鮮鋭化処理１０１のアンシャープマスキング処理の中で生成される２０１近傍平滑化信号Uと共用した場合の処理構成を示す。すなわち２０１近傍平滑化信号Ｕは主信号処理工程の鮮鋭化処理の過程で生成されるが、同時に実施例３の図８における平滑化処理１０３の代わりとして共用され、前記近傍平滑化信号Uに対してアンシャープマスキング処理とは並列的に階調色調変更処理１０２が施される。この場合、アンシャープマスキングのための近傍平滑化処理と階調色調変更処理のための平滑化処理の平滑化のレベルは同一となる。さらに１０２の階調色調変更処理された画素は鮮鋭化処理された主信号処理工程の画素と画素合成部１０４にて合成される。この処理構成によって実施例３と同様の効果が得られ、かつ、平滑化処理が一度で済むために処理の大幅な高速化が図れるという利点がある。
【００３２】
【数１】
2005250860.tif 000003
【００３３】
【数２】
2005250860.tif 000004
【００３４】
【数３】
2005250860.tif 000005
【００３５】
【数４】
2005250860.tif 000006
【産業上の利用可能性】
【００３６】
本発明はデジタル画像の画質の劣化を発生させることなく画像の階調変更、色調変更、彩度変更を行って好ましい画質の画像を得ることができるので、画質の向上が求められる産業分野すなわち印刷製版、ＴＶ放送、インターネットを含む通信による画像配信などの分野で広く利用される可能性がある。さらに、本発明の画像処理方法をソフトウエアだけではなくハードウエア上に実装することで、デジタルカメラやスキャナなど撮像装置の画質向上に利用される可能性がある。また、カラープリンターやTV受像機などの画像出力装置の画質向上にも利用できる。
【図面の簡単な説明】
【００３７】
【図１】本発明の画像処理方法に関する簡単な構成図である。（実施例１）
【図２】本発明の画像処理方法を構成する鮮鋭化処理に関する簡単な構成図である。
【図３】階調変更に用いられるルックアップテーブルの例として説明図である。
【図４】色変更に用いられる多次元ルックアップテーブルの例としての説明図である。
【図５】階調変更によるトーンジャンプが平滑化処理で解消される例の説明図である。
【図６】本発明の画像処理方法の別の構成に関する簡単な構成図である。（実施例２）
【図７】処理パラメータ決定テーブルの説明図である。
【図８】本発明の画像処理方法の別の構成に関する簡単な構成図である。（実施例３）
【図９】本発明の画像処理方法の別の構成に関する簡単な構成図である。（実施例４）
【符号の説明】
【００３８】
１００画像入力部
１０１鮮鋭化処理
１０２階調色調変更部
１０３平滑化処理部
１０４合成部
１０５画像出力部
２００着目画素主信号Ｓ
２０１近傍平滑化信号Ｕ
２０２減算器
２０３鮮鋭化係数Ｇ
２０４乗算器
２０５加算器
２０６閾値処理Ｔ
２０７鮮鋭化処理済主信号Ｓ’
６０１パラメータ設定部
６０２アンシャープマスクパラメータ
６０３平滑化処理マスクサイズ
７００処理パラメータ決定テーブ
【図１】
2005250860.tif 000007
【図２】
2005250860.tif 000008
【図３】
2005250860.tif 000009
【図４】
2005250860.tif 000010
【図５】
2005250860.tif 000011
【図６】
2005250860.tif 000012
【図７】
2005250860.tif 000013
【図８】
2005250860.tif 000014
【図９】
2005250860.tif 000015