(57)【特許請求の範囲】
【請求項１】
カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、
色にじみを軽減するための補正量を領域ごとに推定する推定手段と、
前記推定手段によって推定された複数の領域の複数の補正量を平滑化する平滑化手段と、
前記平滑化手段で平滑化された補正量を使用して色にじみを軽減する軽減手段と、
を有し、
前記複数の領域は、第１の領域と該第１の領域の周辺領域である複数の第２の領域からなり、
前記平滑化手段は、前記第１の領域の第１の補正量がゼロではなく前記複数の第２の領域の複数の第２の補正量が全てゼロである場合には、前記第１の補正量をゼロに置き換えることを特徴とする画像処理装置。
【請求項２】
前記平滑化手段は、前記複数の第２の補正量の全てがゼロでない場合には、前記第１の補正量を、前記第１の補正量および前記複数の第２の補正量を平均化することによって得られる値に置き換えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記推定手段は、色成分毎の隣接画素間の信号強度の傾きを利用して前記色にじみの補正量を推定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
カラー画像に対して色にじみを軽減する処理を行う画像処理方法であって、
色にじみを軽減するための補正量を領域ごとに推定する推定工程と、
前記推定工程によって推定された複数の領域の複数の補正量を平滑化する平滑化工程と、
前記平滑化工程で平滑化された補正量を使用して色にじみを軽減する軽減工程と、
を有し、
前記複数の領域は、第１の領域と該第１の領域の周辺の領域である複数の第２の領域からなり、
前記平滑化工程は、前記第１の領域の第１の補正量がゼロではなく前記複数の第２の領域の複数の第２の補正量が全てゼロである場合には、前記第１の補正量をゼロに置き換えることを特徴とする画像処理方法。
【請求項５】
コンピュータを、
色にじみを軽減するための補正量を領域ごとに推定する推定手段、
前記推定手段で算出された複数の領域の複数の補正量を平滑化する平滑化手段、
前記平滑化手段で平滑化された補正量を使用して色にじみを軽減する軽減手段、
として機能させるためのプログラムであって、
前記複数の領域は、第１の領域と該第１の領域の周辺領域である複数の第２の領域からなり、
前記平滑化手段は、前記第１の領域の第１の補正量がゼロではなく前記複数の第２の領域の複数の第２の補正量が全てゼロである場合には、前記第１の補正量をゼロに置き換えることを特徴とするプログラム。
【請求項６】
請求項１から３のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像に対して色にじみを軽減する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色にじみとして生じる。特許文献１は、色にじみの補正量を推定して色成分ごとの補正量を入力カラー画像から減算することにより色にじみを軽減する画像処理方法を提案している。また、特許文献２では、白とび画素周辺の紫色領域を色にじみ領域と判定して、それらの色にじみ画素を色にじみ領域の近傍画素と置き換えることで色にじみを軽減している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４７９８０号公報
【特許文献２】特開２００６−０１４２６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の画像処理方法では隣接する画素において補正量にばらつきが発生することがある。特に、色成分毎の隣接画素間の画像強度傾斜によって色にじみの補正量を推定する推定手段を使用する場合には、ばらつきが生じやすい。そして、画素ごとにばらつきのある補正量を入力カラー画像から差し引くことで色にじみ軽減画像に入力カラー画像には無かったノイズが発生してしまうおそれがある。
【０００５】
一方、特許文献２の画像処理方法では、色にじみ領域を周辺画素で置き換えることによって、その後置き換えによって発生したばらつきを軽減するぼかし処理を行っているが、色にじみ領域とその周辺領域のシャープネスが損なわれやすい。
【０００６】
このように従来の色にじみ軽減処理では、入力カラー画像には無かったノイズが発生するという問題や、色にじみ領域とその周辺領域のシャープネスが損なわれるという問題がある。
【０００７】
本発明は、色にじみが軽減された画像のシャープネスの低下を防止する画像処理装置、画像処理方法およびプログラムを提供することを例示的な目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置は、カラー画像に対して色にじみを軽減する処理を行う画像処理装置であって、色にじみを軽減するための補正量を領域ごとに推定する推定手段と、前記推定手段によって推定された複数の領域の複数の補正量を平滑化する平滑化手段と、前記平滑化手段で平滑化された補正量を使用して色にじみを軽減する軽減手段と、を有し、前記複数の領域は、第１の領域と該第１の領域の周辺領域である複数の第２の領域からなり、前記平滑化手段は、前記第１の領域の第１の補正量がゼロではなく前記複数の第２の領域の複数の第２の補正量が全てゼロである場合には、前記第１の補正量をゼロに置き換えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、色にじみが軽減された画像のシャープネスの低下を防止する画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置のブロック図である。（実施例１）
【図２】図２（ａ）は、高輝度な被写体に対するＲプレーン、Ｂプレーン及びＧプレーンの典型的なプロファイルを示す図であり、図２（ｂ）は非線形変換の特性を示す図である。（実施例１）
【図３】図１に示す補正手段の動作を示すフローチャートである。（実施例１）
【図４】図４（ａ）は補正量に対する孤立点除去の例を示す図であり、図４（ｂ）は補正量に対する平滑化の例を示す図である。（実施例１）
【図５】本発明の撮像装置のブロック図である。（実施例２）
【図６】図６（ａ）は、高輝度な被写体に対するＢプレーン及びＧプレーンの典型的なプロファイルを示すグラフであり、図６（ｂ）は、飽和画素から周囲の各画素までの距離を示す図であり、図６（ｃ）は、周囲の画素から飽和画素までの距離を示す図である。（実施例２）
【図７】色度座標を示す図である。（実施例２）
【図８】本発明の画像処理装置のブロック図である。（実施例３）
【図９】図９（ａ）は明暗の境界部における赤色のにじみを示す図であり、図９（ｂ）はガンマ補正を示す図である。（実施例３）
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施例について説明する。
【実施例１】
【００１２】
図１は、カラー画像に対して色にじみを軽減する実施例１の画像処理装置を有する撮像装置１００のブロック図である。撮像装置１００は、結像光学系１１０、イメージセンサ（撮像素子）１２０、ＡＤ変換部１３０、デモザイク部１４０、色にじみ軽減部１５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。
【００１３】
図１において、写野（被写体）ｆは、結像光学系１１０を経てイメージセンサ１２０上に結像する。本実施例の結像光学系１１０は全ての波長域においてある程度の色収差が補正されているが、特にＧ波長域での色収差が良好に補正されており、他波長ではＧ波長域より色収差が残存している。色収差の補正基準を下げることにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【００１４】
イメージセンサ１２０は、被写体像を光電変換し、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサとする。原色カラーフィルタ系は、特許文献１の図４に示すように、各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ、Ｇ、Ｂの各バンドに対応する色成分を撮影する。単板カラーイメージセンサでは、この色フィルタは、特許文献１の図５に示すように、画素毎に空間的に配列し、各画素に対しては各々単一の色成分における強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。或いは、色分解プリズムを用いてＲ、Ｇ、Ｂの波長域に分け、それぞれ異なるイメージセンサで結像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００１５】
ＡＤ変換部１３０では、イメージセンサからアナログ電圧として出力される色モザイク画像を画像処理に適するデジタルデータへと変換する。
【００１６】
デモザイク部１４０では、色モザイク画像を補間することによって、全ての画素においてＲＧＢの色情報が揃ったカラー画像を生成する。なお、補間手法は限定されない。生成されたカラー画像は結像光学系１１０の色収差によって、Ｇ成分に比してＲやＢ成分の解像度が劣る画像となる。このため明暗の境界部では、特許文献１の図６に示すように、赤や青がぼやけ、明部の周囲に赤や青、両者が混じった紫の縁取りのようなアーティファクトが生じる。ここで、結像光学系の特性及び画像中の光源の分光分布等によりＲ、Ｂのにじみの程度が異なる。なお、イメージセンサ１２０が補色系カラーフィルタの場合でも、色変換処理によって同様にＲ、Ｇ、Ｂの色成分からなるカラー画像が得られる。
【００１７】
色にじみ軽減部１５０は、後述するように、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する画像処理装置を構成する。
【００１８】
次に、視覚補正部１６０により、主として画像の見栄えを改善するための処理（例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調）がカラー画像に対し行われる。
【００１９】
次に、圧縮部１７０が、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【００２０】
これらイメージセンサ１２０から記録部１８０は実際には別体のデバイスとは限らず、単一のマイクロプロセッサ（マイクロコンピュータ）が複数の部に係る処理を行うこともある。圧縮処理が行われたデジタル画像信号は、記録部１８０にてフラッシュメモリ等の記録媒体に記録される。
【００２１】
以下、色にじみ軽減部１５０による画像処理について説明する。色にじみ軽減部１５０は、推定手段１５１、平滑化手段１５２、軽減手段１５３を有し、この順番で入力画像を処理して出力画像を出力する。色にじみ軽減部１５０は、Ｒ成分、Ｂ成分を軽減対象とし、基準成分としてＧ成分を用いる。
【００２２】
まず、推定手段１５１による色にじみの有無とその補正量の推定方法の一例について説明する。図２（ａ）は、高輝度な被写体に対するＲ、Ｇ及びＢ成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はＲ、Ｇ及びＢ成分の強度である。
【００２３】
特許文献１に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくＲ、Ｇ、Ｂ成分が飽和し、白く飽和した領域ができる。Ｒ成分とＢ成分はほぼ同じプロファイルとする。この先、Ｇ成分は減衰していくがＲ及びＢ成分の飽和半径は更に広いため、徐々にＧ成分とＲ及びＢ成分の画像強度差は大きくなるため、マゼンタとなり色味を増していく。しかし、Ｒ及びＢ成分の飽和半径に達するとＲ、Ｂ成分も減衰を始め、この先ではＧ成分とＲ、Ｂ成分の画像強度差は小さくなっていき、紫のにじみとなっていく。あるところで、Ｇ成分の裾の端に達すると、その先はＲ、Ｂ成分のみが強度を持ち、より彩度の高い紫のにじみへと変化していく。
【００２４】
このマゼンタや紫のにじみが輝度飽和領域周辺の色として不自然なものとなる。仮に、Ｒ、Ｂ成分のにじみがＧ成分と同程度であれば、マゼンタや紫のにじみは発生せず高輝度被写体の色と認識され、自然なにじみとなる。
【００２５】
そこで、推定手段１５１は、隣接画素間の色成分毎の信号強度の傾き（勾配）によって色にじみ量とそれを軽減するための補正量を画素ごとに（領域ごとに）推定する。より具体的には、推定手段１５１は、色成分毎に信号強度の傾きの分布を表すマップを計算して傾き量によって色にじみ領域を推定し、更に得られた信号強度の傾きによって色にじみ量を推定する。この場合、推定手段１５１は、信号強度の傾き算出工程（ステップ）、色にじみ判定工程（ステップ）、色にじみ量推定工程（ステップ）を行う。
【００２６】
信号強度の傾き算出工程では、推定手段１５１は、Ｒ、Ｇ、Ｂ各色成分に対する信号強度の傾き∇Ｒ、∇Ｇ、∇Ｂを次式によって計算する。
【００２７】
【数１】
0005907590.tif 000002
【００２８】
【数２】
0005907590.tif 000003
【００２９】
【数３】
0005907590.tif 000004
【００３０】
ここで、Ｒ（ｘ＋１，ｙ）、Ｇ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）はＲ、Ｇ、Ｂ成分における注目画素右隣の画素値である。Ｒ（ｘ−１，ｙ）、Ｇ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）はＲ、Ｇ、Ｂ成分における注目画素左隣の画素値である。Ｒ（ｘ，ｙ＋１）、Ｇ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）はＲ、Ｇ、Ｂ成分における注目画素下隣の画素値である。Ｒ（ｘ，ｙ−１）、Ｇ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）はＲ、Ｇ、Ｂ成分における注目画素上隣の画素値である。算出範囲を大きくしたり、斜め画素も使うなど他の方法を使用してもよい。
【００３１】
色にじみ判定工程では、推定手段１５１は、色にじみ領域を信号強度の傾きで判断し、傾き量がある値以上の場合は色にじみであるとする。この際にＲ、Ｂの信号強度の傾きのみではなく、基準成分であるＧの信号強度の傾きも算出して比較することにより、より正確に色にじみ領域を特定することができる。例えば、Ｇの信号強度の傾きに対してＲ、Ｂの信号強度の傾きが大きい場合、色にじみである可能性が高いと判断する。ここで、信号強度の傾きの閾値、あるいは信号強度の傾き比の閾値を変えることにより、色にじみ領域の効果的に特定することができる。
【００３２】
最後に色にじみ量推定工程では、推定手段１５１は、次式に示すように、∇Ｒ、∇Ｇ、∇Ｂの絶対値にパラメータｋＲ、ｋＧ、ｋＢを乗じて色にじみ推定量ＥＲ、ＥＧ、ＥＢを算出する。
【００３３】
【数４】
0005907590.tif 000005
【００３４】
【数５】
0005907590.tif 000006
【００３５】
【数６】
0005907590.tif 000007
【００３６】
ここで、ＥＧはＲ、Ｂが飽和している領域の推定量として使用する。例えば、Ｒ成分の強度に対する非線形変換を行い、飽和度ＳＲを生成する。この非線形変換はＲが飽和しているかどうかを示すものであり、Ｒの強度が飽和している領域では１を、Ｒの強度が飽和していない場合は０となる。
【００３７】
このようにＳＲは０／１の２値でも良いが、図２（ｂ）に示すように、０〜１にかけて連続的に変化する値としてもよい。そして、飽和度ＳＲによって算出したＥＲ又はＥＧを選択する。すなわち、ＳＲが０／１の２値であれば新たな推定量ＥＲ’を次式のようにする。
【００３８】
【数７】
0005907590.tif 000008
【００３９】
また、ＳＲが０〜１にかけて連続的に変化する値であれば、新たな推定量ＥＲ’を次式のようにし、これを色にじみを除去または軽減するための補正量とする。
【００４０】
【数８】
0005907590.tif 000009
【００４１】
同様にＥＢ’は数式９または１０のようになる。
【００４２】
【数９】
0005907590.tif 000010
【００４３】
【数１０】
0005907590.tif 000011
【００４４】
平滑化手段１５２は、推定手段１５１で算出された補正量ＥＲ’およびＥＢ’に対して色成分毎に複数の画素を含む領域において平滑化処理を行う。「平滑化」とは、一般に、連続的なデータ処理において他のデータよりも大きく乖離しているデータを平均化あるいは除去することにより、ノイズ成分を除去して合理性を保つことである。
【００４５】
ここで、「除去」について、本実施例では孤立点を除去しているが（後述する孤立点除去工程１５２ｂ）、所定数以下の画素が補正量を有し、その周辺画素が補正量を有しない場合に前記所定数以下の画素を除去してもよい。また、ノイズを除去または低減できる限り、後述するノイズ除去フィルタを使用するなど他の手段を使用してもよい。
【００４６】
また、「平均化」は本実施例では加重平均であるが（後述する平均化工程１５２ｃ）、単純平均など平均の種類は問わない。
【００４７】
補正量ＥＲ’、ＥＢ’は、信号強度の傾きおよび信号強度の傾斜比を閾値によって色にじみ画素と特定された画素に対してのみ値を持つ。信号強度の傾きおよび信号強度の傾き比を用いた色にじみ画素の特定は効果的であるが、ノイズの影響などにより誤判定される画素もある。
【００４８】
例えば、色にじみではない領域に１画素だけ補正量を持つ場合が発生したり、色にじみ領域であるのに１画素だけ色にじみと判定されない場合などが発生する。同様に、補正量はＥＲ’、ＥＢ’は前述のように信号強度の傾きに依存するため、ノイズの影響で隣接画素であっても補正量が大きく異なる可能性がある。また、飽和領域と非飽和領域の境界では補正量に段差が生じる可能性がある。
【００４９】
このように補正量ＥＲ’、ＥＢ’にはムラが発生する可能性があり、補正量ＥＲ’、ＥＢ’をそのまま用いて色にじみ軽減を行うと色にじみ軽減画像にもムラが発生してしまう。よってこのムラを低減するために平滑化手段１５２が必要となる。
【００５０】
平滑化手段１５２は、図３に示すように、周辺補正量確認工程（ステップ）１５２ａ、孤立点除去工程（ステップ）１５２ｂ、平均化工程（ステップ）１５２ｃを行う。
【００５１】
ここではＲ成分を例に平滑化処理を説明する。周辺補正量確認工程１５２ａでは、ある注目画素（ｘ，ｙ）の補正量ＥＲ’（ｘ，ｙ）とその周辺画素の補正量ＥＲ’（ｘ’，ｙ’）、例えば、注目画素（ｘ，ｙ）を中心とした３×３画素領域（ｘ’＝ｘ−１、ｘ、ｘ＋１、ｙ’＝ｙ−１、ｙ、ｙ＋１）を取得する。なお、周辺領域は３×３画素領域に限定するものではなく、画素数、画素サイズなどにより最適な領域を選ぶものとする。
【００５２】
次に、平滑化手段１５２は、注目画素（ｘ，ｙ）における補正量ＥＲ’（ｘ，ｙ）および周辺画素の補正量ＥＲ’（ｘ’，ｙ’）のうち０でない補正量が１画素であるかどうかを判断する。平滑化手段１５２は、１画素の場合は、孤立点除去工程１５２ｂへ、それ以外の場合（複数画素の補正量が０でない場合）は平均化工程１５２ｃへ移行する。
【００５３】
孤立点除去工程１５２ｂは、注目画素（ｘ，ｙ）およびその周辺画素の補正量のうち１画素のみが補正量を持つ場合のうち、注目画素（ｘ，ｙ）のみ補正量をもっている場合に行われる。この場合、注目画素における補正量算出に誤りがあったと判断し、補正量ＥＲ’（ｘ，  ｙ）を次式に示すように置き換える（図４（ａ））。
【００５４】
【数１１】
0005907590.tif 000012
【００５５】
周辺画素１画素のみが補正量を持つ場合は補正量ＥＲ’（ｘ，ｙ）を変更しない。これによって周囲には補正量がなく注目画素のみが補正量を持つ孤立した補正画素を無くすことができ、ノイズを軽減することが可能となる。
【００５６】
なおここでは、注目画素１画素のみが補正量を持つ場合を誤りとしたが、周辺領域を広くした場合など必ずしも１画素のみが補正量を持つ場合を誤りとみなすとは限らない。例えば、５×５領域を確認する場合では、中心部の２画素、３画素が補正量を持つ場合等も誤りとみなしてもよい。このように注目画素周辺をどの程度確認するかによって孤立点とみなす大きさを最適な値に変えても良く、孤立点を１画素に限定するものではない。
【００５７】
平均化工程１５２ｃでは、平滑化手段１５２は、注目画素（ｘ，ｙ）の補正量ＥＲ’（ｘ，ｙ）を周辺領域の補正量ＥＲ’（ｘ’，ｙ’）を用いて平均化する。平均化方法としては、例えば周辺の補正値を用いた加重平均を行う。３×３領域の場合、補正値ＥＲ’（ｘ，ｙ）は次式に示すように平均化される。ここでＷは重み係数である。（図４（ｂ）参照）
【００５８】
【数１２】
0005907590.tif 000013
【００５９】
補正量に対し加重平均をとることで、補正量を滑らかにしつつ補正量のエッジを保存する。例えば、注目画素（ｘ，ｙ）の補正量のみが０の場合でも、周辺に補正量があれば注目画素（ｘ，ｙ）においても補正量を持つこととなり、補正量のばらつきがなくなり出力カラー画像に発生するノイズを軽減することが可能となる。
【００６０】
加重平均の重み係数Ｗはノイズと軽減効果のトレードオフとなり、単に平均をとった場合（Ｗが全て１の場合）は補正量が滑らかになり軽減後のノイズは少なくなるが、補正量が多く必要な画素の補正量がなまってしまい軽減効果が少なくなる。反対に注目画素の重み係数Ｗのみを高めすぎるとノイズが残ってしまう。３×３領域の場合、注目画素（ｘ，ｙ）の重み係数がＷ＝８前後で、注目画素（ｘ，ｙ）以外の重み係数をＷ＝１とするのが好適である。
【００６１】
孤立点除去工程１５２ｂおよび平均化工程１５２ｃによって、平滑化された補正量ＥＲ’（ｘ，ｙ）を注目画素（ｘ，ｙ）の最終的な補正量ＥＲ’（ｘ，ｙ）とする。同様にＢ成分についても平滑化処理を行い、平滑化された補正量ＥＢ’（ｘ，ｙ）を得る。
【００６２】
軽減手段１５３では、平滑化手段１５２で平滑化された補正量ＥＲ’、ＥＢ’をそれぞれＲ成分、Ｂ成分の強度から差し引き、新たなＲ成分およびＢ成分強度を次式のようにする。
【００６３】
【数１３】
0005907590.tif 000014
【００６４】
【数１４】
0005907590.tif 000015
【００６５】
このようにＲ成分、Ｂ成分を修正したカラー画像を本色にじみ軽減部の出力として視覚補正部１６０に渡す。
【００６６】
本実施例では結像光学系１１０から記録部１８０までを備えた撮像装置として説明したが、これらのなかで色にじみ軽減部１５０を除く一部或いは全部を別の装置として設け、本発明を色にじみ軽減のみを行う画像処理装置として構成してもよい。この場合、本発明と別体の撮像装置で撮影され、半導体メモリ、磁気／光ディスクなとの記録媒体に格納されたカラー画像を画像処理装置で読み込み（入力）可能とするようにしてもよい。
【００６７】
本実施例によれば、算出した補正量に対しばらつきを抑える補正処理を行うことで、入力画像のシャープネスを損なうことなく色にじみを軽減することができ、且つノイズの発生を抑え、滑らかで違和感のない色にじみ軽減画像を得ることが可能となる。
【実施例２】
【００６８】
図５は、カラー画像に対して色にじみを軽減する実施例２の画像処理装置を有する撮像装置２００のブロック図である。撮像装置２００は、結像光学系２１０、色分解プリズム２１５、イメージセンサ２２０、ＡＤ変換部２３０、色にじみ軽減部２５０、視覚補正部２６０、圧縮部２７０、記録部２８０を有する。
【００６９】
イメージセンサ２２０は実施例１と異なり３板式であり、それに伴い色分解プリズム２１５が追加され、実施例１に存在したデモザイク部１４０は不要となる。
【００７０】
図５において被写体からの光線は結像光学系２１０及び色分解プリズム２１５を経てイメージセンサ２２０上に結像する。色分解プリズムでは光の波長によって光線の進行方向が異なるためＲ、Ｇ、Ｂの波長域によって異なるイメージセンサ２２０に到達する。このため、イメージセンサ２２０はカラーフィルタを備えず、各々ＲＧＢの各色成分に対応する像を得る。
【００７１】
本実施例の結像光学系２１０はＲ、Ｇ波長域において色収差が良好に補正され、Ｂ波長域では色収差が残存している。３板式では各イメージセンサの前後位置を調整することにより、色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施例ではそのような調整は考慮しない。このため、Ｒ、Ｇ成分に比してＢ成分の解像度が劣り、３つの成分を合成したカラー画像においては、特許文献１の図６に示すように、明暗の境界部で青がぼやけ、明部の周囲に青の縁取りのようなアーティファクトが生じる。
【００７２】
ＡＤ変換部２３０では３枚のイメージセンサからアナログ電圧として出力されるＲＧＢ各色成分の画像を、以降の画像処理に適するデジタルデータへと変換する。
【００７３】
色にじみ軽減部２５０は、後述するように、画像処理によりカラー画像よりこのアーティファクトを軽減する画像処理装置を構成する。視覚補正部２６０、圧縮部２７０、記録部２８０は実施例１の視覚補正部１６０、圧縮部１７０、記録部１８０と同様である。
【００７４】
以下、色にじみ軽減部２５０による画像処理について説明する。色にじみ軽減部２５０は、推定手段２５１、平滑化手段２５２、および軽減手段２５３を有し、この順番で入力画像を処理して出力画像を出力する。
【００７５】
図６（ａ）は、高輝度な被写体に対するＢ及びＧ成分の典型的なプロファイルを示し、横軸は画像上の断面であり、縦軸はＢ及びＧ成分の強度である。
【００７６】
特許文献１に説明されているように、撮影画像としては本来の高輝度被写体より一回り大きくＧ成分もＢ成分も飽和し、白く飽和した領域ができる。Ｒ成分はＧ成分と同じプロファイルとする。この先、Ｇ成分は減衰していくがＢ成分の飽和半径は更に広いため、徐々にＧ成分とＢ成分の画像強度差は大きくなるため、水色として青みを増していく。しかし、Ｂ成分の飽和半径に達するとＢ成分も減衰を初め、この先ではＧ成分とＢ成分の画像強度差は小さくなっていく。あるところで、Ｇ成分の裾の端に達すると、その先はＢ成分のみが強度を持ち、真っ青のにじみとなる。
【００７７】
この水色部分における青みと真っ青なにじみが不自然なものとなる。仮に、Ｂ成分のにじみがＧ成分と同程度であれば、にじみは高輝度被写体の色と認識され、自然なにじみとなる。
【００７８】
そこで、推定手段２５１は、飽和画素からの距離を利用して色にじみ量を推定する。この場合、推定手段２５１は、距離算出工程（ステップ）、領域判定工程（ステップ）、色にじみ量推定工程（ステップ）および過除去抑制工程（ステップ）を行う。
【００７９】
まず距離算出工程では、推定手段２５１は、Ｇ、Ｂ双方の色成分に対し、強度が一定の閾値以上となる飽和画素を抽出し、各画素において前記領域からの距離ｄＧ、ｄＢを画素幅単位で算出する。例えば、図６（ｂ）において斜線部分がイメージセンサ２２０において電荷が飽和した領域である飽和画素だとすれば、距離は各画素に記した数値のようになる。
【００８０】
閾値としては、ＡＤ変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド（ｑｕａｎｓｉ−Ｅｕｃｌｉｄｅａｎ）距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は０、非飽和画素は正値となる。
【００８１】
この符号により各画素は、（１）Ｂ成分が飽和している、（２）Ｂ成分が飽和していないに区分され（図６（ａ）参照）、少なくとも領域（１）に対してＢ成分が非飽和の領域からの距離ｄｎＢを同様に算出する。図６（ｂ）がｄＢであれば、ｄｎＢは図６（ｃ）のようになる。なお、ｄｎＢはｄＢにおける負値として表すこともできる。
【００８２】
領域判定工程では、推定手段２５１は、抽出結果に応じて、色にじみ量推定工程の複数の処理方法に処理を振り分ける。
【００８３】
色にじみ量推定工程では、カラー画像の各画素に対して色にじみとなっている余計なＢ成分の強度を推定する。推定手法はＢ成分が飽和しているかどうかによって異なり、各々図６（ａ）の領域（１）、領域（２）に対応している。
【００８４】
前述のように、軽減すべきＢ成分の画像強度はＢ成分とＧ成分の差であり、領域（１）ではＧ成分が飽和している領域から離れるに従い、推定量は増加し、領域（２）では領域（１）から離れるに従い推定量は減少する。
【００８５】
この推定量は高輝度被写体の明るさに依存するが、飽和のため、これを直接得ることはできない。そこで、本実施例ではＢとＧの飽和半径の差ｄＧ−ｄＢあるいはｄＧ＋ｄｎＢで代用する。このような推定量として、領域（１）に対しては推定にじみ量ＥＢを次式のように計算する。
【００８６】
【数１５】
0005907590.tif 000016
【００８７】
一方、領域（２）に対しては推定にじみ量ＥＢを次式のように計算する。
【００８８】
【数１６】
0005907590.tif 000017
【００８９】
そして、過除去抑制工程が行われる。このとき両者は領域（１）と領域（２）の境界線上ではＥＢ０＝（ｋ１ｄＧ＋ｋ０）と一致するためマッハバンドを生じない。
【００９０】
ｋ０、ｋ１、ｋ２は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から色にじみ量を近似するのに好適な値を求めるのが望ましい。厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置やはてまたレンズ交換といった状態や像高によって変化するため、これらに従い定数ｋ０、ｋ１、ｋ２を変えるのも有効である。或いは、過除去抑制工程を考慮し、結像光学系の特性変化に対応できるよう、過大な色にじみ量を推定する定数を設定してもよい。結果として、色にじみ量を近似するのに好適な値より過大な色にじみ量を推定する定数を設定するのが好適である。
【００９１】
過除去抑制工程では、推定手段２５１は、推定量ＥＢを修正し、実際に除去する量ＥＢ’を決める。補正量ＥＢは一定のモデルに沿ったものであり、実際のにじみ量とは必ずしも一致しない。
【００９２】
例えば、同じＢ成分に検出される光であっても波長４５０ｎｍの光と波長４００ｎｍの光ではにじみ方が変化するが、色にじみ量推定工程２５１ｃではこれを考慮していない。補正量ＥＢが過小である場合、軽減後も若干の青みが残る。一方、補正量ＥＢが過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまったりする。特に後者は不自然で観察者に大きな違和感を与える。
【００９３】
そこで、本工程は、一定の色相範囲内でのみにじみ軽減が作用するよう制限する。このため、まず、画素の色度を計算する。Ｒ、Ｇ、Ｂの各成分の強度に対し、次式のようにする。
【００９４】
【数１７】
0005907590.tif 000018
【００９５】
この色度座標ａｂ面を図７に記すと、青色は第４象限にあり、Ｂ成分から推定量ＥＢを除去すると、点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量ＥＢ軽減後の色度である。このことから作用する色相範囲をａ’＞０かつｂ’＜０に制限すると次式のようになる。
【００９６】
【数１８】
0005907590.tif 000019
【００９７】
このため、過除去抑制工程ではまずこの条件を満たさない画素に対しＥＢ’＝０とし、軽減対象から外す。これにより、これらの画素は軽減手段２５３によって変化せず、本色にじみ軽減部によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが軽減対象となる。
さらに条件を満たす画素に対しても補正量を以下のように計算する。
【００９８】
【数１９】
0005907590.tif 000020
【００９９】
ＥＢ’の補正による色度変化は図７に実線矢印で記したように、第４象限内に留まる。色度座標ａｂ（簡易的なＬａ＊ｂ＊色空間）としているが、ＹＵＶやＨＳＶ空間上で制限をかけてもよい。
【０１００】
平滑化手段２５２は、推定手段２５１で得られた補正量ＥＢ’を平滑化する。飽和画素からの距離を用いた色にじみ推定方法では、得られた補正量ＥＢは滑らかであるが、過除去抑制工程を経ることで補正量ＥＢ’にムラが生じる。このムラを緩和しノイズの発生を抑えるため、補正手段２５２では補正量ＥＢ’に対して平滑化を行う。平滑化は、フィルタＦを用意し次式に示すように全画素における補正量ＥＢ’にコンボリューションすることによって行ってもよい。
【０１０１】
【数２０】
0005907590.tif 000021
【０１０２】
フィルタは平滑化フィルタでもよいし、補正量のエッジを保存するようなメディアンフィルタなど他のノイズ除去フィルタを使用してもよい。
【０１０３】
軽減手段２５３は補正量ＥをＢ成分の強度から減じ、新たなＢ成分強度を次式によって設定し、Ｂ成分を修正したカラー画像を本色にじみ軽減部２５０の出力として視覚補正部２６０に渡す。
【０１０４】
【数２１】
0005907590.tif 000022
【０１０５】
本実施例によれば、青にじみが効果的に軽減され、また自然で違和感のない撮影画像が得られる。
【実施例３】
【０１０６】
図８は、カラー画像に対して色にじみを軽減する実施例３の画像処理装置３００のブロック図である。本実施例の画像処理装置３００は撮像装置の外部（例えば、パーソナルコンピュータ（ＰＣ））に設けられ、画像入力部３１０、色変換部３２０、色にじみ軽減部３３０、記録部３４０、画像出力部３５０を有する。
【０１０７】
画像入力部３１０は、撮像装置で撮像されたカラー画像やカラー画像読取装置で読み取られたカラー画像等の任意のカラー画像を受け取る。色変換部３２０は、様々な形式で入力されたカラー画像を色にじみ軽減部３３０で使用する色形式に変換する。
【０１０８】
色にじみ軽減部３３０は、空間的な演算を行い色にじみ領域を抽出し、色にじみ量を推定して入力カラー画像から推定量を減算等の処理により軽減する。
【０１０９】
記録部３４０は、色にじみ軽減部３３０で色にじみが軽減されたカラー画像を内蔵するＨＤＤ等の記憶媒体やフラッシュメモリ等の外部記録媒体へと記録する。画像出力部３５０は、色にじみ軽減部３３０で色にじみが軽減されたカラー画像をディスプレイ等に出力する。
【０１１０】
色にじみ軽減部３３０は、推定手段、平滑化手段、軽減手段からなる。本色にじみ軽減部３３０では、Ｒ成分を軽減対象とし基準成分としてＧ成分を用いる場合を例にとる。色にじみは図９（ａ）に示すように輝度差の大きいエッジの周辺領域に発生する。この場合、色にじみがなければ白・黒のエッジとなるが、Ｒ成分がなまっているためにシアン・赤というようなエッジとなり、エッジの前後で色にじみが発生することとなる。
【０１１１】
推定手段はエッジ検出を利用して色にじみ領域を推定し、軽減手段はガンマ補正により軽減する方法が考えられる。
【０１１２】
推定手段では、入力カラー画像において基準成分となるＧ成分対して微分を行うことによりエッジ検出を行う。ここで微分を行う手法などのエッジ検出方法は任意の手法を用いることができ、その手法を限定するものではない。次に、入力カラー画像において、検出したエッジの周辺画素の色味を確認し赤味を帯びている画素を検出する。
【０１１３】
補正量は、検出した色にじみ画素の画像強度、またはエッジからの画像強度差、像高など様々な値により推定される。軽減手段において次式のようにガンマ補正を用いるので、ここでの補正量はガンマ補正の係数ＥＲおよびγとなる。
【０１１４】
【数２２】
0005907590.tif 000023
【０１１５】
補正量ＥＲおよびγは、図９（ａ）に示す赤にじみ領域においてＲ成分の値を下げるように作用する値となる。例えば、図９（ｂ）に示す関係となる。
【０１１６】
平滑化手段では、推定手段で推定された補正量を平滑化する。補正量ＥＲおよびγは、画像強度やエッジからの画像強度差により画素ごと推定されているため、ムラが生じる場合がある。色にじみは実施例１および実施例２にも示したように、エッジからの距離に依存する傾向にある。そこで、平滑化手段では、エッジから等距離にある画素の補正値の平均を取ることで補正量の平滑化を行う。
【０１１７】
軽減手段は、平滑化手段で平滑化された補正量を用いてガンマ補正により色にじみを軽減し、記録部３４０へと色にじみ軽減画像を出力する。
【０１１８】
本実施例によれば、赤にじみが効果的に軽減され、また自然で違和感のないカラー画像が得られる。
【０１１９】
本発明は、コンピュータを推定手段、補正手段、軽減手段として機能させるためのプログラムとして構成されてもよい。また、本実施例の画像処理装置は、実施例２の場合に効果が大きい。これは実施例２が計算が単純であるものの誤差が生じやすいためである。
【０１２０】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【産業上の利用可能性】
【０１２１】
画像処理装置は画像処理の用途に適用することができる。
【符号の説明】
【０１２２】
１５１、２５１…推定手段、１５２、２５２…平滑化手段、１５３、２５３…軽減手段
【図８】
0005907590.tif 000024
【図１】
0005907590.tif 000025
【図２】
0005907590.tif 000026
【図３】
0005907590.tif 000027
【図４】
0005907590.tif 000028
【図５】
0005907590.tif 000029
【図６】
0005907590.tif 000030
【図７】
0005907590.tif 000031
【図９】
0005907590.tif 000032