(57)【特許請求の範囲】
【請求項１】
カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定部を有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定部は、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
【請求項２】
カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定部を有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定部は、第１の画像の画像全体のコントラストが第２の画像の画像全体のコントラストよりも高い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
【請求項３】
カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定部を有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定部は、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とする画像処理装置。
【請求項４】
カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定部を有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定部は、第１の画像が夜景撮像シーンの画像で、第２の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理装置。
【請求項５】
カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
【請求項６】
カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
【請求項７】
カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像の画像全体のコントラストが第２の画像の画像全体のコントラストよりも高い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
【請求項８】
カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像の画像全体のコントラストが第２の画像の画像全体のコントラストよりも高い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
【請求項９】
カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とする画像処理方法。
【請求項１０】
カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、画像全体が赤味を帯びた画像において前記軽減対象とする色滲みの色プレーンを青プレーンとし、画像全体が青味を帯びた画像において前記軽減対象とする色滲みの色プレーンを赤プレーンとすることを特徴とするプログラム。
【請求項１１】
カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像が夜景撮像シーンの画像で、第２の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする画像処理方法。
【請求項１２】
カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、
画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、
前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、
前記色滲み処理判定ステップは、第１の画像が夜景撮像シーンの画像で、第２の画像が前記夜景撮像シーン以外の撮像シーンの画像である場合に、前記第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られたカラー画像に対していわゆる色滲みの軽減処理を行う画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは、結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤又はこれらが混ざった紫色のアーティファクトが滲み状に生ずる。このような色滲みは、パープルフリンジとも呼ばれる。
【０００３】
色収差は、異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に低減することができる。しかし、デジタルカメラの小型化が進行し、イメージセンサ（撮像素子）の高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学（レンズ）のみで十分に低減することが困難となってきている。このため、画像処理によるアーティファクトの軽減が求められている。
【０００４】
色収差は、横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は、図１に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、波長４５０ｎｍ付近のＢ光線、波長５５０ｎｍ付近のＧ光線、波長６５０ｎｍのＲ光線の結像位置が像面方向にずれる現象である。縦色収差は、図２に示すように、光源から発した光が結像光学系によって焦点面に結像するとき、Ｂ光線、Ｇ光線、Ｒ光線の結像位置が光軸方向にずれる現象である。
【０００５】
横色収差に対しては、原色系のデジタル撮像系であれば、特許文献１にて開示されているように、ＲＧＢの各色プレーンに対して異なる歪曲を加える幾何変換によって補正される。
【０００６】
一方、縦色収差は、例えば可視光域の中心波長を担うＧプレーンで合焦した画像においては、可視光域の端部となるＲプレーンやＢプレーンが非合焦画像となる現象である。これは、横色収差に対して有効な幾何補正では補正できないので、特許文献２にて開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくする方法がある。また、特許文献３にて開示されているように、ＲＧＢの各色プレーンに対し、異なる輪郭強調処理を加えて補正することもできる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献２にて開示されているように彩度を下げる処理は、輝度の強い画素に相応する色を他の色の輝度レベルまで落とす処理である。この処理は、色滲みの色を消して不自然さを減らす効果はあるが、場合によっては被写体の本来の色も影響を受け、色滲みの有無にかかわらず画像がグレーがかる。
【０００８】
また、特許文献３にて開示された処理は、デコンボリューション（deconvolution）及びその近似的な輪郭協調処理であり、フィルタパラメータを算出して行われる。しかし、Ｇを基準に固定した処理であるために、多様な色滲みには対応できない。
【０００９】
このように従来の色滲み軽減処理は、画像によって異なる滲みに対して常に同一の処理を行うため、滲みの種類によっては不自然な色が発生したり、色滲みが軽減しきれずに残ったりする場合がある。
【００１０】
本発明は、撮像により得られたカラー画像における様々な種類の色滲みに対する色滲み軽減処理を適応的に変化させることで、それらの色滲みを効果的に軽減し、かつ本来の被写体の色を再現可能とする画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての画像処理装置は、カラー画像に対して色滲みを軽減する処理を行う画像処理装置であって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定部を有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、前記色滲み処理判定部は、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする。
本発明の他の側面としての画像処理方法は、カラー画像に対して色滲みを軽減する処理を行う画像処理方法であって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、前記色滲み処理判定ステップは、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする。
本発明の他の側面としてのプログラムは、カラー画像に対して色滲みを軽減する処理を情報処理装置に実行させるプログラムであって、画像の特性及び撮像シーンのうち少なくとも一方に応じて、軽減対象とする色滲みの色プレーン、該色滲みの領域の推定に用いるパラメータ、該色滲みの強度の推定に用いるパラメータ、該色滲みの軽減処理において基準として参照する色プレーン、及び該色滲みの推定方法のうち少なくとも１つを変更する色滲み処理判定ステップを有し、前記画像の特性は、該画像全体の輝度、該画像全体のコントラスト、該画像全体の色味のうち少なくとも１つであり、前記色滲み処理判定ステップは、第１の画像の画像全体の輝度が第２の画像の画像全体の輝度よりも低い場合に、該第１の画像に対して推定する前記色滲み量を、前記第２の画像に対して推定する前記色滲み量よりも大きくすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、様々な色滲みや色滲み量を有するカラー画像に対して、画像の特性や撮像条件に応じて適応的に色滲み軽減処理を行うことで、各カラー画像の色滲みを効果的に軽減することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図３には、本発明の実施例１である画像処理装置を搭載した又は画像処理方法を使用するカラー撮像装置１００を示す。
【００１５】
カラー撮像装置１００は、結像光学系１１０と、ＣＣＤセンサ又はＣＭＯＳセンサ等のイメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み処理判定部１５０と、色滲み軽減部１６０とを有する。さらに撮像装置１００は、視覚補正部１７０と、圧縮部１８０と、記録部１９０とを有する。
【００１６】
なお、図３中に示した写野（撮像領域，被写体）ｆやＲ（赤），Ｇ（緑），Ｂ（青）の光線は、カラー撮像装置１００の構成要素ではないが、説明のため図示している。
【００１７】
図３において、撮像された写野ｆは、結像光学系１１０を経てイメージセンサ１２０上に結像する。一般に、カラー撮像装置に設けられる結像光学系は、一定の色収差補正が施されている。本実施例の結像光学系１１０は、全ての波長域においてある程度、縦色収差が補正されているが、特にＧ波長域での縦色収差が良好に補正されており、他波長ではＧ波長域よりも多くの縦色収差が残存している。このようにＢの波長域（他波長域）の縦色収差の補正基準を下げることにより、その他の収差補正を改善したり、撮像装置を小型化したりすることが可能となる。
【００１８】
イメージセンサ１２０は、一般的な原色カラーフィルタ系を備える単板カラーイメージセンサである。原色カラーフィルタ系は、図４に示すように、それぞれ６５０ｎｍ，５５０ｎｍ，４５０ｎｍの近傍に透過主波長帯を持つ３種類の色フィルタにより構成されており、それぞれＲ，Ｇ，Ｂの各バンドに対応する色プレーンを撮像する。単板カラーイメージセンサでは、これらの色フィルタを図５に示すように画素毎に空間的に配列し、各画素に対しては単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサ１２０からは色モザイク画像が出力される。
【００１９】
なお、不図示の色分解プリズムを用いて入射光をＲ，Ｇ，Ｂの波長域に分け、それぞれの波長の光を別々のイメージセンサで撮像する３板式カラーイメージセンサを用いてもよい。この場合、デモザイク部１４０は不要となる。
【００２０】
ＡＤ変換部１３０は、イメージセンサ１２０からアナログ電圧として出力される色モザイク画像を、これ以降の画像処理に適したデジタルデータに変換する。
【００２１】
デモザイク部１４０は、色モザイク画像を補間することによって、全ての画素がＲＧＢの色情報を有するカラー画像を生成する。なお、この補間手法には単純な線形補間から、  E. Chang, S. Cheung, and D. Pan, “Color filter array recovery using a threshold-based variable number of gradients.”  Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999.にて紹介されている複雑な手法まで多くの手法が提案されている。本実施例における補間手法はこれら又はこれら以外のいずれでもよい。
【００２２】
デモザイク部１４０で生成されたカラー画像は、結像光学系１１０の色収差によって、Ｇプレーン（緑プレーン）に比べてＲプレーン（赤プレーン）やＢプレーン（青プレーン）の解像度が劣る画像となる。このため、明暗の境界部では、例えば図６に示すように、ＲやＢの色滲みが生じ（ぼやけ）、明部の周囲にＲやＢ又は両者が混ざった紫の縁取りのようなアーティファクトが生じる。そして、結像光学系１１０の特性及び画像中の光源の分光分布等により、Ｒ，Ｂの滲みの程度が異なる。
【００２３】
なお、本実施例では、イメージセンサ１２０の色フィルタをＲ，Ｇ，Ｂからなる原色系とするが、補色系カラーフィルタとしてもよい。この場合、色変換処理によって、Ｒ，Ｇ，Ｂの色プレーンからなるカラー画像が得られる。
【００２４】
色滲み処理判定部１５０は、入力されたカラー画像の特性（又は特徴：以下の説明では特徴とする）や撮像条件に応じて、色滲み軽減部１６０で行われる処理内容を決定する。これについては、後に詳しく説明する。
【００２５】
色滲み軽減部１６０は、空間的な演算によって色滲み領域を抽出するとともに色滲み量を推定し、入力カラー画像からその推定量を減算等して色滲みを軽減する。
【００２６】
次に、視覚補正部１７０による処理が行われる。視覚補正部１７０は、主として画像の見栄えを改善するための処理をカラー画像に対して行う。例えば、トーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
【００２７】
処理の最後として、圧縮部１８０は、補正されたカラー画像をＪＰＥＧ等の方法で画像圧縮を行い、記録時のサイズを小さくする。
【００２８】
圧縮処理が行われたカラー画像は、記録部１９０にて、ハードディスク、ＤＶＤ、磁気テープ、フラッシュメモリ等の記録媒体に記録される
これらイメージセンサ１２０から記録部１９０までの処理部は、実際にはそれぞれ別々のデバイスによって構成されてもよいし、単一のマイクロプロセッサ上に構成されてもよい。
【００２９】
次に、色滲み処理判定部１５０での処理（画像処理方法）を図７のフローチャートを用いて説明する。色滲み処理判定部１５０での処理は、画像特徴算出ステップＳ１５１と、色滲み軽減対象プレーン選択ステップＳ１５２と、推定パラメータ決定ステップＳ１５５とにより構成される。これら各部での処理は、撮像装置１００内のメモリに格納されたコンピュータプログラム（画像処理プログラム）に従って実行される。このことは、後述する他の実施例でも同じである。
【００３０】
ここで、通常の結像光学系は、Ｇ波長領域を基準として設計される。このため、結像光学系によって異なるが、基本的には、Ｒ波長からＢ波長での色収差が色滲みとなって現れる。そこで、本実施例では、基準として参照する色プレーンをＧプレーンに固定して処理を行う。
【００３１】
画像特徴算出ステップＳ１５１では、色滲みに関係する画像の特徴としての画像全体の輝度値を算出する。画像全体の輝度値が低い画像である場合は、夜景や暗い屋内で撮像された画像である可能性が高いと推測される。夜景や暗い屋内での撮像で得られた画像では、輝度値が低い領域内に輝度値が高い領域があることが考えられる。
【００３２】
このような場合、図８に示すように輝度差が大きくなり、高輝度領域の周囲に色滲みが発生する可能性が高くなる。色滲みとしては、Ｇ波長で焦点が合うので、ＲやＢの色滲みが発生し易い。また、輝度差が大きいほど、輝度飽和領域からの色滲み半径が大きくなる。さらに、輝度値の低い部分に特定の色プレーンの成分が滲むと、彩度が高い色滲みとなって目立ち易い。
【００３３】
このため、夜景や暗い屋内での撮像によって得られた画像全体（画面全体）の輝度値が低い画像（第１の画像）に対しては、画面全体の輝度値が高い画像（第２の画像）に比べて、色滲み量を推定する際の強度を表すパラメータを大きくして色滲み量が大きく推定できるようにする。これにより、効果的に色滲みを軽減できる。
【００３４】
反対に、画面全体の輝度値が高い画像である場合は、昼間の屋外での撮像によって得られた画像であると推測される。このような画像の場合、全体的に輝度が高く、輝度差が大きい領域が発生することが少なく、色滲みがあっても目立ちにくい。このため、軽減対象とする色滲みプレーンを、デフォルト設定の色プレーン（例えばＢプレーン）として、色滲み領域が小さく、かつ推定する色滲みの強度も低くなるように強度パラメータを設定する。これにより、色滲み量が小さく推定され、色滲み軽減処理による過剰な軽減処理を回避する。
【００３５】
上記のように画像全体の輝度値を算出することにより、色滲み軽減対象とする色プレーンを選択することができ、色滲みを推定する場合の色滲みの広がりを適応的に変更することができる。また、色滲み量を推定する際の強度を表すパラメータを適応的に変更させることができる。
【００３６】
次に、色滲み軽減対象プレーン選択ステップＳ１５２では、画像特徴算出ステップＳ１５１で得られた画像の輝度値に基づいて、色滲み軽減対象プレーン、つまりは軽減対象とする色滲みを決定する。例えば、輝度値から入力画像が夜景画像であると判断された場合は、色滲み軽減対象プレーンとしてＲプレーンとＢプレーンの両方を選択する。
【００３７】
次に、推定パラメータ決定ステップＳ１５５では、画像特徴算出ステップＳ１５１で得られた画像の特徴である輝度値に基づいて、色滲みに関する推定を行うためのパラメータを決定する。例えば、画面全体の輝度値が低い場合は、色滲み領域が広くなるようにパラメータを設定し、かつ彩度が高い色滲みの量を推定できるようにパラメータを決定する。
【００３８】
ここで、色滲み軽減部１６０で行う色滲み量の推定方法として、隣接画素間の輝度傾斜によって色滲みを判断するものがある。この方法は、輝度傾斜マップを計算し、輝度傾斜によって色滲み領域を推定し、さらに輝度傾斜によって色滲み量を推定する。
【００３９】
例えば、Ｒプレーンに対する輝度傾斜マップを∇Ｒとし、Ｂプレーンに対する輝度傾斜マップを∇Ｂとすると、∇Ｒ，∇Ｂはそれぞれ、
【００４０】
【数１】
0005349790.tif 000002
【００４１】
として計算される。
【００４２】
ここで、
Ｒ（ｘ＋１，ｙ）とＢ（ｘ＋１，ｙ）はそれぞれ、Ｒ及びＢプレーンにおける注目画素の右隣の画素の値である。
【００４３】
Ｒ（ｘ−１，ｙ）とＢ（ｘ−１，ｙ）はそれぞれ、Ｒ及びＢプレーンにおける注目画素の左隣の画素の値である。
【００４４】
Ｒ（ｘ，ｙ＋１）とＢ（ｘ，ｙ＋１）はそれぞれ、Ｒ及びＢプレーンにおける注目画素の下隣の画素の値である。
【００４５】
Ｒ（ｘ，ｙ−１）とＢ（ｘ，ｙ−１）はそれぞれ、Ｒ及びＢプレーンにおける注目画素の上隣の画素の値である。
【００４６】
色滲み領域は輝度傾斜値によって判断され、輝度傾斜値がある値以上である場合は色滲みであるとする。この際に、Ｒ及びＢの輝度傾斜だけではなく、基準プレーンであるＧの輝度傾斜も算出してこれらを比較することにより、より正確に色滲み領域を特定することができる。
【００４７】
さらに、輝度傾斜の閾値を変えることにより、色滲み領域をより効果的に特定することができる。
【００４８】
色滲み量の推定方法は、Ｒの輝度傾斜を∇Ｒとし、Ｂの輝度傾斜を∇Ｂとして、これらの絶対値にパラメータｋＲ，ｋＢを乗じることで推定色滲み量ＥＲ，ＥＢを算出する。つまり、
【００４９】
【数２】
0005349790.tif 000003
【００５０】
という式で推定色滲み量ＥＲ，ＥＢを算出し、この推定された色滲み量を軽減する処理を行う。
【００５１】
このような色滲み軽減手法を用いる場合において、色滲み推定パラメータ決定ステップＳ１５５では、画像の特徴である輝度値に基づいてパラメータｋＲ，ｋＢの値を決定する。例えば、画面全体の輝度値が低い場合には、色滲み領域が広くなるように、かつ彩度が高い色滲み量を推定するようにパラメータｋＲ，ｋＢの値を決定する。
【００５２】
ここで、本実施例では、画像特徴算出ステップＳ１５１において、画像の特徴として画像全体の輝度値を算出したが、画像全体のコントラストを算出してもよい。画像全体のコントラストが高い画像は輝度差が大きいと考えられ、輝度差が大きい部分に色滲みが発生しやすく、色滲み領域も広く、彩度の高い色滲みとなって目立ち易い。反対に、画像全体のコントラストが低い画像は輝度差が小さいと考えられ、色滲みが発生しにくく、発生しても色滲み領域が狭く目立ちにくい。
【００５３】
よって、画像全体のコントラストが高い画像（第１の画像）に対しては色滲み推定量を大きくし、画像全体のコントラストの低い画像（第２の画像）に対しては色滲み推定量を小さくするといった設定を行うことができる。
【実施例２】
【００５４】
次に、本発明の実施例２について説明する。実施例２のカラー撮像装置１００’は、図９に示すように、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み処理判定部１５０’と、色滲み軽減部１６０とを有する。さらに、該撮像装置１００’は、視覚補正部１７０と、圧縮部１８０と、記録部１９０とを有する。実施例１と共通する構成要素には、実施例１と同じ符号を付している。本実施例は、色滲み処理判定部１５０’での処理が実施例１と異なる。
【００５５】
本実施例の色滲み処理判定部１５０’を図１０に示す。色滲み処理判定部１５０’は、色滲み軽減対象プレーン選択ステップＳ１５２と、推定パラメータ決定ステップＳ１５５とを有する。
【００５６】
色滲み処理判定部１５０’には、入力カラー画像とともに撮像条件が入力される。色滲み軽減対象プレーン選択ステップＳ１５２では、撮像条件の情報に応じて色滲み軽減対象プレーンを決定する。
【００５７】
ここで、色滲み軽減対象プレーンの決定に利用できる撮像条件の１つに、撮像シーンの設定（言い換えれば、撮像モードの設定）がある。撮影者が撮像条件にあったシーン設定を意図的に行って撮像をしていれば、撮像により得られた画像はシーン設定された画像である。このため、画像の特徴（特性）を算出することなく、ある程度の画像の特徴を得ることができる。
【００５８】
例えば、シーン設定が夜景（夜景撮像シーン又は夜景撮像モード）である場合は、夜景撮像により得られた画像であると推測される。夜景画像の場合は、背景が暗く、街灯等の光源があると輝度飽和を起こし易いため、色滲みが発生しやすくなる。さらに、背景が暗いので、特定の色プレーンの成分が滲むと広い範囲に彩度が高い色滲みが現れることになり、色滲みが目立ち易くなる。また、夜景ではＧプレーンで焦点が合い、高輝度光源による輝度飽和領域周辺では、補正しきれずに僅かに残ったＲ，Ｂの色収差が有意な量となって現れる。このため、Ｒプレーン及びＢプレーン共に色滲みが目立ち易い。
【００５９】
これらのことから、色滲み軽減対象プレーン選択ステップＳ１５２では、シーン設定が夜景の場合は、軽減対象の色プレーンをＲプレーン及びＢプレーンの両方に設定するのが望ましいと判断できる。
【００６０】
推定パラメータ決定ステップＳ１５５では、夜景撮像シーン画像（第１の画像）の場合は、夜景撮像シーン以外の撮像シーン画像（第２の画像）の場合に比べて、色滲み領域と判定される部分が多くなるように色滲みの広がりを指定するパラメータの設定を変える。また、色滲み量を推定するパラメータを色滲み量がより大きく推定されるように設定する。
【００６１】
ここで、色滲み軽減部１６０で行う色滲み量の推定方法として、画像中の輝度飽和領域とそれ以外の領域を算出し、コンボリューション処理を行って、色滲み領域と色滲み量を決定するものがある。はじめに行う領域分割は、基準色プレーンを、ある閾値を設けて飽和領域と非飽和領域に分割し、各領域を２値で表した飽和度Ｓを算出する。続いて、この飽和度Ｓに対してコンボリューション処理を行い、色滲み領域と色滲み量を決定する。色滲み軽減対象プレーン選択ステップＳ１５２において、色滲み軽減対象プレーンとしてＲプレーンとＢプレーンが選択された場合、それぞれのプレーンの色滲みをＳＲ，ＳＢとすると、
【００６２】
【数３】
0005349790.tif 000004
【００６３】
というコンボリューション処理でそれぞれのプレーンの色滲み量が算出される。
【００６４】
ここで、ｋＲ，ｋＢはコンボリューションカーネルであり、ｋＲ，ｋＢのカーネルサイズを大きくすれば色滲み領域が広くなり、カーネルの値によって色滲み強度等を設定できる。
【００６５】
よって、色滲み軽減部１６０でこのような色滲み軽減手法を用いる場合は、色滲み推定パラメータ決定ステップＳ１５５で、シーン設定に合わせて、色滲み領域及び色滲み強度を指定するパラメータであるコンボリューションカーネルのサイズ及び値を決定することになる。
【００６６】
ここでは、シーン設定の例として夜景をあげたが、他のシーン設定（他の撮像モード）でも色滲み判定を行うことができる。例えば、シーン設定が水中である場合は、撮像により得られた画像は青味がかかった画像であると推測される。青味がかかった画像の場合、図１１に示すように、画面全体が青味を帯びているため、急激な色の変化がなく、多少の青滲みがあっても目立ちにくい。問題となるのは、青味を帯びた画像の中に赤味を帯びた高輝度領域がある場合である。赤味を帯びた高輝度領域がある場合、図１２に示すように、赤味を帯びた高輝度領域の周辺には赤滲みが発生しやすくなる。図１１と図１２を比較すると、図１２においては、赤が滲むことによって、赤味を帯びた高輝度領域の周辺で画像全体の色味とは異なる色が発生し、目立ち易い。よって、色滲み軽減対象プレーン選択ステップＳ１５２では、色滲み軽減対象プレーンをＲプレーンに設定する。
【００６７】
水中撮像では赤味を帯びた高輝度領域が存在したとしても、輝度飽和を起こすほどの領域があることは稀である。したがって、色滲み領域も狭く、色滲み強度も小さいので、推定パラメータ決定ステップＳ１５５では、色滲み領域が狭く、色滲み強度も小さくなるようなパラメータを設定し、色滲み推定量を小さくする。
【００６８】
このように様々なシーン設定において、適切な色滲みの軽減対象とするプレーン、色滲み領域及び色滲み強度を推定するパラメータを設定する。
【実施例３】
【００６９】
次に、本発明の実施例３について説明する。本実施例のカラー撮像装置１００”は、図１３に示すように、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み処理判定部１５０”と、色滲み軽減部１６０とを有する。また、該撮像装置１００”は、視覚補正部１７０と、圧縮部１８０と、記録部１９０とを有する。実施例１と共通する構成要素には、実施例１と同じ符号を付している。本実施例は、色滲み処理判定部１５０”での処理が実施例１と異なる。
【００７０】
本実施例の色滲み処理判定部１５０”を図１４に示す。色滲み処理判定部１５０”は、画像特徴算出ステップＳ１５１と、色滲み軽減対象プレーン選択ステップＳ１５２と、基準色プレーン選択ステップＳ１５３と、推定方法選択ステップＳ１５４と、推定パラメータ決定ステップＳ１５５とを有する。
【００７１】
画像特徴算出ステップＳ１５１においては、色滲みに関係する画像の特徴（特性）として、画像全体の色味（ＷＢ：ホワイトバランス）を用いる。色味を、色温度と言い換え、画像の特徴として色温度を用いてもよい。
【００７２】
画面全体の色味は、環境光の影響が大きく、また色滲みには光源の分光分布も影響する。よって、環境光の分光分布により、輝度差が大きい領域に発生し易い滲みの色が推定できる。
【００７３】
しかし、環境光と同系色が滲んだとしても目立ちにくいため、はっきりと色滲みとして知覚されにくく、色滲みの軽減対象として取り上げる必要性は低い。
【００７４】
ある色味を帯びた画像が、その画像全体の色味と同系色のみで構成されているということは考えにくく、例えば、画像全体の色味とは異なる色の高輝度光源が画像中にあることが多い。このような場合、高輝度の光源の周りに画像全体の色味とは異なる色の滲みが発生することが考えられる。画像全体の色味と異なる色の滲みが発生した場合、違和感のある色滲みとして知覚され易い。このため、画像全体の色味とは異なる色を滲み軽減対象とするのが妥当である。このことから、画像全体の色味を算出することにより、色滲み軽減対象とする色プレーンを適応的に選択することが可能となる。
【００７５】
また、画像全体の色味の程度により、基準として参照する色プレーンを変更する必要もある。通常の結像光学系は、Ｇ波長領域を基準として設計されており、結像光学系によっても異なるが、Ｒ波長からＢ波長の色収差が色滲みとなって現れる。この色滲みはＧ波長で焦点を合わせた場合に生じるため、通常は基準として参照する色プレーンをＧプレーンとして問題はない。
【００７６】
しかし、Ｇ波長以外の波長で焦点が合った場合はこの限りではなくなる。つまり、画像全体にＧ波長が少なく、他の波長で焦点が合っている場合は、滲む色がＲプレーンやＢプレーンではなくなるため、基準として参照する色プレーンをＧプレーンとしたままでは色滲みを効果的に軽減できなくなる。よって、基準として参照する色プレーンも可変である必要がある。
【００７７】
ここで、Ｇ波長が少なく、他の波長で焦点が合っている可能性のある画像としては、画像全体の色味が極端にＲやＢに偏った画像が挙げられる。このため、画像全体の色味を算出することにより、基準として参照する色プレーンを適応的に選択する。
【００７８】
例えば、夕方やタングステン光等の赤味のある環境光下で撮像された場合を考える。輝度差の大きい領域に色滲みが発生していないとＲ，Ｇ，Ｂの各プレーンは図１５に示すようになる。しかし、赤味のある環境光下で撮像された場合は、長波長の光（Ｒ成分）が多く、短波長の光（Ｂ成分）が少ないため、図１６に示すように輝度差の大きい領域で赤滲みが発生し易くなる。
【００７９】
しかしながら、図１５と図１６から分かるように、画面全体が赤味を帯びているため、急激な色の変化がなく、多少赤滲みがあっても目立ちにくい。問題となるのは、赤味を帯びた画像の中に波長の短い光（Ｂ成分）を多く持つ高輝度光源がある場合である。高輝度光源が飽和して撮像された場合、図１７に示すように、輝度飽和領域の周辺に青滲みが発生し易くなる。図１６と図１７を比較すると、図１７においては青が滲むことによって輝度飽和領域の周辺で画像全体の色味とは異なる色が発生し、目立ち易い。また、環境光の影響により画像全体が赤味を帯びている場合は、青滲みと混じって紫色の滲みとなり、目立つ。
【００８０】
よって、画像全体の色味を算出することで目立つ色滲みを特定できる。このため、画像特徴算出ステップＳ１５１では、画像全体の色味を算出する。
【００８１】
色滲み軽減対象プレーン選択ステップＳ１５２では、画像特徴算出ステップＳ１５１によって算出された色味に基づいて色滲み軽減対象プレーンを選択する。
【００８２】
画像全体が赤味を帯びた画像（第１の画像）である場合は、Ｂプレーンを色滲み軽減対象のプレーンとする。
【００８３】
画像全体が強く赤味を帯びており、Ｒ波長に焦点が合っている場合は、図１８に示すように、ＧプレーンとＢプレーンが滲み、シアン寄りの紫滲みとなって目立つ。このような場合、基準色プレーン選択ステップＳ１５３では、基準として参照する色プレーンをＲプレーンに設定する。そして、色滲み軽減対象プレーン選択ステップＳ１５２では、Ｂプレーン及びＧプレーンを色滲み軽減対象プレーンとする。
【００８４】
反対に、画面全体が青味を帯びた画像（第２の画像）である場合は、青滲みは目立ちにくいが赤滲みは画像全体の色味と混じり、紫滲みとなって目立つ。このような場合は、上記例のように、色滲み軽減対象プレーンをＲプレーンに設定したり、基準として参照する色プレーンをＢプレーンにしたりする等、適応的にプレーン設定を行う。
【００８５】
推定パラメータ決定ステップＳ１５５では、画像特徴算出ステップＳ１５１で得られた画像の特徴及び撮像条件に応じて、色滲み領域を推定するパラメータ及び色滲み強度を推定するパラメータを決定する。
【００８６】
撮像条件の中で色滲みに影響を与えるものとして、絞りの値がある。絞りを開いた場合は被写界深度が浅くなり、焦点位置から外れた場所では大きくぼけるため、色滲みの広がりも大きくなる傾向にある。反対に、絞りを絞った場合は被写界深度が深くなり、ぼけ量も小さくなるため、色滲みの広がりも小さくなる傾向にある。このため、撮像時の絞り値に応じて、色滲み領域を推定するパラメータを設定することができる。
【００８７】
色滲み処理判定部１５０の結果は、色滲み軽減部１６０へ入力され、色滲み軽減部１６０はこれに基づいて画像ごとに適切な色滲み軽減処理を行う。
【００８８】
色滲み軽減部１６０で行う色滲み量の推定方法には以下のものがある。すなわち、色滲みは輝度飽和領域の周辺に発生することを前提として輝度飽和領域を検出し、輝度飽和領域からの距離に応じて色滲み量を決定する。この推定方法では、まず基準として参照する色プレーン及び色滲み軽減対象プレーンにおいて、図１９に示すような輝度飽和領域からの距離と輝度非飽和領域からの距離を算出する。この算出距離を用いて飽和半径を求めて光源強度を推定し、輝度飽和領域からの距離によって減衰する関数モデルを作成して推定を行う。
【００８９】
この場合、基底値、減衰パラメータ及び色滲みの広がりを表すパラメータ等によって色滲みのモデル化を行う。色滲みと整合するモデルを作成すれば、効果的に色滲みを軽減することができるが、モデルのずれによって色滲みを軽減できなかったり、却って不自然な色になったりする可能性がある。よって、画像ごとにパラメータを変えて適切に色滲み量を推定することが望ましい。
【００９０】
この推定方法を用いた場合、推定パラメータ決定ステップＳ１５５で決定する推定パラメータは、基底値、減衰パラメータ及び色滲みの広がりを表すパラメータとなる。
【実施例４】
【００９１】
次に、本発明の実施例４について説明する。本実施例のカラー撮像装置１００’’’は、図２０に示すように、結像光学系１１０と、イメージセンサ１２０と、ＡＤ変換部１３０と、デモザイク部１４０と、色滲み処理判定部１５０’’’と、色滲み軽減部１６０とを有する。また、該撮像装置１００’’’は、視覚補正部１７０と、圧縮部１８０と、記録部１９０とを有する。実施例１と共通する構成要素には、実施例１と同じ符号を付している。本実施例は、色滲み処理判定部１５０’’’での処理が実施例１と異なる。
【００９２】
色滲み処理判定部１５０’’’を図２１に示す。色滲み処理判定部１５０’’’は、画像特徴算出ステップＳ１５１と、色滲み軽減対象プレーン選択ステップＳ１５２と、基準色プレーン選択ステップＳ１５３と、推定方法選択ステップＳ１５４と、推定パラメータ決定ステップＳ１５５とを有する。
【００９３】
画像特徴算出ステップＳ１５１では、画像の特徴（特性）として、画像中の輝度飽和領域の周辺における各色プレーンの輝度値を算出する。輝度飽和領域の周辺において、一般的に基準となる色プレーンであるＧプレーンと比べて輝度値が高い色プレーンがあると、その色プレーンの色が滲んでいると推測される。この結果をもとに、色滲み軽減対象プレーン選択ステップＳ１５２で軽減対象とする色プレーンを選択する。
【００９４】
なお、画像中の輝度飽和領域ごとに滲んでいる色が異なることも考えられるため、画像中の領域ごとに色滲み軽減対象の色プレーンを異ならせてもよい。
【００９５】
基準色プレーン選択ステップＳ１５３では、画像特徴算出ステップＳ１５１での結果から、画像中の輝度飽和領域の周辺においてＧプレーンの輝度飽和領域より他の色プレーンの輝度飽和領域が小さい場合は、輝度飽和領域が小さいプレーンを基準色プレーンとする。このように、Ｇプレーン以外の色プレーンの輝度飽和領域が小さくなる現象は、Ｇ波長以外の波長で焦点が合っている場合などに生じ易い。また、この現象は、画像中の輝度飽和領域に存在する物体の分光分布等にも依存する。
【００９６】
推定方法選択ステップＳ１５４では、画像特徴算出ステップＳ１５１で算出された輝度値から、色滲み領域及び色滲み量の推定方法そのものを選択する。これは、推定方法には、画像中にある閾値以上の輝度飽和領域がある場合にのみ色滲み低減処理を行う方法や、画像中に輝度飽和領域がなくても色滲み低減処理を行う方法があるためである。
【００９７】
例えば、実施例３の色滲み軽減部１６０で示した輝度飽和領域からの距離を用いる方法や、実施例２の色滲み軽減部１６０で示したコンボリューション処理を用いる方法は、輝度飽和領域の周辺の色滲みを軽減対象とする手法である。
【００９８】
これに対し、実施例１の色滲み軽減部１６０で示したような輝度傾斜を用いる方法は、輝度傾斜によって色滲みを特定するため、輝度飽和領域以外に発生している色滲みを軽減対象とする。このため、画像中にある閾値以上の輝度飽和領域がある場合は、輝度飽和領域からの距離を用いる方法やコンボリューション処理を用いる方法といった手法を選択し、閾値以上の輝度飽和領域がない場合は、輝度傾斜を用いる方法といった手法を選択するようにに設定する。
【００９９】
また、推定方法選択ステップＳ１５４では、色滲み軽減処理自体を行うか否かを選択してもよい。例えば、画像特徴算出ステップＳ１５１で得られた画像の特徴（特性）や撮像条件から、入力画像が色滲みの目立つ夜景画像であると判定された場合は色滲み軽減処理を行い、他の画像の場合は色滲み軽減処理を行わないように切り換えてもよい。
【０１００】
推定パラメータ決定ステップＳ１５５では、推定方法選択ステップＳ１５４で選択された推定方法に用いるパラメータを、画像特徴算出ステップＳ１５１での結果や撮像条件を用いて決定する。
【実施例５】
【０１０１】
次に、本発明の実施例５について説明する。本実施例のカラー撮像装置１００の構成は、図３（実施例１）に示したカラー撮像装置１００と同じである。また、本実施例において、色滲み処理判定部１５０及び色滲み軽減部１６０はそれぞれ、実施例１〜実施例４で説明した色滲み処理判定部１５０（又は１５０’，１５０”，１５０’’’）及び色滲み軽減部１６０と同じ処理を行う。
【０１０２】
本実施例では、色滲み処理判定部１５０での色滲み軽減対象プレーン選択ステップＳ１５２と推定パラメータ決定ステップＳ１５５（図７，図１０，図１４，図２１参照）にてパラメータを決定するために使用する撮像条件として、使用レンズの種類を用いる。色滲みの原因となる色収差はレンズの種類毎に異なり、設計の段階で色収差の量は分かるので、各種類のレンズの滲み易い色やその滲み量を推定できる。このため、本実施例では、撮像時に使用したレンズの種類を撮像条件として使用することで、そのレンズにおいて滲み易い色やその滲み量を判断する。
【０１０３】
例えば、Ｒ〜Ｇ波長にかけての色収差が無く、Ｂ波長の色収差が残存して青滲みが発生し易いレンズを使用する場合は、色滲み軽減対象プレーン選択ステップＳ１５２で軽減対象プレーンをＢプレーンに設定する。また、図１４及び図２１に示す処理を行う場合における基準色プレーン選択ステップＳ１５３では、基準として参照する色プレーンをＧプレーンとする。
【０１０４】
推定パラメータ決定ステップＳ１５５では、残存している色収差量をもとに色滲み推定強度のパラメータを設定する。
【０１０５】
また、色滲みの原因となる色収差はズームステートによっても異なるため、撮像条件としてズームステートを用いてもよい。広角側で滲み易い色や望遠側で滲み易い色がある等の特性は予め分かるので、撮像時の使用レンズの種類及び使用レンズのズームステートに応じて、軽減対象の色やその色の滲み量を推定するためのパラメータを設定することができる。
【０１０６】
例えば、設計時の色収差の残存によって、広角側になるほど青滲みが発生しやすく、望遠側になるほど赤滲みが発生し易いレンズであって、中間ズーム領域では色滲みが少ないレンズを使用する場合を考える。望遠側での撮像により得られた画像の場合は、色滲み軽減対象プレーン選択ステップＳ１５２において、軽減対象プレーンをＲプレーンに設定し、広角側での撮像により得られた画像の場合は、軽減対象プレーンをＢプレーンに設定する。このようなレンズを使用した場合は、基準色プレーン選択ステップＳ１５３において基準として参照するプレーンをＧプレーンに設定するのが好ましい。
【０１０７】
推定パラメータ決定ステップＳ１５５では、残存している色収差量をもとに色滲み推定強度のパラメータを設定する。前述した使用レンズの例では、広角側及び望遠側になるにしたがって、撮像により得られた画像中の色滲み領域が広がるように、かつ色滲み強度が大きくなるようにパラメータを設定する。
【０１０８】
また、色滲みの原因となる色収差は、焦点を合わせる物体距離によっても異なるため、撮像条件に物体距離（レンズから合焦対象の物体までの距離）を用いてもよい。近くの物体に焦点を合わせた場合と遠くにある物体に焦点を合わせた場合とでは色滲みの強度が異なる。
【０１０９】
例えば、近くの物体に焦点を合わせた場合は色滲み量が大きくなり、遠くの物体に焦点を合わせた場合は色滲みが小さくなるレンズを使用する場合を考える。この場合、推定パラメータ決定ステップＳ１５５において、物体距離が短い場合は色滲み推定強度が大きくなるようにパラメータを設定し、物体距離が長い場合は色滲み推定強度が小さくなるようにパラメータを設定する。
【０１１０】
なお、以上の実施例１〜５で説明した色滲み軽減方法（画像処理方法）は個別に使用してもよいし、これらを組み合わせて使用してもよい。すなわち、色滲み処理判定部において、画像の特徴（特性）及び撮像条件のうち少なくとも一方に応じて、軽減対象とする色滲み、及び該色滲みの量の推定方法のうち少なくとも一方を変更するようにしてもよい。言い換えれば、軽減対象とする色滲みの色プレーン、色滲みの領域推定に用いるパラメータ、色滲みの強度推定に用いるパラメータ、色滲み軽減処理において基準として参照する色プレーン、及び色滲みの推定方法のうち少なくとも１つを変更すればよい。
【０１１１】
また、上記実施例１〜５では、結像光学系１１０から記録部１９０までの全部を備えたカラー撮像装置について説明した。しかし、カラー撮像装置とは別の装置として、少なくとも色滲み処理判定部１５０（又は１５０’，１５０”，１５０’’’）及び色滲み軽減部１６０を有する画像処理装置（パーソナルコンピュータ等）を構成してもよい。この場合、カラー撮像装置により撮像されて半導体メモリ、磁気／光ディスク等の記録媒体に格納されたカラー画像が画像処理装置に入力されるようにすればよい。また、カラー撮像装置と画像処理装置とをケーブルや無線ＬＡＮ等によって接続し、カラー撮像装置から画像処理装置に画像が送信されるようにしてもよい。
【０１１２】
以上説明したように、上記各実施例によれば、様々な色滲みを有する画像に対して適応的に色滲み軽減処理を行うことができ、各画像の色滲みを効果的に軽減するとともに、自然で違和感のない画像を得ることができる。
【０１１３】
また、このような色滲み軽減処理を行うことで、撮像装置における結像光学系の縦色収差の制限を緩めることができ、その他の収差補正を向上させたり、撮像装置の小型化を図ったりすることができる。
【０１１４】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【図面の簡単な説明】
【０１１５】
【図１】横色収差の説明図。
【図２】縦色収差の説明図。
【図３】本発明の実施例１であるカラー撮像装置の構成を示すブロック図。
【図４】原色カラーフィルタの説明図。
【図５】カラーフィルタアレイの説明図。
【図６】明暗境界での色滲みの説明図。
【図７】実施例１の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【図８】輝度差が大きい場合の色滲みを説明する図。
【図９】本発明の実施例２であるカラー撮像装置の構成を示すブロック図。
【図１０】実施例２の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【図１１】青味を帯びた画像の輝度差の大きい領域で青滲みのある場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１２】青味を帯びた画像の輝度差の大きい領域で赤滲みのある場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１３】本発明の実施例３であるカラー撮像装置の構成を示すブロック図。
【図１４】実施例３の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【図１５】赤味を帯びた画像の輝度差の大きい領域で色滲みのない場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１６】赤味を帯びた画像の輝度差の大きい領域で赤滲みのある場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１７】赤味を帯びた画像の輝度差の大きい領域で青滲みのある場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１８】赤味を帯びた画像の輝度差の大きい領域でＲプレーンに焦点が合っている場合のＲ，Ｇ，Ｂプレーンの値を説明する図。
【図１９】輝度飽和領域からの距離及び輝度非飽和領域からの距離を説明する図。
【図２０】本発明の実施例４であるカラー撮像装置の構成を示すブロック図。
【図２１】実施例４の撮像装置に設けられた色滲み処理判定部の構成（処理手順）を示すフローチャート。
【符号の説明】
【０１１６】
１００，１００’，１００”，１００’’’  カラー撮像装置
１１０  結像光学系
１２０  イメージセンサ
１３０  ＡＤ変換部
１４０  デモザイク部
１５０，１５０’，１５０”，１５０’’’       色滲み処理判定部
１６０  色滲み軽減部
１７０  視覚補正部
１８０  圧縮部
１９０  記録部
【図３】
0005349790.tif 000005
【図９】
0005349790.tif 000006
【図２０】
0005349790.tif 000007
【図１】
0005349790.tif 000008
【図２】
0005349790.tif 000009
【図４】
0005349790.tif 000010
【図５】
0005349790.tif 000011
【図６】
0005349790.tif 000012
【図７】
0005349790.tif 000013
【図８】
0005349790.tif 000014
【図１０】
0005349790.tif 000015
【図１１】
0005349790.tif 000016
【図１２】
0005349790.tif 000017
【図１３】
0005349790.tif 000018
【図１４】
0005349790.tif 000019
【図１５】
0005349790.tif 000020
【図１６】
0005349790.tif 000021
【図１７】
0005349790.tif 000022
【図１８】
0005349790.tif 000023
【図１９】
0005349790.tif 000024
【図２１】
0005349790.tif 000025