(57)【要約】【課題】カラー画像における色滲みを、画像処理により、より効果的に抑制する。【解決手段】被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に対して、そのカラー画像に基づいて、カラー画像における色の滲みの強度を推定する推定部と、カラー画像における色の滲み成分をカラー画像から除去する場合に、カラー画像からの色の滲み成分の過度の除去を抑制するために、推定部により推定された色の滲みの強度の推定値を補正して補正推定値を算出する演算部と、演算部により算出された補正推定値をカラー画像から除去する除去部と、を具備する。【選択図】図７
2008147981.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定手段と、
前記カラー画像における色の滲み成分を前記カラー画像から除去する場合に、前記カラー画像からの前記色の滲み成分の過度の除去を抑制するために、前記推定手段により推定された前記色の滲みの強度の推定値を補正して補正推定値を算出する演算手段と、
前記演算手段により算出された前記補正推定値を前記カラー画像から除去する除去手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記演算手段は、前記除去手段による除去により発生する前記カラー画像の色相変化を抑制するように、前記補正推定値を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色相変化の抑制は、一定領域の色域の画素のみを前記除去手段による除去の対象とすることにより行われることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記色相変化の抑制は、変化後の色域を一定領域に制限することにより行われることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記一定領域は、除去対象とする色プレーンの強度が、前記複数の色プレーンの内の基準となる色プレーンの強度より大きい領域であること特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記色相変化の抑制は、色相角の変化を一定角度以内にすることにより行われることを特徴とする請求項２に記載の画像処理装置。
【請求項７】
被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定工程と、
前記カラー画像における色の滲み成分を前記カラー画像から除去する場合に、前記カラー画像からの前記色の滲み成分の過度の除去を抑制するために、前記推定工程において推定された前記色の滲みの強度の推定値を補正して補正推定値を算出する演算工程と、
前記演算工程において算出された前記補正推定値を前記カラー画像から除去する除去工程と、
を具備することを特徴とする画像処理方法。
【請求項８】
請求項７に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項１０】
被写体像を光電変換する撮像手段と、
請求項１乃至６のいずれか１項に記載の画像処理装置と、
を具備することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー撮影画像の色滲みを低減する技術に関するものである。
【背景技術】
【０００２】
カラー撮像系では結像光学系の色収差により、画像上で明るい部分の周囲に本来存在しない色が色滲みとして生じる。色滲みは結像光学系の中心波長から離れた部分で起きやすく、可視光カラー撮像系では、青や赤、或いは双方が混じった紫色のアーチファクトが滲み状に生じ、色滲み、パープルフリンジなどと呼ばれる。
【０００３】
色収差は異なる分散を持つレンズを複数組み合わせることにより、ある程度光学的に抑えることができる。
【０００４】
しかし近年デジタルカメラの小型化が進み、撮像センサの高解像度化と共に光学系の小型化に対する要求も高まり、色収差を光学系のみで十分に抑えることは困難となってきた。そこで画像処理によるこれらのアーチファクトの軽減が求められている。
【０００５】
色収差は横色収差（倍率色収差）と縦色収差（軸上色収差）に大別される。横色収差は図１のように結像位置が波長によって像面に沿う方向にずれる現象であり、縦色収差は図２のように結像位置が波長によって光軸に沿う方向にずれる現象である。
【０００６】
横色収差に対しては原色系のデジタル撮像系であれば、ＵＳＰ６７２４７０２Ｂ１（特許文献１）に開示されているように、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色プレーンに対し異なる歪曲を加える幾何変換により補正することができる。
【０００７】
一方の縦色収差は、例えば可視光域の中心波長を担うＧ（緑）プレーンで合焦した画像においては、可視光域端部となるＲ（赤）プレーンやＢ（青）プレーンではピンボケ画像となる。これは横色収差のような幾何変換では補正できず、特開２００３−０１８４０７号公報（特許文献２）に開示されているように、ＲＧＢの各色プレーンに対し、異なる輪郭強調処理を加えて補正する方法が提案されている。あるいは、特開２００１−１４５１１７号公報（特許文献３）に開示されているように、色滲みが生じる領域での彩度を下げることにより目立たなくする方法が提案されている。
【特許文献１】ＵＳＰ６７２４７０２Ｂ１
【特許文献２】特開２００３−０１８４０７号公報
【特許文献３】特開２００１−１４５１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし特開２００３−０１８４０７号公報（特許文献２）に記載されるようなデコンボリューション及びその近似的な輪郭強調処理では、正確なボケ関数が分かっていないと適切な結果が得られない。カメラのように被写体距離や撮影条件が様々に変化する撮像装置においては、ズーム位置、絞り値、フォーカス位置といった結像光学系の状態も様々に変化するため、正確なボケ関数を得るのは困難である。また、デコンボリューションはイメージセンサの線形反応境域でしか用いることができす、飽和画素周囲の色滲みを軽減できない。
【０００９】
ところが、一般的なカラー撮像装置の光学系では、色収差に対する補正がある程度光学的に成されており、通常の輝度域で色滲みが目立つことは少ない。むしろ、画面内に極端に明るく画素が飽和するような被写体があった場合、補正しきれていない僅かな比率の漏れ光が、有意な量となって色滲みを起こしていることが多い。即ち、特開２００３−０１８４０７号公報（特許文献２）に記載の技術では、このような色滲みを補正することができない。
【００１０】
一方、特開２００１−１４５１１７号公報（特許文献３）に記載されるような彩度を下げる処理は、色滲みの色を消し不自然さを減らす効果はあるが、被写体本来の色も影響を受け、色滲みの有無にかかわらずグレーがかってしまうという問題がある。
【００１１】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、カラー画像における色滲みを、画像処理により、より効果的に抑制することである。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定手段と、前記カラー画像における色の滲み成分を前記カラー画像から除去する場合に、前記カラー画像からの前記色の滲み成分の過度の除去を抑制するために、前記推定手段により推定された前記色の滲みの強度の推定値を補正して補正推定値を算出する演算手段と、前記演算手段により算出された前記補正推定値を前記カラー画像から除去する除去手段と、を具備することを特徴とする。
【００１３】
また、本発明に係わる画像処理方法は、被写体像を光電変換して生成された複数の色プレーンからなるカラー画像に基づいて、前記カラー画像における領域毎の色の滲みの強度を推定する推定工程と、前記カラー画像における色の滲み成分を前記カラー画像から除去する場合に、前記カラー画像からの前記色の滲み成分の過度の除去を抑制するために、前記推定工程において推定された前記色の滲みの強度の推定値を補正して補正推定値を算出する演算工程と、前記演算工程において算出された前記補正推定値を前記カラー画像から除去する除去工程と、を具備することを特徴とする。
【００１４】
また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。
【００１５】
また、本発明に係わる記憶媒体は、上記のプログラムを記憶したことを特徴とする。
【００１６】
また、本発明に係わる撮像装置は、被写体像を光電変換する撮像手段と、上記の画像処理装置と、を具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、カラー画像における色滲みを、画像処理により、より効果的に抑制することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施形態について説明する。
【００１９】
まず、本発明の実施形態の概要について説明する。
【００２０】
本発明の実施形態では、カラー撮像装置で撮影され色滲みの発生しているカラー画像に対し、飽和画素周囲の色滲みを効果的に除去し、なおかつ本来の色を再現可能な画像処理装置、方法およびプログラムを提供する。
【００２１】
まず、本発明の実施形態の画像処理装置は、撮像系において撮影された複数の色プレーンからなるカラー画像に対して、画像処理を行う画像処理装置である。そして、カラー画像に従って色滲みの画像強度を推定する推定部と、その推定値を元のカラー画像から差し引く除去部とを備える。除去部は、画像撮影時に用いられた結像光学系において色収差が残存する波長域の強度を示す色プレーンを除去対象とし、除去対象となる色プレーンの滲み部分の画像強度を減算する。
【００２２】
しかしこの推定値は必ずしも正確ではなく、過不足が存在する。推定値が不足する場合、完全には除去されず、若干の色滲みが残る。一方、推定値が過大となると、過除去となり色滲みの色相が反転してしまう。本願発明者らの実験によると、前者の除去不足に比べ、後者の過除去は著しく不自然な画像となる。そこでこのような色相反転を抑制するために過除去抑制部が備えられ、一定領域の色域の画素のみを除去部の除去対象とし、変化後の色域も一定領域に制限する。この２つの一定領域は同一である。特に、除去対象とする色プレーンを、その強度が参照する色プレーン強度より大きい領域とすることもできる。また、色相変化の抑制としては除去部による色相角の変化を一定角度以内に抑える手法もある。
【００２３】
上記のような画像処理装置によれば色滲みを軽減した画像を得ることができる。
【００２４】
このため、本発明の実施形態の画像処理装置を備えたカラー撮像装置は、少なくとも一つの色プレーンに対応する波長域においてのみ色収差を抑えた光学系を備えればよく、その他の色プレーンに対しては光学系に対する色収差の制限を緩和することができる。
【００２５】
一般的にカラー撮像装置に装着される結像光学系は、サイズ、コスト、種々の収差補正のトレードオフの中で一定の色収差補正が成されているが、本発明の実施形態により色収差に対する制約を緩めることができる。この結果、結像光学系はその他の収差補正や、小型化、低コスト化をより高い水準で達成することができる。
【００２６】
以下、本発明の実施形態について、具体的に説明する。
【００２７】
（第１の実施形態）
以下、添付図面を参照して、本発明の第１の実施形態の画像処理方法について説明する。なお、各図において同一の参照符号は同一部材を示している。
【００２８】
まず、本実施形態の画像処理方法を適用可能なカラー撮像装置１００の例を図３に示す。
【００２９】
カラー撮像装置１００は結像光学系１１０、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、色滲み除去部１５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。なお、図２中に記した被写界（被写体）ｆ及びＲ（赤）、Ｇ（緑）、Ｂ（青）の光線はカラー撮像装置１００の構成要素ではないが説明のため図３中に記す。
【００３０】
図３において、被写界ｆは結像光学系１１０を経て、被写体像を光電変換するイメージセンサ１２０上に結像する。一般的にカラー撮像装置に装着される結像光学系は、サイズ、コスト、種々の収差補正のトレードオフの中で一定の色収差補正が成されている。しかし、本実施形態の結像光学系１１０はＲ〜Ｇの波長域においてのみ縦色収差が良好に補正され、Ｂバンドでは縦色収差が残存するものとする。このように「Ｂバンドの縦色収差」というトレードオフの制限を一つ外すことにより、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【００３１】
イメージセンサ１２０は一般的な原色カラーフィルタを備える単板カラーイメージセンサとする。原色カラーフィルタは、図４のように各々６５０ｎｍ、５５０ｎｍ、４５０ｎｍ近傍に透過主波長帯を持つ３種類の色フィルタからなり、各々Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各バンドに対応する色プレーンを撮影する。単板カラーイメージセンサでは、この色フィルタを図５のように画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける強度を得ることしかできない。このためイメージセンサからは色モザイク画像が出力される。
【００３２】
Ａ／Ｄ変換部１３０ではイメージセンサからからアナログ電圧として出力される色モザイク画像を、以降の画像処理に適するデジタルデータへと変換する。
【００３３】
デモザイク部１４０では色モザイク画像を補間することによって、全ての画素においてＲ、Ｇ、Ｂの色情報が揃ったカラー画像を生成する。なお、この補間手法には単純な線形補間から、「E.Chaｎg, Ｓ.Cheung, and D.Paｎ,“Color filter array recovery using a threshold-based variable number of gradients，”Proc. SPIE, vol. 3650, pp. 36-43, Jan.1999」のように複雑な手法まで、多くの方式が提案されているが、本発明は補間手法を限定するものでなはい。
【００３４】
ここで生成されたカラー画像は結像光学系１１０の色収差によって、ＲやＧプレーンに比してＢプレーンの解像度が劣る画像となる。このため明暗の境界部では図６のように青がぼやけ、明部の周囲に青い縁取りのようなアーチファクトが生じる。
【００３５】
なお、上記ではイメージセンサ１２０のカラーフィルタをＲ、Ｇ、Ｂからなる原色系としたが、補色系カラーフィルタであっても色変換処理によって同様にＲ、Ｇ、Ｂの色プレーンからなるカラー画像が得られる。
【００３６】
色滲み除去部１５０では、画像処理によりカラー画像よりこの青色のアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。
【００３７】
次に視覚補正部１６０による処理が行われる。視覚補正部１６０では主として画像の見栄えを改善するための処理がカラー画像に対し行われ、例えばトーンカーブ（ガンマ）補正、彩度強調、色相補正、エッジ強調といった画像補正が行われる。
【００３８】
処理の最後では、圧縮部１７０で、補正されたカラー画像をＪＰＥＧ等の方法で圧縮し、記録時のサイズを小さくする。
【００３９】
これらのイメージセンサ１２０から記録部１７０間での構成は、実際には別体のデバイスとは限らす。単一のマイクロプロセッサが複数の部分に対応する処理を行うこともある。
【００４０】
処理が行われたデジタル画像信号は記録部１８０にてフラッシュメモリ等の記録媒体に記録される。
【００４１】
このような構成のカラー撮像装置１００における、画像処理による色滲み除去の動作のフローチャートを図７に示す。
【００４２】
図７に示すように、色滲み除去部１５０の処理は、空間演算ステップＳ１５１、領域判定ステップＳ１５２、推定ステップＳ１５３、過除去抑制ステップＳ１５４、及び除去ステップＳ１５５からなる。
【００４３】
本色滲み除去動作ではＢプレーンを除去対象とし、基準プレーンとしてＧプレーンを用いる。
【００４４】
ここで、高輝度な被写体に対するＢプレーン及びＧプレーンの典型的なプロファイルを図８に示す。
【００４５】
図８において、横軸は画像上の断面であり、縦軸はＢプレーン及びＧプレーンの強度である。図８では中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない高輝度被写体周囲も、収差やフレアにより高輝度被写体から滲んだ光によって、プロファイルの裾が拡がる。この滲みの強さは高輝度被写体の輝度に依存し、また高輝度被写体から離れるに従い、指数関数的に弱くなる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＢプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできず、頭が切られてしまう。このため、撮影画像としては本来の高輝度被写体より一回り大きくＧもＢも飽和し、白く飽和した領域ができる。なお、ＲはＧと同じプロファイルとする。この先、Ｇは減衰していくがＢの飽和半径は更に広いため、徐々にＧとの画像強度差は大きくなり、水色として青みを増していく。しかし、Ｂの飽和半径に達するとＢも減衰を初め、この先ではＧとＢの画像強度差は小さくなっていく。あるところで、Ｇの裾の端に達すると、その先はＢプレーンのみが強度を持ち、真っ青の滲みとなる。
【００４６】
このうち、水色部分の滲みと真っ青な滲みが青滲みとして不自然なものとなる。仮に、Ｂの滲みがＧと同程度であれば、滲みは高輝度被写体の色と認識され、自然な滲みとなる。このような滲みは飽和輝度を超えた高輝度被写体の明るさを示す有益な画像表現である。
【００４７】
このため、空間演算ステップＳ１５１では、Ｇ、Ｂ双方の色プレーンに対し、強度が一定の閾値以上となる飽和画素領域を抽出し、各画素のこの飽和画素領域からの距離ｄＧ，ｄＢを画素幅単位で算出する。例えば図９Ａにおいて斜線部分が飽和画素だとすれば、距離は各画素に記した数値のようになる。
【００４８】
閾値としては、Ａ／Ｄ変換部の出力値と入射光強度の関係が比例関係から外れる出力値とする。これ以上の出力値を持つ状態を飽和していると呼ぶ。距離の算出は一般に画像距離変換と呼ばれる。なお、この距離は正確なユークリッド距離に限らず、準ユークリッド（quansi-Euclidean）距離や、チェスボード距離、シティブロック距離で代用してもよい。この画像距離変換により飽和画素は０、非飽和画素は正値となる。Ｂプレーンに対するこの符号により各画素は、Ｂが飽和している領域Ａ１、Ｂが飽和していない領域Ａ２、に区分される（図８参照）。
【００４９】
また、このステップでは、少なくとも領域Ａ１に対してＢが非飽和の領域からの距離ｄｎＢを同様に算出する。ｄＢが図９Ａのように表わされるのに対し、ｄｎＢは図９Ｂのように表わされる。なお、ｄｎＢはｄＢにおける負値として表すこともできる。
【００５０】
領域判定ステップＳ１５２では上記の算出結果に応じて、推定ステップＳ１５３の複数の処理方法Ｓ１５３ａ，Ｓ１５３ｂに処理を振り分ける。本実施形態ではＢが飽和している領域Ａ１をＳ１５３ａ，飽和していない領域Ａ２をＳ１５３ｂに割り振る。
【００５１】
推定ステップＳ１５３ではカラー画像の各画素に対して、色滲みとなっている余計なＢプレーンの強度を推定する。推定手法はＢが飽和しているかしていないかによって異なり、Ｓ１５３ａ，Ｓ１５３ｂで推定の計算を行う。これは各々図８の領域Ａ１、領域Ａ２に対応している。
【００５２】
前述のように、除去すべきＢプレーンの画像強度はＢプレーンとＧプレーンの差であり、領域Ａ１ではＧが飽和している領域から離れるに従い、推定量は増加し、領域Ａ２では領域Ａ１から離れるに従い推定量は減少する。
【００５３】
また、この推定量は高輝度被写体の明るさに依存するが、飽和のため、これを直接得ることはできない。そこで、本実施形態では、ＢとＧの飽和半径の差ｄＧ−ｄＢあるいはｄＧ＋ｄｎＢで代用する。このような推定量として、領域Ａ１を担うステップＳ１５３ａでは推定滲み量Ｅを、
Ｅ＝（ｋ１（ｄＧ＋ｄｎＢ）＋ｋ０）×ｄＧ／（ｄＧ＋ｄｎＢ）
と算出する。
【００５４】
他方、領域Ａ２を担うステップＳ１５３ｂでは推定滲み量Ｅを、
Ｅ＝（ｋ１（ｄＧ−ｄＢ）＋ｋ０）ｅｘｐ（−ｋ２ｄＢ）
と算出し、過除去抑制ステップＳ１５４に渡す。このとき両者は領域Ａ１と領域Ａ２の境界線上ではＥ０＝（ｋ１ｄＧ＋ｋ０）と一致するためマッハバンドを生じない。
【００５５】
ｋ０，ｋ１，ｋ２は定数であり、結像光学系やイメージセンサの画素ピッチによって異なるため、撮影画像から滲み量を近似するのに好適な値を求めるのが望ましい。
【００５６】
厳密には、結像光学系の特性はズーム位置、絞り値、フォーカス位置、レンズ交換といった状態や像高によって変化するため、これらに従い定数ｋ０，ｋ１，ｋ２を変えるのも有効である。或いは、後述の過除去抑制ステップの存在を考慮し、滲み量を近似するのに好適な値より過大な滲み量を推定する定数を設定するのが望ましい。あるいは、後述の過除去抑制ステップの存在を考慮し、結像光学系の特性変化に対応できるよう、過大な滲み量を推定する定数を設定しても良い。
【００５７】
過除去抑制ステップＳ１５４では、上記の推定量Ｅを修正し、実際に除去する量Ｅ’を決める。ステップＳ１５３で推定した除去量は一定のモデルに沿ったものであり、実際の滲み量とは必ずしも一致しない。例えば同じＢプレーンに検出される光であっても波長４５０ｎｍの光と波長４００ｎｍの光では滲み方が変化するが、ステップＳ１５３ではこれを考慮していない。除去量が過小である場合、除去後も若干の青みが残る。一方、除去量が過大であると、灰色の背景に対してＢを減らしすぎ、黄緑色になってしまったりする。特に後者は不自然で観察者に大きな違和感を与える。そこで本ステップは、一定の色相範囲内でのみ滲み除去が作用するよう制限する。このため、まず、画素の色度を計算する。  Ｒ，Ｇ，Ｂの各プレーンの強度に対し、
【００５８】
【数１】
2008147981.tif 000003
【００５９】
ａ＝５（ｘ−ｙ）
ｂ＝２（ｙ−z）
とする。この色度座標ａｂ面を図１０に記すと、青色は第４象限にあり、Ｂ強度から推定量Ｅを除去すると、点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Ｅの除去後の色度である。このことから作用する色相範囲をａ’＞０かつｂ’＜０に制限する。
【００６０】
Ｂ＞０.２２Ｒ＋０.６８Ｇ かつ Ｂ＞−１.８４Ｒ＋３.３０Ｇ
となる。このため、ステップＳ１５４ではまずこの条件を満たさない画素に対しＥ’＝０とし、除去対象から外す。これにより、これらの画素は除去ステップＳ１５５によって変化せず、色滲みの除去ステップＳ１５５によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。
【００６１】
さらに条件を満たす画素に対しても除去量を、
Ｅ’＝ｍｉｎ（Ｅ，Ｂ−（０.２２Ｒ＋０.６８Ｇ），Ｂ−（−１.８４Ｒ＋３.３０Ｇ））
として、除去ステップＳ１５５に渡す。このＥ’の除去による色度変化は図１０に実線矢印で記したように、第４象限内に留まるようになる。これにより、除去ステップにより色相制限範囲を超えてＢが減少するのを防ぐことができる。
【００６２】
除去ステップＳ１５５では上記の除去量Ｅ’をＢプレーンの強度から減じ、新たなＢプレーン強度を、
Ｂ＝Ｂ−Ｅ’
とする。このようにＢプレーンを修正したカラー画像を色滲み除去部１５０の出力として視覚補正部１６０に渡す。
【００６３】
なお、本実施形態では、結像光学系１１０から記録部１８０までを備えたカラー撮像装置として説明したが、これらの内色滲み除去部１５０を除く一部或いは全部を別の装置として設け、色滲み除去のみを行う画像処理装置として構成してもよい。この場合、画像処理装置をカラー撮像装置と別体に設け、カラー撮像装置で撮影され、半導体メモリ・磁気／光ディスクなどの記録媒体に格納されたカラー画像を画像処理装置で読み込み（入力）可能とするようにすればよい。
【００６４】
このように本実施形態の青滲み除去部を備えたカラー撮像系によれば、青滲みが効果的に除去され、また自然で違和感のない撮影画像が得られる。また、付随する結像光学系においてはＢバンドにおける縦色収差の制限を緩めることができ、その他の収差補正や、小型化、低コスト化をより高い水準で実現できる。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態の画像処理方法を適用可能なカラー撮像装置２００の例を図１１に示す。なお、図１１では、図３と同じ機能部分には同じ符号を付している。
【００６６】
カラー撮像装置２００は、結像光学系２１０、色分解プリズム２１５、イメージセンサ２２０、Ａ／Ｄ変換部２３０、色変換部２３５、色滲み除去部２５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。
【００６７】
本実施形態のイメージセンサ２２０は第１の実施形態とは異なり３板式であり、それに伴い色分解プリズム２１５が追加され、第１の実施形態に存在していたデモザイク部１４０は不要となる。
【００６８】
図１１において、被写体からの光線は結像光学系２１０及び色分解プリズム２１５を経てイメージセンサ２２０上に結像する。色分解プリズム２１５では、光の波長によって光線の進行方向が異なるため、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の波長域の異なるそれぞれの光線は、異なるイメージセンサ２２０に到達する。このため、イメージセンサ２２０はカラーフィルタを備えず、各々ＲＧＢの各色プレーンに対応する像を得る。
【００６９】
また、本実施形態の結像光学系２１０はＧバンド内の波長域においてのみ縦色収差が良好に補正され、Ｒ／Ｂバンドでは縦色収差が残存するものとする。なお、３板式では各イメージセンサの前後位置を調整することにより、縦色収差を補正することも可能であるが、光学系のズーム位置などによる収差量変動に対応できないため、本実施形態ではそのような調整は考慮しない。このため、Ｇプレーンに比してＲ、Ｂプレーンの解像度が劣り、３つのプレーンを合成したカラー画像においては明暗の境界部で赤や青がぼやけ、明部の周囲に赤や青、或いは紫色の縁取りのようなアーチファクトが生じる。
【００７０】
Ａ／Ｄ変換部２３０では、３枚のイメージセンサ２２０からアナログ電圧として出力されるＲＧＢ各色プレーンの画像を、以降の画像処理に適するデジタルデータへと変換する。
【００７１】
色変換部２３５では色表現をＲＧＢからＹＵＶに変換する。これにはマトリクス演算が用いられ、
【００７２】
【数２】
2008147981.tif 000004
【００７３】
として、Ｙ、Ｕ、Ｖの３つのプレーンが得られる。このＹは輝度を、Ｕは青みを、Ｖは赤みを示す。
【００７４】
色滲み除去部２５０では画像処理によりカラー画像よりこのアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。
【００７５】
視覚補正部１６０、圧縮部１７０、記録部１８０は第１の実施形態と同様である。
【００７６】
このような構成のカラー撮像装置２００における、画像処理による色滲み除去の動作のフローチャートを図１２に示す。
【００７７】
図１２に示すように、色滲み除去部２５０の処理は、空間演算ステップＳ２５１、推定ステップＳ２５３、過除去抑制ステップＳ２５４、除去ステップＳ２５５からなる。色滲み除去部２５０では、Ｒプレーン、Ｂプレーンを除去対象とし、基準プレーンとしてＹプレーンを用いる。
【００７８】
空間演算ステップＳ２５１では、Ｙプレーンの強度に対する非線形変換を行うことで各画素に対する飽和度Ｓを計算し、これに対するコンボリューション処理を行う。この非線形変換は飽和によって高輝度被写体の輝度が過小に表されているのを補正するものである。この変換の結果、図１３の様に、Ｙの強度は、Ｙの強度が飽和している領域近傍で急激に増加し、非飽和領域におけるＹ強度と飽和度の比例関係に比して大きい値を示す。図１３では、この最大値を４にしている。但し、以下ではこの飽和度の最大値を１となるよう正規化して説明する。これによって、図１４の点線のようなＹ強度プロファイルに対して、飽和度Ｓのプロファイルは図１４の実線のようになる。
【００７９】
なお、このような非線形変換の簡単な例としてはＹの強度が飽和している領域近傍（例えばＹ＞０.８）では１とし、非飽和領域（Ｙ＜０.８）では０とする２値にすることもできる。
【００８０】
この飽和度Ｓに対してコンボリューション処理を行い、ＳＲ、ＳＢを求める。これはＢ（青）、Ｒ（赤）バンドにおける滲み方ととも考えられるため、ここでは対応する２種類のコンボリューション処理を次式のように行う。
【００８１】
【数３】
2008147981.tif 000005
【００８２】
図１４に示した飽和度Ｓに対するコンボリューションカーネルｋＲおよびＳＲの例を図１５及び図１６に示す。
【００８３】
この際のコンボリューションカーネルｋＲ、ｋＢは結像光学系２１０における解像度の劣化を模したものであり、Ｒ、Ｂ各バンドにおける代表的な波長のＰＳＦ（点拡がり関数）を用いることができる。Ｂバンドにおける代表的な波長の有効な例としては夜景に多く含まれる水銀灯輝線（４０５ｎｍ）がある。ＰＳＦ及び結像光学系の特性はズーム位置、絞り値、フォーカス位置、レンズ交換といったレンズの状態や像位置よって変化するため、これらに従いコンボリューションカーネルを変化させるのが望ましい。
【００８４】
あるいは、後述の過除去抑制ステップＳ２５４の存在を考慮し、結像光学系の特性変化に対応できるよう、変化する複数のＰＳＦを包絡し過大な滲み量を推定するコンボリューションカーネルを設定しても良い。特に、像位置により異なるカーネルでのコンボリューション処理は計算負荷が大きいため、像面全体或いは像面内の一定領域内に対して、像方向によるＰＳＦの変化を包絡して軸対象なコンボリューションカーネルにすることは計算負荷の削減に有効である。また、像高による変化も包絡してシフトインバリアントなコンボリューションカーネルにするのも、計算負荷の削減に有効である。この際更にコンボリューションカーネルを指数関数型やガウス関数型とすることもできる。
【００８５】
また同様にＲ、Ｂ各バンド内の波長によって変化する複数のＰＳＦを包絡するコンボリューションカーネルを設定しても良い。特にこの際、Ｂハンドに対しては水銀灯輝線（４０５ｎｍ）を含めるのが有効である。
【００８６】
なお、これらのコンボリューションカーネルは中心からの距離に従い減少するようにするのが望ましい。
【００８７】
推定ステップＳ２５３では、色滲みとなっている余計なＵプレーン、Ｖプレーンの強度ＥＵ、ＥＶを推定する。ここではＥＢ、ＥＲを単純にＳＲ、ＳＢの定数倍とする。
【００８８】
ＥＵ＝０.４２４ｆＢ・ＳＢ
ＥＶ＝０.８７７ｆＲ・ＳＲ
このｆＢ、ｆＲは飽和部の本来の画像強度に相当し、１〜１０程度の値となるが、例えば４とおけば概ね良好な結果を得られる。
【００８９】
過除去抑制ステップＳ２５４では、上記の推定量ＥＵ、ＥＶを修正し、Ｕプレーン、Ｖプレーンにおいて実際に除去する量Ｅ’を決める。ここでは第１の実施形態と同様、色度座標に注目する。ＵＶ面の色度座標を図１７に示すと、青色はＵ＞０、赤色はＶ＞０となる。Ｕ、Ｖの強度からＥＵ、ＥＶを除去すると、点線矢印のように左下方向に移動する。この向きはＥＵ、ＥＶの比率で変化する。矢印の始点が除去前の色度であり、先端が推定量ＥＵ、ＥＶの除去後の色度である。このことから、Ｕ＞０、Ｖ＞０を色相制限範囲とし、まず、Ｕ≦０の画素に対してはＥＵ’＝０、Ｖ≦０の画素に対してはＥＶ’＝０とする。
【００９０】
更に、Ｕ＞０の画素に対しては、
ＥＵ’＝ｍｉｎ（ＥＵ，Ｕ）
Ｖ＞０の画素に対しては、
ＥＶ’＝ｍｉｎ（ＥＶ，Ｖ）
として除去ステップＳ２５５に渡す。このＥＵ’，ＥＶ’の除去に依る色度変化は図１６に実線矢印で記したように、各象限内に留まるようになる。更に第二象限ではＶのみが変化し、第４象限ではＵのみが変化し、第三象限では無変化となる。これはＲ、Ｂの変化で言うと、Ｒ、Ｂの強度が輝度Ｙを下回って減少することはなく、また、元々Ｙの下にあるＲ、Ｂは変化しないことを示す。
【００９１】
除去ステップＳ２５５では上記の除去量ＥＵ’、ＥＶ’をＵプレーン、Ｖプレーンの値から差し引き、新たなＵプレーン値、Ｖプレーン値を、
Ｕ＝Ｕ−ＥＵ’
Ｖ＝Ｖ−ＥＶ’
とする。
【００９２】
このようにＵプレーン、Ｖプレーンを修正したカラー画像を色滲み除去部２５０の出力として視覚補正部１６０に渡す。
【００９３】
本実施形態においては、ＹプレーンにＢプレーンやＲプレーンの滲みが混入するため、白く残る滲みの量はＧプレーンを基準プレーンとした場合に比べやや大きくなる。しかし、主な計算を高い精度が不要なＵプレーン、Ｖプレーンにおいて行うことで処理装置のコストを抑えることができる。また、本実施形態に用いる光学系では、Ｇバンド内でのみ高い解像度が要求され、Ｒバンド、Ｂバンド双方に対する色収差の制限を緩めることができる。
【００９４】
（第３の実施形態）
次に、本発明の第３の実施形態の画像処理方法を適用可能なカラー撮像装置３００の例を図１８に示す。なお、図１８では、図３と同じ機能部分には同じ符号を付している。
【００９５】
カラー撮像装置３００は結像光学系３１０、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、色滲み除去部３５０、視覚補正部１６０、圧縮部１７０、記録部１８０を有する。
【００９６】
本実施形態の結像光学系３１０は、被写体からの光線をイメージセンサ１２０上に結像させるが、Ｇ〜Ｂバンドの波長域において縦色収差が良好に補正され、Ｒバンドでは縦色収差が残存するものとする。
【００９７】
このような結像光学系３１０で結像され、イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０を経て生成されるカラー画像のＲ、Ｇ、Ｂプレーンにおいては、次のようなことが起こる。即ち、結像光学系３１０の色収差の影響によりＧプレーン、Ｂプレーンに比べてＲプレーンの解像度が劣り、３つのプレーンを合成したカラー画像においては明暗の境界部で赤がぼやけ、明部の周囲に赤い縁取りのようなアーチファクトが生じる。
【００９８】
色滲み除去部３５０では、画像処理によりカラー画像からこの赤色のアーチファクトを除去する。本実施形態の画像処理方法はこの除去処理にかかるものであり、後に詳しく説明する。
【００９９】
イメージセンサ１２０、Ａ／Ｄ変換部１３０、デモザイク部１４０、視覚補正部１６０、圧縮部１７０、記録部１８０は第１の実施形態と同様である。
【０１００】
このような構成のカラー撮像装置３００における、画像処理による色滲み除去の動作のフローチャートを図１９に示す。
【０１０１】
図１９に示すように、色滲み除去部３５０の処理は、空間演算ステップＳ３５１、推定ステップＳ３５３、領域判定ステップＳ３５２、過除去抑制ステップＳ３５４、除去ステップＳ３５５からなる。
【０１０２】
色滲み除去部３５０ではＲプレーンを除去対象とし、基準プレーンとしてＧプレーンを用いる。
【０１０３】
空間演算ステップＳ３５１ではＲプレーン、Ｇプレーンに対する輝度傾斜マップＲlea、Ｇleaを、次のように計算する。
【０１０４】
【数４】
2008147981.tif 000006
【０１０５】
ここで、
Ｒ（ｘ＋１，ｙ）、Ｂ（ｘ＋１，ｙ）は、Ｒプレーン、Ｂプレーンにおける注目画素の右隣の画素値である。
【０１０６】
Ｒ（ｘ−１，ｙ）、Ｂ（ｘ−１，ｙ）は、Ｒプレーン、Ｂプレーンにおける注目画素の左隣の画素値である。
【０１０７】
Ｒ（ｘ，ｙ＋１）、Ｂ（ｘ，ｙ＋１）は、Ｒプレーン、Ｂプレーンにおける注目画素の下隣の画素値である。
【０１０８】
Ｒ（ｘ，ｙ−１）、Ｂ（ｘ，ｙ−１）は、Ｒプレーン、Ｂプレーンにおける注目画素の上隣の画素値である。
【０１０９】
推定ステップＳ３５３ではカラー画像の各画素に対して、色滲みとなっている余計なＲプレーンの強度を推定する。推定手法はＲが飽和しているかしていないかによって異なるが、双方の場合に備えてＳ３５３ａ，Ｓ３５３ｂにより２種類の推定量Ｅ１，Ｅ２を計算する。
【０１１０】
図２０に、赤滲みの典型的な強度プロファイルを示す。
【０１１１】
図２０において、横軸は画像上の断面であり、縦軸はＲプレーン及びＧプレーンの強度である。図２０では中心部に飽和輝度を超える高輝度被写体が存在する。そして本来明るくない光源周囲も、収差やフレアにより光源から滲んだ光によって、プロファイルの裾が指数関数的に拡がる。Ｇプレーンであっても滲みは全くないわけではなく、ある程度の拡がりが存在するが、それはＲプレーンに比べると小さい。また、イメージセンサは一定の飽和レベル以上の強度を測定することはできず、頭が切られてしまう。このようなプロファイルにおいて、Ｒの強度がＧの強度を上回ると赤滲みとなる。
【０１１２】
これに鑑み、本実施形態においては、このＲの輝度プロファイルの傾きによってＲの滲み量を推定する。そこで、Ｓ３５３ａではＲの傾きＲleaの絶対値に係数ｋ１を乗じて第一の推定滲み量Ｅ１とする。
【０１１３】
Ｅ１＝ｋ１|Ｒlea|
ここで、ｋ１は正値であり、３前後が好適である。
【０１１４】
ただし、Ｒが飽和している領域Ａ１では輝度傾斜は０になってしまい飽和前の輝度傾斜が得られない。そこで、このような領域に対する推定滲み量Ｅ２をＳ３５３ｂにより算出する。このためＳ３５３ｂではＧの傾きＧleaによって推定滲み量Ｅ２を定める。例えば、次のようにする。
【０１１５】
Ｅ２＝ｋ２|Ｇlea|
ここで、ｋ２は正値であり、３前後が好適である。
【０１１６】
領域判定ステップＳ３５２では、まず、Ｒプレーンの強度に対する非線形変換を行い、飽和度Ｓを生成する。この非線形変換はＲが飽和しているかどうかを示すものであり、Ｒの強度が飽和している領域では１を、Ｒの強度が小さい領域では０となる。Ｓは０、１の２値でも良いが、図２１のように、０〜１にかけて連続的に変化する値としても良い。そしてこの飽和度ＳによってＳ３５３で算出したＥ１又はＥ２を選択する。すなわち、Ｓが０、１の２値であれば新たな推定量Ｅを、
Ｅ＝Ｅ１    （Ｓ＝０の場合）
Ｅ＝Ｅ２    （Ｓ＝１の場合）
とする。
【０１１７】
また、Ｓが０〜１にかけて連続的に変化する値であれば、新たな推定量Ｅを、
Ｅ＝（１−Ｓ）Ｅ１＋ＳＥ２
とする。
【０１１８】
過除去抑制ステップＳ３５４では、上記の推定量Ｅを修正し、Ｒプレーンにおいて実際に除去する量Ｅ’を決める。ここでは除去による色相Ｈの変化を一定角度δ以内にする。色相−彩度面は図２２に示すようになっており、Ｒ強度から推定量Ｅを除去すると、矢印点線のように下方に移動する。これに対し色相の変化を一定角度δ以内にするには、先ず除去前の色相
Ｈｏｒｉ＝Ｈ（Ｒ，Ｇ，Ｂ）
を求め、その前後一定角δの変化を与えるＲの除去量Ｅｒ，Ｅｌを計算する。
【０１１９】
Ｈ（Ｒ−Ｅｒ，Ｇ，Ｂ）＝Ｈｏｒｉ−δ
Ｈ（Ｒ−Ｅｌ，Ｇ，Ｂ）＝Ｈｏｒｉ＋δ
δとしては１０〜４５度程度にするのが好適である
これらのＥｒ，Ｅｌと領域判定ステップＳ３５３から除去量Ｅ’を、
Ｅ’＝ｍｉｎ（Ｅ，ｍａｘ（Ｅｒ，Ｅｌ，０））
とし、除去ステップＳ３５５に渡す。
【０１２０】
図２２においてはＥ’＝Ｅｒとなる。
【０１２１】
除去ステップＳ３５５では上記の除去量Ｅ’をＲプレーンの強度から差し引き新たなＲプレーン強度
Ｒ＝Ｒ−Ｅ’
とする。
【０１２２】
このようにＲプレーンを修正したカラー画像を色滲み除去部３５０の出力として視覚補正部１６０に渡す。
【０１２３】
本実施形態では色滲み除去において、除去対象画素に対し上下左右隣接画素のみを参照している。このため巨大なフレームメモリを必要とせず、２ライン分のバッファメモリさえあればラスタ走査によって画像全体を処理することができる。このため高速でコンパクトな回路として画像処理装置を実装することが可能となる。
【０１２４】
以上説明したように、本実施形態によれば画像処理によって効果的に色滲みを除去することができる。
【０１２５】
なお、全く滲みが無くなると、飽和輝度を超えた高輝度被写体の明るさや色が識別不能となってしまう。このため、上記の実施形態では、基準プレーンを設定することで、滲みが大きく発生している色プレーンを基準プレーンと同等にまで減少させることを主眼とし、それ以上に滲みを減少させることは目的としていない。このため色滲み除去処理後の画像であっても、若干の滲みは残し、高輝度被写体の明るさや色を識別することができる。
【０１２６】
また上記の実施形態の画像処理を前提とすることで、カラー撮像装置の結像光学系は少なくとも一つの色バンドについて収差が除去されていれば良く、結像光学系に求められるその他の収差補正や小型化・低コスト化をより高い水準で実現可能となる。
【０１２７】
（他の実施形態）
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２８】
さらに、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１２９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１３０】
【図１】横色収差の発生原理を示す図である。
【図２】縦色収差の発生原理を示す図である。
【図３】第１の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。
【図４】原色カラーフィルタの分光透過率を示す図である。
【図５】原色カラーフィルタにおける色要素の並びを示す図である。
【図６】明暗の境界部における青色の滲みを示す図である。
【図７】第１の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。
【図８】高輝度な被写体に対するＢプレーン及びＧプレーンの典型的なプロファイルを示す図である。
【図９Ａ】飽和画素から周囲の各画素までの距離を示す図である。
【図９Ｂ】周囲の画素から飽和画素までの距離を示す図である。
【図１０】色度座標を示す図である。
【図１１】第２の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。
【図１２】第２の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。
【図１３】非線形変換の特性を示す図である。
【図１４】飽和度プロファイルを示す図である。
【図１５】コンボリューションカーネルを示す図である。
【図１６】コンボリューション結果を示す図である。
【図１７】ＵＶ面の色度座標を示す図である。
【図１８】第３の実施形態の画像処理方法を適用可能なカラー撮像装置の構成を示す図である。
【図１９】第３の実施形態のカラー撮像装置における、画像処理による色滲み除去の動作を示すフローチャートである。
【図２０】赤滲みの典型的な強度プロファイルを示す図である。
【図２１】非線形変換の特性を示す図である。
【図２２】過除去抑制の原理を示す図である。
【符号の説明】
【０１３１】
１００  カラー撮像装置
１１０  結像光学系
１２０  イメージセンサ
１３０  Ａ／Ｄ変換部
１４０  デモザイク部
１５０  色滲み除去部
１６０  視覚補正部
１７０  圧縮部
１８０  記録部
【図１】
2008147981.tif 000007
【図２】
2008147981.tif 000008
【図３】
2008147981.tif 000009
【図４】
2008147981.tif 000010
【図５】
2008147981.tif 000011
【図６】
2008147981.tif 000012
【図７】
2008147981.tif 000013
【図８】
2008147981.tif 000014
【図９Ａ】
2008147981.tif 000015
【図９Ｂ】
2008147981.tif 000016
【図１０】
2008147981.tif 000017
【図１１】
2008147981.tif 000018
【図１２】
2008147981.tif 000019
【図１３】
2008147981.tif 000020
【図１４】
2008147981.tif 000021
【図１５】
2008147981.tif 000022
【図１６】
2008147981.tif 000023
【図１７】
2008147981.tif 000024
【図１８】
2008147981.tif 000025
【図１９】
2008147981.tif 000026
【図２０】
2008147981.tif 000027
【図２１】
2008147981.tif 000028
【図２２】
2008147981.tif 000029