(57)【要約】【課題】白とび画像の周辺に色が付いて表示されないようにすること。【解決手段】撮像装置１０は、二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、所定画素位置の信号を補間するものである。このとき、近傍白とび検出部１１は、ＲＧＢ信号よりなる画像に含まれる注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、注目画素が白とびの周辺に含まれることを判定する。クリップレベル生成部１２は、注目画素及び周辺画素のレベルの変化量に応じて注目画素のレベルを抑制するためのクリップレベルを生成する。そして、抑制処理部１３は、レベルの変化量及びクリップレベルに基づいて、注目画素のレベルを抑制し、注目画素に生じた色収差を抑制する。【選択図】図１
2010178226.tif 000002
【特許請求の範囲】
【請求項１】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、ＲＧＢ信号よりなる画像に含まれ、注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを検出する近傍白とび検出部と、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するクリップレベル生成部と、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制する抑制処理部と、備える
撮像装置。
【請求項２】
前記近傍白とび検出部は、前記周辺画素のうち一つでも前記所定の閾値を超えるレベルである画素がある場合に、前記注目画素が、前記白とびが生じた画素の近傍に位置する画素であることを判定し、
前記クリップレベル生成部は、前記注目画素及び前記周辺画素のレベルの変化量が大きいほど前記注目画素のレベルを抑制する前記クリップレベルを生成する
請求項１記載の撮像装置。
【請求項３】
前記抑制処理部によって抑制された前記注目画素及び前記周辺画素の色成分を、前記周辺画素の周囲の画素に含まれる色成分を用いて平滑化する平滑化処理部を備える
請求項２記載の撮像装置。
【請求項４】
前記注目画素及び周辺画素のレベルは、前記ＲＧＢ信号を変換して求められるＧ色差又は輝度のレベルである
請求項３記載の撮像装置。
【請求項５】
前記レベルの変化量は、前記注目画素の所定の方向に配置される前記周辺画素のレベルの差分値、前記周辺画素の差分値を平均した値又は前記周辺画素のうち最も大きなレベルの値である
請求項１又は２記載の撮像装置。
【請求項６】
前記平滑化処理部は、ローパスフィルタである
請求項３記載の撮像装置。
【請求項７】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、ＲＧＢ信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを判定するステップと、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するステップと、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制するステップと、を有する
色収差抑制方法。
【請求項８】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、ＲＧＢ信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを検出する近傍白とび検出部と、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するクリップレベル生成部と、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制する抑制処理部と、備える
色収差抑制回路。
【請求項９】
二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、前記所定画素位置の信号を補間する場合に、ＲＧＢ信号よりなる画像に含まれ、注目画素に対する所定の範囲内である近傍に配置される周辺画素のレベルが所定の閾値を超えた場合に、前記注目画素が白とびの周辺に含まれることを判定するステップと、
前記注目画素及び前記周辺画素のレベルの変化量に応じて前記注目画素のレベルを抑制するためのクリップレベルを生成するステップと、
前記レベルの変化量及び前記クリップレベルに基づいて、前記注目画素のレベルを抑制し、前記注目画素に生じた色収差を抑制するステップと、を含む
コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ベイヤ配列方式の色フィルタを通して得られた画像信号に色情報を補間する場合に適用して好適な撮像装置、色収差抑制方法、色収差抑制回路及びプログラムに関する。
【背景技術】
【０００２】
近年、電子カメラ等の撮像装置は、小型化、高倍率、多画素化を実現すると共に高画質が要求されている。しかしながら、小型化、高倍率、かつ多画素に対応した高いＭＴＦ（Modulation Transfer Function）特性をもつレンズを製造することが非常に困難になってきている。このため、レンズを小型にすることで、画面の位置や波長によって合焦位置がズレる「色収差」が発生する。色収差には、色によって像の倍率が異なる「倍率色収差」だけでなく、色によるピント位置の差によって起こる「軸上色収差」も含まれ、信号処理によって色収差を抑制する技術が提案されている。
【０００３】
特許文献１には、高輝度周辺のカラーフリンジを抑制する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１３３５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、金属光沢等の明るい部分を撮像すると、その部分が高輝度であるため、色収差によって白くなる「白とび」が発生する。従来の撮像装置はダイナミックレンジが狭く、高輝度の色情報を正確に取得することはできなかったが、近年の撮像装置の高感度化に伴い、取得できるダイナミックレンジが広がった。しかし、それに伴って、今まで現れなかった（取得できなかった）高輝度における色収差などのカラーフリンジの色まで正確に取得できるようになり、そのカラーフリンジが画質に影響を及ぼすようになってきた。
【０００６】
図１１は、色収差を抑制することによって白とびの周辺に生じるカラーフリンジの例を示す。
Ｙ信号（または、ＲＧＢ信号のいずれか）の信号レベルが飽和すると、白とび１０１が発生する。白とび１０１は、例えば、金属光沢や光源といったコントラストの大きい画像に発生しやすいため、白とび１０１に色収差抑制がなされる。しかし、白とび１０１の周辺には、光軸上の焦点位置の違いによって、カラーフリンジ１０２が生じることがあった。これは、従来、軸上色収差を抑制するための有効な方法がなかったためである。
【０００７】
また、特許文献１に記載された技術は、白とび周辺の画素を検出し、その画素が紫色である場合に色消しを行うものであるため、紫色以外の他の色（赤や緑）のカラーフリンジを非表示とすることはできなかった。このため、カラーフリンジ１０２を表示させないようにする技術が求められていた。
【０００８】
本発明はこのような状況に鑑みて成されたものであり、高輝度の画像を表示する場合に高輝度画像の周辺に色が付いて表示されないように軸上色収差を抑制することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号を取り出して、所定画素位置の信号を補間する場合に適用される。
この場合に、ＲＧＢ信号よりなる画像に含まれ、注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、注目画素が白とびの周辺に含まれることを検出する。
次に、注目画素及び周辺画素のレベルの変化量に応じて注目画素のレベルを抑制するためのクリップレベルを生成する。
そして、レベルの変化量及びクリップレベルに基づいて、注目画素のレベルを抑制し、注目画素に生じた色収差を抑制する。
【００１０】
このようにしたことで、白とび周辺の画素に生じる色収差を抑制することが可能となった。
【発明の効果】
【００１１】
本発明によれば、白とび周辺の画素に生じる色収差を抑制することが可能であるため、画像の一部に白とびが生じても、白とびの周辺に発生するカラーフリンジを抑制することができるという効果がある。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施の形態における撮像装置の内部構成例を示すブロック図である。
【図２】本発明の第１の実施の形態におけるカラーフリンジ抑制部の内部構成例を示すブロック図である。
【図３】本発明の第１の実施の形態における平滑化処理部の内部構成例を示すブロック図である。
【図４】本発明の第１の実施の形態におけるベイヤ配列の画素の例を示す説明図である。
【図５】本発明の第１の実施の形態における周辺画素のＧレベルの絶対値から求まる白とび近傍判定条件の例を示す説明図である。
【図６】本発明の第１の実施の形態におけるクリップレベルの例を示す説明図である。
【図７】本発明の第２の実施の形態における撮像装置の内部構成例を示すブロック図である。
【図８】本発明の第２の実施の形態における画素の例を示す説明図である。
【図９】本発明の第２の実施の形態における周辺画素のＹレベルの絶対値から求まる白とび近傍判定条件の例を示す説明図である。
【図１０】本発明の第２の実施の形態におけるクリップレベルの例を示す説明図である。
【図１１】軸上色収差を抑制することによって白とびの周辺に生じるカラーフリンジの例を示す
【発明を実施するための形態】
【００１３】
以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（カラーフリンジの抑制処理：Ｒ，Ｇ，Ｂ信号を用いた例）
２．第２の実施の形態（カラーフリンジの抑制処理：Ｙ信号を用いた例）
３．変形例
【００１４】
＜１．第１の実施の形態＞
［撮像装置の内部構成例］
【００１５】
以下、本発明の第１の実施の形態について、図１〜図６を参照して説明する。本実施の形態では、本発明の画像信号処理装置を撮像装置１０に適用させている。
【００１６】
図１は、撮像装置１０の内部構成例を示す。
撮像装置１０は、レンズ部１と、色フィルタ２と、撮像素子３とを有する。
【００１７】
レンズ部１は、光学レンズ系や絞り機構によって構成され、撮像素子３の撮像面に被写体の像光を結像する。撮像素子３は、二次元配置された複数の光電変換素子からなる。この光電変換素子は、例えば、ＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が用いられる。各光電変換素子は複数の画素を構成し、撮像面上で各光電変換素子が占める位置が画素位置に対応する。
【００１８】
撮像素子３の二次元配置された複数の画素上には、赤（Ｒ）、緑（Ｇ）、または青（Ｂ）の色フィルタ２を配置してあり、色フィルタ２を通して、１画素あたり１色の信号値が得られる。色フィルタ２は、後述するベイヤ配列のものを使用しており、フィルタ幅は、例えば垂直方向と水平方向にそれぞれ５画素×５画素とする。以下の説明において、ある画素に注目した場合、その画素を「注目画素」と称し、注目画素を中心として周囲の５画素×５画素の範囲内を「近傍」と称する。入射光は、色フィルタ２を通過することにより、色フィルタ２の各色成分のみが撮像素子３の受光部に到達する。つまり、受光部においては、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分が互いに異なる位置に入射され、光電変換される。
【００１９】
また、撮像装置１０は、撮像素子３から出力された信号をデジタルの信号に変換するアナログ・デジタル変換部４と、アナログ・デジタル変換部４で変換されたデジタル信号に対して所定の補正処理を行う補正処理部５を備える。アナログ・デジタル変換部４は、撮像素子３から供給された赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分の電気信号（アナログ信号）をデジタル化し、そのデジタル信号を補正処理部５に供給する。補正処理部５は、光学系や撮像系の特性に起因して発生した輝度ムラを補正するシェーディング補正や、撮像素子３の欠陥等に起因して発生した画素欠陥補正等の処理を行う。
【００２０】
ＲＧＢのフルカラー画像を得る色分離部７を備える。また、撮像装置１０は、信号に対してガンマ補正や輪郭強調等の処理を施す画像処理部８を備える。カラーフリンジ抑制部６の構成例及び処理の具体的な内容については後述する。
【００２１】
画像処理部８は、供給された画像データ（Ｒ，Ｇ，Ｂ信号）に対して、その画像データに対応する画像を加工するように、信号処理（画像処理）を施し、その画像データを輝度信号Ｙおよび色信号Ｃｒ，Ｃｂとして出力する。
【００２２】
図２は、カラーフリンジ抑制部６の内部構成例を示す。
カラーフリンジ抑制部６は、色収差を抑制するための色収差抑制回路として用いられる。本例のカラーフリンジ抑制処理の前提として、二次元配置された複数の画素上に、ＲとＧとＢの原色のカラーフィルタを所定配列で交互に配置した撮像素子３で得た画像信号から、所定画素位置の周辺の複数位置の原色の信号が取り出される。取り出された所定画素位置の周辺の原色の信号は、所定画素位置の信号を補間する場合に適用される。
【００２３】
カラーフリンジ抑制部６は、白とびが生じた画像の中から白とびの周辺を検出する近傍白とび検出部１１と、白とびの周辺に付く色（カラーフリンジ）を抑制するクリップレベルを生成するクリップレベル生成部１２を備える。また、カラーフリンジ抑制部６は、クリップレベル生成部１２が生成したクリップレベルに従って、白とびの周辺に付いた色を抑制する抑制処理部１３と、画像を平滑化する平滑化処理部１４を備える。
【００２４】
近傍白とび検出部１１は、入力されたＲ，Ｇ，Ｂ信号から、各画素の輝度値を参照し、予め定められた所定の閾値より大きいか否か（信号レベルが飽和しているか否か）を判定する。このとき、近傍白とび検出部１１は、ＲＧＢ信号よりなる画像に含まれる注目画素に対する所定の範囲内に配置される周辺画素のレベルが所定の閾値を超えた場合に、注目画素が白とびの周辺に含まれることを検出する。そして、近傍白とび検出部１１は、判定結果（閾値判定結果）を白とび抑制処理部１３に供給する。この閾値は、どのような値であってもよいが、白とびが生じた部分の画素を検出するために用いられる。このため、一般的には、輝度値のレンジ幅の最大値近傍である、十分に大きな値が設定される。
【００２５】
クリップレベル生成部１２は、注目画素及び周辺画素の輝度レベルの変化量に応じて、注目画素のＧ色差のレベル（以下、「Ｇレベル」と称する。）を所定の値に抑制するためのクリップレベルを生成する。
【００２６】
抑制処理部１３には、入力された画像信号と共に、近傍白とび検出部１１から白とびの位置に関する情報が供給され、クリップレベル生成部１２からクリップレベルが供給される。抑制処理部１３は、これらの情報に基づいて、白とびの周辺に生じたカラーフリンジを抑制する処理を行う。具体的には、抑制処理部１３は、レベルの変化量及びクリップレベルに基づいて、Ｇ色差のレベルを抑制し、注目画素に生じた色収差を抑制する。例えば、輝度が高い画素と輝度が低い画素を並べると、コントラスト比が高くなる。この場合、カラーフリンジが生じ易くなるため、Ｇ色差を周辺の変化量に応じて一定レベルまで抑制することによってカラーフリンジを抑制できる。
【００２７】
平滑化処理部１４は、抑制処理部１３によってレベルが抑制された注目画素及び周辺画素の色成分を、周辺画素の周囲の画素に含まれる色成分を用いて平滑化する。平滑化処理部１４には、例えば、フィルタ係数を（１，２，１）としたローパスフィルタ（ＬＰＦ：Low Pass Filter）が用いられる。これにより、カラーフリンジが抑制されたことによって生じる複数の画素にわたる色成分の不連続が平滑化される。
【００２８】
図３は、平滑化処理部１４の内部構成例を示す。
平滑化処理部１４は、ＳＲＡＭ（Static Random Access Memory）２１、乗算器２２、ＳＲＡＭ２３、加算器２４及び除算器２５を有している。
【００２９】
ＳＲＡＭ２１，２３は、それぞれ１ライン分の画像信号を保持するラインメモリである。これらは、直列に接続されており、新たな１ライン分の画像信号がＳＲＡＭ２１に供給されると、ＳＲＡＭ２３が保持している画像信号は、順番に転送される。また、ＳＲＡＭ２１の出力は乗算器２２により２倍されて加算器２４に供給される。ＳＲＡＭ２１の入力と、ＳＲＡＭ２３の出力は、そのまま加算器２４に供給される。加算器２４は、入力された画像信号を全て加算し、加算結果を除算器２５に供給する。除算器２５は、加算結果の４分の１を出力する。
【００３０】
つまり、平滑化処理部１４は、（１，２，１）という垂直方向のローパスフィルタであり、１ライン分の画像信号を保持するラインメモリ（ＳＲＡＭ）を用いて、垂直方向に２段連結するように構成されている。図３において、下側のＳＲＡＭの方がより過去（画面上側）のデータが保持され、上側のＳＲＡＭの方がより新しい（画面下側）データが保持されている。このとき、画像データの出力位相はＳＲＡＭ２１に保持され、乗算器２２により２倍されて出力されるカレント信号に対して２ライン分遅延する。
【００３１】
次に、色分離を行う前に高輝度付近のカラーフリンジを抑制する方法について図４〜図６を参照して説明する。
【００３２】
まず、以下の条件を全て満たす場所を色収差が発生する可能性が高い場所として検出する。
（１）注目画素の近傍に一定レベル以上のＧ信号があること。
（２）注目画素の近傍に位置する周辺画素のＧ信号に一定レベル以上の変化量があること。
そして、注目画素の近傍に位置する周辺画素のＧ色差の変化量に応じて色成分（Ｇ色差）を制限することにより、カラーフリンジを抑制する処理を行う。
【００３３】
以下の説明では簡単のためベイヤ配列状の画像について説明する。
図４は、ベイヤ配列の画素の例を示す。
【００３４】
単板式の撮像装置では、レンズを通して得られる被写体光をＲ（赤），Ｇ（緑），Ｂ（青）の３原色に分解するために、色フィルタが使用される。色フィルタとしては、ベイヤ配列を用いたものがよく使用されている。ベイヤ配列とは、輝度信号が寄与する割合の高いＧ信号の画素を市松状に配列し、残りの部分にＲ信号とＢ信号の画素をそれぞれ市松状に配列したものである。
【００３５】
各画素においてはＲ，Ｇ，Ｂ信号のうち１色のデータしか得られない。このため、他の色のデータは、周辺の画素の出力を用いた補間演算を行う色分離処理によって得られる。Ｒ４４の位置であれば、欠落しているＧ信号とＢ信号とを補間演算により生成する。本例では、Ｒ４４に位置する画素を「注目画素」と称する。また、後述する「Ｇgrad」と区別するため、Ｇ信号の表記を便宜的に「Ｇｒ」と記載する。
【００３６】
次に、白とびの検出とカラーフリンジの抑制処理について説明する。
前提条件として注目画素Ｒ４４の近傍に位置する、Ｒ４４と同じ色（Ｒ２２，Ｒ２４，Ｒ２６，Ｒ４２，Ｒ４４，Ｒ４６，Ｒ６２，Ｒ６４，Ｒ６６）の画素値を用いて、Ｒ４４と同じ位置の画素におけるＧｒ４４を求める。なお、Ｇｒ４４は、既存の色分離手法により導出可能である。色分離手法については、例えば、アダプティブ補間については、米国特許５６２９７３４号明細書に記載があり、局所的な色成分の相関については、米国特許４６４２６７８号明細書に記載があり、いずれの手法を用いてもよい。
【００３７】
まず、近傍白とび検出部１１は、注目画素Ｒ４４に対してある一定範囲の領域内にＧレベルが高輝度条件を超えたＧ信号が一定値以上あるか否かを判定することによって、白とびの発生有無を判定する。ここでは説明を簡単にするため、垂直方向の画素のみについて説明する。
【００３８】
図５は、周辺画素のＧレベルの絶対値から求まる白とび近傍判定条件の例を示す。
注目画素がＧｒ４４と、Ｇｒ４４の周辺画素であるＧｒ３４とＧｒ５４のＧレベルが図５に示される。注目画素Ｇｒ４４の近傍のＧレベルの傾きは、周辺画素のＧレベルによって求まる。この傾きをＧgradとする。
【００３９】
近傍白とび検出部１１は、周辺画素のうち、例えば、垂直方向（Ｇｒ１４，Ｇｒ３４，Ｇｒ５４，Ｇｒ７４）のＧ信号のうち、一つでもＧ信号のレベルが所定の閾値を超える画素があるか否かを求める。そして、近傍白とび検出部１１は、そのような画素がある場合に、注目画素Ｒ４４が、白とびが生じた画素の近傍に位置する画素であることを判定する。
【００４０】
次に、カラーフリンジの補正手法を説明する。
色分離部７は、色分離を行う際、Ｒ信号とＢ信号についてはＧ色差（Ｒ−Ｇ，Ｂ−Ｇ）やＧ色比（Ｒ／Ｇ，Ｂ／Ｇ）を用いて色成分の補間を行っている。本発明に係る高輝度周辺のカラーフリンジ抑制アルゴリズムでは、白とび近傍の領域に対して、Ｇ色差やＧ色比の色成分を制限（クリップ）することで、白とび周辺に余計な色が付かないように色つきを抑制する。
【００４１】
上述したように、高輝度画像の周辺にカラーフリンジが発生しやすい条件として大きなＧレベルの変化があることとしており、白とび周辺のＧ信号のＧレベルが大きく変化するほど、注目画素の色成分が大きく制限される。注目画素の近傍に配置される周辺画素のうち、垂直方向の周辺画素のＧレベルの変化量として、例えば、Ｇｒ３４とＧｒ５４のＧレベルの差分の絶対値（｜Ｇｒ３４−Ｇｒ５４｜）を選ぶ。このとき、白とび周辺のＧ信号の垂直方向のＧレベルの差分の絶対値を平均した値を選んでもよい。また、周辺画素のＧレベルの差分の絶対値のうち、最も大きな値を選んでもよい。
【００４２】
図６は、クリップレベルを生成する処理の例を示す。
クリップレベル生成部１２は、図５によって得られた傾きＧgradに基づいて、Ｇ色差を抑制するクリップレベルを生成する。クリップレベルは、次式（１）によって生成され、注目画素及び周辺画素のレベルの変化量が大きいほど注目画素のレベルを抑制するものとなる。ここで、各変数は、以下のように定められる。
ＴＨgrad：クリップしないＧ信号の変化量のレベル
Ｃmin：最小のクリップレベル
Ｃmax：クリップなしのレベル（Ｃmin，Ｃmaxは、Ｒ−Ｇ又はＢ−Ｇを表す。）
Ｋ：Ｇレベルの変化量に応じたクリップレベルの傾き
【００４３】
【数１】
2010178226.tif 000003
【００４４】
図６に示したように、一般に、周辺画素のＧレベルの変化量が大きいほど小さなクリップレベルが選択される。例えば、白とび近傍において、周辺画素のＧレベルの変化量が大きいものほどＧ色差（Ｒ−Ｇ，Ｂ−Ｇ）やＧ色比（Ｒ／Ｇ，Ｂ／Ｇ）を大きく抑制する。このため、急激な輝度変化があるところほどＧ色差のレベルがクリップにより制限されることになる。
【００４５】
抑制処理部１３は、上述した条件に従って、注目画素Ｒ４４と同位相であるＧ４４を補間により求め、Ｇ色差を導出する。そして、抑制処理部１３は、今回求めたＲ４４に対応するクリップレベル（Ｃclp）を用いて、導出したＧ色差がクリップレベル（Ｃclp）を超える値をクリップする。これにより、白とびの部分についてはそのまま出力するが、白とびの周辺部分で色が付く部分は色成分が制限されるようになり、カラーフリンジが抑制される。
【００４６】
しかし、このままだと色成分をクリップしたことに伴い、注目画素と周辺画素の色成分が不連続となって表れてしまう。このため、平滑化処理部１４は、周辺画素の色成分を用いて色成分の平滑化を行う。ここで、前提条件により周辺画素のＧ信号を導出することは可能であるため、垂直方向にあるＲ２４とＲ６４に対して同位相のＧ信号を補間することによって、それぞれのＧ色差（Ｃ２４，Ｃ６４）を得る。
【００４７】
平滑化処理部１４は、得られたＧ色差（Ｃ２４，Ｃclp，Ｃ６４）に対して、フィルタ係数（１，２，１）のＬＰＦをかけることで色成分を平滑化し、色成分の不連続が表れないようにする。そして、平滑化処理部１４は、垂直方向の補正値Ｃｖを得る。
【００４８】
ところで、抑制処理部１３は、周囲により強烈な収差が生じたことによって、上記のアルゴリズムによりＧ色差が大きくなってしまう場合には、Ｇレベルの補正を行わない等の調整を行った上で、注目画素Ｒ４４のＧ色差を導出する。さらに、求めたＧ色差に補正後のＧ色差（Ｃclp）を加算することによって注目画素Ｒ４４を補正した画素Ｒ４４’を得る。これにより、軸上色収差を抑制し、カラーフリンジを抑制することが可能となる。
【００４９】
以上説明した第１の実施の形態に係る撮像装置１０によれば、高輝度の部分を撮像したことによって画像の一部に白とびが生じても、白とびの周辺に発生するカラーフリンジを抑制することができる。このため、表示装置は、白とびの周辺にカラーフリンジを表示させなくなるという効果がある。また、クリップレベルの設定やクリップ係数の変更は任意に行うことができるため、様々な撮影環境に適したカラーフリンジの抑制を容易に行うことができるという効果がある。また、本例のカラーフリンジ抑制処理は、後段の信号処理によらず適用可能であるため、応用範囲が広くなるという効果がある。
【００５０】
＜２．第２の実施の形態＞
［撮像装置の内部構成例］
【００５１】
以下、本発明の第２の実施の形態について、図７を参照して説明する。
白とび周辺のカラーフリンジを抑制する処理は、色分離の前後にかかわらず行うことが可能である。本例では、上述した第１の実施の形態と異なり、色分離を行った後に、Ｒ，Ｇ，Ｂプレーンに対してカラーフリンジ抑制処理を行う例について説明する。なお、以下の説明において、既に第１の実施の形態で説明した図１に対応する部分には同一符号を付し、詳細な説明を省略する。
【００５２】
カラーフリンジ抑制処理は、輝度Ｙを用いて白とびの検出を行うことによって色分離後にも適用することが可能である。この場合、補正対象としてＧ色差ではなく、色差Ｃｒ又は色差Ｃｂなどを選んでもよい。上記のカラーフリンジ抑制処理のためのアルゴリズムは高輝度周辺のカラーフリンジが現れそうな場所を検出し、そのような場所での彩度Ｃｒ，Ｃｂ、Ｇ色差等の色成分を制限することでカラーフリンジの抑制を行う。
【００５３】
図７は、撮像装置３０の内部構成例を示す。
撮像装置３０は、上述した第１の実施の形態に係る撮像装置１０と同じ処理ブロックを備える。ただし、補正処理部５の後、色分離部７によって、Ｒ，Ｇ，Ｂ信号に分離し、カラーフリンジ抑制部３１は、Ｒ，Ｇ，Ｂ信号から得られる輝度Ｙと色差Ｃｒ、又は輝度Ｙと色差Ｃｂに基づいてカラーフリンジ抑制処理を行う。本例のカラーフリンジ抑制処理は、色分離後に行うため、周辺画素が彩度の値が高くないことと、輝度の値が高いことを所定の閾値で判定する。
【００５４】
ここで、輝度信号（Ｙ信号）と色差信号（Ｃｒ信号、Ｃｂ信号）の導出処理について説明する。
始めに、カラーフリンジ抑制部３１は、色分離部７より供給されたＲＧＢ信号を用いて、以下の式（２）を演算することにより、輝度信号（Ｙ信号）を生成する。
【００５５】
Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ ・・・（２）
【００５６】
式（２）において、Ｙは、輝度値（Ｙ信号の値）を示し、Ｒは、Ｒ信号の信号レベル（赤成分の量）を示し、Ｇは、Ｇ信号の信号レベル（緑成分の量）を示し、Ｂは、Ｂ信号の信号レベル（青成分の量）を示している。そして、得られた輝度信号（Ｙ信号）を不図示のラインメモリに供給する。
【００５７】
ラインメモリは、ＳＲＡＭやＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の半導体メモリ等により構成され、画面の水平方向の画素列（ライン）単位で、画像データを一時的に保持する。ラインメモリは、供給された画像データ（Ｙ信号）を所定のライン数分、所定の期間保持し、色差信号（Ｃｒ信号、Ｃｂ信号）の出力タイミングに対応するタイミングで、保持しているＹ信号を出力する。
【００５８】
そして、カラーフリンジ抑制部３１は、色分離部７より供給されたＲＧＢ信号を用いて、以下の式（３）と式（４）を演算することにより、色信号（Ｃｒ信号およびＣｂ信号）を生成する。
【００５９】
Ｃｒ（Ｒ−Ｙ）＝０．７Ｒ−０．６Ｇ−０．１Ｂ  ・・・（３）
Ｃｂ（Ｂ−Ｙ）＝−０．３Ｒ−０．６Ｇ＋０．９Ｂ  ・・・（４）
【００６０】
式（３）と式（４）において、左辺のＣｒ（Ｒ−Ｙ）およびＣｂ（Ｂ−Ｙ）は、各色信号の値を示し、右辺のＲ，Ｇ，Ｂは、上記の式（２）の場合と同様である。
【００６１】
カラーフリンジ抑制部３１は、演算したＹ信号、Ｃｒ信号、およびＣｂ信号に基づいて、その画像データに含まれる、軸上色収差や倍率色収差等の色収差の補正を行い、補正後のＣｒ信号やＣｂ信号を出力する。本例では、彩度として、（｜Ｃｒ｜＋｜Ｃｂ｜）を用いたり、（Ｃｒ２＋Ｃｂ２）1/2を用いたりすればよい。
【００６２】
図８は、画素毎の輝度信号（Ｙ信号）の例を示す。
本例では、後の説明を容易とするため、画素毎に輝度信号（Ｙ信号）を割り振った例を示す。そして、輝度信号（Ｙ信号）を用いて、上述した第１の実施の形態と同様に、クリップレベルを生成することとなる。
【００６３】
図９は、注目画素Ｙ４４の近傍に位置する周辺画素の輝度Ｙの絶対値から求まる傾きの例を示す。
注目画素がＹ４４である場合、ＲＧＢ信号を変換することによって、Ｙ４４の周囲にあるＹ２４とＹ６４のＹ信号の輝度レベル（以下、「Ｙレベル」とも称する。）が求められる。注目画素Ｙ４４の近傍のＹレベルの傾きは、周囲の画素のＹレベルによって求まる。この傾きをＹgradとする。
【００６４】
図１０は、クリップレベルを生成する処理の例を示す。
クリップレベル生成部１２は、図９によって得られた傾きＹgradに基づいて、Ｙレベルを抑制するクリップレベルを生成する。クリップレベルは、次式（５）によって生成される。ここで、各変数は、以下のように定められる。
ＴＨgrad：クリップしない輝度Ｙの変化量のレベル
Ｃmin：最小のクリップレベル
Ｃmax：クリップなしのレベル
Ｋ：輝度Ｙの変化量に応じたクリップレベルの傾き
【００６５】
【数２】
2010178226.tif 000004
【００６６】
一般に、周辺画素の輝度Ｙの変化量が大きいほど小さなクリップレベルが選択される。つまり急激な輝度変化があるところほど輝度Ｙのレベルがクリップにより限定されることになる。このように白とび近傍において、周辺画素の輝度Ｙの変化量が大きいものほど大きく彩度を抑制する。なお、近傍白とび検出部１１と平滑化処理部１４による処理は、上述した第１の実施の形態において、Ｇ色差を用いた処理を、彩度を用いて行うものであるため、詳細な説明を省略する。
【００６７】
以上説明した第２の実施の形態に係る撮像装置３０によれば、高輝度画像が含まれ白とびが発生するような画像であっても白とびの周辺にカラーフリンジを生じさせることなく処理することができる。このため、容易に高輝度周辺のカラーフリンジの補正を行うことができる。また、色つきの抑制をスケーラブルに行えるため、後段の信号処理によらず適用可能である。
【００６８】
＜３．変形例＞
なお、上述した第１及び第２の実施の形態に係る撮像装置において、色フィルタ２にベイヤ配列を用いた場合について説明したが、他の配列を用いてもよい。
また、平滑化処理部１４に用いられるＬＰＦのフィルタ係数は（１，２，１）に限定されず、任意の係数を用いてもよい。あるいは、彩度が高くならないように非線形ＬＰＦを用いてもよい。
【００６９】
また、注目画素の垂直方向、水平方向、斜め方向など複数の方向に対しても、同様な処理を行い、複数の補正値Ｃｖ，Ｃｈ，Ｃｄを求めてもよい。そして、これらの補正値のうち、絶対値が最小となるものを選んで、注目画素について補正したＧ色差を得たり、補正値Ｃｖ，Ｃｈ，Ｃｄを平均した値を注目画素の補正したＧ色差として選んだりしてもよい。
【００７０】
また、上述した第１及び第２の実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【００７１】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００７２】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（Operating System）などが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【００７３】
また、本発明は上述した実施の形態に限られるものではなく、本発明の要旨を逸脱することなくその他種々の構成を取り得ることは勿論である。
【符号の説明】
【００７４】
１…レンズ部、２…色フィルタ、３…撮像素子、４…アナログ・デジタル変換部、５…補正処理部、６…カラーフリンジ抑制部、７…色分離部、８…画像処理部、１０…撮像装置、１１…近傍白とび検出部、１２…クリップレベル生成部、１３…抑制処理部、１４…平滑化処理部、２１…ＳＲＡＭ、２２…乗算器、２３…ＳＲＡＭ、２４…加算器、２５…除算器、３０…撮像装置、３１…カラーフリンジ抑制部
【図１】
2010178226.tif 000005
【図２】
2010178226.tif 000006
【図３】
2010178226.tif 000007
【図４】
2010178226.tif 000008
【図５】
2010178226.tif 000009
【図６】
2010178226.tif 000010
【図７】
2010178226.tif 000011
【図８】
2010178226.tif 000012
【図９】
2010178226.tif 000013
【図１０】
2010178226.tif 000014
【図１１】
2010178226.tif 000015