(57)【要約】【課題】  フレアに起因する混色の影響を抑制する際に、色にじみの発生を防止する。【解決手段】  画像を受け付ける画像入力部と、画像に含まれる所定の色成分の領域に関わる情報に基づいて、フレアが発生しているか否かを判定するフレア判定部と、フレアが発生していると判定されたときに、少なくともフレアに起因した所定の色成分の領域に含まれる画素に対して、画素が有する色成分値に基づいた重みを設定する設定部と、設定部により設定された重みに基づいて、画像に対する平滑化処理を実行する平滑化部と、を備えたことを特徴とする。【選択図】    図７
2013247597.tif 000002
【特許請求の範囲】
【請求項１】
画像を受け付ける画像入力部と、
前記画像に含まれる所定の色成分の領域に関わる情報に基づいて、フレアが発生しているか否かを判定するフレア判定部と、
前記フレアが発生していると判定されたときに、少なくとも前記フレアに起因した前記所定の色成分の領域に含まれる画素に対して、前記画素が有する色成分値に基づいた重みを設定する設定部と、
前記設定部により設定された前記重みに基づいて、前記画像に対する平滑化処理を実行する平滑化部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像から前記所定の色成分の領域を検出する領域検出部と、
前記画像に含まれるエッジを検出するエッジ検出部と、
を備え、
前記フレア判定部は、前記領域検出部の検出結果及び前記エッジ検出部の検出結果に基づいて、前記フレアが発生しているか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記設定部は、色度図における前記所定の色成分が取り得る色域を複数の領域に分割し、前記フレアに起因した前記所定の色成分の領域に含まれる各画素の色成分値が前記複数の領域のいずれかに属するかを判定することで、前記フレアに起因した前記所定の色成分の領域に含まれる各画素に対して、前記重みを設定することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記設定部は、前記画像のうち、前記フレアに起因した前記所定の色成分の領域を除く領域に含まれる画素に対して、前記フレアに起因した前記所定の色成分の領域に含まれる各画素に設定される重みとは異なる重みを設定することを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記画像は、撮像用画素と焦点検出用画素とを有し、
前記画像入力部により受け付けた画像、又は前記平滑化処理を行った画像に対して補間処理を行うことで、前記焦点検出用画素に対する補間画素値を生成する画素補間部をさらに備えていることを特徴とする画像処理装置。
【請求項６】
前記画像を取得する撮像素子と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項７】
画像を受け付ける画像入力工程と、
前記画像に含まれる所定の色成分の領域に関わる情報に基づいて、フレアが発生しているか否かを判定するフレア判定工程と、
前記フレアが発生していると判定されたときに、少なくとも前記フレアに起因した前記所定の色成分の領域に含まれる画素に対して、前記画素が有する色成分値に基づいた重みを設定する設定工程と、
前記設定工程により設定された前記重みに基づいて、前記画像に対する平滑化処理を実行する平滑化工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を二次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用の画素（焦点検出用画素）は、複数の撮像用画素とは異なる分光特性を有する。複数の撮像用画素からは、画像を生成するための信号が読み出されて撮像用画素の画素値が決められ、また焦点検出用画素からは焦点検出のための信号が読み出されて焦点検出用画素の画素値が決められる。画素補間処理を行う時には、撮像用画素の画素値のうち欠落する色成分の画素値を補間するとともに、焦点検出用画素の位置に対応する撮像用画素値を補間する。
【０００３】
特許文献１に記載の発明では、焦点検出用画素に対する補間処理を行うために、焦点検出用画素の近傍にある撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、前記近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出し、前記焦点検出用画素の画素値と前記評価画素値とを用いて画像の高周波成分を算出し、前記補間画素値に前記高周波成分を付加して焦点検出用画素の位置に対応する撮像用画素の画素値を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像素子の受光部周辺の画素間で配線領域からの反射光でフレアが生じると、受光部周辺でマイクロレンズ間の入射光が隣接画素へ漏れ込むクロストークにより混色が発生する。このような現象が起きると、焦点検出用画素のみならず、その周辺の画素も影響を受け、前述した画素補間処理により混色を受けた焦点検出用画素、及びその周りの画素が見た目に違和感を与える補間残りとなって現れる。このような混色が発生した画素に対しては、例えば平滑化処理を行うことで混色の影響を低減することが可能である。しかしながら、フレアの影響が強い領域に併せた平滑化処理を行うと、フレアの影響が強い領域においては、フレアの影響が低減されるが、フレアの影響が弱い領域やフレアが影響していない領域に色にじみが発生してしまうという問題がある。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、フレアに起因する混色の影響を抑制する際に、色にじみの発生を防止することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の画像処理装置は、画像を受け付ける画像入力部と、前記画像に含まれる所定の色成分の領域に関わる情報に基づいて、フレアが発生しているか否かを判定するフレア判定部と、前記フレアが発生していると判定されたときに、少なくとも前記フレアに起因した前記所定の色成分の領域に含まれる画素に対して、前記画素が有する色成分値に基づいた重みを設定する設定部と、前記設定部により設定された前記重みに基づいて、前記画像に対する平滑化処理を実行する平滑化部と、を備えたことを特徴とする。
【０００８】
また、前記画像から前記所定の色成分の領域を検出する領域検出部と、前記画像に含まれるエッジを検出するエッジ検出部と、を備え、前記フレア判定部は、前記領域検出部の検出結果及び前記エッジ検出部の検出結果に基づいて、前記フレアが発生しているか否かを判定するものである。
【０００９】
また、前記設定部は、色度図における前記所定の色成分が取り得る色域を複数の領域に分割し、前記フレアに起因した前記所定の色成分の領域に含まれる各画素の色成分値が前記複数の領域のいずれかに属するかを判定することで、前記フレアに起因した前記所定の色成分の領域に含まれる各画素に対して、前記重みを設定するものである。
【００１０】
また、前記設定部は、前記画像のうち、前記フレアに起因した前記所定の色成分の領域を除く領域に含まれる画素に対して、前記フレアに起因した前記所定の色成分の領域に含まれる各画素に設定される重みとは異なる重みを設定するものである。
【００１１】
また、前記画像は、撮像用画素と焦点検出用画素とを有し、前記画像入力部により受け付けた画像、又は前記平滑化処理を行った画像に対して補間処理を行うことで、前記焦点検出用画素に対する補間画素値を生成する画素補間部をさらに備えているものである。
【００１２】
また、本発明の撮像装置は、前記画像を取得する撮像素子と、上述した画像処理装置とを備えることを特徴とする。
【００１３】
また、本発明の画像処理プログラムは、画像を受け付ける画像入力工程と、前記画像に含まれる所定の色成分の領域に関わる情報に基づいて、フレアが発生しているか否かを判定するフレア判定工程と、前記フレアが発生していると判定されたときに、少なくとも前記フレアに起因した前記所定の色成分の領域に含まれる画素に対して、前記画素が有する色成分値に基づいた重みを設定する設定工程と、前記設定工程により設定された前記重みに基づいて、前記画像に対する平滑化処理を実行する平滑化工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【００１４】
本発明によれば、フレアに起因する混色の影響を抑制する際に、色にじみの発生を防止することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の電子カメラの電気的構成を示すブロック図である。
【図２】撮像用画素及びＡＦ画素の配置例を示す図である。
【図３】ＡＦ画素が配置された領域を中心とした画像データの一部を示す図である。
【図４】フレア判定部を備えたＡＦ画素補間部を示す図である。
【図５】フレア判定部の構成を示す図である。
【図６】フレア判定から画素補間までの処理の流れを示すフローチャートである。
【図７】色度図におけるマゼンタ色の色域を３個の領域に分割した例を示すグラフである。
【図８】第1画素補間処理の流れを示すフローチャートである。
【図９】本実施形態の効果が発揮される画像構造の一例を表す図である。
【図１０】第２画素補間処理の流れを示すフローチャートである。
【図１１】フレア判定部の構成を示す図である。
【図１２】フレア判定から画素補間までの処理の流れを示すフローチャートである。
【図１３】（ａ）画像データから求めたヒストグラム、（ｂ）求めたヒストグラムと高輝度画素を抽出する際に用いる閾値との関係を示す図である。
【図１４】Ｙデータに基づくＹ画像と、矩形抽出される対象領域との関係を示す図である。
【図１５】変数ａと、Ｓｂ／Ｓｔ値との関係を示すグラフである。
【図１６】（ａ）色度図上における［数式５１］に基づく色成分の範囲、（ｂ）色度図上における［数式５１］及び［数式５２］に基づく色成分の範囲を示す図である。
【発明を実施するための形態】
【００１６】
図１に示すように、本発明を適用した電子カメラ１０は、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子１７のＡＦ画素の位置座標を示すデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加重係数等のデータ、及び各種判定用テーブル等を記憶する。
【００１７】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００１８】
撮影レンズ１４から入射する被写体光は、絞り１５、シャッタ１６を介してＣＣＤやＣＭＯＳ等の撮像素子１７の受光面に結像する。撮像素子駆動回路１８は、ＣＰＵ１１からの制御信号に基づいて撮像素子１７を駆動させる。撮像素子１７は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１９が取り付けられている。
【００１９】
原色透過フィルタ１９は、撮像素子１７の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２０】
撮像素子１７の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２１、及びＡＭＰ２２に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２３においてデジタルの画像データに変換されて画像処理部２５に送られる。
【００２１】
画像処理部２５は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。
【００２２】
画像処理部２５から出力される３色の画像データは、バス２６を通じてＳＤＲＡＭ２７に格納される。ＳＤＲＡＭ２７に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２８に送られる。表示制御部２８は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２９にスルー画像として出力する。
【００２３】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２７から読み出した後に圧縮伸長処理部３０に送られ、ここで圧縮処理が施されてからメディアコントローラ３１を介して記録媒体であるメモリカード３２に記録される。ＣＰＵ１１には、レリーズボタン３３や電源スイッチ（不図示）が接続されているとともに、撮像素子１７の温度を検出する温度検出部３４から温度情報が入力される。この情報は、画像処理部２５に送られ、例えばノイズを判定する時に利用される。
【００２４】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、焦点検出用画素（ＡＦ画素）の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＷＢ／ＡＥ／ＡＦ検出部３５で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３６を制御して合焦モータ３７を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２５】
また、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、撮像用画素の信号に基づいて算出される測光輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部３８で設定したＩＳＯ感度値（Ｓｖ）とから光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が求めた光値Ｌｖになるように、絞り値とシャッタ速度とを決定する。この決定に基づいて、ＣＰＵ１１は、絞り駆動部３９を駆動させ、求めた絞り値となるように絞り１５の絞り径を調整する。これに併せて、ＣＰＵ１１は、シャッタ駆動部４０を駆動させ、求めたシャッタ速度、シャッタ１６が開放されるように、シャッタ１６の開閉動作を実行する。
【００２６】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、オートホワイトバランス調整時に、ＳＤＲＡＭ２７に取り込んだ１画面の画像データから間引き読み出しを行い、例えば２４×１６のＡＷＢ評価用データを生成する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、生成したＡＷＢ評価用データを用いて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。
【００２７】
撮像素子１７は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１９がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１７は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数のＡＦ画素４１を有する。それらのＡＦ画素４１には、原色透過フィルタ１９が設置されていない。また、ＡＦ画素４１は、撮影レンズ１４の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１７は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００２８】
なお、本実施形態においては、ＡＦ画素４１に対して原色透過フィルタ１９が設置されていない撮像素子について説明しているが、これに限定される必要はなく、ＡＦ画素４１に対してＮＤフィルタやＧ色の原色透過フィルタを配置した撮像素子であってもよい。
【００２９】
図２に示すように、ＡＦ画素４１は、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４１ａ，４１ｂを持ち、その偏りの方向に沿って１次元状に並べられている。センサ開口部４１ａ，４１ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４１ａを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４１ｂを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４１ａ，４１ｂをもつＡＦ画素４１によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４１ａをもつＡＦ画素４１とセンサ開口部４１ｂをもつＡＦ画素４１でそれぞれ受光すれば、２つの画素４１から出力された信号の位相差によりフォーカスずれの方向(フォーカシングレンズの移動方向)と、フォーカスずれの量(フォーカシングレンズの移動量)が分かる。これにより速やかなフォーカス合わせが可能になる。
【００３０】
したがって、本実施形態におけるＡＦ画素４１の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１７によって撮像された画像データのうち、ＡＦ画素４１が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１９を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３１】
画素補間部は、撮像用画素の画素値を用いてＡＦ画素４１の画素値を補間するＡＦ画素補間部４５と、ＡＦ画素の画素値を補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３２】
図４及び図５に示すように、ＡＦ画素補間部４５は、フレア判定部４６を備え、フレア判定部４６による判定に基づいて異なるＡＦ画素補間処理を行う。例えばフレア判定部４６にてフレアが発生していないと判定された場合には、ＡＦ画素補間部４５は、第１画素補間処理を実行する。この第１画素補間処理は、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する処理である。
【００３３】
一方、フレア判定部４６にてフレアが発生していると判定された場合には、ＡＦ画素補間部４５は、第２画素補間処理を実行する。第２画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み計数により補正し、補正した撮像用画素の画素値を平滑化する処理である。
【００３４】
フレア判定部４６は、色検出部４７、エッジ検出部４８、評価値判定部４９、及び重み設定部５０を備えている。色検出部４７は、撮像された画像データにマゼンタ色の色情報を有する画素が含まれるか否かを検出する。例えばマゼンタ色の色情報を有する画素が含まれる場合には、色検出部４８は、マゼンタ色の色情報を有する画素を抽出する。エッジ検出部４７は、撮像された画像データに対してエッジ検出を行う。評価値算出部４９は、エッジ検出部４８におけるエッジ検出の結果に基づいて、撮像された画像データにフレアが発生しているか否かを判定する。重み設定部５０は、画像データの各画素に対して、後述するクリップ量の算出時にて用いる重みのレベルを設定する。なお、フレアの発生に起因した混色の領域と認識されるマゼンタ領域に含まれる画素に対して設定される重みのレベルと、他の領域に含まれる画素に対して設定される重みのレベルとは、異なる重みのレベルが設定される。
【００３５】
次に、ＡＦ画素補間部４５の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１９がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素の画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素の画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素の画素値とＸ４５の緑色の撮像用画素の画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素の画素値を補間する手順も同様である。
【００３６】
以下、フレア判定について、図６のフローチャートに基づいて説明する。
【００３７】
（色検出処理）
ＡＦ画素補間部４５は、ＣＰＵ１１から出力された画像データに基づいて、色検出処理を実行する（Ｓ−１）。例えば撮像された画像データがＲＧＢ色空間で示される画像データ（ＲＧＢデータ）であれば、ＡＦ画素補間部４５は、ＲＧＢデータをＹＣｒＣｂ色空間で示される画像データ（ＹＣｒＣｂデータ）に変換する。ここで、ＲＧＢデータをＹＣｒＣｂデータに変換する式は、［数１］で示される。撮像された画像データがＹＣｂＣｒデータであれば、［数１］で示される色空間の変換処理は省略される。
【００３８】
【数１】
2013247597.tif 000003
ＡＦ画素補間部４５は、ＹＣｒＣｂデータのうち、Ｃｒデータ及びＣｂデータを用いて、マゼンタ色の色情報を有する画素が含まれるか否かを判定する。マゼンタ色の色情報を有する画素が含まれると判定された場合、ＡＦ画素補間部４５は、マゼンタ色の色情報を有する画素の領域（マゼンタ領域）を抽出する。なお、マゼンタ領域に含まれる画素は、１画素であっても、複数の画素であってもよい。
（エッジ検出）
ＡＦ画素補間部４５は、ＹＣｒＣｂデータのうち、Ｙデータを用いてエッジ検出処理を実行する（Ｓ−２）。ＡＦ画素補間部４５は、［数２］を用いて隣り合う４方向のＹ成分の全体差分和ＳＡＤを求める。
【００３９】
【数２】
2013247597.tif 000004
【００４０】
ＡＦ画素補間部４５は、隣り合う４方向のＹ成分の全体差分和ＳＡＤが閾値Ｔｈ１以下であるか否かを判定する。そして、隣り合う４方向のＹ成分の全体差分和ＳＡＤが閾値Ｔｈ１以下となる場合に、その画素を対象画素とする。
【００４１】
なお、Ｙデータ全体を用いてエッジ検出処理を実行しているが、これに限定される必要はなく、色検出処理にて検出されるマゼンタ領域のＹデータを用いてエッジ検出処理を行うことも可能である。ここで、エッジ検出処理は、上記の手法に限定される必要はなく、例えばSobel FilterやPrewitt Filterなどのエッジフィルタを用いることも可能である。
（フレアが発生していないか否かの判定）
【００４２】
ＡＦ画素補間部４５は、撮像された画像データにフレアが発生していないか否かを判定する（Ｓ−３）。ＡＦ画素補間部４５は、色検出処理における検出結果及びエッジ検出処理における検出結果に基づいて、対象画素の総数が閾値Ｔｈ２以上となるマゼンタ領域があるか否かを判定する。上述したように、撮影時に撮像素子１７の受光部周辺の画素間で配線領域からの反射光でフレアが生じると、受光部周辺でマイクロレンズ間の入射光が隣接画素へ漏れ込むクロストークにより混色が発生する。このような現象が起きると、対象となる画素及びその周辺部の画素も影響を受ける。したがって、フレアが発生した場合には、フレアの発生に起因した混色となる画素が所定数固まって存在する。このため、フレアが発生しているか否かの判定に用いる閾値Ｔｈ２は、予め実験、統計などから求められる値が用いられる。
【００４３】
例えば、対象画素の画素数が閾値以上となるマゼンタ領域がない場合には、ＡＦ画素補間部４５は、フレアが発生していないと判定する。この場合、ＡＦ画素補間部４５は、第１画素補間処理を実行する（Ｓ−４）。なお、第１画素補間処理については、後述する。一方、対象画素の画素数が閾値以上となるマゼンタ領域があれば、ＡＦ画素補間部４５は、フレアが発生していると判定する。
【００４４】
（重み設定）
ＡＦ画素補間部４５は、フレアの発生に起因したマゼンタ領域に含まれる画素のそれぞれに対して重みのレベルを設定する（Ｓ−５）。この重みのレベルは、第２画素補間処理にて実行されるクリップ量の算出時に使用される。図７に示すように、直線Ｌ１及び直線Ｌ２で囲まれる領域が、マゼンタ色を示す色域である。このマゼンタ色を示す色域において、マゼンタ色が濃ければ濃いほど、フレアの発生に起因する混色の影響が強くなり、強度の強い補間処理を行う必要がある。また、マゼンタ色が薄ければ薄いほど、フレアの発生に起因する混色の影響が弱くなるので、強度の低い補間処理となる。このような理由により、ＡＦ画素補間部４５は、フレアの発生に起因した混色の領域と認識されるマゼンタ領域に含まれる画素の色成分値（画素値）が、マゼンタ色の色域を濃淡によって区分した複数の領域のいずれかに属しているかによって重みのレベルを設定する。また、ＡＦ画素補間部４５は、上述した領域以外の画素に対しては、重みのレベルを「０」とする。そして、設定された重みのレベルをまとめた重み情報を生成する。
【００４５】
なお、図７においては、マゼンタ色の色域を３個の領域に区分し、区分された領域のうち、領域５５に対しては重みのレベルを「小」、領域５６に対しては重みのレベルを「中」、領域５７に対しては重みのレベルを「大」をそれぞれ設定した場合について説明している。この重みのレベルを設定した後、ＡＦ画素補間部４５は、第２画素補間処理を実行する（Ｓ−６）。なお、マゼンタ色の色域を３個の領域に分割し、それぞれの領域に対して重みのレベルを設けているが、これに限定される必要はなく、２以上の領域に分割し、それぞれの領域に重みのレベルを設けることも可能である。
【００４６】
［第１画素補間処理］
ＡＦ画素補間部４５は、フレアが発生してないと判定した場合、第２画素補間処理を選択して実行する。この第１画素補間処理は、ＡＦ画素の周辺の撮像用画素の画素値を用いて、画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素の画素値を用いてＡＦ画素の画素値を補間する。以下、第１画素補間処理の流れを図８のフローチャートに基づいて説明する。
【００４７】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４５は、Ｘ４５及びＹ４４のＡＦ画素に対する補間を行うために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を［数３］〜［数６］を用いてそれぞれ求める（Ｓ−２１）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００４８】
［数３］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
【００４９】
［数４］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
【００５０】
［数５］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
【００５１】
［数６］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
【００５２】
（最小変動値の方向に応じた周辺の撮像用画素の画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４５は、ステップ（Ｓ−２１）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素の画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素の画素値ＢＹ４４を［数７］〜［数１０］のうちの選択した方向に対応する式を用いて求める（Ｓ−２２）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素に対する補間を行うことが可能となる。
【００５３】
［数７］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００５４】
［数８］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
【００５５】
［数９］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
【００５６】
［数１０］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
【００５７】
ＡＦ画素補間部４５は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１１］とを用いて算出する。
【００５８】
［数１１］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
【００５９】
ＡＦ画素補間部４５は、その方向変動Ｈ５の値が閾値Ｔｈ３を越えるか否かを判定する（Ｓ−２３）。方向変動Ｈ５が閾値Ｔｈ３を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−２２）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス１３を介してＳＤＲＡＭ２７に格納する（Ｓ−２４）。
【００６０】
一方、方向変動Ｈ５が閾値Ｔｈ３以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−２５）へ移行する。なお、閾値Ｔｈ３は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００６１】
ＡＦ画素補間部４５は、ステップ（Ｓ−２１）で求めた方向変動Ｈ２が閾値Ｔｈ４を越えるか否かを判定する（Ｓ−２５）。方向変動Ｈ２が閾値Ｔｈ４を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−２２）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス１３を介してＳＤＲＡＭ２７に格納する（Ｓ−２４）。
【００６２】
一方、方向変動Ｈ２が閾値Ｔｈ４以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−２６）へ移行する。なお、閾値Ｔｈ４は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００６３】
その後、ＡＦ画素補間部４５は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−２６）。具体的には、ステップ（Ｓ−２１）において、例えば、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素の画素値は［数８］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１２］に記載の４つの式を用いて補間計算する。
【００６４】
［数１２］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
【００６５】
そして、ＡＦ画素補間部４５は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＢの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１３］に記載の式の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
【００６６】
［数１３］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
そして、画像処理部２５は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００６７】
ＡＦ画素補間部４５は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−２６）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−２７）。ステップ（Ｓ−２１）において、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数８］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１４］に記載の４つの式を用いて補間計算する。
【００６８】
［数１４］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２
【００６９】
そして、ＡＦ画素補間部４５は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１５］に記載の式の加重和によって算出する。
【００７０】
［数１５］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部２５は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００７１】
ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−２６）及び（Ｓ−２７）において求めた白色光の平均画素値を用いて求める（Ｓ−２８）。ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４５は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１６］に記載の式を用いて算出する。
【００７２】
［数１６］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
【００７３】
なお、ステップ（Ｓ−２７）で説明した［数１６］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−２３）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００７４】
その後、ＡＦ画素補間部４５は、［数１７］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００７５】
［数１７］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
【００７６】
ＡＦ画素補間部４５は、ステップ（Ｓ−２８）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値Ｔｈ５（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−２９）。閾値Ｔｈ５より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップＳ２６で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス１３介してＳＤＲＡＭ２７に格納する（Ｓ−２４）。
【００７７】
一方、高周波成分ＨＦが閾値Ｔｈ５を超過する場合（ＮＯ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−３０）へ移行する。なお、閾値Ｔｈ５の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００７８】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−３０）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４５は、［数１８］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００７９】
［数１８］
(1)ＶＲ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
【００８０】
なお、本実施形態のＡＦ画素補間部４５は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００８１】
一方、ＡＦ画素補間部４５は、［数１９］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００８２】
［数１９］
(1)ＶＢ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
【００８３】
なお、本実施形態のＡＦ画素補間部４５は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００８４】
ＡＦ画素補間部４５は、ステップ（Ｓ−３０）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−３１）。まず、ＡＦ画素補間部４５は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２０］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００８５】
［数２０］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
【００８６】
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【００８７】
そして、画像処理部２５は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２１］に記載の式により白色光における色変動ＶＷを算出する。
【００８８】
［数２１］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部４５は、色変動率ＫＷＧ及びＫＷＢを［数２２］から算出する。
【００８９】
［数２２］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
【００９０】
ＡＦ画素補間部４５は、ステップ（Ｓ−２８）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−３１）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２３］に記載の式から算出する（Ｓ−３２）。
【００９１】
［数２３］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
【００９２】
ＡＦ画素補間部４５は、ステップ（Ｓ−３２）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−２２）で補間して求めた撮像用画素の画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２４］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【００９３】
［数２４］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＢＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＧＸ４５
【００９４】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素の画素値として、画像データを更新する。画像処理部２５は、更新した画像データに対して１画素当たり３色の画像データに変換してＳＤＲＡＭ２７に格納する（Ｓ−２４）。
【００９５】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−２５）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−２５）では、そのような場合に高周波成分の付加を抑制するようにしている。
【００９６】
次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値Ｔｈ５とともに説明する。そうした加重係数や閾値を求めるにあたり、製品に組み込まれる撮像素子１７又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子１７にほぼ一様な照度の照明を、波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、［数１６］に記載の式のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像用画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。
【００９７】
そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを［数２５］のように定義する。
【００９８】
［数２５］
Ｅ＝Σｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）２
【００９９】
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を０にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像用画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の不揮発性メモリに記録する。
【０１００】
さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを［数２６］に記載の式で求める。
【０１０１】
［数２６］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
【０１０２】
そして、Ｋｎの最大値を求め、閾値Ｔｈ５として不揮発性メモリ１２に記録する。
【０１０３】
図９は、本実施形態の効果が発揮される画像構造の一例を表す。図１３は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１０４】
図９の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、図１３の凸構造を再現できない。実際、（Ｓ−２２）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図９の●印）は、凸構造を再現していない。
【０１０５】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１６］）。
【０１０６】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１３］及び［数１５］）。
【０１０７】
図９の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２３］）。
【０１０８】
［第２画素補間処理］
ＡＦ画素補間部４５は、フレアが発生していると判定される場合、第２画素補間処理を選択して実行する。第２画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を行った後、上述した第１画素補間処理を実行する処理である。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第２画素補間処理について説明する。以下、第１画素補間処理の流れを図１０のフローチャートに基づいて説明する。
【０１０９】
（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−４１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【０１１０】
ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素の画素値に対して補正は行わない。一方、ＡＦ画素補間部４５は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
【０１１１】
ＡＦ画素補間部４５は、Ｒ色成分の撮像用画素の画素値を［数２７］〜［数３０］を用いて補正する。
【０１１２】
［数２７］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
【０１１３】
［数２８］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
【０１１４】
［数２９］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
【０１１５】
［数３０］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
【０１１６】
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【０１１７】
ＡＦ画素補間部４５は、Ｇ色成分の撮像用画素の画素値を［数３１］〜［数３６］を用いて補正する。
【０１１８】
［数３１］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４）
【０１１９】
［数３２］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
【０１２０】
［数３３］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
【０１２１】
［数３４］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
【０１２２】
［数３５］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
【０１２３】
［数３６］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
【０１２４】
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【０１２５】
また、ＡＦ画素補間部４５は、Ｂ色成分の撮像用画素の画素値を、［数３７］，［数３８］を用いて補正する。
【０１２６】
［数３７］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
【０１２７】
［数３８］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
【０１２８】
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【０１２９】
（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、［数３９］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−４２）。
【０１３０】
［数３９］
Ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿Ｔｈ＿ＬＰＦ
【０１３１】
ここで、Ｋ＿Ｔｈ＿ＬＰＦは係数である。この係数Ｋ＿Ｔｈ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高く、つまり、平滑化処理の強度が強くなる。
【０１３２】
上述したフレア判定において、フレアが発生していると判定された場合には、重み情報が生成されている。ＡＦ画素補間部４５は、重み情報に基づいて、係数Ｋ＿Ｔｈ＿ＬＰＦの値を設定する。例えば重みのレベルが「０」となる場合には、ＡＦ画素補間部４５は、係数Ｋ＿Ｔｈ＿ＬＰＦ＝５に設定する。また、重みのレベルが「小」となる場合には、ＡＦ画素補間部４５は、係数Ｋ＿Ｔｈ＿ＬＰＦ＝２０に設定する。また、重みのレベルが「中」となる場合には、ＡＦ画素補間部４５は、係数Ｋ＿Ｔｈ＿ＬＰＦ＝７０に設定する。重みのレベルが「大」となる場合には、ＡＦ画素補間部４５は、係数Ｋ＿Ｔｈ＿ＬＰＦ＝１２８に設定する。このように、係数Ｋ＿Ｔｈ＿ＬＰＦの値を重みのレベルに応じて変化させることで平滑化処理の効果を変更している。
【０１３３】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、［数４０］、［数４１］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素４１から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素４１から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−４３）。
【０１３４】
［数４０］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
【０１３５】
［数４１］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｒ５４’
【０１３６】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、［数４０］、［数４１］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数３９］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−４４）。
【０１３７】
（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−４５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１３８】
（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、［数４２］により、予測誤差を各列の近位撮像用画素の画素値に加算する（Ｓ−４６）。ここで、予測誤差は、［数４０］，［数４１］により求めた値、又は、クリッピングされた値である。
【０１３９】
［数４２］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
【０１４０】
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素の画素値及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いた平滑化処理により近位撮像用画素の画素値が補正される。
【０１４１】
（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−４７）。
【０１４２】
上述した処理（Ｓ−４１からＳ−４７の処理）が完了すると、第１画素補間処理が実行される。
【０１４３】
（第１画素補間処理）
ＡＦ画素補間部４５は、ＳＤＲＡＭ２７に記憶した撮像用画素の画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−４８）。これにより、ＡＦ画素に対応する撮像用画素の画素値が算出される。つまり、ＡＦ画素の画素値が補間される。
【０１４４】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、第１画素補間処理（Ｓ−４９）により補間したＡＦ画素の画素値をＳＤＲＡＭ２７に記憶する。
【０１４５】
この第２画素補間処理においては、補正処理において、マゼンタ色の濃淡によって設定される重みのレベルに基づいた平滑化処理を実行している。この平滑化処理を行うことで、ＡＦ画素に隣接する撮像用画素に対して、発生するフレアによる混色の影響を低減することができるとともに、フレアが発生していない領域における色にじみの発生を抑制することができる。また、混色の影響や色にじみの影響を低減した撮像用画素の画素値を用いてＡＦ画素に対する補間処理を行うので、ＡＦ画素においても、発生するフレアによる混色の影響が低減した画素値が得られる。つまり、フレアの影響を低減した画像を得ることができる。
【０１４６】
以上説明したように、実施形態によれば、フレアが生じている場合、フレア判定した画像を構成する画素のうちの焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を、フレアに起因する混色（マゼンタ色）の濃淡に基づいた閾値を用いて平滑化する処理を行うため、焦点検出用画素の周囲の撮像用画素に対して混色の影響を低減する際に生じる色にじみの発生を抑制することができる。これにより、その後に行う焦点検出用画素の補間画素値の生成でも混色の影響や色にじみの影響を抑制することができる。
【０１４７】
なお、上記実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１４８】
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１４９】
本実施形態では、色検出部４７、エッジ検出部４８、評価値判定部４９及び重み設定部５０を備えたフレア判定部４６の例を取り上げているが、これに限定する必要はなく、図１１に示すフレア判定部６０であってもよい。
【０１５０】
以下、図１１に示すフレア判定部６０の構成について説明する。フレア判定部６０は、ヒストグラム生成部６１、閾値算出部６２、対象領域抽出部６３、マトリクス決定部６４、マゼンタ領域検出部６５、評価値判定部６６及び重み設定部６７を備えている。このフレア判定部４７は、画像データ（ＹＲＧＢデータ）の他、ホワイトバランス用のゲイン値をＣＰＵ１１から取得する。
【０１５１】
ヒストグラム生成部６１は、画像データのＹデータを用いて、ヒストグラムを生成する。閾値算出部６２は、ヒストグラム生成部６１によって生成されたヒストグラムから、高輝度となる領域（高輝度領域）を抽出する際に用いる閾値（高輝度判定用閾値）を算出する。対象領域抽出部６３は、Ｙデータと高輝度判定用閾値とを用いて、高輝度となる矩形の領域を対象領域として抽出する。マトリクス決定部６４は、画像データのＲＧＢデータをＣｒＣｂデータに変換する際に用いるマトリクスを決定する。マゼンタ領域検出部６５は、対象領域抽出部６３により抽出された対象領域に含まれるマゼンタ色が存在する領域（マゼンタ領域）を検出する。この検出の際に、マゼンタ領域検出部６５は、マゼンタ領域の総面積、Ｙ成分の総エッジ量などを算出する。評価値判定部６６は、マゼンタ領域の総面積、分散値／マゼンタ領域の総面積、Ｙ成分の平均エッジ量を求め、求めた値を各々閾値判定してフレアが発生しているか否かを判定する。重み設定部６７は、フレアに起因する混色の領域と認識されるマゼンタ領域に含まれる各画素の色成分（Ｃｒ値及びＣｂ値）に基づいて、重みのレベルを設定する。
【０１５２】
以下、図１１に示す構成のフレア判定部６０を備えたＡＦ画素補間部においてフレア判定を行う場合について、図１２に示すフローチャートに基づいて説明する。なお、ＡＦ画素補間部については、本実施形態と同一の符号（符号４５）を付して説明する。
【０１５３】
（ヒストグラムの生成）
ＡＦ画素補間部４５は、画像データのＹデータを用いて、ヒストグラムを生成する（Ｓ−６１）。ここで、Ｙデータが１６ビットデータである場合には、ＡＦ画素補間部４５は、Ｙデータを１６ビットデータから８ビットデータに変換し、ヒストグラムを生成する。図１３（ａ）は、Ｙデータを用いたヒストグラムの一例である。
【０１５４】
（ヒストグラムを用いて高輝度判定用閾値を算出）
ＡＦ画素補間部４５は、生成されたヒストグラムを用いて、後述するマゼンタ領域を検出する際に使用する領域（対象領域）を抽出する際に用いる閾値（高輝度判定用閾値）Ｔｈ＿ｈｉｇｈを算出する（Ｓ−６２）。ＡＦ画素補間部４５は、図１３（ｂ）に示すように、Ｙデータを用いて、画素値が飽和しているかを判定する閾値（飽和判定用閾値）Ｔｈ１１を用いて、飽和していない画素値を特定する。この飽和判定用閾値Ｔｈ１１は、ヒストグラムが８ビットデータを用いて生成されていることから、８ビットデータにて設けられることが好ましいが、１６ビットデータの場合には８ビットデータに変換した値を用いればよい。
【０１５５】
この特定の後、ＡＦ画素補間部４５は、ヒストグラムのうち、閾値Ｔｈ１１以下の画素値及び画素数を乗算した値を、画素値の高い方から順に加算していく。そして、加算して行く過程で、［数４３］を満足したときの画素値を高輝度判定用閾値Ｔｈ＿ｈｉｇｈとする。
【０１５６】
［数４３］
ヒストグラムの加算値（画素値×画素数）＞（２５６−Ｔｈ１２）×全画素数
【０１５７】
なお、Ｔｈ１２は、高輝度成分となる割合を示す閾値である。また、全画素数は、２４×１６画素のＹデータを用いていることから、２４×１６（＝３８４）画素となる。
【０１５８】
ＡＦ画素補間部４５は、求めた高輝度判定用閾値Ｔｈ＿ｈｉｇｈを８ビットデータから１６ビットデータに変換する。
【０１５９】
（高輝度判定用閾値を用いてマゼンタ領域を検出する際に用いる領域（対象領域）を矩形抽出）
ＡＦ画素補間部４５は、１６ビットに変換された高輝度判定用閾値Ｔｈ＿ｈｉｇｈと、ＡＷＢ評価用のＹデータを用いて、対象領域を矩形抽出する（Ｓ−６３）。ＡＦ画素補間部４５は、図１４に示すように、Ｙデータに基づく画像（Ｙ画像）７０の各画素のうち、水平走査方向に１画素ずつ画素をずらしていき、目的の画素の画素値と、目的の画素の１つ前の画素の画素値との双方が高輝度判定用閾値Ｔｈ＿ｈｉｇｈ以上の画素値となる画素を検出する。ＡＦ画素補間部４５は、水平走査方向の１ラインに対する処理が終わると、垂直走査方向に１画素ずらし、同様の処理を実行する。これにより、ＡＦ画素補間部４５は、Ｙデータの全ての画素に対して、目的の画素の画素値と、目的の画素の１つ前の画素の画素値との双方が高輝度判定用閾値Ｔｈ＿ｈｉｇｈ以上の画素値となる画素を検出する。
【０１６０】
図１３においては、符号７１に示す領域が検出される画素の領域となる。ＡＦ画素補間部４５は、検出された領域（符号７１）のうち、１画素分小さい矩形の領域（符号７２）を対象領域として抽出する。これは、検出された画素の領域を、そのまま対象領域として抽出すると、後述する隣り合う４方向のY成分のエッジ量の全体差分和を求める際に、低輝度画素の画素値が使用されてしまうことを防止している。ＡＦ画素補間部４５は、抽出した対象領域の四隅に位置する画素の位置データを矩形抽出される対象領域の位置情報として生成する。
【０１６１】
ここで、ＡＦ画素補間部４５は、Ｙデータの全ての画素に対して上述した処理を行っているが、これに限定される必要はなく、上述した飽和判定用閾値Ｔｈ１１未満の輝度値となる画素に対して上述した処理を実行することも可能である。
【０１６２】
（マトリクスの算出）
ＡＦ画素補間部４５は、画像データのＲＧＢデータをＣｒＣｂデータに変換する際のマトリクスを算出する（Ｓ−６４）。
【０１６３】
撮影時に発生するフレアに起因する混色は、画像中にマゼンタ色として現れることが知られている。このマゼンタ色になる原因としては、ホワイトバランス処理に用いられるＲ，Ｇ，Ｂゲイン値を、各画素の各色成分の画素値にそれぞれに乗算したときに、Ｒ色成分及びＢ色成分の値がＧ色成分の値よりも大きくなってしまうことが挙げられる。
【０１６４】
ここで、光源の種類を変えて同一被写体を撮影した場合、ホワイトバランス処理にて用いるＲ，Ｇ，Ｂゲイン値は、光源の種類に対応した値を使用している。このため、同一色の被写体を撮影した場合であっても、光源の種類によって、その出力値が大きく変動する。この出力値の変動により、フレアを確実に検出することが難しくなる。
【０１６５】
そのため、本発明においては、ＲＧＢデータをＣｒＣｂデータに変換する際に用いる色空間変換用マトリクスに対して、ホワイトバランス処理で用いるゲイン値を利用して求まる補正係数のマトリクスを乗算して、新たな色空間変換用マトリクスを算出する。そして、新たに求めた色空間用マトリクスを用いて、ＲＧＢデータをＣｒＣｂデータに変換する。
【０１６６】
ここで、Ｒ色成分に対する新たなゲイン値を、ホワイトバランス用のＲゲイン値と基準値（５１２×２）とを重み係数を用いた加重和によって設定する場合を［数４４］にて表す。
【０１６７】
［数４４］
αＲ＝ａ×Ｒｇａｉｎ＋（１−ａ）×５１２×２
【０１６８】
ここで、基準値（５１２×２）は、光源の種類が変化しても、Ｒｇａｉｎの値がＧｇａｉｎのおよそ２倍であるということを考慮して設定される値である。
【０１６９】
ここで、晴天下での撮影と室内撮影とのそれぞれにおいて、ａの値を変化させたときに得られるＳｂ／Ｓｔ値について考慮する。Ｓｂはクラス（晴天下での撮影及び室内撮影）間の分散であり、Ｓｔは全てのサンプルにおける分散である。なお、このＳｂ／Ｓｔ値はその値が小さいほど、クラス間（晴天下での撮影及び室内撮影間）の距離が小さく、異なる光源間の出力値の変動が小さいことを示す。ここで、図１５に示すように、ａの値を変動させると、ａ＝０．５の場合が最もＳｂ／Ｓｔ値が小さくなることがわかる。
【０１７０】
これを考慮すると、Ｒ色成分、Ｇ色成分、Ｂ色成分の信号値がそれぞれＬＳＢ＝５１２となる場合、補正したＲゲイン値αＲ、Ｇゲイン値αＧ、Ｂゲイン値αＢは、それぞれ［数４５］で表される。なお、Ｒｇａｉｎ，Ｇｇａｉｎ，Ｂｇａｉｎは、それぞれ、ホワイトバランス処理用の各色成分のゲイン値である。
【０１７１】
［数４５］
αＲ＝０．５×Ｒｇａｉｎ＋５１２
αＧ＝Ｇｇａｉｎ＝５１２
αＢ＝０．５×Ｂｇａｉｎ＋５１２
【０１７２】
また、Ｒ色成分、Ｂ色成分の信号値がＬＳＢ＝２５６、Ｇ色成分の信号値がＬＳＢ＝５１２となる場合、補正したＲゲイン値αＲ、Ｇゲイン値αＧ、Ｂゲイン値αＢは、それぞれ［数４６］となる。
【０１７３】
［数４６］
αＲ＝Ｒｇａｉｎ＋５１２
αＧ＝Ｇｇａｉｎ＝５１２
αＢ＝Ｂｇａｉｎ＋５１２
【０１７４】
このαＲ，αＧ，αＢを用いて、ＲＧＢデータをＣｒＣｂデータに変換する。ここで、一般的なＲＧＢ→ＹＣｒＣｂ変換は、［数４７］で表される。
【０１７５】
【数４７】
2013247597.tif 000005
【０１７６】
上述したように、本発明においては、色空間の変換時において補正したＲゲイン値αＲ、Ｇゲイン値αＧ、Ｂゲイン値αＢを乗算する。そこで、ＲＧＢからＣｒＣｂへの色空間の変換時に用いる式は、［数４８］となる。
【０１７７】
【数４８】
2013247597.tif 000006
【０１７８】
つまり、ＲＧＢデータからＣｒＣｂデータを求める際に用いるマトリクスＣは、［数４７］及び［数４８］から、［数４９］となる。
【０１７９】
【数４９】
2013247597.tif 000007
なお、マトリクスの各値は、［数５０］のように、整数化した値を用いてもよい。
【０１８０】
［数５０］
Ｃ００＝（５０×αＲ）／１００
Ｃ０１＝（−４２×αＧ）／１００
Ｃ０２＝（―８×αＢ）／１００
Ｃ１０＝（−１７×αＲ）／１００
Ｃ１１＝（−３３×αＧ）／１００
Ｃ１２＝（５０×αＢ）／１００
【０１８１】
（ＲＧＢデータをＣｒＣｂデータへと変換）
ＡＦ画素補間部４５は、求めたマトリクスを用いて、抽出された対象領域に含まれる画素のＲＧＢデータをＣｒＣｂデータに変換する（Ｓ−６５）。ＡＦ画素補間部４５は、対象領域の位置情報を参照して、対象領域に含まれる画素のＲＧＢデータを［数６］及び［数７］を用いてＣｒＣｂデータにマトリクス変換する。
【０１８２】
なお、ＡＷＢ評価用データがＹＲＧＢデータではなく、ＹＣｒＣｂデータの場合には、上述した色空間の変換処理は実行する必要はない。この場合、Ｃｒ値、Ｃｂ値に対して、ホワイトバランス処理で使用される各色ゲイン値を補正した値を用いて、Ｃｒ値、Ｃｂ値を補正すればよい。
【０１８３】
また、抽出された対象領域に含まれる画素のＲＧＢデータをＣｒＣｂデータに変換する場合について説明しているが、ＲＧＢデータ全体をＣｒＣｂデータに変換することも可能である。
【０１８４】
（対象領域に含まれるマゼンタ領域の検出）
ＡＦ画素補間部４５は、ＣｒＣｂデータに変換された各画素の画素値が、［数５１］〜［数５３］を満足するか否かを判定する（Ｓ−６６）。
【０１８５】
［数５１］
Ｃｒ＜Ｔｈ１３×Ｃｂ  ａｎｄ  Ｃｒ＞（Ｔｈ１４／２５６）×Ｃｂ
【０１８６】
［数５２］
Ｃｂ＞Ｔｈ１５  ｏｒ  Ｃｒ＞Ｔｈ１５
【０１８７】
［数５３］
Ｒ＜Ｔｈ１１  ａｎｄ  Ｇ＜Ｔｈ１１  ａｎｄ  Ｂ＜Ｔｈ１１
【０１８８】
ここで、［数９］は、対象領域に含まれる画素の画素値（Ｃｒ，Ｃｂ）が、マゼンタ色の色域となるか否かを判定するための条件式である。図１６（ａ）に示すように、色度図において、斜線で示す範囲が、［数５１］で示される範囲である。また、［数５２］は、画素の画素値（Ｃｒ，Ｃｂ）が、所定の強度の値を有しているか否かを判定するための条件式である。ここで、Ｃｒ値、Ｃｂ値のそれぞれが「０」、又は０に近い値をとる場合には、マゼンタ色の強度が弱い。そこで、Ｃｒ値、Ｃｂ値のいずれかの値が所定値（ここでは、閾値Ｔｈ５）を越える値となる場合について考慮すればよい。そこで、［数５２］及び［数５３］から求められる範囲（図１６（ｂ）中ハッチングで示す範囲）をマゼンタ色の色域とし、この色域に、高輝度領域に含まれる画素の画素値が含まれるか否かを判定する。
【０１８９】
さらに、［数５３］は、対象領域に含まれる画素のＲ，Ｇ，Ｂ色成分の画素値が、飽和しているか否かを判定するための条件式である。
【０１９０】
ＡＦ画素補間部４５は、対象領域に含まれる画素のうち、上述した［数５１］〜［数５３］を満足する画素を抽出する。この際に、ＡＦ画素補間部４５は、隣り合う４方向のＹ成分のエッジ量の絶対差分和ＳＡＤを［数５４］を用いて求める。
【０１９１】
【数５４】
2013247597.tif 000008
【０１９２】
ＡＦ画素補間部４５は、［数５４］で求めたＹ成分のエッジ量の絶対差分和ＳＡＤを該エッジ量のノーマライズファクタ値（＝４）で除算することでＹ成分のエッジ量の平均値を求める。ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値が閾値Ｔｈ１６以下であるか判定する。ここで、ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値を算出した後、閾値Ｔｈ１６と比較しているが、これに限定される必要はなく、Ｙ成分のエッジ量と閾値とを比較してもよい。
【０１９３】
ＡＦ画素補間部４５は、［数５１］〜［数５３］を満足し、且つＹ成分のエッジ量の平均値が閾値Ｔｈ１６以下となる画素が特定される毎に、特定された画素の数を加算する。また、ＡＦ画素補間部４５は、求めたＹ成分のエッジ量の絶対差分和ＳＡＤを加算することで総エッジ量ｅｄｇｅ＿ｓｕｍを算出し、また、Ｙ方向のエッジ量の平均値を求める際に使用したノーマライズファクタ値ｅｄｇｅ＿ｃｏｕｎｔを加算する。
【０１９４】
さらに、ＡＦ画素補間部４５は、特定された画素のｘ座標、ｘ座標を二乗した値（ｘ座標の二乗値）、ｙ座標、及びｙ座標を二乗した値（ｙ座標の二乗値）をそれぞれ加算する。以下、ｘ座標を加算した値をｘ座標加算値ａｖｅ＿ｘ、ｘ座標の二乗値を加算した値をｘ座標二乗加算値ｓｑｒ＿ｘ、ｙ座標を加算した値をｙ座標加算値ａｖｅ＿ｙ、ｙ座標の二乗値を加算した値をｙ座標二乗加算値ｓｑｒ＿ｙと称して説明する。
【０１９５】
（評価値判定）
ＡＦ画素補間部４５は、以下に説明する第１から第３評価値を求め、これら評価値を判定する（Ｓ−６７）。ＡＦ画素補間部４５は、これら評価値を各々判定することで、フレアが発生しているか否かが判定される。
【０１９６】
第１評価値は［マゼンタ領域の総面積］であり、これはマゼンタ領域として特定された画素の総数が対応する。ＡＦ画素補間部４５は、第１の評価値が閾値Ｔｈ１７を超過するか（第1評価値＞閾値Ｔｈ１７であるか）を判定する。
【０１９７】
第２評価値は、［分散値／マゼンタ領域の総面積］である。一般に、分散値は、［数５５］により求められる。
【０１９８】
【数５５】
2013247597.tif 000009
【０１９９】
［数５５］にて表される分散値を、空間分散値（空間モーメント）に対応する式として置き換えると、［数５６］となる。
【０２００】
【数５６】
2013247597.tif 000010
【０２０１】
この式を用いて、ＡＦ画素補間部４５は、分散値／マゼンタ領域の総面積を［数５７］を用いて算出する。
【０２０２】
【数５７】
2013247597.tif 000011
【０２０３】
ＡＦ画素補間部４５は、［数５７］にて求めた［分散値／マゼンタ領域の総面積］を第２評価値とし、この第２評価値が閾値Ｔｈ１８未満となるか（第２評価値＜閾値Ｔｈ１８であるか）を判定する。なお、第２評価値＜閾値Ｔｈ１８としているが、これに限定する必要はなく、第２評価値＜閾値Ｔｈ１８／３２としてもよい。この場合、３２は第２評価値に対して割り振られるノーマライズファクタ値である。
【０２０４】
第３の評価値は、［Ｙ成分のエッジ量の平均値］である。ＡＦ画素補間部４５は、Ｙ成分のエッジ量の平均値を［数５８］を用いて算出する。
【０２０５】
［数５８］
Ｙｅｄｇｅ＝ｅｄｇｅ＿ｓｕｍ／ｅｄｇｅ＿ｃｏｕｎｔ
【０２０６】
ＡＦ画素補間部４５は、［数５８］にて求めた［Ｙ成分のエッジ量の平均値］を第３評価値とし、この第３評価値が閾値ＴＨ１９未満となるか（第３評価値＜閾値Ｔｈ１９であるか）を判定する。なお、評価値判定において、［マゼンタ領域の総面積］を第１評価値、［分散値／マゼンタ領域の総面積］を第２評価値、［Ｙ成分のエッジ量の平均値］を第３評価値とし、それぞれの評価値を用いた評価値判定をしているが、これに限定される必要はなく、［マゼンタ領域の総面積］、［分散値／マゼンタ領域の総面積］、［Ｙ成分のエッジ量の平均値］の少なくとも２つを評価値として、評価値判定を行うことも可能である。
【０２０７】
（フレアが発生していないか否かの判定）
上述した評価値判定処理を行うことで、撮像された画像データにフレアが発生しているか否かが判定される（Ｓ−６８）。ＡＦ画素補間部４５は、上述した評価値判定において、［第１評価値＞閾値Ｔｈ１７］、［第２評価値＜閾値Ｔｈ１８］、［第３評価値＜閾値Ｔｈ１９］の条件の少なくともいずれか１つの条件を満足していない場合には、フレアが発生していないと判定する。この場合、ＡＦ画素補間部４５は、第1画素補間処理を実行する（Ｓ−６９）。一方、ＡＦ画素補間部４５は、これら条件が全て満足している場合には、フレアが発生していると判定する。
【０２０８】
（重みのレベルの設定）
ＡＦ画素補間部４５は、フレアに起因する混色であると認識されたマゼンタ領域に含まれる画素に対して重みのレベルを設定する（Ｓ−６８）。重みのレベルの設定については、本実施形態と同一の処理であることから、ここでは説明を省略する。
【０２０９】
この場合も、本実施形態と同様の効果を得ることができる。
【０２１０】
本実施形態では、第２画素補間処理においてフレアを抑制する処理（Ｓ−４１からＳ−４７の処理）を行った後、第１画素補間処理を行うようにしているが、これに限定される必要はなく、フレアを抑制するための平滑化処理（Ｓ−４１からＳ−４７の処理）を複数回行った後、第１画素補間処理を実行することも可能である。フレアを抑制する平滑化処理を複数回行う場合、クリップ量を算出する際に用いる係数Ｋ＿Ｔｈ＿ＬＰＦの値は、１回目の算出時に用いる値と、２回目以降の算出時に用いる値とで異なる値としてもよいし、同一の値を用いることも可能である。
【０２１１】
本実施形態では、フレア判定処理を行うＡＦ画素補間部４５について説明しているが、これに限定される必要はなく、フレア判定処理の他にノイズ判定処理を行うＡＦ画素補間部であってもよい。この場合、画像データに対してノイズ判定処理を行う。このノイズ判定処理において、ノイズが少ないと判定された場合に、本実施形態におけるフレア判定処理を実行すればよい。この場合のノイズ判定としては、例えば撮影時の撮像素子の温度、ＩＳＯ感度、及びシャッタ速度の情報に基づいたノイズ判定を行うことが挙げられる。
【０２１２】
本実施形態では、撮像用画素と、ＡＦ画素とを有する画像に対してフレア判定を行う場合について説明しているが、これに限定される必要はなく、撮像用画素のみからなる画像に対しても、本発明を用いることが可能である。
【０２１３】
本実施形態では、電子カメラ１０を例に挙げて説明しているが、カメラ付き携帯電話機やスマートフォン等の携帯端末機などに本発明を用いることも可能である。
【０２１４】
この他に、図４及び図５の機能や、図６、図８及び図１０のフローチャートにおける処理をコンピュータで実現するための画像処理プログラム、又は、図１１の機能や、図１２のフローチャートをコンピュータで実現するための画像処理プログラムのいずれかの画像処理プログラムに対しても適用することが可能である。この画像処理プログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【０２１５】
さらに、ＡＦ画素値を補間していないＲＡＷデータ等の画像データを取り込んでフレアを判定してＡＦ画素補間を行う画像処理プログラム、及びこれを記憶した記憶媒体の発明としてもよい。
【符号の説明】
【０２１６】
１０…電子カメラ、１７…撮像素子、２５…画像処理部、２７…ＳＤＲＡＭ、４１…ＡＦ画素、４５…ＡＦ画素補間部、４６，６０…フレア判定部、４７…色検出部、４８…エッジ検出部、４９…評価値判定部、５０，６７…重み設定部、６１…ヒストグラム生成部、６２…閾値算出部、６３…対象領域抽出部、６４…マトリクス決定部、６５…マゼンタ領域検出部、６６…評価値判定部
【図１】
2013247597.tif 000012
【図２】
2013247597.tif 000013
【図３】
2013247597.tif 000014
【図４】
2013247597.tif 000015
【図５】
2013247597.tif 000016
【図６】
2013247597.tif 000017
【図７】
2013247597.tif 000018
【図８】
2013247597.tif 000019
【図９】
2013247597.tif 000020
【図１０】
2013247597.tif 000021
【図１１】
2013247597.tif 000022
【図１２】
2013247597.tif 000023
【図１３】
2013247597.tif 000024
【図１４】
2013247597.tif 000025
【図１５】
2013247597.tif 000026
【図１６】
2013247597.tif 000027