(57)【要約】【課題】焦点検出用画素に隣接する画素の中でフレアの影響を受ける画素を高精度に判定して補正を行う画像処理装置を提供すること。【解決手段】画像処理装置は、検出用画素を含む撮像素子１０４から生成された画像データで、判定の対象となる検出用画素を注目検出用画素とし、注目検出用画素に基づく所定の領域内で注目検出用画素の周辺に配置される検出用画素を周辺検出用画素とし、画像データから注目検出用画素に隣接する複数の画素の画素値と、周辺検出用画素に隣接する複数の画素の画素値を、それぞれ取得する画素値取得部１２２と、注目検出用画素に隣接する複数の画素の中でフレアの影響を受けるフレア影響画素を特定する画素特定部１２４と、を備える。【選択図】図１
2018196083.tif 000002
【特許請求の範囲】
【請求項１】
検出用画素を含む撮像素子から生成された画像データで、判定の対象となる検出用画素を注目検出用画素とし、前記注目検出用画素に基づく所定の領域内で前記注目検出用画素の周辺に配置される検出用画素を周辺検出用画素とし、前記画像データから前記注目検出用画素に隣接する複数の画素の画素値と、前記周辺検出用画素に隣接する複数の画素の画素値を、それぞれ取得する画素値取得部と、
前記注目検出用画素に隣接する複数の画素の中でフレアの影響を受けるフレア影響画素を特定する画素特定部と、を備え、
前記画素特定部は、
前記取得した画素値に基づいて、前記注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第１の最大値画素と判定し、前記注目検出用画素に対する前記第１の最大値画素の位置を第１の位置として求め、前記周辺検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第２の最大値画素と判定し、前記周辺検出用画素に対する前記第２の最大値画素の位置を第２の位置として求める最大値画素判定部と、
前記第１の位置及び前記第２の位置に基づき、前記注目検出用画素に隣接する複数の画素の中から前記フレア影響画素を判定する判定部と、を有する、
ことを特徴とする画像処理装置。
【請求項２】
前記判定部は、複数の前記周辺検出用画素についてそれぞれ求められた第２の位置から、最多となる位置を求め、前記最多となる位置と前記第１の位置が一致する場合に、前記第１の最大値画素を前記フレア影響画素と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、複数の前記周辺検出用画素についてそれぞれ求められた第２の位置から、最多となる位置を求め、前記最多となる位置の数が所定の閾値以上の場合には、前記注目検出用画素に隣接する画素の中で前記最多となる位置に対応する画素を前記フレア影響画素と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
更に画素値取得部は、前記所定の領域内で、前記注目検出用画素または周辺検出用画素のいずれにも隣接しない複数の画像用画素の画素値を取得し、
前記画素特定部は、前記取得された複数の画像用画素の画素値から画像用画素平均値を算出する平均値算出部を有し、
前記判定部は、前記第１の最大値画素が前記いずれかの平均値より大きい場合には、該第１の最大値画素を前記フレア影響画素と判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記平均値算出部は、
前記注目検出用画素に隣接する複数の画素が同色である場合には、前記注目検出用画素または周辺検出用画素のいずれにも隣接しない複数の画像用画素の中で、前記注目検出用画素に隣接する複数の画素と同色である画像用画素から前記画像用画素平均値を算出し、
前記注目検出用画素に隣接する画素同士が異なる色である画素配列の場合、前記注目検出用画素または周辺検出用画素のいずれにも隣接しないＲ画素及びＢ画素から、前記画像用画素平均値を算出する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
更に画素値取得部は、前記所定の領域内で、前記注目検出用画素または周辺検出用画素のいずれにも隣接しない複数の画像用画素の画素値を取得し、
前記画素特定部は、前記取得された複数の画像用画素の画素値の平均値を算出する平均値算出部を有し、
前記判定部は、
複数の前記周辺検出用画素についてそれぞれ求められた第２の位置から、最多となる位置を求め、前記最多となる位置と前記第１の位置が一致する場合に、前記第１の最大値画素を前記フレア影響画素と判定する第１判定方式と、
複数の前記周辺検出用画素についてそれぞれ求められた第２の位置から、最多となる位置を求め、前記最多となる位置の数が所定の閾値以上の場合には、前記注目検出用画素に隣接する画素の中で前記最多となる位置に対応する画素を前記フレア影響画素と判定する第２判定方式と、
前記平均値算出部により算出された平均値と前記第１の最大値画素を比較して、前記第１の最大値画素が大きい場合に、前記第１の最大値画素を前記フレア影響画素と判定する第３判定方式の、３つの前記判定方式の少なくとも１つ以上の判定方式を適用して、前記フレア影響画素を判定する
ことを特徴とする請求項１に記載の画像処理装置。    
【請求項７】
前記画素特定部は、前記取得した画素値を補正するための補正値を算出する補正値算出部を有し、
前記最大値画素判定部は、前記補正値算出部により算出された補正値によって前記取得した画素値を補正して、前記第１の最大値画素及び第２の最大値画素をそれぞれ判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記補正値算出部は、前記注目検出用画素に隣接する複数の画素が同色である場合には、前記注目検出用画素または周辺検出用画素のいずれにも隣接しない複数の画像用画素の中で、前記注目検出用画素に隣接する複数の画素と同色である画素の画素値に基づき、前記注目検出用画素及び周辺検出用画素に隣接する複数の画素の補正値を算出する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記補正値算出部は、前記撮像素子の画素配列がベイヤ配列の場合に、前記隣接しない複数の画像用画素の中で、赤色行に配置されたＧｒ画素の画素値の平均値Ｇｒａｖｅ及び青色行に配置されたＧｂ画素の画素値の平均値Ｇｂａｖｅをそれぞれ算出し、前記ＧｒａｖｅとＧｂａｖｅとの差分値または比率から前記補正値を算出する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補正値算出部は、前記注目検出用画素の複数の隣接する画素が異なる色である場合には、前記注目検出用画素に隣接する複数の画素の色に対応するホワイトバランスゲインに基づき、補正値を算出する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項１１】
前記画素特定部は、前記判定部によりフレア影響画素が判定されない場合には、フレアの影響を受けている画素が存在しないとする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記撮像素子を備える撮像部の姿勢情報を取得する姿勢情報取得部と、
被写体輝度情報を取得する被写体輝度情報取得部と、を備え、
前記最大値画素判定部は、前記撮像部の姿勢情報及び被写体輝度情報の少なくとも１つ以上の情報に基づいて、前記注目検出用画素に隣接する複数の画素の画素値及び前記周辺検出用画素に隣接する複数の画素の画素値にそれぞれ重みづけ補正を行って、前記第１の最大値画素及び第２の最大値画素を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
フレア光源の有無を判定するフレア光源判定部を備え、
前記画素値取得部は、前記画像データに含まれる複数の検出用画素に対して、前記注目検出用画素を切換えながら、それぞれの注目検出用画素に対応する前記画素値の取得を順次行い、
前記画素特定部は、前記画素値取得部で順次取得された前記注目検出用画素に対応する前記画素値に基づき、前記複数の検出用画素にそれぞれ対応するフレア影響画素の特定を行い、
前記フレア光源判定部は、前記画素特定部で特定された前記複数の検出用画素にそれぞれ対応する前記フレア影響画素の情報に基づいて、前記フレア光源の有無を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記フレア光源判定部は、画面内に前記フレア影響画素が所定数以上であれば前記フレア光源があると判定する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記フレア光源判定部は、前記検出用画素に対するフレア影響画素の位置関係に基づいて、前記フレア光源の位置を判定する
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１６】
前記フレア光源判定部は、前記検出用画素に対するフレア影響画素の位置関係で、同一の位置関係が多数あれば、前記同一となる多数の位置関係において、前記検出用画素に対し前記フレア影響画素の反対方向に前記フレア光源が位置すると判定する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記フレア光源判定部は、前記検出用画素に対するフレア影響画素の位置関係が画面内の箇所を中心に上下左右方向に分布していると判定した場合には、画面内に前記フレア光源が位置すると判定する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１８】
前記フレア光源判定部によってフレア光源があると判定された場合に、前記画素特定部で特定されたフレア影響画素を補正する画素補正部を備える
ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１９】
フレア影響画素を特定するための画像処理方法において、
検出用画素を含む撮像素子から生成された画像データで、判定の対象となる検出用画素を注目検出用画素とし、前記注目検出用画素に基づく所定の領域内で前記注目検出用画素の周辺に配置される検出用画素を周辺検出用画素とし、前記画像データから前記注目検出用画素に隣接する複数の画素の画素値と、前記周辺検出用画素に隣接する複数の画素の画素値を、それぞれ取得する画素値取得ステップと、
前記注目検出用画素に隣接する複数の画素の中でフレアの影響を受けるフレア影響画素を特定する画素特定ステップと、を含み、
前記画素特定ステップは、
前記取得した画素値に基づいて、前記注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第１の最大値画素と判定し、前記注目検出用画素に対する前記第１の最大値画素の位置を第１の位置として求め、前記周辺検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第２の最大値画素と判定し、前記周辺検出用画素に対する前記第２の最大値画素の位置を第２の位置として求める最大値画素判定ステップと、
前記第１の位置及び前記第２の位置に基づき、前記注目検出用画素に隣接する複数の画素の中から前記フレア影響画素を判定するステップと、を含む
ことを特徴とする画像処理方法。
【請求項２０】
フレア影響画素を特定するための画像処理方法をコンピュータに実行させるプログラムにおいて、
検出用画素を含む撮像素子から生成された画像データで、判定の対象となる検出用画素を注目検出用画素とし、前記注目検出用画素に基づく所定の領域内で前記注目検出用画素の周辺に配置される検出用画素を周辺検出用画素とし、前記画像データから前記注目検出用画素に隣接する複数の画素の画素値と、前記周辺検出用画素に隣接する複数の画素の画素値を、それぞれ取得する画素値取得ステップと、
前記注目検出用画素に隣接する複数の画素の中でフレアの影響を受けるフレア影響画素を特定する画素特定ステップと、を含み、
前記画素特定ステップは、
前記取得した画素値に基づいて、前記注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第１の最大値画素と判定し、前記注目検出用画素に対する前記第１の最大値画素の位置を第１の位置として求め、前記周辺検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第２の最大値画素と判定し、前記周辺検出用画素に対する前記第２の最大値画素の位置を第２の位置として求める最大値画素判定ステップと、
前記第１の位置及び前記第２の位置に基づき、前記注目検出用画素に隣接する複数の画素の中から前記フレア影響画素を判定するステップと、を含む
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出用画素の信号を含む画像データを処理する画像処理装置に関する。
【背景技術】
【０００２】
撮像に使用される画像用画素と共に焦点検出用画素が配列された撮像素子が盛んに利用されている。焦点検出用画素は、撮影レンズの異なる光束を受光して焦点検出用の信号を出力する素子である。このタイプの撮像素子で、画像用画素と焦点検出用画素の分光特性が異なる場合に、フレアやゴースト光が焦点検出用画素の周辺にある画素値に影響を与え、出力される画像信号の画質が劣化することがある。このフレア光の影響を補正する技術も、種々提案されている。
【０００３】
例えば、特許文献１には、焦点検出用画素に隣接する複数の画像用画素の値と、近傍に存在する焦点検出用画素に隣接しない画像用画素とに基づいて、焦点検出用画素に隣接する画素の少なくとも１つをオフセット補正する方法が提案されている。
【０００４】
また、特許文献２には、焦点検出用画素に隣接する画素の１つを補正対象画素として値を取得し、近傍に隣接する焦点検出用画素に隣接する画素の値と、焦点検出用画素に隣接しない複数の画素の値とに基づいて、補正対象画素の値がフレアの影響を受けているかを判定し、補正対象画素を補正する手段が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１４４０９０号公報
【特許文献２】特開２０１６−１２７３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術は、検出用画素に隣接する画素の画素値によって、フレアの影響を受けている画素を判定して補正を行うものである。しかし、検出用画素に隣接する画素の画素値によってフレアの影響を受けている画素を判定する方法は、判定精度が十分でない。判定精度が十分でないと、フレアの影響を受けた画素を適切に補正することができない。さらに、フレアの影響がない画素に不要な補正をしてかえってノイズを発生させてしてしまうこともある。
本願発明は、上記課題に鑑み、検出用画素に隣接する画素の中でフレアの影響を受ける画素を高精度に判定して補正を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本実施形態の画像処理装置は、検出用画素を含む撮像素子から生成された画像データで、判定の対象となる検出用画素を注目検出用画素とし、前記注目検出用画素に基づく所定の領域内で前記注目検出用画素の周辺に配置される検出用画素を周辺検出用画素とし、前記画像データから前記注目検出用画素に隣接する複数の画素の画素値と、前記周辺検出用画素に隣接する複数の画素の画素値を、それぞれ取得する画素値取得部と、前記注目検出用画素に隣接する複数の画素の中でフレアの影響を受けるフレア影響画素を特定する画素特定部と、を備え、前記画素特定部は、前記取得した画素値に基づいて、前記注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第１の最大値画素と判定し、前記注目検出用画素に対する前記第１の最大値画素の位置を第１の位置として求め、前記周辺検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第２の最大値画素と判定し、前記周辺検出用画素に対する前記第２の最大値画素の位置を第２の位置として求める最大値画素判定部と、前記第１の位置及び前記第２の位置に基づき、前記注目検出用画素に隣接する複数の画素の中から前記フレア影響画素を判定する判定部と、を有する。
【発明の効果】
【０００８】
本発明によれば、検出用画素に隣接する画素の中でフレアの影響を受ける画素を高精度に判定して補正を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置が適用される撮像装置の機能ブロック図である。
【図２】クロストークが発生する様子を説明する図である。
【図３】画素特定部の詳細構成を示すブロック図である。
【図４】撮像素子の画素配列の例である。
【図５】検出用画素の構造を示す断面図である。
【図６】画像処理、特に検出用画素に隣接する画素のクロストークを補正する処理の手順を説明するフローチャートである。
【図７】画素特定部による画素特定処理の手順を説明するサブルーチンである。
【図８】検出用画素を中心として設定されるフレア検出領域を示す図である。
【図９】検出用画素に隣接する画素同士が同色の場合の画素配列の例である。
【図１０】補正値算出用に選択された画素を示す図である。
【図１１】検出用画素に隣接する画素同士が異なる色の場合の画素配列である。
【図１２】注目検出用画素に隣接する画素同士が同色の場合における、注目検出用画素に隣接する画素の位置を示す図である。
【図１３】注目検出用画素に隣接する画素同士が異なる色の場合における、注目検出用画素に隣接する画素の位置を示す図である。
【図１４】被写体輝度とカメラ姿勢による重みづけ係数を示す重みづけテーブルの例である。
【図１５】検出用画素に隣接する画素同士が異なる色となる画素配列の場合、検出用画素に隣接しない画素を示す図である。
【図１６Ａ】判定条件１）の具体例を説明する図である。
【図１６Ｂ】判定条件２）の具体例を説明する図である。
【図１７Ａ】フレア影響画素の位置により、フレア光源の位置が特定される例１である。
【図１７Ｂ】フレア影響画素の位置により、フレア光源の位置が特定される例２である。
【図１７Ｃ】フレア影響画素の位置により、フレア光源の位置が特定される例３である。
【発明を実施するための形態】
【００１０】
以下、図面に従って本発明の実施形態を説明する。図１は、本発明の画像処理装置が適用される撮像装置の構成例を示す機能ブロック図である。撮像装置として、カメラシステム１０を例にする。カメラシステム１０は、カメラ本体１００と、カメラ本体１００に着脱される交換式レンズ２００を有する。なお、撮像装置は、レンズ固定式のカメラでも良いし、また、携帯端末（スマートフォン）やＰＣ（Personal Computer）に内蔵される撮像装置であってもよい。
【００１１】
カメラ本体１００は、メカシャッタ１０２、撮像素子１０４、アナログ処理部１０６、Ａ／Ｄ変換部１０８、被写体輝度情報取得部１１０、姿勢情報取得部１１２、ＷＢゲイン算出部１１４、画像処理部１２０を有する。
【００１２】
メカシャッタ１０２は、被写体光束の通過時間を制御する。メカシャッタ１０２は、例えば、公知のフォーカルプレーンシャッタである。
【００１３】
撮像素子１０４は、被写体像を撮像して光電変化し、画像信号を出力する。撮像素子１０４は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary MOS）で、各画素を構成するフォトダイオードを二次元的にマトリックス状に配置する。
【００１４】
本実施形態で使用される撮像素子１０４は、通常の画素（画像用画素）の間に検出用画素を備える。画像用画素は、画像生成用の画素で、撮像用画素とも呼ばれる。検出用画素は、特定の情報を検出する画素である。検出用画素は、例えば、被写体の位相情報を出力する焦点検出用の画素である。焦点検出用の画素は、例えば、画素に遮光膜を設け、上下左右いずれかの入射光を排除する。焦点検出用の画素の構造は、図３で詳述する。
【００１５】
あるいは、検出用画素は、赤外光を検出する赤外光検出用の画素でもよい。赤外光検出用の画素は、近赤外光を選択して透過させるバンドパスフィルタを有し、被写体の赤外情報を出力する。
【００１６】
そして、検出用画素のカラーフィルタは、画像用画素のカラーフィルタのパターンと異なる場合がある。例えば、焦点検出用画素のカラーフィルタでは、入射光量を増やすために白画素用のカラーフィルタが用いられる場合もある。また、赤画素や青画素が本来配置される位置に、緑色のカラーフィルタの焦点検出用画素が、配置される場合もある。また、前述の通り、赤外検出用画素のカラーフィルタは、近赤外光を選択して透過させるフィルタであるので、画像用画素のカラーフィルタとは特性が異なる。
【００１７】
以下では、検出用画素として、焦点検出用の画素を例に説明する。焦点検出方式には遮光方式やＰＤ分割方式などがある。撮像素子１０４については、図２や図３で後述する。
【００１８】
アナログ処理部１０６は、撮像素子１０４から読み出された画像信号に対してアナログ処理を施す。アナログ処理には、相関二重サンプリング処理やゲイン調整処理等が含まれる。
【００１９】
Ａ／Ｄ変換部１０８は、アナログデジタル変換器であり、アナログ処理部１０６でアナログ処理された画像信号を、デジタル形式の画像信号（画像データ）に変換する。
【００２０】
被写体輝度情報取得部１１０は、たとえば、ＡＰＥＸ（Additive System of Photographic Exposure）規格に基づいて、絞り値Ａｖ、露光時間ＴＶおよび撮影感度ＳＶから、Ｂｖ＝Ａｖ＋Ｔｖ−Ｓｖによって、被写体輝度Ｂｖを算出する。
【００２１】
姿勢情報取得部１１２は、撮影時の姿勢情報、例えば、縦撮りか横撮りかの情報を、取得する。姿勢情報取得部１１２は、カメラ本体１００あるいは交換式レンズ２００に設けた姿勢センサー（不図示）からの出力によって姿勢を検出する。
【００２２】
ＷＢ（Ｗｈｉｔｅ Ｂｌａｎｃｅ）ゲイン算出部は、画像生成部１３０のホワイトバランス処理で使用するＷＢゲインを算出する。例えば、画像から算出するオートホワイトバランスや、予め設定された値を撮影者が選択するプリセットホワイトバランスなどがある。
【００２３】
画像処理部１２０は、画像データに以下で説明する各種画像処理を行う。画像処理部１２０は、画素値取得部１２２、画素特定部１２４、フレア光源判定部１２６、画素補正部１２８及び画像生成部１３０を有する。なお、以上説明した画像処理部１２０を画像処理装置とも呼ぶ。
【００２４】
また、アナログ処理部１０６、Ａ／Ｄ変換部１０８、被写体輝度情報取得部１１０、姿勢情報取得部１１２、ＷＢゲイン算出部および画像処理部１２０等は、ゲートアレイにより構成される。
【００２５】
画素値取得部１２２は、１の検出用画素を中心とする所定範囲のフレア検出領域を画面内で設定し、設定したフレア検出領域に存在する画素の画素値を取得する。フレア検出領域は、検出用画素に隣接する画素の中でフレアによるクロストークの影響を受けた画素を検出するために設定される範囲である。フレア検出の対象とされる検出用画素を、注目検出用画素とも呼ぶ。フレア検出領域は、例えば、縦横１１×１１画素である。また、フレア検出領域内で、注目検出用画素の周辺に存在する検出用画素を周辺検出用画素とも呼ぶ。
【００２６】
ここで、クロストークの発生原理を簡単に説明する。図２は、レンズ表面や鏡枠内面で反射した光により、クロストークが発生する様子を説明する図である。フレア光Ｍが、右側の画素に浅い角度で入射したとする。右側の画素のマイクロレンズ４００及びカラーフィルタ４０２を通過したフレア光Ｍが、左右の画素の境界の配線層４０４の上面で反射して、左側画素に進入する。隣接する画素に進入したフレア光Ｍが、クロストークＣ（クロストーク光）となる。
【００２７】
左側の画素のフォトダイオード４０８は、本来の入射光Ｋに加えて、ノイズとなるクロストークＣを受光する。そして、フレア光Ｍはカラーフィルタ４０２を通過して減衰するので、クロストークＣの量は、フレア光Ｍが通過するカラーフィルタ４０２の特性に応じて変化することになる。フレアは、ゴーストとも呼ばれる。
【００２８】
画素値取得部１２２は、検出用画素を含む撮像素子から生成された画像データから、フレア検出領域内で、注目検出用画素に隣接する複数の画素の画素値と、周辺検出用画素に隣接する複数の画素の画素値と、注目検出用画素及び周辺検出用画素のいずれにも隣接しない複数の画像用画素の画素値を、それぞれ取得する。
【００２９】
画素特定部１２４は、検出用画素の上下左右に隣接する画素の中で、フレアによるクロストークの影響を受けた画素を特定する。検出用画素に隣接する画像の中で、フレアによるクロストークの影響を受けた画素をフレア影響画素とも呼ぶ。
【００３０】
図３は、画素特定部１２４の詳細構成を示すブロック図である。画素特定部１２４は、補正値算出部１２４ａ、最大値画素判定部１２４ｂ、平均値算出部１２４ｃ及び判定部１２４ｄを有する。
【００３１】
補正値算出部１２４ａは、画素値取得部１２２で取得された画素値を補正するための補正値を算出する。補正値算出部１２４ａは、検出用画素に隣接する複数の画素が同色か異色かに応じて異なる方式で補正値を算出する。隣接する画素が、同色の場合と異なる色の場合とで、各隣接する画素が受けるクロストークの程度が異なるからである。隣接する画素が同色の場合とは、画素配列が図９で示すような場合である。また、隣接する画素が異なる色の場合とは、画素配列が図１１で示すような場合である。図９、図１１については後述する。また、補正値算出の詳細は、図７のステップＳ１００で説明する。
【００３２】
最大値画素判定部１２４ｂは、画素値取得部１２２で取得した画素値に基づき、検出用画素に隣接する複数の画素の中から、最大値となる画素を判定する。最大値となる画素を最大値画素と呼ぶ。そして、最大値画素判定部１２４ｂは、取得した画素値に基づいて、注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第１の最大値画素と判定する。また、最大値画素判定部１２４ｂは、周辺検出用画素に隣接する複数の画素の中で画素値が最大となる画素を第２の最大値画素と判定する。
【００３３】
更に、最大値画素判定部１２４ｂは、注目検出用画素に対する前記第１の最大値画素の位置を第１の位置として求め、周辺検出用画素に対する第２の最大値画素の位置を第２の位置として求める。
【００３４】
平均値算出部１２４ｃは、フレア検出領域内で、注目検出用画素または周辺検出用画素のいずれにも隣接しない複数の画像用画素の画素値の平均値を算出する。この平均値を、画像用画素平均値とも呼ぶ。
【００３５】
具体的には、平均値算出部１２４ｃは、検出用画素に隣接する画素同士が同色の場合には、注目検出用画素または周辺検出用画素のいずれにも隣接しないＧ画素の平均値を算出する。図１０で、斜線で示すＧ画素が、注目検出用画素または周辺検出用画素のいずれにも隣接しないＧ画素である。図１０については、後述する。
【００３６】
また、平均値算出部１２４ｃは、検出用画素に隣接する画素同士が異なる色の場合、注目検出用画素または周辺検出用画素のいずれにも隣接しないＲ画素の平均値及びＢ画素の平均値を算出する。図１５で、斜線で示すＲ画素及びＢ画素が、注目検出用画素または周辺検出用画素のいずれにも隣接しないＲ画素及びＢ画素である。図１５については、後述する。
【００３７】
判定部１２４ｄは、最大値画素判定部１２４ｂで求められた第１の位置や第２の位置により、注目検出用画素に隣接する複数の画素の中で所定の条件に基づきフレア影響画素があるか否かを判定する。判定部１２４ｄは、複数の判定条件を、単独あるいは組み合わせて判定を行う。判定の詳細は、図７のステップＳ１１６で説明する。
【００３８】
フレア光源判定部１２６は、フレア光源の有無やフレア光源の位置を判定する。フレア光源判定部１２６は、画素特定部１２４の結果から、フレア光源の有無と位置を判定する。例えば、フレア光源判定部１２６は、画面内の検出用画素の中でフレアの影響を受けていると特定されたフレア影響画素の数が所定数以上であればフレア光源があると判断してもよい。例えば、フレア光源判定部１２６は、焦点検出用画素総数の０．５％以上を所定数としてもよい。
【００３９】
また、フレア光源判定部１２６は、上記のフレア影響画素数による判定に加えて、フレアの影響を受けていると特定された画素が、一部の領域に密集しているかを判定に加えても良い。これはフレア光源による画質劣化はフレア光源を受けた領域のみに発生するので、たとえフレア影響画素数が所定数を超えていたとしても、フレア影響画素が画面全体に離散的にあれば、フレア光源の影響ではないと判断できるためである。一部の領域として、例えば画角の３％の以上の領域としてもよい。
【００４０】
フレア光源判定部１２６は、検出用画素に対するフレア影響画素の位置関係に基づいてフレア光源の位置を判定する。例えば、フレア光源判定部１２６は、検出用画素に対するフレア影響画素の位置関係で、同一の位置関係が多数あれば、同一となる多数の位置関係において、検出用画素に対しフレア影響画素の反対方向に前記フレア光源が位置すると判定する。
【００４１】
フレア光源判定部１２６は、検出用画素に対するフレア影響画素の位置関係が画面内の箇所を中心に上下左右方向に分布していると判定した場合には、画面内にフレア光源が位置すると判定する。フレア光源位置判定の具体例は、図１７Ａ等で後述する。
【００４２】
画素補正部１２８は、フレア光源判定部１２６によってフレア光源ありと判断された場合に、判定部１２４ｄによって判定され、画素特定部１２４により特定されたフレア影響画素を補正する。画素補正部１２８は、例えば、周辺の画像用画素を補間演算して補正値を生成して、フレア影響画素を補正する。また、画素補正部１２８は、検出用画素についても、周囲の画像用画素で補間する処理を行う。なお、画素補正部１２８は、検出用画素への補正は、フレア光源の有無に関わらず行う。
【００４３】
画像生成部１３０は、三板化処理、ホワイトバランス処理、カラーマトリックス処理、ガンマ補正、ノイズリダクション処理などの各種処理を行い、ＲＡＷデータをＹＣデータに変換する。
【００４４】
また、カメラ本体１００は、マイクロコンピュータ１５０、フラッシュメモリ１５２、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１５４、画像圧縮部１６０、画像伸張部１６２、メモリＩＦ（Interface）１６４、記録媒体１６６、表示ドライバ１６８、表示部１７０、操作部１７２及びレンズＩＦ（Interface）１７４を有する。
【００４５】
マイクロコンピュータ１５０は、カメラシステム１０全体を統括的に制御するプロセッサーである。マイクロコンピュータ１５０は、フラッシュメモリ１５２に記憶されている制御プログラムを読込み、制御プログラムを実行して、カメラの各種シーケンスを行う。マイクロコンピュータ１５０には、操作部１７２、レンズＩＦ１７４が接続される。
【００４６】
フラッシュメモリ１５２は、前述した制御プログラムや検出用画素位置情報等の情報を記憶する。
【００４７】
ＳＤＲＡＭ１５４は、画像データ等の一時記憶用の電気的書き換えができる揮発性メモリである。ＳＤＲＡＭ１５４は、Ａ／Ｄ変換部１０８から出力された画像データや、画像処理部１２０等において処理される画像データを一時記憶する。
【００４８】
画像圧縮部１６０は、静止画の場合には画像データをＪＰＥＧ方式で圧縮し、また動画の場合にはＭＰＥＧ等の各種方式に従って圧縮する。画像伸張部１６２は、画像再生表示用にＪＰＥＧ画像データやＭＰＥＧ画像データの伸張を行う。
【００４９】
メモリＩＦ１６４は、記録媒体１６６に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１６６に書き込みおよび読出しの制御を行う。
【００５０】
記録媒体１６６は、カメラ本体１００に着脱自在なメモリカード等の記録媒体である。記録媒体１６６は、カメラ本体１００に内蔵されたハードディスク等であっても良い。
【００５１】
表示ドライバ１６８は、ＳＤＲＡＭ１５４や記録媒体１６６から読み出され、画像伸張部１６２によって伸張された画像データに基づいて、画像を表示部１７０に表示させる。表示部１７０は、例えばＬＣＤで構成され、表示ドライバ１６８から出力される画像を表示する。
【００５２】
操作部１７２は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字キー、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材（不図示）を含む。操作部１７２は、これらの操作部材の操作状態をマイクロコンピュータ１５０に通知する。また、カメラ本体１００には、マイクロコンピュータ１５０や被写体輝度情報取得部１１０等を接続するためのバス１８０が設けられる。
【００５３】
レンズＩＦ１７４は、交換式レンズ２００内のマイクロコンピュータ２１０とカメラ本体１００内のマイクロコンピュータ１５０の相互間の通信を行うためのインターフェースである。
【００５４】
交換式レンズ２００は、レンズ２０２、絞り２０４、マイクロコンピュータ２１０、フラッシュメモリ２１２、ドライバ２１４を有する。
【００５５】
レンズ２０２は、被写体像を形成するための複数の光学レンズ（ピント調節用のフォーカスレンズを含む）から構成される。レンズ２０２は、単焦点レンズまたはズームレンズいずれでもよい。絞り２０４は、開口径が可変であり、レンズ２０２を通過する被写体光束の光量を制御する。
【００５６】
マイクロコンピュータ２１０は、カメラ本体１００内のマイクロコンピュータ１５０からの指示に応じて、ドライバ２１４を制御して交換式レンズ２００全体を制御する。また、マイクロコンピュータ２１０は、フラッシュメモリ２１２の情報をカメラ本体１００内のマイクロコンピュータ１５０に送信する。フラッシュメモリ２１２は、制御プログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報を記憶する。
【００５７】
ドライバ２１４は、レンズ２０２に含まれるフォーカスレンズ等の位置制御や絞り２０４の開口径の制御を行う。
【００５８】
次に、撮像素子１０４の画素配列の例を説明する。図４は、本実施形態における撮像素子１０４の画素配列の例である。本実施形態では、ベイヤ配列を例にするが、画素配列はベイヤ配列に限るものではなく、種々の配列が適用され得る。
【００５９】
Ｒ、Ｇ、Ｂで示す各画素は、画像用画素である。Ｆで示す画素が、焦点検出用の検出用画素である。検出用画素は、画像用画素の間に配置される。Ｗは、検出用画素のカラーフィルタが透明（Ｗｈｉｔｅ）であることを示す。画素配列で水平方向を横方向、垂直方向を縦方向と呼ぶ。
【００６０】
なお、検出用画素のカラーフィルタは透明に限るものではなく、有色のカラーフィルタでも良い。透明のカラーフィルタは有色のカラーフィルタと比較して透過量が多いために、多くの光を受光できる点で優位である。検出用画素の配置は、図４に示すように離散的でもよいし、直線上でも良い。また、検出用画素は、撮像面の一部の領域に配置されてもよいし、全面に配置されてもよい。
【００６１】
図５は、検出用画素の構造を示す断面図である。検出用画素は、マイクロレンズ４００、カラーフィルタ４０２、配線層４０４、遮光幕４０６、フォトダイオード４０８、基板４１０及び基盤４１２を有する。マイクロレンズ４００、配線層４０４、フォトダイオード４０８、基板４１０及び基盤４１２は、図２で示した通常の画像用画素のものと同様である。
【００６２】
遮光幕４０６は、入射光Ｋの左右あるいは上下いずれかを遮蔽するものである。図６の例では、入射光Ｋの右側が遮蔽される。例えば、左領域の信号と、右領域の信号の位相差を検出することで、ピントのずれが判定される。
【００６３】
図６は、画像処理部１２０による画像処理の手順を説明するフローチャートである。図６のフローチャートは、画像処理の中で、特に検出用画素に隣接する画素のクロストークを補正する処理に関する。
【００６４】
画像処理部１２０は、Ａ／Ｄ変換部１０８から出力される画像データに基づき、画像処理を開始する。画素値取得部１２２は、画像データの全ての画像に対し、例えば画像の左上から右下に向かってラスタースキャンで、検出用画素の探索を行う（ステップＳ１０）。
【００６５】
画素値取得部１２２は、探索対象の画素が検出用画素であるかを判定する（ステップＳ１２）。なお、撮像素子のどの画素に検出用画素が配置されているかはあらかじめ決まっているので、画素値取得部１２２は、検出用画素位置情報をフラッシュメモリ１５２に記憶しておき、記憶された検出用画素位置情報を参照してもよい。このようにすれば、画像データで探索を行う必要はなくなる。
【００６６】
画素値取得部１２２は、探索対象の画素が検出用画素でないと判定すると（ステップＳ１２のＮＯ）、ステップＳ２０を経由してステップＳ１０に戻る。画像処理部１２０は、次の画素を対象画素とし、検出用画素の判定を行う。
【００６７】
画素値取得部１２２は、探索対象の画素が検出用画素であると判定すると（ステップＳ１２のＹＥＳ）、画素値取得部１２２は、対象の検出用画素（注目検出用画素）を中心にしてフレア検出領域を設定する（ステップＳ１４）。画素値取得部１２２は、フレア検出領域として、例えば、対象の検出用画素を中心にして、縦横１１×１１画素の領域を設定する。
【００６８】
図８は、検出用画素を中心として設定されるフレア検出領域を示す図である。図８の上図は、撮像素子の全体画素１０４ａを示し、図８の下図は撮像素子の全体画素１０４ａの一部を拡大した画素配列Ｄを示す。画素配列Ｄでは、1区画が1画素に相当する。画素配列Ｄの黒色の画素が検出用画素とし、白色の画素を画像用画素とする。
【００６９】
画素値取得部１２２が、検出用画素Ｆ（１，１）を対象の検出用画素（注目検出用画素）として、画素値を取得するとする。まず、画素値取得部１２２は、検出用画素Ｆ（１，１）を中心とした、縦横１１×１１画素のフレア検出領域Ｅ１を設定する。なお、画素値取得部１２２は、検出用画素の位置が縦横１１×１１画素のフレア検出領域が設定できない位置の場合には、ステップＳ１２をＮＯと判定してもよい。具体的には、画素値取得部１２２は、検出用画素Ｆｅが対象の検出用画素となった場合には、画素値取得部１２２は、ステップＳ１２をＮＯと判定してもよい。
【００７０】
そして、検出用画素Ｆ（１，１）に関して、以下説明するステップＳ１６及びステップＳ１８により、画素特定処理が行われる。検出用画素Ｆ（１，１）についての画素特定処理が終わると、検出用画素Ｆ（１，２）についての画素特定処理が行われる。画素値取得部１２２は、検出用画素Ｆ（１，２）でフレア検出領域Ｅ２を設定し、ステップＳ１６及びステップＳ１８の処理が行われる。このように、ステップＳ１２〜ステップＳ１８の処理が、撮像素子の画素１０４a全体について行われる。
【００７１】
図６に戻る。画素値取得部１２２は、フレア検出領域内で、注目検出用画素に隣接する複数の画素の画素値と、周辺検出用画素に隣接する複数の画素の画素値と、注目検出用画素及び周辺検出用画素のいずれにも隣接しない複数の画像用画素の画素値を、それぞれ取得する（ステップＳ１６）。
【００７２】
画素特定部１２４は、取得した画素値に基づき、検出用画素に隣接する画素にフレアによるクロストークの影響を受けた画素があるかを特定する画素特定処理を行う（ステップＳ１８）。図７は、画素特定部１２４による画素特定処理の手順を説明するサブルーチンである。
【００７３】
〈補正値算出〉
補正値算出部１２４ａは、最大値画素判定のための補正値を算出する（ステップＳ１００）。補正値算出部１２４ａは、検出用画素に隣接する複数の画素が同色か異なる色かに応じて異なる方式で、補正値を算出する。なお、検出用画素が注目検出用画素あるいは周辺検出用画素のいずれであっても、補正値は同じである。注目検出用画素と周辺検出用画素で、隣接する画素の構成が同じであるからである。
【００７４】
前述のように、画素特定部１２４は、検出用画素に隣接する画素の中で、画素値が最大となる画素をクロストークの影響を受けた画素と特定する。しかし、設定されたフレア検出領域がフレアの影響を受けている場合には、検出用画素に隣接する画素は検出用画素からだけではなく、他の隣り合う画像用画素からのクロストークも受ける可能性がある。つまり、他の隣り合う画像用画素からのクロストーク分を補正しないと、検出用画素からのクロストーク量を正確に評価することができない。
【００７５】
そして、他の隣り合う画像用画素からのクロストーク分を補正するためには、検出用画素に隣接する画素同士が同色の場合と、検出用画素に隣接する画素同士が異なる色の場合とでは、補正の方式を異ならせる必要がある。
【００７６】
まず、検出用画素に隣接する画素同士が同色の場合の補正を説明する。図９は、フレア検出領域の画素配列で、検出用画素に隣接する画素同士が同色となる画素配列の例である。検出用画素の中で、注目検出用画素をＦａ、周辺検出用画素をＦｂとして示す。図９は、ベイヤ配列で、本来のＲ画素の位置に検出用画素が配置される例である。検出用画素に隣接する画素同士は、上下左右ともＧ画素となる。なお、検出用画素がＲ画素ではなく、Ｂ画素に配置されるパターンでも同様である。
【００７７】
また、Ｂ行に配置されたＧ画素をＧＢ画素、Ｒ行に配置されたＧ画素をＧＲ画素とする。図９から分かるように、ＧＢ画素の１つであるＧＢ１は、左右にＢ画素が隣接し、上にＲ画素が隣接する。同様に、ＧＲ画素の１つであるＧＲ１は、右にＲ画素が隣接し、上下にＢ画素がそれぞれ隣接する。
【００７８】
前述のように、この領域がフレアの影響を受ける場合、検出用画素に隣接する画素は、検出用画素以外の画像用画素からもクロストークを受ける。例えば、右隣の画素からのクロストークを受けるとすると、ＧＲ１はＲ画素からのクロストークを受け、ＧＢ１はＢ画素からのクロストークを受けることになる。Ｒ画素とＢ画素はカラーフィルタが異なるので、ＧＢ画素とＧＲ画素が受けるクロストークの量は、異なることになる。そのため、ＧＢ画素とＧＲ画素のクロストークの差を打ち消すための補正が必要になる。
【００７９】
補正値算出部１２４ａは、検出用画素に隣接しない画像用画素の中で、検出用画素に隣接する画像用画素と同色の画像用画素（本例では、Ｇ画素）を選択する。図１０は、補正値算出用に選択された画素を示す図である。図１０で、斜線で示す画素が選択された画素である。そして、補正値算出部１２４ａは、選択した複数の画像用画素をＧＢとＧＲに分けて、以下の式（１）、（２）で、ＧＢの平均値ＧＢave及びＧＲの平均値ＧＲaveを算出する。
ＧＢave＝ＧＢの積算値 / ＧＢの積算数・・・式（１）
ＧＲave＝ＧＲの積算値 / ＧＲの積算数・・・式（２）
【００８０】
そして、補正値算出部１２４ａは、ＧＢave及びＧＲaveの差分または比率から、補正値Ｔを算出する。具体的には、補正値算出部１２４ａは、補正値Ｔ＝ ＧＢave−ＧＲave  もしくは補正値Ｔ＝ ＧＢave /ＧＲave  を算出する。なお、演算時間を鑑みると差分方式が有利である。
【００８１】
次に、検出用画素に隣接する画素同士が異なる色の場合の補正を説明する。図１１が、検出用画素に隣接する画素同士が異なる色の場合の画素配列である。図１１は、ベイヤ配列で、本来のＧ画素の位置に検出用画素が配置される例である。また、検出用画素がＧ画素ではなくＢ画素の位置に配置されるパターンも同様である。
【００８２】
図１１から分かるように、注目検出用画素Ｆａに隣接するＢ画素Ｂ１では、注目検出用画素Ｆａ以外に隣接する３つ画素は、全てＧ画素である。また、注目検出用画素Ｆａに隣接するＲ画素Ｒ１も、注目検出用画素Ｆａ以外に隣接する３つ画素はＧ画素である。周辺検出用画素Ｆｂでも同様である。
【００８３】
このように、検出用画素に隣接する画素同士が異なる色の場合、検出用画素に隣接する画素が受けるクロストーク量の中で、画像用画素からのクロストークは、すべてＧ画素からのクロストークであるので、一定量になる。ただし、Ｒ画素とＢ画素では、そもそも分光特性が異なるので、その差を打ち消すための補正が必要になる。
Ｒ画素補正値Ｔｒ＝Ｒ画素ホワイトバランスゲイン
Ｂ画素補正値Ｔｂ＝Ｂ画素ホワイトバランスゲイン
補正値算出部１２４ａは、ＷＢゲイン算出部１１４から、ホワイトバランスゲインを取得する。なお、ホワイトバランスゲインは撮影者が意図的に設定した設定値でもよい。
【００８４】
〈最大値画素判定〉
最大値画素判定部１２４ｂは、注目検出用画素に隣接する複数の画素の中から、最大値画素を判定する（ステップＳ１０２）。まず、図９、図１０で説明した注目検出用画素に隣接する画素同士が同色の場合における、最大値画素判定について説明する。
【００８５】
図１２は、注目検出用画素に隣接する画素同士が同色の場合における、注目検出用画素に隣接する画素の位置を示す図である。図１２に示すように、注目検出用画素Ｆａの上下左右に隣接する４つのＧ画素を、Ｇ０、Ｇ１、Ｇ２、Ｇ３とする。最大値画素判定部１２４ｂは、補正値算出部１２４ａで算出した補正値を加味して、最大値を算出する。具体的には、最大値画素判定部１２４ｂは、以下に示す式（３）により、４つの隣接する画素の中から、補正値を加味して、最大値となる画素を判定する。
ＭＡＸ ＝ ｍａｘ（ Ｇ０画素値−補正値Ｔ、Ｇ１画素値−補正値Ｔ、Ｇ２画素値−補正値Ｔ、Ｇ３画素値−補正値Ｔ)    ・・・式（３）
【００８６】
ここで、補正値を比率で出している場合は減算ではなく乗算でよい。補正後の画素値が全て同じである場合は、後述する被写体輝度とカメラ姿勢に応じて優先順位をつけてもよいし、最大値なしと判定してもよい。
【００８７】
〈位置関係取得〉
最大値画素判定部１２４ｂは、判定した最大値画素から、注目検出用画素に対する最大値画素の位置関係を取得する（ステップＳ１０４）。最大値画素判定部１２４ｂは、以下のように、注目検出用画素に対する最大値画素の位置関係を取得する。
ＭＡＸ ＝ Ｇ０画素値− 補正値Ｔの場合には、上位置となる。
ＭＡＸ ＝ Ｇ１画素値− 補正値Ｔの場合には、左位置となる。
ＭＡＸ ＝ Ｇ２画素値− 補正値Ｔの場合には、下位置となる。
ＭＡＸ ＝ Ｇ３画素値− 補正値Ｔの場合には、右位置となる。
【００８８】
次に、図１１を参照して説明した検出用画素に隣接する画素同士が異なる色の場合における、最大値画素判定を説明する。図１３は、注目検出用画素に隣接する画素同士が異なる色の場合における、注目検出用画素に隣接する画素の位置を示す図である。図１３に示すように、注目検出用画素Ｆａの上下左右に隣接する４つの画素を、Ｂ０、Ｒ１、Ｂ２、Ｒ３とする。Ｇ画素に検出用画素が配置されているパターンである。
【００８９】
最大値画素判定部１２４ｂは、補正値算出部１２４ａで算出した補正値を加味して、最大値を算出する。具体的には、最大値画素判定部１２４ｂは、以下に示す式（４）により、４つの隣接する画素の中から、補正値を加味して、最大値となる画素を判定する。
ＭＡＸ ＝ ｍａｘ（Ｂ０画素値× Ｂホワイトバランスゲイン、
Ｒ１画素値× Ｒホワイトバランスゲイン、
Ｂ２画素値× Ｂホワイトバランスゲイン、
Ｒ３画素値× Ｒホワイトバランスゲイン）・・・式（４）
【００９０】
そして、最大値画素判定部１２４ｂは、以下のように、注目検出用画素に対する最大値画素の位置関係を取得する。
ＭＡＸ ＝ Ｂ０画素値× Bホワイトバランスゲイン の場合には、 上位置となる。
ＭＡＸ ＝ Ｒ１画素値× Rホワイトバランスゲイン の場合には、 左位置となる。
ＭＡＸ ＝ Ｂ２画素値× Bホワイトバランスゲイン の場合には、 下位置となる。
ＭＡＸ ＝ Ｒ３画素値× Rホワイトバランスゲイン の場合には、 右位置となる。
【００９１】
<重みづけ補正>
また、最大値画素判定部１２４ｂは、上記の最大値画素判定で、被写体輝度とカメラ姿勢に応じて重みづけ補正を加えてもよい。図１４は、被写体輝度とカメラ姿勢による重みづけテーブルの一例である。重みづけテーブルは、カメラ姿勢と被写体輝度のマトリクスで、重みづけ係数を決定する表である。重みづけテーブルは、横軸がカメラ姿勢（４通り）、縦軸が被写体輝度（高低）である。図１４の重みづけテーブルは、検出用画素に隣接する画素同士が同色となる画素配列を例とするテーブルである。
【００９２】
例えば、被写体輝度が高い環境では、一般的に光源は太陽光であるので、光源は画角の上に位置する場合が多い。そのため、被写体輝度が高い環境では、被写体の上側から強い光を受ける確率が高い。これにより、検出用画素の下に隣接する画素（図１２のＧ２）にフレアの影響が発生する確率が高くなる。そこで、被写体輝度が高く、カメラ姿勢が横位置１の場合には、検出用画素の下に隣接する画素（図１２のＧ２）には、高い重みづけ係数（１．２）が設定される。また、被写体輝度が高く、カメラ姿勢が横位置２の場合には、検出用画素の下（図１２の状態で）に隣接する画素（図１２のＧ０）に、高い重みづけ係数（１．２）が設定される。
【００９３】
また、被写体輝度が低い環境では、一般的に光源は人工光で、太陽光の場合とは異なり、必ずしも画角の上から強い光を受けるとは限らない。そこで、このような環境では、重みづけ係数が低く設定される。また、被写体輝度が高く、カメラ姿勢が横位置の場合は、例えば、検出用画素の上下に位置する画素の重みづけ係数は、検出用画素の左右に位置する画素の重みづけ係数よりも高く設定される。
【００９４】
次に、カメラ姿勢が縦位置１の場合は、検出用画素の下に隣接する画素（図１２のＧ１）に、高い重みづけ係数が設定される。逆に、カメラ姿勢が縦位置２の場合は、検出用画素の下に隣接する画素（Ｇ３）に、高い重みづけ係数が設定される。
【００９５】
これにより、被写体輝度が高く、カメラ姿勢が横位置１の場合には、上記の式（１）は、以下の式（５）に修正される。
ＭＡＸ ＝ ｍａｘ（（Ｇ０画素値−補正値Ｔ）×１．０、
（Ｇ１画素値−補正値Ｔ）×０．９、
（Ｇ２画素値−補正値Ｔ）×１．２、
（Ｇ３画素値−補正値Ｔ）×０．９） ・・・式（５）
最大値画素判定部１２４ｂは、式（５）から最大値画素を判定する。
【００９６】
また、検出用画素に隣接する画素同士が異なる色となる画素配列の場合も、重みづけテーブルは、図１４の例と同様である。図１４で示す重みづけテーブルで符号（Ｇ０、Ｇ１、Ｇ２、Ｇ３）を（Ｂ０、Ｒ１、Ｂ２、Ｒ３）に置き換えればよい。例えば、被写体輝度が高く、カメラ姿勢が横位置１の場合には、上記の式（４）は、以下の式（６）に修正される。  
ＭＡＸ＝ ｍａｘ（Ｂ０画素値× Ｂホワイトバランスゲイン×１．０、
Ｒ１画素値× Ｒホワイトバランスゲイン×０．９、
Ｂ２画素値× Ｂホワイトバランスゲイン×１．２、
Ｒ３画素値× Ｒホワイトバランスゲイン×０．９）・・・式（６）
最大値画素判定部１２４ｂは、式（６）から最大値画素を判定する。なお、被写体輝度とカメラ姿勢を組み合わせる例を説明したが、いずれか一方のみで重みづけをしても構わない。
【００９７】
そして、最大値画素判定部１２４ｂは、以下で説明するステップＳ１０６からステップＳ１１２において、フレア検出領域内の周辺検出用画素について、最大値画素の判定を行う。図９や図１１の例で示したようなフレア検出領域が１１×１１の場合には、８個の周辺検出用画素についてそれぞれ最大値画素を算出して、各周辺検出用画素に対する最大値画素の位置関係を判定する。図１２及び図１３は、ＦａをＦｂに読み替えて適用される。
【００９８】
最大値画素判定部１２４ｂは、１の周辺検出用画素について最大値画素を算出する（ステップＳ１０８）。最大値画素判定部１２４ｂは、式（３）や式（４）、ステップＳ１００で算出された補正値や、前述の重みづけテーブル（図１４）等を利用する。最大値画素判定部１２４ｂは、ステップＳ１０２と同様な方法で、周辺検出用画素について最大値画素を判定する。
【００９９】
最大値画素判定部１２４ｂは、判定した最大値画素に基づき、１の周辺検出用画素に対する最大値画素の位置関係を取得する（ステップＳ１１０）。最大値画素判定部１２４ｂは、ステップＳ１０４と同様な方法で、周辺検出用画素に対する最大値画素の位置関係を取得する。
【０１００】
以上により、最大値画素判定部１２４ｂは、注目検出用画素及び周辺検出用画素の検出用画素（本例では計９個）についての、最大値画素の位置関係を判定する。前述のように、注目検出用画素に対する最大値画素の位置関係を、第１の位置とも呼ぶ。また、周辺検出用画素に対する最大値画素の位置関係を、第２の位置とも呼ぶ。
【０１０１】
<平均値算出>
平均値算出部１２４ｃは、フレア検出領域内で、平均値（画像用画素平均値）を算出する（ステップＳ１１４）。前述のように、平均値算出部１２４ｃは、検出用画素に隣接する画素同士が同色となる画素配列の場合には、注目検出用画素または周辺検出用画素のいずれにも隣接しないＧ画素の平均値を算出する。検出用画素に隣接しないＧ画素とは、図１０の斜線で示すＧ画素である。
【０１０２】
また、平均値算出部１２４ｃは、検出用画素に隣接する画素同士が異なる色の場合、注目検出用画素または周辺検出用画素のいずれにも隣接しないＲ画素の平均値及びＢ画素の平均値を算出する。図１５の斜線で示すＲ画素及びＢ画素が、検出用画素に隣接しないＲ画素及びＢ画素である。
【０１０３】
判定部１２４ｄは、所定の判定条件に基づき、フレアによるクロストークの影響を受けた画素があるか判定する（ステップＳ１１６）。判定部１２４ｄは、以下の１）、２）、３）の判定条件を、複数組み合わせて判定してもよいし、いずれか一つだけで判定しても良い。
１）複数の周辺検出用画素についてそれぞれ求められた第２の位置から、複数の第２の位置の中で最多となる位置を求め、最多となる位置と第１の位置が一致する場合に、第１の最大値画素をフレア影響画素と判定する。
２）複数の周辺検出用画素についてそれぞれ求められた第２の位置から、複数の第２の位置の中で最多となる位置を求め、最多となる位置の数が所定の閾値以上の場合には、注目検出用画素に隣接する画素の中で最多となる位置に対応する画素をフレア影響画素と判定する。
３）第１の最大値画素が平均値算出部１２４ｃで算出された画像用画素平均値より大きい場合には、該第１の最大値画素を前記フレア影響画素と判定する。  
【０１０４】
図１６Ａ、図１６Ｂは、判定条件を具体的に説明する図である。図１６Ａは、１）の判定条件による例を示す図である。注目検出用画素Ｆａに対する最大値画素が、上位置（Ｑａ）と判定されたとする。そして、周辺検出用画素Ｆｂに対する最大値画素が、それぞれ斜線で示すＧ画素と判定されたとする。最大値画素の位置は、上位置（ＱＵ）が５か所、左位置（ＱＬ）が３か所である。
【０１０５】
周辺検出用画素Ｆｂに対する最大値画素の位置（第２の位置）の中で、上位置（ＱＵ）が５か所あるので、最多の位置が上位置と求まる。そして、第２の位置での最多となる位置と第１の位置が、共に上位置で、一致することになる。これにより、最大値画素Ｑａがフレア影響画素と判定される。
【０１０６】
図１６Ｂは、２）の判定条件による例を示す図である。周辺検出用画素Ｆｂに対する最大値画素が、それぞれ斜線で示すＧ画素と判定されたとする。周辺検出用画素Ｆｂに対する最大値画素の位置（第２の位置）の中で、上位置（ＱＵ）が５か所あるので、最多の位置が上位置と求まる。例えば所定の閾値が５とすると、最多となる上位置の数が閾値以上となるので、注目検出用画素Ｆａの上位置の画素がフレア影響画素と判定される。
【０１０７】
判定部１２４ｄは、上記の判定に当てはまれば、注目検出用画素に隣接する複数の画素の中で画素値が最大となる画素をフレアによるクロストーク影響画素と特定する。判定部１２４ｄは、上記の判定に当てはまらなければ、注目検出用画素に隣接する画素にフレア補正が必要な画素はないと判定する。
【０１０８】
画素特定部１２４は、図６のステップＳ２０に進む。画素特定部１２４は、全ての画素の検索が終了していないと判断すると、ステップＳ１０に戻り、次の画素について、処理を行う。図８で説明したように、注目検出用画素が順番に変更されて、画面内で、各検出用画素に対応するフレア影響画素が特定される。
【０１０９】
なお、ステップＳ１０〜ステップＳ２０の処理は、撮像素子１０４の有効領域の全てについて行ってもよいが、一部の領域（例えば、予め設定された領域）に限定して行ってもよい。一部の領域は、撮影モードに連動して変更されてもよい。処理領域を限定すれば、処理時間が短縮されるからである。
【０１１０】
画素特定部１２４は、全ての画素探索が終了した判断すると、ステップＳ２２に進む。フレア光源判定部１２６は、画面内の画素特定処理による判定の結果に基づき、フレア光源の有無と位置を判定する（ステップＳ２２）。例えば、フレア光源判定部１２６は、画面内の検出用画素の中でフレア影響画素の数が所定数以上であればフレア光源があると判断してもよい。具体的には、フレア光源判定部１２６は、フレア影響画素の数が、検出用画素の総数の０．５％以上あれば、フレア光源があると判断してもよい。
【０１１１】
また、フレア光源判定部１２６は、フレア影響画素の数による判定に加えて、フレア影響画素が、ある領域に密集しているかを加えて判断しても良い。これはフレア光源による画質劣化はフレア光源を受けた領域のみに発生するので、たとえフレア影響画素の数が所定数を超えていたとしても、フレア影響画素が画面全体に離散的に分布しているのであれば、フレア光源の影響ではないと判断してもよいからである。ある領域として、例えば画角の３％の領域以上としてもよい。
【０１１２】
また、フレア光源判定部１２６は、検出用画素とフレア影響画素との位置関係に基づいて、フレア光源の位置を判定する。例えば、検出用画素とフレア影響画素との位置関係が、画面内全体で同じ傾向を示していれば、その傾向の反対方向にフレア光源が位置すると判定する。
【０１１３】
図１７Ａ、図１７Ｂ及び図１７Ｃは、判定されたフレア影響画素の位置により、フレア光源の位置が判定される例を示す図である。検出用画素Ｆを黒色で示し、各検出用画素のおけるフレア影響画素Ｑの位置をＸで示す。
【０１１４】
例えば、フレア光源判定部１２６は、検出用画素に対するフレア影響画素の位置関係で、同一の位置関係が多数あれば、同一となる多数の位置関係において、検出用画素に対しフレア影響画素の反対方向にフレア光源が位置すると判定する。多数とは、例えば、７０％以上である。図１７Ａの例１は、検出用画素Ｆに対するフレア影響画素Ｑの位置の大部分が、検出用画素Ｆの下である場合である。このような場合には、フレア光源判定部１２６は、フレア光源Ｐの位置を画面の上と判定する。
【０１１５】
図１７Ｂの例２は、検出用画素Ｆに対するフレア影響画素Ｑの位置の大部分が、検出用画素Ｆの右である場合である。このような場合には、フレア光源判定部１２６は、フレア光源Ｐの位置を画面の左と判定する。
【０１１６】
また、フレア光源判定部１２６は、検出用画素に対するフレア影響画素の位置関係が画面内の箇所を中心に上下左右方向に分布していると判定した場合には、フレア光源の位置が画面内であると判定する。図１７Ｃの例３は、検出用画素Ｆに対しフレア影響画素Ｑの位置が、画面内のある箇所を中心に上下左右方向に分布している場合である。このような場合には、フレア光源判定部１２６は、画面内の箇所をフレア光源の位置と判定する。
【０１１７】
画素補正部１２８は、フレア光源判定部１２６でフレア光源があると判定されたかを判断する（ステップＳ２４）。画素補正部１２８は、フレア光源判定部１２６でフレア光源があると判定されたと判断すると（ステップＳ２４のＹＥＳ）、フレア影響画素の画素値を補正する（ステップＳ２６）。画素補正部１２８は、フレア影響画素の周辺の画像用画素の画素値を補間演算し、補間演算による値をフレア影響画素の画素値に置き換えてもよい。また、画素補正部１２８は、例えば近傍の同色画素の重みづけ平均値を算出して、フレア影響画素の補正値としてもよい。
【０１１８】
続いて、画素補正部１２８は、検出用画素の画素値を補正する（ステップＳ２８）。画素補正部１２８は、フレア光源判定部１２６でフレア光源がないと判定されたと判断すると（ステップＳ２４のＮＯ）、検出用画素の画素値を補正する（ステップＳ２８）。前述のように、画素補正部１２８は、検出用画素への補正は、フレア光源の有無に関わらず行う。
【０１１９】
画像生成部１３０は、三板化、ホワイトバランス、カラーマトリックス、ガンマ補正、ノイズリダクションなどの処理を行い、ＲＡＷデータをＹＣデータに変換して、画像を生成する（ステップＳ３０）。
【０１２０】
<効果>
以上のように、注目検出用画素に隣接する画素の最大値画素だけでなく、周辺検出用画素に隣接する画素の最大値画素を加えて、フレア影響画素を判定するので、フレア影響画素の検出精度を高めることができる。また、最大値画素の判定で、他の画像用画素からのクロストーク分を補正することで、最大値画素の判定を高めることができる。また、最大値画素の判定で、撮像部の姿勢情報や被写体輝度情報の影響を考慮するので、フレア影響画素の検出精度をより高めることができる。
【０１２１】
また、画面内でのフレア影響画素の割合や分布によって、フレア光源の有無を判定するので、被写体等の影響によって誤ったフレア光源判定を防止できる。また、フレア光源の有無を判定して、フレア光源が有る場合に限りフレア影響画素の補正を行うので、誤った補正を防止できる。
【０１２２】
なお、検出用画素に隣接する画素は、画像用画素として説明したが、検出用画素であってもよい。また、画像処理部１２０は、ゲートアレイ等のハードウェアで構成されると説明したが、これに限るものではない。例えば、画素特定部１２４の各機能（画素値取得部１２４ａ等）は、フラッシュメモリ１５０に格納された所定のプログラムを読込んだマイクロコンピュータ１５０によるソフトウェア処理により実現されてもよい。
【０１２３】
また、撮像システム１０は、レンズと撮像素子を含む撮像部と、撮像信号を処理する撮像処理部が別体で構成されるシステムであってもよい。例えば、撮像システム１０は、顕微鏡用のカメラヘッドと画像処理装置からなるシステムでもよいし、内視鏡用スコープと画像処理装置からなるシステムでもよい。
【０１２４】
なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。
【符号の説明】
【０１２５】
１０  撮像システム
１００  カメラ本体
１０２  シャッタ
１０４  撮像素子
１０６  アナログ処理部
１０８  Ａ／Ｄ変換部
１１０  被写体輝度情報取得部
１１２  姿勢情報取得部
１１４  ＷＢゲイン算出部
１２０  画像処理部
１２２  画素値取得部
１２４  画素特定部
１２４ａ  補正値算出部
１２４ｂ  最大値画素判定部
１２４ｃ  平均値算出部
１２４ｄ  判定部
１２６  フレア光源判定部
１２８  画素補正部
１３０  画像生成部
１５０  マイクロコンピュータ
１５２  フラッシュメモリ
１５４  ＳＤＲＡＭ
１６０  画像圧縮部
１６２  画像伸張部
１６４  メモリＩ／Ｆ
１６６  記録媒体
１６８  表示ドライバ
１７０  表示部
１７２  操作部
１７４  レンズＩ／Ｆ
１８０  バス
【図１】
2018196083.tif 000003
【図２】
2018196083.tif 000004
【図３】
2018196083.tif 000005
【図４】
2018196083.tif 000006
【図５】
2018196083.tif 000007
【図６】
2018196083.tif 000008
【図７】
2018196083.tif 000009
【図８】
2018196083.tif 000010
【図９】
2018196083.tif 000011
【図１０】
2018196083.tif 000012
【図１１】
2018196083.tif 000013
【図１２】
2018196083.tif 000014
【図１３】
2018196083.tif 000015
【図１４】
2018196083.tif 000016
【図１５】
2018196083.tif 000017
【図１６Ａ】
2018196083.tif 000018
【図１６Ｂ】
2018196083.tif 000019
【図１７Ａ】
2018196083.tif 000020
【図１７Ｂ】
2018196083.tif 000021
【図１７Ｃ】
2018196083.tif 000022