(57)【特許請求の範囲】
【請求項１】
画像用の信号を生成する撮像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子と、
前記撮像素子から得られる画像に基づいてフレアが生じているか否かを判定するフレア判定手段と、
フレアが生じていると前記フレア判定手段が判定する場合、前記画像を構成する画素値のうちの前記焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化するフレア抑制処理を行う抑制手段と、
前記抑制手段により平滑化された撮像用画素の画素値のうちの焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間処理手段と、
を備えている撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記抑制手段は、前記フレア抑制処理を複数回行う撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記抑制手段は、
前記焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正する周囲撮像画素補正手段と、
前記周囲撮像画素補正手段で補正した前記撮像用画素の画素値を平滑化する平滑化手段と、
を備えている撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記周囲撮像画素補正手段は、前記焦点検出用画素の近傍に位置する撮像用画素のうち、対象となる撮像用画素の画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素の画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素の画素値を補正する撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記抑制手段は、
前記周囲撮像画素補正手段と前記平滑化手段とで行う処理を、撮像用画素値に対する重み係数を変えて２回行うとともに、２回目の処理では重み計数を「０」にして前記平滑化手段での処理のみを行う撮像装置。
【請求項６】
請求項３から５のいずれか１項に記載の撮像装置において、
前記平滑化手段は、
隣接するＡＦ画素の画素値を用いてクリップ範囲を算出する手段と、
一列に並ぶ焦点検出用画素列から遠い位置にある遠位撮像用画素の画素値と近い位置にある近位撮像用画素の画素値との差分から予測誤差を算出する手段と、
前記予測誤差がクリップ範囲から越えているか否かを判定する手段と、
前記クリップ範囲から外れている予測誤差を、前記クリップ範囲に含まれるようにクリッピングする手段と、
前記近位撮像用画素の画素値に前記クリッピング後の予測誤差を加算する手段と、
を備えている撮像装置。
【請求項７】
画像用の信号を生成する撮像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子と、
前記撮像素子からの信号によりフレアの発生を判定し、フレアが生じている場合、前記撮像用画素の画素値を補正し、前記撮像用画素の前記補正された画素値を用いて、焦点検出用画素における画像用の信号である補間画素値を生成する画素補間処理部と、
を備えている撮像装置。
【請求項８】
画像用の信号を生成する撮像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子から取得した画像に基づいてフレアが生じているか否かを判定するフレア判定手段と、
フレアが生じていると前記フレア判定手段が判定する場合、前記画像を構成する画素値のうちの前記焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化するフレア抑制処理を行う抑制手段と、
前記抑制手段により平滑化された撮像用画素の画素値のうちの焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間処理手段と、
を備えている画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記抑制手段は、前記フレア抑制処理を複数回行う画像処理装置。
【請求項１０】
画像用の信号を生成する撮像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子から取得した画像に基づいてフレアが生じているか否かを判定するフレア判定ステップと、
フレアが生じていると前記フレア判定ステップが判定する場合、前記画像を構成する画素値のうちの前記焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化するフレア抑制処理を行う抑制ステップと、
前記抑制ステップにより平滑化された撮像用画素の画素値のうちの焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間処理ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムにおいて、
前記抑制ステップは、前記フレア抑制処理を複数回行う処理をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０または１１に記載のプログラムを記録したコンピュータ読み取り可態な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、及びプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を２次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。複数の撮像用画素からは、画像を生成するための信号が読み出されて撮像用画素値が決められ、また焦点検出用の画素からは焦点検出のための信号が読み出されて焦点検出用画素値が決められる。画素補間をする時には、撮像用画素値のうち欠落色成分の画素値を補間するとともに、焦点検出用画素の位置に対応する撮像用画素値を補間する。
【０００３】
特許文献１に記載の発明では、焦点検出画素の位置に対応する撮像用画素値を補間するために、焦点検出用画素の近傍にある撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、前記近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出し、前記焦点検出用画素の画素値と前記評価画素値とを用いて画像の高周波成分を算出し、前記補間画素値に前記高周波成分を付加して焦点検出用画素の位置に対応する撮像用画素値を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、受光部周辺の画素間で配線領域からの反射光でフレアが生じると、受光部周辺でマイクロレンズ間の入射光が隣接画素へ漏れ込むクロストークにより混色が発生する。このような現象が起きると、焦点検出用画素のみならず、その周辺の画素も影響を受け、前述した画素補間により混色を受けた焦点検出用画素、及びその周りの画素が見た目に違和感を与える補間残りとなって現れてしまう欠点があった。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、フレアによる混色の影響が生じないように画素補間を行う撮像装置、画像処理装置、及びプログラム、並びに記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、画像用の信号を生成する撮像用画素と、焦点検出用の信号を生成する焦点検出用画素とを有する撮像素子と、撮像素子から得られる画像に基づいてフレアが生じているか否かを判定するフレア判定手段と、フレアが生じているとフレア判定手段が判定する場合、焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化するフレア抑制処理を行う抑制手段と、抑制手段により平滑化された撮像用画素の画素値のうちの焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成する画素補間処理手段と、を備えたものである。
【０００８】
抑制手段としては、焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正する周囲撮像画素補正手段と、周囲撮像画素補正手段で補正した前記撮像用画素の画素値を平滑化する平滑化手段と、を備えてもよい。
【０００９】
周囲撮像画素補正手段としては、前記焦点検出用画素の近傍に位置する撮像用画素のうち、対象となる撮像用画素の画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素の画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素の画素値を補正してもよい。
【００１０】
抑制手段としては、周囲撮像画素補正手段と平滑化手段とで行う処理を、撮像用画素値に対する重み係数を変えて複数回、例えば２回行うとともに、２回目以降の処理では重み計数を「０」にして平滑化手段の処理のみを行うようにするのが望ましい。
【００１１】
平滑化手段としては、隣接するＡＦ画素の画素値を用いてクリップ範囲を算出する手段と、一列に並ぶ焦点検出用画素列から遠い位置にある遠位撮像用画素の画素値と近い位置にある近位撮像用画素の画素値との差分から予測誤差を算出する手段と、予測誤差がクリップ範囲から越えているか否かを判定する手段と、クリップ範囲から外れている予測誤差を、前記クリップ範囲に含まれるようにクリッピングする手段と、前記近位撮像用画素の画素値に前記クリッピング後の予測誤差を加算する手段と、で構成するのが望ましい。
【００１２】
また、本発明としては、コンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【００１３】
本発明によれば、フレアが生じている場合、焦点検出用画素の周囲の撮像用画素に対してフレアによる混色の影響を抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の撮像装置である電子カメラの概略を示すブロック図である。
【図２】撮像素子に設けた焦点検出用画素（ＡＦ画素）の配列を示す説明図である。
【図３】撮像素子の画素の配列を示す説明図である。
【図４】ＡＦ画素補間部の概略を示すブロック図である。
【図５】ＡＦ画素補間部の動作手順を示すフローチャートである。
【図６】第２画素補間処理の手順を示すフローチャートである。
【図７】凸構造を含む縦５画素の画像構造を縦断したときの画素値を示す説明図である。
【図８】第３画素補間処理の手順を示すフローチャートである。
【発明を実施するための最良の形態】
【００１５】
本発明を適用した電子カメラ１０は、図４に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子に設けた焦点検出用画素（ＡＦ画素）の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値や加算係数等のデータ、及び各種判定用テーブル等を記憶する。
【００１６】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００１７】
撮影レンズ１４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１５の受光面に結像する。撮像素子駆動回路１６は、ＣＰＵ１１からの制御信号に基づいて撮像素子１５を駆動させる。撮像素子１５は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１７が取り付けられている。
【００１８】
原色透過フィルタ１７は、撮像素子１５の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００１９】
撮像素子１５の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ１８、及びＡＭＰ１９に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２０においてデジタルの画像データに変換されて画像処理部２１に送られる。
【００２０】
画像処理部２１は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列データを、１画素当たり３色からなる通常のカラー画像データに変換する。
【００２１】
画像処理部２１から出力される３色の画像データは、バス２２を通じてＳＤＲＡＭ２３に格納される。ＳＤＲＡＭ２３に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２４に送られる。表示制御部２４は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２５にスルー画像として出力する。
【００２２】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２３から読み出した後に圧縮伸長処理部２６に送られ、ここで圧縮処理が施されてからメディアコントローラ２７を介して記録媒体であるメモリカード２８に記録される。
【００２３】
ＣＰＵ１１には、レリーズボタン２９、電源スイッチ３０、及びＩＳＯ感度設定部３２が接続されているとともに、撮像素子１５の温度を検出する温度検出器３１から温度情報が入力される。この情報は、画像処理部２１に送られ、詳しくは後述するノイズを判定する時に利用される。
【００２４】
ＡＥ／ＡＦ検出部３３は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＥ／ＡＦ検出部３３で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３４を制御して合焦モータ３５を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２５】
ＡＥ／ＡＦ検出部３３は、撮像用画素の信号に基づいて算出した輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部３２で設定したＳｖ値とを用いて光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＥ／ＡＦ検出部３３は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が光値（Ｌｖ）になるように絞り値とシャッター速度とを決定する。そして、これに従って撮像素子１５の電子シャッター、及び電子アイリスを制御して適正な露光量を得る。なお、絞り兼用のメカシャッタを設けて、メカシャッタで絞りを可変してもよい。
【００２６】
撮像素子１５は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１７がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１５は、受光面上の一部の領域に、水平走査方向に１次元的に配置された複数の焦点検出用画素（ＡＦ画素）を有する。それらのＡＦ画素には、原色透過フィルタ１７が設置されていない。また、ＡＦ画素は、撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１５は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００２７】
各ＡＦ画素３６は、図２に示すように、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部３６ａ，３６ｂを持ち、その偏りの方向に沿って１次元状に並べられている。隣接するセンサ開口部３６ａ，３６ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部３６ａを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部３６ｂを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部３６ａ，３６ｂをもつＡＦ画素３６によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部３６ａをもつＡＦ画素３６とセンサ開口部３６ｂをもつＡＦ画素３６でそれぞれ受光すれば、これら２つの画素３６から出力された信号の位相差によりデフォーカスの方向と、デフォーカスの量が分かる。これにより速やかなフォーカス合わせが可能になる。
【００２８】
したがって、本実施形態におけるＡＦ画素３６の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１５によって撮像された画像データのうち、ＡＦ画素３６が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１７を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に１次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００２９】
画素補間部は、ＡＦ画素３６の画素値（ＡＦ画素値）を撮像用画素値に補間するＡＦ画素補間部と、ＡＦ画素値を撮像用画素の画素値（撮像用画素値）に補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３０】
ＡＦ画素補間部４０は、図４に示すように、ノイズ判定部４１、及びフレア判定部４２を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４１は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１５の温度、ＩＳＯ感度、及び撮影時のシャッター速度等になっている。撮像素子１５の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度や撮影時のシャッター速度の情報もＣＰＵ１１から得られる。
【００３１】
ノイズ判定部４１は、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１５を実装するメイン基板に温度検出器を設け、メイン基板の温度、又は撮像素子１５の周囲の温度を、撮像素子１５の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。
【００３２】
ノイズが多いとノイズ判定部４１が判定する場合には、ＡＦ画素値を用いず、その周囲の撮像用画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４２でフレア判定を行い、フレアが発生しているか否かに応じて前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。
【００３３】
フレア判定部４２は、画像データの輝度ヒストグラムに基づいて輝度が高い領域（高輝度領域）を抽出した後に、抽出された高輝度領域に、例えばマゼンタ色が存在するか否かを判定し、マゼンタ色が存在する場合、マゼンタ色となる領域（マゼンタ領域）における輝度成分の平均エッジ量、及び分散値を算出し、「マゼンタ領域の総面積」、「マゼンタ領域の分散値／マゼンタ領域の総面積」、及び「マゼンタ領域の輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
【００３４】
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮影レンズ１４の水平に対対する仰角をＣＰＵ１１が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部に送り、フレア判定部で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及びカメラを上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
【００３５】
ＡＦ画素補間部４０は、フレアが生じていないと判定する場合には、ＡＦ画素値を用いて画素補間をする第２画素補間処理（画素補間手段）を実行する。第２画素補間処理は、ＡＦ画素値（ホワイト（Ｗ）成分）から周囲の撮像用画素値を元に加重和で予測することで、そのＡＦ画素値を補間する。
【００３６】
フレアが生じているとフレア判定部４２が判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、フレア抑制手段と画素補間処理手段とを順に行う。フレア抑制手段は、ＡＦ画素の周囲の撮像用画素値を重み係数により補正する周囲撮像画素補正手段と、周囲撮像画素補正手段で補正した撮像用画素値を平滑化する平滑化手段と、で構成されている。周囲撮像画素補正手段は、ＡＦ画素の近傍に位置する撮像用画素のうち、対象となる撮像用画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素値を補正する。
【００３７】
フレア抑制手段としては、周囲撮像画素補正手段と平滑化手段とで行う処理を、撮像用画素値に対する重み係数を変えて、例えば２回行うとともに、２回目の処理では重み計数を「０」にして平滑化手段での処理のみを行う。その後、第２画素補間処理（画素補間処理手段）を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。
【００３８】
次に、上記ＡＦ画素補間部４０の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１７がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素値とＸ４５の緑色の撮像用画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素値を補間する手順も同様である。
【００３９】
［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２０から送られてくる画像データをノイズ判定部４１に送る。また、ＣＰＵ１１は、撮影時の撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度の情報をノイズ判定部４１に送る。あおして、ＣＰＵ１１は、ノイズ判定部４１を制御して、ノイズ判定部４１で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。
【００４０】
ノイズ判定部４１の判定は、ノイズ判定用テーブルを参照して判定する。ノイズ判定用テーブルは、撮像素子１５の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１５の温度に対応するノイズ判定用テーブルをノイズ判定部４１に送る。
【００４１】
ノイズ用判定テーブルとしては、例えば撮像素子１５の温度が４０℃未満の時には［表１］に記載のテーブルを、また４０℃以上５０℃未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッター速度とＩＳＯ感度とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
【００４２】
【表１】
0005834542.tif 000002
【００４３】
【表２】
0005834542.tif 000003
【００４４】
ノイズが多いと判定する場合は、ＡＦ画素の画素値を用いず、その周囲の画素の画素値のみを用いて第1画素補間処理を行う（Ｓ−２）。
【００４５】
［第１画素補間処理］
第１画素補間処理としては、例えば単に周囲の画素から平均補間してＡＦ画素に対応する撮像用画素値を求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数２］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数３］に記載の式からそれぞれ求める。
【００４６】
［数１］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２
［数２］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
［数３］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２
また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数４］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数５］に記載の式からそれぞれ求める。
【００４７】
［数４］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４
［数５］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
このように、ノイズが多い場合には、ＡＦ画素値を用いないで、その周辺の撮像用画素値のみからＡＦ画素値を予測するため、予測するＡＦ画素値がバラツキ、想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素値を撮像用画素値に補間した画像データは、画像処理部２１でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２３に格納される。
【００４８】
［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４１が判定した場合、フレア判定部４２を制御して、フレア判定部４２でフレアが生じているか否かを判定する（Ｓ−３）。ＡＦ画素補間部４０は、フレア判定部４２でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−５）を択一的に実行する。
【００４９】
［第２画素補間処理］
ＡＦ画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてＡＦ画素値を補間する。
【００５０】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４０は、Ｘ４５及びＹ４４のＡＦ画素での撮像用画素値を補間するために、図６に示すように、Ｘ４５及びＹ４４の周辺の撮像用画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、［数６］〜［数９］に記載の式を用いてそれぞれ求める（Ｓ−６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００５１】
［数６］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
［数７］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
［数８］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
［数９］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
（最小変動値の方向に応じた周辺の撮像用画素値を用いてＡＦ画素値を補間）
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素値ＢＹ４４を［数１０］〜［数１３］のうちの選択した方向に対応する式を用いて求める（Ｓ−７）。これにより、変動の小さい方向にある撮像用画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像用画素値を補間することが可能となる。
【００５２】
［数１０］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
［数１１］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
［数１２］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
［数１３］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
ＡＦ画素補間部４０は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１４］に記載の式とを用いて算出する。
【００５３】
［数１４］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
ＡＦ画素補間部４０は、その方向変動Ｈ５の値が閾値ｔｈ１を超えるか否かを判定する（Ｓ−８）。方向変動Ｈ５が閾値ｔｈ１を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色に画素補間を施して３色の画像データを生成し、３色の画像データを、バス２２を介してＳＤＲＡＭ２３に記録する（Ｓ−９）。
【００５４】
一方、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１０）へ移行する。なお、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００５５】
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ２の値が閾値ｔｈ２を超えるか否かを判定する（Ｓ−１０）。方向変動Ｈ２が閾値ｔｈ２を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス１３を介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００５６】
一方、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１１）へ移行する。なお、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００５７】
その後、ＡＦ画素補間部４０は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−１１）。具体的には、ステップ（Ｓ−６）において、例えば、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素値は［数１０］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１５］に記載の４つの式を用いて補間計算する。
【００５８】
［数１５］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
そして、ＡＦ画素補間部４０は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１６］に記載の式の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
【００５９】
［数１６］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
そして、画像処理部２１は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００６０】
ＡＦ画素補間部４０は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−１１）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−１２）。ステップ（Ｓ−７）において、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素値は、［数１０］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１７］に記載の４つの式を用いて補間計算する。
【００６１】
［数１７］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２
そして、ＡＦ画素補間部４０は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１８］に記載の式の加重和によって算出する。
【００６２】
［数１８］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部２１は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００６３】
ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−１１）及び（Ｓ−１２）において求めた白色光の平均画素値を用いて求める（Ｓ−１３）。ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４０は、各ＡＦ画素値、及び隣接するＡＦ画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１９］に記載の式を用いて算出する。
【００６４】
［数１９］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
なお、ステップ（Ｓ−１３）で説明した［数１９］において、ＡＦ画素の配列方向に隣接するＡＦ画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００６５】
その後、ＡＦ画素補間部４０は、［数２０］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００６６】
［数２０］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−１４）。閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップＳ１２で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス１３介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００６７】
一方、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−１５）へ移行する。なお、閾値ｔｈ３の値についての説明は、後の加重係数ＷＲ、ＷＧ、及びＷＢの説明とともに行う。
【００６８】
ＡＦ画素補間部４０は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−１５）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４０は、［数２１］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００６９】
［数２１］
(1)ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００７０】
一方、ＡＦ画素補間部４０は、［数２２］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００７１】
［数２２］
(1)ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６３）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００７２】
ＡＦ画素補間部４０は、ステップ（Ｓ−１５）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−１６）。まず、ＡＦ画素補間部４０は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２３］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００７３】
［数２３］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【００７４】
そして、画像処理部２１は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２４］に記載の式により白色光における色変動ＶＷを算出する。
【００７５】
［数２４］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部４０は、色変動率ＫＷＧ及びＫＷＢを［数２５］から算出する。
【００７６】
［数２５］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−１６）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２６］に記載の式から算出する（Ｓ−１７）。
【００７７】
［数２６］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
ＡＦ画素補間部４０は、ステップ（Ｓ−１７）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−７）で補間して求めた撮像用画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２７］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【００７８】
［数２７］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＸ４５
ＡＦ画素補間部４０は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素値として、画像データを更新する。画像処理部２１は、更新した画像データに対して１画素当たり３色の画像データに変換してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００７９】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−１０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−１０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【００８０】
次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値ｔｈ３とともに説明する。そうした加算係数や閾値を求めるにあたり、製品に組み込まれる撮像素子２又はその撮像素子２と同じ性能を持つ撮像素子を用意する。その撮像素子２にほぼ一様な照度の照明を、波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、［数１９］に記載の式のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像用画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。
【００８１】
そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを［数２８］のように定義する。
【００８２】
［数２８］
Ｅ＝Σｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）２
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を０にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像用画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを不揮発性メモリ１２に記録する。さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを［数２９］に記載の式で求める。
【００８３】
［数２９］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
そして、Ｋｎの最大値を求め、閾値ｔｈ３として不揮発性メモリ１２に記録する。
【００８４】
図７は、本実施形態の効果が発揮される画像構造の一例を表す。図７は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【００８５】
図７の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、図７の凸構造を再現できない。実際、（Ｓ−７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図７の●印）は、凸構造を再現していない。
【００８６】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１９］）。
【００８７】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＧを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１６］及び［数１８］）。
【００８８】
図７の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２６］）。
【００８９】
［第３画素補間処理］
ＡＦ画素補間部４０は、ノイズ判定部４１での判定結果によりノイズが少なく、かつフレア判定部４２でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。
【００９０】
第３画素補間処理は、ＡＦ画素の周囲の撮像用画素値を重み係数により補正し、補正した撮像用画素値を平滑化する処理を、撮像用画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する処理である。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。
【００９１】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、図８に示すように、ＡＦ画素列の周囲に配置された撮像用画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【００９２】
ＡＦ画素補間部４０は、撮像用画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素値に対して補正は行わない。一方、ＡＦ画素補間部４０は、撮像用画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素値を補正する。
【００９３】
ＡＦ画素補間部４０は、Ｒ色成分の撮像用画素値を［数３０］〜［数３３］を用いて補正する。
【００９４】
［数３０］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
［数３１］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
［数３２］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
［数３３］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【００９５】
ＡＦ画素補間部４０は、Ｇ色成分の撮像用画素値を［数３４］〜［数３９］］を用いて補正する。
【００９６】
［数３４］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４
［数３５］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
［数３６］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
［数３７］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
［数３８］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
［数３９］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【００９７】
また、ＡＦ画素補間部４０は、Ｂ色成分の撮像用画素の画素値を、［数４０］，［数４１］を用いて補正する。
【００９８】
［数４０］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
［数４１］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【００９９】
（隣接するＡＦ画素値を用いたクリップ量の算出）
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４（図２で説明したセンサ開口部３６ａ，３６ｂをもつＡＦ画素）の画素値を読み出し、［数４２］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−２２）。
【０１００】
［数４２］
ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿ＴＨ＿ＬＰＦ
ここで、Ｋ＿ＴＨ＿ＬＰＦは係数であり、例えば「１２７」程度の大きな値が適用される。この係数Ｋ＿ＴＨ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。
【０１０１】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、［数４３］，［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）値との差分を予測誤差として算出する（Ｓ−２３）。
【０１０２】
［数４３］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
［数４４］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｒ５４’
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−２４）。
【０１０３】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−２５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１０４】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、［数４５］により、予測誤差を各列の近位撮像用画素値に加算する（Ｓ−２６）。ここで、予測誤差は、［数４３］，［数４４］により求めた値、又は、クリッピングされた値である。
［数４５］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いて近位撮像用画素の画素値が補正される。
【０１０５】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−２７）。
【０１０６】
（２回目の処理）
１回目の処理が完了すると、２回目の処理が実行される。
【０１０７】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮影用が素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−２１）と同一の値が用いられる。
【０１０８】
ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素値に対して補正は行わない。ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数３０］〜［数４１］における全ての重み係数を「０」に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の値のままである。
［隣接するＡＦ画素値を用いたクリップ量の算出］
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４の画素値を読み出し、上述した［数４２］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−２９）。ここで、Ｋ＿ＴＨ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。
【０１０９】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、上述した［数４３］、［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−３０）。
【０１１０】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、上述した［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−３１）。
【０１１１】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−３２）。
【０１１２】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、上述した［数４５］を用いて、各列の近位撮像用画素値に加算する（Ｓ−３３）。これにより、２回目の処理においては、近位撮像用画素値が予測誤差を用いて、さらに補正される。
【０１１３】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−３４）。
【０１１４】
このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。
【０１１５】
（第２画素補間処理）
ＡＦ画素補間部４０は、ＳＤＲＡＭ２３に記憶した撮像用画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−３５）。これにより、ＡＦ画素に対応する撮像用画素値が算出される。つまり、ＡＦ画素値が補間される。
【０１１６】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、第２画素補間処理（Ｓ−３５）により補間したＡＦ画素値をＳＤＲＡＭ２３に記憶する。
【０１１７】
前述した第３画素補間処理においては、補正処理を繰り返し２回実行することで、ＡＦ画素列の近傍の撮像用画素値に対する平滑化処理を効果的に行っている。この平滑化処理を効果的に行うことで、ＡＦ画素に隣接する撮像用画素に対して、発生するフレアによる混色の影響を低減させることができる。また、混色の影響を低減した撮像用画素の画素値を用いてＡＦ画素に対する補間処理を行うので、ＡＦ画素においても、発生するフレアによる混色の影響が低減した画素値が得られる。つまり、フレアの影響を低減した画像を得ることができる。
【０１１８】
以上説明したように、実施形態によれば、フレアが生じている場合、フレア判定した画像を構成する画素値のうちの焦点検出用画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を複数回行うため、焦点検出用画素の周囲の撮像用画素に対してフレアによる混色の影響を抑制することができる。これにより、その後に行う焦点検出用画素の補間画素値の生成でも前記混色の影響を抑制することができる。
【０１１９】
なお、上記実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１２０】
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１２１】
なお、上記実施形態では、フレアの抑制処理を２回行っているが、必ずしも2回まわしする必要はない。例えば、フレアの抑制処理を１回行なってフレアの周囲を補正し、フレア抑制処理を２回行なう場合に比べて、クリップ量を多めにするような構成としてもよい。
【０１２２】
なお、本発明では、ＡＦ画素補間処理を含む画像処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。
【０１２３】
上記各実施形態では、本発明を電子カメラ１０として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。
【０１２４】
さらに、本発明は、撮像装置に限らず、ＡＦ画素値を補間していないＲＡＷデータ等の画像データを取り込んでフレアを判定してＡＦ画素補間を行うプログラム、及びこれを記録した記録媒体の発明としてもよい。
【符号の説明】
【０１２５】
１０  電子カメラ
１５  撮像素子
３６  ＡＦ画素
４０  ＡＦ画素補間部
４２  フレア判定部
【図１】
0005834542.tif 000004
【図２】
0005834542.tif 000005
【図３】
0005834542.tif 000006
【図４】
0005834542.tif 000007
【図５】
0005834542.tif 000008
【図６】
0005834542.tif 000009
【図７】
0005834542.tif 000010
【図８】
0005834542.tif 000011