(57)【特許請求の範囲】
【請求項１】
焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、
前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出手段と、
前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成手段と、
前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正手段と、
前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、
前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出手段と、
前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成手段と、
前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正手段と、を有することを特徴とする撮像装置。
【請求項２】
前記フリッカ検出手段は、前記撮像信号を複数の領域に分割して該複数の領域の各領域で正規化を行うことにより、該撮像信号のレベルを表す評価値を生成し、前記評価値に基づいて照明強度の変化情報を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点検出用信号を出力可能な画素は、撮像光学系からの光束により形成された像を光電変換する複数の撮像用画素と、該撮像光学系からの光束のうち瞳分割された光束により形成された像を光電変換する複数の焦点検出用画素とを兼用した画素であることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像素子は、ＣＭＯＳイメージセンサであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、
前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、
前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出手段と、
前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成手段と、
前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正手段と、を有することを特徴とする撮像装置。
【請求項６】
焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、
前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、
前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成ステップと、
前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正ステップと、
前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、
前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出ステップと、
前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成ステップと、
前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正ステップと、を有することを特徴とする制御方法。
【請求項７】
焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、
前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、
前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、
前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成ステップと、
前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正ステップと、を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出用画素及び撮像用画素を兼用した撮像素子を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。このような撮像装置を用いて、蛍光灯照明下において被写体を動画として撮影する場合、いわゆる蛍光灯フリッカと呼ばれる現象が発生する。すなわち、商用交流電源によって直接点灯される蛍光灯の照明下で、ローリングシャッタ特性を有する撮像素子を用いて撮影を行うと、各画像において時間方向に輝度のフリッカ（いわゆる蛍光灯フリッカ）が生じる。
【０００３】
特許文献１には、ＣＭＯＳイメージセンサの出力を水平方向に積分して垂直強度分布を求め、複数フレームの垂直強度分布から現フレームにおける垂直方向のフリッカ成分を算出する方法が開示されている。また特許文献１では、算出したフリッカ成分から補正ゲイン値を算出して、補正係数を現フレームの映像信号に乗じることにより、原画像（補正前の撮影画像）を補正する。
【０００４】
特許文献２には、撮像素子の一部の画素の受光部を２分割することで瞳分割機能を付与し、焦点検出用画素を撮像用画素群の間に所定の間隔で配置することで位相差方式の焦点検出を行う方法が開示されている。特許文献３には、撮像素子の撮像領域の一部を焦点検出用画素として使用するだけでなく、その焦点検出用画素を加算して撮像信号を生成する構成が開示されている。特許文献４には、蛍光灯フリッカを補正する方法が開示されている。特許文献５には、被写体の動きによる影響を少なくするために平滑化を行って被写体の動きの影響を抑制し、正弦波を生成してフリッカの補正ゲインとする方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７２１３号公報
【特許文献２】特開２０００−２９２６８６号公報
【特許文献３】特開２００７−２８２１０８号公報
【特許文献４】特開２００９−３８６６６号公報
【特許文献５】特開２００９−８１６８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
焦点検出用画素と撮像用画素とを兼用した画素を備えた撮像素子の場合、蛍光灯フリッカは焦点検出用画素にも影響する。蛍光灯フリッカは垂直方向の輝度ムラが生じるため、上下に瞳分離された焦点検出用画素からの信号のみを集めて瞳分割された２つの線像（Ａ＋Ｂ像、Ｃ＋Ｄ像）にも明暗が現れ、像ずれ量、すなわちデフォーカス量を正確に算出することができない。
【０００７】
特許文献４では、フリッカ成分に被写体の動き等のフリッカ成分以外の変動成分が含まれている場合に蛍光灯フリッカを補正する際に、誤ったフリッカ補正ゲイン値を算出してしまう。また特許文献５では、正弦波を生成してフリッカの補正ゲインとしているが、蛍光灯の発光特性は交流電源の整流性能や蛍光物質の劣化等で歪みを有するため、補正残りや過補正が発生する。このような現象は、瞳分割した後にフリッカ検出及びフリッカ補正を行った場合でも発生しうる。
【０００８】
そこで本発明は、高精度なフリッカ補正が可能な撮像装置及びその制御方法を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての撮像装置は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出手段と、前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成手段と、前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正手段と、前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出手段と、前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成手段と、前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正手段とを有する。
また、本発明の他の側面としての撮像装置の制御方法は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、前記撮像信号に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、前記照明強度の変化情報に基づいて、前記撮像信号に対して第一のフリッカ補正を行うための第一のフリッカ補正値を生成する第一のフリッカ補正値生成ステップと、前記第一のフリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行う第一のフリッカ補正ステップと、前記第一のフリッカ補正を行った後、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、前記相関演算の結果に基づいて残りフリッカを検出する残りフリッカ検出ステップと、前記残りフリッカと前記フリッカ補正値とに基づいて、前記撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成する第二のフリッカ補正値生成ステップと、前記第二のフリッカ補正値に基づいて前記撮像信号に対して第二のフリッカ補正を行う第二のフリッカ補正ステップと、
を有する。
【００１０】
本発明の他の側面としての撮像装置は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置であって、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算手段と、前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出手段と、前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成手段と、前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正手段とを有する。
また、本発明の他の側面としての撮像装置の制御方法は、焦点検出用信号を出力可能な画素を複数有し、撮像光学系からの光束により形成された像を光電変換して撮像信号を出力する撮像素子を備え、前記撮像素子の画素に対し所定単位毎に電荷蓄積のタイミングを異ならせることが可能な撮像装置の制御方法であって、前記電荷蓄積のタイミングが異なる撮像信号を用いて相関演算を行う相関演算ステップと、前記相関演算の結果に基づいて照明強度の変化情報を検出するフリッカ検出ステップと、前記照明強度の変化情報に基づいて、前記撮像信号に対してフリッカ補正を行うためのフリッカ補正値を生成するフリッカ補正値生成ステップと、前記フリッカ補正値に基づいて前記撮像信号に対してフリッカ補正を行うフリッカ補正ステップと、を有する。
【００１１】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１２】
本発明によれば、高精度なフリッカ補正が可能な撮像装置及びその制御方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施例における撮像装置のブロック図である。
【図２】本実施例における撮像素子の画素及びマイクロレンズの配置図である。
【図３】本実施例において、縦に瞳分割を行った際に得られる２つの像の説明図である。
【図４】本実施例における蛍光灯フリッカの発生原理の説明図である。
【図５】本実施例におけるフリッカ補正方法のフローチャートである。
【図６】本実施例におけるフリッカ成分と補正ゲイン値の関係図である。
【図７】本実施例における評価値生成部のブロック図である。
【図８】本実施例におけるフリッカ検出部のブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１５】
まず、図１を参照して、本発明の実施例における撮像装置の構成について説明する。図１は、本実施例における撮像装置１００のブロック図である。撮像素子１０１は、被写体の撮影時に、光電変換により光学情報を電気信号（撮像信号）に換えて出力する。撮像素子１０１は、撮像光学系（不図示）からの光束により形成された像を光電変換する複数の撮像用画素と、撮像光学系からの光束のうち瞳分割された光束により形成された像を光電変換する複数の焦点検出用画素を兼用した複数の画素を備える。また撮像素子１０１は、所定の第一の方向に光電変換された撮像信号が読み出されるように構成されている。ＣＤＳ（相関二重サンプリング）／ＡＧＣ（Ａｕｔｏ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ）部１０２は、アナログ電気信号のＳ／Ｎを改善するための処理部である。Ａ／Ｄ変換部１０３は、アナログ信号としての撮像信号を、デジタル画像信号としての撮像信号に変換する。フリッカ回路１０４は、変換されたデジタル画像信号を用いて、フリッカの補正ゲインを算出する。
【００１６】
続いて、図４を参照して、蛍光灯フリッカの発生原理について説明する。図４は、商用交流電源周波数が５０Ｈｚの地域における蛍光灯照明下で、ＣＭＯＳイメージセンサを利用した撮像装置で被写体を動画として撮影した場合の、撮像素子における電荷蓄積の様子を時間方向に模式的に示している。４０１は、撮像装置の撮影方式で決定される垂直同期信号ＶＤ、４０２は世界各国及び地域で各々決められている商用電源周期（ここでは１／５０ｓ）である。また、４０３は商用電源周期４０２に応じて蛍光発光している発光体の発光周期である。ここでは、ＣＭＯＳイメージセンサ上での電荷の蓄積時間が、垂直同期信号ＶＤの周期に従って垂直同期信号の周期と同じ時間（１／６０ｓ）間隔であるものとする。
【００１７】
４０４は、ＣＭＯＳイメージセンサにおける各ラインの電荷蓄積時間（露光タイミング）である。このように、各ライン（１〜Ｎライン目）の露光タイミングは順次制御される。また、電荷蓄積時間４０４における蛍光体の発光周期が異なるため、単色の平面を撮影すると１ライン目の蓄積電荷量と２ライン目の蓄積電荷量とは異なる。このように、同一フレーム内においても電荷蓄積時間内に受光する蓄積電荷量は各ラインで異なるため、蛍光灯フリッカが発生する。
【００１８】
図１に示されるように、フリッカ回路１０４は、輝度生成部１０６、評価値生成部１０７、フリッカ検出部１０８、及び、フリッカ補正値生成部１０９を備えて構成される。フリッカ回路１０４は、Ｒ、Ｇ、Ｂの画素から輝度Ｙを生成し、輝度Ｙを利用してフリッカを除去する回路である。まず、フリッカ回路１０４の輝度生成部１０６は、Ｒ、Ｇ、Ｂの画素から輝度Ｙを生成する。輝度Ｙの算出式は、例えば以下の式（１）のように表される。
【００１９】
Ｙ  ≒  ０．２９９Ｒ  ＋  ０．５８７Ｇ  ＋  ０．１１４Ｂ  …  （１）
輝度生成部１０６は、上記の式（１）を用いて輝度Ｙを生成し、生成した輝度Ｙを評価値生成部１０７へ出力する。評価値生成部１０７は、輝度生成部１０６から入力された輝度Ｙに基づいて、撮像信号の評価値（検出に用いられるデータ）を生成する。
【００２０】
続いて、図７を参照して、評価値生成部１０７の回路構成について説明する。図７は、評価値生成部１０７のブロック図である。７０１は垂直方向及び水平方向の複数の領域に分割し、各領域で積分を行う積分回路である。積分回路７０１で積分した結果（積分値）は平均化回路７０２（正規化回路）に入力さる。平均化回路７０２は、積分回路７０１による積分値に対して平均化（正規化）を行い、その結果（平均化値）をフリッカ検出部１０８に出力する。フリッカ検出部１０８は、評価値生成部１０７により得られた評価値（撮像信号のレベル）に基づいて照明強度の変化情報（フリッカ）を検出する。
【００２１】
次に、図８を参照して、フリッカ検出部１０８による各検出枠のフリッカ成分の算出方法の一例を説明する。図８は、フリッカ検出部１０８のブロック図である。図８において、引算器８０１、乗算器８０２、加算器８０３、及び、メモリ８０４は、以下の式（２）による演算を行うことで、いわゆる巡回型ローパスフィルタを形成している。
【００２２】
ｍｅｍ＝ａｖｅ×ｋ＋ｍｏｕｔ×（１−ｋ）  …  （２）
ここで、ａｖｅは、評価値生成部１０７で生成された平均化値である。ｍｏｕｔは、メモリ８０４からの出力である。ｍｅｍは、加算器８０３の出力であり、メモリ８０４に新しく記憶される値である。ｋは、巡回型ローパスフィルタのフィルタ係数である。除算器８０５は、平均化値ａｖｅと、メモリ８０４からの出力を除算することによって蛍光体の発光周期に起因する輝度変化成分をフリッカ成分として算出し、第一のフリッカ補正値生成部１０９に出力する。
【００２３】
第一のフリッカ補正値生成部１０９は、フリッカ検出部１０８で検出された照明強度の変化情報に基づいて、撮像信号に対してフリッカ補正を行うためのフリッカ補正値（第一の補正ゲイン値）を生成する。具体的には、第一のフリッカ補正値生成部１０９は、フリッカ検出部１０８から与えられたフリッカ成分の逆数を求め、第一の補正ゲイン値を生成する。第一の補正ゲイン値は、乗算器１０５により撮像データと乗算されることにより、フリッカ補正が行われる。このように、乗算器１０５は、フリッカ補正値としての第一の補正ゲイン値に基づいて撮像信号に対してフリッカ補正を行うフリッカ補正部である。
【００２４】
続いて、焦点検出用に縦目の像と横目の像を生成するため、データ分配部１１２によりデータの分配が行われる。データ分配部１１２は、縦目相関演算部１１４と横目相関演算部１１３（相関演算部）に出力するデータを分配する。縦目相関演算部１１４及び横目相関演算部１１３はそれぞれ、フリッカ補正が行われた後、縦目の相関演算（第一の方向における相関演算）と、横目の相関演算（第二の方向における相関演算）を行う。これらの結果はＡＦ検出系に出力され、焦点状態の検出に用いられる。また、後述のように、縦目相関演算部１１４における相関演算結果は、フリッカの補正残り（残りフリッカ）を算出するために用いられる。
【００２５】
次に、図２及び図３を参照して、撮像素子における画素配置と縦に瞳分割を行う際の像について説明する。図２は、撮像素子１０１における画素及びマイクロレンズの配置図である。図２の画素配置は、焦点検出と撮像の両方に利用される信号を出力する画素を備えた撮像素子の一例を示している。図２において、２０１ａは、４つの画素２０２の前方に配置されるマイクロレンズである。同様に、２０１ｂ〜２０１ｄは、それぞれ、４つの画素２０３、２０４、２０５の前方に配置されるマイクロレンズである。マイクロレンズ２０１ａ〜２０１ｄは、明るい交換レンズの射出瞳（例えばＦ１．０）を通過する光束を全て受光するような形状に設計されている。４つの画素２０２を図２に示されるようにＡ、Ｂ、Ｃ、Ｄと割り当てて縦に瞳分割を行うと、上部の像と下部の像とに分けることができる。本実施例では、瞳分割された上部の像をＡ＋Ｂ像とし、瞳分割された下部の像をＣ＋Ｄ像とする。４つの画素２０３、２０４、２０５のそれぞれについても、４つの画素２０４と同様に、瞳分割により上部の像と下部の像に分けられる。画素２０２にはＲ（赤）、４つの画素２０３、２０４にはＧ（緑）、画素２０５にはＢ（青）の色フィルタが、それぞれ配置されている。
【００２６】
図３は、縦に瞳分割を行った場合に得られる像の説明図であり、図３（ａ）はＡ＋Ｂ像３０１、図３（ｂ）はＣ＋Ｄ像３０２を示す。ピントが合っている位置３０３においては、像ずれは発生しない。一方、ピントが合っていない位置３０４においては、縦に瞳分割を行ったため、縦方向に像ずれが発生している。ここで３０５は、ピントが合っていない位置３０４の一部の画素であり、仮にフリッカ等の現象が発生していないとすると、Ａ＋Ｂ像３０１中の画素３０５とＣ＋Ｄ像３０２中の画素３０５のレベルは一致する。具体的には、２つの像を重ね合わせてレベル差の絶対値の和を求める処理を、２つの像の重ね合わせ位置をずらしながら行い、レベル差の絶対値が最小になる位置を求める。その際に得られた着目画素（画素３０５）のレベルの差分値をフリッカ補正残りと判定する。
【００２７】
図６は、フリッカ成分と補正ゲイン値の関係図である。図６において、横軸はライン数、縦軸はフリッカ成分の強度又は補正ゲイン値のレベルを表している。６０１は、図１中のフリッカ回路１０４を用いたフリッカ補正が行われる前、すなわち撮像データそのものに含まれるフリッカ成分である。６０２は、フリッカ回路１０４（第一のフリッカ補正値生成部１０９）により算出された補正ゲイン値（第一の補正ゲイン値）である。フリッカ回路１０４は、補正ゲイン値６０２を用いてフリッカ成分６０１を除去する。具体的には、図１中の乗算器１０５によりフリッカ成分６０１に補正ゲイン値６０２を乗算して、撮像データに含まれているフリッカの補正が行われる。ただし実際には、被写体の動き等により正確なフリッカ検出を行うことは困難であり、フリッカ補正残り（残フリッカ成分）がある。図６中の６０３は、その残フリッカ成分である。また、６０４は、後述の第二のフリッカ補正値生成部１１０により算出された補正ゲイン値（第二の補正ゲイン値）である。図１中の乗算器１１１で残フリッカ成分６０３に補正ゲイン値６０４を乗算することで、フリッカ補正の精度を向上させることができる。
【００２８】
以下、図１に示される残りフリッカ検出部１１５及び第二のフリッカ補正値生成部１１０の動作について説明する。残りフリッカ検出部１１５は、縦目の相関演算の結果に基づいて残りフリッカを検出するフリッカ検出部である。第二のフリッカ補正値生成部１１０は、残りフリッカと第一の補正ゲイン値（フリッカ補正値）に基づいて、撮像信号に対して第二のフリッカ補正を行うための第二のフリッカ補正値を生成するフリッカ補正値生成部である。
【００２９】
図３の画素３０５を着目画素とし、図３（ａ）のＡ＋Ｂ像３０１における画素３０５の画素値が９９０、図３（ｂ）のＣ＋Ｄ像３０２における画素３０５の画素値が１０００であると仮定する。このとき、２つの画素値の差の絶対値は１０となる。また、Ａ＋Ｂ像３０１の着目画素（画素３０５）に基準を合わせて乗算器１０５による第一のフリッカ補正で乗算して得られた補正ゲイン値がＡ＋Ｂ像３０１の着目画素（画素３０５）において５００であると仮定する。このとき、第一の補正ゲイン値の中心値（基準値）が５１２であるとする。Ａ＋Ｂ像３０１の着目画素（画素３０５）に基準を合わせるため、乗算器１１１によるＣ＋Ｄ像３０２の第二のフリッカ補正後における理想の画素値は９９０となる。
【００３０】
残りフリッカ検出部１１５による残フリッカ補正検出において、Ｃ＋Ｄ像３０２の着目画素（画素３０５）での追加補正ゲイン値算出式は、以下の式（３）のように表される。
【００３１】
１０００×α／５１２  ＝  ９９０  … （３）
ここで、αはＣ＋Ｄ像３０２の着目画素（画素３０５）における追加補正ゲイン値であり、以下の式（４）のように求められる。
【００３２】
α  ＝  （９９０×５１２）／１０００  ≒  ５０７
このように、Ｃ＋Ｄ像３０２の着目画素（画素３０５）における追加補正ゲイン値は５０７となる。第二のフリッカ補正値生成部１１０は、この追加補正ゲイン値と第一のフリッカ補正で乗算した第一の補正ゲイン値を用いて、第二の補正ゲイン値を算出する。
【００３３】
第二のフリッカ補正値生成部１１０における第二の補正ゲイン値の算出式は、以下の式（５）のように表される。
【００３４】
（５１２−５００）／５１２：（５１２−５０７）／５１２  ＝  （５１２−β）／５１２：（５１２−γ）／５１２  …  （５）
ここで、βはＡ＋Ｂ像３０１に乗算した第一の補正ゲイン値であり、γはＣ＋Ｄ像３０２に乗算するべき追加補正ゲイン値である。上記式を簡略化すると、以下の式（６）のように表すことができる。
【００３５】
１２：５  ＝  （５１２−β）：（５１２−γ）  …  （６）
第二のフリッカ補正値生成部１１０は、上記式より、Ｃ＋Ｄ像３０２の各ラインに乗算するべき追加補正ゲイン値γを算出する。乗算器１１１は、算出された追加補正ゲイン値（第二の補正ゲイン値）を用いて追加のフリッカ補正（第二のフリッカ補正）を行う。このように、乗算器１１１（第二のフリッカ補正部）は、第二のフリッカ補正値に基づいて撮像信号に対して第二のフリッカ補正を行うフリッカ補正部である。そして、乗算器１１１の出力（現像系データ）は画素加算部１１６に入力される。画素加算部１１６は、現像系データの画素加算を行ってベイヤ配列にし、ベイヤ配列化したデータを現像系へ出力する。
【００３６】
次に、本実施例の撮像装置によるフリッカ補正方法（フリッカ補正、デフォーカス量算出、及び、追加フリッカ補正に至るまでの手順）について説明する。図５は、フリッカ補正方法のフローチャートである。図５の各ステップは、例えば、撮像装置に格納されたプログラムに基づいた制御部の指示により実行される。
【００３７】
まず、ステップＳ５０１において、撮像素子１０１から得られた信号（撮像電気信号）に対してＡ／Ｄ変換部１０３にてＡ／Ｄ変換を行い、この撮像電気信号をデジタル画像信号に変換する。続いてステップＳ５０２において、フリッカ検出部１０８でフリッカ検出を行い、またステップＳ５０３において、第一のフリッカ補正値生成部１０９で第一の補正ゲイン値を算出する。そしてステップＳ５０４において、乗算器１０５でＡ／Ｄ変換部１０３の出力である撮像データに対して、第一の補正ゲイン値を用いてフリッカ補正を行う。
【００３８】
次に、ステップＳ５０５において、フリッカ補正が行われた撮像データに対して、相関演算部（横目相関演算部１１３、縦目相関演算部１１４）により相関演算が行われる。具体的には、瞳分割して得られた２つの像を重ね合わせてレベル差の絶対値の和を求める処理を、重ね合わせ位置をずらしながら行い、そのレベル差の絶対値が最小になる位置を求める。このような処理を横目と縦目の両方に対して行う。
【００３９】
そしてステップＳ５０６において、ステップＳ５０５で算出した相関演算結果を利用してレベル差の絶対値が小さくなる位置の前後の値から、パラボラフィッティング手法を用いたサブピクセルマッチングを行う。このような処理により、像ずれ量の精度を向上させることができる。続いてステップＳ５０８において、像ずれ量に基線長で決まる所定の係数を乗算することより、デフォーカス量を求める。
【００４０】
一方、ステップＳ５０８において、残りフリッカ検出部１１５で着目画素に対する残りフリッカ検出を行う。残りフリッカ検出は、垂直方向に輝度ムラができる蛍光灯フリッカの特性から、ステップＳ５０５で算出した縦目の相関演算の結果に基づいて行われる。続いてステップＳ５０９において、第二のフリッカ補正値生成部１１０は、ステップＳ５０８で検出した残りフリッカとステップＳ５０３で算出した第一の補正ゲイン値を用いて、残りフリッカを補正するための第二の補正ゲイン値を算出する。そしてステップＳ５１０において、ステップＳ５０９で算出した第二の補正ゲイン値を用い、フリッカ補正が行われた撮像データ（乗算器１０５の出力）に対して、乗算器１１１で残りフリッカ補正を行う。
【００４１】
このように、本実施例の撮像装置は、焦点検出用画素と撮像用画素と兼用した撮像素子を備え、フリッカ補正後に縦目相関演算を行う。そして、瞳分割して得られた２つの像の着目画素を比較することによりフリッカの補正残り又は過補正を検出し、追加のフリッカ補正を行う。したがって、本実施例によれば、高精度なフリッカ補正が可能な撮像装置を提供することができる。
【００４２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４３】
１００  撮像装置
１０１  撮像素子
１０５  乗算器
１０７  評価値生成部
１０８  フリッカ検出部
１０９  第一のフリッカ補正値生成部
１１４  縦目相関演算部
【図１】
0005656613.tif 000002
【図２】
0005656613.tif 000003
【図３】
0005656613.tif 000004
【図４】
0005656613.tif 000005
【図５】
0005656613.tif 000006
【図６】
0005656613.tif 000007
【図７】
0005656613.tif 000008
【図８】
0005656613.tif 000009