(57)【特許請求の範囲】
【請求項１】
光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する複数の光電変換部が複数の方向に配列された分割画素を複数有し、前記分割画素毎に、第１の瞳分割方向または該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、
前記撮像素子から読み出した電荷から得られた画素毎の画像信号を複数の分割領域に分割する分割手段と、
前記画素毎の画像信号を用いて、前記分割領域毎に統計処理を行って、前記第１の瞳分割方向の勾配と、前記第２の瞳分割方向の勾配のいずれが大きいかを判定する判定手段と、
前記判定手段により前記分割領域毎に判定された勾配の方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定手段と、
前記分割領域毎に、前記決定手段により決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分けて、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、
前記読み出し制御手段による制御により前記各分割画素から出力された、前記第１の瞳分割方向または前記第２の瞳分割方向に分割された対の画像信号の位相差に基づいて、前記分割領域毎に焦点状態を検出し、該検出した焦点状態に基づいて焦点調節を行う焦点調節手段と
を有することを特徴とする撮像装置。
【請求項２】
前記判定手段は、前記勾配の方向として、前記第１の瞳分割方向に垂直な第１の方向と、前記第２の瞳分割方向に垂直な第２の方向のいずれかを判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記決定手段は、前記勾配の方向が前記第１の方向である場合に、前記第１の瞳分割方向を決定し、前記勾配の方向が前記第２の方向である場合に、前記第２の瞳分割方向を決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記決定手段は、前記勾配の方向が垂直より水平に近い場合に、前記第１の瞳分割方向を決定し、前記勾配の方向が水平より垂直に近い場合に、前記第２の瞳分割方向を決定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子を構成する全画素を、前記分割画素で構成したことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像素子は、１つの光電変換部をそれぞれ含む複数の画素と、離散的に配置された複数の前記分割画素とから構成されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記対の画像信号を、前記分割画素毎に加算する加算手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する複数の光電変換部が複数の方向に配列された分割画素を複数有し、前記分割画素毎に、第１の瞳分割方向または該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子を有する撮像装置の制御方法であって、
分割手段が、前記撮像素子から読み出した電荷から得られた画素毎の画像信号を複数の分割領域に分割する分割工程と、
判定手段が、前記画素毎の画像信号を用いて、前記分割領域毎に統計処理を行って、前記第１の瞳分割方向の勾配と、前記第２の瞳分割方向の勾配のいずれが大きいかを判定する判定工程と、
決定手段が、前記判定工程で前記分割領域毎に判定された勾配の方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定工程と、
読み出し制御手段が、前記分割領域毎に、前記決定工程で決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分けて、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御工程と、
焦点調節手段が、前記読み出し制御工程による制御により前記各分割画素から出力された、前記第１の瞳分割方向または前記第２の瞳分割方向に分割された対の画像信号の位相差に基づいて、前記分割領域毎に焦点状態を検出し、該検出した焦点状態に基づいて焦点調節を行う焦点調節工程と
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその制御方法に関し、少なくとも一部の画素から、光学系の異なる瞳領域を通過した光束に基づく一対の信号を読み出すことが可能な撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来より、焦点検出機能と画像信号取得を１枚の撮像素子を用いて実現する技術が知られており、その一例として、焦点検出用の情報取得用画素を、画像信号取得のための画像取得用画素として兼用できるものが提案されている（例えば、特許文献１参照）。この技術によれば、情報取得用画素を水平、垂直方向に４分割し、画像取得時には４分割された領域の信号をすべて加算することで画像信号を得る。また、焦点調節時には、４分割された領域の内、水平または垂直方向の２領域の信号を加算することで、画素内を瞳分割し、位相差方式の焦点調節用信号として用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２５１３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された構成では、焦点調節時に、４分割された領域の内、縦または横に２分割された領域を加算処理して読み出す。そのため、例えば、横に２分割した場合、合焦対象となる主被写体が水平線や浅い角度の斜め線の時に、位相差が出にくく、主被写体に対して、最適な位相差方式の焦点調節が行えないことがある。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、光学系の射出瞳の異なる領域を通った光束をそれぞれ受光する複数の光電変換部が複数の方向に配列された分割画素を複数有し、前記分割画素毎に、第１の瞳分割方向または該第１の瞳分割方向に垂直な第２の瞳分割方向に前記光電変換部を分けて、生成された電荷を加算読み出し可能な撮像素子と、前記撮像素子から読み出した電荷から得られた画素毎の画像信号を複数の分割領域に分割する分割手段と、前記画素毎の画像信号を用いて、前記分割領域毎に統計処理を行って、前記第１の瞳分割方向の勾配と、前記第２の瞳分割方向の勾配のいずれが大きいかを判定する判定手段と、前記判定手段により前記分割領域毎に判定された勾配の方向に基づいて、前記分割領域毎に、前記第１の瞳分割方向と前記第２の瞳分割方向の何れかを決定する決定手段と、前記分割領域毎に、前記決定手段により決定された前記第１の瞳分割方向または前記第２の瞳分割方向に分けて、前記各分割画素の加算読み出しを行い、対の画像信号を出力するように前記撮像素子を制御する読み出し制御手段と、前記読み出し制御手段による制御により前記各分割画素から出力された、前記第１の瞳分割方向または前記第２の瞳分割方向に分割された対の画像信号の位相差に基づいて、前記分割領域毎に焦点状態を検出し、該検出した焦点状態に基づいて焦点調節を行う焦点調節手段とを有する。
【発明の効果】
【０００７】
本発明によれば、それぞれが複数の光電変換部を含み、瞳分割方向を切り替え可能な、複数の画素を有する撮像素子を用いた撮像装置において、少ないシステム負荷で、焦点調節の精度を上げることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図。
【図２】撮像素子の構成の一例を示す図。
【図３】分割画素の構成の一例を示す図。
【図４】分割画素のフォトダイオードの加算手順を説明するための駆動タイミングチャート。
【図５】位相差の原理を説明する図。
【図６】位相差方式の焦点調節処理の原理を説明する図。
【図７】分割領域を示す図。
【図８】画像解析部の構成の一例を示すブロック図。
【図９】着目分割領域の画像解析処理のフローチャート。
【図１０】分割領域統計部による統計情報に基づく着目分割領域のエッジ方向の判定例を示す図。
【図１１】エッジ方向判定部による着目分割領域のエッジ方向の判定方法を説明する図。
【図１２】１フレーム分のエッジ方向の判定結果の一例を示す図。
【図１３】撮像素子の駆動タイミングチャート。
【図１４】焦点調節手順を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１０】
図１は、本発明の実施の形態における撮像装置の概略構成を示すブロック図である。図１において、１０１は、ズームレンズ、絞り、フォーカスレンズのうち少なくとも１つ以上から構成される光学系である。１０２は、後述するＡＦ制御部１１０から出力されるフォーカス情報や、後述するシステム制御部１１１の光学系駆動情報に応じて光学系１０１を制御する光学系駆動部である。１０３は、被写体像を光電変換により電気信号に変換して、画像信号として出力する撮像素子である。本実施の形態においては、後述するように、各画素は、光学系１０１の射出瞳の異なる領域を通過した光束をそれぞれ受光する、複数のフォトダイオード（光電変換部）を有し、後述するように瞳分割された画像信号を出力する。なお、撮像素子１０３の構成は、図２及び図３を参照して詳細に後述する。１０４は、後述する指示情報生成部１０８から出力される画素毎の瞳分割指示情報や、システム制御部１１１からの撮像素子駆動情報に応じて、撮像素子１０３を制御する撮像素子駆動部である。なお、撮像素子駆動部１０４は、撮像素子１０３のいわゆる電子シャッタ機能により、必要な露光時間となるように制御信号により制御することができる。
【００１１】
１０５は加算信号処理部で、撮像素子１０３から出力される瞳分割された画像信号を画素毎に加算し、表示／記録用の加算画像信号を生成する。１０６はカメラ信号処理部で、加算信号処理部１０５から得られた加算画像信号に対して、例えば、色変換、ホワイトバランス、ガンマ補正等の既知の画像処理や、解像度変換処理、画像圧縮処理等の画像処理を行い、表示／記録用の映像信号を生成する。１０７は画像解析部で、加算信号処理部１０５から得られた加算画像信号から指示情報生成部１０８に渡す被写体情報を生成する。指示情報生成部１０８は、画像解析部１０７で得られた被写体情報に基づいて、撮像素子１０３に対する、画素毎の瞳分割方向を示す瞳分割指示情報を生成する。
【００１２】
１０９は位相差算出部で、撮像素子１０３から出力される瞳分割された画像信号から位相差方式の焦点調節を行うための位相差評価値を算出する。１１０はＡＦ制御部で、位相差算出部１０９で算出された位相差評価値を基に、光学系１０１のフォーカスレンズ位置を制御するためのフォーカス情報を算出する。
【００１３】
１１１は撮像装置全体を制御するシステム制御部である。システム制御部１１１は、ユーザ指示や撮影シーン検出、被写体検出などから得られる撮影情報に基づいて、光学系駆動部１０２へはズームや絞りなどの光学系１０１の駆動情報を、撮像素子駆動部１０４へは露光時間などの撮像素子１０３の駆動情報を渡す。
【００１４】
図２は、図１に示す撮像素子１０３の回路構成の一例を示す図である。撮像素子１０３の各画素は、水平２つ、垂直２つの計４つのフォトダイオードが、１つのマイクロレンズを共有する構成を有する。以下、この４つのフォトダイオードからなる画素を、分割画素と呼ぶ。図２は説明の簡略化のため、左上端４つの分割画素の構造のみを示しているが、実際には、多数の分割画素が２次元に配置されている。
【００１５】
図２において、瞳分割方向指示入力１０４−１、水平同期信号（ＨＤ）入力１０４−２、垂直同期信号（ＶＤ）入力１０４−３、指示情報更新信号入力１０４−４は、撮像素子駆動部１０４から出力される。２０４はタイミング信号発生回路（ＴＧ）、２０５は第１のバッファ、２０７は第２のバッファ、２０９は画素読み出し共通制御信号バス、２１０は画素読み出し制御修正回路である。
【００１６】
２１１は画素読み出し制御信号バスである。また、２１２はマイクロレンズを共有する４つのフォトダイオードから成る分割画素を示し、２１２−１は第１のフォトダイオード、２１２−２は第２のフォトダイオード、２１２−３は第３のフォトダイオード、２１２−４は第４のフォトダイオードである。そして、画素読み出し制御信号バス２１１は、各分割画素２１２の第１〜第４のフォトダイオード２１２−１〜４の読み出しを制御する第１〜第４の読み出し制御信号２１１−１、２１１−２、２１１−３、２１１−４で構成される４つの制御信号を供給する。
【００１７】
また、２１３は分割画素２１２における行読み出し制御信号線、２１４はリセット信号線である。２１５は列読み出し信号線、２１６は水平駆動制御信号線、２１７は水平読み出し回路、１０３−１は第１の出力端子、１０３−２は第２の出力端子である。
【００１８】
図３は、図２の分割画素２１２の回路構成例を示すものである。図３において、３０５は第１の画素読み出しトランジスタ、３０６は第２の画素読み出しトランジスタ、３０７は第３の画素読み出しトランジスタ、３０８は第４の画素読み出しトランジスタである。また、３０９はフローティングディフュージョン部、３１０は画素リセットトランジスタ、３１１は行読み出しトランジスタ、３１２は画素ソースフォロワ、３１３は電源線である。
【００１９】
ここで、上記構成を有する分割画素２１２の加算読み出し手順について、図４を参照して説明する。図４（ａ）に示すタイミングチャートは、水平方向に瞳分割する場合の分割画素２１２の駆動制御を説明する図である。
【００２０】
まず、期間t31及び期間t32において、第１の画素読み出し制御信号２１１−１と第２の画素読み出し制御信号２１１−２を順にHighとする。これにより、第１の画素読み出しトランジスタ３０５と第２の画素読み出しトランジスタ３０６が順に導通する。その結果、第１のフォトダイオード２１２−１と第２のフォトダイオード２１２−２に蓄積された電荷が順次フローティングディフュージョン部３０９に溜められて、電荷の加算が行われる。
【００２１】
次に、期間t33において、行読み出し制御信号線２１３をHighとする。これにより、行読み出しトランジスタ３１１が導通し、画素ソースフォロワ３１２でフローティングディフュージョン部３０９に溜められた加算電荷が電圧変換され、列読み出し信号線２１５を介して出力される。
【００２２】
次に、期間t34において、画素リセット制御信号２１４をHighとする。これにより、画素リセットトランジスタ３１０が導通し、フローティングディフュージョン部３０９の電荷が０にリセットされる。
【００２３】
そして、期間t35及び期間t36において、第３の画素読み出し制御信号２１１−３と第４の画素読み出し制御信号２１１−４を順にHighとする。これにより、第３の画素読み出しトランジスタ３０７と第４の画素読み出しトランジスタ３０８が順に導通する。その結果、第３のフォトダイオード２１２−３と第４のフォトダイオード２１２−４に蓄積された電荷が順次フローティングディフュージョン部３０９に溜められて、電荷の加算が行われる。
【００２４】
次に、期間t37において、期間t33と同様に、行読み出し制御信号線２１３をHighとすることで、フローティングディフュージョン部３０９に溜められた加算電荷が電圧変換され、列読み出し信号線２１５を介して出力される。
【００２５】
最後に、期間t38において、画素リセット制御信号２１４及び、全ての画素読み出し制御信号をHighとする。これにより、画素リセットトランジスタ３１０及び、全ての画素読み出しトランジスタが導通し、全てのフォトダイオード及びフローティングディフュージョン部３０９の蓄積電荷はすべて０にリセットされ、次の読み出し駆動に対して、改めて光電荷の蓄積を行う。
【００２６】
以上のようにして加算読み出しを行うことで、水平方向に瞳分割された左右画像の画像信号が読みだされる。
【００２７】
図４（ｂ）は、垂直方向に瞳分割する場合の、分割画素２１２の駆動制御のタイミングチャートである。
【００２８】
なお、図４（ｂ）の動作は、期間t31、t32、t35、t36における、第１〜第４の画素読み出し制御信号２１１−１〜４をHighとする組み合わせが、図４（ａ）のタイミングチャートと異なるだけである。そのため、図４（ｂ）の詳細説明は省略する。図４（ａ）に示す動作との差異としては、図４（ｂ）では、期間t31及び期間t32において、第１の画素読み出し制御信号２１１−１と第３の画素読み出し制御信号２１１−３を順次Highとなるようにする。そして、期間t35及び期間t36において、第２の画素読み出し制御信号２１１−２と第４の画素読み出し制御信号２１１−４が順次Highになるようにした点にある。
【００２９】
以上のようにして加算読み出しを行うことで、垂直方向に瞳分割された上下画像の画像信号が読みだされる。
【００３０】
なお、電圧変換された加算電荷は、水平読み出し回路２１７に入力される。本実施の形態の水平読み出し回路２１７は、先に読み出された画素信号と、後に読み出された画素信号を同時に読み出すように駆動することができる。従って、第１の出力端子１０３−１からは、左信号、もしくは上信号が出力され、第２の出力端子１０３−２からは、右信号、もしくは下信号が順次出力される。
【００３１】
ここで、画像信号に基づく位相差評価値の算出方法について説明する。図５は、図２のS−S’間の断面を模式的に示したものである。６０１は、像側から見た撮像レンズの射出瞳を示したものである。合焦時の撮像レンズの結像面６０６から射出瞳６０１までの距離を射出瞳位置と呼び、図示していないレンズの絞りよりも後方（結像面側）にあるレンズ群の曲率や絞りとの位置関係などによりその位置は変化する。また、当然ながら絞りの径によって大きさは変化する。６０４、６０５はそれぞれマイクロレンズ６０７によって射出瞳位置に投影された第１及び第２のフォトダイオード２１２−１、２１２−２、及び、第３及び第４のフォトダイオード２１２−３、２１２−４の射出瞳である。第１及び第２のフォトダイオード２１２−１、２１２−２へは、射出瞳６０５を通る光束６０３が入るように設計され、第３及び第４のフォトダイオード２１２−３、２１２−４へは、射出瞳６０４を通る光束６０２が入るように設計される。また、撮像素子１０３を構成する他の分割画素についても同様に設計されており、各分割画素の第１及び第２のフォトダイオード２１２−１、２１２−２からは、撮像レンズの射出瞳６０１のうち右側の６０５の領域で見た像が得られる。同様に、各分割画素の第３及び第４のフォトダイオード２１２−３、２１２−４からは、撮像レンズの射出瞳６０１のうち左側の６０４の領域で見た像が得られる。光束６０２によって撮像素子１０３上で得られる像をＡ像、光束６０３によって撮像素子１０３上で得られる像をＢ像とすると、合焦状態によっては画像信号上に視差を含んだ信号が得られる。
【００３２】
図６は、前ピン状態での画像信号の一例として、第３及び第４のフォトダイオード２１２−３、２１２−４で得られる像をＡ像７０２、第１及び第２のフォトダイオード２１２−１、２１２−２で得られる像をＢ像７０１として示している。位相差検出方式による被写体までの距離情報は、Ａ像７０２とＢ像７０１の相対関係と像間の距離７０３、及び、そのフォーカス位置における結像面から射出瞳までの距離から算出される。位相差算出部１０９は、被写体までの距離情報を、算出した位相差評価値として、ＡＦ制御部１１０へ渡す。
【００３３】
位相差算出部１０９からの位相差評価値に基づいて、ＡＦ制御部１１０は目標フォーカス位置を決定し、現在のフォーカス位置からの移動方向及び移動量をフォーカス情報として、光学系駆動部１０２に渡す。
【００３４】
なお、上記説明では、水平方向に瞳分割して読み出された画像信号（右画像と左画像）から位相差評価値を算出する場合を示したが、垂直方向に瞳分割して読み出された画像信号（上画像と下画像）においても同様に実施可能であるため、説明を割愛する。
【００３５】
次に、本実施の形態における瞳分割方向指示情報の生成方法について説明する。本実施の形態における撮像装置では、撮像素子１０３から出力された画像信号を複数の分割領域に分割し、分割した分割領域毎に、分割画素の瞳分割方向を決定する。
【００３６】
画像解析部１０７は、加算信号処理部１０５から出力される加算画像信号に対して画像解析を行い、指示情報生成部１０８に入力するための被写体情報を生成する。本実施の形態における被写体情報とは、図７に示すように、所定のサイズに分割された分割領域５０１毎の被写体の画像のエッジ方向の情報である。分割領域は、分割領域アドレス（i, j）で識別されるものとし、図７に示す例では、i = 0〜7、j = 0〜6の整数である。加算画像信号のアドレス（x, y）とは、下記の関係式（１）が成り立つ。なお、iとxは、水平方向のアドレスであり、jとyは垂直方向のアドレスである。
x = i × HSIZE + x'
y = j × VSIZE + y'      …（１）
【００３７】
ここで、x’とy’は、各分割領域内における加算画像信号の水平方向及び垂直方向のアドレスであり、HSIZE及びVSIZEは分割領域の水平方向及び垂直方向のサイズを示す。
【００３８】
図８は、画像解析部１０７の構成を示すブロック図である。図８において、４０１は、加算信号処理部１０５が生成した加算画像信号から水平方向の勾配値を算出する水平微分フィルタであり、４０３は、水平方向の勾配値を絶対値化する絶対値化部である。４０２は、加算画像信号から垂直方向の勾配値を算出する垂直微分フィルタであり、４０４は、垂直方向の勾配値を絶対値化する絶対値化部である。
【００３９】
４０５は、画素毎の水平方向の勾配値の絶対値と垂直方向の勾配値の絶対値の大小判定を行う大小判定部である。４０６は、分割領域毎に含まれる画素毎の大小判定結果の統計をとる分割領域統計部である。４０７は、分割領域の統計情報とその周囲の分割領域の統計情報に基づいて、分割領域のエッジ方向を判定するエッジ方向判定部である。４０８は、分割領域の統計情報を記憶する記憶部である。
【００４０】
図９は、画像解析部１０７による、着目分割領域（i, j）のエッジ方向決定処理を示すフローチャートである。
【００４１】
加算画像信号は分割領域単位で入力され、分割領域毎に統計処理を行うので、分割領域単位の処理設定を初期化する（Ｓ1１）。次に、加算画像信号は、水平方向の水平微分フィルタ４０１、及び垂直方向の垂直微分フィルタ４０２に入力され、加算画素信号毎に勾配値が算出される。この微分フィルタは、例えば、既知のSobelフィルタで構成することができる。加算画素信号毎に求められた水平方向、及び垂直方向の勾配値は、それぞれ絶対値化部４０３、４０４に入力され、絶対値化される（Ｓ１２）。
【００４２】
絶対値化された加算画素毎の水平方向及び垂直方向の勾配値は、大小判定部４０５で大小判定が行われ、水平方向の勾配値の絶対値が垂直方向の勾配値の絶対値より大きければ０、そうでなければ１を判定情報として出力する（Ｓ１３）。
【００４３】
大小判定部４０５から出力される判定情報は、分割領域統計部４０６に入力される。分割領域統計部４０６は、まず、判定情報が着目分割領域内の加算画像信号のものであるかを判定する（Ｓ１４でＹＥＳ）。分割領域統計部４０６には、判定情報と同時に加算画像信号のアドレスが入力されるので、加算画像信号アドレス（x, y）が、着目分割領域（i, j）内であれば、着目分割領域の判定情報とみなす。なお、着目領域内か否かの判定は、下記式（２）によって表現される。
i × HSIZE ≦ x ＜ (i + 1) × HSIZE
j × VSIZE ≦ y ＜ (i + 1) × VSIZE      …（２）
【００４４】
分割領域統計部４０６は、判定情報である０と１、各々の出現個数をカウントする、カウンタC0とカウンタC1で構成される。入力画素の判定情報が０であればカウンタC0を１増加し、判定情報が１であればカウンタC1を１増加する（Ｓ１５）。着目分割領域内の加算画素信号の判定情報が全て入力されると（Ｓ１４でＮＯ）、分割領域統計部４０６は、カウンタC0とカウンタC1の値を統計情報として出力する。統計情報は、カウンタC0＞カウンタC1であれば、着目分割領域の水平方向の勾配が大きい、つまりエッジ方向は垂直であることを示す。そうでなければ、着目分割領域の垂直方向の勾配が大きい、つまりエッジ方向は水平であることを示す。
【００４５】
図１０は、分割領域統計部４０６により求められた、着目分割領域５０２の統計情報から推定されるエッジ方向の一例を示す図である。図１０（ａ）は、着目分割領域５０２における統計情報を示しており、カウンタC0＞カウンタC1である。この場合、図１０（ｂ）に示すように、着目分割領域５０２のエッジ方向は垂直であることを示している。しかしながら、本実施の形態では、着目分割領域のエッジ方向を、着目分割領域の統計情報からだけではなく、着目分割領域の周囲の分割領域の統計情報も用いて決定する。
【００４６】
分割領域統計部４０６から出力される統計情報は、エッジ方向判定部４０７と記憶部４０８に入力される。記憶部４０８は例えばＳＲＡＭで構成され、分割領域毎の統計情報を全て保持する。そして、入力される着目分割領域アドレスより、その周囲８方向の分割領域それぞれの統計情報を、エッジ方向判定部４０７に出力する（Ｓ１６）。
【００４７】
エッジ方向判定部４０７は、着目分割領域（i, j）の統計情報と、記憶部４０８に予め記憶された周囲８方向の分割領域の統計情報とを用いて、最終的な着目分割領域（i, j）のエッジ方向判定を行う（Ｓ１７）。ここでは、着目分割領域（i, j）のカウンタC0の値C0（i, j）及び周囲の分割領域のカウンタC0の値を、以下の式（３）により重み付け合成し、その合成値C0’を着目分割領域（i, j）の最終的な水平方向の勾配情報とする。
【００４８】
0005856376.tif 000002
【００４９】
同様に着目分割領域（i, j）のカウンタC1の値C1（i, j）及び周囲の分割領域のカウンタC1の値を、以下の式（４）により重み付け合成し、その合成値C1’を着目分割領域（i, j）の最終的な垂直方向の勾配情報とする。
【００５０】
0005856376.tif 000003
【００５１】
そして、合成値C0’と合成値C1’の大小比較を行い、合成値C0’＞合成値C1’であれば、着目分割領域（i, j）のエッジ方向は垂直（第１の方向）であると判定し、被写体情報を０として出力する。合成値C0’＞合成値C1’でなければ、エッジ方向は水平（第２の方向）であると判定し、被写体情報を１として出力する（Ｓ１７）。
図１１は、着目分割領域５０２で求められた統計情報と、その周囲の分割領域５０３の統計情報から決定したエッジ方向の一例を示す図である。図１１（ａ）は、着目分割領域５０２、及びその周囲の着目分割領域群５０３の統計情報を示しており、式（３）及び式（４）に基づいて合成値を算出すると、合成値C1’＞合成値C0’である。そのため、図１１（ｂ）に示すように、合成値の関係から、エッジ方向判定部４０７は、着目分割領域５０２のエッジ方向は水平であると判定する。
【００５２】
そして、指示情報生成部１０８は、エッジ方向判定部４０７から出力された被写体情報が０、即ち、エッジ方向が垂直（第１の方向）の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を水平方向（第１の瞳分割方向）とする。そして、瞳分割方向指示情報として「０」を出力する。また、エッジ方向判定部４０７から出力された被写体情報が１、即ち、エッジ方向が水平（第２の方向）の場合、対応する分割領域に含まれる各分割画素の瞳分割方向を垂直方向（第２の瞳分割方向）とする。そして、瞳分割方向指示情報として「１」を出力する。何れの場合も、分割領域アドレスを加算画像信号アドレスに変換することで、各分割画素の瞳分割方向を指定することができる。
【００５３】
このようにして指示情報生成部１０８から出力された瞳分割方向指示情報は、撮像素子駆動部１０４へは、行毎に入力され、位相差算出部１０９へは、分割領域毎に入力される。位相差算出部１０９に渡す瞳分割方向指示情報は、現在読み出されている画像信号に対するものであるため、メモリなどの記憶部に分割領域毎の瞳分割指示情報を記憶させ、撮像素子１０３に設定される瞳分割方向指示情報とタイミングを合わせる必要がある。
【００５４】
なお、上述した例では、着目分割領域のエッジ方向を、着目分割領域とその周辺分割領域のエッジ方向とから判定したが、着目分割領域のエッジ方向からのみに基づいて決定しても良い。その場合、エッジ方向判定部４０７は分割領域統計部４０６から出力されるカウンタC0及びカウンタC1の大小関係に基づいて、エッジ方向が垂直（第１の方向）であるか、水平（第２の方向）であるかを決定すればよい。
【００５５】
図１２は、加算画像信号に対して、全分割領域にエッジ方向判定を行った結果の一例を示す図である。上述したようにして、分割領域毎に被写体の主要なエッジ方向を決定し、エッジ方向に適した瞳分割を行うことができるので、より精度の高い位相差評価値を得ることができ、ひいては、より精度の高い焦点調節処理を行うことができる。
【００５６】
次に、上述したようにして得られた瞳分割指示情報を撮像素子駆動部１０４に設定するタイミングについて図１３のタイミングチャートを参照して説明する。
【００５７】
図２に示す瞳分割方向指示入力１０４−１には、指示情報生成部１０８から出力された分割画素毎の瞳分割方向指示情報が０または１のディジタル信号として入力される。上述したように、０は水平方向の瞳分割を指定し、１は垂直方向の瞳分割を指定する。
【００５８】
ｎ行目の瞳分割方向指示情報は、水平駆動期間t2においてｎ−１行目の画像信号を読み出している間に、分割画素毎に入力され、第１のバッファ２０５にそれぞれ保持される。次に、瞳分割方向指示情報は、図１３のｎ行目の水平ブランキング期間t3の初期において、指示情報更新信号入力１０４−４からの更新指示によって、第２のバッファ２０７へ保持される。これにより、１行分の瞳分割方向指示情報が同時に参照可能となり、画素読み出し制御修正回路２１０に入力される。
【００５９】
水平同期信号入力１０４−２と垂直同期信号入力１０４−３から入力された水平同期信号ＨＤと垂直同期信号ＶＤは、タイミング信号発生回路２０４に入力される。そして、これらの信号を基にして、タイミング信号発生回路２０４により、画素読み出し共通制御信号バス２０９及び行読み出し制御信号線２１３への制御信号が生成される。
【００６０】
画素読み出し共通制御信号バス２０９の信号は、画素読み出し制御信号バス２１１の元となる制御信号である。図３で示したように、画素読み出し制御信号バス２１１は、各分割画素のフォトダイオードの読み出し制御信号２１１−１、２１１−２、２１１−３、２１１−４で構成される４つの制御信号を供給するバスである。これらは、画素読み出し制御修正回路２１０に入力され、１行分の瞳分割方向指示情報に従い、各修正回路２１０毎に、画素読み出し共通制御信号バス２０９の制御信号を修正する動作をする。本実施の形態では、瞳分割方向指示情報が０（水平方向）の場合は、画素読み出し共通制御信号バス２０９の信号をそのまま通過させ、図３（ａ）で説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。一方、瞳分割方向指示情報が１（垂直方向）の場合は、画素読み出し共通制御信号バス２０９の信号を修正し、図３（ｂ）で説明したような電荷の加算が行われるように分割画素からの読み出しを制御する。
【００６１】
そして、水平駆動期間t4において、瞳分割方向指示情報に応じて瞳分割されたｎ行目の信号を読み出す。また、この水平駆動期間t4に、次のｎ＋１行目の瞳分割指示情報を第１のバッファ２０５にそれぞれ保持しておく。以上の動作を繰り返すことにより、１垂直同期期間内の画像信号の読み出し処理が終了する。
【００６２】
以上説明したように、本実施の形態における撮像素子１０３において、第１の出力端子１０３−１からは、入力された瞳分割方向指示情報に応じて、左画像または上画像が出力され、第２の出力端子１０３−２からは右画像または下画像が出力される。
【００６３】
このようにして撮像素子１０３から得られた瞳分割された対の画像信号は、位相差算出部１０９へ入力される一方、加算信号処理部１０５へも入力され、カメラ信号処理部１０６や、画像解析部１０７に入力する加算画像信号が生成される。即ち、加算信号処理部１０５は、第１の出力端子１０３−１と第２の出力端子１０３−２から出力される、左画像信号と右画像信号、もしくは上画像信号と下画像信号を加算して、加算画像信号を生成する。
【００６４】
次に、本実施の形態のフォーカス情報生成処理について、図１４のフローチャートを参照して説明する。
【００６５】
まず、位相差算出部１０９より、指示情報生成部１０８から分割領域毎に入力された瞳分割方向指示情報に従って、図６で説明したようにして、分割領域毎に水平方向または垂直方向の位相差評価値を取得する（Ｓ２１）。次に、焦点調節の対象となる被写体の有無を判定する（Ｓ２２）。なお、焦点調節の対象となる被写体の有無の判定方法としては、例えば、顔検出などの既知の被写体検出処理などがある。被写体検出処理では、焦点調節の対象となる被写体の有無判定と、その位置及びサイズ情報を算出する。
【００６６】
焦点調節の対象となる被写体が存在する場合は（Ｓ２２でＹＥＳ）、その位置とサイズ情報とから、その被写体が存在する分割領域群をフォーカス情報取得に用いる分割領域として設定する（Ｓ２３）。一方、焦点調節の対象となる被写体が存在しなかった場合は、例えば、画面中央などの、予め設定された分割領域群をフォーカス情報取得に用いる分割領域として設定する（Ｓ２４）。
【００６７】
そして、ＡＦ制御部１１０は、Ｓ２３またはＳ２４で指定された分割領域群の位相差評価値の最大値を被写体までの距離情報とし、フォーカス情報を算出する。
【００６８】
上記の通り本実施の形態によれば、撮像素子１０３の各画素の複数のフォトダイオードそれぞれから独立に読み出す場合と比較して、読み出す信号数を半減することで、システム負荷を低減することができる。また、被写体のエッジ方向に合わせて、分割領域毎に瞳分割方向を変えて画像信号を出力することができるため、合焦対象の被写体に適した位相差評価値を得ることができ、位相差方式の焦点調節制御の精度を高めることができる。
【００６９】
なお、上述した実施の形態では、全ての画素が４つのフォトダイオードにより構成されているものとして説明したが、本発明はこれに限るものではなく、例えば、撮像素子１０３の画面内において、通常の画素の中に離散的に配置してもよい。
【００７０】
また、上述した実施の形態では、各分割領域のエッジ方向が水平であるか垂直であるかを判定してから、判定結果に基づいて瞳分割方向を決定する場合について説明した。しかしながら、本発明はこれに限るものではなく、カウンタC0とカウンタC1との値をもってエッジ方向とし、これらの値に基づいて、瞳分割方向を決定しても良い。
【００７１】
また、エッジ方向の判定方法は上述したものに限るものではなく、エッジ方向が判定できるのであれば、どのような方法を用いても構わない。そして、エッジ方向の傾斜の度合いに基づいて、効果的な位相差を得ることができる瞳分割方向を決定するようにすればよい。すなわち、エッジ方向がより水平に近ければ、瞳分割方向を垂直とし、エッジ方向がより垂直に近ければ、瞳分割方向を水平とすればよい。
【図１】
0005856376.tif 000004
【図２】
0005856376.tif 000005
【図３】
0005856376.tif 000006
【図４】
0005856376.tif 000007
【図５】
0005856376.tif 000008
【図６】
0005856376.tif 000009
【図７】
0005856376.tif 000010
【図８】
0005856376.tif 000011
【図９】
0005856376.tif 000012
【図１０】
0005856376.tif 000013
【図１１】
0005856376.tif 000014
【図１２】
0005856376.tif 000015
【図１３】
0005856376.tif 000016
【図１４】
0005856376.tif 000017