(57)【要約】【課題】  それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを実現する。【解決手段】  撮像装置は、１回の撮像動作で焦点検出用の信号と撮影画像用の信号とを同時に取得し、記録部１１２に記憶する。このとき、撮像装置は、撮像部１０１の画素２００の信号を読み出して記録部１１２へ転送する撮像レートよりも、撮影画像の画像処理にかかる処理レートを遅くする。また、撮像装置は、焦点検出領域内の焦点検出画素の信号のみを連続して読み出す。【選択図】  図２
2018133600.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが複数の光電変換部を有する複数の画素を備える撮像手段と、
前記撮像手段により撮像された画像に対応する第１の領域にある前記画素の信号を読み出す第１の読み出し手段と、
前記第１の読み出し手段により読み出された前記画素の信号を第１の記憶媒体に記憶する第１の記憶手段と、
前記第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号を読み出す第２の読み出し手段と、
前記第１の記憶手段により記憶された前記画素の信号の一部の信号であって、焦点を検出するために用いる信号を連続的に読み出す第３の読み出し手段と、を有し、
前記第１の読み出し手段による前記画素の信号の読み出し速度である第１の読み出し速度よりも、前記第２の読み出し手段による前記信号の読み出し速度である第２の読み出し速度の方が遅いことを特徴とする撮像装置。
【請求項２】
前記複数の光電変換部は、第１の光電変換部と第２の光電変換部とを有し、
前記画素の信号は、前記第１の光電変換部から出力された信号である第１の信号と、前記第１の光電変換部および前記第２の光電変換部から出力された信号が加算された信号または前記第２の光電変換部から出力された信号である第２の信号と、の少なくとも何れか一方を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の読み出し手段は、前記第１の信号および前記第２の信号を前記第１の読み出し速度で読み出すことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記第２の信号は、前記第１の光電変換部および前記第２の光電変換部から出力された信号が加算された信号であり、
前記第１の読み出し手段は、前記第１の領域よりも狭い領域であって、前記焦点を検出するために用いる信号を出力する前記画素を含む領域である第２の領域にある前記画素から、前記第１の信号および前記第２の信号を前記第１の読み出し速度で読み出し、前記第１の領域のうち、前記第２の領域と異なる領域にある前記画素から、前記第２の信号を前記第１の読み出し速度で読み出すことを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第２の信号は、前記第１の光電変換部および前記第２の光電変換部から出力された信号が加算された信号であり、
前記第２の読み出し手段は、前記撮像手段により撮像された画像を作成するために用いる信号として、前記第２の信号を、前記第２の読み出し速度で読み出すことを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
【請求項６】
前記第２の信号は、前記第１の光電変換部および前記第２の光電変換部から出力された信号が加算された信号であり、
前記第１の信号および前記第２の信号に基づいて、前記第２の光電変換部から出力された画素の信号を生成する生成手段を更に有することを特徴とする請求項２〜５の何れか１項に記載の撮像装置。
【請求項７】
前記第２の信号は、前記第２の光電変換部から出力された信号であり、
前記第２の読み出し手段は、前記撮像手段により撮像された画像を作成するために用いる信号として、前記第１の信号および前記第２の信号を、前記第２の読み出し速度で読み出すことを特徴とする請求項２または３に記載の撮像装置。
【請求項８】
前記第２の信号は、前記第２の光電変換部から出力された信号であり、
前記第２の読み出し手段により読み出された前記第１の信号および前記第２の信号を加算する加算手段を更に有することを特徴とする請求項２、３、および７の何れか１項に記載の撮像装置。
【請求項９】
前記第３の読み出し手段は、前記焦点を検出するために用いる信号として、前記第１の信号および前記第２の信号を連続的に読み出すことを特徴とする請求項２〜８の何れか１項に記載の撮像装置。
【請求項１０】
前記第１の信号および前記第２の信号が加算された信号を画像処理して、前記撮像手段により撮像された画像の信号を生成する画像処理手段を更に有することを特徴とする請求項２〜９の何れか１項に記載の撮像装置。
【請求項１１】
前記画像処理手段により生成された前記信号を、前記第１の読み出し速度よりも遅い第１の書き込み速度で第２の記憶媒体に記憶する第２の記憶手段と、
前記第２の記憶手段により記憶された前記信号を、前記第１の読み出し速度よりも遅い第３の読み出し速度で読み出す第４の読み出し手段と、を更に有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記第３の読み出し速度は、前記第２の読み出し速度および前記第１の書き込み速度よりも遅いことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記第２の読み出し速度および前記第１の書き込み速度は同じであることを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１４】
前記第２の読み出し速度は、前記第１の記憶手段により記憶された前記信号に基づく画像を、その出力先に出力する速度に応じた速度であることを特徴とする請求項１〜１０の何れか１項に記載の撮像装置。
【請求項１５】
前記第１の読み出し速度と、前記第１の記憶手段による前記画素の信号の第１の記憶媒体への書き込み速度である第２の書き込み速度は同じであることを特徴とする請求項１〜１４の何れか１項に記載の撮像装置。
【請求項１６】
前記焦点を検出するために用いる信号として、前記第１の光電変換部から出力された信号および前記第２の光電変換部から出力された信号の位相差を検出する検出手段を更に有することを特徴とする請求項１〜１５の何れか１項に記載の撮像装置。
【請求項１７】
前記撮像手段は、前記複数の画素を備える第１の基板と、
前記第１の記憶媒体を備える第２の基板と
前記第２の読み出し手段および前記第３の読み出し手段により読み出された前記信号を前記撮像手段の外部に出力する出力手段を備える第３の基板と、を有し、
前記第１の基板、前記第２の基板、および前記第３の基板は、この順番で積層され、且つ、相互に電気的に接続されることを特徴とする請求項１〜１６の何れか１項に記載の撮像装置。
【請求項１８】
前記第１の基板の面のうち、被写体光が入射する側の面に前記複数の画素が配置されることを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
それぞれが複数の光電変換部を有する複数の画素を備えた撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮像された画像に対応する第１の領域にある前記画素の信号を読み出す第１の読み出し工程と、
前記第１の読み出し工程により読み出された前記画素の信号を第１の記憶媒体に記憶する第１の記憶工程と、
前記第１の記憶工程により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号を読み出す第２の読み出し工程と、
前記第１の記憶工程により記憶された前記画素の信号の一部の信号であって、焦点を検出するために用いる信号を連続的に読み出す第３の読み出し工程と、を有し、
前記第１の読み出し工程による前記画素の信号の読み出し速度である第１の読み出し速度よりも、前記第２の読み出し工程による前記信号の読み出し速度である第２の読み出し速度の方が遅いことを特徴とする撮像装置の制御方法。
【請求項２０】
それぞれが複数の光電変換部を有する複数の画素を備えた撮像手段を有する撮像装置を制御することをコンピュータに実行させるためのプログラムであって、
前記撮像手段により撮像された画像に対応する第１の領域にある前記画素の信号を読み出す第１の読み出し工程と、
前記第１の読み出し工程により読み出された前記画素の信号を第１の記憶媒体に記憶する第１の記憶工程と、
前記第１の記憶工程により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号を読み出す第２の読み出し工程と、
前記第１の記憶工程により記憶された前記画素の信号の一部の信号であって、焦点を検出するために用いる信号を連続的に読み出す第３の読み出し工程と、をコンピュータに実行させ、
前記第１の読み出し工程による前記画素の信号の読み出し速度である第１の読み出し速度よりも、前記第２の読み出し工程による前記信号の読み出し速度である第２の読み出し速度の方が遅いことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法、およびプログラムに関し、特に、複数の光電変換部を含む画素を備える撮像手段を用いて画像を撮像するために用いて好適なものである。
【背景技術】
【０００２】
複数の光電変換部を有する画素であって、当該複数の光電変換部による画素内瞳分割機能を有する画素を複数有する撮像素子を備える撮像装置がある。このような撮像装置では、位相差検出方式の焦点検出が行われる。焦点検出方法に利用可能な信号を出力する撮像素子の一例として、１対の光電変換部を有する画素を、２次元に配列したマイクロレンズアレイのマイクロレンズ毎に設けたものがある。
【０００３】
このような撮像装置に関する技術として特許文献１に記載の技術がある。特許文献１に記載の技術では、撮像装置は、まず、マイクロレンズにより瞳分割された画素として、光電変換部Ａと光電変換部Ｂとを有する画素から、光電変換部Ａの出力信号であるＡ像と光電変換部Ａと光電変換部Ｂの加算信号であるＡ＋Ｂ像を読み出す。次に、撮像装置は、Ａ＋Ｂ像からＡ像を減算して（（Ａ＋Ｂ像）−（Ａ像）の計算を行って）、光電変換部Ｂの出力信号であるＢ像を求める。そして、撮像装置は、Ａ像とＢ像とを用いて位相差検出方式の焦点検出を実施すると共に、Ａ＋Ｂ像を用いて被写体画像を作成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０６１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、Ａ像とＡ＋Ｂ像とを読み出す必要があり、読み出しデータ量が２倍となる。このため、読み出し時間も２倍になるという課題がある。これにより、所望の動画性能としてのフレームレートが低下する虞や、行毎の画素の読み出し時間差によるローリング歪の悪化という問題が発生する虞があるという問題がある。
【０００６】
これに対して、所望のフレームレートを維持して、Ａ像とＡ＋Ｂ像とを読み出す場合には、データレート（単位時間あたりの転送データ量）が２倍となる。このため、Ａ像とＡ＋Ｂ像とを読み出す際のデータレートが、撮像素子が出力可能なデータレートを越える虞があるという問題がある。
【０００７】
また、撮像素子が出力可能なデータレートでＡ像とＡ＋Ｂ像とを読み出す場合においても、撮像装置が備える信号処理部が、Ａ＋Ｂ像を用いた被写体画像の作成を、撮像素子が出力可能なデータレートで実施する必要がある。このため、信号処理部の信号処理レート（単位時間あたりの処理量）の限界に達する虞や信号処理部の消費電力が高くなる虞があるという問題がある。
【０００８】
更に、撮像素子からＡ像とＡ＋Ｂ像とを読み出す場合、撮像装置が備える信号処理部は、Ａ＋Ｂ像を用いた被写体画像の作成中に、Ａ＋Ｂ像およびＡ像からＢ像を計算し、Ａ像およびＢ像を用いて位相差検出方式の焦点検出を実施する必要がある。このため、信号処理部の消費電力が大きくなる虞があるという問題がある。
このように従来の技術では、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、画素内瞳分割機能により位相差検出方式の焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減との実現が容易ではない。
【０００９】
本発明はこのような点に鑑みてなされたものであり、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを実現することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段と、前記撮像手段により撮像された画像に対応する第１の領域にある前記画素の信号を読み出す第１の読み出し手段と、前記第１の読み出し手段により読み出された前記画素の信号を第１の記憶媒体に記憶する第１の記憶手段と、前記第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号を読み出す第２の読み出し手段と、前記第１の記憶手段により記憶された前記画素の信号の一部の信号であって、焦点を検出するために用いる信号を連続的に読み出す第３の読み出し手段と、を有し、前記第１の読み出し手段による前記画素の信号の読み出し速度である第１の読み出し速度よりも、前記第２の読み出し手段による前記信号の読み出し速度である第２の読み出し速度の方が遅いことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、それぞれが複数の光電変換部を有する複数の画素を備える撮像手段を用いて、焦点検出と画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを実現することができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成を示す図である。
【図２】撮像素子の基板構成を示す図である。
【図３】撮像基板の構成を示す図である。
【図４】画素の回路構成を示す図である。
【図５】画素２００の概略構成を示す図である。
【図６】列信号処理部の回路構成を示す図である。
【図７】信号処理の第１の例を説明する図である。
【図８】撮像装置の動作タイミングの第１の例を示す図である。
【図９】信号処理の第２の例を説明する図である。
【図１０】撮像装置の動作タイミングの第２の例を示す図である。
【発明を実施するための形態】
【００１３】
以下に、図面を参照して実施形態について詳細に説明する。
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、本実施形態の撮像装置の構成の一例を示す図である。本実施形態の撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、工業用カメラ、車載用カメラ、または医療用カメラ等に適用することが可能である。
図１に示す撮像装置は、撮像光学系１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７、画像記録部１８および振動検出部１９を有する。
【００１４】
撮像光学系１１は、被写体像を結像させるためのレンズ、ズームや合焦あるいは防振を行うためのレンズ駆動機構、メカニカルシャッタ機構、および絞り機構等を有する。これらのうちの可動部は、同期制御部１５からの制御信号に基づいて駆動される。
撮像素子１２は、例えば、ＸＹアドレス方式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを備える。撮像素子１２は、同期制御部１５からの制御信号に応じて、露光、信号の読み出し、およびリセット等の撮像動作を実施する。撮像素子１２は、アナログデジタル変換回路（以下「ＡＤ変換回路」という）を有する。ＣＭＯＳセンサから読み出された信号は、アナログデジタル変換回路によりアナログデジタル変換（以下「ＡＤ変換」という）されてデジタル化される。デジタル化された画像信号は、信号処理部１３に出力される。撮像素子１２に設けられた画素は、位相差検出方式による焦点検出のための第１の焦点検出用の信号と、撮影画像を作成するための撮影画像用の信号とを出力する。本実施形態では、第１の焦点検出用の信号は、後述するＡ信号に対応し、撮影画像用の信号は、後述するＡ＋Ｂ信号に対応する。そして、撮像素子１２は、１つの画素から出力された第１の焦点検出用の信号と撮影画像用の信号とを用いて第２の焦点検出用の信号を求める。本実施形態では、第２の焦点検出用の信号は、後述するＡ＋Ｂ信号からＡ信号を減算した信号（Ｂ信号）に対応する。
【００１５】
信号処理部１３は、同期制御部１５の制御の下で、撮像素子１２から入力されるデジタル化された画像信号に対して、信号処理と、制御情報の検出とを実施する。信号処理には、例えば、ホワイトバランス調整、色補正、およびガンマ補正等が含まれる。制御情報には、例えば、ＡＦ（Auto Focus）やＡＥ（Auto Exposure）等の制御情報が含まれる。そして、信号処理部１３は、信号処理された画像信号や制御情報を同期制御部１５に出力する。
【００１６】
本実施形態では、信号処理部１３は、ＡＦ検出処理として、位相差検出方式による焦点検出処理を実施する。位相差検出方式による焦点検出方法として、例えば、画素内瞳分割機能を用いた以下の方法がある。信号処理部１３は、２つの光電変換素子を含む画素において、複数の画素の一方の光電変換素子の出力信号と他方の光電変換素子の出力信号との波形のずれ（位相差）を検出する。即ち、信号処理部１３は、複数の画素に関わる前述した２つの焦点検出用の信号に基づいて、画素内瞳分割された２つの光電変換素子に対する入射光の位相差を検出する。そして、信号処理部１３は、検出した位相差に基づいて被写体までの距離を求めて焦点検出を行い、被写体が合焦するように合焦レンズを駆動させる。また、信号処理部１３は、画素領域の画素から得られた撮影画像用の信号を用いて撮影画像を作成する。
【００１７】
圧縮伸張部１４は、同期制御部１５の制御の下で動作する。圧縮伸張部１４は、信号処理部１３で信号処理された画像信号を同期制御部１５から受け取って、圧縮符号化処理を実施したり、同期制御部１５から供給された静止画像の符号化データに対して伸張復号化処理を実施したりする。そして、圧縮伸張部１４は、圧縮符号化処理された符号化データや、伸張復号化処理された画像信号を同期制御部１５に出力する。また、圧縮伸張部１４は、動画像の圧縮符号化／伸張復号化処理を実行してもよい。
【００１８】
同期制御部１５は、例えば、マイクロコントローラを有する。マイクロコントローラは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）等を有する。同期制御部１５は、ＲＯＭ等に記憶されたプログラムを実行することにより、撮像装置の各部を統括的に制御する。また、各部の間の画像データの転送や制御データの転送も同期制御部１５を介して実行される。
【００１９】
操作部１６は、例えば、シャッタレリーズボタン等の各種操作キー、レバー、およびダイヤル等を有する。操作部１６は、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。
画像表示部１７は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を有する。画像表示部１７は、同期制御部１５から供給された画像信号を表示デバイスに表示させるための信号を生成し、生成した信号を表示デバイスに供給して画像を表示させる。
画像記録部１８には、例えば、可搬型の半導体メモリ等からなる記録媒体が接続される。画像記録部１８は、例えば、圧縮伸張部１４により圧縮符号化処理された符号化データのファイル（画像データファイル）を同期制御部１５から受け取って、記録媒体に記憶する。また、画像記録部１８は、同期制御部１５からの制御信号を基に指定されたデータを記録媒体から読み出し、同期制御部１５に出力する。
【００２０】
振動検出部１９は、例えば、ジャイロセンサや加速度センサを有する。振動検出部１９は、手ぶれ等による撮像装置に対する振動の方向や速さ（動きベクトル）を示す信号を検出して同期制御部１５に出力する。
同期制御部１５は、動きベクトルに基づいて撮像装置の移動量を計算して画像防振を実施する。画像防振の方法としては、光学的手ぶれ補正と電子的手ぶれ補正とがある。
光学的手ぶれ補正を行う場合、撮像光学系１１内に配置されたシフトレンズを用いる。光学的手ぶれ補正は、動きベクトルから計算した移動量を基に、撮像装置に対するぶれと反対の方向を撮影するように、撮像光学系１１内のシフトレンズを移動させることで、画像のぶれをキャンセルする方法である。
【００２１】
電子的手ぶれ補正を行う場合、撮影できる領域が記録画像の撮影領域より広く設定された撮像素子１２を用いる。電子的手ぶれ補正は、動きベクトルから計算した移動量を基に、撮像装置に対するぶれと反対の方向の撮影領域を切り出して記録画像とすることで、画像のぶれをキャンセルする方法である。
本実施形態では、どちらか一方の手ぶれ補正を用いてもよいし、あるいは、両方の手ぶれ補正を用いてもよい。また、同期制御部１５は、振動検出部１９によって検出された振動の方向や強さの代わりに、連続して撮影された画像の変化から動きベクトルを求めることもできる。
【００２２】
次に、本実施形態における撮像装置の基本的な動作の一例について説明する。
静止画像の撮像前には、撮像素子１２から出力された画像信号が信号処理部１３に順次供給される。
信号処理部１３は、撮像素子１２からの画像信号に対して信号処理を施し、信号処理を施した画像信号を、カメラスルー画像の信号として、同期制御部１５を通じて画像表示部１７に供給する。これにより、信号処理部１３から供給されたカメラスルー画像が画像表示部１７に表示される。ユーザは、画像表示部１７により表示された画像を見て画角合わせ等を行うことが可能となる。
【００２３】
この状態で操作部１６のシャッタレリーズボタンが押下されると、同期制御部１５の制御により、撮像素子１２からの１フレーム分の画像信号が、信号処理部１３に取り込まれる。信号処理部１３は、取り込まれた１フレーム分の画像信号に信号処理を施し、信号処理を施した画像信号を圧縮伸張部１４に供給する。
圧縮伸張部１４は、信号処理部１３から供給された画像信号を圧縮符号化して符号化データを生成し、生成した符号化データを、同期制御部１５を通じて画像記録部１８に供給する。これにより、撮像された静止画像のデータファイルが画像記録部１８に記録される。
【００２４】
画像記録部１８に記録された静止画像のデータファイルを再生する場合、同期制御部１５は、操作部１６からの操作入力に応じて選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は、同期制御部１５を介して画像表示部１７に供給される。これにより、静止画像が画像表示部１７により表示（再生）される。
また、動画像を記録する場合、圧縮伸張部１４は、信号処理部１３で順次信号処理された画像信号を圧縮符号化して符号化データを生成し、生成した動画像の符号化データを、同期制御部１５を通じて順次画像記録部１８に転送する。これにより、撮像された動画像のデータファイルが画像記録部１８に記録される。
画像記録部１８に記録された動画像のデータファイルを再生する場合、同期制御部１５は、操作部１６からの操作入力に応じて選択されたデータファイルを画像記録部１８から読み込み、圧縮伸張部１４に供給して伸張復号化処理を実行させる。復号化された画像信号は同期制御部１５を介して画像表示部１７に供給される。これにより、動画像が画像表示部１７により表示（再生）される。
【００２５】
図２は、本実施形態の撮像素子１２の基板構成の一例を示す図である。
図２（ａ）は、各基板の平面構成の一例を示し、図２（ｂ）は、各基板の積層構成の一例を示す。
撮像素子１２は、撮像基板１００と、メモリ基板１１０と、回路基板１２０とが、この順で積層された構造（積み重ねられた構造）を有する。撮像基板１００、メモリ基板１１０、および回路基板１２０は、相互に電気的に接続される。撮像基板１００には、画素を構成する回路要素（光電変換素子、トランジスタ、容量等）が配置される。メモリ基板１１０には、記憶部を構成する回路要素（メモリ等の記憶回路）が配置される。回路基板１２０には、信号前処理部を構成する回路要素（トランジスタ、容量等）が配置される。本実施形態では、例えば、撮像基板１００を用いることにより、複数の画素を備える第１の基板の一例が実現される。また、例えば、メモリ基板１１０を用いることにより、第１の記憶媒体を備える第２の基板の一例が実現される。また、例えば、回路基板１２０を用いることにより、第２の読み出し手段および第３の読み出し手段により読み出された信号を撮像手段の外部に出力する出力手段を備える第３の基板の一例が実現される。
【００２６】
図２（ａ）の平面構成において、撮像基板１００は、裏面照射型ＣＭＯＳセンサを有する。撮像基板１００の被写体光が入射される側の面には、光電変換素子を有する画素からなる撮像部１０１が配置される。撮像基板１００の被写体光が入射される側の面の反対のメモリ基板１１０側の面には、画素配線やＡＤ変換を実施する列信号処理部１０２が配置される。更に、撮像基板１００には、メモリ基板１１０のメモリ制御部１１１と電気的に接続するためのマイクロパッドが形成される。
【００２７】
メモリ基板１１０は、メモリ制御部１１１と記録部１１２とを有する。メモリ基板１１０の撮像基板１００側の面には、列信号処理部１０２と電気的に接続するためのマイクロパッドが形成される。メモリ基板１１０の回路基板１２０側の面には、バス制御部１２１と電気的に接続するためのマイクロパッドが形成される。本実施形態では、例えば、記録部１１２を用いることにより、第１の記憶媒体の一例が実現される。
回路基板１２０は、バス制御部１２１と、画像信号前処理部１２２と、画像信号出力部１２３と、ＡＦ信号前処理部１２４と、ＡＦ信号出力部１２５とを有する。回路基板１２０のメモリ基板１１０側の面には、メモリ制御部１１１と電気的に接続するためのマイクロパッドが形成される。ここで、画像信号前処理部１２２とＡＦ信号前処理部１２４とを合わせて信号前処理部１２６とする。本実施形態では、例えば、画像信号出力部１２３と、ＡＦ信号出力部１２５とを用いることにより、出力手段の一例が実現される。
【００２８】
撮像基板１００のマイクロパットと、当該マイクロパットに対応するメモリ基板１１０のマイクロパッドとの間をマイクロバンプによって接続することで、ＡＤ変換した画素の信号データをメモリ制御部１１１に転送することが可能となる。同様に、メモリ基板１１０のマイクロパットと、当該マイクロパットに対応する回路基板１２０のマイクロパッドとの間をマイクロバンプによって接続することで、メモリ制御部１１１からバス制御部１２１に対して信号データを転送することが可能となる。
【００２９】
図２（ａ）に示す例では、メモリ制御部１１１は、撮像基板１００から転送された画素の信号データを記録部１１２に転送して記録する動作と、記録部１１２から読み出した信号データをバス制御部１２１に転送する動作とを制御する。また、バス制御部１２１は、メモリ制御部１１１から転送された信号データを、画像信号前処理部１２２およびＡＦ信号前処理部１２４に振り分けて転送する動作を制御する。
【００３０】
メモリ基板１１０の撮像基板１００側の面に、メモリ制御部１１１と記録部１１２とを形成した場合、垂直貫通電極を用いて、メモリ基板１１０の回路基板１２０側の面にあるマイクロパッドとメモリ制御部１１１とを電気的に接続する。一方、メモリ基板１１０の回路基板１２０側の面に、メモリ制御部１１１と記録部１１２とを形成した場合、垂直貫通電極を用いて、メモリ基板１１０の撮像基板１００側の面にあるマイクロパッドとメモリ制御部１１１とを電気的に接続する。
【００３１】
同様に、回路基板１２０のメモリ基板１１０側の面に、バス制御部１２１、信号前処理部１２６、画像信号出力部１２３、およびＡＦ信号出力部１２５を形成した場合、回路基板１２０のメモリ基板１１０側と反対側の面に信号出力用のパッド電極を形成する。垂直貫通電極を用いて、画像信号出力部１２３およびＡＦ信号出力部１２５と、信号出力用のパッド電極とを電気的に接続することで、撮像素子１２の下面に信号出力端子を設けることができる。一方、回路基板１２０のメモリ基板１１０側の面と反対側の面に、バス制御部１２１、信号前処理部１２６、画像信号出力部１２３、およびＡＦ信号出力部１２５を形成した場合には、次のようにすればよい。即ち、垂直貫通電極を用いて、回路基板１２０のメモリ基板１１０側の面にあるマイクロパッドとバス制御部１２１とを電気的に接続すると共に、画像信号出力部１２３およびＡＦ信号出力部１２５に信号出力用のパッド電極を形成しておけばよい。
【００３２】
前述したように図２（ｂ）は、撮像素子１２の積層構造の一例を示す。図２（ｂ）に示す例では、撮像素子１２は、撮像基板１００とメモリ基板１１０と回路基板１２０とをこの順番に積層することにより構成される。撮像素子１２の上面（撮像基板１００が配置される側の面）から被写体光（Ｌｉｇｈｔ）が入射され、下面（回路基板１２０が配置される側の面）から信号が出力される。これにより、撮像素子１２の面積が削減できるので、撮像装置の実装密度をあげる効果が期待できる。また、マイクロバンプを設けずに、各基板間の相対するマイクロパッド同士を直接接続してもよい。これにより、撮像素子１２の厚みを削減できるので、撮像装置の実装密度をあげる効果が期待できる。
【００３３】
図３は、本実施形態の撮像基板１００の構成の一例を示す図である。
図３に示す撮像基板１００は、画素２００からなる画素領域２０１、垂直走査部２０２、列信号処理部２０３、水平走査部２０７、出力部２０９、およびタイミング部２１１を有する。
画素領域２０１は、ＣＭＯＳセンサを有する画素２００を用いて構成される。それぞれの画素２００は、Ｐ１１〜Ｐ４６で示すように、水平方向・垂直方向に２次元マトリクス状に配列される。図３では、１行目の画素を、Ｐ１１〜Ｐ１６と表し、４行目の画素を、Ｐ４１〜Ｐ４６と表す。図３では、画素領域２０１における画素配列が６×４配列（４行６列）である場合を例に挙げて説明する。しかしながら、画素領域２０１における画素配列は、この数に限定されるものではない。本実施形態では、例えば、画素領域２０１により、撮像手段により撮像された画像に対応する第１の領域の一例が実現される。
また、本実施形態では、複数の画素２００に対して、２×２配列の色フィルタが配置されているものとする。本実施形態では、２×２配列は、奇数行がＲ（赤）フィルタとＧ（緑）フィルタの繰り返しとなり、偶数行がＧ（緑）フィルタとＢ（青）フィルタの繰り返しとなる配列であるものとする。
【００３４】
垂直走査部２０２は、画素領域２０１の画素配列を１行ずつ選択し、選択した画素行のリセット動作や読み出し動作を制御する。画素制御線２２１は、画素行毎に共通に接続され、垂直走査部２０２による行単位の駆動制御信号を伝達する。垂直信号線２３１は、画素列毎に共通に接続され、画素制御線２２１により選択された行の画素信号が、それぞれ対応する垂直信号線２３１に読み出される。列信号処理部２０３は、それぞれ対応する垂直信号線２３１毎に設けられ、垂直信号線２３１を通して送られてくる行単位の画素の信号それぞれに対して、後述する信号処理を実施する。
【００３５】
水平走査部２０７は、列選択線２５１を介して列信号処理部２０３を列毎に選択し、選択した列信号処理部２０３に記憶されているデジタル化された画素信号を水平出力線２６１を介して出力部２０９に転送させる。出力部２０９は、デジタル化された行単位の画素信号を信号処理部１３へ出力する。タイミング部２１１は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。ここで、制御線２７１、２８１、２８５は、それぞれ垂直走査部２０２、列信号処理部２０３、水平走査部２０７に対して、タイミング部２１１からクロック信号や制御信号等を送る制御線である。
図３では、タイミング部２１１が撮像基板１００に配置される場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、タイミング部２１１は、メモリ基板１１０や回路基板１２０に配置されていてもよい。また、タイミング部２１１は、撮像基板１００、メモリ基板１１０、および回路基板１２０のそれぞれに配置されていてもよい。
【００３６】
図４は、本実施形態の撮像基板１００の画素２００の回路構成の一例を示す図である。
図４において破線で囲われた画素２００は、画素領域２０１を構成する画素２００の１つを代表して示す。また、画素２００は、画素制御線２２１および垂直信号線２３１により他の回路と電気的に接続される。
垂直信号線２３１は、負荷回路および列信号処理部２０３に接続されると共に、垂直１列の各画素に共通して接続され、画素の信号を出力する。
【００３７】
画素制御線２２１は、垂直走査部２０２に接続されると共に、水平１行の画素に共通して接続される。画素制御線２２１を用いて水平１行の画素を同時に制御することで、リセットや信号の読み出しが可能になる。リセット制御線ｐＲ、転送制御線ｐＴａ、ｐＴｂ、および垂直選択線ｐＳＥＬが画素制御線２２１に含まれる。
【００３８】
光電変換素子Ｄ１ａ、Ｄ１ｂは、光を電荷に変換し、当該電荷を蓄積するフォトダイオードである。本実施形態では、例えば、光電変換素子Ｄ１ａ、Ｄ１ｂにより複数の光電変換部の一例が実現される。また、例えば、光電変換素子Ｄ１ａにより第１の光電変換部の一例が実現され、光電変換素子Ｄ１ｂにより第２の光電変換部の一例が実現される。光電変換素子Ｄ１ａ、Ｄ１ｂは、そのＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂのソースに接続される。転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂは、そのゲートがそれぞれ転送制御線ｐＴａ、ｐＴｂに接続され、そのドレインがＦＤ容量Ｃｆｄに接続される。転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂは、それぞれ光電変換素子Ｄ１ａ、Ｄ１ｂからＦＤ容量Ｃｆｄへの電荷の転送を制御する。
【００３９】
ＦＤ（Floating Diffusion）容量Ｃｆｄは、その一端が接地され、光電変換素子Ｄ１ａ、Ｄ１ｂから転送された電荷を電圧に変換する際に電荷を蓄積する。ここで、転送トランジスタ（転送スイッチ）Ｔ１ａ、Ｔ１ｂのドレインとＦＤ容量Ｃｆｄの他端との接続点を、必要に応じてＦＤノード４０１と称する。
リセットトランジスタ（リセットスイッチ）Ｔ２は、そのゲートがリセット制御線ｐＲに接続され、そのドレインが電源電圧Ｖｄｄに接続され、そのソースがＦＤ容量Ｃｆｄに接続される。リセットトランジスタ（リセットスイッチ）Ｔ２は、ＦＤノード４０１の電位を電源電圧Ｖｄｄにリセットする。
【００４０】
駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタである。駆動トランジスタ（増幅部）Ｔｄｒｖは、そのゲートがＦＤ容量Ｃｆｄの他端（ＦＤノード４０１）に接続され、そのドレインが電源電圧Ｖｄｄに接続され、そのソースが選択トランジスタ（選択スイッチ）Ｔ３のドレインに接続される。駆動トランジスタ（増幅部）Ｔｄｒｖは、ＦＤ容量Ｃｆｄの電圧に応じた電圧を出力する。
選択トランジスタ（選択スイッチ）Ｔ３は、そのゲートが垂直選択線ｐＳＥＬに接続され、そのソースが垂直信号線２３１に接続される。選択トランジスタ（選択スイッチ）Ｔ３は、駆動トランジスタＴｄｒｖの出力を画素２００の出力信号として、垂直信号線２３１に出力する。
【００４１】
垂直信号線２３１毎に設けられている負荷回路の負荷トランジスタＴｌｏｄは、そのソースとゲートとが接地し、そのドレインが垂直信号線２３１に接続される。負荷トランジスタＴｌｏｄは、垂直信号線２３１で接続されている列の画素２００に配置される駆動トランジスタＴｄｒｖと共に画素内アンプとなるソースフォロア回路を構成する。通常、画素２００の信号を出力する時は、負荷トランジスタＴｌｏｄをゲート接地の定電流源として動作させる。
本実施形態の記載において、駆動トランジスタＴｄｒｖおよび負荷トランジスタＴｌｏｄ以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線がＨｉｇｈの時に導通し（オンし）、Ｌｏｗの時に遮断する（オフする）こととする。
【００４２】
ここで、第１の露光制御として、光電変換素子Ｄ１ａの露光制御の一例について説明する。
撮像素子１２には、被写体光が入射しているものとする。
まず、露光開始のタイミングで、リセットトランジスタＴ２をオンして、ＦＤ容量ＣｆｄのＦＤノード４０１側をリセットするのと同時に、転送トランジスタＴ１ａをオンして、光電変換素子Ｄ１ａの電荷をリセットする。そして、転送トランジスタＴ１ａ、リセットトランジスタＴ２の順番で転送トランジスタＴ１ａおよびリセットトランジスタＴ２を順次オフすることで、光電変換素子Ｄ１ａの露光が開始される。
【００４３】
次に、所定の露光時間の経過後に、リセットトランジスタＴ２をオンして、ＦＤ容量ＣｆｄのＦＤノード４０１側をリセットする。そして、リセットトランジスタＴ２をオフする。その後、転送トランジスタＴ１ａをオンして、露光によって光電変換素子Ｄ１ａで光電変換された信号電荷をＦＤノード４０１に転送する。そして、転送トランジスタＴ１ａをオフする。ここまでで、光電変換素子Ｄ１ａの露光が終了する。この時、ＦＤ容量ＣｆｄのＦＤノード４０１には、信号電荷に対応する信号電圧が発生する。
【００４４】
そして、選択トランジスタＴ３をオンすることで、駆動トランジスタＴｄｒｖと負荷トランジスタＴｌｏｄとからなるソースフォロア回路が構成される。これにより、ＦＤノード４０１の信号電圧に対応する信号が、光電変換素子Ｄ１ａの信号として、垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、列信号処理部２０３に入力され、後述する列信号処理が実施される。
【００４５】
次に、第２の露光制御として、光電変換素子Ｄ１ｂの露光制御の一例について説明する。
光電変換素子Ｄ１ａと同様に、光電変換素子Ｄ１ｂの露光も制御される。ただし、本実施形態では、転送トランジスタＴ１ａ、Ｔ１ｂが、それぞれ、異なる転送制御線ｐＴａ、ｐＴｂにより制御される。従って、露光開始のリセットのタイミングおよび露光終了の転送のタイミングを、光電変換素子Ｄ１ａ、Ｄ１ｂで別々に設定することが可能である。
【００４６】
そこで、光電変換素子Ｄ１ｂの露光を開始するタイミングは、光電変換素子Ｄ１ｂの信号電荷をＦＤ容量Ｃｆｄに転送するタイミングから逆算して、光電変換素子Ｄ１ａの露光時間と同一になるように設定される。また、本実施形態では、光電変換素子Ｄ１ａの信号の列信号処理（第１の露光制御）が実施された後、光電変換素子Ｄ１ｂの信号電荷をＦＤ容量Ｃｆｄに転送して、第１の露光制御で先にＦＤ容量Ｃｆｄに転送しておいた光電変換素子Ｄ１ａの信号電荷と加算する。このように、本実施形態では、光電変換素子Ｄ１ａの露光が開始された後、光電変換素子Ｄ１ａの露光中に、光電変換素子Ｄ１ｂの露光が開始されるようにし、且つ、これらの露光時間が同一になるようにする。
【００４７】
第２の露光制御の具体例を説明すると、まず、ＦＤ容量ＣｆｄのＦＤノード４０１に光電変換素子Ｄ１ａの信号電荷が蓄積された状態で、転送トランジスタＴ１ｂをオンする。これにより、露光によって光電変換素子Ｄ１ｂで光電変換された信号電荷がＦＤノード４０１に転送される。そして、転送トランジスタＴ１ｂをオフする。ここまでで、光電変換素子Ｄ１ｂの露光が終了する。
【００４８】
この時、ＦＤ容量ＣｆｄのＦＤノード４０１には、光電変換素子Ｄ１ａおよびＤ１ｂの信号電荷が加算された信号電荷に対応する信号電圧が発生する。そして、選択トランジスタＴ３をオンすることで、駆動トランジスタＴｄｒｖと負荷トランジスタＴｌｏｄとからなるソースフォロア回路が構成される。これにより、ＦＤノード４０１の信号電圧に対応する信号が、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号として、垂直信号線２３１に出力される。垂直信号線２３１に出力された光電変換素子Ｄ１ａおよびＤ１ｂの加算信号は、列信号処理部２０３に入力され、後述する列信号処理が実施される。
【００４９】
ここで、光電変換素子Ｄ１ａおよびＤ１ｂの露光制御を行うに際し、露光開始のリセットのタイミングを光電変換素子Ｄ１ａ、Ｄ１ｂで同時とし、光電変換素子Ｄ１ａ、Ｄ１ｂのそれぞれに対する露光を同時に開始してもよい。そして、光電変換素子Ｄ１ｂの信号電荷を転送するタイミングで、２回目の光電変換素子Ｄ１ａの信号電荷の転送を実施する。これにより、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号については、露光時間のずれが解消された撮影が実施できることになる。
ここで、光電変換素子Ｄ１ａの出力信号を焦点検出用のＡ信号または単にＡ信号と称し、光電変換素子Ｄ１ａおよびＤ１ｂの信号電荷が加算された出力信号を撮影画像用のＡ＋Ｂ信号または単にＡ＋Ｂ信号と称することとする。また、撮影画像用のＡ＋Ｂ信号から焦点検出用のＡ信号を減算した信号を焦点検出用のＢ信号または単にＢ信号と称する。焦点検出用のＢ信号は、光電変換素子Ｄ１ｂの出力信号に相当する信号である。
【００５０】
図５は、本実施形態の撮像基板１００の画素２００の概略構成の一例を示す図である。
図５（ａ）は、画素２００を２×２に配列した平面図の一例を示し、図５（ｂ）は、図５（ａ）のｘ−ｘ'の断面図を示す。
光電変換素子Ｄ１ａ、Ｄ１ｂの領域５０１ａ、５０１ｂが、それぞれ光電変換素子Ｄ１ａ、Ｄ１ｂのＰＮ接合のＮ側に対応し、撮像基板１００がＰ側に対応する。位置５０２は、画素２００の光電変換素子Ｄ１ａ、Ｄ１ｂ以外の回路部分の位置を示す。尚、図５では、表記の都合上、画素制御線２２１および垂直信号線２３１は、図示していない。
【００５１】
前述したように画素２００毎にマイクロレンズ５０３が設けられる。本実施形態では、マイクロレンズ５０３は、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆うように、図５（ａ）において、画素２００の中心よりも下方にずれて配置される。色フィルタ５０４も画素２００毎に設けられる。色フィルタ５０４は、光電変換素子Ｄ１ａ、Ｄ１ｂの両方を均等に覆う。前述したように、画素２００毎に、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、およびＢ（青）フィルタの何れか１つが配置される。
図５のように、本実施形態では、１つのマイクロレンズ５０３を２つの光電変換素子Ｄ１ａおよびＤ１ｂが共有する構成である。従って、光電変換素子Ｄ１ａから得られる画像信号（焦点検出用のＡ信号）と光電変換素子Ｄ１ｂから得られる画像信号（焦点検出用のＢ信号）を基にした焦点検出が可能となる。
【００５２】
図６は、本実施形態の撮像基板１００の列信号処理部２０３の回路構成の一例を示す図である。
サンプルホールド回路（Ｓ／Ｈ）６１１は、信号選択制御線ｐＳＨ１に電気的に接続される。サンプルホールド回路（Ｓ／Ｈ）６１１は、信号選択制御線ｐＳＨ１を介したタイミング部２１１からの制御により、垂直信号線２３１から受け取った画素信号を保持する。
【００５３】
ＡＤ変換回路（ＡＤ）６２１は、ＡＤ制御線ｐＡＤ１に接続される。ＡＤ変換回路（ＡＤ）６２１は、ＡＤ制御線ｐＡＤ１を介したタイミング部２１１からの制御により、サンプルホールド回路（Ｓ／Ｈ）６１１が保持する画素信号をＡＤ変換する。メモリ回路６３１は、メモリ制御線ｐＭＥＭ１に接続され、メモリ制御線ｐＭＥＭ１を介した制御によりＡＤ変換回路６２１が出力する画素のデジタル信号を記憶する。
また、メモリ回路６３１は、水平選択線ｐＨ１を介した制御により、メモリ回路６３１に記憶されているデジタル化された画素信号を、デジタル出力線ＤＳｉｇ１に出力する。
【００５４】
デジタル出力線ＤＳｉｇ１は、他の列信号処理部２０３のメモリ回路６３１にも共通に接続される。各列信号処理部２０３は、当該列信号処理部２０３に対応する水平選択線ｐＨ１を介した水平走査部２０７の制御により、メモリ回路６３１に記憶されているデジタル化された画素信号を、デジタル出力線ＤＳｉｇ１に所定の順番で出力する。
ここで、タイミング部２１１から列信号処理部２０３を制御するための制御線２８１には、信号選択制御線ｐＳＨ１、ＡＤ制御線ｐＡＤ１、およびメモリ制御線ｐＭＥＭ１が含まれる。水平走査部２０７から列信号処理部２０３を選択するための列選択線２５１には、水平選択線ｐＨ１が含まれる。出力部２０９に接続される水平出力線２６１には、デジタル出力線ＤＳｉｇ１が含まれる。
以上のように、図６に示す列信号処理部２０３は、ＡＤ変換が可能な回路構成を有する。
【００５５】
次に、本実施形態の撮像基板１００の第１の読み出し動作および第２の読み出し動作の一例について説明する。
第１の読み出し動作では、光電変換素子Ｄ１ａから読み出した信号であって、第１の露光制御を実施した１行分の画素２００の信号に対して列信号処理を実施する。
垂直信号線２３１に出力された光電変換素子Ｄ１ａの信号は、列信号処理部２０３に入力され、列信号処理部２０３に入力される信号選択制御線ｐＳＨ１の制御により、列信号処理部２０３のサンプルホールド回路（Ｓ／Ｈ）６１１に保持される。
【００５６】
そして、サンプルホールド回路（Ｓ／Ｈ）６１１に保持された信号は、列信号処理部２０３のＡＤ変換回路（ＡＤ）６２１によりデジタル信号に変換され、列信号処理部２０３のメモリ回路６３１に記憶される。
メモリ回路６３１に記憶された光電変換素子Ｄ１ａのデジタル信号は、列信号処理部２０３に対する水平選択線ｐＨ１を介した水平走査部２０７の制御によりメモリ回路６３１から読み出される。メモリ回路６３１から読み出された光電変換素子Ｄ１ａのデジタル信号は、デジタル出力線ＤＳｉｇ１に出力される。
そして、光電変換素子Ｄ１ａのデジタル信号は、Ａ信号として、出力部２０９を介して、メモリ基板１１０へ転送される。
【００５７】
第２の読み出し動作では、第２の露光制御を実施した１行分の画素２００から読み出した信号（即ち、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号）に対して列信号処理を実施する。
光電変換素子Ｄ１ａおよびＤ１ｂの加算信号は、列信号処理部２０３のＡＤ変換回路（ＡＤ）６２１により、デジタル信号に変換され、光電変換素子Ｄ１ａおよびＤ１ｂのデジタルの加算信号として、列信号処理部２０３のメモリ回路６３１に記憶される。尚、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号に対する列信号処理およびデジタル出力線ＤＳｉｇ１への出力は、第１の読み出し動作と同様であるので詳細な説明を省略する。
【００５８】
光電変換素子Ｄ１ａおよびＤ１ｂのデジタルの加算信号は、Ａ＋Ｂ信号として、出力部２０９を介して、メモリ基板１１０へ転送される。
これにより、１行分の画素からＡ信号とＡ＋Ｂ信号とが読み出されて、メモリ基板１１０へ転送される。
画素領域２０１の画素２００に対して、第１の読み出し動作と第２の読み出し動作とを行毎に実施することで、１回の撮影動作を実施することができる。
【００５９】
図６では、画素２００のＡ信号およびＡ＋Ｂ信号を、出力部２０９を介して、メモリ基板１１０に転送する場合を例に挙げて示した。しかしながら、Ａ信号およびＡ＋Ｂ信号を、デジタル出力線ＤＳｉｇ１に出力する代わりに、次のようにしてもよい。即ち、メモリ回路６３１の出力毎に垂直貫通電極を設けて、メモリ基板１１０のメモリ制御部１１１と、メモリ回路６３１とを直接接続してもよい。
本実施形態では、以上のようにして、画素２００のＡ信号あるいはＡ＋Ｂ信号を、１行分同時にメモリ基板１１０に転送できるので、転送時間の短縮が可能となる。
【００６０】
図７は、本実施形態の信号処理の一例を説明する図である。図７（ａ）は、撮像部１０１にある画素領域２０１の画素２００から読み出されるＡ信号およびＡ＋Ｂ信号を示す。本実施形態では、画素領域２０１の画素２００から、Ａ信号またはＡ＋Ｂ信号が、行毎に所定の順番で読み出される。尚、図３では、画素配列が６×４配列（４行６列）である場合を例に挙げて説明したが、図７（ａ）では、画素配列が１０×８配列（８行１０列）である場合を例に挙げて説明する。
【００６１】
図７では、各信号を括弧内に表記し、その前に色フィルタを表記する。前述したように本実施形態では、奇数行がＲ（赤）フィルタとＧ（緑）フィルタとの繰り返しとなり、偶数行がＧ（緑）フィルタとＢ（青）フィルタとの繰り返しとなる２×２配列の色フィルタを用いる。そこで、Ｒ（赤）フィルタに対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＲと表記する。また、Ｇ（緑）フィルタに対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＧと表記する。また、Ｂ（青）に対応する画素２００の信号（Ａ信号およびＡ＋Ｂ信号）をＢと表記する。例えば、信号７０１は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ信号であり、Ｒ（Ａ）と表記する。信号７０２は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ＋Ｂ信号であり、Ｒ（Ａ＋Ｂ）と表記する。また、対角となる２行２列目の画素２００から７行９列目の画素２００を囲む領域７０３を、焦点検出領域とする。
【００６２】
図７（ｂ）は、図７（ａ）の内、信号処理部１３における撮影画像の作成に用いる画素２００のＡ＋Ｂ信号を示す。
本実施形態では、撮影画像の作成に際し、信号処理部１３は、画素領域２０１の全ての画素２００におけるＡ＋Ｂ信号を用いる。例えば、１行１列目の画素２００については、信号処理部１３は、Ａ＋Ｂ信号である信号７０２（Ｒ（Ａ＋Ｂ））を用いる。この時、信号処理部１３は、Ａ信号である信号７０１（Ｒ（Ａ））を用いない。
【００６３】
図７（ｃ）は、図７（ａ）の内、信号処理部１３における焦点検出処理（ＡＦ処理）に関わる画素２００の信号を示す。
本実施形態では、焦点検出処理（ＡＦ処理）に際し、信号処理部１３が、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号を用いる場合を例に挙げて説明する。そのため、図７（ｃ）に示すように、焦点検出処理（ＡＦ処理）に関わる画素２００は、２行目、４行目、６行目のそれぞれ３列目、５列目、７列目、９列目の、Ｇ（緑）フィルタに対応する画素２００となる。
【００６４】
また、本実施形態では、信号処理部１３は、光電変換素子Ｄ１ａから得られるＡ信号と光電変換素子Ｄ１ｂから得られる信号（Ｂ信号）とを基にした位相差検出方式の焦点検出を実施する。そこで、信号処理部１３は、Ａ＋Ｂ信号の値からＡ信号の値を減算することにより（（Ａ＋Ｂ信号）−（Ａ信号）を計算することにより）Ｂ信号を計算する必要がある。このため、画素２００から読み出したＡ信号とＡ＋Ｂ信号とが必要となる。具体的に説明すると、図７（ｃ）のように、信号処理部１３は、２行３列目の画素２００から６行９列目の画素２００までの、Ｇ（Ａ）およびＧ（Ａ＋Ｂ）の信号を用いることになる。例えば信号処理部１３は、２行３列目の画素２００について、Ａ＋Ｂ信号である信号７０５（Ｇ（Ａ＋Ｂ））からＡ信号である信号７０４（Ｇ（Ａ））を減算して（Ｇ（Ａ＋Ｂ）−Ｇ（Ａ）＝Ｇ（Ｂ）として）Ｂ信号を求めればよい。本実施形態では、例えば、Ａ信号により第１の信号の一例が実現され、Ａ＋Ｂ信号により第２の信号の一例が実現される。
以上のことから、本実施形態では、列信号処理部１０２は、撮像動作８０１の期間に、画素領域２０１のうち、焦点検出領域７０３の画素から、Ａ信号およびＡ＋Ｂ信号を読み出し、画素領域２０１のその他の画素から、Ａ＋Ｂ信号を読み出す。
【００６５】
図８は、本実施形態の撮像装置の動作タイミングの一例を示す図である。図８（ａ）は、撮像動作および動画表示を示し、図８（ｂ）は、画像処理動作を示し、図８（ｃ）は、ＡＦ処理動作を示す。
【００６６】
図８（ａ）において、撮像部１０１の動作状態を撮像動作８０１と表し、画像処理された撮影画像を画像表示部１７に表示する動作を動画表示８０２と表すことにする。図８（ａ）のグラフの垂直方向のＬは、撮影画像を撮像部１０１から読み出す行の順番と、画像処理された撮影画像を動画表示する行の順番とを示す。水平方向のｔは、行を読み出すタイミングと、動画像を表示する行のタイミングの時間経過を示す。図８（ａ）では、このようにして垂直方向および水平方向の軸を定めることにより、撮像部１０１から読み出される行の状態、動画像を表示する行の状態が、それぞれ撮像動作８０１、動画表示８０２により表される。
【００６７】
図８（ａ）に示す例では、撮像動作８０１の傾きが、動画表示８０２の傾きよりも大きい。従って、単位時間当たりの動作スピードとしては、撮像動作８０１の方が動画表示８０２よりも速いことになる。
ここで、撮像部１０１からの読み出しが開始してから完了するまでの撮像動作８０１の単位時間あたりのデータ処理量を、必要に応じて撮像レートと称する。また、画像処理された撮影画像の表示のための処理が開始してから完了するまでの動画表示８０２の単位時間あたりのデータ処理量を、必要に応じて動画レートと称する。
【００６８】
図８（ｂ）に示す画像処理動作では、主に画像処理に関わる動作として実施される項目をその実施順に上から順番に示す。図８（ｂ）において、水平方向は、図８（ａ）に対応した期間であって、各項目の動作期間を示す。本実施形態では、列信号処理部１０２は、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号を読み出す。この時に読み出される画素２００の信号は、図７（ａ）で説明した画素領域２０１の画素２００の信号となる。
そこで、図８（ｂ）においては、撮像動作８０１の期間をＡ信号およびＡ＋Ｂ信号の読み出し期間とし、「Ａ／Ａ＋Ｂ読み出し」と表すことにする。本実施形態では、例えば、列信号処理部２０３が、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号を読み出すことにより、第１の読み出し手段の一例が実現される。また、例えば、撮像レートに対応する読み出し速度により、第１の読み出し速度の一例が実現される。
【００６９】
Ａ信号およびＡ＋Ｂ信号の読み出し動作と同時に、列信号処理部１０２は、Ａ信号およびＡ＋Ｂ信号を撮像基板１００からメモリ基板１１０のメモリ制御部１１１に転送する。そして、メモリ制御部１１１は、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録する。図８（ｂ）では、これらの動作の期間を「メモリ書き込み」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録することにより、第１の記憶手段の一例が実現される。また、メモリ制御部１１１が、Ａ信号およびＡ＋Ｂ信号を記録部１１２に記録する際の書き込み速度（撮像レートに対応する書き込み速度）により、第２の書き込み速度の一例が実現される。
【００７０】
ここで、図８（ｂ）においては、信号処理部１３における撮影画像に対する信号処理にかかる期間を「画像処理」と表すことにする。画像処理の期間は、信号処理部１３の処理能力や消費電力の大きさおよび発熱量を基に、撮像装置の動作仕様から決められる。また、信号処理部１３における撮影画像に対する信号処理にかかる単位時間あたりのデータ処理量を、必要に応じて処理レートと称する。
【００７１】
本実施形態では、撮像部１０１から高速に画素２００の信号を読み出すため、信号処理部１３の処理能力である処理レートが撮像レートよりも低い場合について説明する。
そこで、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、撮像レートよりも低い処理レートで読み出し、メモリ基板１１０から回路基板１２０のバス制御部１２１に転送する。図８（ｂ）では、この期間を「メモリ読み出し」と表すことにする。
本実施形態では、以上のようにして、記録部１１２を用いた、高速な撮像レートから低速な処理レートへの、単位時間当たりのデータ処理量の変換（レートの変換）が実施される。
【００７２】
処理レートで回路基板１２０に転送された画素２００の信号は、画像信号前処理部１２２において、必要な信号前処理が実施されて、画像信号出力部１２３を介して、撮像素子１２から信号処理部１３へ出力される。
ここで、信号処理部１３における撮影画像の作成には、画素２００の光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いる。そこで、記録部１１２から読み出す画素２００の信号は、図７（ｂ）で説明したように、Ａ＋Ｂ信号のみでよい。これにより、図７（ｂ）に示すＡ信号およびＡ＋Ｂ信号の２つの信号を撮像素子１２から信号処理部１３へ出力する必要がなくなる。このため、撮像素子１２から信号処理部１３へ出力する時のデータの転送容量を削減させることが可能となる。
【００７３】
また、画像信号前処理部１２２において実施される信号前処理としては、キズ補正やノイズ低減処理等がある。しかしながら、Ａ＋Ｂ信号は、撮影画像の作成が可能な信号であるため、画像信号出力部１２３は、Ａ＋Ｂ信号をそのまま信号処理部１３へ出力してもよい。
本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、処理レートで読み出すことにより、第２の読み出し手段の一例が実現される。また、例えば、処理レートに対応する速度により第２の読み出し速度の一例が実現される。また、例えば、画素領域２０１の全ての画素２００のＡ＋Ｂ信号により、第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号の一例が実現される。
【００７４】
信号処理部１３において処理レートで画像処理された撮影画像の信号は、信号処理部１３あるいは同期制御部１５にある不図示のバッファに一時的に記憶される。図８（ｂ）では、この期間を「バッファ書き込み」と表すことにする。
そして、信号処理部１３または同期制御部１５は、「画像処理」の期間に画像処理された撮影画像の信号をバッファから読み出して画像表示部１７に転送する。図８（ｂ）では、この期間を「バッファ読み出し」と表すことにする。
バッファから読み出された撮影画像の信号は、動画表示８０２の期間に、画像表示部１７に表示される。従って、図８（ａ）および図８（ｂ）に示すように、「バッファ読み出し」の期間は、動画表示８０２の期間と同じ時間となる。
【００７５】
この時、画像処理が画像表示よりも遅いと表示に不具合が生じるため、処理レートが動画レートより大きくなければならない。従って、図８（ｂ）において、「画像処理」の期間と同じとなる「バッファ書き込み」の期間は、「バッファ読み出し」の期間もよりも短くなる。
本実施形態では、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに記憶することにより、第２の記憶手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに書き込む速度（処理レートに対応する書き込み速度）により、第１の書き込み速度の一例が実現される。また、例えば、バッファにより第２の記憶媒体の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出すことにより、第４の読み出し手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出す速度（動画レートに対応する読み出し速度）により、第３の読み出し速度の一例が実現される。
【００７６】
本実施形態では、以上のようにして、信号処理部１３あるいは同期制御部１５のバッファを用いた、高速な処理レートから低速な動画レートへのレートの変換が実施される。
また、作成された撮影画像は、同期制御部１５の指示により、画像記録部１８に記録することも可能である。
【００７７】
ここで、図８（ｂ）の説明では、信号処理部１３あるいは同期制御部１５にバッファがあるとしたが、画像表示部１７にバッファを設けてもよい。このようにする場合、画像処理された撮影画像の信号を画像表示部１７にあるバッファに処理レートで転送し、動画レートで読み出して画像表示部１７に表示することになる。
【００７８】
図８（ｃ）に示すＡＦ処理動作では、主に焦点検出処理（ＡＦ処理）に関わる動作として実施される項目をその実施順に上から順番に示す。図８（ｃ）において、水平方向は、図８（ａ）に対応した期間であって、各項目の動作期間を示す。
撮像動作８０１となる「Ａ／Ａ＋Ｂ読み出し」および「Ａ／Ａ＋Ｂ読み出し」と同時に実施される記録部１１２への「メモリ書き込み」は、図８（ｂ）に示した項目と同じ項目である。従って、ここでは、これらの詳細な説明を省略する。
【００７９】
図７（ａ）で説明したように、撮像部１０１にある画素領域２０１内に焦点検出領域７０３を設ける。信号処理部１３は、焦点検出領域７０３内の画素２００から得られるＡ信号およびＡ＋Ｂ信号を基に焦点検出処理を実施する。
この時、焦点検出に用いる画素２００は、焦点検出領域７０３内の全ての画素である必要はない。本実施形態では、図７（ｃ）で説明したように、信号処理部１３は、焦点検出処理に際し、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００を用いる。
【００８０】
ここで、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号が、飛び飛びの画素２００の位置にあることを表すために、図８（ｃ）では、時間隔を空けた１つの矩形を１つの画素２００の信号として表現する。また、図８（ｃ）では、焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号（矩形）を「メモリ上ＡＦ情報」と表すことにする。尚、以下の説明では、焦点検出処理に用いる画素２００（本実施形態では焦点検出領域７０３内の偶数行のＧ（緑）フィルタに対応する画素２００）を、必要に応じて焦点検出画素と称する。本実施形態では、例えば、焦点検出領域７０３により、第１の領域よりも狭い領域であって、焦点を検出するために用いる信号を出力する画素を含む領域である第２の領域の一例が実現される。また、例えば、焦点検出画素により、焦点を検出するために用いる信号を出力する画素の一例が実現される。
【００８１】
「Ａ／Ａ＋Ｂ読み出し」動作において、焦点検出画素を読み出すには、焦点検出領域７０３内の全ての画素２００を読み出す必要があることが分かる。そこで、焦点検出領域７０３から順次読み出される焦点検出画素の信号を用いて、この読み出しと同時に焦点検出処理を実施する場合、焦点検出領域７０３内の全ての画素２００を読み出す期間に亘り、焦点検出処理に関わる回路を動作させ続けなければならない。
しかしながら、本実施形態では、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを、図７（ｃ）のように連続して読み出し、メモリ基板１１０から回路基板１２０に転送する。この時、記録部１１２から読み出される焦点検出画素の信号は、Ａ信号およびＡ＋Ｂ信号となる。図８（ｃ）においては、この期間を「連続読み出し」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを連続して読み出すことにより、第３の読み出し手段の一例が実現される。また、例えば、焦点検出画素のＡ信号およびＡ＋Ｂ信号により、第１の記憶手段により記憶された画素の信号の一部の信号であって、焦点を検出するために用いる信号の一例が実現される。
【００８２】
回路基板１２０に転送された焦点検出画素の信号は、ＡＦ信号前処理部１２４において、必要な信号前処理が実施されて、ＡＦ信号出力部１２５を介して、撮像素子１２から信号処理部１３へ出力される。ＡＦ信号前処理部１２４において実施される信号前処理には、例えば、Ｂ信号を計算するための計算式「（Ａ＋Ｂ信号）−（Ａ信号）」が必要となる。ＡＦ信号前処理部１２４は、この計算式を実行する前に、キズ補正やノイズ低減処理等を実施してもよい。これにより、ＡＦ信号前処理部１２４からは、焦点検出画素の信号としてＡ信号およびＢ信号が出力される。図８（ｃ）においては、この期間を「Ａ／Ｂ処理」と表すことにする。
【００８３】
そして、信号処理部１３が備える不図示の焦点検出処理部は、水平方向の複数の画素に関わる焦点検出用のＡ信号およびＢ信号に基づいて、画素内瞳分割された異なる光電変換素子Ｔａ１、Ｔａ２に対する入射光の位相差を検出する。
次に、焦点検出処理部は、検出した位相差に基づいて、撮像装置から被写体までの距離情報に対応する評価値であって、ＡＦに用いられる評価値であるＡＦ評価値を算出し、同期制御部１５に出力する。本実施形態では、例えば、焦点検出処理部を用いることにより、検出手段の一例が実現される。
【００８４】
ここまでが、信号処理部１３で実行される焦点検出処理となり、図８（ｃ）においては、この期間を「ＡＦ評価値算出」と表すことにする。
同期制御部１５は、ＡＦ評価値を基にして、撮像光学系１１が備える合焦レンズを駆動して、被写体が合焦するように制御する。図８（ｃ）においては、同期制御部１５による制御に移行することを「ＡＦ制御」と表すことにする。
【００８５】
信号処理部１３の焦点検出処理部は、「連続読み出し」された焦点検出画素の信号を基に、連続的に焦点検出処理を実施する。ここで、焦点検出画素の焦点検出処理にかかる単位時間あたりのデータ処理量を、必要に応じてＡＦレートと称する。
図８（ｃ）のＡＦ処理動作では、ＡＦ信号前処理部１２４は、記録部１１２からＡＦレートで連続的に読み出された焦点検出画素のＡ信号およびＡ＋Ｂ信号を、焦点検出画素のＡ信号およびＢ信号に変換する。そして、信号処理部１３の焦点検出処理部は、ＡＦレートで焦点検出処理を実施して、ＡＦ評価値を算出し、同期制御部１５に出力する。このため、図８（ｃ）において、「連続読み出し」の期間、「Ａ／Ｂ処理」の期間、および「ＡＦ評価値算出」の期間は等しい期間となる。従って、この時に、記録部１１２を用いた、低速な撮像レートから高速なＡＦレートへのレートの変換が実施される。
【００８６】
以上のように本実施形態では、１回の撮像動作で焦点検出用の信号と撮影画像用の信号とを同時に取得することが可能になる。また、撮像動作においては、撮像部１０１の画素２００の信号を読み出して記録部１１２へ転送する撮像レートよりも、撮影画像の画像処理にかかる処理レートを遅くする。従って、信号処理部１３の処理能力、消費電力の大きさ、および発熱量を基に画像処理の期間を決めることができる。更に、焦点検出領域７０３内の焦点検出画素の信号のみを連続して読み出す。従って、撮像動作において、焦点検出領域７０３内の全ての画素を読み出しながら、同時に焦点検出処理を実施する場合に比べて、信号処理部１３の焦点検出処理部、ＡＦ信号前処理部１２４、およびＡＦ信号出力部１２５の動作期間を短縮することができる。よって、撮像装置の消費電力を削減することができる。また、撮像素子１２から信号処理部１３への焦点検出画素の信号の転送期間が短縮されるので、焦点検出処理にかかる時間を大幅に短縮することができる。また、撮像素子１２から信号処理部１３へ出力する撮影画像用の信号がＡ＋Ｂ信号のみとなるので、処理レートを更に低減できると共にデータ転送容量を削減させることができる。また、撮像部１０１の画素の信号を記録部１１２に記録させることで、画像処理にかかる処理レートの制約がなくなり、高速に撮像動作を実施できるので、ローリング歪を低減させることができる。以上のように本実施形態では、画素内瞳分割機能を有する画素を備える撮像装置が、位相差検出方式の焦点検出と被写体画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを可能にすることができる。
【００８７】
本実施形態では、記録部１１２から処理レートで信号を読み出して画像処理を実施し、バッファから動画レートで信号を読み出す場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、記録部１１２から動画レートで信号を読み出して画像処理を実施し、画像表示部１７に表示してもよい。このようにすれば、処理レートよりも遅い動画レートで画像処理を実施することができるので、データの転送レートを更に低減することができる。また、画像表示のためのバッファを省略することも可能となる。本実施形態では、例えば、動画レートにより、第２の読み出し速度（第１の記憶手段により記憶された信号に基づく画像を、その出力先に出力する速度）の一例が実現される。尚、画像表示部１７が出力先の一例である。ただし、画像処理した信号の出力先は、画像表示部１７に限定されない。例えば、画像処理した信号の出力先は、画像記録部１８であってもよい。
【００８８】
また、本実施形態のように、画素領域２０１のうち、焦点検出領域７０３の画素から、Ａ信号およびＡ＋Ｂ信号を読み出し、画素領域２０１のその他の画素から、Ａ＋Ｂ信号を読み出すようにすれば、読み出す信号を少なくすることができるので好ましい。しかしながら、必ずしもこのようにする必要はない。例えば、画素領域２０１の全ての画素から、Ａ信号およびＡ＋Ｂ信号を読み出してもよい。
【００８９】
（第２の実施形態）
次に、図１〜図６に加えて図９〜図１０を参照して、第２の実施形態を説明する。第１の実施形態では、撮像部１０１の画素２００から、Ａ信号およびＡ＋Ｂ信号（２つの光電変換素子の一方の焦点検出用の信号と撮影画像用の信号）を読み出して、位相差検出方式の焦点検出と撮影画像の作成とを同時に実施する場合を例に挙げて説明した。これに対し、本実施形態では、撮像部１０１の画素２００から、Ａ信号およびＢ信号（２つの光電変換素子の両方の焦点検出用の信号）を読み出して、位相差検出方式の焦点検出と撮影画像の作成とを同時に実施する場合を例に挙げて説明する。このように本実施形態と第１の実施形態とは、撮像部１０１の画素２００から読み出す信号が異なることによる処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図８に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００９０】
本実施形態では、第１の実施形態と同一の第１の露光制御（光電変換素子Ｄ１ａの露光制御）を実施した後に、第１の実施形態とは異なる第２の露光制御（光電変換素子Ｄ１ｂの露光制御）を実施する。
本実施形態の第２の露光制御では、所定の露光時間の経過後に、リセットトランジスタＴ２のオンおよびオフと、その後の転送トランジスタＴ１ｂのオンおよびオフとにより、光電変換素子Ｄ１ｂの信号電荷のみが読み出される。この時の光電変換素子Ｄ１ｂの出力信号を焦点検出用のＢ信号と称することとする。また、本実施形態の第２の読み出し動作では、第２の露光制御を実施した１行分の画素２００から読み出した光電変換素子Ｄ１ｂの信号、即ち、Ｂ信号に対して列信号処理を実施する。
【００９１】
図９は、本実施形態の信号処理の一例を説明する図である。図９（ａ）は、撮像部１０１にある画素領域２０１の画素２００から読み出されるＡ信号およびＢ信号を示す。本実施形態では、画素領域２０１の画素２００から、Ａ信号またはＢ信号が、行毎に所定の順番で読み出される。
例えば、信号９０１は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＡ信号であり、Ｒ（Ａ）と表す。信号９０２は、画素領域２０１の１行１列目の、Ｒ（赤）フィルタに対応する画素２００のＢ信号であり、Ｒ（Ｂ）と表す。また、対角となる２行２列目の画素２００から７行９列目の画素２００を囲む領域９０３を、焦点検出領域とする。尚、図９（ａ）は、図７（ａ）において、Ａ＋Ｂ信号をＢ信号に置き換えただけなので、図９（ａ）の詳細な説明を省略する。
【００９２】
図９（ｂ）は、図９（ａ）の内、信号処理部１３における撮影画像の作成に用いる画素２００のＡ信号およびＢ信号を示す。
本実施形態では、撮影画像の作成に際し、信号処理部１３が、画素領域２０１の全ての画素２００の全ての信号を用いる。即ち、信号処理部１３は、光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いて撮影画像を作成する。従って、信号処理部１３は、Ａ信号とＢ信号とを加算して（（Ａ信号）＋（Ｂ信号）の計算式を実行して）Ａ＋Ｂ信号を計算するため、それぞれの画素２００におけるＡ信号およびＢ信号が必要となる。例えば、信号処理部１３は、１行１列目の画素２００について、Ａ信号である信号９０１（Ｒ（Ａ））とＢ信号である信号９０２（Ｒ（Ｂ））とを加算して（Ｒ（Ａ）＋Ｒ（Ｂ）＝Ｒ（Ａ＋Ｂ）として）Ａ＋Ｂ信号を求めればよい。
【００９３】
図９（ｃ）は、図９（ａ）の内、信号処理部１３における焦点検出処理（ＡＦ処理）に関わる画素２００の信号を示す。
本実施形態でも、第１の実施形態と同様に、焦点検出処理（ＡＦ処理）に際し、信号処理部１３が、焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００の信号を用いる場合を例に挙げて説明する。尚、図９（ｃ）は、図７（ｃ）において、Ａ＋Ｂ信号をＢ信号に置き換えただけなので、図９（ｃ）の詳細な説明を省略する。
【００９４】
本実施形態では、信号処理部１３は、光電変換素子Ｄ１ａから得られるＡ信号と光電変換素子Ｄ１ｂから得られるＢ信号とを基にした位相差検出方式の焦点検出を実施する。例えば、図９（ｃ）において、信号処理部１３は、２行３列目の画素について、Ａ信号である信号９０４（Ｇ（Ａ））およびＢ信号である信号９０５（Ｇ（Ｂ））の信号をそのまま用いて位相差検出方式の焦点検出を実施する。本実施形態では、例えば、Ａ信号により第１の信号の一例が実現され、Ｂ信号により第２の信号の一例が実現される。
【００９５】
図１０は、本実施形態の撮像装置の動作タイミングの一例を示す図である。図１０（ａ）は、撮像動作および動画表示を示し、図１０（ｂ）は、画像処理動作を示し、図１０（ｃ）は、ＡＦ処理動作を示す。図１０（ａ）は、図８（ａ）に示した撮像動作および動画表示と同一であるので、図１０（ａ）の詳細な説明を省略する。
【００９６】
図１０（ｂ）に示す画像処理動作では、主に画像処理に関わる動作として実施される項目をその実施順に上から順番に示す。図１０（ｂ）において、水平方向は、図１０（ａ）に対応した期間であって、各項目の動作期間を示す。本実施形態では、撮像動作８０１の期間に撮像部１０１の画素２００から、Ａ信号およびＢ信号が読み出される。この時に読み出される画素２００の信号は、図９（ａ）で説明した画素領域２０１の全ての画素２００の信号となる。
そこで、図１０（ｂ）においては、撮像動作８０１の期間をＡ信号およびＢ信号の読み出し期間とし、「Ａ／Ｂ読み出し」と表すことにする。本実施形態では、例えば、列信号処理部２０３が、撮像動作８０１の期間に、撮像部１０１の画素２００から、Ａ信号およびＢ信号を読み出すことにより、第１の読み出し手段の一例が実現される。また、例えば、撮像レートに対応する読み出し速度により、第１の読み出し速度の一例が実現される。
【００９７】
Ａ信号およびＢ信号の読み出し動作と同時に、列信号処理部１０２は、Ａ信号およびＢ信号を撮像基板１００からメモリ基板１１０に転送する。そして、メモリ制御部１１１は、Ａ信号およびＢ信号を記録部１１２に記録する。図１０（ｂ）では、これらの動作の期間を「メモリ書き込み」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、Ａ信号およびＢ信号を記録部１１２に記録することにより、第１の記憶手段の一例が実現される。また、メモリ制御部１１１が、Ａ信号およびＢ信号を記録部１１２に記録する際の書き込み速度（撮像レートに対応する書き込み速度）により、第２の書き込み速度の一例が実現される。
【００９８】
本実施形態でも、第１の実施形態と同様に、撮像部１０１から高速に画素２００の信号を読み出すため、信号処理部１３の処理能力である処理レートが撮像レートよりも低い場合について説明する。
そこで、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、撮像レートよりも低い処理レートで読み出し、メモリ基板１１０から回路基板１２０のバス制御部１２１に転送する。図１０（ｂ）では、この期間を「メモリ読み出し」と表すことにする。
本実施形態では、以上のようにして、記録部１１２を用いた、高速な撮像レートから低速な処理レートへの、レートの変換が実施される。
【００９９】
処理レートで回路基板１２０に転送された画素２００の信号は、画像信号前処理部１２２において、必要な信号前処理が実施されて、画像信号出力部１２３を介して、撮像素子１２から信号処理部１３へ出力される。
ここで、信号処理部１３における撮影画像の作成には、画素２００の光電変換素子Ｄ１ａおよびＤ１ｂの加算信号であるＡ＋Ｂ信号を用いる。そこで、記録部１１２から読み出す画素２００の信号は、図９（ｂ）で説明したように、Ａ信号およびＢ信号となる。画像信号前処理部１２２において実施される信号前処理には、Ａ＋Ｂ信号を計算するための計算式「（Ａ信号）＋（Ｂ信号）」が必要となる。画像信号前処理部１２２は、この計算式を実行する前に、キズ補正やノイズ低減処理等を実施してもよい。これにより、画像信号前処理部１２２からは、撮影画像の作成用の信号としてＡ＋Ｂ信号が出力される。図１０（ｂ）においては、この期間を「Ａ＋Ｂ処理」と表すことにする。本実施形態では、画像信号前処理部１２２が、Ａ＋Ｂ信号を計算することにより、加算手段の一例が実現される。
【０１００】
これにより、図９（ｂ）に示すＡ信号およびＢ信号の２つの信号を撮像素子１２から信号処理部１３へ出力する必要がなくなるため、撮像素子１２から信号処理部１３へ出力する時のデータの転送容量を削減させることが可能となる。
本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている画素領域２０１の全ての画素２００の信号を、処理レートで読み出すことにより、第２の読み出し手段の一例が実現される。また、例えば、処理レートに対応する速度により第２の読み出し速度の一例が実現される。また、例えば、画素領域２０１の全ての画素２００の信号により、第１の記憶手段により記憶された前記画素の信号であって、前記撮像手段により撮像された画像を作成するために用いる信号の一例が実現される。
【０１０１】
信号処理部１３において処理レートで画像処理された撮影画像の信号は、信号処理部１３あるいは同期制御部１５にある不図示のバッファに一時的に記憶される。図１０（ｂ）では、この期間を「バッファ書き込み」と表すことにする。
そして、信号処理部１３または同期制御部１５は、「画像処理」の期間に画像処理された撮影画像の信号をバッファから読み出して画像表示部１７に転送する。図１０（ｂ）では、この期間を「バッファ読み出し」と表すことにする。
バッファから読み出された撮影画像の信号は、動画表示８０２の期間に、画像表示部１７に表示される。従って、図１０（ａ）および図１０（ｂ）に示すように、「バッファ読み出し」の期間は、動画表示８０２の期間と同じ時間となる。
【０１０２】
この時、画像処理が画像表示よりも遅いと表示に不具合が生じるため、処理レートが動画レートより大きくなければならない。従って、図１０（ｂ）において、「画像処理」の期間と同じとなる「バッファ書き込み」の期間は、「バッファ読み出し」の期間よりも短くなる。
本実施形態では、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに記憶することにより、第２の記憶手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファに書き込む速度（処理レートに対応する書き込み速度）により、第１の書き込み速度の一例が実現される。また、例えば、バッファにより第２の記憶媒体の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出すことにより、第４の読み出し手段の一例が実現される。また、例えば、信号処理部１３または同期制御部１５が、画像処理された撮影画像の信号をバッファから読み出す速度（動画レートに対応する読み出し速度）により、第３の読み出し速度の一例が実現される。
本実施形態では、以上のようにして、信号処理部１３あるいは同期制御部１５のバッファを用いた、高速な処理レートから低速な動画レートへのレートの変換が実施される。
また、作成された撮影画像は、同期制御部１５の指示により、画像記録部１８に記録することも可能である。
ここで、図１０（ｂ）の説明では、信号処理部１３あるいは同期制御部１５にバッファがあるとしたが、画像表示部１７にバッファを設けてもよい。このようにする場合、画像処理された撮影画像の信号を画像表示部１７にあるバッファに処理レートで転送し、動画レートで読み出して画像表示部１７に表示することになる。
【０１０３】
図１０（ｃ）に示すＡＦ処理動作では、主に焦点検出処理（ＡＦ処理）に関わる動作として実施される項目をその実施順に上から順番に示す。図１０（ｃ）において、水平方向は、図１０（ａ）に対応した期間であって、各項目の動作期間を示す。
撮像動作８０１となる「Ａ／Ｂ読み出し」と同時に実施される記録部１１２への「メモリ書き込み」は、図１０（ｂ）に示した項目と同じ項目である。従って、ここでは、これらの詳細な説明を省略する。
図９（ａ）に示したように、撮像部１０１にある画素領域２０１内に焦点検出領域９０３を設ける。信号処理部１３は、焦点検出領域９０３内の画素２００から得られるＡ信号およびＢ信号を基に焦点検出処理を実施する。
この時、焦点検出に用いる画素２００（焦点検出画素）は、焦点検出領域９０３内の全ての画素である必要はない。本実施形態では、図９（ｃ）に示したように、信号処理部１３は、焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００を用いる。
【０１０４】
ここで、焦点検出画素（焦点検出領域９０３内の偶数行のＧ（緑）フィルタに対応する画素２００）の信号が、飛び飛びの画素２００の位置にあることを表すために、図１０（ｃ）では、時間隔を空けた１つの矩形を１つの画素２００の信号として表現する。また、図１０（ｃ）では、焦点検出画素の信号（矩形）を「メモリ上ＡＦ情報」と表すことにする。本実施形態では、例えば、焦点検出領域９０３により、第１の領域よりも狭い領域であって、焦点を検出するために用いる信号を出力する画素を含む領域である第２の領域の一例が実現される。また、例えば、焦点検出画素により、焦点を検出するために用いる信号を出力する画素の一例が実現される。
【０１０５】
「Ａ／Ｂ読み出し」動作において、焦点検出画素を読み出すには、焦点検出領域９０３内の全ての画素を読み出す必要があることが分かる。そこで、焦点検出領域９０３から順次読み出される焦点検出画素の信号を用いて、この読み出しと同時に焦点検出処理を実施する場合、焦点検出領域９０３内の全ての画素２００を読み出す期間に亘り、焦点検出処理に関わる回路を動作させ続けなければならない。
しかしながら、本実施形態でも第１の実施形態と同様に、メモリ制御部１１１は、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを、図９（ｃ）のように連続して読み出し、メモリ基板１１０から回路基板１２０に転送する。この時、記録部１１２から読み出される焦点検出画素の信号は、Ａ信号およびＢ信号となる。図１０（ｃ）においては、この期間を「連続読み出し」と表すことにする。本実施形態では、例えば、メモリ制御部１１１が、メモリ基板１１０の記録部１１２に記録されている焦点検出画素の信号のみを連続して読み出すことにより、第３の読み出し手段の一例が実現される。また、例えば、焦点検出画素のＡ信号およびＢ信号により、第１の記憶手段により記憶された画素の信号の一部の信号であって、焦点を検出するために用いる信号の一例が実現される。
【０１０６】
回路基板１２０に転送された焦点検出画素の信号は、ＡＦ信号前処理部１２４において、必要な信号前処理を実施されて、ＡＦ信号出力部１２５を介して、撮像素子１２から信号処理部１３へ出力される。ＡＦ信号前処理部１２４において実施される信号前処理には、キズ補正やノイズ低減処理等がある。しかしながら、Ａ信号およびＢ信号は焦点検出処理が可能な信号であるため、ＡＦ信号出力部１２５は、Ａ信号およびＢ信号をそのまま信号処理部１３へ出力してもよい。これにより、ＡＦ信号前処理部１２４からは、焦点検出画素の信号としてＡ信号およびＢ信号が出力される。
【０１０７】
そして、信号処理部１３が備える不図示の焦点検出処理部は、水平方向の複数の画素に関わる焦点検出用のＡ信号およびＢ信号に基づいて、画素内瞳分割された異なる光電変換素子Ｔａ１、Ｔａ２に対する入射光の位相差を検出する。
次に、焦点検出処理部は、検出した位相差に基づいて、撮像装置から被写体までの距離情報に対応する評価値であって、ＡＦに用いられる評価値であるＡＦ評価値を算出し、同期制御部１５に出力する。本実施形態では、例えば、焦点検出処理部を用いることにより、検出手段の一例が実現される。
【０１０８】
ここまでが、信号処理部１３で実行される焦点検出処理となり、図１０（ｃ）においては、この期間を「ＡＦ評価値算出」と表すことにする。
同期制御部１５は、ＡＦ評価値を基にして、撮像光学系１１が備える合焦レンズを駆動して、被写体が合焦するように制御する。図１０（ｃ）においては、同期制御部１５による制御に移行することを「ＡＦ制御」と表すことにする。
【０１０９】
信号処理部１３の焦点検出処理部は、「連続読み出し」された焦点検出画素の信号を基に、連続的に焦点検出処理を実施する。ここで、焦点検出画素の焦点検出処理にかかる単位時間あたりのデータ処理量を、必要に応じてＡＦレートと称する。
図１０（ｃ）のＡＦ処理動作では、信号処理部１３の焦点検出処理部は、記録部１１２からＡＦレートで連続的に読み出された焦点検出画素のＡ信号およびＢ信号を用いて、ＡＦレートで焦点検出処理を実施して、ＡＦ評価値を算出する。そして、焦点検出処理部は、ＡＦ評価値を同期制御部１５に出力する。このため、図１０（ｃ）において、「連続読み出し」の期間、および「ＡＦ評価値算出」の期間は等しい期間となる。従って、この時に、記録部１１２を用いた、低速な撮像レートから高速なＡＦレートへのレートの変換が実施される。
【０１１０】
以上のように本実施形態では、１回の撮像動作で焦点検出用の信号と撮影画像用の信号とを同時に取得することが可能となる。また、撮像動作においては、撮像部１０１の画素２００の信号を読み出して記録部１１２へ転送する撮像レートよりも、撮影画像の画像処理にかかる処理レートを遅くする。従って、信号処理部１３の処理能力、消費電力の大きさ、および発熱量を基に画像処理の期間を決めることができる。更に、焦点検出領域９０３内の焦点検出画素の信号のみを連続して読み出す。従って、撮像動作において、焦点検出領域９０３内の全ての画素を読み出しながら、同時に焦点検出処理を実施する場合に比べて、信号処理部１３の焦点検出処理部、およびＡＦ信号前処理部１２４の動作期間を短縮することができる。よって、撮像装置の消費電力を削減することができる。また、撮像素子１２から信号処理部１３への焦点検出用の信号の転送期間が短縮されるので、焦点検出処理にかかる時間を大幅に短縮することができる。また、撮像素子１２から信号処理部１３へ出力する撮影画像用の信号がＡ＋Ｂ信号のみとなるので、処理レートを更に低減できると共にデータの転送容量を削減させることができる。また、撮像部１０１の画素の信号を記録部１１２に記録させることで、画像処理にかかる処理レートの制約がなくなり、高速に撮像動作を実施できるので、ローリング歪を低減させることができる。以上のように本実施形態でも、第１の実施形態と同様に、画素内瞳分割機能を有する画素を備える撮像装置が、位相差検出方式の焦点検出と被写体画像の作成とを行うに際し、フレームレートの低下の抑制と消費電力の削減とを可能にすることができる。
【０１１１】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【０１１２】
（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１３】
１１：撮像光学系、１２：撮像素子、１３；信号処理部、１５：同期制御部、１７：画像表示部
【図１】
2018133600.tif 000003
【図２】
2018133600.tif 000004
【図３】
2018133600.tif 000005
【図４】
2018133600.tif 000006
【図５】
2018133600.tif 000007
【図６】
2018133600.tif 000008
【図７】
2018133600.tif 000009
【図８】
2018133600.tif 000010
【図９】
2018133600.tif 000011
【図１０】
2018133600.tif 000012