(57)【要約】【課題】撮像用画素と兼用の焦点検出用画素を有する撮像素子を用い、焦点検出処理の高速化と、画質のよい撮像画像の生成とを両立することが可能な撮像装置およびその制御方法の提供。【解決手段】撮像用画素としても、焦点検出用画素としても利用可能な複数の画素を有する撮像素子と、複数の画素のうち、焦点検出用画素として用いる画素の信号を読み出してから、撮像用画素として用いる画素の信号を読み出す読み出し手段と、焦点検出用画素として用いる画素の信号から生成した撮像画像用の信号と、撮像用画素として用いる画素から読み出した信号とを、撮像素子における画素の並びと等しい順序に並び替える並び替え手段と有することを特徴とする。【選択図】図５
2018125730.tif 000002
【特許請求の範囲】
【請求項１】
撮像用画素としても、焦点検出用画素としても利用可能な複数の画素を有する撮像素子と、
前記複数の画素のうち、前記焦点検出用画素として用いる画素の信号を読み出してから、前記撮像用画素として用いる画素の信号を読み出す読み出し手段と、
前記焦点検出用画素として用いる画素の信号から生成した撮像画像用の信号と、前記撮像用画素として用いる画素から読み出した信号とを、前記撮像素子における画素の並びと等しい順序に並び替える並び替え手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記並び替え手段は、１画面分の信号をメモリに書き込んだ後、前記メモリ内で前記並び替えを行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記並び替え手段は、信号を読み出した画素の位置または順番に応じた書き込みアドレスを算出し、メモリの前記書き込みアドレスに前記信号を書き込むことによって前記並び替えを行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記並び替え手段は、読み出した信号を一時的に格納可能な記憶装置を用い、前記撮像素子から読み出した信号と、前記記憶装置に格納されている信号とのいずれかを選択し、前記撮像素子における画素の並びの順にメモリに書き込むことにより、前記並び替えを行うことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記記憶装置が前記メモリよりも高速に読み書き可能であることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記並び替え手段は、前記撮像素子における前記焦点検出用画素として用いる画素の配置に基づいて前記並び替えを行うことを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
【請求項７】
前記焦点検出用画素として用いる画素の信号から焦点検出用信号を生成する生成手段と、
前記焦点検出用信号に基づいて前記撮像装置の撮影光学系の焦点検出を行う焦点検出手段と、
を更に有することを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記画素は、複数の光電変換手段を有し、
前記読み出し手段は、前記焦点検出用画素として用いる画素については前記複数の光電変換手段の信号を加算した信号と前記複数の光電変換手段の一部の信号とを読み出し、
前記焦点検出用画素として用いる画素の信号から生成した撮像画像用の信号は、前記加算した信号である、
ことを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
【請求項９】
前記読み出し手段は、前記撮像用画素として用いる画素については前記複数の光電変換手段の信号を加算した信号を読み出すことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
撮像用画素としても、焦点検出用画素としても利用可能な複数の画素を有する撮像素子を有する撮像装置の制御方法であって、
読み出し手段が、前記複数の画素のうち、前記焦点検出用画素として用いる画素の信号を読み出す工程と、
前記読み出し手段が、前記焦点検出用画素として用いる画素の信号を読み出してから、前記撮像用画素として用いる画素の信号を読み出す工程と、
並び替え手段が、前記焦点検出用画素として用いる画素の信号から生成した撮像画像用の信号と、前記撮像用画素として用いる画素から読み出した信号とを、前記撮像素子における画素の並びと等しい順序に並び替える工程と、
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
デジタル（ビデオ）カメラなどで実施されている自動焦点検出（ＡＦ）は、コントラスト方式と位相差検出方式に大別される。従来、位相差検出方式のＡＦは、位相差検出用の像信号の生成に専用のセンサが必要であった。しかし、近年、撮影に用いる撮像素子によって位相差検出用の像信号を生成する技術が実現され、広く用いられている（特許文献１）。撮像素子の出力信号に基づく位相差検出用方式のＡＦは、専用センサを用いる構成と区別するため、像面位相差検出方式とも呼ばれる。
【０００３】
像面位相差検出方式のＡＦに用いられる撮像素子は、位相差検出用の像信号を生成するための画素（焦点検出用画素）を有する。焦点検出用画素と通常の画素（撮像用画素）とは出力信号の用途が異なるなどの理由により、引用文献１に記載されるように別個に読み出されることも知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２１９９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
像面位相差検出方式によるＡＦを行うには、撮像素子から焦点検出用画素の信号を読み出す必要があるが、撮像用画素よりも焦点検出用画素の信号を先に読み出せば、ＡＦ処理を早く開始できる。引用文献１に記載されているような、通常の画素（撮像用画素）として用いることのできない専用タイプの焦点検出用画素の場合、後で読み出した撮像用画素の信号だけで撮像画像を生成しても大きな問題は生じない。
【０００６】
一方で、撮像用画素としても用いることのできる兼用タイプの焦点検出用画素の場合、焦点検出用画素の信号を撮像画像の生成に用いた方が、画質のよい撮像画像を生成できる。しかしながら、読み出した順に画素信号を用いて撮像画像を生成すると、先読みした焦点検出用画素の位置の画素信号から配置されることになるため、本来の撮像画像と画素の並びが異なってしまう。
【０００７】
本発明はこのような課題に鑑みなされたもので、撮像用画素と兼用の焦点検出用画素を有する撮像素子を用い、焦点検出処理の高速化と、画質のよい撮像画像の生成とを両立することが可能な撮像装置およびその制御方法の提供を１目的とする。
【課題を解決するための手段】
【０００８】
上述の目的は、撮像用画素としても、焦点検出用画素としても利用可能な複数の画素を有する撮像素子と、複数の画素のうち、焦点検出用画素として用いる画素の信号を読み出してから、撮像用画素として用いる画素の信号を読み出す読み出し手段と、焦点検出用画素として用いる画素の信号から生成した撮像画像用の信号と、撮像用画素として用いる画素から読み出した信号とを、撮像素子における画素の並びと等しい順序に並び替える並び替え手段と、を有することを特徴とする撮像装置によって達成される。
【発明の効果】
【０００９】
本発明によれば、撮像用画素と兼用の焦点検出用画素を有する撮像素子を用い、焦点検出処理の高速化と、画質のよい撮像画像の生成とを両立することが可能な撮像装置およびその制御方法を提供できる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る撮像装置の構成を示す図
【図２】実施形態に係る撮像装置が有する撮像素子に関する図
【図３】実施形態に係る撮像装置が有する撮像素子の例示的な等価回路図
【図４】実施形態に係る撮像素子の読み出し動作の例を示すタイミングチャート
【図５】第１実施形態に係る撮像装置の信号の流れを模式的に示す図
【図６】第１実施形態に係る撮像装置のタイミングチャート
【図７】第１実施形態に係る撮像装置のフローチャート
【図８】第２実施形態に係る撮像装置の信号の流れを模式的に示す図
【図９】第２実施形態に係る撮像装置のタイミングチャート
【図１０】第２実施形態に係る撮像装置のフローチャート
【図１１】第３実施形態に係る撮像装置の信号の流れを模式的に示す図
【図１２】第３実施形態に係る撮像装置のタイミングチャート
【図１３】第３実施形態に係る撮像装置のフローチャート
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態を、添付図面に基づいて詳細に説明する。本発明は、撮像画像と兼用可能な焦点検出用画素を有する撮像素子を利用可能な任意の撮像装置に適用可能である。なお、撮像装置にはレンズ一体型撮像装置や、所謂ミラーレスレンズ交換型撮像装置のみならず、撮像機能を備えた電子機器を含む。このような電子機器にはスマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。
【００１２】
●（第１実施形態）
図１は、本発明の第１実施形態に係る撮像装置１の機能構成例を示すブロック図である。なお、図１において「回路」と記載されている機能ブロックは、それぞれが独立したハードウェア（ＡＳＩＣ、ＡＳＳＰなど）で構成されてもよいし、複数の機能ブロックが１つのハードウェアで構成されてもよい。撮像素子１００は、例えばＣＣＤまたはＣＭＯＳイメージセンサであり、撮影光学系１０で形成された被写体の光学像を電気信号に光電変換する。後述するように、撮像素子１００は二次元配置された複数の画素を有し、各画素は撮像用画素としても焦点検出用画素としても利用可能な構成を有する。以下の説明では、画素の用途により、撮像用画素または焦点検出用画素と呼ぶ。
【００１３】
撮像素子１００の動作（蓄積、リセット、読み出しなど）は、中央処理装置（ＣＰＵ）１０３の制御によってタイミングジェネレータ（ＴＧ）１０２が生成する各種の信号によって制御される。アナログフロントエンド（ＡＦＥ）１０１は、撮像素子１００から読み出されたアナログ画像信号に対して、ゲイン調整やＡ／Ｄ変換などを行う。ＴＧ１０２は、ＣＰＵ１０３の制御に従い、撮像素子１００およびＡＦＥ１０１の動作を制御する。なお、図１ではＡＦＥ１０１およびＴＧ１０２を撮像素子１００と別の構成として記載しているが、撮像素子１００に内蔵される構成であってもよい。
【００１４】
上述のように、ＣＰＵ１０３は例えばＲＯＭ１０７に記憶されているプログラムをＲＡＭ１０６に読み込んで実行することにより、撮像装置の各部を制御し、撮像装置の機能を実現する。なお、以下で回路として説明する機能ブロックの少なくとも一部は、ＡＳＩＣやＡＳＳＰなどのハードウェアによって実現される代わりに、ＣＰＵ１０３がプログラムを実行することによって実現されてもよい。
【００１５】
操作部１０４は、タッチパネル、キー、ボタンなどの入力デバイス群であり、ユーザが撮像装置に指示やパラメータなどを入力するために用いられる。シャッタボタン、電源スイッチ、方向キー、メニューボタン、決定（セット）ボタン、撮影モードダイヤル、動画撮影ボタンなどが操作部１０４に含まれるが、これらは単なる例示である。また、タッチパネルは表示装置１０５に組み込まれる場合もある。ＣＰＵ１０３は操作部１０４を監視し、操作部１０４に対する操作を検出すると検出した操作に応じた動作を実行する。
【００１６】
表示装置１０５は、ＣＰＵ１０３の制御により、撮影した画像（静止画や動画）、メニュー画面、撮像装置１の設定値や状態などを表示する。
ＲＡＭ１０６は、ＡＦＥ１０１が出力する画像データや、画像処理回路１０８で処理された画像データを記憶するために用いられたり、ＣＰＵ１０３のワークメモリとして用いられたりする。本実施形態ではＲＡＭ１０６はＤＲＡＭで構成されるものとするが、それに限定されない。
ＲＯＭ１０７は、ＣＰＵ１０３が実行するプログラムや、各種の設定値、ＧＵＩデータなどを記憶する。ＲＯＭ１０７の少なくとも一部は書き換え可能であってよい。
【００１７】
画像処理回路１０８は、画像データに対して様々な画像処理を適用する。画像処理には色補間、ホワイトバランス調整、光学歪み補正、階調補正、符号化、復号など、撮影された画像の記録や再生に関する処理が含まれる。また、画像処理には、コントラストＡＦ用の評価値算出や、像面位相差ＡＦ用の像信号生成、ＡＥ用の輝度評価値生成、被写体検出、動きベクトル検出など、撮影動作の制御に関する処理も含まれる。なお、ここで列挙した画像処理は単なる例示であって、実施が必須であることを意味しない。また、他の画像処理が実行されてもよい。
【００１８】
相関演算回路１２０は、画像処理回路１０８が生成する像面位相差ＡＦ用の像信号に対して相関演算を行い、像信号間の位相差（大きさおよび方向）を算出する。
ＡＦ演算回路１０９は、相関演算回路１２０から出力される相関演算結果に基づいて、フォーカスレンズ１１９の駆動方向および駆動量を算出する。記録媒体１１０は、撮影した画像データを撮像装置１内に記録する場合に用いられる。記録媒体１１０は例えば着脱可能なメモリカードおよび／または内蔵固定メモリであってよい。
【００１９】
シャッタ１１１は静止画撮影時に撮像素子１００の露光時間を調節するためのメカニカルシャッタであり、モータ１２２によって開閉される。モータ１２２の開閉はシャッタ駆動回路１２１を通じてＣＰＵ１０３が制御する。なお、メカニカルシャッタの代わりにＴＧ１０２が供給する信号によって撮像素子１００の電荷蓄積時間を調整してもよい（電子シャッタ）。
【００２０】
フォーカス駆動回路１１２は、フォーカスアクチュエータ１１４を駆動することによってフォーカスレンズ１１９を光軸方向に移動させ、撮影光学系の合焦距離を変更する。像面位相差ＡＦを実行する場合、ＡＦ演算回路１０９が算出したフォーカスレンズ１１９の駆動方向および駆動量に基づいてフォーカスアクチュエータ１１４を駆動する。
【００２１】
絞り駆動回路１１３は、絞りアクチュエータ１１５を駆動することによって絞り１１７の開口径を変更する。レンズ１１６は、撮影光学系の先端に配置され、光軸方向に進退可能に保持される。絞り１１７及び第２レンズ１１８は一体となって光軸方向に進退し、前記第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。
【００２２】
ＳＲＡＭ１２３は第３実施形態で用いるメモリであり、ＲＡＭ１０６よりも高速に読み書き可能である。
【００２３】
図２（ａ）は、撮像素子１００の構成例を模式的に示す。撮像素子１００は、複数の画素が二次元配列された画素アレイ１００ａと、画素アレイ１００ａの画素行を選択する垂直走査回路１００ｄと、画素アレイ１００ａの画素列を選択する水平走査回路１００ｃとを有する。撮像素子１００はさらに、垂直走査回路１００ｄおよび水平走査回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを有する。垂直走査回路１００ｄは、ＣＰＵ１０３から出力される水平同期信号に基づいてＴＧ１０２から供給される読み出しパルスを、選択した画素行において有効にする。読み出し回路１００ｂは列ごとに設けられたアンプおよびメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査回路１００ｃによって列方向に順に選択され、出力回路１００ｅを介して外部に出力される。この動作を繰り返し、全ての画素の信号を外部に出力する。
【００２４】
撮像素子１００の画素アレイ１００ａにおけるマイクロレンズおよび光電変換部の配置例を図２（ｂ）および図２（ｃ）に示す。画素アレイ１００ａは複数のマイクロレンズ１００ｆによって構成されるマイクロレンズアレイを有する。本実施形態の撮像素子１００は、１つのマイクロレンズに対して複数のフォトダイオード（ＰＤ）が設けられた構成を有する。図２（ｂ）ではマイクロレンズあたり２つ、図２（ｃ）ではマイクロレンズあたり４つのＰＤが設けられた例を示す。なお、マイクロレンズあたりのＰＤの数に特に制限はない。
【００２５】
図２（ｂ）の構成例において、ＰＤ１００ｈはＡ像用光電変換部、ＰＤ１００ｇはＢ像用光電変換部を構成する。１つのマイクロレンズ１００ｆに対応する撮像領域を１画素とした場合、画素アレイ１００ａには、水平方向にｈ画素、垂直方向にｖ画素配置されている。ＰＤ１００ｈとＰＤ１００ｇで蓄積された信号は、後述する画素転送動作によって加算された後、あるいは独立して、電圧信号に変換され、上述した画素信号として外部に出力される。ＰＤ１００ｈとＰＤ１００ｇには、マイクロレンズ１００ｆに対応する瞳領域の異なる一部から光束が入射するため、ＰＤ１００ｈの信号群から得られる像信号と、ＰＤ１００ｇの信号群から得られる像信号とは視点の異なる像となる。これら１対の像信号の位相差を相関演算回路１２０における相関演算によって求め、ＡＦ演算回路１０９でデフォーカス量に変換することにより、フォーカスレンズ１１９の駆動量および方向が得られる。ここではＰＤ１００ｈ群から得られる像信号をＡ像、ＰＤ１００ｇ群から得られる像信号をＢ像と呼び、ＰＤ１００ｈをＡ像用光電変換部、ＰＤ１００ｇをＢ像用光電変換部と呼ぶ。図２（ｂ）では、ＰＤ１００ｈとＰＤ１００ｇとが水平方向に並んで配置されているため、Ａ像とＢ像との相関演算からは水平方向の位相差が得られるが、ＰＤ１００ｈとＰＤ１００ｇとを垂直方向に並んで配置すれば同様にして垂直方向の位相差が得られる。
【００２６】
図２（ｃ）に示す構成の場合、ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍ、およびＰＤ１００ｎでそれぞれ視点の異なる像が得られる。例えばＰＤ１００ｊと１００ｋの信号を加算し、ＰＤ１００ｍと１００ｎの信号を加算すれば、実質的に図２（ｂ）と同様の構成として取り扱うことができる。また、ＰＤ１００ｊと１００ｍの信号を加算し、ＰＤ１００ｋと１００ｎの信号を加算すれば、垂直方向にＰＤを２つ設けた構成と同様に取り扱うことができる。
【００２７】
図３は、画素アレイ１００ａに設けられた複数の画素のうち、隣り合う２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路１００ｂの構成を示す等価回路図である。
【００２８】
ｊ行目の画素３０１の転送スイッチ３０２ａには制御信号ΦＴＸＡ（ｊ）が入力され、転送スイッチ３０２ｂのゲートには、制御信号ΦＴＸＢ（ｊ）が入力される。リセットスイッチ３０４は、リセット信号ΦＲ（ｊ）により制御される。なお、制御信号ΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）、リセット信号ΦＲ（ｊ）、行選択信号ΦＳ（ｊ）は、垂直走査回路１００ｄにより制御される。同様に、（ｊ＋１）行目の画素３２０は、制御信号ΦＴＸＡ（ｊ＋１）及びΦＴＸＢ（ｊ＋１）、リセット信号ΦＲ（ｊ＋１）、及び行選択信号ΦＳ（ｊ＋１）により制御される。
【００２９】
また、画素列毎に垂直信号線３０８を設けており、各垂直信号線３０８は、各列に設けられた読み出し回路１００ｂの電流源３０７及び転送スイッチ３１０ａ、３１０ｂに接続される。
【００３０】
転送スイッチ３１０ａのゲートには制御信号ΦＴＮが入力し、転送スイッチ３１０ｂのゲートには制御信号ΦＴＳが入力する。また、転送スイッチ３１２ａ及び転送スイッチ３１２ｂのゲートには、水平走査回路１００ｃから出力される制御信号ΦＰＨ（ｉ）が入力される。蓄積容量部３１１ａは、転送スイッチ３１０ａがオン状態で転送スイッチ３１２ａがオフ状態にあるときに、垂直信号線３０８の出力を蓄積する。同様に、蓄積容量部３１１ｂは、転送スイッチ３１０ｂがオン状態で転送スイッチ３１２ｂがオフ状態にあるときに、垂直信号線３０８の出力をする。
【００３１】
水平走査回路１００ｃの列選択信号ΦＰＨ（ｉ）によりｉ列目の転送スイッチ３１２ａ及び転送スイッチ３１２ｂをオン状態にすることで、蓄積容量部３１１ａ及び蓄積容量部３１１ｂの出力がそれぞれ別の水平出力線を介して出力回路１００ｅに転送される。
【００３２】
このような構成を有する撮像素子１００では、マイクロレンズを共有する複数のＰＤの信号を加算した信号を読み出すための加算読み出し動作と、個々のＰＤの信号を取得するための分割読み出し動作とを選択的に行うことが可能である。以下、図３及び図４を参照して、加算読み出し動作と分割読み出し動作について説明する。なお、本実施形態では、各制御信号がＨ（ｈｉｇｈ）の状態の時に各スイッチがオンし、Ｌ（ｌｏｗ）の時にオフとなるものとして説明する。
【００３３】
＜加算読み出し動作＞
図４（ａ）は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦＲ（ｊ）をＨにする。次に、時刻Ｔ２において、制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ｊ行目のマイクロレンズ１００ｆを共有するＰＤ１００ｈ、１００ｇをリセットする。
【００３４】
次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにすると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）をＨにすると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。
【００３５】
次に、時刻Ｔ５でリセット信号ΦＲ（ｊ）をＬにした後、時刻Ｔ６で制御信号ΦＴＮをＨにすると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）を蓄積容量部３１１ａに転送する。
【００３６】
次に、時刻Ｔ７で制御信号ΦＴＮをＬにし、蓄積容量部３１１ａにノイズ信号を保持する。その後、時刻Ｔ８で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ＰＤ１００ｈ、１００ｇの電荷をフローティングディフュージョン領域（ＦＤ領域）３０３に転送する。このとき、２つのＰＤ１００ｈ、１００ｇの電荷を同じＦＤ領域３０３に転送するので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。
【００３７】
続いて時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにする。その後、時刻Ｔ１０で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳをＬにし、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦＳ（ｊ）をＬにする。
【００３８】
この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることよって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１画素分の光信号＋ノイズ信号をそれぞれ異なる水平出力線を介して出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出しにより得られた信号を、「第１の加算信号」と呼ぶ。
【００３９】
＜分割読み出し動作＞
次に、分割読み出し動作について図４（ｂ）を用いて説明する。図４（ｂ）は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦＲ（ｊ）をＨにする。続いて、時刻Ｔ２においてΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＨにして、ｊ行目の画素３０１のＰＤ１００ｈ、１００ｇをリセットする。次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにすると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）をＨにすると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。
【００４０】
時刻Ｔ５でリセット信号ΦＲ（ｊ）をＬにした後、時刻Ｔ６で制御信号ΦＴＮをＨにすると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。
【００４１】
次に、時刻Ｔ７で制御信号ΦＴＮをＬにし、蓄積容量部３１１ａにノイズ信号が保持された後、時刻Ｔ８でΦＴＸＡ（ｊ）をＨにすると、ＰＤ１００ｈの電荷がＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇのうち一方（ここではＰＤ１００ｈ）の電荷をＦＤ領域３０３に転送するので、ＰＤ１００ｈの電荷に応じた信号だけを垂直信号線３０８に出力する。
【００４２】
次に、時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）をＬにした後、時刻Ｔ１０で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１ＰＤ分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳをＬにする。
【００４３】
この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１ＰＤ分の光信号＋ノイズ信号をそれぞれ別の水平出力線で出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出しにより得られた信号を、「分割信号」と呼ぶ。
【００４４】
その後、時刻Ｔ１２でΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）をＨとし、先に転送したＰＤ１００ｈの電荷に加えて、更にＰＤ１００ｇの電荷と新たに発生したＰＤ１００ｈの電荷とをＦＤ領域３０３に転送する。このとき、２つのＰＤ１００ｈ、１００ｇの電荷を同じＦＤ領域３０３に転送するので、２つのＰＤ１００ｈ、１００ｇの電荷を加算した信号（１画素分の光信号＋ノイズ信号）を垂直信号線３０８に出力する。
【００４５】
続いて時刻Ｔ１３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）をＬにした後、時刻Ｔ１４で制御信号ΦＴＳをＨにすると、転送スイッチ３１０ｂがオン状態になる。これにより、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）を蓄積容量部３１１ｂに転送する。
【００４６】
次に時刻Ｔ１５で制御信号ΦＴＳをＬにし、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦＳ（ｊ）をＬにする。
【００４７】
この後、水平走査回路１００ｃの列選択信号ΦＰＨを順にＨにすることによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂを順にオン状態にする。これにより、蓄積容量部３１１ａ、３１１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号をそれぞれ異なる水平出力線で出力回路１００ｅに転送する。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、このような読み出しにより得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。
【００４８】
このようにして読み出した第２の加算信号から、一方のＰＤ１００ｈに対応する分割信号を差し引くことで、他方のＰＤ１００ｇに対応する分割信号を得ることができる。このようにして得られた一対の分割信号を「焦点検出用信号」と呼ぶ。そして、得られた焦点検出用信号に対して公知の相関演算を行うことにより、信号間の位相差を算出することができる。
【００４９】
なお、リセット、電荷の蓄積、および、信号の読み出しという一連の動作をＰＤ１００ｈに対して行った後、同様の動作をＰＤ１００ｇに対して行うことで、１回の電荷蓄積動作に対して２つのＰＤ１００ｈ、１００ｇの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ１００ｈ、１００ｇの信号は、加算することで第２の加算信号を得ることができる。また、以上にも述べたように、マイクロレンズ１つに対して２つのＰＤが配置される構成に限られるものではなく、３つ以上の複数のＰＤを複数回に分けて信号を読みだして、合成するようにしてもよい。
【００５０】
図５は、本実施形態の撮像装置について、撮像素子１００から読み出される信号の配列に注目して、信号の流れを模式的に示した図である。
図５において、１００−１は撮像素子１００の画素アレイ１００ａにおける撮像用画素（撮像用）と焦点検出用画素（撮像＆ＡＦ用）の配置例を模式的に示している。説明および理解を容易にするため、本実施形態において焦点検出用画素は読み出し行単位で配置されるものとする。しかし、読み出し行のうち焦点検出領域に応じた一部の画素を焦点検出用画素とし、残りを撮像用画素としてもよい。この場合、以下に説明する読み出しおよび並び替え処理は、焦点検出用画素が配置されている部分を含む行ブロックにおいて実行すればよい。
【００５１】
なお、ここでは画素アレイ１００ａのうち、焦点検出用画素が配置されている部分を抜き出して記載しており、他の領域には撮像用画素が配置されているものとする。なお、上述したように、各画素は焦点検出用画素としても撮像用画素としても利用可能である。「焦点検出用画素」は、焦点検出用信号と撮像画像用信号の両方を取得するために用いられる画素であり、「撮像用画素」は撮像画像用信号の取得だけに用いられる画素を意味する。換言すれば、「焦点検出用画素」は分割読み出しを行う画素であり、「撮像用画素」は加算読み出しを行う画素である。
【００５２】
撮像素子１００から読み出された画素信号のうち、相関演算回路１２０に供給される画素信号を１００−２で、ＲＡＭ１０６に供給される画素信号を１００−３でそれぞれ模式的に示している。そして、画像処理回路１０８は、焦点検出用画素の信号から焦点検出用信号と撮像画像用信号とを生成し、焦点検出用信号は相関演算回路１２０に供給し、撮像画素用信号はＲＡＭ１０６に格納する。従って、図では焦点検出用画素の信号は１００−２および１００−３の両方に含まれている。ここで、焦点検出用画素の信号は、撮像用画素の信号よりも先に読み出されるため、ＲＡＭ１０６に最初に格納される際には焦点検出用画素の信号が撮像用画素の信号よりも先に配置されている。
【００５３】
領域判定および並び替え部は、ＣＰＵ１０３がＲＡＭ１０６を用いて実現する機能を模式的に示している。具体的には、領域判定および並び替え部は、ＲＡＭ１０６の内部で、１００−３の順序で格納された画素信号を、１００−４（すなわち、撮像素子１００における配列１００−１）の順序に並び替える。
【００５４】
相関演算回路１２０が焦点検出用信号に対して演算した位相差は、ＡＦ処理部に供給され、フォーカスレンズ１１９が駆動される。ＡＦ処理部はＣＰＵ１０３、ＡＦ演算回路１０９、フォーカス駆動回路１１２、フォーカスアクチュエータ１１４によって実現される機能を模式的に機能ブロックとして表したものである。
【００５５】
ＣＰＵ１０３による撮像素子１００からの読み出し制御および並び替え動作に関して、図６のタイミングチャートと図７のフローチャートとを用いて説明する。なお、撮像素子１００の画素アレイ１００ａのうち、焦点検出用画素の配置は例えば焦点検出領域の位置や被写体検出の結果などに基づいて予め定められているものとする。そして、ＣＰＵ１０３は、焦点検出用画素については分割読み出し、撮像用画素については加算読み出しするためのタイミング信号をＴＧ１０２が撮像素子１００に供給するよう、ＴＧ１０２を制御する。
【００５６】
Ｓ３０１でＣＰＵ１０３は、撮像用画素の信号に先立って焦点検出用画素の信号の読み出を開始する。ＣＰＵ１０３は分割読み出しによって得られた第２の加算信号と分割信号の両方を画像処理回路１０８に供給するとともに、第２の加算信号をＲＡＭ１０６の第１の領域に順次書き込む。図６においてＤＲＡＭ＿ＷＲはＣＰＵ１０３がＲＡＭ１０６の第１の領域に書き込む信号の順序を示しており、焦点検出用画素が配置されている３つの行の信号が全ての撮像用画素の信号に先立って読み出され、第２の加算信号がＲＡＭ１０６に書き込まれる。
【００５７】
画像処理回路１０８は、ＣＰＵ１０３から供給される第２の加算信号と分割信号とから焦点検出用信号を生成する。ここで画像処理回路１０８は、各行を構成する焦点検出用画素のうち、焦点検出信号を生成する必要のある画素（例えば、焦点検出領域に該当する範囲の画素と、その前後所定数の画素）についてのみ焦点検出用信号を生成することができる。
【００５８】
Ｓ３０２でＣＰＵ１０３は、画像処理回路１０８が生成した焦点検出用信号を相関演算回路１２０に供給することにより焦点検出処理を開始する。なお、Ｓ３０１の読み出し処理とＳ３０２の焦点検出処理とは並行して実行されてもよい。各行についての焦点検出用信号が供給されると、相関演算回路１２０は焦点検出用信号に対して相関演算を実行し、Ａ像およびＢ像の位相差を算出する。なお、相関演算は、行ごとの焦点検出用信号に対して実行してもよいし、例えば複数行の焦点検出用信号からＡ像の平均波形とＢ像の平均波形とを生成し、１対の平均波形に対して実行してもよいが、これらに限定されない。
【００５９】
ＣＰＵ１０３は、相関演算回路１２０が算出した位相差をＡＦ演算回路１０９に供給する。ＡＦ演算回路１０９は、位相差をフォーカスレンズ１１９の移動方向および移動量に変換し、ＣＰＵ１０３に出力する。ＣＰＵ１０３は、ＡＦ演算回路１０９から得られた移動方向および移動量に従ってフォーカス駆動回路１１２を制御することによってフォーカスアクチュエータ１１４を駆動し、フォーカスレンズ１１９を合焦位置に移動させる。
【００６０】
一方、焦点検出用画素の信号読み出しが完了すると、Ｓ３０４でＣＰＵ１０３は撮像用画素の信号の読み出しを開始する。そして、ＣＰＵ１０３は、撮像用画素から得られた第１の加算信号をＲＡＭ１０６の第１の領域に、焦点検出用画素から得られた第２の加算信号に続いて順次書き込む。なお、Ｓ３０４の撮像用画素の読み出し処理はＳ３０２の焦点検出処理と並行して実行されてもよい。
【００６１】
撮像用画素の読み出しを開始すると、ＣＰＵ１０３はＳ３０６の読み出し領域判定処理を開始する。読み出し判定処理は、撮像素子１００における画素の並びとは異なる順序で読み出された画素信号を、撮像素子１００における画素の並びと等しい順序に並び替えるために、次に第１の領域から読み出す行の種類を判定する処理である。ＣＰＵ１０３は、画素アレイ１００ａにおける焦点検出用画素の配置に基づいて、焦点検出用画素の信号（第２の加算信号）の行を読み出すか、撮像用画素の信号（第１の加算信号）の行を読み出すかを判定する。
【００６２】
例えば図５に示した例では、画素アレイ１００ａの最初の行から順に撮像用画素、焦点検出用画素、撮像用画素、撮像用画素、焦点検出用画素、…と配置されている。ＣＰＵ１０３は例えば焦点検出用画素が配置されている行番号の情報を用いて、最初の行番号から順に、撮像用画素の信号を読み出すか、焦点検出用画素の信号を読み出すかを判定することができる。図５では、第１の領域のうち、焦点検出用画素の信号が書き込まれている領域からの読み出しをＤＲＡＭ＿ＲＤ１、撮像用画素の信号が書き込まれている領域からの読み出しをＤＲＡＭ＿ＲＤ２として示している。また、”並び替え”は第２の領域に書き込まれる信号を示している。
【００６３】
ＣＰＵ１０３は、Ｓ３０７で、次に読み出すべき行が撮像用画素の信号と判定されていればＳ３０８に、次に読み出すべき行が焦点検出用画素の信号と判定されていればＳ３０９に、処理を進める。
【００６４】
Ｓ３０８でＣＰＵ１０３は、第１の領域内に書き込まれている撮像用画素の信号のうち、ＲＡＭ１０６の第２の領域に書き込まれていない先頭行の信号を、ＲＡＭ１０６の第２の領域に書き込まれている信号の最後尾に書き込む。
Ｓ３０９でＣＰＵ１０３は、第１の領域内に書き込まれている焦点検出用画素の信号のうち、ＲＡＭ１０６の第２の領域に書き込まれていない先頭行の信号を、ＲＡＭ１０６の第２の領域に書き込まれている信号の最後尾に書き込む。
Ｓ３０８、Ｓ３０９においてＣＰＵ１０３は、ＲＡＭ１０６の第２の領域が空であれば、第２の領域の先頭から書き込む。
【００６５】
Ｓ３０８またはＳ３０９で１行分の書き込みが終了すると、Ｓ３１０でＣＰＵ１０３は、第２の領域に書き込まれていない信号が残っているかどうかを判定する。ＣＰＵ１０３は残っていないと判定されればＳ３１１へ処理を進め、残っていないと判定されなければＳ３０６へ処理を戻す。
【００６６】
Ｓ３１１でＣＰＵ１０３は、Ｓ３０２で開始した焦点検出処理が完了しているか否か判定し、完了していると判定されれば処理を終了し、判定されなければ焦点検出処理の完了を待機する。
【００６７】
これら一連の処理により、ＲＡＭ１０６の第２の領域には図５の１００−４に示したような順序に信号が並び替えられる。この順序は１００−１に示した画素アレイ１００ａでの順序と等しい。そのため、第２の領域の信号を用いることにより、画素の読み出し順序を変更した影響なしに画像処理を実行することができる。そのため、例えば１００−３に示すような読み出した順番で格納された信号を用いる場合や、焦点検出用画素の信号を用いない場合よりも質の良い撮像画像が得られる。また、焦点検出用画素の信号を撮像用画素の信号より先に読み出すため、撮像素子１００から得られる信号を用いた焦点検出処理に要する時間を短縮することができる。
【００６８】
●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態は、撮像素子１００から１画面分の信号をＲＡＭ１０６に一旦書き込むことなく信号の並び替えを行う。
【００６９】
図８は、図５と同様の形式で本実施形態の構成を模式的に示している。ただし、図８では焦点検出に関する構成の記載を省略している。撮像素子１００から読み出される、１００−３に示す並びの信号のそれぞれについて、アドレス・データ量計算部として機能するＣＰＵ１０３がＲＡＭ１０６への書込みアドレスを算出し、算出したアドレスに書き込む。
【００７０】
つまり、第１実施形態では１画面分の信号を読み出した順序でまずＲＡＭ１０６の第１の領域に一旦書き込んでから、第１の領域から第２の領域に移動またはコピーする順序を制御することによって並び替えを実行した。それに対し本実施形態では、読み出した信号が並び替え後に位置すべきアドレスを算出し、そのアドレスに書き込むようにすることで、信号の並び替えを実現する。
【００７１】
本実施形態における、ＣＰＵ１０３による撮像素子１００からの読み出し制御および並び替え動作に関して、図９および図１０を用いて説明する。なお、撮像素子１００からの読み出し制御については第１実施形態と同様であるため説明を省略する。また、図１０において第１実施形態と同様の処理には同じ参照数字を付してある。図９はＲＡＭ１０６における第１の領域の状態を時系列で模式的に示している。
【００７２】
Ｓ６０１でＣＰＵ１０３は、撮像用画素の信号に先立って焦点検出用画素の信号の読み出を開始する。ＣＰＵ１０３は分割読み出しによって得られた第２の加算信号と分割信号の両方を画像処理回路１０８に供給する。ＣＰＵ１０３はこの時点では第２の加算信号はＲＡＭ１０６の第１の領域には書き込まない。画像処理回路１０８は、ＣＰＵ１０３から供給される第２の加算信号と分割信号とから焦点検出用信号を生成する。
【００７３】
Ｓ３０２でＣＰＵ１０３は、画像処理回路１０８が生成した焦点検出用信号を相関演算回路１２０に供給する。これにより焦点検出処理を開始する。
【００７４】
Ｓ６０２でＣＰＵ１０３は、Ｓ３０１で読み出した第２の加算信号の書き込みアドレスを算出する。書き込みアドレスは、例えば、信号を読み出した画素の位置または順番（例えば撮像素子におけるラスタスキャン順での順番）に応じて算出することができる。
例えば、
・Ａ／Ｄ変換後の１画素当たりのデータ量がｎ［バイト］、
・画素アレイ１００ａの１行あたりの画素数をｍ、
・読み出した画素の行内の水平位置をｓ（ｓは１以上の整数）、
・読み出した行番号をＬ（Ｌは１以上の整数）、
・ＲＡＭ１０６の第１の領域の先頭アドレスを０とすると、
書き込みアドレス［バイト］＝０＋（Ｌ−１）＊ｍ＋（ｓ−１）＊ｎ
として書き込みアドレスを算出することができる。なお、ここでの算出方法は一例であり、他の方法を用いてもよい。
【００７５】
Ｓ６０３でＣＰＵ１０３は、Ｓ３０１で読み出した第２の加算信号を、ＲＡＭ１０６の第１の領域のＳ３０２で算出したアドレスに書き込む。なお、ここでは書き込みアドレスの算出と書き込みとを１画素ずつ行うものとしたが、Ｓ３０１で１行分の信号をＲＡＭ１０６のバッファ領域に書き込んだら、その行の先頭書き込みアドレスを算出し、行ごとに第１の領域に書き込むようにしてもよい。
【００７６】
Ｓ６０１、Ｓ３０２、Ｓ６０２の処理が全ての焦点検出用画素の信号に対して実行され、第２の加算信号の書き込みが完了すると、ＲＡＭ１０６の第１の領域は５０１で示すような状態となる。次にＳ３０４でＣＰＵ１０３は撮像用画素の信号の読み出しを開始する。そして、Ｓ６０４でＣＰＵ１０３は、撮像用画素の信号の書き込みアドレスを、Ｓ６０２と同様にして算出する。Ｓ６０５でＣＰＵ１０３は、Ｓ６０４で算出したアドレスに信号を書き込む。撮像用画素の信号の読み出しおよび書き込みが完了すると、１００−４で示すように、信号の並びが画素アレイ１００ａにおける画素の並びと一致した状態になる。Ｓ３１１の処理は第１実施形態と同様である。
【００７７】
本実施形態によっても第１実施形態と同様の効果を得ることができる。また、本実施形態の構成では、１画面分の信号を一旦書き込んでから並び替えを行う第１実施形態に比べ、並び替え後の画像が得られるまでに必要な時間が短い。また、並び替えに必要な記憶容量が少なくて済む。
【００７８】
●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は、ＲＡＭ１０６よりも高速に読み書きできるメモリ（ＳＲＡＭ１２３）を、読み出した信号を一時的に格納可能な記憶装置（バッファ）として用いて信号の並び替えを行い、ＲＡＭ１０６の第１の領域に書き込む。ＳＲＡＭ１２３は先に読み出される焦点検出用画素の信号を全て格納できる容量を少なくとも有するものとする。
【００７９】
図１１は、図５と同様の形式で本実施形態の構成を模式的に示している。ただし、図１１では焦点検出に関する構成の記載を省略している。焦点検出用画素信号挿入部としてのＣＰＵ１０３は、撮像素子１００から読み出される、１００−３に示す並びの信号について、ＲＡＭ１０６の第１の領域に書き込む順番の信号が入力された場合はそのまま第１の領域に書き込む。一方、ＣＰＵ１０３は、撮像素子１００から読み出された信号が第１の領域に書き込む順番の信号でなければ、ＳＲＡＭ１２３に格納する。この際、第１の領域に書き込む順番の信号がＳＲＡＭ１２３に格納されている場合には、ＳＲＡＭから読み出した信号を第１の領域に書き込む。
【００８０】
本実施形態における、ＣＰＵ１０３による撮像素子１００からの読み出し制御および並び替え動作に関して、図１２および図１３を用いて説明する。なお、撮像素子１００からの読み出し制御については第１実施形態と同様であるため説明を省略する。また、図１３において第１実施形態と同様の処理には同じ参照数字を付してある。図１２は焦点検出用画素信号挿入部としてのＣＰＵ１０３に入力する画素信号と、ＣＰＵ１０３がＳＲＡＭ１２３ＲＡＭ１０６における第１の領域の状態を時系列で模式的に示している。
【００８１】
Ｓ３０１でＣＰＵ１０３は、撮像用画素の信号に先立って焦点検出用画素の信号の読み出を開始する。ＣＰＵ１０３は分割読み出しによって得られた第２の加算信号と分割信号の両方を画像処理回路１０８に供給する。
【００８２】
Ｓ３０２でＣＰＵ１０３は、画像処理回路１０８が生成した焦点検出用信号を相関演算回路１２０に供給する。これにより焦点検出処理が開始される。
Ｓ９０１でＣＰＵ１０３は、Ｓ３０１で読み出した第２の加算信号をＳＲＡＭ１２３に書き込む。なお、Ｓ３０１、Ｓ３０２、Ｓ９０１は焦点検出用画素の信号が全て読み出されるまで並行して実行される。
【００８３】
焦点検出用画素の信号が撮像用画素の信号よりも先にまとめて読み出されるため、図１１の焦点検出用画素信号挿入部としてのＣＰＵ１０３に入力される最初の３行分の信号は焦点検出用画素の信号である。そのため、ＣＰＵ１０３は、図１２に示すように３行分の第２の加算信号をＳＲＡＭ１２３に順次格納する。
【００８４】
焦点検出用画素の信号が全て読み出されると、Ｓ３０４でＣＰＵ１０３は撮像用画素の信号の読み出しを開始し、処理をＳ９０３に進める。
Ｓ９０３でＣＰＵ１０３は、出力領域の判定、すなわち、ＲＡＭ１０６の第１の領域に書き込むべき信号の種類を、例えば焦点検出用画素の配置に関する情報に基づいて判定する。例えば、画素アレイ１００ａの１行目に配置されているのは撮像用画素であるため、Ｓ９０３の最初の実行時にＣＰＵ１０３は撮像用画素の領域を出力領域と判定する。
【００８５】
Ｓ９０４でＣＰＵ１０３は、Ｓ９０３で出力領域が撮像用画素の領域と判定されていればＳ９０７へ、焦点検出用画素の領域と判定されていればＳ９０５へ、処理を進める。
Ｓ９０７でＣＰＵ１０３は、現在入力されている（読み出している）信号が出力対象の信号（ＲＡＭ１の第１の領域に次に書き込むべき信号）か否かを判定する。この判定は例えば読み出し中の行番号と、ＲＡＭ１０６の第１の領域に書き込むべき行番号とが一致するか否かの判定であってよいが、他の判定であってもよい。
【００８６】
ＣＰＵ１０３は、現在入力されている信号が出力対象の信号と判定されればＳ９０８へ、判定されなければＳ９０９へ、処理を進める。
Ｓ９０８でＣＰＵ１０３は、現在入力されている信号をＲＡＭ１０６の第１の領域に順次書き込み、処理をＳ３１０に進める。
【００８７】
Ｓ９０９でＣＰＵ１０３は、ＳＲＡＭ１２３に格納されている撮像用画素の信号（第１の加算信号）のうち、出力対象の信号を読み出してＲＡＭ１０６の第１の領域に書き込み、処理をＳ９１０に進める。
Ｓ９１０でＣＰＵ１０３は、Ｓ９０９で読み出した信号に代えて、入力された（読み出された）撮像用画素の信号を格納し、処理をＳ３１０に進める。なお、Ｓ９０９とＳ９１０におけるＳＲＡＭ１２３からの読み出しとＳＲＡＭ１２３への書き込みとは並列に実行されてよい。
【００８８】
一方、Ｓ９０５でＣＰＵ１０３は、ＳＲＡＭ１２３に格納されている焦点検出用画素の信号（第２の加算信号）のうち、出力対象の信号を読み出してＲＡＭ１０６の第１の領域に書き込み、処理をＳ９０６に進める。
Ｓ９０６でＣＰＵ１０３は、Ｓ９０５で読み出した信号に代えて、入力された（読み出された）撮像用画素の信号を格納し、処理をＳ３１０に進める。なお、Ｓ９０５とＳ９０６におけるＳＲＡＭ１２３からの読み出しとＳＲＡＭ１２３への書き込みとは並列に実行されてよい。
Ｓ９０３〜Ｓ９１０の処理は画素単位で実行しても、行単位で実行してもよい。
【００８９】
Ｓ３１０でＣＰＵ１０３は、第１の領域に書き込まれていない信号が残っているかどうかを判定する。ＣＰＵ１０３は残っていないと判定されればＳ３１１へ処理を進め、残っていないと判定されなければＳ９０３へ処理を戻す。
【００９０】
Ｓ３１１でＣＰＵ１０３は、Ｓ３０２で開始した焦点検出処理が完了しているか否か判定し、完了していると判定されれば処理を終了し、判定されなければ焦点検出処理の完了を待機する。
【００９１】
図１２の１２０１は、画素アレイ１００ａの１行目の撮像用画素の信号が読み出されている状態を示している。この状態では入力されている信号が出力対象の信号であるため、ＳＲＡＭ１２３に格納されている第２の加算信号は読み出されることなく、入力されている信号がそのまま出力される。
【００９２】
図１２の１２０２は、画素アレイ１００ａの３行目の撮像用画素の信号が読み出されている状態を示している。画素アレイ１００ａでは２行目に焦点検出用画素が配置されているため、入力されている信号ではなく、ＳＲＡＭ１２３に格納されている画素アレイ１００ａの２行目から読み出された焦点検出用画素の信号（第２の加算信号）が出力対象の信号になる。そのため、ＳＲＡＭ１２３から読み出された信号がＲＡＭ１０６に出力（書き込み）され、代わりに、読み出されている３行目の撮像用画素の信号がＳＲＡＭ１２３に格納される。
【００９３】
このようにして、ＳＲＡＭ１２３に格納された焦点検出用画素の信号が全て出力された画素アレイ１００ａの１１行目の撮像用画素の信号（撮像用８）以降の読み出しについては、常にＳＲＡＭ１２３に格納された撮像用画素の信号が出力対象となる。
【００９４】
本実施形態によっても第１実施形態および第２実施形態と同様の効果を得ることができる。また、本実施形態の構成では、ＲＡＭ１０６の連続したアドレスに書き込むことができるため、第２実施形態よりも並び替えに要する時間が短縮できる。一時的に信号を格納するメモリに、ＲＡＭ１０６よりも高速なメモリを用いることで、一層の時間短縮が期待される。
【００９５】
（その他の実施形態）
上述の第１〜第３実施形態に関して図７、図１０、図１３のフローチャートに示した処理ステップは必ずしも１ステップずつ実行する必要は無く、連続する２つ以上の処理ステップが並列に実行されうる。特に、読み出しと書き込み処理、焦点検出処理はそれぞれ並列に実行されうることに留意すべきである。
【００９６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９７】
１００…撮像素子、１０２…タイミングジェネレータ、１０３…ＣＰＵ、１０６…ＲＡＭ、１０９…ＡＦ演算回路、１２０…相関演算回路
【図１】
2018125730.tif 000003
【図２】
2018125730.tif 000004
【図３】
2018125730.tif 000005
【図４】
2018125730.tif 000006
【図５】
2018125730.tif 000007
【図６】
2018125730.tif 000008
【図７】
2018125730.tif 000009
【図８】
2018125730.tif 000010
【図９】
2018125730.tif 000011
【図１０】
2018125730.tif 000012
【図１１】
2018125730.tif 000013
【図１２】
2018125730.tif 000014
【図１３】
2018125730.tif 000015