(57)【要約】      （修正有）【課題】撮影画像に係る画素データを読み出す際にスループットを低下させずに、高速で精度の良い焦点調節動作を実現できる複数の撮像素子を備える撮像装置を提供する。【解決手段】撮像装置１は、静止画撮影に用いる第１撮像素子１００と、動画撮影に用いる第２撮像素子１０３を有する。第２撮像素子１０３による動画像の撮影中にＡＦ演算部１２２は、第１撮像素子１００の出力する画素データを取得して焦点検出を行い、ＣＰＵ１２４は焦点検出結果に基づいて焦点調節動作を制御する。【選択図】図１
2014232137.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像素子および第２撮像素子を備える撮像装置であって、
撮像光学系を通して入射する光を分割して前記第１撮像素子および第２撮像素子にそれぞれ１次結像光を受光させる光分割手段と、
前記第１撮像素子の出力する画素データを取得して前記撮像光学系の焦点検出を行う焦点検出手段と、
前記焦点検出手段の検出情報を取得して前記撮像光学系の焦点調節を制御する制御手段を備え、
前記制御手段は、前記第２撮像素子による撮影中に前記第１撮像素子の出力する画素データから前記焦点検出手段が焦点検出を行った検出情報を取得して、前記撮像光学系の焦点調節を制御することを特徴とする撮像装置。
【請求項２】
前記焦点検出手段は、前記第２撮像素子による動画像の撮影中に、前記第１撮像素子に対して設定された領域の位相差検出用画素から読み出した画素データを取得して焦点検出を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記焦点検出手段は、撮影条件に従って変更された前記領域の位相差検出用画素から読み出した画素データを取得することを特徴とする請求項２に記載の撮像装置。
【請求項４】
撮影画面上での焦点検出領域を選択する操作手段を備え、
前記焦点検出手段は、前記操作手段により選択された焦点検出領域の前記位相差検出用画素から読み出した画素データを取得することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記第２撮像素子により撮像した被写体像の顔領域を検出する顔検出手段を備え、
前記焦点検出手段は、前記顔検出手段により検出される顔領域に対応する領域の前記位相差検出用画素から読み出した画素データを取得することを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記第１撮像素子および第２撮像素子は、２次元アレイ状に配置した複数の光電変換部を有し、
前記第１撮像素子は、前記第２撮像素子に比べて画素数が多いことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
【請求項７】
前記焦点検出手段は、前記第２撮像素子による動画像の撮影中に前記第１撮像素子の出力する画素データを取得する場合、前記第１撮像素子にて複数の画素データを加算処理したデータを取得することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第１撮像素子は、前記第２撮像素子の１画素分の面積に対する前記第１撮像素子の１画素分の面積の比率に相当する画素分のデータを加算したデータを出力することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記焦点検出手段は、前記第１撮像素子または第２撮像素子の出力する画素データを取得して前記撮像光学系の焦点検出を行い、
前記制御手段は、前記第１撮像素子による撮影中に前記第２撮像素子の出力する画素データから前記焦点検出手段が焦点検出を行った検出情報を取得して、前記撮像光学系の焦点調節を制御することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
【請求項１０】
前記焦点検出手段は、前記第１撮像素子により静止画像を撮影する場合、前記第２撮像素子の位相差検出用画素が出力する画素データを取得して焦点検出を行い、前記第２撮像素子により動画像を撮影する場合、前記第１撮像素子の位相差検出用画素が出力する画素データを取得して焦点検出を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
動画像の記録サイズを設定する記録サイズ設定手段を備え、
前記焦点検出手段は、前記記録サイズ設定手段により設定された動画像の記録サイズが閾値以下である場合、前記第２撮像素子の出力する画素データを取得して焦点検出を行うことを特徴とする請求項９または１０に記載の撮像装置。
【請求項１２】
動画像のフレームレートを設定するフレームレート設定手段を備え、
前記焦点検出手段は、前記フレームレート設定手段により設定されたフレームレートが閾値以下である場合、前記第２撮像素子の出力する画素データを取得して焦点検出を行うことを特徴とする請求項９ないし１１のいずれか１項に記載の撮像装置。
【請求項１３】
焦点検出の際に被写体に追従しつつ前記撮像光学系の焦点位置を変更する機能について有効または無効を設定する機能設定手段を備え、
前記焦点検出手段は、前記機能設定手段により前記機能が無効に設定された場合、前記第２撮像素子の出力する画素データを取得して焦点検出を行うことを特徴とする請求項９ないし１２のいずれか１項に記載の撮像装置。
【請求項１４】
第１撮像素子および第２撮像素子を備える撮像装置にて実行される制御方法であって、
撮像光学系を通して入射する光を、光分割手段により分割して前記第１撮像素子および第２撮像素子にそれぞれ１次結像光を受光させるステップと、
前記第１撮像素子の出力する画素データを取得して前記撮像光学系の焦点検出を行う焦点検出ステップと、
前記焦点検出ステップでの検出情報を取得して前記撮像光学系の焦点調節を制御する制御ステップを有し、
前記制御ステップでは、前記第２撮像素子による撮影中に、前記第１撮像素子の出力する画素データを用いて前記焦点検出ステップで焦点検出を行った検出情報を取得して、前記撮像光学系の焦点調節を制御することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の焦点調節制御に関し、特に複数の撮像素子を備える撮像装置とその制御方法に関するものである。
【背景技術】
【０００２】
従来、２つの撮像素子を有する撮像装置のオートフォーカス（ＡＦ）制御方法に関して、一方の撮像素子が位相差検出用画素を備え、検出した位相差から合焦判定を行う技術がある。特許文献１は、位相差検出用画素を持つ撮像素子により画像を生成する場合に位相差検出用画素のデータ補完に係る処理を効率的に行うための技術を開示する。特許文献１では位相差検出用画素を有する撮像素子によりライブビュー表示および動画撮影を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−４２５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に開示の従来技術では、動画撮影時にて位相差検出用画素を有する撮像素子から、動画像用画素データと位相差検出用画素データを読み出す必要がある。位相差検出用画素データの読出しに伴い、動画像用画素データの読出しのスループットが低下する可能性がある。また、ＡＦ演算速度および精度の観点からは、位相差検出用画素データを高速に複数回読み出すことが望まれる。しかし、位相差検出用画素データは動画像の画素データを読み出す時に同時に読み出されるため、ＡＦ演算の処理速度が動画のフレームレートに律速されてしまう。
また、動画像用画素と位相差検出用画素は露光蓄積時間が同じになるため、ライブビュー撮影や動画撮影に適した露光蓄積時間がＡＦ処理にとって最適な時間とは限らない。場合によっては、ＡＦ精度の低下が懸念される。
【０００５】
本発明の目的は、複数の撮像素子を備える撮像装置において、撮影画像に係る画素データを読み出す際にスループットを低下させずに、高速で精度の良い焦点調節動作を実現することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る装置は、第１撮像素子および第２撮像素子を備える撮像装置であって、撮像光学系を通して入射する光を分割して前記第１撮像素子および第２撮像素子にそれぞれ１次結像光を受光させる光分割手段と、前記第１撮像素子の出力する画素データを取得して前記撮像光学系の焦点検出を行う焦点検出手段と、前記焦点検出手段の検出情報を取得して前記撮像光学系の焦点調節を制御する制御手段を備える。前記制御手段は、前記第２撮像素子による撮影中に前記第１撮像素子の出力する画素データから前記焦点検出手段が焦点検出を行った検出情報を取得して、前記撮像光学系の焦点調節を制御する。
【発明の効果】
【０００７】
本発明によれば、撮影画像に係る画素データを読み出す際にスループットを低下させずに、高速で精度の良い焦点調節動作を実現できる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成例を示す図である。
【図２】本発明の実施形態に係る撮像部の構成を示す模式図である。
【図３】本発明の実施形態に係る撮像素子の構成例を示す図である。
【図４】本発明の第１実施形態に係る撮像素子の構成例を示す図である。
【図５】本発明における焦点検出の説明図である。
【図６】本発明の第１実施形態に係る撮像装置の動作を説明するフローチャートである。
【図７】本発明の第１実施形態に係る撮像素子の読出し領域を示す図である。
【図８】本発明における焦点検出に係る各像を説明する図である。
【図９】本発明の第１実施形態に係る焦点検出領域の選択を説明する図である。
【図１０】本発明の第１実施形態に係る撮像素子の読出しタイミングを説明する図である。
【図１１】本発明の第１実施形態の変形例に係る撮像素子の構成例を示す図である。
【図１２】本発明の第２実施形態に係る撮像素子の構成例を示す図である。
【図１３】本発明の第２実施形態に係る撮像装置の動作を説明するフローチャートであり、処理の前半部を示す。
【図１４】図１３に続く処理を示すフローチャートである。
【図１５】本発明の第２実施形態に係る撮影設定画面例を示す図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る撮像装置１の構成例を示す図である。撮像装置１は、撮像光学系（結像光学系）と、複数の撮像素子１００，１０３を備える。
第１レンズ群１１１は、撮影光学系の前端側（被写体側）に配置され、レンズ鏡筒にて光軸方向に進退可能に支持される。絞り１１０は、その開口径を調節することで撮影時の光量調節を行う。第２レンズ群１０９は、絞り１１０と一体となって光軸方向に進退する。第２レンズ群１０９は、第１レンズ群１１１の進退動作との連動により、変倍作用（ズーム機能）をもつ。第３レンズ群１０８は、光軸方向に進退して焦点調節を行うフォーカスレンズ群である。
【００１０】
図２に示すように、ハーフミラー１０７は、被写体からの入射光束を反射光と透過光に分割する光分割手段である。ハーフミラー１０７の透過光は第１撮像素子１００に入射し、反射光は第２撮像素子１０３に入射する。フォーカルプレーンシャッタ１０６は静止画撮影時に露光秒時を調節する。本実施形態ではフォーカルプレーンシャッタ１０６により、第１撮像素子１００の露光秒時を調節する構成である。これに限らず、第１撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。
【００１１】
光学像を電気信号に変換する第１撮像素子１００は、主に静止画像の撮影に使用する。第１ＡＦＥ（アナログ・フロント・エンド）１０１は、第１撮像素子１００が出力するアナログ画像信号に対して、ゲイン調整や、所定の量子化ビットに対応したデジタル信号への変換を行う。第１ＴＧ（タイミング・ジェネレータ）１０２は、第１撮像素子１００及び第１ＡＦＥ１０１の駆動タイミングを制御する。
【００１２】
光学像を電気信号に変換する第２撮像素子１０３は、主に動画像の撮影に使用する。第２ＡＦＥ１０４は、第２撮像素子１０３が出力するアナログの画像信号に対して、ゲイン調整や、所定の量子化ビットに対応したデジタル信号への変換を行う。第２ＴＧ１０５は、第２撮像素子１０３及び第２ＡＦＥ１０４の駆動タイミングを制御する。第１ＡＦＥ１０１、第２ＡＦＥ１０４がそれぞれ出力する画像データはＣＰＵ（中央演算処理装置）１２４に送られる。第１ＴＧ１０２と第２ＴＧ１０５は、ＣＰＵ１２４からの制御信号に従い、駆動信号を生成して第１撮像素子１００、第２撮像素子１０３にそれぞれ出力する。なお、本実施形態では第１撮像素子１００に関連する第１ＡＦＥ１０１、第１ＴＧ１０２や、第２撮像素子１０３に関連する第２ＡＦＥ１０４、第２ＴＧ１０５を使用するが、ＡＦＥ、ＴＧを撮像素子内に内蔵した構成でもよい。
【００１３】
ＣＰＵ１２４は撮像装置を統括的に制御する。ＣＰＵ１２４は、フォーカス駆動回路１１２および絞り駆動回路１１３を制御する。例えば、ＣＰＵ１２４は、ＡＦ演算部１２２の焦点検出結果（検出情報）に基づいて、フォーカス駆動回路１１２によりフォーカスアクチュエータ１１４を駆動制御する。これにより、第３レンズ群１０８が光軸方向に進退して焦点調節動作が行われる。また、ＣＰＵ１２４は絞り駆動回路１１３により絞りアクチュエータ１１５を駆動制御し、絞り１１０の開口径を制御する。
【００１４】
ＣＰＵ１２４には各部（１１６ないし１２３参照）が接続されている。操作部１１６はユーザが撮影指示や撮影条件等の設定操作をＣＰＵ１２４に対して行う場合に使用する。表示部１１７は撮影済みの静止画像や動画像、メニュー等の表示を行う。表示部１１７はカメラ本体部背面のＴＦＴ（薄膜トランジスタ）液晶ディスプレイやファインダなどを含む。ＲＡＭ（ランダム・アクセス・メモリ）１１８は、第１ＡＦＥ１０１、第２ＡＦＥ１０４がデジタル変換した画像データや、第１画像処理部１２０が処理したデータを記憶する。またＲＡＭ１１８は、第２画像処理部１２１が処理した画像データを記憶するための画像データ記憶部として機能と、ＣＰＵ１２４のワークメモリとしての機能を併せ持つ。本実施形態では、これらの機能をもつＲＡＭ１１８を実装するが、アクセス速度が十分なレベルのメモリであれば、他のメモリを使用可能である。ＲＯＭ（リード・オンリ・メモリ）１１９は、ＣＰＵ１２４が解釈して実行するプログラムを格納する。フラッシュＲＯＭ等のメモリデバイスが使用される。
【００１５】
第１画像処理部１２０は、撮影された静止画像の補正や圧縮等の処理を行う。第２画像処理部１２１は、撮影された動画像の補正や圧縮等の処理を行う。また第２画像処理部１２１は、後述するＡ画像データとＢ画像データを加算する機能を有する。
ＡＦ演算部１２２は、第１撮像素子１００が出力する画素信号に基づいて焦点検出を行う。フラッシュメモリ１２３は、静止画像データ及び動画像データを記録するための、着脱可能なメモリデバイスである。本実施形態では記録媒体としてフラッシュメモリを使用するが、データ書き込み可能な不揮発性メモリや、ハードディスク等でもよい。また、これらの記録媒体をケースに内蔵した形態でも構わない。
【００１６】
図２は、第１撮像素子１００、第２撮像素子１０３、ハーフミラー１０７の位置関係を説明する模式図である。ハーフミラー１０７の反射光は第２撮像素子１０３に入射し、透過光は第１撮像素子１００に入射する。ハーフミラー１０７の中心から第１撮像素子１００までの距離ａと、ハーフミラー１０７の中心から第２撮像素子１０３までの距離ｂは等しい（ａ＝ｂ）。つまり、第１撮像素子１００と第２撮像素子１０３には等しい倍率の被写体像である１次結像光が入射する。よって、第１撮像素子１００の出力する画素信号を用いてＡＦ制御を行う場合でも、第２撮像素子１０３に結像する被写体にピントを合わせることができる。
【００１７】
図３は、第１撮像素子１００の構成を示す。第１撮像素子１００は、画素アレイ１００ａと、画素アレイ１００ａにおける行を選択する垂直選択回路１００ｄ、画素アレイ１００ａにおける列を選択する水平選択回路１００ｃを備える。読出し回路１００ｂは、画素アレイ１００ａ中の画素のうち垂直選択回路１００ｄ及び水平選択回路１００ｃによって選択される画素の信号を読み出す。
【００１８】
垂直選択回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１２４から出力される水平同期信号に基づいて第１ＴＧ１０２から出力される読出しパルスを、選択行において有効にする。読出し回路１００ｂは列毎のアンプやメモリを含み、選択行の画素信号はアンプを介してメモリに格納される。メモリに格納された１行分の画素信号は、水平選択回路１００ｃによって列方向に順に選択され、出力アンプ１００ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素信号が外部に出力される。なお、第２撮像素子１０３の構成も同様であるため、その詳細な説明を省略する。
【００１９】
図４は、画素アレイ１００ａの構成例を示す。画素アレイ１００ａは、２次元の画像データを出力するため、複数の画素部を２次元アレイ状に配置した構成である。図４（Ａ）は、位相差検出が可能な画素アレイの構成を例示し、図４（Ｂ）は、位相差検出が可能でない画素アレイの構成を例示する。本実施形態では、第１撮像素子１００の画素アレイは図４（Ａ）の構成とする。一方、第２撮像素子１０３の画素アレイは図４（Ｂ）の構成とする。
【００２０】
図４（Ａ）に円形枠で示すマイクロレンズ１００ｆに対し、長方形枠で示す複数のフォトダイオード（以下、ＰＤと記す）１００ｇ、１００ｈが設けられる。ＰＤ１００ｇ、１００ｈは、複数の光電変換部を構成する。つまり、各画素部を構成する２つのＰＤに対して１つのマイクロレンズが被写体側に配置される。マイクロレンズ１００ｆを共有する領域を１画素とした場合、水平方向にｈ１個の画素、垂直方向にｉ１個の画素が並んで配置される。ＰＤ１００ｇとＰＤ１００ｈにそれぞれ蓄積された信号は、読出し動作によって別々に外部に出力される。ＰＤ１００ｇとＰＤ１００ｈには、後述のように位相差を持った異なる像の光がそれぞれ入射する。以下、ＰＤ１００ｇをＡ像用画素とし、ＰＤ１００ｈをＢ像用画素とする。本実施形態では、１つのマイクロレンズに対して２個のＰＤを配置した構成例を示すが、１つのマイクロレンズに対して３以上のＰＤ（例えば４個、９個など）を配置した構成でもよい。つまり、１つのマイクロレンズに対して複数のＰＤが上下方向または左右方向に配置された構成にも本発明を適用できる。
【００２１】
図４（Ｂ）の構成では、マイクロレンズ１０３ｆに対してＰＤ１０３ｇが１個だけ設けられている。すなわち、正方形枠で示す１つのＰＤに対して、１つのマイクロレンズを被写体側に配置した構成である。水平方向にｈ２個の画素、垂直方向にｉ２個の画素が並んで配置される。
第１撮像素子１００は静止画撮影で使用し、第２撮像素子１０３は動画撮影で使用する。このため、第１撮像素子１００の画素数（ｈ１×ｉ１画素）は、第２撮像素子１０３の画素数（ｈ２×ｉ２画素）より多い。また第２撮像素子１０３は、第１撮像素子１００よりも画素数が少ないため、１個のＰＤの面積が大きくなるので感度が高い。ハーフミラー１０７により分割される光束は、透過光と反射光とでＭ：Ｎの割合で分割される。「Ｎ＜Ｍ」に設定され、感度が高い第２撮像素子１０３への入射光の割合の方が、第１撮像素子１００への入射光の割合よりも小さい。
【００２２】
次に、図４（Ａ）に示す画素アレイ構成を有する第１撮像素子１００にて、Ａ像用画素とＢ像用画素が出力する画素データについて説明する。図５（Ａ）および（Ｂ）は、第１撮像素子１００におけるピント状態と位相差との関係を示す模式図である。
図５に示す画素アレイの断面１００ａにおいて、１つのマイクロレンズ１２８に対してＡ像用画素１２９およびＢ像用画素１３０が配置される。撮影レンズ１２５は、図１に示す第１レンズ群１１１、第２レンズ群１０９、第３レンズ群１０８を併せて１つのレンズとして表現した撮像光学系である。被写体１２６からの光は、光軸１２７を中心として、撮影レンズ１２５の各領域を通過して撮像素子に結像する。ここでは射出瞳と撮影レンズの中心を同一としている。撮影レンズ１２５の各領域は、異なる方向から光が通過する。すなわち、本構成では、撮像光学系をＡ像用画素から見た場合とＢ像用画素から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束として、いわゆる瞳分割される。この分割光束（第１光束ΦＬａ及び第２光束ΦＬｂ）がＡ像用画素及びＢ像用画素にそれぞれ入射する。
【００２３】
被写体１２６上の特定点からの第１光束は、Ａ像用画素１２９に対応する分割瞳を通ってＡ像用画素１２９に入射する光束ΦＬａである。また、被写体１２６上の特定点からの第２光束は、Ｂ像用画素１３０に対応する分割瞳を通ってＢ像用画素１３０に入射する光束ΦＬｂである。瞳分割された２つの光束は、被写体１２６上の同一点から撮像光学系を通過して入射される。このため、被写体１２６にピントが合った状態では、図５（Ａ）に示すように、光束ΦＬａ，ΦＬｂが同一のマイクロレンズを通過して撮像素子上の１点に到達する。したがって、Ａ像用画素１２９とＢ像用画素１３０からそれぞれ得られる像信号の位相は互いに一致する。
【００２４】
これに対し、図５（Ｂ）に示すように、光軸方向に距離Ｙだけピントがずれている状態では、光束ΦＬａ，ΦＬｂがマイクロレンズへ入射する入射角の変化分だけ両光束の到達位置が互いにずれる。したがって、Ａ像用画素１２９とＢ像用画素１３０からそれぞれ得られる像信号には位相差が生じる。Ａ像用画素１２９およびＢ像用画素１３０により検出される、互いに位相差を持った２つの被写体像（Ａ像及びＢ像）はＰＤがそれぞれ光電変換する。光電変換後のＡ像、Ｂ像の各信号は別々に外部へ出力され、後述するＡＦ動作で使用される。
【００２５】
次に図６のフローチャートを参照して、本実施形態における撮像装置の動作を説明する。以下の処理はＣＰＵ１２４がメモリからプログラムを読み出して実行することにより実現される。
先ず、Ｓ１０１にて操作部１１６に含まれる動画撮影スイッチが押下されるまで待機状態となる。ユーザ操作により動画撮影スイッチが押下されると、Ｓ１０２にてＣＰＵ１２４は動画撮影動作を開始させる。第２撮像素子１０３、第２ＡＦＥ１０４、第２ＴＧ１０５に電源が投入され、ＣＰＵ１２４は動画撮影設定を行う。この設定後、ＣＰＵ１２４から出力される同期信号に基づいて第２ＴＧ１０５が第２撮像素子１０３に読出しパルスを出力し、第２撮像素子１０３は所定のフレームレートでの読出し動作を開始する。なお、本実施形態にて動画像の電荷蓄積および読出し動作はスリットローリング動作による電子シャッタ機能を使用して行われるが、この限りではない。
【００２６】
第２撮像素子１０３から出力される画像データは、ＣＰＵ１２４によりＲＡＭ１１８へ転送される。その後、画像データは第２画像処理部１２１に転送され、補正や圧縮処理等が行われて動画フレームのデータが作成される。作成された動画フレームのデータに従って表示部１１７は画像を表示する（ライブビュー表示）。撮影前に表示部１１７に表示されるメニューを見ながら操作部１１６を使用してユーザが操作することにより、動画記録モードが選択されている場合には、動画像データがフラッシュメモリ１２３に順次記録される。
【００２７】
Ｓ１０３でＣＰＵ１２４は、動画撮影スイッチが再度操作されたか否かを判定する。動画撮影スイッチが操作されていない場合、動画撮影動作が継続し、Ｓ１０４へ処理を進める。また、Ｓ１０３で動画撮影スイッチが操作された場合には、動画撮影動作を終了する。Ｓ１０４でＣＰＵ１２４は、操作部１１６に含まれるＡＦスイッチが押下されたか否を判定する。ＡＦスイッチの押下が判定された場合には、Ｓ１０５へ処理を進め、動画撮影中にＡＦ演算が実行される。また、Ｓ１０４でＡＦスイッチが押下されていないと判定された場合、Ｓ１０８へ処理を進める。Ｓ１０５でＣＰＵ１２４は、第１撮像素子１００の位相差検出用画素から画素データを読み出すための設定を行う。この場合、全画面のデータを読み出すのではなく、一部領域から画素データを読み出す処理が実行される。図７に示す領域１００ｉ内の画素部からデータが部分的に読出される。これにより、高速なＡＦ演算を実行できる。更には動作時間を短くできるため、消費電力が抑えられる。なお、図７の領域１００ｉでは３画素分のデータ読出しを例示するが、読み出す画素の数については任意に設定できる。また、第１撮像素子１００から位相差検出用画素データを読み出す一部領域については、撮影条件が変更された場合や操作指示等に応じて適宜に変更され、変更後の領域から画素データを読み出す処理が実行される。第１撮像素子１００から出力されるＡ像用画素データおよびＢ像用画素データは、ＣＰＵ１２４によりＲＡＭ１１８へ転送される。ＣＰＵ１２４はＲＡＭ１１８に格納されるＡ像用画素データを用いた画像データ（Ａ像に対応するＡ画像データ）と、Ｂ像用画素データを用いた画像データ（Ｂ像に対応するＢ画像データ）をＡＦ演算部１２２に転送する。
【００２８】
図８（Ａ）は、図５（Ａ）で説明したように被写体にピントが合っている場合のＡ画像データおよびＢ画像データを例示する。横軸は、画素位置を表し、縦軸は出力レベルを表す。図８（Ａ）に示すように、被写体にピントが合っている場合、Ａ画像データとＢ画像データは一致する。図８（Ｂ）は、図５（Ｂ）で説明したように被写体にピントが合っていない場合のＡ画像データおよびＢ画像データを例示する。この場合、Ａ画像データとＢ画像データは位相差を持ち、画素位置にずれ量Ｘが生じる。ＡＦ演算部１２２は、動画フレーム毎のずれ量Ｘを算出することによりピントずれ量、即ち図５（Ｂ）におけるＹ値を算出する。ＡＦ演算部１２２は算出したＹ値を、ＣＰＵ１２４を介してフォーカス駆動回路１１２に送信する。
【００２９】
Ｓ１０６でフォーカス駆動回路１１２は、ＡＦ演算部１２２から取得したＹ値に基づき第３レンズ群１０８の駆動量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。フォーカスアクチュエータ１１４により、第３レンズ群１０８は被写体にピントが合う合焦位置まで移動し、第１撮像素子１００の受光面上に焦点が位置する状態となる。この時、第１撮像素子１００と第２撮像素子１０３には、像面倍率が同じである１次結像光が入射しており、被写界深度等も同一である。このため、第１撮像素子１００で被写体にピントが合った状態では、第２撮像素子１０３でも被写体にピントが合った状態となる。次のＳ１０７でＣＰＵ１２４は、フォーカス駆動の結果、合焦状態であるか否かの判定（合焦判定）を行う。そのために、Ｓ１０７では再度ＡＦ演算が実行される。ＡＦ演算の処理内容はＳ１０５と同様であるため、説明を省略する。撮像光学系が合焦状態であると判定された場合、Ｓ１０８に処理を進め、合焦状態でないと判定された場合、Ｓ１０４に処理を戻す。Ｓ１０８でＣＰＵ１２４は、操作部１１６に含まれる静止画撮影スイッチが押下されたか否かを判定する。静止画撮影スイッチが押下された場合、Ｓ１０９に処理を進め、静止画撮影スイッチが押下されていない場合、Ｓ１０３に処理を戻す。
【００３０】
Ｓ１０９で静止画撮影動作が開始すると、ＣＰＵ１２４はフォーカルプレーンシャッタ１０６を制御して第１撮像素子１００に対する露光動作を行う。その後、ＣＰＵ１２４から出力される同期信号に基づいて第１ＴＧ１０２は第１撮像素子１００に読出しパルスを出力する。これにより第１撮像素子１００は読出し動作を開始する。第１撮像素子１００が出力した画像データは、第１ＡＦＥ１０１がデジタルデータに変換した後、ＲＡＭ１１８に格納される。ＣＰＵ１２４はＲＡＭ１１８に格納される画像データを第１画像処理部１２０に転送する。第１画像処理部１２０は画像データの補正や圧縮処理等を行い、処理後の画像データはフラッシュメモリ１２３に記録される。Ｓ１０９の後でＳ１０３へ戻り、前記処理が繰り返される。
なお、Ｓ１０４においてＡＦスイッチが押下されていない場合には、Ｓ１０８に移行する。また、表示部１１７と操作部１１６を使用したメニュー表示での操作指示により、ＡＦ動作がＯＦＦ状態に設定されている場合も同様である。
【００３１】
図９は撮影画面上でのＡＦフレーム枠（焦点検出領域を表示する枠）を例示した図である。図９（Ａ）は、ＡＦフレーム枠の選択処理について一例を示す。ＡＦフレーム枠は表示部１１７等の画面に表示され、ユーザは操作部１１６を用いてＡＦフレーム枠を選択できる。図９（Ａ）のＡＦフレーム枠１３２は選択可能なエリアを示し、ＡＦフレーム枠１３１は現在選択中のＡＦフレーム枠を示す。図６のＳ１０５では現在選択中のＡＦフレーム枠１３２の位置に基づいて、これに対応する領域（図７に示す領域１００ｉ参照）を決定する処理が行われる。当該領域にて、第１撮像素子１００の画素データが読み出されてＡＦ演算処理が実行される。なお、図９（Ａ）に示すＡＦフレーム枠の数や領域は例示であって、任意に設計可能である。
【００３２】
図９（Ｂ）は、被写体の顔領域を検出してＡＦフレーム枠を自動で選択する処理について一例を示す。図９（Ｂ）ではＡＦフレーム枠１３２と被写体像１３３を例示する。ＣＰＵ１２４は、第２撮像素子１０３で撮影している動画フレーム（ライブビュー画像でも可）を画像解析することで被写体を判定し、被写体の顔領域を検出する。ＡＦフレーム枠１３４は被写体の顔領域に対応するＡＦフレーム枠である。このＡＦフレーム枠１３４の位置に相当する画素データに基づいてＡＦ演算処理が実行される。なお、被写体の顔検出方法については特に限定しない。
【００３３】
図１０は、従来例と対比しつつ、本実施形態における位相差検出用画素の読出しタイミングを説明する図である。図１０（Ａ）は、従来のシステムにおいて、動画撮影用撮像素子の位相差検出用画素からデータを読み出すタイミングを例示する。図１０（Ｂ）は、本実施形態における動画撮影用の第２撮像素子１０３から動画像用画素データを読み出すタイミングを例示する。図１０（Ｃ）は、本実施形態における静止画用の第１撮像素子１００から位相差検出用画素データを読み出すタイミングを例示する。なお、図１０の縦軸は各撮像素子の垂直方向の位置を示し、横軸は時間軸を示す。
図１０（Ａ）に示す期間１４０の長さは、撮像素子の蓄積時間を示す。この蓄積時間は動画の撮影設定によって決定される。期間１４０において、Ａ像用画素、Ｂ像用画素の信号電荷蓄積がそれぞれ行われる。期間１４０で蓄積された信号の示す画素データは斜めの線分１４１の時点で示すタイミングで読み出され、ＣＰＵ１２４によってＲＡＭ１１８に格納される。その後、第２画像処理部１２１に転送され、同一のマイクロレンズ下にあるＡ像用画素およびＢ像用画素の各データを、画素毎に加算する処理が実行される。これにより、動画フレームのデータが作成される。
【００３４】
右向きの矢印で示す期間１４２の長さはＡＦ演算の処理時間を示している。図６で説明したようにＡ像用画素、Ｂ像用画素の各データを用いてＡＦ演算処理が実行される。期間１４３の長さはフォーカス駆動時間を示している。図６で説明したようにＡＦ演算結果に基づいてフォーカス駆動処理が実行される。
図１０（Ａ）に示す従来例のシステムでは、線分１４１の時点で示す読出しタイミングにおいて、動画フレームのデータ作成とＡＦ演算処理を行うために、Ａ像用画素データとＢ像用画素データを読み出す必要がある。そのため、読出しスループット（この場合、動画のフレームレートに対応する処理能力）を十分に発揮できない。この問題を解決すべく、本実施形態での画素データ読出し方法について、図１０（Ｂ）および（Ｃ）を参照して以下に説明する。
【００３５】
図１０（Ｂ）は、第２撮像素子１０３の動画像用画素データの読出し処理を例示する。期間１４０の長さは、図１０（Ａ）と同様に蓄積時間を示す。斜めの線分１４４で示す時点は画素データの読出しタイミングを示し、動画像用の画素データが読み出される。すなわち、線分１４４の時点で動画像用の画素データの読出し処理のみが行われるので、動画のフレームレートを最大限に発揮することができる。
【００３６】
図１０（Ｃ）に示す期間１４５の長さは、第１撮像素子１００での位相差検出用画素の蓄積時間を示している。蓄積時間については動画用画素の蓄積時間（期間１４０参照）と同一にする必要はなく、ＡＦ演算処理に適した蓄積時間を設定できる。図１０（Ｃ）の例では、図１０（Ｂ）の場合に比べて蓄積時間を長く設定しているが、これに限ったものではない。本実施形態では、ＡＦ演算処理に適した蓄積時間を設定できるので、より精度の高いＡＦ動作を行える。
線分１４６で示す時点は位相差検出用画素データの読出しタイミングを示している。図７の領域１００ｉについて説明したように、第１撮像素子１００の画素群における部分領域に限定してデータの読出し処理を行うことで、読出し時間（所要時間）を大幅に低減できる。その結果、より高速なＡＦ動作を実現できる。なお、期間１４７の長さはＡＦ演算処理時間を表し、図１０（Ａ）の期間１４２と同様である。また、期間１４８の長さはフォーカス駆動時間を表し、図１０（Ａ）の期間１４３と同様である。
【００３７】
本実施形態によれば、読出しスループットを最大限に発揮した動画撮影動作を実現でき、また、動画撮影時のＡＦ処理を高精度かつ高速に行うことができる。
本実施形態では、第１撮像素子１００の全ての画素部が焦点検出用画素を含み、位相差検出方式のＡＦ処理を行える構成をもつが、この限りではない。例えば、第１撮像素子１００が、離散的に配置された焦点検出用画素を備え、対をなす像信号を取得して位相差ＡＦ処理を行う構成でもよい。この場合、焦点検出用の画素部については、例えば、各マイクロレンズに対して１つのＰＤを有し、遮光層により左右または上下の部分が遮光された構成で瞳分割方式の焦点検出を行う。
また、第１撮像素子１００が第２撮像素子１０３と同様の画素構成であって、各画素部から読み出した画像データのコントラストを検出してＡＦ動作を行うコントラストＡＦ方式を適用する構成も可能である。この場合、第１撮像素子１００は、１つのマイクロレンズに対して１つのＰＤを有する構成でよい。
【００３８】
本実施形態では、第１撮像素子１００により取得されるＡ画像データとＢ画像データを画像処理部が加算して動画を生成する構成である。これに限らず、Ａ画像データ、Ｂ画像データがそれぞれ必要ない場合には、一部または全部の画素部についてＡ画像データ、Ｂ画像データを撮像素子内で加算して出力する構成でもよい。
【００３９】
［第１実施形態の変形例］
図１１は、撮像素子の画素アレイの変形例を模式的に示す。一般的に、静止画撮影用の第１撮像素子１００は動画撮影用の第２撮像素子１０３に比べ、高画素数の構成となる。一方、第２撮像素子１０３は第１撮像素子１００に比べ、１画素当たりの面積を大きくして感度を高めた構成となる。
図１１（Ａ）は第１撮像素子１００の画素アレイを例示し、図１１（Ｂ）は第２撮像素子１０３の画素アレイを例示する。図１１（Ｂ）に示す第２撮像素子１０３の１画素（１０３ｉ参照）に対して、図１１（Ａ）に示す第１撮像素子１００の画素部は４画素（１００ｉ参照）対応している。
【００４０】
説明の便宜上、第２撮像素子１０３の１画素分の面積に対し、第１撮像素子１００の１画素分の面積の比率を約４：１としたが、この比率については仕様に応じて変更可能である。また、位相差検出に使用するための、対をなすＡ像用画素データおよびＢ像用画素データについては、第１撮像素子１００内で複数の画素のデータについて加算処理を行ってから、加算後のデータを読み出す構成により、処理の高速化を図ることができる。例えば、第２撮像素子１０３の１画素分の面積に対し、第１撮像素子１００の１画素分の面積の比率をＮ：１とした場合、当該比率に相当するＮ画素分のデータを加算したデータを第１撮像素子１００から読み出す処理が行われる。
変形例では、第２撮像素子１０３に比較して高精細な画素出力が可能な第１撮像素子１００における特定領域（焦点検出用の選択領域）内の画素部から、位相差検出信号を取得して焦点ずれ量を算出することができる。
【００４１】
［第２実施形態］
次に本発明の第２実施形態を説明する。なお、第２実施形態にて第１撮像素子２００および第２撮像素子２０３を除いて、第１実施形態と同様の構成部については既に使用した符号を用いることによってそれらの詳細な説明を省略し、主に相違点を説明する。
第２実施形態に係る撮像装置の基本構成は図１と同様であるが、第１撮像素子２００および第２撮像素子２０３の画素アレイの構成が相違する。図１２（Ａ）は第１撮像素子２００の画素アレイの構成例を示し、図１２（Ｂ）は第２撮像素子２０３の画素アレイの構成例を示す。
【００４２】
図１２（Ａ）に示す１つのマイクロレンズ２００ｆに対して、２つのＰＤ２００ｇ、２００ｈが配置されている。マイクロレンズ２００ｆを共有する領域を１画素とした場合、水平方向にｈ１個の画素、垂直方向にｉ１個の画素が並んで配置される。図４（Ａ）と比較して、単位面積当たりの画素数が多く、稠密に分布していることが分かる。また、図１２（Ｂ）に示す１つのマイクロレンズ２０３ｆに対して、２つのＰＤ２０３ｇ、２０３ｈが配置されている。水平方向にｈ２個の画素、垂直方向にｉ２個の画素が並んで配置される。第２撮像素子２０３は動画撮影用であるため、静止画用の第１撮像素子２００に比べて画素数が少なく、１画素当たりの面積が大きい。本実施形態では、第１撮像素子２００および第２撮像素子２０３がいずれも位相差検出用画素を備えた構成である。
【００４３】
次に、図１３および図１４に示すフローチャートを参照して、本実施形態の撮像動作を説明する。
図１３のＳ２０１で撮影動作が開始し、Ｓ２０２でＣＰＵ１２４は撮影モードを判定する。撮影モードが静止画撮影モードの場合、Ｓ２０５に移行して静止画撮影の準備動作が行われる。また、撮影モードが動画撮影モードの場合、Ｓ２０３から図１４のＳ２１１に移行する。なお、撮影モードの選択については、操作部１１６を用いて選択する形態や、表示部１１７に表示されるメニュー画面を見ながらタッチパネルの操作により選択する形態がある。
【００４４】
まず、静止画撮影モードでの処理について説明する。
図１３のＳ２０５でＣＰＵ１２４は、操作部１１６に含まれるＡＦスイッチの操作状態を判定する。ＡＦスイッチが押下されている場合、Ｓ２０６へ処理を進めるが、ＡＦスイッチが押下されていない場合には、待ち状態となってＳ２０５の判定処理が繰り返される。
Ｓ２０６では静止画撮影中にＡＦ演算処理が実行される。つまり、第２撮像素子２０３、第２ＡＦＥ１０４、第２ＴＧ１０５に電源が投入され、ＣＰＵ１２４は第２撮像素子２０３の位相差検出用画素からデータを読み出すための設定を行う。第２撮像素子２０３から出力されるＡ像用画素データとＢ像用画素データは、ＣＰＵ１２４によりＲＡＭ１１８に転送される。ＣＰＵ１２４はＲＡＭ１１８に格納されるＡ像用画素データを用いたＡ像に対応するＡ画像データと、Ｂ像用画素データを用いたＢ像に対応するＢ画像データをＡＦ演算部１２２に転送する。なお、図１３および図１４では説明の便宜のため、静止画撮影と動画撮影を同時に行う場合のフローチャートとして記載してはいないが、ライブビュー撮影が指定されている場合、Ｓ２０６でＣＰＵ１２４はライブビュー設定処理を行う。また、Ｓ２０６にて動画撮影の指定がなされている場合、ＣＰＵ１２４は動画撮影の設定処理を行う。
【００４５】
次にＳ２０７でフォーカス駆動回路１１２は、ＡＦ演算部１２２から取得した焦点ずれ量に基づき、第３レンズ群１０８の駆動量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。第３レンズ群１０８はフォーカスアクチュエータ１１４により合焦位置まで移動し、第２撮像素子２０３の受光面上に焦点が位置した状態となる。この時、第１撮像素子２００および第２撮像素子２０３には、像面倍率が同じである１次結像光が入射しており、被写界深度等も同一である。このため、同一被写体に対して第２撮像素子２０３でピントが合った状態では、第１撮像素子２００でもピントが合った状態となる。
次のＳ２０８でＣＰＵ１２４は合焦状態であるか否かを判定する。そのために、再度ＡＦ演算が実行される。ＡＦ演算の処理内容はＳ２０６と同様である。Ｓ２０８で合焦状態の判定が下された場合、Ｓ２０９に処理を進める。また非合焦状態の判定が下された場合、Ｓ２０５に処理を戻す。
【００４６】
Ｓ２０９でＣＰＵ１２４は、操作部１１６に含まれる静止画撮影スイッチが操作されたか否かを判定する。静止画撮影スイッチが押下されていた場合、Ｓ２１０に移行して静止画撮影動作が行われる。その後、Ｓ２０４を介してＳ２０２へ処理を戻す。またＳ２０９で静止画撮影スイッチが押下されていない場合、Ｓ２０５に処理を戻す。
【００４７】
次に図１４を参照して、動画撮影モード時の動作について説明する。
Ｓ２１１でＣＰＵ１２４は、操作部１１６に含まれる動画撮影スイッチの操作状態を判定する。動画撮影スイッチが押下された場合、Ｓ２１２に移行して動画撮影動作が開始する。また、動画撮影スイッチが押下されない場合、Ｓ２０４から図１３のＳ２０２へ処理を戻す。
Ｓ２１２で動画撮影が開始すると、第２撮像素子２０３、第２ＡＦＥ１０４、第２ＴＧ１０５に電源が投入され、ＣＰＵ１２４は動画撮影設定処理を行う。この設定後、ＣＰＵ１２４から出力される同期信号に基づいて、第２ＴＧ１０５は第２撮像素子２０３に対して読出しパルスを出力する。第２撮像素子２０３は所定のフレームレートでの読出し動作を開始する。なお、本実施形態では動画像の電荷蓄積および読出し動作がスリットローリング動作による電子シャッタ機能を使用して行われる。第２撮像素子２０３から出力された画素データは、ＣＰＵ１２４によりＲＡＭ１１８へ転送される。その後、第２画像処理部１２１に転送され、補正および圧縮処理等が施され、動画フレームのデータが生成される。生成された動画フレームのデータに従って表示部１１７は画面に動画表示を行う（ライブビュー）。撮影前に表示部１１７に表示されたメニュー画面と操作部１１６を使用してユーザが動画記録の選択指示を既に行っている場合には、動画像のデータがフラッシュメモリ１２３に順次記録される。
【００４８】
Ｓ２１３でＣＰＵは、動画撮影スイッチが再度押下されたか否かを判定する。動画撮影スイッチが押下されていない場合には動画撮影を継続し、Ｓ２１４へ移行する。また動画撮影スイッチが押下された場合には動画撮影を終了し、Ｓ２０４から図１３のＳ２０２へ処理を戻す。Ｓ２１４でＣＰＵ１２４は、ＡＦスイッチの操作状態を判定する。ＡＦスイッチが押下されている場合、Ｓ２１５に移行するが、ＡＦスイッチが押下されていない場合にはＳ２１３に処理を戻す。
Ｓ２１５では動画撮影中にＡＦ演算処理が実行される。つまり、第１撮像素子２００、第１ＡＦＥ１０１、第１ＴＧ１０２に電源が投入され、ＣＰＵ１２４は第１撮像素子２００の位相差検出用画素からデータを読み出すための設定を行う。第１撮像素子２００の位相差検出用画素からデータを読み出す際には、全領域ではなく限定された対象領域内の画素データを部分的に読み出すことで、高速にＡＦ演算を行う。これにより、動作時間を短くできるため、消費電力が抑えられる。
【００４９】
Ｓ２１６でフォーカス駆動回路１１２は、ＡＦ演算部１２２から取得した焦点ずれ量に基づき第３レンズ群１０８の駆動量を算出し、フォーカスアクチュエータ１１４に駆動命令を出力する。第３レンズ群１０８は合焦位置まで移動する。次のＳ２１７では再度ＡＦ演算が実行された後で合焦判定処理が行われる。合焦状態の判定が下された場合、Ｓ２１３に移行し、また非合焦点状態の判定が下された場合、Ｓ２１４に処理を戻す。
【００５０】
以上の動作により、撮影モードに応じて位相差検出を行う撮像素子が変更される。すなわち、静止画撮影モードでは第２撮像素子２０３の位相差検出用画素からデータ読出し動作が行われる。また動画撮影モードでは第１撮像素子２００の位相差検出用画素からデータ読出し動作が行われる。撮影モードに応じた撮像素子の切り替えにより、動画撮影時の読出しスループットを最大限に発揮できる。更には、動画撮影時のＡＦ動作を高精度、かつ高速に行うことができる。
【００５１】
次に、図１５を参照して設定操作について説明する。図１５は表示部１１７の一例として、動画像の記録サイズ設定画面２３０と被写体追従特性の設定画面２４０を示す。本実施形態では、操作部１１６、表示部１１７、およびＣＰＵ１２４により、動画像の記録サイズを設定する記録サイズ設定処理と、動画像のフレームレートを設定するフレームレート設定処理が行われる。
図１５（Ａ）は動画記録サイズ２３１、動画フレームレート２３２、動画圧縮形式２３３を設定する画面例を示す。動画記録サイズについては、例えば下記の画質選択が可能である（図には１９２０，１２８０，６４０と略記する）。
・１９２０×１０８０画素のフルハイビジョン（Ｆｕｌｌ ＨＤ）画質。
・１２８０×７２０画素のハイビジョン（ＨＤ）画質。
・６４０×４８０画素の標準画質。
【００５２】
また、動画像のフレームレートについては、テレビジョン放送映像方式がＮＴＳＣ（National Television System Committee）の場合、３０フレームまたは６０フレームを選択可能である。テレビジョン放送映像方式がＰＡＬ（Phase Alternation by Line）の場合、２５フレームまたは５０フレームを選択可能である。また、映画関連での使用例として２４フレームを選択可能である。なお、図１５（Ａ）にはＮＴＳＣ方式の場合の表示例を示す。
動画圧縮形式については、複数のフレーム単位で効率的に圧縮して記録するＩＰＢ方式や、１フレーム単位で圧縮して記録するＡＬＬ-Ｉ方式などが選択可能である。
ユーザが操作部１１６等を操作して意図する設定項目を選択すると、選択された設定項目の内容が画面の表示枠２３５内に表示される。
【００５３】
設定された動画記録サイズ、動画フレームレートによっては、第２撮像素子２０３の読出しスループットを最大限に発揮する必要がない場合がある。例えば、動画記録サイズに関して標準画質でよい場合、第２撮像素子２０３の画素データを間引いて読み出すことで必要な読出しスループットを低く抑えることができる。本実施形態では、記録サイズ設定処理により設定された動画像の記録サイズが閾値以下である場合、ＡＦ演算部１２２は第２撮像素子２０３の出力する画素データを取得して焦点検出を行う。
また、動画フレームレートが２４乃至３０フレームの場合にも、撮像素子の読出しスループットがそれほど要求されない場合がある。本実施形態では、フレームレート設定処理により設定されたフレームレートが閾値以下である場合、ＡＦ演算部１２２は第２撮像素子２０３の出力する画素データを取得して焦点検出を行う。位相差検出を第２撮像素子２０３で行うことにより、システム全体の消費電力を大幅に低減できる。
【００５４】
図１５（Ｂ）は被写体追従特性の設定画面２４０を例示する。「サーボＡＦ」とは、焦点検出の際に被写体に追従しつつ撮像光学系の焦点位置を変更する機能であり、動体の追尾等に便利である。操作部１１６、表示部１１７、ＣＰＵ１２４は、この機能について有効または無効を設定する機能設定処理を行う。
ユーザは操作部１１６を用いて、選択カーソル２４１を左右に操作し、操作部１１６のＳＥＴボタン２４３で設定位置を決定する。設定値は画面の表示枠２４２内に表示される。被写体が急に動き出したときや、急に止まったときなど、動体の速度が瞬時に大きく変化した場合に、被写体に対する追従性を設定できる。
【００５５】
被写体の追従性の設定によっては、第２撮像素子２０３で位相差検出を行う構成であっても、被写体の追従性を高める必要がない場合もある。追従性を要求されない場合、つまり、サーボＡＦの機能が無効（図中のＯＦＦ）に設定されている場合に、ＡＦ演算部１２２は第２撮像素子２０３の出力する画素データを取得して焦点検出を行う。第２撮像素子２０３で位相差検出を行うことで、システム全体の消費電力を大幅に低減できる。また、被写体の移動速度がほぼ一定の場合や、低速の動体に対して追従性を設定する場合には、高速性を求められない。よって、設定値が閾値以下の場合には第２撮像素子２０３により位相差検出を行うことでシステム全体の消費電力を大幅に低減できる。
一方、急な動き出しや、急加速、急減速、急停止などを行う被写体を撮影する場合、ＡＦ動作の追従性には高速性が求められる。設定値が閾値を超える場合には、第２撮像素子２０３を動画撮影に専ら使用し、第１撮像素子２００により位相差検出を行うことで、高速かつ高精度のＡＦ動作を実現できる。
【００５６】
本実施形態によれば、撮影設定（記録サイズやフレームレートを含む）やＡＦ設定（被写体への追従性を含む）に応じて、位相差検出を行う撮像素子を変更することで、システム全体の消費電力を低減できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５７】
１００，２００  第１撮像素子
１０３，２０３  第２撮像素子
１０７  ハーフミラー
１２０  第１画像処理部
１２１  第２画像処理部
１２２  ＡＦ演算部
１２４  ＣＰＵ
【図１】
2014232137.tif 000003
【図２】
2014232137.tif 000004
【図３】
2014232137.tif 000005
【図４】
2014232137.tif 000006
【図５】
2014232137.tif 000007
【図６】
2014232137.tif 000008
【図７】
2014232137.tif 000009
【図８】
2014232137.tif 000010
【図９】
2014232137.tif 000011
【図１０】
2014232137.tif 000012
【図１１】
2014232137.tif 000013
【図１２】
2014232137.tif 000014
【図１３】
2014232137.tif 000015
【図１４】
2014232137.tif 000016
【図１５】
2014232137.tif 000017